| Сейчас на форуме: tyns777 (+4 невидимых) |
 |
eXeL@B —› Программирование —› Распределённые вычисления в Интернете |
| Посл.ответ | Сообщение |
|
|
Создано: 01 октября 2009 15:03 · Личное сообщение · #1  У кого нить есть инфа по теме ? Есть пару книг в сети , в электронке нашел - Модели распределенных вычислений.Ищу далее - 1. Проблемы вычислений в распределенной среде. Модели обработки и представления данных. Динамические системы. Труды института системного анализа Российской академии наук 2.Сетевые распределенные вычисления - достижения и проблемы 3.Алгоритмы "распределенных согласований" для оценки вычислительной стойкости криптоалгоритмов 4.Сетевые и алгоритмические задачи распределенных вычислений Есть какие нибудь опенсорсные проекты ? с открытм кодом ? У меня есть свой протокол тспишный ,но стоит вопрос оптимизации и скорости , может даже перевод на ио , чтобы хоть чуток прироста дать. Я думаю есть более совершенные модели Ктонить вообще сам этим занимался? .. хороший совет требуется. Может кто книженций подкинет, только одну из всех вроде перевели в джву. Сэнк Ю ! ----- RE In Progress [!] Coding Hazard [!] Stay Clear of this Cube  |
|
|
Создано: 01 октября 2009 15:52 · Личное сообщение · #2 Распределение задач проще делать статически создавая задания для каждой машины. Если требуется динамическая связь, то используются кластеры, но они состоят из блоков доступных локально и между ними гигабитная сеть - самое слабое место по скорости во всём вычислительном комплексе. Теперь вопрос. Какие задачи ты хочешь решать, для которых не важна скорость передачи данных между узлами и при этом сложно нагенерить заранее джобы для каждой машины? |
|
|
Создано: 01 октября 2009 23:15 · Личное сообщение · #3 > У меня есть свой протокол тспишный ,но стоит вопрос оптимизации и скорости , может даже перевод на ио , чтобы хоть чуток прироста дать. Я думаю есть более совершенные модели Есть. Я уверен, любой протокол из описанных в RFC будет быстрее и совершеннее. ----- Shalom ebanats! |
|
|
Создано: 02 октября 2009 00:28 · Поправил: o_nix · Личное сообщение · #4 mak незнаю будет ли применимо к твоим задачам но вот GPL проект для архитектуры CELL обладающей куда большей производительностью чем все 86е ... как минимум почерпнуть справочную общую информацию из него можно на русском в краце Года 2-3 назад sony выпустила linux дистириб для своей консоли и сразуже студенты какогото американского университета на его базе сделали супер ПК ...  разработкой даже спец службы заинтерисовались .. после чего sony закрыла доступ к дистрибу ...
|
|
|
Создано: 02 октября 2009 14:11 · Поправил: mak · Личное сообщение · #5 o_nix интересно , ты прям в воду смотришь , обыкновенными средствами компьютера я тоже не хотел изначально , интерес возник позже когда производительность можно поднять выше. Как бы не было сеть всеравно самое слабое звено. Так сейчас доступ к нему также закрыт ? А название есть ?progopis важный вопрос ,пока вообще независимо от реализации , задачи криптографические , естественно это все нужно разграничить , над этим пока идет работа. Также есть задачи более простые такие как сборка определенной информации и синхронизация для оптимальной работы всех подточек когда это требуется. Как не удивительно в паралельном форуме тоже эти темы буквально недавно обсуждались , там тоже много ссылок на схожую литературу , это хорошо , вопрос с информацией вообщем то решен. Там уже походу дела если что напишу. Что там с мсивом? он же тоже сетевой , в любом случае подобные вычисления тоже будут производиться , а проектов по теме вроде сам боле не нашел. ----- RE In Progress [!] Coding Hazard [!] Stay Clear of this Cube |
|
|
Создано: 02 октября 2009 15:29 · Поправил: OKOB · Личное сообщение · #6 mak пишет: А название есть ? maybe Yellow Dog Linux on the PlayStation 3 если да, то дистрибуты ----- 127.0.0.1, sweet 127.0.0.1 |
|
|
Создано: 02 октября 2009 19:34 · Личное сообщение · #7 у афтора World Fastest MD5 cracker BarsWF вроде какойто проект по этой теме _http://3.14.by/ru/md5 ----- AutoIt |
|
|
Создано: 02 октября 2009 23:48 · Личное сообщение · #8 mak у тебя всё так сложно. а нельзя вот сервер к нему соеденяешся берёш задание выполняеш докладываеш результат и берёш следущее. какие тут "Модели распределенных вычислений") ----- zzz |
|
|
Создано: 03 октября 2009 00:19 · Личное сообщение · #9 mak пишет: Что там с мсивом? он же тоже сетевой Нет, он не сетевой. Он работает по тому принципу о котором говорил progopis. Т.е. генерятся подзадачи, которые потом запускаются на разных машинах и после выполнения результаты объединяются. С сетью msieve вообще не работает. |
|
|
Создано: 03 октября 2009 09:11 · Личное сообщение · #10 Даю справку : www.nvidia.ru/object/computational_finance_ru.html Видим внизу CUDA SDK содержит примеры кодов для генераторов случайных чисел и моделей ценообразования опционов и дериватов по методам Монте-Карло, Блэка-Шоулза ru.wikipedia.org/wiki/Модель_Блэка-Скоулза Black–Scholes Оказалось, что на видео-процессорах и процессорах CELL эта задачка(метод Блэка-Шоулза) считается в 10 раз быстрее, чем на просто Пентиуме-4. Сам CELL - это на одном кристалле процессор PowerPC и четыре специальных конвеерных процессора. Соответственно можно поставить "простой" Linux + SDK и мы получаем якобы супер-быстрый компьютер, если считать в "попугаях". Теперь про параллельные вычисления (не путать с распределенными). Уже давно там отказались от TCP/IP и наряду со специальной аппаратурой (Infiband например) используют специальные протоколы. Естественно есть TCP/IP поверх этого для совместимости. А все остальное : типа стойки из кучи PS3 - это решения для бедных и им точно не нужен быстый TCP/IP, а нужно понадежнее, попроще и подешевле. |
|
|
Создано: 03 октября 2009 11:35 · Поправил: o_nix · Личное сообщение · #11 mak - чесно очень давно этим вопросом занимался нужно оно мне было для брута хешей тогда другого варианта небыло/ Cейчасже уже есть готовое решение CUDA под такие задачи ... хеши на видюхе nv260 подбираются в 30ть раза быстрее чем на моём e4300+2gb .. так оно и понятно там ширина шины больше и частоты заоблачные ... пропускная способность посравнению с обычной ddr огромная ну и сам GPU по производительности и количеству транзисторов давно в разы перегнал CPU Как назывался образ непомню ... тогда мне удалось его найти в пиринговой сети но далее чем установка на одну ps дело у меня непошло... да мне и ненадо было тк одна ps подбирала хеши в 9 раз быстрее моего компа Думаю щас будет дешевле и проще реализовать расчёты с CUDA тк узкое место сеть как таковая в этом случае отсутствует Вот проектик с CUDA брут хешей который можно посмотреть в асме _ttp://www.insidepro.com/rus/egb.shtml#010крипта нет иначебы тормозило
|
|
|
Создано: 03 октября 2009 12:59 · Поправил: mak · Личное сообщение · #12 спасибо , да я это уже все разобрал ранее вопросы GPGPU, вообще давно искал варианты с внешним устройством вычислительным большей силы, просто про ПС3 не знал хоть и слышал что то , во время кодинга если что еще отмечусь. А на ЕГБ аспр весит последний
----- RE In Progress [!] Coding Hazard [!] Stay Clear of this Cube |
|
|
Создано: 04 октября 2009 00:35 · Поправил: o_nix · Личное сообщение · #13 тот самодельный супер ПК был на ps2 вобщето ps3 тогда ещё небыло :D что можно сделать с ps3 даж непредставляю (по слуухам мощьнее в разы) .. у меня её небыло :D Вот на винте нашёл старенькую версию брута _ttp://ifolder.ru/10436402 ntlm вообще без крипта на остальных (Win)Upack 0.37 - 0.39 но это уже крякеры чемто пакнули, в первых версиях небыло ничего потом был аспр 2.1 распаковывался утилиткой pe_kill потом вроде вообще от пакеров отказались изза тормозов... щас видимо всё вернулось софт актуален_ttps://forum.antichat.ru/threadnav62728-1-10.html Исходник ачатовского брута под gpu _ttp://narod.ru/disk/1040049000/nvCUDA_md5.cu.html |
|
|
Создано: 04 октября 2009 07:58 · Личное сообщение · #14 o_nix пишет: Думаю щас будет дешевле и проще реализовать расчёты с CUDA тк узкое место сеть как таковая в этом случае отсутствует А если есть денюжка, то купить железяку с Теслой www.nvidia.ru/object/cuda_app_tesla_ru.html Стоит она дороже чем видюха, но там 4 проца на плате и можно ставить несколько. o_nix пишет: что можно сделать с ps3 даж непредставляю (по слуухам мощьнее в разы) .. у меня её небыло :D ru.wikipedia.org/wiki/PS3 Ничего особенного. Там процессор CELL, так что цифру в 35 раз быстрее придется доказывать. SDK делала фирма rapidmind, теперь вроде купленная Интелом. У меня был SDK от rapidmind для GPU - проверял, работает. CELL пока не интересовался, т.к. не на чем. |
|
|
Создано: 04 октября 2009 15:01 · Поправил: o_nix · Личное сообщение · #15 tundra37 Производительность Sega Dreamcast — 1,4 Мфлопс Microsoft Xbox — 6,3 Гфлопс Sony PlayStation 2 — 6,2 Гфлопс Sony PlayStation Portable — 2,6 Мфлопс Nintendo Gamecube — 10,5 Мфлопс Microsoft Xbox 360 — 1 Тфлопс Sony PlayStation 3 — 2 Тфлопс _ttp://ru.wikipedia.org/wiki/FLOPS 2 Тфлопс vs 6,2 Гфлопс ... помоему разница очевидна :D nVidia GT300 ~ 3 Tflops :D |
|
|
Создано: 05 октября 2009 14:11 · Личное сообщение · #16 o_nix пишет: 2 Тфлопс vs 6,2 Гфлопс ... помоему разница очевидна :D Абсолютно неочевидна. В 2 Тфлопсах зашита производительность 7 спец-процессоров. И специально написано, что это теоретическая производительность. С учетом загрузки/извлечения данных получим гораздо меньше и не все алгоритмы туда можно оптимально положить. Короче эта цифра еще более эфермна, чем фраза "Пентиум 4 может выполнять 4 умножения за такт" (основанная на SSE2). А на основе этой фразы и вычисляется производительность во флопах для П-4 : множат частоту на 4. Подумаешь деление - для финансов оно не нужно. |
|
|
Создано: 05 октября 2009 14:54 · Личное сообщение · #17 Все это не к чему ----- продавец резиновых утёнков |
|
|
Создано: 06 октября 2009 07:41 · Поправил: tundra37 · Личное сообщение · #18 Вики с мной согласна. Еще надо учесть, что делать 80-95% на linpack умеет только автор линпака и не на всех процах. Цифирь выдаваемая linpack тоже "причесана" - она наверняка не учитывает время подготовки. Я давно уже хотел разоблачить это "жульничество" - теперь точно придется, если уж на cracklab-е стали верить в маркетинговые сказки. И даже на вики уже сказки : Code:
Но блоки сложения и умножения - по одному всего. |
|
|
Создано: 06 октября 2009 11:35 · Личное сообщение · #19 mak когда-то игрался с этим, может поможет - ru.wikipedia.org/wiki/Message_Passing_Interface |
|
|
Создано: 06 октября 2009 17:19 · Поправил: cppasm · Личное сообщение · #20 tundra37 пишет: Но блоки сложения и умножения - по одному всего. А у тебя в коде одни сложения? mov reg,[mem] add reg,reg imul reg,reg mov [mem],reg Теоретически могут быть выполнены одновременно (если используются разные регистры). В чём подвох? На реальном коде распаралеливание отлично работает. То что можно сочинить код на котором оно ничего не даст не секрет, только к реальному ПО это отношения не имеет. |
|
|
Создано: 06 октября 2009 18:14 · Поправил: Модератор · Личное сообщение · #21 cppasm На самом деле в чём-то он прав. Каждая система хорошо делает только свои типы задач. В частности хвалённая Тесла не так уж и крута, если ей дать специфичные задачи, и оптимизация здесь не причём. |
|
|
Создано: 07 октября 2009 11:48 · Личное сообщение · #22 cppasm пишет: Но блоки сложения и умножения - по одному всего. А у тебя в коде одни сложения?mov reg,[mem]add reg,regimul reg,regmov [mem],regТеоретически могут быть выполнены одновременно (если используются разные регистры). В чём подвох?На реальном коде распаралеливание отлично работает. Я это знаю. Но там(в статейке и маркетологи разные) потом умножают тактовую частоту на 4 - т.е. предполагается, что за один такт выполняется 4 операции с плавающей точкой. На самом деле эта формула основана на использовании команд SSE2 - там действительно за 1 такт выполняется 4 операции с простой точностью или 2 с двойной ! В GPU, Тесле и CELL все еще хуже - программу туда надо специально готовить и загружать, ну данные тоже - а показатели учитывают только бессмысленное перелопачивание цифири... |
|
|
Создано: 08 октября 2009 11:30 · Личное сообщение · #23 tundra37 пишет: На самом деле эта формула основана на использовании команд SSE2 - там действительно за 1 такт выполняется 4 операции с простой точностью или 2 с двойной ! Не знаю как у Intel, у AMD 3 конвеера FPU: FADD, FMUL, LOAD/STORE Т.е. при счастливом стечении обстоятельств одновременно может быть выполнено 3 простых команды FPU (не SIMD). Ясно что всё время по 3 команды выполняться не будут. Но оценивают обычно максимальную производительность, а не среднестатистическую. Правильно это или нет - это другой вопрос. |
|
|
Создано: 10 октября 2009 01:37 · Личное сообщение · #24 Слушайте , Куда получается пойдет только на Джефорсах ? У меня стоят дрова , нвидиа , но чип от АТИ РАДЕОН , получается мне нужна техника AMD FireStream ? При запуске что интересно с куда проблем нету , но это только при запуске без параметров , а с параметрами не пробовал , а что косается проверки на подходимость , то пока аспр глядел там вроде пробегала часть кода для проверки совместимости. Техника не универсальна получается ? Зависит от Видеокарты ... Оттестить не начем пока ----- RE In Progress [!] Coding Hazard [!] Stay Clear of this Cube |
|
eXeL@B —› Программирование —› Распределённые вычисления в Интернете |
Для печати