anonymous@RULINUX.NET~# | Last login: 2024-12-23 12:53:34 |
Регистрация Вход | Новости | Разметка | Пользователи | Галерея | Форум | Статьи | Неподтвержденное | Трекер | Правила форума | F.A.Q. | Ссылки | Поиск |
Форум - Development | [RSS] |
допустим есть 100 компов, пентиум4 4 ггца каждый, соединенниые через сеть типа звезда через свич(и).
как из такой системы компов сделать кластир расчетный например. я бы написал прогу, которая расчитывает что-то там, с учетом раздать 1/100 вычислений на каждый компьютер. но это зависит от того, являются ли предыдущие вычисления критерием последующих.
т.е. для меня расчетный кластир это вовсе не системно, это вопрос написания софта. как он считает, как он умеет распараллеливать запросы процессора.
т.е. я не очень понимаю, в чем сила этих всех top100, они не могут же вычилслять форумулу быстрее нежели чем частота процессора. они могут только расппараллеливать задачи. но почемуже тогда это так дорого стоит?
vilfred(*) (2010-01-06 17:22:00)
Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.2b5) Gecko/20091204 Firefox/3.6b5
|
|
|
vilfred(*)(2010-01-06 18:08:18)
Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.2b5) Gecko/20091204 Firefox/3.6b5 |
Скрыть
Re: что в ваше понимании является кластером?>например?
А задач, для которых нужны большие мощности хватает. Сложные физические уравнения (например физика плазмы и остальные термоядерные навороты), моделирование итд. Гугл выдаёт достаточно много результатов. SystemV(*)(2010-01-06 18:17:36)
Mozilla/5.0 (X11; U; Linux; ru-RU) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) rekonq |
Скрыть
Re: что в ваше понимании является кластером?> например?
|
Скрыть
Re: что в ваше понимании является кластером?>> например?
|
Скрыть
Re: что в ваше понимании является кластером?Ну, там кроме циклов есть ещё много ресурсов, которые могут распараллеливаться. Память, например. Т.е. NUMA-кластеры как раз и позволяли адресовать всю память в кластере. В kerrighed-e последнем тоже такая фишка есть. Во-вторых, диски. Т.е. нормальной параллельной сетевой файловой системы пока не существует. Вместо этого предлагают фишки типа GFS, когда к физическому диску имеют доступ несколько систем. Хотя, с другой стороны, у MPI2 есть свой параллельный инетерфейс доступа к файловой системе (ROMIO), так что это не настолько существенно. >>они не могут же вычилслять форумулу быстрее нежели чем частота процессора. они могут только расппараллеливать задачи.
anonymous(*)(2010-01-08 17:16:15)
Mozilla/5.0 (X11; U; Linux i686; ru-RU; rv:1.8.1.4) Gecko/20070601 SeaMonkey/1.1.2 |
Скрыть
Re: что в ваше понимании является кластером?> NUMA-кластеры как раз и позволяли адресовать всю память в кластере
> что в скором будущем обмен данными между узлами будет не сильно медленнее, чем обмен данными между оперативной памятью и ргистрами процессора.
К тому же, даже если скорость станет такой же - то что это даст? Память и так устройство тормозное, а если ещё десятки соседей будут к ней одновременно обращаться - то узлы просто будут 90% времени ждать своим байты из неё.. |
Скрыть
Re: что в ваше понимании является кластером?Ну, NUMA расшифровывается как Non Uniform Memory Access, что как-бэ подразумевает деление оперативки на классы - высокодоступная, менее доступная, совсем никакая ... Вот в kerrighed её и разбивают на такие классы - высокоскоростная память(локальная), менее скоростная (оперативка соседних узлов), своп (локальный диск). Т.е. скорее всего это можно организовать и в других системах (не кластерах), но сама операционная система должна быть в курсе, что она работает на железе, где оперативная память разного качества (что и подразумевается под NUMA). >>уменьшится количество порядков в этом параметре?
>>а если ещё десятки соседей будут к ней одновременно обращаться
geekkoo(*)(2010-01-11 14:25:22)
Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.4) Gecko/20070601 SeaMonkey/1.1.2 |
Скрыть
Re: что в ваше понимании является кластером?Да это понятно как она расшифровывается.. Только есть большие сомнения что оно применимо на кластерах, в которых вычисления распределяются по большому количеству несильно связанных дешёвых машин. Когда UNIX-машина начинает работать на свопе - это уже проблема, которую нужно решать немедленно, а насколько сетка быстрее - это ещё вопрос. В больших системах ведь и файловая система не на локальном винте живёт, скорее всего там окажется внешний супернаворочанный рейд для этих целей подключен. Страйп был в старых HP-шных реализациях (лет этак 10 назад, до ccNUMA).. Насколько я понимаю, всё что этим достигается - скорость доступа к памяти можно считать постоянной и эквивалентной скорости доступа к нелокальной памяти. Хотя при этом остаётся открытым вопрос нахера оно такое нужно вообще. Скорости вроде не должно добавлять если выравнивается по доступу к памяти к самому медленному, и проблему совместного доступа тоже не решает. Ведь сама физическая память не обслуживает процессы одновременно, следовательно запросы строятся в очередь. Допустим твои интенсивные вычислительные процессы (ага, интенсивные - иначе зачем кластер) постоянно доступаются к памяти. Память медленнее современных процов, значит один процесс может её занять на 100%. Но, допустим даже, процессу нужно всего лишь 20% полосы. Сколько процессоров сможет работать одновременно с данным куском памяти? Ага, пять. Больше процессоров - процессоры будут ждать шины, 10 процессоров будут половину своего времени ждать байта с шины. А ведь есть и логический уровень при котором процессы в памяти неатомарно читают и пишут чего-нибудь с точки зрения программы осмысленное. И если твой процесс что-то там из памяти читает, а другой туда в то же время чего-то пишет - просто так ведь ничего хорошего не получится. Значит программа должна память блокировать, семафоры-мьютексы использовать и какую часть времени процессы будут висеть на этих мьютексах в ожидании своего шанса почитать/пописать память - одному богу известно, может у них больше времени на синхронизацию будет больше времени уходить чем собственно на работу. Т.е. чтобы многочисленные процессы могли эффективно сотрудничать в рамках одной задачи, они должны минимизировать доступ к общим ресурсам, решать свою часть задачи по возможности локально - но тогда и NUMA какбэ не нужна, раз доступ к общим ресурсам минимален. Я так думаю.. |
|
|
|
Этот тред читают 3 пользователя: |
Анонимных: 3 Зарегистрированных: 0 |
Re: что в ваше понимании является кластером?
>они могут только расппараллеливать задачи
Это как раз часто и нужно. Задача не из одной формулы состоит.
Mozilla/5.0 (X11; U; Linux; ru-RU) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) rekonq