rulinux.net - Форум - Development - что в ваше понимании является кластером? http://rulinux.net/ rulinux.net - Форум - Development - что в ваше понимании является кластером? http://rulinux.net/ http://rulinux.net/rss_icon.png Re: что в ваше понимании является кластером? https://rulinux.net/message.php?newsid=5641&page=1#36130 https://rulinux.net/message.php?newsid=5641&page=1#36130 Mon, 11 Jan 2010 14:32:34 +0300 Да это понятно как она расшифровывается.. Только есть большие сомнения что оно применимо на кластерах, в которых вычисления распределяются по большому количеству несильно связанных дешёвых машин.

Когда UNIX-машина начинает работать на свопе - это уже проблема, которую нужно решать немедленно, а насколько сетка быстрее - это ещё вопрос. В больших системах ведь и файловая система не на локальном винте живёт, скорее всего там окажется внешний супернаворочанный рейд для этих целей подключен.

Страйп был в старых HP-шных реализациях (лет этак 10 назад, до ccNUMA).. Насколько я понимаю, всё что этим достигается - скорость доступа к памяти можно считать постоянной и эквивалентной скорости доступа к нелокальной памяти. Хотя при этом остаётся открытым вопрос нахера оно такое нужно вообще. Скорости вроде не должно добавлять если выравнивается по доступу к памяти к самому медленному, и проблему совместного доступа тоже не решает.

Ведь сама физическая память не обслуживает процессы одновременно, следовательно запросы строятся в очередь. Допустим твои интенсивные вычислительные процессы (ага, интенсивные - иначе зачем кластер) постоянно доступаются к памяти. Память медленнее современных процов, значит один процесс может её занять на 100%. Но, допустим даже, процессу нужно всего лишь 20% полосы. Сколько процессоров сможет работать одновременно с данным куском памяти? Ага, пять. Больше процессоров - процессоры будут ждать шины, 10 процессоров будут половину своего времени ждать байта с шины.

А ведь есть и логический уровень при котором процессы в памяти неатомарно читают и пишут чего-нибудь с точки зрения программы осмысленное. И если твой процесс что-то там из памяти читает, а другой туда в то же время чего-то пишет - просто так ведь ничего хорошего не получится. Значит программа должна память блокировать, семафоры-мьютексы использовать и какую часть времени процессы будут висеть на этих мьютексах в ожидании своего шанса почитать/пописать память - одному богу известно, может у них больше времени на синхронизацию будет больше времени уходить чем собственно на работу.

Т.е. чтобы многочисленные процессы могли эффективно сотрудничать в рамках одной задачи, они должны минимизировать доступ к общим ресурсам, решать свою часть задачи по возможности локально - но тогда и NUMA какбэ не нужна, раз доступ к общим ресурсам минимален. Я так думаю..

]]> Re: что в ваше понимании является кластером? https://rulinux.net/message.php?newsid=5641&page=1#36129 https://rulinux.net/message.php?newsid=5641&page=1#36129 Mon, 11 Jan 2010 10:25:22 +0300 Ну, NUMA расшифровывается как Non Uniform Memory Access, что как-бэ подразумевает деление оперативки на классы - высокодоступная, менее доступная, совсем никакая ... Вот в kerrighed её и разбивают на такие классы - высокоскоростная память(локальная), менее скоростная (оперативка соседних узлов), своп (локальный диск). Т.е. скорее всего это можно организовать и в других системах (не кластерах), но сама операционная система должна быть в курсе, что она работает на железе, где оперативная память разного качества (что и подразумевается под NUMA).

>>уменьшится количество порядков в этом параметре?
Cетка уже как минимум быстрее дискового свопа. И это без мюри/инфинибандов ...

>>а если ещё десятки соседей будут к ней одновременно обращаться
А нафига? Можно же это организовать в виде страйпа. Т.е. "одновременность" будет размазана по нескольким узлам.

]]> Re: что в ваше понимании является кластером? https://rulinux.net/message.php?newsid=5641&page=1#36128 https://rulinux.net/message.php?newsid=5641&page=1#36128 Fri, 08 Jan 2010 14:01:55 +0300 > NUMA-кластеры как раз и позволяли адресовать всю память в кластере
NUMA Разве используется в кластерах, там же подразумеваются менее тесные связи между узлами.

> что в скором будущем обмен данными между узлами будет не сильно медленнее, чем обмен данными между оперативной памятью и ргистрами процессора.
"Не сильно медленнее" - это в смысле уменьшится количество порядков в этом параметре?

К тому же, даже если скорость станет такой же - то что это даст? Память и так устройство тормозное, а если ещё десятки соседей будут к ней одновременно обращаться - то узлы просто будут 90% времени ждать своим байты из неё..

]]> Re: что в ваше понимании является кластером? https://rulinux.net/message.php?newsid=5641&page=1#36127 https://rulinux.net/message.php?newsid=5641&page=1#36127 Fri, 08 Jan 2010 13:16:15 +0300 Ну, там кроме циклов есть ещё много ресурсов, которые могут распараллеливаться. Память, например. Т.е. NUMA-кластеры как раз и позволяли адресовать всю память в кластере. В kerrighed-e последнем тоже такая фишка есть.

Во-вторых, диски. Т.е. нормальной параллельной сетевой файловой системы пока не существует. Вместо этого предлагают фишки типа GFS, когда к физическому диску имеют доступ несколько систем. Хотя, с другой стороны, у MPI2 есть свой параллельный инетерфейс доступа к файловой системе (ROMIO), так что это не настолько существенно.

>>они не могут же вычилслять форумулу быстрее нежели чем частота процессора. они могут только расппараллеливать задачи.
Ну, просто поделив один цикл между узлами, уже получаем прирост скорости. При том, что скорость сетевых соединений растет быстрее, чем моща процессоров, то можно надеяться, что в скором будущем обмен данными между узлами будет не сильно медленнее, чем обмен данными между оперативной памятью и ргистрами процессора.

]]> Re: что в ваше понимании является кластером? https://rulinux.net/message.php?newsid=5641&page=1#36126 https://rulinux.net/message.php?newsid=5641&page=1#36126 Wed, 06 Jan 2010 14:58:30 +0300 >> например?
> Гугл выдаёт достаточно много результатов.
А он сам не кластер?

]]> Re: что в ваше понимании является кластером? https://rulinux.net/message.php?newsid=5641&page=1#36125 https://rulinux.net/message.php?newsid=5641&page=1#36125 Wed, 06 Jan 2010 14:56:17 +0300 > например?
Вот например ты решаешь задачу как лучше убить всех человеков. Совершенно очевидно, что тебе придётся для начала как-то учитывать этих самых человеков, которых уже за шесть миллиардов, между прочим. Т.е. будет использоваться гигантская база данных. Если все 100 компов будут ходить в одну и ту же базу - будут возникать множественные ожидания из-за необходимости синхронизации доступа, да и искать там нужного человека придётся подолгу - если все миллиарды будут на одной и той же машине храниться. Следовательно лучше сделать распределённую базу данных и хранить части данных на тех машинах, которые и заняты обработкой именно этих данных. В данном случае задачу можно распараллелить например по континентам, но лучше по государствам - как раз получится в среднем по две страны на комп. То же самое и с разделяемой памятью и с дисками и прочим хардвером - вместо того, чтобы заставлять процессы соревноваться за общие ресурсы, лучше просто с умом перераспределить обработку данных между нодами кластера.

]]> Re: что в ваше понимании является кластером? https://rulinux.net/message.php?newsid=5641&page=1#36124 https://rulinux.net/message.php?newsid=5641&page=1#36124 Wed, 06 Jan 2010 14:17:36 +0300 >например?
Есть алгоритмы параллельного вычисления интегралов, различных алгебраических уравнений итд. Соответственно любая крупная задача, которую можно решать через данные алгоритмы, подходит для кластера:)

А задач, для которых нужны большие мощности хватает. Сложные физические уравнения (например физика плазмы и остальные термоядерные навороты), моделирование итд. Гугл выдаёт достаточно много результатов.

]]> Re: что в ваше понимании является кластером? https://rulinux.net/message.php?newsid=5641&page=1#36123 https://rulinux.net/message.php?newsid=5641&page=1#36123 Wed, 06 Jan 2010 14:08:18 +0300 например?

]]> Re: что в ваше понимании является кластером? https://rulinux.net/message.php?newsid=5641&page=1#36122 https://rulinux.net/message.php?newsid=5641&page=1#36122 Wed, 06 Jan 2010 14:01:30 +0300 >они могут только расппараллеливать задачи
Это как раз часто и нужно. Задача не из одной формулы состоит.

]]> что в ваше понимании является кластером? https://rulinux.net/message.php?newsid=5641&page=1#36121 https://rulinux.net/message.php?newsid=5641&page=1#36121 Wed, 06 Jan 2010 13:22:00 +0300 допустим есть 100 компов, пентиум4 4 ггца каждый, соединенниые через сеть типа звезда через свич(и).

как из такой системы компов сделать кластир расчетный например. я бы написал прогу, которая расчитывает что-то там, с учетом раздать 1/100 вычислений на каждый компьютер. но это зависит от того, являются ли предыдущие вычисления критерием последующих.

т.е. для меня расчетный кластир это вовсе не системно, это вопрос написания софта. как он считает, как он умеет распараллеливать запросы процессора.

т.е. я не очень понимаю, в чем сила этих всех top100, они не могут же вычилслять форумулу быстрее нежели чем частота процессора. они могут только расппараллеливать задачи. но почемуже тогда это так дорого стоит?

]]>