Re: что в ваше понимании является кластером?

>они могут только расппараллеливать задачи
Это как раз часто и нужно. Задача не из одной формулы состоит.

Re: что в ваше понимании является кластером?

например?

Re: что в ваше понимании является кластером?

>например?
Есть алгоритмы параллельного вычисления интегралов, различных алгебраических уравнений итд. Соответственно любая крупная задача, которую можно решать через данные алгоритмы, подходит для кластера:)

А задач, для которых нужны большие мощности хватает. Сложные физические уравнения (например физика плазмы и остальные термоядерные навороты), моделирование итд. Гугл выдаёт достаточно много результатов.

Re: что в ваше понимании является кластером?

> например?
Вот например ты решаешь задачу как лучше убить всех человеков. Совершенно очевидно, что тебе придётся для начала как-то учитывать этих самых человеков, которых уже за шесть миллиардов, между прочим. Т.е. будет использоваться гигантская база данных. Если все 100 компов будут ходить в одну и ту же базу - будут возникать множественные ожидания из-за необходимости синхронизации доступа, да и искать там нужного человека придётся подолгу - если все миллиарды будут на одной и той же машине храниться. Следовательно лучше сделать распределённую базу данных и хранить части данных на тех машинах, которые и заняты обработкой именно этих данных. В данном случае задачу можно распараллелить например по континентам, но лучше по государствам - как раз получится в среднем по две страны на комп. То же самое и с разделяемой памятью и с дисками и прочим хардвером - вместо того, чтобы заставлять процессы соревноваться за общие ресурсы, лучше просто с умом перераспределить обработку данных между нодами кластера.

Re: что в ваше понимании является кластером?

>> например?
> Гугл выдаёт достаточно много результатов.
А он сам не кластер?

Re: что в ваше понимании является кластером?

Ну, там кроме циклов есть ещё много ресурсов, которые могут распараллеливаться. Память, например. Т.е. NUMA-кластеры как раз и позволяли адресовать всю память в кластере. В kerrighed-e последнем тоже такая фишка есть.

Во-вторых, диски. Т.е. нормальной параллельной сетевой файловой системы пока не существует. Вместо этого предлагают фишки типа GFS, когда к физическому диску имеют доступ несколько систем. Хотя, с другой стороны, у MPI2 есть свой параллельный инетерфейс доступа к файловой системе (ROMIO), так что это не настолько существенно.

>>они не могут же вычилслять форумулу быстрее нежели чем частота процессора. они могут только расппараллеливать задачи.
Ну, просто поделив один цикл между узлами, уже получаем прирост скорости. При том, что скорость сетевых соединений растет быстрее, чем моща процессоров, то можно надеяться, что в скором будущем обмен данными между узлами будет не сильно медленнее, чем обмен данными между оперативной памятью и ргистрами процессора.

Re: что в ваше понимании является кластером?

> NUMA-кластеры как раз и позволяли адресовать всю память в кластере
NUMA Разве используется в кластерах, там же подразумеваются менее тесные связи между узлами.

> что в скором будущем обмен данными между узлами будет не сильно медленнее, чем обмен данными между оперативной памятью и ргистрами процессора.
"Не сильно медленнее" - это в смысле уменьшится количество порядков в этом параметре?

К тому же, даже если скорость станет такой же - то что это даст? Память и так устройство тормозное, а если ещё десятки соседей будут к ней одновременно обращаться - то узлы просто будут 90% времени ждать своим байты из неё..

Re: что в ваше понимании является кластером?

Ну, NUMA расшифровывается как Non Uniform Memory Access, что как-бэ подразумевает деление оперативки на классы - высокодоступная, менее доступная, совсем никакая ... Вот в kerrighed её и разбивают на такие классы - высокоскоростная память(локальная), менее скоростная (оперативка соседних узлов), своп (локальный диск). Т.е. скорее всего это можно организовать и в других системах (не кластерах), но сама операционная система должна быть в курсе, что она работает на железе, где оперативная память разного качества (что и подразумевается под NUMA).

>>уменьшится количество порядков в этом параметре?
Cетка уже как минимум быстрее дискового свопа. И это без мюри/инфинибандов ...

>>а если ещё десятки соседей будут к ней одновременно обращаться
А нафига? Можно же это организовать в виде страйпа. Т.е. "одновременность" будет размазана по нескольким узлам.

Re: что в ваше понимании является кластером?

Да это понятно как она расшифровывается.. Только есть большие сомнения что оно применимо на кластерах, в которых вычисления распределяются по большому количеству несильно связанных дешёвых машин.

Когда UNIX-машина начинает работать на свопе - это уже проблема, которую нужно решать немедленно, а насколько сетка быстрее - это ещё вопрос. В больших системах ведь и файловая система не на локальном винте живёт, скорее всего там окажется внешний супернаворочанный рейд для этих целей подключен.

Страйп был в старых HP-шных реализациях (лет этак 10 назад, до ccNUMA).. Насколько я понимаю, всё что этим достигается - скорость доступа к памяти можно считать постоянной и эквивалентной скорости доступа к нелокальной памяти. Хотя при этом остаётся открытым вопрос нахера оно такое нужно вообще. Скорости вроде не должно добавлять если выравнивается по доступу к памяти к самому медленному, и проблему совместного доступа тоже не решает.

Ведь сама физическая память не обслуживает процессы одновременно, следовательно запросы строятся в очередь. Допустим твои интенсивные вычислительные процессы (ага, интенсивные - иначе зачем кластер) постоянно доступаются к памяти. Память медленнее современных процов, значит один процесс может её занять на 100%. Но, допустим даже, процессу нужно всего лишь 20% полосы. Сколько процессоров сможет работать одновременно с данным куском памяти? Ага, пять. Больше процессоров - процессоры будут ждать шины, 10 процессоров будут половину своего времени ждать байта с шины.

А ведь есть и логический уровень при котором процессы в памяти неатомарно читают и пишут чего-нибудь с точки зрения программы осмысленное. И если твой процесс что-то там из памяти читает, а другой туда в то же время чего-то пишет - просто так ведь ничего хорошего не получится. Значит программа должна память блокировать, семафоры-мьютексы использовать и какую часть времени процессы будут висеть на этих мьютексах в ожидании своего шанса почитать/пописать память - одному богу известно, может у них больше времени на синхронизацию будет больше времени уходить чем собственно на работу.

Т.е. чтобы многочисленные процессы могли эффективно сотрудничать в рамках одной задачи, они должны минимизировать доступ к общим ресурсам, решать свою часть задачи по возможности локально - но тогда и NUMA какбэ не нужна, раз доступ к общим ресурсам минимален. Я так думаю..