PBS: Может ли последовательное задание с большим объемом памяти использовать память более чем одного узла?

Я новичок в высокопроизводительных вычислениях, я пытаюсь запустить последовательное задание, для которого требуется около 80 ГБ памяти. Однако общая память, доступная для одного узла, составляет всего 12 ГБ для нашего кластера (кластер нашей лаборатории немного устарел). Я прочитал несколько руководств в Интернете и, насколько я понимаю, только задания MPI могут использовать память более чем с одного узла? Это правда? Любые идеи о том, как решить мою конкретную проблему? Большое спасибо, ребята!


pbs hpc
person Mng1    schedule 07.08.2016    source источник

Ответы (2)


arrow_upward
0
arrow_downward

То, что вы описываете, является своего рода абстракцией общей памяти для распределенных систем. К сожалению, кластеры или любая другая система высокопроизводительных вычислений так не работает, и вам необходимо использовать межузловую связь (передачу сообщений), чтобы получить доступ к большему объему памяти. MPI является стандартом де-факто для распределенной обработки, и вы не сможете выполнить слабое масштабирование за пределами памяти узла без внесения изменений в код.

person Gavin Portwood    schedule 20.08.2016

arrow_upward
-1
arrow_downward

Я никогда не слышал, чтобы MPI мог запускать код, требующий больше памяти, чем на одном узле (если только приложение не было специально разработано для совместного использования памяти между узлами). Однако ElasticOS работает над этим: http://synergy.cs.vt.edu/2015-nsf-xps-workshop/reports/Richard_Han_45-Conference_Presentation_ElasticOS_XPS_2015.2.pdf

person Ole Tange    schedule 08.08.2016