Я хотел бы использовать скрипт bash и qsub для одновременного запуска 30-40 программ на Python. Каждая программа на Python читает и ищет в одном и том же наборе файлов (всего около 400) набор последовательностей. Есть ли проблема, когда несколько программ Python могут пытаться читать из одного и того же файла? Если да, то каковы последствия?
Могут ли несколько отправлений qsub читать одну и ту же группу файлов?
Ответы (1)
Нет проблем с несколькими заданиями чтения из одних и тех же файлов, которые навязывает Torque. (Я думаю, что это утверждение, вероятно, верно для любого менеджера ресурсов/планировщика.)
Я могу себе представить, что основной проблемой будет производительность вашей файловой системы и то, сможет ли она справиться с потенциально одновременным доступом к этим файлам.
person
dbeer
schedule
11.08.2016
