Как использовать lsf.yaml с snakemake?


Я хотел бы использовать snakemake с LSF.
Я следую этот URL.

Мой файл Snakefile содержит:

rule all:
input:
    "foo.txt",
    "file.out"

rule foo:
    input: "foo.txt"
    output: "bar.txt"
    shell:
        "set +o pipefail; grep bar {input} > {output} "

rule bar:
    input: "bar.txt"
    output: "file.out"
    shell:
        "echo blah > {output}"

По тому же пути у меня есть файл lsf.yaml. Файл содержит:

__default__:
  - "-q medium"
foo:
  - "-q short"

Он работает нормально, когда я запускаю его с помощью команды:

змейка -j 1

Это не удалось, когда я попытался проверить это с помощью lsf. Я бегу:

snakemake -j 1 - кластер "bsub"

Я получил:

Создание DAG заданий ... Использование оболочки: / usr / bin / bash Предоставляемый кластер
узлов: 1 Количество заданий:
количество заданий
1 все
1 полоса
1 foo
3

[Чт, 18 июня, 15:47:21 2020] rule foo:
ввод: foo.txt
вывод: bar.txt
jobid: 2

Память резервирование (МБ): 1024 Ограничение памяти (МБ): 1024 обучение:
Нет такой очереди. Работа не отправлена. Ошибка при отправке сценария задания (код выхода 255):

Завершение работы, это может занять некоторое время. Выход из-за сбоя
выполнения задания. См. Выше сообщение об ошибке. Полный журнал:
/home/student6/snakemake_test/.snakemake/log/2020-06-18T154721.snakemake.log

В файле журнала есть то же сообщение, что и выше, плюс:

Ошибка при отправке скрипта задания (код выхода 255):

Как заставить snakemake работать с LSF?
Спасибо.


person user1980099    schedule 18.06.2020    source источник
comment
Похоже, что snakemake-lsf-profile требует указания --profile, который отсутствует в вашей команде. Однако ваше сообщение об ошибке предполагает, что этот профиль каким-то образом идентифицирован и используется. Какое имя очереди lsf используется здесь?   -  person Manavalan Gajapathy    schedule 18.06.2020


Ответы (2)


Нет такой очереди. Работа не отправлена. Ошибка при отправке скрипта задания (код выхода 255):

возможно, это ключевое сообщение об ошибке. Существуют ли настроенные очереди в вашем кластере LSF?

__default__:
  - "-q medium"
foo:
  - "-q short"

Используйте bqueues для вывода списка доступных очередей. короткая - одна из предварительно настроенных очередей, а средняя - нет.

person Michael Closson    schedule 20.06.2020
comment
обе очереди определены в lsf - person user1980099; 21.06.2020

Проблема здесь в том, что вы используете параметр --cluster вместо --profile. Итак, если вы назвали свой профиль bsub, следуя инструкциям по установке, здесь, то это < em> должен исправить проблему за вас

$ snakemake -j 1 --profile "bsub" 
person Michael Hall    schedule 29.09.2020