Повторный запуск неудачных SubDAG

Я играл с SubDAG. Большой проблемой, с которой я столкнулся, является то, что всякий раз, когда что-то в SubDAG выходит из строя, и я повторно запускаю что-то, нажимая Clear, повторно запускается только очищенная задача; успех не распространяется на последующие задачи в SubDAG и не запускает их.

Как мне повторно запустить невыполненную задачу в SubDAG, чтобы последующие задачи выполнялись правильно? Прямо сейчас я должен буквально повторно запускать каждую задачу в SubDAG, которая находится ниже по течению после сбойной задачи.

Думаю, я следовал лучшим практикам SubDAG; SubDAG наследует свойства Parent DAG везде, где это возможно (включая schedule_interval), и я не включаю SubDAG в пользовательском интерфейсе; родительский DAG включен и вместо этого запускает его.


person selwyth    schedule 20.04.2018    source источник
comment
Возможный дубликат Как запустить одну задачу воздушного потока и все ее зависимости?   -  person sophros    schedule 29.10.2019


Ответы (1)


Небольшой обходной путь, но в случае, если вы последовательно задали свои задачи task_id-s, вы можете попробовать обратную засыпку из Airflow CLI (интерфейс командной строки):

airflow backfill -t TASK_REGEX ... dag_id

где TASK_REGEX соответствует шаблону именования задачи, которую вы хотите повторно запустить, и ее зависимостям.

(не забудьте добавить остальные параметры командной строки, например --start_date).

person sophros    schedule 29.10.2019