Как остановить выполнение задач Airflow с выключенных дагов

Я создал несколько DAG-файлов, запустил их и остановил их в середине выполнения (с помощью кнопки OFF).

Однако пользовательский интерфейс по-прежнему показывает «Выполняемые задачи» для этих остановленных групп DAG. Я попытался установить «очистить» для этих задач, а не они выделены синим цветом, в «состоянии выключения».

Мне интересно, подсчитываются ли эти задачи в общем количестве запущенных задач и блокируются ли запуск других задач (с моей текущей конфигурацией только 32 задачи могут выполняться параллельно). Есть ли способ полностью очистить DAG, которые мне больше не нужны, и убедиться, что задачи ничего не блокируют и не замедляют воздушный поток?

Спасибо!


person Pierre    schedule 31.05.2018    source источник


Ответы (1)


Вы можете удалить все данные dag из таблиц dag_run и task_instances в базе данных meta.

Вы также можете сделать это через пользовательский интерфейс веб-сервера Airflow, перейдя в

Обзор -> DAG Runs & Browse -> Экземпляры задач

И удаление всех записей, относящихся к идентификатору dag.

Однако следует отметить, что для отображения изменений в полях состояния задачи и DAG на главной странице может потребоваться некоторое время.

person andscoop    schedule 31.05.2018