AWS MWAA (управляемый воздушный поток Apache); Программно включить DAG

Мы используем AWS MWAA. Мы программно добавляем наши файлы DAG.py в нашу корзину S3. Затем они отображаются в пользовательском интерфейсе. Однако они ВЫКЛЮЧЕНЫ, и вы должны нажать кнопку ВКЛ, чтобы запустить их.

РЕДАКТИРОВАТЬ: Также иногда мы можем захотеть включить DAG, который включен, чтобы выключить (программно)

Я хочу сделать это программно, но не могу понять.

В API, похоже, его нет: https://docs.aws.amazon.com/mwaa/latest/userguide/mwaa-actions-resources.html

Кажется, у Бото его нет: https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/mwaa.html

Можно ли манипулировать статусом DAG от OFF/ON ON/OFF через API?


amazon-web-services airflow mwaa
person Tommy    schedule 14.04.2021    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Это невозможно сделать через API, но вы можете использовать is_paused_upon_creation этот флаг указывает, приостанавливается ли даг при первом создании. Если даг уже существует, этот флаг будет проигнорирован.

Вы можете установить is_paused_upon_creation=False в подрядчике DAG.

dag = DAG(
    dag_id='tutorial',
    default_args=default_args,
    is_paused_upon_creation=False,
)

Другой вариант — сделать это через включить CLI:

airflow dags unpause [-h] [-S SUBDIR] dag_id
person Elad    schedule 14.04.2021
comment
если задание включено, как мне его переключить, не удаляя и не создавая заново, что заставит нас потерять историю? - person Tommy; 14.04.2021
comment
@Tommy, вы можете сделать это через интерфейс командной строки airflow.apache.org/docs/apache-airflow/stable/ или через пользовательский интерфейс - person Elad; 14.04.2021
comment
все это работает через AWS MWAA? - person Tommy; 15.04.2021
comment
Да. См. dnx.solutions/how-to-use- apache-airflow-cli-with-amazon-mwaa - person Elad; 15.04.2021
comment
как работает интерфейс командной строки? например, если CLI работает, для него должен быть API, не так ли? - person Tommy; 16.05.2021