Доступ к REST API Airflow в управляемых рабочих процессах AWS?

У меня есть Airflow, работающий в AWS MWAA, я хотел бы получить доступ к REST API, и есть 2 способа сделать это, но, похоже, он не работает для меня.

  1. Переопределение api.auth_backend. Раньше это работало, а теперь AWS MWAA не позволит вам добавить это, это считается «черным списком» и не разрешено.
    api.auth_backend = airflow.api.auth.backend.default

  2. Использование MWAA Cli (Python). Это не работает, если какая-либо из групп обеспечения доступности баз данных использует пакеты из файла requirments.txt.
    a. например, у меня есть paramiko в файле requirements.txt, потому что у меня есть задача, использующая SSHOperator. MWAA Cli не работает без модуля paramiko

    б. Здесь также отмечено https://docs.aws.amazon.com/mwaa/latest/userguide/access-airflow-ui.html Любая команда, которая анализирует DAG (например, list_dags, backfill), завершится ошибкой, если DAG использует подключаемые модули, которые зависят от пакетов, установленных с помощью требований. .текст.


person user15364819    schedule 21.04.2021    source источник
comment
Удалось ли вам найти решение вашей проблемы?   -  person ypicard    schedule 07.06.2021
comment
@ypicard К сожалению, нет, однако они выпустили Airflow 2.x как часть MWAA. Я собираюсь протестировать эту версию.   -  person user15364819    schedule 08.06.2021
comment
Я запускаю Airflow v2.x в MWAA, и API в данный момент недоступен в этой версии. stackoverflow.com/questions/67884770/   -  person ypicard    schedule 09.06.2021
comment
@ypicard К сожалению.   -  person user15364819    schedule 10.06.2021