Публикации по теме 'mwaa'


Вызов DAG Airflow в MWAA из n8n
Когда дело доходит до обработки данных, нам часто приходится создавать конвейеры данных для поэтапной обработки данных на всем пути от их извлечения из источника до их преобразования и агрегирования на целевой платформе. Эти конвейеры могут быть построены с использованием различных инструментов, и мы можем использовать комбинацию инструментов, чтобы получить максимальную отдачу от них, поскольку разные инструменты имеют разные наборы возможностей. Эта статья является еще одной из..

Вопросы по теме 'mwaa'

AWS MWAA — Воздушный поток — Соединения нагрузки
Я рассматриваю возможность переноса Airflow с ECS на MWAA, что, по-видимому, хорошо работает. Но с точки зрения CICD есть некоторые ограничения на загрузку соединений. Основываясь на документации, мы не можем устанавливать соединения с помощью...
139 просмотров
schedule 09.10.2023

AWS MWAA (управляемый воздушный поток Apache); Программно включить DAG
Мы используем AWS MWAA. Мы программно добавляем наши файлы DAG.py в нашу корзину S3. Затем они отображаются в пользовательском интерфейсе. Однако они ВЫКЛЮЧЕНЫ, и вы должны нажать кнопку ВКЛ, чтобы запустить их. РЕДАКТИРОВАТЬ: Также иногда мы...
128 просмотров
schedule 16.01.2023

Доступ к REST API Airflow в управляемых рабочих процессах AWS?
У меня есть Airflow, работающий в AWS MWAA, я хотел бы получить доступ к REST API, и есть 2 способа сделать это, но, похоже, он не работает для меня. Переопределение api.auth_backend. Раньше это работало, а теперь AWS MWAA не позволит вам...
146 просмотров

Нет модуля с именем «airflow.providers.ssh» в AWS Airflow (Amazon MWAA)
Мне нужно использовать sshoperator в DAG на AWS Airflow (Amazon MWAA), поэтому я импортировал следующую библиотеку в свой файл DAG. from airflow.contrib.operators.ssh_operator import SSHOperator Кажется, sshoperator был определен в библиотеке...
279 просмотров
schedule 17.05.2024