Публикации по теме 'mwaa'
Вызов DAG Airflow в MWAA из n8n
Когда дело доходит до обработки данных, нам часто приходится создавать конвейеры данных для поэтапной обработки данных на всем пути от их извлечения из источника до их преобразования и агрегирования на целевой платформе. Эти конвейеры могут быть построены с использованием различных инструментов, и мы можем использовать комбинацию инструментов, чтобы получить максимальную отдачу от них, поскольку разные инструменты имеют разные наборы возможностей.
Эта статья является еще одной из..
Вопросы по теме 'mwaa'
AWS MWAA — Воздушный поток — Соединения нагрузки
Я рассматриваю возможность переноса Airflow с ECS на MWAA, что, по-видимому, хорошо работает. Но с точки зрения CICD есть некоторые ограничения на загрузку соединений. Основываясь на документации, мы не можем устанавливать соединения с помощью...
139 просмотров
schedule
09.10.2023
AWS MWAA (управляемый воздушный поток Apache); Программно включить DAG
Мы используем AWS MWAA. Мы программно добавляем наши файлы DAG.py в нашу корзину S3. Затем они отображаются в пользовательском интерфейсе. Однако они ВЫКЛЮЧЕНЫ, и вы должны нажать кнопку ВКЛ, чтобы запустить их.
РЕДАКТИРОВАТЬ: Также иногда мы...
128 просмотров
schedule
16.01.2023
Доступ к REST API Airflow в управляемых рабочих процессах AWS?
У меня есть Airflow, работающий в AWS MWAA, я хотел бы получить доступ к REST API, и есть 2 способа сделать это, но, похоже, он не работает для меня.
Переопределение api.auth_backend. Раньше это работало, а теперь AWS MWAA не позволит вам...
146 просмотров
schedule
14.01.2024
Нет модуля с именем «airflow.providers.ssh» в AWS Airflow (Amazon MWAA)
Мне нужно использовать sshoperator в DAG на AWS Airflow (Amazon MWAA), поэтому я импортировал следующую библиотеку в свой файл DAG.
from airflow.contrib.operators.ssh_operator import SSHOperator
Кажется, sshoperator был определен в библиотеке...
279 просмотров
schedule
17.05.2024