Вопросы по теме 'airflow-worker'

Может ли одна задача воздушного потока запускаться на нескольких воркерах в Cloud Composer?
У меня есть задача в dag воздушного потока, для успешного выполнения которой требуется 100 ГБ ОЗУ. У меня есть 3 узла с памятью 50 ГБ каждый в среде Composer. У меня 3 воркера (по одному на каждом узле). Проблема здесь в том, что эта задача...
508 просмотров

Как мне начать работу с Airflow, создав группу DAG, которая будет вызывать код Python, который у меня есть в другом репо (по расписанию)?
У меня есть репозиторий git на моем локальном компьютере здесь с некоторым кодом python c: \ repos \ myrepo \ src \ test.py ‹== сценарий python. Я хочу, чтобы Airflow запускался / выполнялся по расписанию Он размещен на гитхабе. У меня...
44 просмотров