У меня проблема с долгим ожиданием между задачами в одной DAG. У меня Airflow 1.10. Кто-нибудь может указать, какие настройки актуальны для твика? См. пример ниже.
Самое долгое ожидание здесь — более полутора часов.
Airflow 1.10 - большая задержка между задачами
comment
Просто добавляю сюда еще одну точку данных, но иногда я вижу задержку между задачами до ~ 30 минут. В моем кластере, который управляется облачным компоновщиком в облаке Google, стандартно несколько минут. Я не нашел никакого решения, но у других людей, похоже, есть эта проблема. Трудно поверить, что он мог работать так плохо. FWIW, одно из основных улучшений Airflow 2 заключается в том, что скорость планирования задач значительно снижается.
- person Hippocrates schedule 22.01.2021
Ответы (1)
Единственное, что сработало для меня, это перезапуск планировщика. Итак, теперь у меня есть задание cron для перезапуска планировщика каждые 5 минут.
person
Wessi
schedule
24.01.2019
