Планирование задания AirfFlow DAG

Я написал DAG AirFlow, как показано ниже:

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2016, 7, 5),
    'email': ['[email protected]'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(seconds=30),
    # 'queue': 'bash_queue',
    # 'pool': 'backfill',
    # 'priority_weight': 10,
    # 'end_date': datetime(2016, 1, 1),
}

dag = DAG(
    'test-air', default_args=default_args, schedule_interval='*/2 * * * *')
.................
.................
{{Tasks}}

Согласно приведенной выше конфигурации, задание должно запускаться каждую четную минуту. Но вместо этого он показывает ниже вывод

airflow scheduler -d test-air
[2016-07-05 15:24:02,168] {jobs.py:574} INFO - Prioritizing 0 queued jobs
[2016-07-05 15:24:02,177] {jobs.py:726} INFO - Starting 0 scheduler jobs
[2016-07-05 15:24:02,177] {jobs.py:741} INFO - Done queuing tasks, calling the executor's heartbeat
[2016-07-05 15:24:02,177] {jobs.py:744} INFO - Loop took: 0.012636 seconds
[2016-07-05 15:24:02,256] {models.py:305} INFO - Finding 'running' jobs without a recent heartbeat
[2016-07-05 15:24:02,256] {models.py:311} INFO - Failing jobs without heartbeat after 2016-07-05 15:21:47.256816
[2016-07-05 15:24:07,177] {jobs.py:574} INFO - Prioritizing 0 queued jobs
[2016-07-05 15:24:07,182] {jobs.py:726} INFO - Starting 0 scheduler jobs
[2016-07-05 15:24:07,182] {jobs.py:741} INFO - Done queuing tasks, calling the executor's heartbeat
[2016-07-05 15:24:07,182] {jobs.py:744} INFO - Loop took: 0.007725 seconds
[2016-07-05 15:24:07,249] {models.py:305} INFO - Finding 'running' jobs without a recent heartbeat
[2016-07-05 15:24:07,249] {models.py:311} INFO - Failing jobs without heartbeat after 2016-07-05 15:21:52.249706

Может ли кто-нибудь провести меня сюда?

Спасибо, Пари.


airflow
person Pari    schedule 05.07.2016    source источник

Ответы (1)


arrow_upward
10
arrow_downward

По умолчанию каждый создаваемый даг находится в режиме «паузы». Это определено в вашем файле «airflow.cfg». Вы можете приостановить свой даг,

$ airflow unpause test-air

и повторите попытку с помощью планировщика.

Вы также можете включать и выключать даг из веб-интерфейса Airflow (по умолчанию он выключен).

person sidd607    schedule 05.07.2016
comment
Спасибо за Ваш ответ. Я понял через WebUI, но не знал, что это пауза/возобновление паузы в бэкэнде. Огромное спасибо - person Pari; 05.07.2016
comment
@PariksheetBarapatre Если это помогло вам, не могли бы вы отметить это как правильный ответ! - person sidd607; 13.07.2016
comment
Извините за задержку. Готово. У вас есть идея ре. stackoverflow.com/questions/38304567 / - person Pari; 13.07.2016