Apache Airflow - BigQueryOperator: как динамически установить раздел destination_dataset_table

Мне нужна задача BigQueryOperator, подобная следующей: в которой мне нужно сохранить результат запроса в многораздельную таблицу. Однако "month_start" должен быть получен из фактического DAG execution_date. Мне не удалось найти никаких документов или примеров того, как читать дату исполнения в моем сценарии определения DAG (на Python). С нетерпением жду помощи здесь.

БЮР: Я использую Airflow 1.8.2

 t1_invalid_geohash_by_traffic =  BigQueryOperator(
                                        task_id='invalid_geohash_by_traffic',
                                        bql='SQL/dangerous-area/InvalidGeohashByTraffic.sql',
                                        params = params,
                                        destination_dataset_table=
                                        'mydataset.mytable${}'.format(month_start),                                      write_disposition='WRITE_TRUNCATE',
                                        bigquery_conn_id=CONNECTION_ID,
                                        use_legacy_sql=False
                                    )

person foxwendy    schedule 23.10.2017    source источник


Ответы (1)


Думаю, я нашел ответ. Только что наткнулся на этот блог: https://cloud.google.com/blog/big-data/2017/07/how-to-aggregate-data-for-bigquery-using-apache-airflow

person foxwendy    schedule 23.10.2017