Мы хотим иметь производственную среду воздушного потока, но не знаем, как правильно обращаться с секретами, в частности с файлами JSON клиента google bigquery.
Мы попытались настроить секреты кубернетов в автоматически созданном кластере кубернетов (автоматически путем создания среды Google Cloud composer (airflow)). В настоящее время мы просто помещаем файлы в корзину, но нам нужен способ получше.
def get_bq_client ():
""" returns bq client """
return bq.Client.from_service_account_json(
join("volumes", "bigquery.json")
)
Нам нужна некоторая форма надлежащего управления необходимыми секретами. К сожалению, использование переменных воздушного потока не сработает, потому что мы не можем создать клиентский объект, используя файл json в виде текста.
