Как настроить emr_default в воздушном потоке

Уважаемый участник Stackoverflow,

Я пытаюсь использовать Airflow для планирования группы обеспечения доступности баз данных, которая запускает кластер, запускает несколько искровых заданий, а затем завершает свою работу. Я попытался последовать этому примеру: https://insight.io/github.com/apache/incubator-airflow/blob/master/airflow/contrib/example_dags/example_emr_job_flow_automatic_steps.py

Это дало мне ошибку: воздушный поток. exceptions.AirflowException: conn_id emr_default не определен

Мне, вероятно, нужно настроить emr_default (пожалуйста, поправьте меня, если это не так). Кто-нибудь пробовал это раньше и давал мне несколько советов о том, как его настроить? Веб-сайт Airflow не предоставляет слишком много информации о соединении emr: http://pythonhosted.org/airflow/configuration.html?highlight=connection#connections

Спасибо!


person Chengzhi    schedule 26.06.2017    source источник


Ответы (2)


В пользовательском интерфейсе воздушного потока перейдите на вкладку «Администратор» -> «Подключения» и отредактируйте значения для строки emr_default.

person Him    schedule 28.06.2017
comment
Спасибо @Him, я обнаружил проблему, я использовал старую версию, затем обновился до 1.8, раньше не было emr_default в качестве переменной - person Chengzhi; 28.06.2017
comment
Я просто хочу добавить, что после использования aws_default и emr_default каталог ~ / .aws будет местом, где будет взята конфигурация aws. Так что убедитесь, что он у вас есть. Дополнительная информация: воздушный поток .apache.org / docs / apache-airflow-sizes-amazon / стабильный / - person Idan Gozlan; 29.06.2021

Как сказал @ Him, вы можете редактировать в воздушном потоке. но если вы не можете найти emr_default, вы можете перейти к Admin -> Connections -> Create, чтобы добавить любое соединение, которое вы хотите

person zhongjiajie    schedule 09.09.2017
comment
Спасибо @zhongjiajie, но я уже принял другой ответ, но все же хочу поблагодарить за ваш вклад. - person Chengzhi; 11.09.2017