Автомасштабирование Google Cloud Composer

Я прочитал эту статью Medium, один из главных хитов при поиске автомасштабирования и Cloud Composer. Он показывает некоторые «хитрости», которые можно использовать для автомасштабирования Composer, пока он настроен на использование CeleryExecutor.

Я также прочитал документы GCP об использовании KubernetesPodOperator (KPO) с Cloud Composer и реализовали это раньше.

Однако использование KPO означает, что вы не можете использовать всех других операторов воздушного потока - вам нужно каждый раз писать свой собственный контейнер и код.

KubernetesExecutor кажется лучшим путем вперед - вы можете использовать Операторы воздушного потока, и автоматическое масштабирование можно включить, поскольку он создаст новый модуль Kubernetes для каждого экземпляра задачи.

Google Cloud Composer в настоящее время работает на CeleryExecutor, в заблокированных конфигурациях воздушного потока сейчас состояния

Cloud Composer настраивает Airflow для использования исполнителя Celery для параметра core-executor.

Будет ли KubernetesExecutor когда-либо вариантом для Composer?


airflow google-cloud-composer
person cryanbhu    schedule 16.10.2020    source источник

Ответы (2)


arrow_upward
1
arrow_downward

К сожалению, на ваш вопрос пока нет ответа, так как нет официальных планов сделать это. Тем не менее, я был бы удивлен, если бы это хотя бы не рассматривалось командой разработчиков Cloud Composer.
Но как только появятся новости об этом, их следует опубликовать в этом Запрос функции.

person Ksign    schedule 30.11.2020

arrow_upward
-1
arrow_downward

Я бы порекомендовал этот обзор, объясненный исполнителями воздушного потока для сравнения функций CeleryExecutor. и KubernetesExecutor. Как вы уже выяснили по предоставленным вами ссылкам, CeleryExecutor действительно обеспечивает масштабируемость для среды Composer. Было бы неплохо иметь KubernetesExecutor в качестве опции, но это не обязательно, поскольку дополнительные преимущества не перевешивают недостатки.

person slakov    schedule 03.11.2020
comment
пожалуйста, расскажите о дополнительных преимуществах и недостатках, которые вы упомянули, и о том, как вы пришли к выводу, что KubernetesExecutor было бы неплохо и не обязательно - person cryanbhu; 01.12.2020
comment
Они содержатся в вопросе - KubernetesExecutor, кажется, лучший путь вперед - вы можете использовать операторы воздушного потока, и можно включить автомасштабирование, поскольку оно создаст новый модуль Kubernetes для каждого экземпляра задачи. - person slakov; 05.12.2020
comment
А как насчет ненужных и минусов? - person cryanbhu; 10.12.2020