Пытаюсь понять, как сэкономить с помощью Google Cloud Composer. Есть ли способ раскрутить сервер, когда ни один из ваших дагов не работает? А потом раскрутить его снова, когда дагу нужно запустить?
Это стоит слишком дорого, поскольку я считаю, что, хотя мои даги не работают, сервер остается включенным, и с нас взимается плата.
Спасибо,
На данный момент нет возможности включить / отключить среду Composer. Чтобы сэкономить на сервере, который не используется, необходима функция, аналогичная автомасштабированию, для которой запрос уже отправлен. На сайте Medium можно найти множество полезная информация по экономии затрат.
Один из способов контролировать свои расходы в Cloud Composer - использовать автомасштабирование. Количество узлов можно настроить на автоматическое масштабирование в кластере GKE, следуя это руководство. Лучше всего использовать меньший размер среды Cloud Composer и меньшее время работы.
Cloud Composer взимает плату за вычислительные ресурсы, выделенные среде, компоненты продолжают работать, даже если не развернуты группы DAG. Вы не так много можете уменьшить / отключить, вы можете рассмотреть другие службы платформы, такие как Dataflow, которая является бессерверной.
Я надеюсь, что приведенная выше информация окажется для вас полезной.
