Вопросы по теме 'google-cloud-composer'
Использование Google Cloud Composer Rest API ИЛИ клиента Node.js
Привет, я новичок в Google Cloud Platform и Cloud Composer.
Я хочу создать среду Cloud Composer Environment с помощью кода. Но перед этим у меня есть следующие вопросы:
Есть ли способ создать среду Cloud Composer Environment с помощью Rest...
276 просмотров
schedule
29.12.2021
Cloud Composer выбрасывает InvalidToken после добавления еще одного узла
Недавно я добавил несколько новых групп DAG в производственный воздушный поток и в результате решил увеличить количество узлов в пуле Composer. После этого я получил ошибку: Can't decrypt _val for key=<KEY>, invalid token or value . Теперь...
112 просмотров
schedule
20.04.2022
Планирование загрузки из BigQuery в MongoDB с помощью apache-airflow (cloud-composer)
Я пытаюсь настроить конвейеры данных, которые перемещают данные из GCS в BigQuery, выполняют определенные задачи / обработку и загружают их в кластер MongoDB (все настроено в python с использованием DAG). Мне удавалось добиться этого до загрузки...
1690 просмотров
schedule
18.04.2024
Невозможно использовать облачное хранилище Google в Airflow
Я не могу использовать google-cloud-storage в своем Airflow. Я использую облачный композитор для своей среды Airflow.
Dag не принимает это, когда я использую приведенный ниже оператор в моем коде .py
from google.cloud import storage...
180 просмотров
schedule
31.10.2022
Группы обеспечения доступности баз данных Airflow, не запущенные в Google Cloud Composer: зависимости, блокирующие задачу от получения расписания
Я только что установил среду Cloud Composer на Python 3 и версию образа Composer composer-1.4.0-airflow-1.10.0 . Все настройки в остальном "стоковые"; т.е. без переопределения конфигурации.
Я пытаюсь протестировать чрезвычайно простой DAG. Он...
1668 просмотров
schedule
09.03.2022
Проблема облачного компоновщика с наборами данных в регионе Австралии
Я пытался использовать облачный композитор для планирования и организации заданий Bigquery. Таблицы Bigquery находятся в регионе australia-southeast1. Среда облачного композитора была создана в регионе us-central1 (поскольку композитор недоступен в...
213 просмотров
schedule
13.09.2022
Электронная почта при сбое не отправляется sendgrid/cloud composer
Я использую sendgrid, чтобы предупредить людей о сбое задачи в облачном композиторе. Но электронная почта не поступала в мой список адресов электронной почты даже после сбоя. Пожалуйста, найдите ниже список аргументов по умолчанию...
848 просмотров
schedule
05.11.2022
невозможно загрузить данные в большую таблицу запросов с помощью BigQueryOperator в композиторе
Я создал даг для загрузки данных из большого запроса в другую большую таблицу запросов. Я использовал BigQueryOperator в composer. Но этот код работает не так, как ожидалось. Я не могу получить сообщение об ошибке, может ли кто-нибудь помочь мне...
357 просмотров
schedule
13.10.2023
Как автоматизировать прогнозы с помощью обученной модели в облаке Google
У меня есть данные от веб-пользователей в Firestore.
Я вставил некоторые из этих данных в Google BigQuery, чтобы запустить модель машинного обучения.
У меня есть опыт обучения моделей машинного обучения, но у меня нет опыта в получении прогнозов...
595 просмотров
schedule
16.02.2024
Среда композитора GCP - не может создать среду
может кто-нибудь помочь в исправлении ошибки? не уверен, почему я продолжаю получать следующую ошибку
{
insertId: "5trpe7fxgu9l7"
logName: "projects/spikey-gcp-262519/logs/composer-agent"
receiveTimestamp:...
75 просмотров
schedule
05.04.2023
Airflow - Задачи, которые записывают файлы локально (GCS)
Я занимаюсь созданием нескольких конвейеров в Airflow после нескольких последних лет использования AWS DataPipeline. У меня есть пара вопросов, которые я не могу ответить, и надеюсь на некоторые разъяснения. Для контекста я использую Google Cloud...
894 просмотров
schedule
12.05.2024
Как прикрепить файл с помощью оператора электронной почты в Airflow
Я использовал аргумент files = ["abc.txt"]. Я получил информацию из документации по воздушному потоку ... https://airflow.readthedocs.io/en/stable/_modules/airflow/operators/email_operator.html
Но я получаю сообщение об ошибке, что файл не...
4509 просмотров
schedule
23.05.2022
Невозможно получить уведомления о сбое, успехе и повторной попытке в GCP composer с помощью Sendgrid
Я хочу получать уведомление по электронной почте об успешном выполнении задачи, сбое и повторной попытке в GCP composer с использованием Sendgrid.
В настоящее время все задачи в моей группе DAG успешно выполняются. Я хочу получить уведомление в...
507 просмотров
schedule
25.01.2024
Google Cloud Composer: экономьте на расходах
Пытаюсь понять, как сэкономить с помощью Google Cloud Composer. Есть ли способ раскрутить сервер, когда ни один из ваших дагов не работает? А потом раскрутить его снова, когда дагу нужно запустить?
Это стоит слишком дорого, поскольку я считаю,...
954 просмотров
schedule
14.01.2024
Разверните преобразованный Oozie DAG в Google Composer Airflow: нет модуля с именем 'o2a'
Я использую google oozie to airflow converter , чтобы преобразовать рабочий процесс oozie, работающий на AWS EMR. Удалось получить первую версию, но когда я пытаюсь загрузить DAG, воздушный поток выдает ошибку:
Неисправный DAG: нет модуля с...
93 просмотров
schedule
13.08.2023
Может ли одна задача воздушного потока запускаться на нескольких воркерах в Cloud Composer?
У меня есть задача в dag воздушного потока, для успешного выполнения которой требуется 100 ГБ ОЗУ. У меня есть 3 узла с памятью 50 ГБ каждый в среде Composer. У меня 3 воркера (по одному на каждом узле). Проблема здесь в том, что эта задача...
508 просмотров
schedule
11.02.2022
Как запустить блокнот на dataproc с помощью композитора
У меня есть блокнот Jupyter на dataproc , который использует dataproc для обработки. Я также сохранил этот блокнот на gcs по адресу gc: / bucket / ....
Я хочу создать рабочий процесс Composer для запуска этой записной книжки в моем существующем...
126 просмотров
schedule
17.01.2023
Автомасштабирование Google Cloud Composer
Я прочитал эту статью Medium, один из главных хитов при поиске автомасштабирования и Cloud Composer. Он показывает некоторые «хитрости», которые можно использовать для автомасштабирования Composer, пока он настроен на использование CeleryExecutor...
135 просмотров
schedule
08.09.2022
Система уведомления о задержке в воздушном потоке
Я пытаюсь внедрить систему предупреждений / уведомлений Airflow, когда DAG или задача не работают, успешно или задерживаются. Мне удалось реализовать уведомления FAILURE и SUCCESS, а также удалось частично реализовать систему уведомления о задержках...
343 просмотров
schedule
06.02.2022
Странно выглядящая заморозка пункта
Я нахожусь внутри одного из своих рабочих Kubernetes для облачного компоновщика Google и пытаюсь заморозить пип, чтобы получить список зависимостей Python.
За исключением того, что это замораживание пункта не похоже на те, которые я привык видеть....
32 просмотров
schedule
15.06.2022
