Вопросы по теме 'google-cloud-data-fusion'
Как настроить Google Рекламу в качестве источника конвейера Cloud Data Fusion?
Я пытаюсь загрузить данные своей учетной записи Google Рекламы в конвейер Cloud Data Fusion, но я просто вижу, что доступны только 12 источников (BigQuery, Amazon S3, File, Excel, Kafka Consumer и т. Д.)
Кто-нибудь знает, есть ли способ...
82 просмотров
schedule
17.04.2024
Не удалось предоставить привилегии учетной записи службы Data Fusion, если проект находится в организации.
Я хочу создать экземпляр Data Fusion и предоставить учетной записи службы права на чтение и запись в BigQuery. Я использую бета-версию Data Fusion, и мой проект принадлежит организации.
gcloud services enable datafusion.googleapis.com...
279 просмотров
schedule
30.03.2023
Невозможно загрузить файл Excel в Google Data Fusion из облачного хранилища Google
Я не могу загрузить файл Excel из облачного хранилища Google в центр слияния данных ни с помощью параметра источника данных в качестве Excel, ни с помощью обработчика. при использовании wrangler для загрузки данных он говорит, что объект не...
429 просмотров
schedule
03.03.2023
Внесите в белый список подключение AWS RDS к Google Cloud Data Fusion
У нас есть экземпляр Google Cloud Data Fusion, которому необходимо подключиться к AWS RDS, чтобы извлекать из него данные. Единственная проблема заключается в том, что мы не можем добавить порт 1433 в белый список для подключения к Google Cloud Data...
349 просмотров
schedule
13.04.2023
Как последовательно запускать конвейеры cdap datafusion
У меня есть сценарий, в котором у меня есть 5 конвейеров, которые я хочу запускать последовательно один за другим. Есть какой-либо способ сделать это. Я попытался прочитать документацию, но она была непонятна.
Заранее спасибо!
202 просмотров
schedule
14.05.2024
Как сохранить конвейер после удаления экземпляра Data Fusion
Можно ли сохранить конвейер даже после удаления экземпляра Data Fusion? Мы планируем удалять экземпляр каждый день в EOD.
157 просмотров
schedule
22.11.2022
Макросы в Datafusion с использованием установщика аргументов
Используя установщик аргументов, указав значение параметра, я хочу сделать конвейер Datafusion возобновляемым. Как сказано во многих других ответах, пытались реализовать с использованием примера многоразового облачного конвейера, приведенного в...
686 просмотров
schedule
18.08.2022
Продолжить движение по трубопроводу после раковины
Мне нужно загрузить файл CSV, расположенный в GCS, в базу данных Cloud SQL (postgres) с помощью Data Fusion.
Для каждой строки CSV мне нужно вставить строку в другую таблицу (Table_B) и ссылаться на нее в моей целевой таблице (Table_A) с...
68 просмотров
schedule
18.05.2024
Google Datafusion: загрузка нескольких небольших таблиц ежедневно
Я хочу загружать около 100 небольших таблиц (минимум 5 записей, максимум 10000 записей) из SQL Server в Google BigQuery ежедневно. Мы создали 100 конвейеров Datafusion, по одному конвейеру для каждой исходной таблицы. Когда мы запускаем один...
313 просмотров
schedule
25.09.2022
Как установить аргументы времени выполнения в конвейере CDAP / DATA FUSION?
В дополнение к подключаемому модулю Argument Setter, есть ли другой способ установить аргументы времени выполнения в конвейере? Например: «Я подсчитал общее количество сообщений об ошибках» и хочу задать аргумент времени выполнения, чтобы отправитель...
610 просмотров
schedule
07.07.2022
Слияние данных: обратите внимание на проблему с достаточным объемом памяти и проблему с утерянным исполнителем
Я обрабатываю файл через конвейер Google Data Fusion Pipeline, но по ходу конвейера я получаю предупреждения и ошибки ниже:
25.09.2020 12:31:31 WARN org.apache.spark.storage.memory.MemoryStore # 66-Исполнитель запуска задачи для задачи 6...
166 просмотров
schedule
14.05.2022
Мне интересно узнать о внутреннем рабочем процессе GCP Data Fusion.
Я использовал продукт DataFusion платформы Google Cloud в режиме разработчика и в корпоративном режиме.
Для режима разработчика не было настройки dataproc (главный узел, рабочий узел).
Для корпоративного режима было значение параметра dataproc....
54 просмотров
schedule
10.03.2022
Datafusion загрузить BQ с данными рабочего листа XML 2003
У меня есть система, экспортирующая данные как XML 2003 Worksheet. Мне нужно загрузить его в Bigquery через слияние данных или любой другой процесс с использованием ресурсов GCP. Так
Можно ли завершить это с помощью DataFusion
Я следил за...
96 просмотров
schedule
01.10.2022
Может ли объединение данных частного облака подключаться к Интернету?
Наше приложение состоит из сервера приложений spring-bot, развернутого с помощью облачной среды , и базы данных cloud sql postgres .
База данных является частной и подключена к частному VPC . Сервер приложений может подключаться к базе данных...
182 просмотров
schedule
07.03.2024
CDAP PUBSUB Тип данных Pipleine MAP в реальном времени
Я пытаюсь пройти через подписку pubsub, используя конвейер реального времени cdap.
Я могу подключить pubsub, но столбец атрибутов проходит как тип данных MAP, и я видел, что ничего не могу с ним сделать (мне нужны данные в нем).
Идея состоит в...
38 просмотров
schedule
20.06.2022
Слияние данных GCP - не удается найти раздел репликации в меню
Я пытаюсь следовать этой статье для репликации локальной базы данных MySQL в BigQuery. Я настроил все необходимое, вплоть до перехода на страницу Репликация , но я не могу найти страницу репликации в пользовательском интерфейсе Cloud Data Fusion....
52 просмотров
schedule
24.03.2022
GCP Data Fusion Конфигурация хранилища BLOB-объектов Azure Перенос нескольких файлов
Я пытаюсь передать несколько CSV-файлов из контейнера хранилища Azure в корзину GCP через конвейер объединения данных.
Я могу успешно передать один файл, указав указанный ниже путь (полный путь для определенного CSV-файла) для поля «путь» для...
142 просмотров
schedule
13.06.2022
Cloud Data Fusion - обрезать кавычки для всех столбцов
У меня есть файл csv в GCS с полями с сотнями столбцов, заключенными в кавычки, как показано ниже:
Джон, Доу, 15.05.2021 19:18:26
Мне нужно загрузить это в BigQuery с помощью объединения данных, создать конвейер. У меня вопрос
Как мне...
55 просмотров
schedule
29.12.2023
