Вопросы по теме 'azure-data-factory-pipeline'
Копирование данных из BLOB-объекта в SQL через фабрику данных Azure
У меня есть два примера файлов в blob, как sample1.csv и sample2.csv, как показано ниже.
образец данных
Имя таблицы SQL sample2, с именем столбца, идентификатором, фамилией, суммой
Создан поток ADF без схемы, он выглядит следующим образом...
347 просмотров
schedule
08.06.2022
Добавление элементов и в поток данных в ADF .NET SDK
Мне интересно, можно ли создавать потоки данных с помощью пакета SDK для фабрики данных Azure .NET? Я могу создавать конвейеры и добавлять поток данных как ExecuteDataFlowActivity, однако я не могу добавлять параметры, источники или преобразования....
107 просмотров
schedule
05.10.2023
Как хранить данные времени выполнения в фабрике данных Azure между выполнениями конвейера?
Я следил за руководством от Microsoft для инкрементальной / дельта-загрузки данных из базы данных SQL Server.
Он использует водяной знак (отметку времени), чтобы отслеживать измененные строки с момента последнего. В учебнике водяной знак...
281 просмотров
schedule
15.02.2024
Фабрика данных Использование запроса для создания json
У меня такая ситуация, когда мне нужно создать json на основе метаданных, и у меня возникла проблема с созданием.
Я использую базу данных для выполнения запроса, и это выглядит так: Использовать запрос:
SELECT CONCAT(
'
{
"entries": [...
79 просмотров
schedule
13.02.2022
Azure Datafactory: поток данных не может получить доступ к базе данных
Я создал хорошее решение ETL с фабрикой данных. Мы обязательно перейдем к стадии производства, и теперь безопасность становится реальной проблемой. Почему-то я не могу понять это правильно ....
Я установил CosmosDB и SQL Server / DB в Azure. Я...
150 просмотров
schedule
09.02.2024
Фабрика данных Azure не использует среду выполнения потока данных
У меня есть фабрика данных Azure с конвейером, который я использую для сбора данных из локальной базы данных и копирования в CosmosDB в облаке. Я использую этап потока данных в конце, чтобы удалить из приемника документы, которых нет в источнике.
У...
81 просмотров
schedule
19.02.2024
Каковы ресурсы по умолчанию, выделенные для конвейера ADF
С потоком данных мы можем указать размер сервера, но не с конвейерами. Конвейеры по-прежнему перемещают и манипулируют данными, поэтому для них должны быть выделены ресурсы.
Есть ли способ увидеть или настроить ресурсы, выделенные для конвейера,...
26 просмотров
schedule
20.08.2022