Мы хотели бы выполнять инкрементную загрузку файлов с нашего локального файлового сервера в Azure Data Lake с помощью фабрики данных Azure v2.
Предполагается, что файлы хранятся на локальном файловом сервере ежедневно, и нам придется запускать конвейер ADFv2 через регулярные промежутки времени в течение дня, и должны быть захвачены только новые необработанные файлы из папки.
Мы рекомендуем поместить набор файлов для ежедневной загрузки в каталоги / ГГГГ / ММ / ДД. Вы можете обратиться к этому примеру, чтобы узнать, как использовать системные переменные (@trigger () .duledTime) для чтения файлов из соответствующего каталога:
https://docs.microsoft.com/en-us/azure/data-factory/how-to-read-write-partitioned-data
В исходном наборе данных вы можете выполнить фильтрацию файлов. Вы можете сделать это, например, по времени (вызов функции datetime на языке выражений) или что-то еще, что будет определять новый файл. https://docs.microsoft.com/en-us/azure/data-factory/control-flow-expression-language-functions Затем с помощью запланированного триггера вы можете выполнять конвейер n раз в течение дня.
