Фабрика данных Azure не использует среду выполнения потока данных

У меня есть фабрика данных Azure с конвейером, который я использую для сбора данных из локальной базы данных и копирования в CosmosDB в облаке. Я использую этап потока данных в конце, чтобы удалить из приемника документы, которых нет в источнике.

У меня настроено 3 среды выполнения интеграции:

  • AutoResolveIntegrationRuntime (по умолчанию настроено в Azure)
  • Самостоятельная среда выполнения интеграции (я настроил ее для подключения к локальной базе данных, чтобы она использовалась исходным набором данных)

введите описание изображения здесь

  • Среда выполнения интеграции потока данных (я настроил ее для использования на этапе потока данных с настройкой TTL)

введите описание изображения здесь

Проблема, с которой я сталкиваюсь, заключается в том, что когда я запускаю конвейер, используется AutoResolveIntegrationRuntime, поэтому я не получаю необходимую оптимизацию из среды выполнения интеграции потока данных с TTL. Есть мысли о том, что здесь может быть не так?


comment
Привет, @HEIdursi! Если мой ответ окажется для вас полезным, надеюсь, вы сможете принять его как ответ (щелкните галочку рядом с ответом, чтобы переключить его с серого на заполненный). Это может быть полезно для других членов сообщества. Спасибо.   -  person Leon Yue    schedule 26.04.2021


Ответы (1)


По моему опыту, только AutoResolveIntegrationRuntime (по умолчанию настроено в Azure) поддерживает оптимизацию:  введите описание изображения здесь

Когда мы выбираем запуск потока данных при интеграции не по умолчанию, оптимизации нет: введите описание изображения здесь

И после создания среды выполнения интеграции мы также не смогли изменить настройки:  введите описание изображения здесь

В документах фабрики данных об этом больше не говорится. Когда я запустил конвейер, я обнаружил, что время выполнения потока данных не работает:  введите описание изображения здесь

Это означает, что независимо от того, какую среду выполнения интеграции вы использовали для подключения к набору данных, при низком уровне данных всегда будет использоваться среда выполнения интеграции Azure по умолчанию.

person Leon Yue    schedule 23.04.2021