Извлечение и преобразование данных из локального MySQL в хранилище данных Azure Synapse

Я пытаюсь настроить демонстрационное хранилище данных в Azure Synapse. Я хотел бы извлечь данные из локальной базы данных MySQL, преобразовать и агрегировать некоторые данные и сохранить их в таблицах фактов / измерений в Azure Synapse Analytics.

В настоящее время у меня есть экземпляр хранилища данных и фабрики данных Azure SQL. Я создал соединение с моей базой данных MySQL в фабрике данных, и я подумал, что могу использовать этот соединитель в качестве входных данных для нового потока данных, который преобразует набор данных и сохраняет его в моем целевом наборе данных, который связан с моим хранилищем данных Azure Synapse. .

Проблема в том, что фабрика данных просто поддерживает некоторые службы Azure, такие как озеро данных Azure или база данных SQL Azure, в качестве источника для нового потока данных.

Как лучше всего решить эту проблему? Создать экземпляр базы данных SQL Azure, скопировать данные из локальной базы данных MySQL в базу данных SQL Azure и затем использовать их в качестве источника для нового потока данных?


person Sanchez3005    schedule 13.04.2020    source источник


Ответы (1)


Лучшей практикой здесь является использование действия копирования в конвейере ADF для передачи данных из MySQL в Parquet в Blob или ADLS G2, а затем преобразование данных с помощью потоков данных.

person Mark Kromer MSFT    schedule 13.04.2020
comment
Спасибо за Ваш ответ! Было бы озеро данных или хранилище BLOB-объектов также наиболее разумным решением, если бы у меня были только структурированные данные, поступающие только из среды SQL (в отношении производительности)? - person Sanchez3005; 13.04.2020
comment
В большинстве случаев прямые соединители из потоков данных ADF непосредственно в преобразовании источника будут работать лучше. Но, безусловно, есть сценарии, в которых отдельные конвейеры, которые просто инкрементально поддерживают данные из SQL в озере, могут работать лучше. Это больше похоже на схему ELT с постановкой в ​​озере. - person Mark Kromer MSFT; 13.04.2020