Шаблон проектирования DataLake Power BI

У нашего клиента есть общая проблема с множеством распределенных хранилищ данных с различными технологическими стеками. Затем конечная цель - собрать вместе определенные части данных для создания подробных отчетов с помощью Microsoft Power BI.

Есть ли стандартный шаблон для этого подхода? Мои первоначальные мысли заключаются в том, чтобы

  1. По возможности, фабрика данных Azure для переноса данных в озеро данных Azure.
  2. Если это невозможно, автоматизируйте извлечение и сброс данных в Azure Data Lake.
  3. Пользовательский Power BI Desktop для подключения к наборам данных csv для создания модели и отчетов (при выполнении значительного преобразования)
  4. Публикуйте в сервисе PowerBI, чтобы поделиться им между пользователями

Обеспокоенность...

  1. Должны ли мы использовать DataFlows в фабрике данных (или какой-либо другой ETL) для преобразования ИЛИ продолжить использование редактора запросов в PowerBI
  2. Есть ли проблемы с производительностью при подключении большого количества наборов данных и выполнении значительных преобразований в PowerBI Desktop?
  3. Чтобы обновить отчет новыми данными, можно ли просто перезаписать предыдущий файл CSV в пакете данных и обновить отчет?

person Garreth    schedule 11.08.2020    source источник


Ответы (1)


По моему опыту:

  1. Используйте редактор запросов. Это популярный инструмент. Множество примеров и видео повсюду.
  2. Не уверен, сколько их, но вы можете загрузить файл электронной таблицы размером до 1 ГБ. Один рабочий лист может иметь размер до 30 МБ. Нажмите здесь подробнее о лимитах
  3. да. И вы также можете настроить автоматическое обновление, чтобы вам не нужно было ничего нажимать.
person Joe Beck    schedule 11.08.2020