Tableau Extract как функциональность с Presto

Я разрабатывал собственный инструмент отчетности (не для хранилища данных) с обычной аналитической панелью управления. На данный момент я планирую использовать PostgreSQL в качестве моей базы данных отчетов, поскольку у меня есть все основные аналитические функции, доступные там. Но когда дело доходит до поиска на лету необработанных данных, время отклика слишком плохо. запрос выполняется на postgresDB, не так эффективен.

Подход в памяти, такой как извлечения Tableau, идеально подходит для такого рода вариантов использования. Могу ли я добиться чего-то подобного, используя Presto между Postgres и уровнем отчетности, чтобы Presto выполнял запросы поверх необработанных данных и быстрее выдавал результат? результат?

Предположим, я говорю о таблице «порядок» и ищу какую-то конкретную категорию элементов, снова фильтрую по подкатегории и т. д. Будет ли presto отправлять каждый запрос в Postgres для каждого действия пользователя или он будет разумно отфильтровывать данные, которые уже присутствуют в предварительном слое?

Если Presto не является правильным решением для этого, существуют ли какие-либо базы данных/движки для решения таких динамических отчетов в памяти, подобных извлечениям таблиц?


postgresql tableau-api presto reporting in-memory
person Anoop R    schedule 04.05.2019    source источник

Ответы (2)


arrow_upward
0
arrow_downward

Presto не принесет большой пользы при развертывании поверх одного экземпляра СУБД (здесь: PostgreSQL). Presto по-прежнему нужно будет извлекать данные из базовой базы данных, и его эффективность будет ограничена эффективностью вашего PostgreSQL.

Однако с Presto вы можете использовать дополнительные хранилища данных, например. вы можете поэкспериментировать с встроенным соединителем памяти Presto или использовать базу данных NoSQL для быстрого доступа к отдельным записям.

Кроме того, вам следует подумать, может ли другое моделирование ваших данных принести некоторое улучшение. Возможно, вы могли бы использовать решение Cube/Data Mart (например, Druid) для более быстрого доступа к агрегированные результаты. Если вы используете Presto в качестве уровня виртуализации данных, вы сохраняете свободу изменять базовые технологии, не меняя при этом свой настраиваемый инструмент отчетности.

person Piotr Findeisen    schedule 04.05.2019
comment
Спасибо за ваши предложения. Я только что быстро прочитал о разъеме Presto Memory. Готова ли эта реализация к производству или все еще находится в стадии бета-тестирования. - person Anoop R; 05.05.2019
comment
@AnoopR работает, но имеет ограничения. Используйте разумно, т. е. он может подходить или не подходить к вашей настройке. - person Piotr Findeisen; 05.05.2019
comment
Правда, необходимо тщательно проверить, будет ли это соответствовать требованиям или усложнит ситуацию. Если данные не такие большие, скажем, ‹ 20 ГБ, мы можем даже использовать опцию SQL-lite в памяти (никогда не пробовал, просто прочитал об этом). Есть мысли? - person Anoop R; 05.05.2019

arrow_upward
0
arrow_downward

Presto имеет поддержку Postgres, но если вам нужна функциональность, подобная Tableau, просто используйте Таблица?

В качестве альтернативы вы можете настроить свои индексы и другие параметры Postgres, чтобы изначально повысить производительность этой базы данных.

person tagyoureit    schedule 04.05.2019
comment
Нам не нужна полная функциональность Tableau. Нас интересует функция извлечения (в памяти) в Tableau. - person Anoop R; 05.05.2019