Один SQL-запрос для доступа к нескольким источникам данных в Java (от oracle, excel, sql-сервера)

Одним из подходящих решений является платформа DataNucleus с API-интерфейсами JDO, JPA и REST. Он поддерживает почти все СУБД (PostgreSQL, MySQL, SQLServer, Oracle, DB2 и т. д.) и хранилища данных NoSQL, такие как карты, графики, документы и т. д., веб-службы баз данных, LDAP, документы, такие как XLS, ODF, XML и т. д.

В качестве альтернативы вы можете использовать EclipseLink, который также поддерживает СУБД, NoSQL, веб-службы баз данных и XML.

При использовании JDOQL, который является частью JDO API, будет выполнено требование наличия одного запроса для доступа к нескольким хранилищам данных. Оба решения имеют открытый исходный код, относительно легкие и производительные.

Почему я предложил это решение?

• Из вашего требования понятно, что хранилище данных будет вашим выбором клиента, и вы не ищете решение для больших данных.
• Вы предпочитаете решения с открытым исходным кодом, легкие и производительные.
• С учетом вашего варианта использования вам может потребоваться платформа управления данными с режимом постоянства полиглота, которая может использовать несколько хранилищ данных в зависимости от ваших/клиентских вариантов использования.

Чтобы узнать больше о сохранении полиглота

https://dzone.com/articles/polyglot-persistence-future

https://www.mapr.com/products/polyglot-persistence

UnityJDBC — это коммерческий драйвер JDBC, который объединяет несколько источников данных и позволяет вам обращаться с ними как с если бы все они были частью одной базы данных. Это работает следующим образом:

Вы определяете "файл схемы" для описания каждой из ваших баз данных. Файл схемы выглядит примерно так:

...
<TABLE>
    <semanticTableName>Database1.MY_TABLE</semanticTableName>
    <tableName>MY_TABLE</tableName>
    <numTuples>2000</numTuples>
 <FIELD>
    <semanticFieldName>MY_TABLE.MY_ID</semanticFieldName>
    <fieldName>MY_ID</fieldName>
    <dataType>3</dataType>
    <dataTypeName>DECIMAL</dataTypeName>
    ...

У вас также есть центральный «исходный файл», который ссылается на все ваши файлы схемы и предоставляет информацию о подключении, и он выглядит следующим образом:

<SOURCES>
    <DATABASE>
        <URL>jdbc:oracle:thin:@localhost:1521:xe</URL>
        <USER>scott</USER>
        <PASSWORD>tiger</PASSWORD>
        <DRIVER>oracle.jdbc.driver.OracleDriver</DRIVER>
        <SCHEMA>MyOracleSchema.xml</SCHEMA>
    </DATABASE>
    <DATABASE>
        <URL>jdbc:sqlserver://localhost:1433</URL>
        <USER>sa</USER>
        <PASSWORD>Password123</PASSWORD>
        <DRIVER>com.microsoft.sqlserver.jdbc.SQLServerDriver</DRIVER>
        <SCHEMA>MySQLServerSchema.xml</SCHEMA>
    </DATABASE> 
</SOURCES>

Затем вы можете использовать unity.jdbc.UnityDriver, чтобы позволить вашему Java-коду запускать SQL, который объединяется между базами данных, например:

String sql = "SELECT *\n" +
"FROM MyOracleDB.Whatever, MySQLServerDB.Something\n" +
"WHERE MyOracleDB.Whatever.whatever_id = MySQLServerDB.Something.whatever_id";
stmt.execute(sql);

Таким образом, похоже, что UnityJDBC обеспечивает необходимую функциональность, однако я должен сказать, что любое решение, позволяющее пользователям выполнять произвольный SQL, объединяющий таблицы в разных базах данных, звучит как рецепт для приведения ваших баз данных в их колени. Решение, которое я действительно рекомендовал бы для вашего типа требований, состоит в том, чтобы выполнить ETL обрабатывает все ваши источники данных в единое хранилище данных и позволяет пользователи запрашивают это; как определить эти процессы, и ваше хранилище данных определенно слишком широкое для вопроса о стеке.

SQL связан с системой управления базами данных. Для SQL Server потребуются другие операторы SQL, отличные от сервера Oracle SQL.

Я предлагаю использовать JPA. Он полностью независим от вашей системы управления базами данных и делает разработку на Java намного более эффективной.

Недостатком является то, что нельзя объединить несколько систем баз данных с JPA из коробки (как в отношении 1: 1 между SQL Server и Oracle SQL server). Однако вы можете создать несколько EntityManagerFactories (по одному для каждой базы данных) и связать их вместе в своем коде.

Плюсы для JPA в этом сценарии:

• писать независимые запросы JPQL от системы управления базами данных
• уменьшает требуемый код Java

Минусы JPA:

• вы не можете связать объекты из разных баз данных (например, в отношениях 1: 1)
• вы не можете запрашивать несколько баз данных одним запросом (объединение таблиц из разных баз данных в group by или аналогичном)

Больше информации:

• Википедия

Я бы рекомендовал presto и calcite. производительность и легкость не всегда идут рука об руку.

• presto: довольно много проверенных способов использования, как вы сказали, «больших данных». хорошо работает масштабируется. Я не совсем понимаю, что конкретно означает легкий вес, если одним из них является требование меньшего количества машин, вы определенно можете масштабировать меньше в соответствии с вашими потребностями.

• calcite : встроен во множество библиотек анализа данных, таких как drill kylin phoenix. делает то, что вам нужно, "подключение к нескольким БД" и, самое главное, "легкий вес"

Имея опыт работы с некоторыми кандидатами (Apache Spark, Prestodb, Apache Drill), я выбрал Prestodb. Несмотря на то, что он в основном используется в больших данных, я думаю, что его легко настроить, и он поддерживает (почти) все, что вам нужно. В Интернете доступно множество ресурсов (включая запуск в Docker), а также отличные документация и активное сообщество, а также поддержка двух компаний (Facebook и Netflix).

Несколько баз данных на нескольких серверах от разных поставщиков Самый сложный случай — это когда базы данных находятся на разных серверах, и на некоторых серверах работает разное программное обеспечение баз данных. Например, база данных клиентов может размещаться на компьютере X в Oracle, а база данных заказов может размещаться на компьютере Y с Microsoft SQL Server. Даже если обе базы данных размещены на машине X, но одна находится в Oracle, а другая в Microsoft SQL Server, проблема остается той же: каким-то образом информация в этих базах данных должна быть разделена между разными платформами. Многие коммерческие базы данных поддерживают эту функцию с помощью некоторой формы объединения, компонентов интеграции или связывания таблиц (например, IBM, Oracle, Microsoft), но поддержка в базах данных с открытым исходным кодом (HSQL, MySQL, PostgreSQL) ограничена.

Существуют различные методы решения этой проблемы:

• Table Linking and Federation - связать таблицы из одного источника в другой для запроса
• Custom Code - написать код и несколько запросов для ручного объединения данных
• Data Warehousing/ETL — извлечь, преобразовать и загрузить данные в другой источник
• Mediation Software - напишите один запрос, который будет переведен посредником для извлечения необходимых данных

Может быть идея заработной платы. Попробуйте использовать Apache Solr. Используйте различные источники данных и импортируйте данные в Apache solr. Когда данные доступны, вы можете писать различные запросы, индексируя их.

Это поисковая платформа с открытым исходным кодом, которая гарантирует, что ваш поиск будет быстрее.

Вот для чего нужна структура Hibernate. Hibernate имеет собственный язык запросов HQL, в основном идентичный SQL. Hibernate действует как промежуточное ПО для преобразования запроса HQL в запросы, специфичные для базы данных.