Вопросы по теме 'impala'
Поддерживает ли Cloudera impala mongodb?
Impala поддерживает прямой запрос данных в индексах распределенной файловой системы Hadoop (HDFS) и HBase (база данных NoSQL), поддерживает ли она mongodb (база данных NoSQL)?
1397 просмотров
schedule
15.06.2022
загрузить данные в секционированную таблицу impala
У меня есть данные в HDFS в следующей структуре каталога:
/exported/2014/07/01/00/SEARCHES/part-m-00000.bz2
part-m-00001.bz2
/exported/2014/07/01/02/SEARCHES/part-m-00000.bz2...
1714 просмотров
schedule
18.11.2022
Cloudera Impala: как он считывает данные из блоков HDFS?
У меня был основной вопрос в Импале. Мы знаем, что Impala позволяет запрашивать данные, хранящиеся в HDFS. Теперь, если файл разбит на несколько блоков, и, скажем, строка текста распределена по двум блокам. В Hive/MapReduce об этом позаботится...
710 просмотров
schedule
12.03.2024
Cloudera Impala - это фреймворк, потребляющий память?
Я использую bigdata в своем проекте, чтобы сократить время работы, которое требуется моему ETL для выполнения.
Я хотел бы понять, интенсивно ли используется CloudEra Impala Framework в памяти, поскольку он возвращает результаты очень быстро и...
140 просмотров
schedule
24.05.2022
Impyla UDF - где находится numba.ext.impala?
Кто-нибудь знает, где я могу найти расширение numba impala ( numba.ext.impala ), упомянутое в этом примере impyla: https://github.com/cloudera/impyla/tree/master/examples/iris_model ? Я много искал на github, а также в Google, но безуспешно....
215 просмотров
schedule
17.11.2022
Impala SQL - Как подсчитать месяцы между временными метками?
Используя Impala SQL, есть ли краткий способ подсчета количества месяцев между двумя временными метками?
Функция datediff возвращает только количество дней между двумя отметками времени, но я надеюсь, что есть элегантный способ выполнить тот же...
5454 просмотров
schedule
08.05.2022
Собственная UDF Impala (Cpp) случайным образом дает результат NULL для одних и тех же входных данных в одной таблице для нескольких вызовов в одном запросе.
У меня есть Native Impala UDF (Cpp) с двумя функциями. Обе функции дополняют друг друга.
String myUDF(BigInt)
BigInt myUDFReverso(String)
myUDF("myInput") дает некоторый вывод, который, когда myUDFReverso(myUDF("myInput")) должен вернуть...
236 просмотров
schedule
29.02.2024
Установить размер файла быстрого вывода паркета - улей?
Я пытаюсь разделить файлы parquet / snappy, созданные hive INSERT OVERWRITE TABLE ... на границе dfs.block.size, поскольку импала выдает предупреждение, когда файл в разделе больше, чем размер блока.
Impala регистрирует следующие ПРЕДУПРЕЖДЕНИЯ:...
9434 просмотров
schedule
03.03.2022
Микростратегия — подключение к HBase
Мы пытаемся подключить MS 9.4 к HBase через коннектор Impala.
Сначала мы создали таблицы куста, сравнив их с таблицами HBase со следующей таблицей создания (как мы видели в документах):
CREATE TABLE hiveTableName1
(key int, columnName1...
958 просмотров
schedule
19.12.2023
Группа Impala по разделенным столбцам
У меня есть внутренняя таблица impala, разделенная на несколько столбцов, и я хочу выполнить группировку по некоторым полям, включая столбцы разделения, в основном мой запрос выглядит так:
select market, col1, count(1) from mytable group by...
1121 просмотров
schedule
01.06.2023
Соедините R и Impala
Я, конечно, знаю о воспроизводимом примере и фрагменте кода, но для этого вопроса я должен быть (я не могу быть иначе) неясным.
Я пытаюсь соединить R и Impala . Оставим в стороне проблемы («официально» я не могу установить программное обеспечение...
7841 просмотров
schedule
21.12.2023
Таблица 9.2: Ошибка при использовании Impala для подключения к Cloudera CDH 5.5.1
Установка: - CDH 5.5.1 с Impala 2.3.0 - Tableau 9.2 с Cloudera ODBC Connector 2.5.30
Я могу добавить соединение в Tableau к моему кластеру, и я могу перечислить схемы и таблицы. Однако, как только я выбираю столбец на листе, я получаю следующую...
495 просмотров
schedule
28.12.2022
Работа с огромными наборами данных с помощью Impala
У меня есть общий вопрос об Impala и некоторых традиционных системах баз данных SQL. Я слышал, что Impala может воспринимать определенные операторы SQL буквально и выдавать таблицы с миллиардами строк (например, что может произойти с оператором...
32 просмотров
schedule
28.02.2024
Вызов JDBC для импалы/улья из искрового задания и загрузка таблицы
Я пытаюсь написать искровое задание в java, которое откроет соединение jdbc с Impala и позволит мне загрузить таблицу и выполнить другие операции.
Как мне это сделать? Любой пример будет очень полезен. Благодарю вас!
416 просмотров
schedule
22.04.2024
Разбор формата даты для присоединения к улью
У меня есть поле даты типа String и в формате:
03/11/2001
И я хочу соединить его с другим столбцом, который находится в другом формате String:
1855-05-25 12:00:00.0
Как я могу эффективно объединить оба столбца в улье, игнорируя...
899 просмотров
schedule
21.04.2023
Вставить запись в таблицу impala на основе типа данных и имени столбца
У меня есть таблица impala, формат которой такой.
+--------------------------+-----------+---------+
| name | type | comment |
+--------------------------+-----------+---------+
| col_key | bigint |...
59 просмотров
schedule
01.08.2022
Форматы даты IMPALA - преобразование полной метки времени в почасовую метку времени
Мне нужно взять полный столбец меток времени (формат: YYYY-MM-DD HH:MM:SS.SSSS ) и преобразовать его в почасовую метку времени (формат: YYYY-MM-DD HH:00:00 )
Например: я хочу преобразовать существующую дату:
2016-02-26 04:00:07.766304000...
9227 просмотров
schedule
16.11.2023
Как проверить, работают ли сервисы cloudera, такие как hive, Impala, через код Java?
Я хочу выполнить несколько запросов куста, а затем мне нужно собрать различные метрики, такие как чтение/запись байтов hdfs. Для этого я написал java-код. Но перед запуском кода я просто хочу проверить, работают ли сервисы Cloudera, такие как hive,...
658 просмотров
schedule
28.12.2023
Impala/SQL: выберите подтаблицу и присоединитесь
Я пытаюсь использовать следующий код, чтобы найти данные за последний месяц в таблице_1, а затем соединить их с таблицей_2:
import pandas as pd
query = 'select * from table_1 where table_1.ts > "2016-07-12 00:00:00" as recent_table left join...
852 просмотров
schedule
28.05.2023
SQL/Impala: динамическое определение интервала последнего месяца
Я использую следующий код, чтобы найти данные за последний месяц:
select * from table1 where timestamp > "2016-07-14 00:00:00"
«2016-07-14 00:00:00» вручную выбирается как дата за месяц до сегодняшнего дня. Однако я не хочу менять дату...
1987 просмотров
schedule
24.10.2023
