Вызов JDBC для импалы/улья из искрового задания и загрузка таблицы

Я пытаюсь написать искровое задание в java, которое откроет соединение jdbc с Impala и позволит мне загрузить таблицу и выполнить другие операции.

Как мне это сделать? Любой пример будет очень полезен. Благодарю вас!


apache-spark impala
person sumanth vernekar    schedule 02.02.2016    source источник
comment
Насколько мне известно, Impala использует Hive Metastore, так почему бы не использовать собственный HiveContext???   -  person Samson Scharfrichter    schedule 02.02.2016

Ответы (1)


arrow_upward
0
arrow_downward

Если использование JDBC является обязательным, вы можете попробовать выполнить запрос в драйвере spark.

Например. используя impyla для python, вы получите результат от impala в обычном списке кортежей. Позже вы можете преобразовать этот результат в spark rdd с помощью parallelize().

person facha    schedule 02.02.2016