Соедините R и Impala

Вместо использования пакета RImpala, как насчет использования RJDBC для подключения. Вы можете загрузить последнюю версию JAR-файла драйвера Impala JDBC с веб-сайта Cloudera: http://www.cloudera.com/downloads/connectors/impala/jdbc/2-5-5.html

затем импортируйте эти файлы в банку в R и используйте их для подключения.

install.packages("rJava")

install.packages("DBI")

install.packages("RJDBC")

library(DBI)

library(rJava)

library(RJDBC)

cp <- c(        
           "C:/Users/Cloudera_ImpalaJDBC4_2.5.31/commons-codec-1.3.jar",
           "C:/Users/Cloudera_ImpalaJDBC4_2.5.31/commons-logging-1.1.1.jar",
           "C:/Users/Cloudera_ImpalaJDBC4_2.5.31/hive_metastore.jar",
           "C:/Users/Cloudera_ImpalaJDBC4_2.5.31/hive_service.jar",
           "C:/Users/Cloudera_ImpalaJDBC4_2.5.31/httpclient-4.1.3.jar",
           "C:/Users/Cloudera_ImpalaJDBC4_2.5.31/httpcore-4.1.3.jar",
           "C:/Users/Cloudera_ImpalaJDBC4_2.5.31/libfb303-0.9.0.jar",
           "C:/Users/Cloudera_ImpalaJDBC4_2.5.31/libthrift-0.9.0.jar",
           "C:/Users/Cloudera_ImpalaJDBC4_2.5.31/log4j-1.2.14.jar",
           "C:/Users/Cloudera_ImpalaJDBC4_2.5.31/ql.jar",
           "C:/Users/Cloudera_ImpalaJDBC4_2.5.31/slf4j-api-1.5.11.jar",
           "C:/Users/Cloudera_ImpalaJDBC4_2.5.31/slf4j-log4j12-1.5.11.jar",
           "C:/Users/Cloudera_ImpalaJDBC4_2.5.31/TCLIServiceClient.jar",
           "C:/Users/Cloudera_ImpalaJDBC4_2.5.31/zookeeper-3.4.6.jar"
)

.jinit(classpath<-cp)

drv <- JDBC("com.cloudera.impala.jdbc4.Driver", "C:/Users/Cloudera_ImpalaJDBC4_2.5.31/ImpalaJDBC4.jar")

con <- dbConnect(drv, "jdbc:impala://your_impala_host_address:21050;AuthMech= your authmech number if applicable", "username", "pwd")

data <- dbGetQuery(con, "SELECT * FROM mydb limit 25")

summary(data)

Пакет R implyr (в CRAN и GitHub) предоставляет серверную часть dplyr для Impala, используя для подключения драйвер ODBC или JDBC. Инструкции см. в README.

Мне удалось успешно использовать коннектор ODBC и пакет odbc в R. Похоже, этот метод не имеет никаких зависимостей от Java и рекомендован автором implyr. Исходя из моего ограниченного опыта, этот коннектор лучше справляется с правильным сопоставлением типов данных R с типами данных Impala, что приводит к меньшим размерам объектов в R.

Для Mac процесс выглядит примерно так:

• Установите коннектор Cloudera ODBC
• Установить unixodbc: brew install unixodbc

• Следуйте Руководство по установке коннектора Cloudera ODBC

  • echo export DYLD_LIBRARY_PATH=$DYLD_LIBRARY_PATH:/opt/cloudera/impalaodbc/lib/universal >> ~/.bash_profile

  • создайте файл ~/.odbcinst.ini с

    [ODBC Drivers] 
    Cloudera ODBC Driver for Impala=Installed
    [Cloudera ODBC Driver for Impala]
    Driver=/opt/cloudera/impalaodbc/lib/universal/libclouderaimpalaodbc.dylib
    Description=Cloudera ODBC Driver for Impala
    

  • при желании создайте файл ~/.odbc.ini с информацией о вашем подключении. Здесь я использую Kerberos:

    [impala]
    Driver = Cloudera ODBC Driver for Impala
    Database = 
    Host =
    Port =
    KrbHostFQDN =
    KrbServiceName =
    KrbRealm =
    AuthMech = 1
    

  • source ~/.bash_profile, чтобы убедиться, что DYLD_LIBRARY_PATH обновлено
• в R убедитесь, что у вас установлены DBI и odbc: install.packages(c("DBI", "odbc"))

• Наконец, чтобы установить соединение в R,

  library(DBI)
  library(odbc)
  conn <- dbConnect(odbc::odbc(),
                 driver = "Cloudera ODBC Driver for Impala",
                 #database = "",
                 host = "",
                 port = ,
                 KrbHostFQDN = "",
                 KrbServiceName = "",
                 KrbRealm = "",
                 AuthMech=1)
  

• Затем, чтобы получить что-то,

  dd <- dbGetQuery(conn, "select * from my_awesome_db.my_awesome_table limit 10;")
  

Просто хотел по-другому получить доступ к путям к классам, а не писать все jar-файлы:

drv <- JDBC(driverClass = "com.cloudera.impala.jdbc3.Driver", 
        classPath = list.files("C:/Users/Impala",
                               pattern="jar$",full.names=T),
        identifier.quote="'")

Используйте пакет RODBC. Я успешно использую его в производстве. Здесь я пишу учебник для него. Из этого блога

1. Загрузите ClouderaImpalaODBC32.msi и установите его.
2. Откройте его и введите необходимую информацию в поля аргументов, вот несколько скриншоты, которые помогут вам сделать это быстрее.
3. В среде R установите и создайте библиотеку RODBC.
4. тип,

library(RODBC)
impala <- odbcConnect("Impala")
sqlQuery(impala,"select * from xxx")

Кстати, если у вас среда под Win 10, в функции odbcConnect надо указать свой логин и пароль (Только что из отчета моего коллеги).

Надеюсь, вы успешно используете impala от R.