КОПИРОВАТЬ данные GZIP HDFS в vertica

Я хочу КОПИРОВАТЬ данные HDFS (gzip) в Vetica.

Я использую следующую команду. но он не работает

КОПИРОВАТЬ pix001 ИСТОЧНИК Hdfs(url='http://hadoopnemenode.com:50070/webhdfs/v1/bq-upload/pix/m=03/d=01/03-01.txt.gz', имя пользователя='xyz ') GZIP DELIMITER E'\t';

Кто-нибудь знает лучший способ сделать это

Спасибо


nosql database hadoop vertica
person roy    schedule 19.05.2014    source источник
comment
У вас есть сообщение об ошибке?   -  person woot    schedule 19.05.2014
comment
если я запускаю команду выше, это дает ошибку для GZIP. ОШИБКА 4856: Синтаксическая ошибка в GZIP или рядом с ним в символе 147 LINE 1: ...=03/d=01/03-01.txt.gz', имя пользователя='xyz') GZIP DELIM...   -  person roy    schedule 19.05.2014
comment
Можете ли вы разархивировать его вне Vertica, чтобы убедиться, что он не имеет внутреннего повреждения?   -  person geoffrobinson    schedule 20.05.2014
comment
Я попробовал, что это работает отлично, набор данных огромен, поэтому я пытаюсь загрузить его в сжатой форме.   -  person roy    schedule 20.05.2014

Ответы (3)


arrow_upward
3
arrow_downward

Да, есть поддержка GZIP, просто нужно скомпилировать библиотеки GZIP [Наконец-то мне помогли ребята из Vertica :)]

вот шаги:

  1. # cd /opt/vertica/sdk/examples/
  2. # сделать
  3. # vsql -f FilterFunctions.sql
  4. dbadmin=> СОЗДАТЬ БИБЛИОТЕКУ GZipLib AS '/opt/vertica/sdk/examples/build/GZipLib.so';
  5. dbadmin=> СОЗДАТЬ ФИЛЬТР GZip КАК ЯЗЫК 'C++' НАЗВАНИЕ 'GZipUnpackerFactory' БИБЛИОТЕКА GZipLib;

КОПИРОВАТЬ abc002 ИСТОЧНИК Hdfs(url='http://hadoop-namenode.com:50070/webhdfs/v1/03-01.txt.gz', username='xyz') filter GZip() DELIMITER E'\t';

person roy    schedule 21.05.2014

arrow_upward
0
arrow_downward

Добавляя к рою ответ,

Шаги по созданию (сборке) приведены ниже (№ 2-й шаг в ответе Роя)

sudo apt-get install g++ 
sudo apt-get install zlib1g-dev  # for gzip 
g++ -lz -D HAVE_LONG_INT_64 -I /opt/vertica/sdk/include -Wall -shared -Wno-unused-value    -fPIC -o /opt/vertica/sdk/examples/build/GZipLib.so /opt/vertica/sdk/examples/FilterFunctions/GZip.cpp /opt/vertica/sdk/include/Vertica.cpp

Подсказка: флаг -lz для статического связывания библиотеки zlib с GZip.so

Документация Vertica по компиляции UDF

person Rajesh    schedule 27.11.2015

arrow_upward
-1
arrow_downward

Не похоже, что копирование из HDFS поддерживает GZIP?:

https://my.vertica.com/docs/7.0.x/HTML/Content/Authoring/HadoopIntegrationGuide/HDFSConnector/LoadingDataFromHDFS.htm

Во всяком случае, я не вижу этого в этом документе.

person kimbo305    schedule 20.05.2014