Как распаковать конец выходного файла hadoop с помощью snappy?

Наш кластер Hadoop использует snappy в качестве кодека по умолчанию. Задание Hadoop уменьшает имя выходного файла, например, part-r-00000.snappy. JSnappy не может распаковать файл, потому что JSnappy требует, чтобы файл начинался с SNZ. Выходной файл сокращения каким-то образом начинается с нескольких байтов 0.

Как я могу распаковать файл?


hadoop snappy
person DeepNightTwo    schedule 06.11.2013    source источник
comment
Аналогично вопросу, заданному в списках рассылки Hadoop: [email protected]%3E" rel="nofollow noreferrer">mail-archives.apache.org/mod_mbox/hadoop-mapreduce-user/   -  person Chris White    schedule 06.11.2013
comment
hadoop fs -text snappy_file работает. Спасибо!   -  person DeepNightTwo    schedule 08.11.2013

Ответы (1)


arrow_upward
18
arrow_downward

Используйте «Hadoop fs -text», чтобы прочитать этот файл и передать его в txt-файл. бывший:

hadoop fs -текстовая часть-r-00001.snappy > /tmp/mydatafile.txt

person arviarya    schedule 10.03.2014