Установка Snappy на кластер HDP

У меня есть кластер HBase, построенный с использованием Hortonworks Data Platform 2.6.1. Теперь мне нужно применить сжатие Snappy к таблицам HBase.

Не устанавливая Snappy, я выполнил тест сжатия и получил успешный результат. Я использовал следующие команды.

hbase org.apache.hadoop.hbase.util.CompressionTest file:///tmp/test.txt snappy

hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://hbase.primary.namenode:8020/tmp/test1.txt snappy

Ниже приведены ответы на обе команды.

2017-10-30 11:25:18,454 INFO  [main] hfile.CacheConfig: CacheConfig:disabled
2017-10-30 11:25:18,671 INFO  [main] compress.CodecPool: Got brand-new compressor [.snappy]
2017-10-30 11:25:18,679 INFO  [main] compress.CodecPool: Got brand-new compressor [.snappy]
2017-10-30 11:25:21,560 INFO  [main] hfile.CacheConfig: CacheConfig:disabled
2017-10-30 11:25:22,366 INFO  [main] compress.CodecPool: Got brand-new decompressor [.snappy]
SUCCESS

Я также вижу ниже библиотеки по пути /usr/hdp/2.6.1.0-129/hadoop/lib/native/.

libhadoop.a 
libhadooppipes.a 
libhadoop.so 
libhadoop.so.1.0.0 
libhadooputils.a 
libhdfs.a 
libsnappy.so 
libsnappy.so.1 
libsnappy.so.1.1.4

Поддерживает ли HDP мгновенное сжатие по умолчанию?

Если да, могу ли я сжать таблицы HBase без установки Snappy?


hadoop compression snappy hortonworks-data-platform hbase
person thanuja    schedule 31.10.2017    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Не устанавливая Snappy, я выполнил тест сжатия и получил успешный результат.

Ambari установил его во время установки кластера, так что да, эти команды работают.

Поддерживает ли HDP мгновенное сжатие по умолчанию?

Да, репозиторий HDP-UTILS предоставляет мгновенные библиотеки.

Могу ли я сжать таблицы HBase без установки Snappy?

Hbase предоставляет другие алгоритмы сжатия, так что да

person OneCricketeer    schedule 01.11.2017
comment
Спасибо за разъяснение @ cricket_007. Это было действительно полезно. - person thanuja; 02.11.2017