Я пытаюсь использовать datafu.pig.stats.StreamingQuantile
в Отличный DataFu от LinkedIn библиотека. Однако я получаю следующую ошибку от Pig, когда он достигает первого использования StreamingQuantile
:
2013-08-03 00:55:45,294 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2998: Unhandled internal error. org/apache/pig/Accumulator
В лог-файле вижу следующее:
Pig Stack Trace
---------------
ERROR 2998: Unhandled internal error. org/apache/pig/Accumulator
java.lang.NoClassDefFoundError: org/apache/pig/Accumulator
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:792)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
(snip)
Я пытался использовать register
для включения guava.jar, а также pig.jar. Ни один не помогает. В качестве подхода с поясом и подтяжками я попытался включить несколько банок из библиотеки:
register file:/home/hadoop/lib/guava-13.0.1.jar
register file:/home/hadoop/lib/pig/pig-0.11.1.1-amzn.jar
register file:/home/hadoop/lib/pig/pig.jar
register s3://my-s3-location/datafu-0.0.10.jar
register file:/home/hadoop/lib/pig/piggybank.jar
Это не кажется обычным. Я имею в виду, очевидно, что NoClassDefFoundError распространен, но не Accumulator, особенно с DataFu. Вот самый близкий вопрос о stackoverflow но это связано с hbase, и я не смог найти ничего, что помогло бы. Единственный ответ на этот вопрос также указывает на то, что я пытался, к сожалению.
register file:/home/hadoop/lib/*.jar
иregister file:/home/hadoop/lib/pig/*.jar
. - person mr2ert   schedule 06.08.2013