Не удается найти аккумулятор при использовании DataFu с AWS Pig v0.11

Я пытаюсь использовать datafu.pig.stats.StreamingQuantile в Отличный DataFu от LinkedIn библиотека. Однако я получаю следующую ошибку от Pig, когда он достигает первого использования StreamingQuantile:

2013-08-03 00:55:45,294 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2998: Unhandled internal error. org/apache/pig/Accumulator

В лог-файле вижу следующее:

Pig Stack Trace
---------------
ERROR 2998: Unhandled internal error. org/apache/pig/Accumulator

java.lang.NoClassDefFoundError: org/apache/pig/Accumulator
    at java.lang.ClassLoader.defineClass1(Native Method)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:792)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
(snip)

Я пытался использовать register для включения guava.jar, а также pig.jar. Ни один не помогает. В качестве подхода с поясом и подтяжками я попытался включить несколько банок из библиотеки:

register file:/home/hadoop/lib/guava-13.0.1.jar
register file:/home/hadoop/lib/pig/pig-0.11.1.1-amzn.jar
register file:/home/hadoop/lib/pig/pig.jar
register s3://my-s3-location/datafu-0.0.10.jar
register file:/home/hadoop/lib/pig/piggybank.jar

Это не кажется обычным. Я имею в виду, очевидно, что NoClassDefFoundError распространен, но не Accumulator, особенно с DataFu. Вот самый близкий вопрос о stackoverflow но это связано с hbase, и я не смог найти ничего, что помогло бы. Единственный ответ на этот вопрос также указывает на то, что я пытался, к сожалению.


person tedder42    schedule 03.08.2013    source источник
comment
Что произойдет, если вы зарегистрируете все банки? Например, register file:/home/hadoop/lib/*.jar и register file:/home/hadoop/lib/pig/*.jar.   -  person mr2ert    schedule 06.08.2013
comment
это была отличная идея, но она не сработала, снова ошибка 2998.   -  person tedder42    schedule 06.08.2013
comment
Вы наконец нашли ответ? У меня как-то были похожие проблемы.   -  person natdico    schedule 02.04.2015
comment
@natdico нет, не нашел ответа и просто отказался от попыток. Если вы что-то найдете, напишите ответ, и я приму.   -  person tedder42    schedule 02.04.2015