Тестирование нескольких выходных данных с помощью MRUnit

Есть ли способ протестировать класс сокращения с MRUnit, который использует MultipleOutputFormat для записи в несколько выходных файлов?


java reducers hadoop mapreduce mrunit
person David Parks    schedule 20.01.2013    source источник

Ответы (2)


arrow_upward
4
arrow_downward

Похоже, поддержка MultipleOutputs все еще продолжается в MRUnit Jira.

При этом я нашел человека, который внедрил свои собственные драйверы, подкласс MapReduceDriver MRUnit, чтобы заставить его работать с MultipleOutputs здесь, надеюсь, это поможет.

person Charles Menguy    schedule 20.01.2013
comment
Спасибо, что нашли драйверы chetan на GitHub. У вас не было возможности использовать их самостоятельно? Мне непонятно, как он учитывает параметры namedOutput и baseOutputPath функции MultipleOutputs.write(). - person Daniel Koverman; 04.07.2013
comment
К сожалению, связанный код не работает, это даже недействительный код Java. MultiOutputMapReduceDriver.java:37 хочет использовать конфигурацию символа, которая не определена. Кроме того, в MultiOutputReduceDriver.java:34 конструктор, используемый для класса MockReduceContextWrapper, не определен. - person gyorgyabraham; 12.08.2013

arrow_upward
4
arrow_downward

MRUnit 1.1.0 был выпущен в июне 2014 г. (см. http://mrunit.apache.org/).

Этот последний выпуск включает поддержку MultipleOutputs (см. https://issues.apache.org/jira/browse/MRUNIT-13)

person Géraud    schedule 06.10.2014