Как оценить рекомендателя с помощью Mahout/Hadoop

Mahout поставляется с рядом предопределенных классов заданий Hadoop (вещи, производные от AbstractJob). К ним относятся задания по вычислению рекомендаций (RecommenderJob). Mahout также определяет различные RecommenderEvaluator для использования при тестировании этих рекомендаций, но мне не ясно, как можно запускать их в распределенном режиме с помощью Hadoop.

Это: запустить задание рекомендации, а затем передать его результат в оценщик? Я просмотрел RMSRecommenderEvaluatorTest, но, похоже, он делает все одним махом и не похож на работу Hadoop.


hadoop mahout mahout-recommender
person Mike Sokolov    schedule 13.05.2013    source источник
comment
Вы когда-нибудь находили решение своей проблемы? Я также рассматриваю, как генерировать показатели RMSE из тестового набора.   -  person stackoverflowuser2010    schedule 18.04.2014
comment
Я отметил правильный ответ, потому что я так думаю. Я также попытался выполнить некоторые оценки с использованием показателей точности/отзыва, но результаты оказались неудовлетворительными: я не думаю, что мой набор данных был достаточно плотным, чтобы статистика была значимой. В конечном итоге мы прибегли к менее формальным оценкам.   -  person Mike Sokolov    schedule 23.04.2014

Ответы (1)


arrow_upward
2
arrow_downward

Во-первых, я думаю, что рекомендации в Mahout состоят из двух частей: нераспределенные алгоритмы (из Taste) и распределенные задания Hadoop (ParallelAls и совместная фильтрация на основе элементов). RMSEEvaluator находится в нераспределенной части, не думаю, что он работает с заданиями Hadoop.

Чтобы оценить работу по рекомендации Hadoop в Mahout, взгляните на

org.apache.mahout.cf.taste.hadoop.als.FactorizationEvaluator

Вы также можете написать несколько сценариев и загрузить результаты рекомендаций в локальную файловую систему для оценки.

person darkjh    schedule 16.05.2013
comment
Это похоже на тот же вывод, к которому я пришел. Я собираюсь еще немного поковыряться, чтобы подтвердить. - person Mike Sokolov; 18.05.2013
comment
Просто любопытно, могу ли я использовать org.apache.mahout.cf.taste.hadoop.als.FactorizationEvaluator для оценки рекомендации, созданной ...item.RecommenderJob ? - person shihpeng; 28.04.2015