Я связал 2 маппера, за которыми следует 1 редуктор. Можно ли записать промежуточные результаты (o/p каждого преобразователя в цепочке) в HDFS? Я попытался установить OutputPath для каждого, но, похоже, это не сработало. Теперь я не уверен, что это вообще возможно. Какие-либо предложения?
карта цепи Hadoop/уменьшить
Ответы (1)
Результат всегда записывается в HDFS как SequenceFile. Но если вы используете редьюсер, эти ребята просто временные файлы, и они удаляются после завершения задания. Если вам нужен вывод карты, вам нужно связать два задания. Одна работа без редуктора и работа с редуктором. Или, если у вас есть навыки написания hdfs-файлов вне задачи карты, это тоже возможно.
Первый подход не кодируется, а второй — кодируется. Тебе решать!
person
Thomas Jungblut
schedule
23.03.2011
Спасибо, Томас. Первый подход не нуждается в ChainMapper, верно? Это просто 2 разные работы?
- person Meg; 23.03.2011
да, вы правы, проверьте свою конфигурацию, что количество редукторов первого задания установлено равным нулю
- person Thomas Jungblut; 23.03.2011
