Список приложений (работ) пуст в Hadoop 2.x

У меня есть установка Hadoop 2.8.1 на macOS Sierra (Darwin Kernel версии 16.7.0), и она работает нормально, за исключением отслеживания приложений/задач.

1) Сначала я подумал, что это проблема с веб-интерфейсом диспетчера ресурсов. Так:

  • Я скопировал шаблон yarn-site.xml в файл etc/yarn-site.xml, но это не помогло.
  • Я попытался изменить значение по умолчанию «dr. who' к моему пользователю Hadoop в диспетчере ресурсов (http://localhost:18088/cluster/apps/RUNNING?user.name=myUser), но и это не помогло.

2) Даже в командной строке я не могу отслеживать свои приложения (работы): приложение yarn -list всегда возвращает пустое значение.

3) Еще информация: на выходе приложения INFO, оно показывает следующие строки, но я не могу получить к ним доступ. ИНФОРМАЦИЯ mapreduce.Job: URL-адрес для отслеживания задания: http://localhost:8080/ ИНФОРМАЦИЯ mapreduce.Job: Выполняется задание: job_local2009332672_0001

Проблема в пряже? Должен ли я изменить другой файл настроек? Спасибо!


hadoop yarn resourcemanager
person Karina Rebuli    schedule 04.11.2017    source источник
comment
Какой фреймворк mapreduce вы установили? Файлы job _local не используют YARN. Посмотрите на mapreduce.framework.name в mapred-site   -  person OneCricketeer    schedule 04.11.2017
comment
Спасибо, @cricket_007! У меня нет этого файла mapred-site. Я нашел это свойство в файле mapred-default.xml. Это было со значением «local», я изменил его на «yarn» и перезапустил Hadoop. Но мой список приложений по-прежнему пуст. Любая другая идея?   -  person Karina Rebuli    schedule 04.11.2017
comment
Вам нужно переименовать файл по умолчанию в mapred-site   -  person OneCricketeer    schedule 05.11.2017
comment
Отлично, работает!! Спасибо @cricket_007 =)   -  person Karina Rebuli    schedule 05.11.2017
comment
Прохладно. Я перенесу этот комментарий в ответ.   -  person OneCricketeer    schedule 05.11.2017

Ответы (2)


arrow_upward
0
arrow_downward

Посмотрите на mapreduce.framework.name в mapred-site.xml. В вашем HADOOP_CONF_DIR

Установите его значение на yarn.

Если у вас нет сайта mapred, скопируйте и переименуйте XML-файл mapred-default.

person OneCricketeer    schedule 05.11.2017

arrow_upward
0
arrow_downward

Спасибо за ответ, я безуспешно искал эту функцию. Я сделал изменения в etc/hosts напрасно. Ответ заключается в том, чтобы установить mapreduce.framework.name в mapred-site.xml как пряжу, как указано cricket_007. Это устанавливает пряжу в качестве основы по умолчанию для операций MapReduce.

person allojo    schedule 01.05.2019