Cloudera Hue работает с WordCount

Я успешно установил и запустил менеджер и агент CDH5. Однако всякий раз, когда я пытаюсь запустить задание MR hello world, то есть WordCount, оно достигает 33% и остается в одном и том же состоянии в течение длительного времени и не продолжается.

Любые подсказки относительно того, где это может быть не так?

К вашему сведению, при попытке запуска в терминале все работает нормально.


person Tanny    schedule 19.05.2015    source источник


Ответы (2)


Рекомендуется переключить Hue для использования сервера CherryPy вместо Spawning. В hue.ini или Hue Safety Valve в CM введите:

[desktop]
use_cherrypy_server = true

Эти проблемы могут быть вызваны сбоем Beeswax или его очень медленной работой и блокировкой всех запросов, поскольку сервер Spawing не полностью озеленен.

person madhu    schedule 19.05.2015
comment
В CDH5 больше нет Спавн-сервера. - person Romain; 21.05.2015

Hue может использовать Oozie для отправки заданий, и для этого требуется больше задач MR. Обычно проблема заключается в том, что Yarn Apps запрашивает слишком много памяти в вашем кластере (поэтому уменьшите их ресурсы по умолчанию в конфигурации пряжи) или это ошибка № 5 http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-using-gotchas/

person Romain    schedule 21.05.2015