Демоны Hadoop Yarn перестают работать

Запуск start-dfs.sh и start-yarn.sh с последующим запуском jps дает следующий результат:

8227 ResourceManager
8328 NodeManager
7804 NameNode
8366 Jps
8077 SecondaryNameNode
7901 DataNode

Если я запускаю jps примерно через 5 секунд, вывод будет следующим:

7804 NameNode
8473 Jps
8077 SecondaryNameNode
7901 DataNode

Два демона пряжи (ResourceManager и NodeManager) перестают работать по некоторым причинам. Есть идеи, почему это может произойти?


daemon hadoop resourcemanager
person Olshansk    schedule 25.12.2013    source источник
comment
Как сказал jkbkot ниже, проверьте журналы, обычно причины очевидны.   -  person Vishal    schedule 26.12.2013

Ответы (1)


arrow_upward
2
arrow_downward

Обычно это происходит, когда возникают проблемы с запуском служб. Это может быть много вещей - отсутствующая конфигурация, проблемы с разрешениями и т. д.

Вам нужно будет проверить журналы ResourceManager и NodeManager для получения более подробной информации.

person Jakub Kotowski    schedule 25.12.2013
comment
Да, было много разного. В частности, мне пришлось изменить файлы конфигурации yarn-site.xml и mapred-site.xml. - person Olshansk; 26.12.2013
comment
@Olshansk, не могли бы вы упомянуть, какие свойства вам пришлось изменить? - person Alexey Grigorev; 26.10.2015
comment
К сожалению, это было так давно, что я уже и не помню. Насколько я помню, это было связано с общим объемом памяти, который я выделял для всего кластера, в сочетании с количеством картографов/редукторов и минимальным/максимальным объемом памяти для каждого картографа и редуктора. Дайте мне знать, если вы все еще застряли. Я, вероятно, могу выкопать этот проект и посмотреть мою историю git. - person Olshansk; 28.10.2015