Hadoop 2.6 Подключение к ResourceManager по адресу /0.0.0.0:8032

Я пытаюсь запустить следующий пример Spark в Hadoop 2.6, но получаю следующую ошибку:

ИНФОРМАЦИЯ RMProxy: подключение к ResourceManager по адресу /0.0.0.0:8032, и клиент входит в цикл, пытаясь подключиться. Я запускаю кластер из двух машин, одной главной и подчиненной.

./bin/spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn-cluster \
--num-executors 3 \
--driver-memory 2g \
--executor-memory 2g \
--executor-cores 1 \
--queue thequeue \
lib/spark-examples*.jar \
10

Это ошибка, которую я получаю:

15/12/06 13:38:28 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  
15/12/06 13:38:29 INFO RMProxy: Connecting to ResourceManager at /0.0.0.0:8032  
15/12/06 13:38:30 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)  
15/12/06 13:38:31 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)   
15/12/06 13:38:32 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)   
15/12/06 13:38:33 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)   
15/12/06 13:38:34 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

JPS

hduser@master:/usr/local/spark$jps

4930 ResourceManager 
4781 SecondaryNameNode 
5776 Jps 
4608 DataNode 
5058 NodeManager 
4245 Worker 
4045 Master

Мой /etc/хост/

/etc/hosts

192.168.0.1 master 
192.168.0.2 slave

Следующие строки желательны для хостов с поддержкой IPv6

::1     ip6-localhost ip6-loopback 

fe00::0 ip6-localnet 

ff00::0 ip6-mcastprefix 

ff02::1 ip6-allnodes

java apache-spark hadoop resourcemanager
person Jose Antonio    schedule 06.12.2015    source источник

Ответы (6)


arrow_upward
3
arrow_downward

Эта ошибка в основном возникает, когда имя хоста настроено неправильно... Пожалуйста, проверьте, правильно ли настроено имя хоста и то же самое, что вы упомянули для Resourcemanager...

person Naruto    schedule 06.12.2015
comment
Это мой /etc/hosts 192.168.0.1 master 192.168.0.2 slave # Следующие строки желательны для хостов с поддержкой IPv6 ::1 ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02: :1 ip6-все узлы - person Jose Antonio; 06.12.2015
comment
Мое имя хоста на ведущей машине правильное, а на подчиненной машине — ведомое. - person Jose Antonio; 06.12.2015
comment
У вас есть # перед IP-адресом мастера и подчиненного? - person Ravindra babu; 06.12.2015
comment
Нет, не знаю. У меня нет ни одного персонажа перед ИП - person Jose Antonio; 06.12.2015
comment
И в моем yarn-site.xml я настроил свойство yarn.resourcemanager.hostname с основным значением. - person Jose Antonio; 06.12.2015

arrow_upward
1
arrow_downward

Я также столкнулся с той же проблемой, когда мне не удалось отправить задание искры с помощью spark-submit.

Проблема возникла из-за отсутствия пути HADOOP_CONF_DIR при запуске задания Spark. Поэтому всякий раз, когда вы отправляете задание, задайте для HADOOP_CONF_DIR соответствующий каталог HADOOP CONF. Как экспорт HADOOP_CONF_DIR=/etc/hadoop/conf

person Ajit K'sagar    schedule 03.11.2016

arrow_upward
0
arrow_downward

Вам нужно убедиться, что yarn-site.xml находится в пути к классам, а также убедиться, что соответствующие свойства отмечены истинным элементом.

person DroneAB    schedule 17.03.2017
comment
Не могли бы вы предоставить более подробную информацию о том, какие свойства имеют отношение к ответу здесь? - person OneCricketeer; 17.03.2017

arrow_upward
0
arrow_downward

Подобный экспорт HADOOP_CONF_DIR=/etc/hadoop/conf был хорошей идеей для моего случая в flink на пряже, когда я запускаю ./bin/yarn-session.sh -n 2 -tm 2000.

person Matiji66    schedule 24.05.2017

arrow_upward
0
arrow_downward

Как вы можете видеть здесь yarn.resourcemanager.address рассчитывается на основе yarn.resourcemanager.hostname, значение которого по умолчанию равно 0.0.0.0. Поэтому вам следует настроить его правильно.
Из базы установки Hadoop отредактируйте файл etc/hadoop/yarn-site.xml и добавьте это свойство.

  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>

Повторное выполнение start-yarn.sh введет в действие ваши новые настройки.

person mahyard    schedule 29.07.2017

arrow_upward
0
arrow_downward

У меня такая же проблема. Моя причина в том, что время на разных машинах не совпадает, поскольку мой диспетчер ресурсов не находится на главной машине. Разница всего в одну секунду может вызвать проблемы с соединением пряжи. Еще несколько секунд разницы могут привести к тому, что ваш узел имени и узел даты не смогут запуститься. Используйте ntpd для настройки синхронизации времени, чтобы убедиться, что время точно такое же.

person Jing He    schedule 09.08.2017