Добавление рабочего процесса в Spark Standalone CDH5.3

У меня есть быстрый запуск cloudera cdh5.3, работающий на виртуальной машине. У меня проблемы с запуском Spark. Я выполнил эти шаги http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_spark_configure.... и запустите слово exapmle, и все заработало. Но когда я захожу на мастер (quickstart.cloudera:18080) у него нет рабочих там ядра=0, память=0... когда я иду на (quickstart.cloudera:18081) есть рабочий. У меня вопрос, как добавить рабочих? И что я должен ввести в экспорте STANDALONE_SPARK_MASTER_HOST?

Это spark-env.sh:

#Change the following to specify a real cluster's Master host
export STANDALONE_SPARK_MASTER_HOST=worker-20150402201049-10.0.2.15-7078
export SPARK_MASTER_IP=$STANDALONE_SPARK_MASTER_HOST
### Let's run everything with JVM runtime, instead of Scala
export SPARK_LAUNCH_WITH_SCALA=0
export SPARK_LIBRARY_PATH=${SPARK_HOME}/lib
export SCALA_LIBRARY_PATH=${SPARK_HOME}/lib
export SPARK_MASTER_WEBUI_PORT=18080
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_PORT=7078
export SPARK_WORKER_WEBUI_PORT=18081
export SPARK_WORKER_DIR=/var/run/spark/work
export SPARK_LOG_DIR=/var/log/spark
export SPARK_PID_DIR='/var/run/spark/'
if [ -n "$HADOOP_HOME" ]; then
export LD_LIBRARY_PATH=:/lib/native
fi
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-etc/hadoop/conf}
### Comment above 2 lines and uncomment the following if
### you want to run with scala version, that is included with the package
#export SCALA_HOME=${SCALA_HOME:-/usr/lib/spark/scala}
#export PATH=$PATH:$SCALA_HOME/bin

Спасибо


person Amori    schedule 03.04.2015    source источник
comment
Действительно ли worker-20150402201049-10.0.2.15-7078 является именем хоста мастера? Звучит как фамилия рабочего.   -  person Marius Soutier    schedule 04.04.2015
comment
Имя хоста: quickstart.cloudera, и это рабочее имя. Я также попробовал quickstart.cloudera в качестве имени Мастера, но это тоже не сработало.   -  person Amori    schedule 04.04.2015
comment
Да, я пытался поставить spark://10.0.2.15:7077 и spark://10.0.2.15:18080, но все равно получаю: URL: spark://10.0.2.15:7077 Рабочие: 0 Ядер: 0 Всего, 0 Используемая память : 0,0 Б Всего, 0,0 Б Используемых приложений: 0 Запущено, 0 Завершено Драйверы: 0 Запущено, 0 Завершено Статус: АКТИВЕН   -  person Amori    schedule 04.04.2015
comment
Это Spark Master по адресу spark://10.0.2.15:7077, а рабочий — spark://10.0.2.15:7078.   -  person Amori    schedule 05.04.2015
comment
Я не пробовал это раньше, и это РАБОТАЕТ. Спасибо большое Мариус   -  person Amori    schedule 06.04.2015
comment
Нет проблем, я добавил это как ответ, пожалуйста, примите его.   -  person Marius Soutier    schedule 06.04.2015


Ответы (1)


Добавьте export STANDALONE_SPARK_MASTER_HOST=10.0.2.15 к вашему spark-env.sh, чтобы и мастер, и рабочий согласовали один и тот же адрес хоста.

person Marius Soutier    schedule 06.04.2015