Как запустить искровую оболочку или отправить искровое задание с компьютера, который не является частью кластера?

У меня есть кластер из 4 узлов DSE 4.6 с Cassandra/Spark в автономном режиме, отправка задания на искру или открытие искровой оболочки с одного из узлов кластера работает нормально. Что я хочу сделать сейчас, так это открыть искровую оболочку с машины, которая не является частью кластера, поэтому я установил DSE на новую машину, но когда я пытаюсь запустить

$ SPARK_MASTER=spark://MASTER_NODE dse spark

Я получаю кучу ошибок подключения, которые выглядят так, как будто искровая оболочка пытается подключиться к локальному хосту.

Есть ли в Spark неотъемлемое ограничение, ограничивающее запуск оболочки или отправку заданий только с узла, который является членом кластера?


apache-spark datastax datastax-enterprise
person Federico    schedule 11.01.2015    source источник

Ответы (2)


arrow_upward
1
arrow_downward

Какая у вас версия Spark?

Попробуйте изменить SPARK_MASTER на MASTER.

я обычно бегаю

MASTER=spark://servername:7077 ./bin/spark-shell

И все нормально подключается.

person Steve    schedule 11.01.2015
comment
Я использую DSE 4.6, только что попробовал установить MASTER, та же ошибка: java.io.IOException: Failed to retrieve RMIServer stub: javax.naming.ServiceUnavailableException [Root exception is java.rmi.ConnectException: Connection refused to host: localhost - person Federico; 12.01.2015
comment
Можете ли вы подключиться к хосту на любом другом сервисе. Ошибка предполагает, что что-то мешает вам подключиться к службе (порт не открыт для вашего IP-адреса и т. д.). - person Steve; 12.01.2015

arrow_upward
0
arrow_downward

Хорошо, я нашел свою проблему (на самом деле две):

  1. У меня был другой JDK, установленный на «клиентской» машине.
  2. правильный способ указания мастера - dse spark --master spark://MASTER_ADDRESS:7077

Теперь все работает нормально.

person Federico    schedule 12.01.2015