Сервер заданий Spark для spark 1.6.0

Существует ли какая-либо конкретная версия сервера заданий Spark, соответствующая Spark 1.6.0? Согласно информации о версии в https://github.com/spark-jobserver/spark-jobserver, я вижу, SJS доступен только для 1.6.1, а не для 1.6.0. Наш Spark, размещенный в CloudEra, работает на версии 1.6.0.

Я развернул SJS, настроив искру на 1.6.1. Когда я отправлял задания, я вижу, что идентификаторы заданий генерируются, но я не вижу результата задания. Любые входы?


spark-jobserver
person Shakeel    schedule 09.07.2016    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Нет, версии SJS, привязанной к spark 1.6.0, нет. Но вам должно быть легко скомпилировать 1.6.0. Возможно, вы могли бы изменить этот https://github.com/spark-jobserver/spark-jobserver/blob/master/project/Versions.scala#L10 и попробуйте.

person noorul    schedule 09.07.2016
comment
Спасибо Нурул. В папке bin SJS есть server_deploy.sh и server_package.sh. Если я компилирую с машины, на которой размещен spark (не планирую компилировать на сервере A, а затем использовать ssh на сервере B), можно ли пользователю server_package.sh? Похоже, что этот (server_package.sh) скрипт тоже компилирует SJS, как и server_deploy.sh, кроме ftping. - person Shakeel; 11.07.2016
comment
Я думаю, что можно запускать server_deploy.sh с того же компьютера, что и сервер развертывания. - person noorul; 11.07.2016