Запустить Spark в автономном режиме со Scala 2.11?

Я следую инструкциям по сборке Spark с помощью Scala 2.11:

mvn -Dscala-2.11 -DskipTests clean package

Затем запускаю по инструкции:

./sbin/start-master.sh

В лог-файле две строчки:

Failed to find Spark assembly in /etc/spark-1.2.1/assembly/target/scala-2.10
You need to build Spark before running this program.

Очевидно, он ищет сборку scala-2.10, но я сделал сборку scala-2.11. Я попробовал очевидный флаг -Dscala-2.11, но это ничего не изменило. В документах ничего не говорится о том, как работать в автономном режиме со scala 2.11.

Заранее спасибо!


apache-spark scala scala-2.11
person clay    schedule 15.04.2015    source источник

Ответы (1)


arrow_upward
6
arrow_downward

Перед сборкой вы должны запустить скрипт под:

dev/изменить-версию-на-2.11.sh

Что должно заменить ссылки на 2.10 на 2.11.

Обратите внимание, что это не обязательно будет работать должным образом с не-GNU sed (например, OS X)

person dpeacock    schedule 15.04.2015
comment
Я запустил этот скрипт. Это не помогло. Я получаю точно такую ​​же ошибку со ссылкой на сборку/цель/скала-2.10. Я попробовал это как в Spark 1.2.1 (предпочтительно), так и в последней версии Spark 1.3.0, просто чтобы проверить. - person clay; 16.04.2015
comment
Вы на Linux-машине? Другой вариант — просто вручную отредактировать сценарий самостоятельно. - person dpeacock; 16.04.2015
comment
Да, линукс. Виртуальная машина CentOS, если быть точным. Я не получил никаких ошибок. Можно ли как-нибудь проверить успешность выполнения команды sed? - person clay; 16.04.2015
comment
Скрипт вроде сработал. Это вернулось пустым: grep -r --include=pom.xml _2.10 . - person clay; 16.04.2015
comment
Вы можете просто запустить: export SPARK_SCALA_VERSION="2.11" И снова запустить - person dpeacock; 16.04.2015
comment
это работает. На самом деле я только что понял это после поиска единственной оставшейся ссылки на 2.10. Спасибо! - person clay; 16.04.2015
comment
Для Spark 1.6.1 скрипт dev/change-version-to-2.11.sh устарел, и теперь он dev/change-scala-version.sh 2.11. - person Zeke Fast; 12.04.2016