Apache Zeppelin 0.7.0-SNAPSHOT не работает с внешним Spark

Я пытаюсь использовать Zeppelin (моментальный снимок 0.7-0, скомпилированный с помощью mvn clean package -Pcassandra-spark-1.6 -Dscala-2.11 -DskipTests) с внешним автономным Spark версии 1.6.1.

Я попытался настроить это, введя export MASTER = spark: // mysparkurl: 7077 в /zeppelin/conf/zeppelin-env.sh и в настройках интерпретатора% spark через графический интерфейс Zeppelin. Я также попытался установить мастер -параметр искры: // mysparkurl: 7077.

Пока попытки подключиться к Spark не увенчались успехом. Вот фрагмент кода, который я использовал для тестирования Zeppelin с внешней искрой и ошибки, которую я получаю с ним:

%spark 
val data = Array(1,2,3,4,5)
val distData = sc.parallelize(data)
val distData2 = distData.map(i => (i,1))
distData2.first

data: Array[Int] = Array(1, 2, 3, 4, 5)
Java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext.

Zeppelin работает в контейнере докеров, а Spark работает на хосте.

Я что-то упустил? Есть ли что-то еще, что нужно настроить, чтобы Zeppelin мог работать с внешним автономным Spark?


apache-zeppelin
person pinkpanther    schedule 10.08.2016    source источник
comment
Вы тоже скомпилировали внешнюю искру? по умолчанию spark 1.6 с использованием scala-2.10   -  person Rockie Yang    schedule 10.08.2016
comment
Да, скомпилировал внешнюю искру. В корневом каталоге искры я выполнил ./dev/change-version-to-2.11.sh, а затем чистую сборку sbt -Dscala-2.11. При запуске внешний Spark сообщает: Использование Scala версии 2.11.7 (Java HotSpot (TM) 64-разрядная серверная виртуальная машина, Java 1.7.0_80)   -  person pinkpanther    schedule 10.08.2016
comment
Есть некоторые подсказки в каталоге журналов zeppelin, особенно в файле zeppelin-interpter-spark-xx.log   -  person Rockie Yang    schedule 10.08.2016
comment
В этом случае файлы журнала не содержали ничего полезного. Похоже, это проблема комбинации / несовместимости версий. Мы смогли заставить эти комбинации работать, просто установив мастер искр в графическом интерфейсе и в zeppelin-env.sh: spark 1.6.1 и scala 2.10, spark 2.0 и scala 2.11. Единственная комбинация, которая нам могла понадобиться на этом этапе, - spark 1.6.1 и scala 2.11 - не работала (по состоянию на 16.08.2016).   -  person pinkpanther    schedule 16.08.2016
comment
Я считаю, что вам нужно скомпилировать снимок 0.7 с помощью -Dscala-2.10. У меня точно такая же установка, как вы описываете, и она сработала.   -  person Cedric H.    schedule 29.09.2016
comment
Да, у меня это тоже сработало.   -  person pinkpanther    schedule 23.10.2016

Ответы (1)


arrow_upward
0
arrow_downward

Как упоминает Седрик Х., в это время вам нужно скомпилировать Apache Zeppelin с -Dscala-2.10.

Несколько ошибок было исправлено с тех пор, как поддержка Sept и Scala 2.11 теперь должна работать нормально, в противном случае - сообщите о проблеме в официальный проект JIRA.

person bzz    schedule 20.12.2016