сервер заданий spark не может собраться с помощью Spark 2.0

Я пытаюсь запустить spark-jobserver с помощью spark-2.0. Я клонировал ветку spark-2.0-preview из репозитория github. Я следую руководству по развертыванию, но когда пытаюсь развернуть сервер с помощью bin/server_deploy.sh. Я получил ошибку компиляции:

 Error:
[error] /spark-jobserver/job-server-extras/src/main/java/spark/jobserver/JHiveTestLoaderJob.java:4: cannot find symbol
[error] symbol: class DataFrame
[error] location: package org.apache.spark.sql
[error] import org.apache.spark.sql.DataFrame;
[error] /spark-jobserver/job-server-extras/src/main/java/spark/jobserver/JHiveTestJob.java:13: java.lang.Object cannot be converted to org.apache.spark.sql.Row[]
[error] return sc.sql(data.getString("sql")).collect();
[error] /spark-jobserver/job-server-extras/src/main/java/spark/jobserver/JHiveTestLoaderJob.java:25: cannot find symbol
[error] symbol: class DataFrame
[error] location: class spark.jobserver.JHiveTestLoaderJob
[error] final DataFrame addrRdd = sc.sql("SELECT * FROM default.test_addresses");
[error] /spark-jobserver/job-server-extras/src/main/java/spark/jobserver/JSqlTestJob.java:13: array required, but java.lang.Object found
[error] Row row = sc.sql("select 1+1").take(1)[0];
[info] /spark-jobserver/job-server-extras/src/main/java/spark/jobserver/JHiveTestJob.java: Some input files use or override a deprecated API.
[info] /spark-jobserver/job-server-extras/src/main/java/spark/jobserver/JHiveTestJob.java: Recompile with -Xlint:deprecation for details.
[error] (job-server-extras/compile:compileIncremental) javac returned nonzero exit code

Я забыл добавить некоторые зависимости?


person Adam.Bochor    schedule 15.03.2017    source источник


Ответы (1)


У меня была аналогичная проблема. Я обнаружил, что это ошибка из-за изменений в Spark API с 1.x на 2.x. вы можете найти открытую проблему на github https://github.com/spark-jobserver/spark-jobserver/issues/760

Я представил несколько быстрых исправлений, которые для меня решили проблему, и я могу развернуть сервер заданий. Я отправил запрос на это. https://github.com/spark-jobserver/spark-jobserver/pull/ 762

person Stefan Repcek    schedule 15.03.2017