Используйте локальный .jar в качестве зависимости для искрового приложения, написанного на scala.

Я создаю искровое приложение для приема данных из хранилища ключевых значений Aerospike с помощью клиента aerospike-spark. Я следовал инструкциям здесь https://github.com/aerospike/aerospark, чтобы создать .jar file.
Теперь я планирую использовать этот .jar в другом приложении spark, предоставив его в spark-submit как:

bin/spark-submit --jars my_jar.jar

Теперь, что я должен включить в свой файл build.sbt, чтобы выполнить это?


person Gur    schedule 23.05.2017    source источник


Ответы (1)


В этом случае вы хотите использовать aerospark в качестве библиотеки в своем собственном приложении spark. Внутри проекта aerospark вы можете запустить команду: sbt publish-local, которая опубликует банку в локальном репозитории ivy2.

Затем используйте aerospike-spark как стандартную библиотеку, добавив ее в libraryDependencies в файле build.sbt.

person Michael Zhang    schedule 26.05.2017