Подключиться к кассандре с помощью искры в java

Я использую cassandra 3.2.1 со искрой, я включил все необходимые банки. и я попытался подключить cassandra из java через spark, я получаю следующую ошибку,

Исключение в потоке "main" java.lang.NoSuchMethodError: scala.Predef$.augmentString(Ljava/lang/String;)Lscala/collection/immutable/StringOps; в akka.util.Duration$.(Duration.scala:76) в akka.util.Duration$.(Duration.scala) в akka.actor.ActorSystem$Settings.(ActorSystem.scala:120) в akka.actor.ActorSystemImpl .(ActorSystem.scala:426) в akka.actor.ActorSystem$.apply(ActorSystem.scala:103) в akka.actor.ActorSystem$.apply(ActorSystem.scala:98) в org.apache.spark.util.AkkaUtils $.org$apache$spark$util$AkkaUtils$$doCreateActorSystem(AkkaUtils.scala:122) в org.apache.spark.util.AkkaUtils$$anonfun$1.apply(AkkaUtils.scala:55) в org.apache.spark .util.AkkaUtils$$anonfun$1.apply(AkkaUtils.scala:54) в org.apache.spark.util.Utils$$anonfun$startServiceOnPort$1.apply$mcVI$sp(Utils.scala:1837) в scala.collection .immutable.Range.foreach$mVc$sp(Range.scala:142) в org.apache.spark.util.Utils$.startServiceOnPort(Utils.scala:1828) в org.apache.spark.util.AkkaUtils$.createActorSystem (AkkaUtils.scala:57) в org.apache.spark.SparkEnv$.create(SparkEnv.scala:223) в org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:163) в org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:269) в org.apache.spark.SparkContext.(SparkContext.scala:272) ) в spark.Sample.run(Sample.java:13) в spark.Sample.main(Sample.java:23)

Любая идея по этому поводу? и чего мне не хватает.

Посмотрите банки и мой пример кода на изображении ниже. Не знаю, где я делаю ошибку.

Нажмите здесь, чтобы открыть изображение


nosuchmethod cassandra apache-spark scala spark-cassandra-connector
person Vijaya    schedule 28.01.2016    source источник
comment
Укажите версию Spark, а также версию дополнительных файлов jar, добавленных в путь к классам Driver и Executor. Также вам может помочь эта ссылка.   -  person Sumit    schedule 28.01.2016
comment
Я изменил вопрос. В ссылке, которую вы упомянули, искра 1.4 является стабильной версией. Так это проблема спарка 1.3?   -  person Vijaya    schedule 28.01.2016
comment
Теперь я заменил все банки на те, которые вы указали в ссылке. В дополнение к этому я включил jar scala-library-2.10 и некоторые другие jar-файлы. Но все же я получаю ту же ошибку.   -  person Vijaya    schedule 28.01.2016
comment
С Spark 1.3 проблем нет, на самом деле это совместимость версий между Spark и Cassandra Driver. См. здесь раздел Совместимость версий.   -  person Sumit    schedule 28.01.2016
comment
Хорошо, спасибо. Могу ли я узнать, какую версию scala мне следует использовать со искрой 1.5 и кассандрой 3.2.1.   -  person Vijaya    schedule 28.01.2016
comment
Версия Scala должна быть 2.10.5, но я не уверен, что драйвер Cassandra для Spark 1.5 полностью совместим и доступен. Вы можете рискнуть, если это не так, вам придется жить со Spark 1.4.   -  person Sumit    schedule 28.01.2016
comment
Я прикрепил изображение с банками и кодом, о котором идет речь. Не могли бы вы проверить это и сообщить мне, если есть какая-либо ошибка.   -  person Vijaya    schedule 28.01.2016
comment
С версиями все в порядке, но похоже, что вы используете Spark 1.5, а драйвер Cassandra для Spark 1.5 все еще находится в разработке. Короче говоря, вы должны попробовать Spark 1.4 и ниже, чтобы подключиться к Casandra. Само собой разумеется, используйте совместимые версии, как указано здесь   -  person Sumit    schedule 28.01.2016
comment
Я использую только spark 1.4, вы также можете видеть это на изображении. И я также проверил версию совместимости.   -  person Vijaya    schedule 28.01.2016
comment
На командном уровне я использую spark master (spark 1.6), я создаю его с помощью maven, это вызывает проблему?   -  person Vijaya    schedule 29.01.2016
comment
Предложил бы использовать Spark 1.4 с соответствующими драйверами   -  person Sumit    schedule 29.01.2016
comment
Вы нашли какую-либо ошибку в изображении (включая версию jar и код Java)?   -  person Vijaya    schedule 29.01.2016