Spark 1.6 вставляет кадр данных в Cassandra

Я пытаюсь вставить в cassandra фрейм данных.

Когда я пишу rdd.tosaveToCasssandra("keyspace","table")

Не проблема, но я не могу писать с помощью этой функции

myDataFrame.tosaveToCassandra("keyspace","table")

Я тоже пробовал, но не сохранил.

myDataFrame.write.format("org.apache.spark.sql.cassandra").mode('append').options(table="mytable", keyspace="mykeyspace").save()

У вас есть идеи, кроме нового API для Spark 2.0?

Спасибо


cassandra apache-spark pyspark spark-cassandra-connector spark-dataframe
person Beyhan Gül    schedule 22.12.2016    source источник
comment
Первая попытка неверна. Это только для RDDS. Второй подход правильный. Как вы думаете, почему это не спасло?   -  person RussS    schedule 22.12.2016
comment
Я не думаю, что вы правильно указали варианты. Он ожидает карту, вы можете попробовать так paddedGtpProfiles.write.format(org.apache.spark.sql.cassandra).mode(SaveMode.Append).option(table,mytable).option(keyspace,mykeyspace).save ()   -  person Srini    schedule 27.12.2016
comment
Вы получили какую-либо ошибку.?   -  person Srini    schedule 27.12.2016

Ответы (1)


arrow_upward
0
arrow_downward

Для python в настоящее время нет потокового приемника для Cassandra в Spark Cassandra Connector, вам придется реализовать свой собственный.

person Vipul HK    schedule 26.10.2017