Я написал ниже код для подключения к kinesis из потоковой передачи искры, но данные не были получены.
val kinesisStream = KinesisUtils.createStream(ssc, appName, streamName, endpointUrl, regionName, InitialPositionInStream.LATEST, batchInterval , StorageLevel.MEMORY_AND_DISK_2)
kinesisStream.print() // nothing getting printed here
val data = kinesisStream.flatMap(byteArray => new String(byteArray))
data.foreachRDD { rdd =>
println("data==" + rdd.collect().length) // no data here too
rdd.collect()//.saveAsTextFile("file:///home/myHome/Code/sample/somedata.txt");
}
Я пытался писать в S3 и в файловую систему, он пишет имя файла по папке, а внутри я вижу только файл _SUCCESS, который имеет нулевой байт.
кстати, я могу писать в тот же поток kinesis и читать данные из java
в чем здесь проблема.