Я хочу использовать DynamoDB Stream из приложения Spark Streaming.
Потоковая передача Spark использует KCL для чтения из Kinesis. Существует библиотека, позволяющая KCL читать из потока DynamoDB: Dynamodb-streams-kinesis-adapter.
Но можно ли воткнуть эту библиотеку в искру? Кто-нибудь это сделал?
Я использую Spark 2.1.0.
Мой план резервного копирования заключается в том, чтобы другое приложение считывало из потока DynamoDB в поток Kinesis.
Спасибо
Способ сделать это - реализовать KinesisInputDStream для использования воркера, предоставленного dynamodb-streams-kinesis-adapter официальными рекомендациями предложите что-то вроде этого:
final Worker worker = StreamsWorkerFactory
.createDynamoDbStreamsWorker(
recordProcessorFactory,
workerConfig,
adapterClient,
amazonDynamoDB,
amazonCloudWatchClient);
С точки зрения Spark, это реализовано в модуле kinesis-asl в KinesisInputDStream.scala.
Я пробовал это для Spark 2.4.0. Вот мое репо. Требуется небольшая доработка, но работа выполняется
https://github.com/ravi72munde/spark-dynamo-stream-asl
После изменения KinesisInputDStream мы можем использовать его, как показано ниже. val stream = KinesisInputDStream.builder
.streamingContext(ssc)
.streamName("sample-tablename-2")
.regionName("us-east-1")
.initialPosition(new Latest())
.checkpointAppName("sample-app")
.checkpointInterval(Milliseconds(100))
.storageLevel(StorageLevel.MEMORY_AND_DISK_2)
.build()
