Я новичок в Kinesis. Я хочу прочитать данные из ведра s3 в поток Kinesis. Я создал поток кинезиса под названием «mystream». В моем проекте каждые 3 месяца запись будет загружаться на s3. В то же время мне нужно прочитать запись в потоке кинезиса. Я создал Lamda для чтения файла и сохранения его в экземпляре БД RDS. Я обнаружил, что в проекте лямбда есть одно событие кинезиса. Это способ сделать это? пожалуйста, помогите мне получить это. Не знаю, с чего начать и все такое .. Было бы здорово, если бы мне кто-нибудь помог ....
Как читать данные из корзины s3 в Kinesis Stream
Ответы (2)
Если я правильно понимаю, ваш вопрос заключается в том, как записать данные объекта s3 в кинезис.
Вы можете создать уведомление о событии в S3 для лямбда. В событиях можно выбрать событие (ObjectCreate (All), поставить, опубликовать). После успешного создания для каждого действия create объекта вы получаете уведомления в лямбда-выражении. В контексте лямбда-события вы получаете информацию об объекте s3 для каждого вызова.
Теперь вы можете прочитать информацию об объекте и записать ее в поток кинезиса.
Ссылки для AWS S3 и Kinesis Stream с использованием Java
https://docs.aws.amazon.com/AmazonS3/latest/dev/RetrievingObjectUsingJava.html
https://docs.aws.amazon.com/streams/latest/dev/developing-producers-with-sdk.html
person
Mohan Shanmugam
schedule
08.01.2018
Да ты прав!!! Первая часть, о которой вы упомянули, сделана. Но как я могу прочитать информацию об объекте и как мне записать ее в поток кинезиса с помощью java? не могли бы вы помочь мне получить это?
- person ShaiNe Ram; 08.01.2018
AWS предлагает использовать AWS DMS для загрузки файлов из S3 в Kinsis.
person
Aref
schedule
08.06.2021
