У меня есть процесс, который перебирает ввод и выдает данные в AWS Firehose, которые я настроил для загрузки в созданную мной таблицу красного смещения. Одна из проблем заключается в том, что иногда строки могут дублироваться, потому что процессу...

Является ли хорошей идеей установить одно ведро s3 для нескольких потоков доставки? (пример: рассмотрим два потока доставки с разной пропускной способностью потоковой передачи, размером буфера s3/интервалом буфера...) Если два потока доставки...

Мы используем все наши аналитические каналы через API-Gateway> Kinesis Streams> Lambda> FireHose> Redshift Tables. AWS Lambda - это наш след преобразования, принимает записи потоков Kinesis, изменяет событие аналитики в зависимости от контекста и...

При использовании Amazon Kinesis для обработки большого объема входящих точек данных широты и долготы, как лучше всего реверсивно геокодировать их в масштабе? Используя Kinesis Analytics, я могу использовать справочные данные, хранящиеся в S3, как...

У меня есть правило AWS IoT, которое отправляет входящий JSON в Kinesis Firehose. Все данные JSON из моей публикации IoT находятся в одной строке, например: {"count":4950, "dateTime8601": "2017-03-09T17:15:28.314Z"} Раздел «Тест» IoT в...

Я использую Kinesis Firehose для буферизации данных IoT и записываю их в s3. Firehose записывает буферы в s3 в формате s3://bucket.me.com/YYYY/MM/DD/HH Данные, поступающие в 10:59, могут быть буферизованы Firehose и не записываться до 11:00 (...

Я хочу, чтобы Amazon Redshift отправлял любые новые строки, которые вставляются в Amazon Kinesis Firehose, который преобразует данные с помощью лямбда-функции. Можно ли это сделать? Если да, не могли бы вы указать мне пример и документацию?

При использовании функции Java Lambda для преобразования пожарного шланга данных кинезиса возникает ошибка, указанная ниже. Ниже мой преобразованный JSON выглядит как { "records": [ { "recordId":...

Используя AWS Firehose, конвертирую входящие записи в паркет. В одном примере у меня есть 150 тысяч идентичных записей, поступающих в пожарный шланг, и один паркет размером 30 килобайт записывается в s3. Из-за того, как firehose разделяет данные, у...

Я пытаюсь настроить пожарный шланг для отправки данных из потока кинезиса в кластер красного смещения. Firehose успешно вставляет данные в мое ведро s3, но я получаю следующую ошибку, когда firehose пытается выполнить команду копирования s3->...

Наш кластер Redshift подлежит ротации имени пользователя/пароля через Secrets Manger. У нас есть поток Firehose с кластером Redshift в качестве пункта назначения. В нашей конфигурации назначения Redshift это имя пользователя/пароль. Есть ли способ...

Мы пытаемся реализовать поток посещений нашей электронной коммерции на AWS. Поток кликов будет отслеживать все действия, совершаемые «анонимными» пользователями. Анонимные пользователи отслеживаются с помощью UUID, сгенерированного во время их...

Попытка вызвать PutRecord службы AWS Firehose с помощью AWS SDK из функции Lambda, расположенной в другом регионе, с использованием среды NodeJS. Это работает, когда Lambda Function и Firehose находятся в одном регионе, и не работает, когда Function...

У меня постоянно происходят события, которые мне нужно перенести в S3. Я пытаюсь понять, использую ли я Kinesis Stream или Firehose. Я также хочу подождать несколько минут перед записью в S3, чтобы объект был достаточно заполнен. Основываясь на...