Вопросы по теме 'amazon-kinesis'
Установка локального гем-плагина Logstash
В чем интерес?
Написание плагина вывода Logstash для AWS Kinesis.
Что уже было достигнуто?
Используя это руководство , logstash-output-sqs-0.1.3.gem был создан из этот репозиторий GitHub .
В чем проблема?
Установка файла gem с...
2622 просмотров
schedule
08.06.2024
Клиентская библиотека Kinesis: несколько воркеров для потока
У меня есть .war, в котором у нас есть приложение Kinesis, которое обрабатывает поток, содержащий один осколок. Мы развертываем два экземпляра войны в производстве. В результате я бы получил двух рабочих, работающих над одним потоком с одним...
1731 просмотров
schedule
06.09.2023
Ожидаемое поведение AWS Kinesis ShardIteratorType TRIM_HORIZON
Контекст : я не обязательно имею в виду приложение на основе KCL, это просто вызовы API Kinesis.
Предоставляет ли итератор TRIM_HORIZON тип итератора сразу самой ранней опубликованной записи в потоке (т. Е. Самой ранней из доступных во...
4974 просмотров
schedule
27.04.2022
потоковая передача pyspark 1.5.0 с отсутствующей банкой кинезиса
Я использую EMR (с EMR-4.1.0), включая распределение искры 1.5.0
Я попытался использовать потоковую передачу искр (python) для получения данных из кинезиса, используя образец кода в github (...
325 просмотров
schedule
16.05.2024
Архитектура распределенного сбора данных о показах
У меня есть веб-приложение, написанное на node.js, распределенное между несколькими веб-серверами с балансировкой нагрузки для рекламного проекта, над которым я работаю. Я пытаюсь выяснить, как лучше всего собирать и распространять данные журнала для...
157 просмотров
schedule
16.03.2024
Проблемы с надежностью контрольных точек / WAL в Spark Streaming 1.6.0
Описание
У нас есть приложение Spark Streaming 1.5.2 на Scala, которое считывает события JSON из потока Kinesis, выполняет некоторые преобразования / агрегаты и записывает результаты в разные префиксы S3. Текущий пакетный интервал составляет 60...
2232 просмотров
schedule
17.01.2022
AWS Kinesis: определить, существует ли именованный поток
Моя цель — использовать API AWS Kinesis для создания потока Kinesis с определенным именем, если он еще не существует, а затем записать в него, был ли он там изначально или нет.
Это то, что я придумал до сих пор. Попытка создать поток. Если он...
1620 просмотров
schedule
17.04.2023
put_records () принимает аргументы ключевого слова только в Kinesis boto3 Python API
from __future__ import print_function # Python 2/3 compatibility
import boto3
import json
import decimal
#kinesis = boto3.resource('kinesis', region_name='eu-west-1')
client = boto3.client('kinesis')
with open("questions.json") as json_file:...
11330 просмотров
schedule
06.12.2023
Проблемы с промежуточной корзиной S3 AWS Firehose и зависимостью потока доставки
Является ли хорошей идеей установить одно ведро s3 для нескольких потоков доставки? (пример: рассмотрим два потока доставки с разной пропускной способностью потоковой передачи, размером буфера s3/интервалом буфера...)
Если два потока доставки...
779 просмотров
schedule
30.05.2024
Шаблон формирования облака AWS: как обеспечить срок хранения для ресурса Kinesis?
Шаблон формирования облака AWS: как обеспечить срок хранения для ресурса Kinesis?
Привет, я хочу указать срок хранения для Kinesis, я не нашел ни одного свойства в документации. Есть ли способ добиться этого?
209 просмотров
schedule
03.02.2022
Невозможно прочитать данные из потоковой передачи искры, соединяющей Kinesis.
Я написал ниже код для подключения к kinesis из потоковой передачи искры, но данные не были получены.
val kinesisStream = KinesisUtils.createStream(ssc, appName, streamName, endpointUrl, regionName, InitialPositionInStream.LATEST, batchInterval ,...
282 просмотров
schedule
27.05.2023
Подходят ли потоки DynamoDB для этого варианта использования?
У меня есть таблица DynamoDB, содержащая пары ключ-значение, которые будут прочитаны рядом приложений. При запуске каждое приложение будет читать всю таблицу и кэшировать ее в памяти.
Проблема, которую я пытаюсь решить, заключается в том, чтобы...
3401 просмотров
schedule
23.02.2022
Можно ли реверсировать данные геокодирования с помощью Amazon Kinesis Analytics?
При использовании Amazon Kinesis для обработки большого объема входящих точек данных широты и долготы, как лучше всего реверсивно геокодировать их в масштабе?
Используя Kinesis Analytics, я могу использовать справочные данные, хранящиеся в S3, как...
171 просмотров
schedule
29.12.2023
Kinesis Firehose to s3: данные доставлены в неправильный час на пути s3
Я использую Kinesis Firehose для буферизации данных IoT и записываю их в s3. Firehose записывает буферы в s3 в формате s3://bucket.me.com/YYYY/MM/DD/HH
Данные, поступающие в 10:59, могут быть буферизованы Firehose и не записываться до 11:00 (...
932 просмотров
schedule
26.09.2023
Как обрабатывать DynamoDB Stream в потоковом приложении Spark
Я хочу использовать DynamoDB Stream из приложения Spark Streaming.
Потоковая передача Spark использует KCL для чтения из Kinesis. Существует библиотека, позволяющая KCL читать из потока DynamoDB: Dynamodb-streams-kinesis-adapter .
Но можно ли...
1022 просмотров
schedule
15.11.2023
Различия в использовании эталонных данных в PipelineDB и AWS Kinesis Analytics
Я делаю сравнение AWS Kinesis Analytics с использованием PipelineDB «эталонных» данных в STREAM SQL.
http://docs.aws.amazon.com/kinesisanalytics/latest/dev/limits.html http://docs.pipelinedb.com/joins.html#joins
Вопрос 1: ПРИСОЕДИНЯЙТЕСЬ к...
293 просмотров
schedule
07.07.2022
Конфигурация AWS для Apache flink с использованием EMR
У меня есть приложение производителя, которое записывает в поток Kinesis со скоростью 600 записей в секунду. Я написал приложение Apache flink для чтения / обработки и агрегирования этих потоковых данных и записи агрегированного вывода в AWS...
610 просмотров
schedule
03.12.2023
Как читать данные из корзины s3 в Kinesis Stream
Я новичок в Kinesis. Я хочу прочитать данные из ведра s3 в поток Kinesis. Я создал поток кинезиса под названием «mystream». В моем проекте каждые 3 месяца запись будет загружаться на s3. В то же время мне нужно прочитать запись в потоке кинезиса....
7858 просмотров
schedule
13.04.2022
Предотвращение потери данных, когда медленные потребители вызывают обратное давление при потоковой обработке (spark, aws).
Я новичок в распределенной потоковой обработке (Spark). Я читал несколько руководств/примеров, в которых показано, как обратное давление приводит к замедлению производительности в ответ на перегрузку потребителей. Приведенный классический пример —...
1115 просмотров
schedule
15.06.2022
Какой сервис AWS следует использовать для обработки большого текстового файла?
У меня есть вариант использования, когда мне нужно прочитать очень большой текстовый файл, который может содержать до 1 миллиона записей. Для каждой записи я должен выполнить некоторую проверку, а затем преобразовать ее в другой JSON, а затем...
953 просмотров
schedule
11.09.2022
