Публикации по теме 'stream-processing'
Почему, когда и как вернуть Stream из Java API вместо коллекции
Вступление
Коллекции - это базовые и часто используемые структуры данных. Программисты с самого начала своей карьеры учатся использовать их для получения, обработки и возврата данных. Становясь более продвинутыми в программировании на Java, они находят stream() метод преобразования коллекции в поток и узнают, как обрабатывать данные с помощью некоторых полезных методов потока, таких как map, flatMap или reduce . Они также могли заметить, что другие API в Java тоже возвращают..
Вопросы по теме 'stream-processing'
Достижение пределов Apache Storm
Мы пытаемся реализовать веб-приложение с помощью Apache Storm .
Приложение получает огромную нагрузку рекламных запросов ( 100 TPS - сто транзакций/сек), производит несложные вычисления на них, а затем сохраняет результат в базе...
616 просмотров
schedule
05.07.2022
Отладка планировщика Apache Heron
Твиттер утверждает, что одним из самых больших преимуществ apache heron по сравнению с apache storm является debug-ability , и это достигается путем перемещения каждой задачи spout/bolt в один экземпляр Heron (процесс JVM) вместо объединения...
156 просмотров
schedule
16.12.2023
Распределенные потоковые приложения (график и транзакция) в реальной жизни
В настоящее время я изучаю распределенные системы обработки потоков, например. Storm, Flink и Spark Streaming. Я хочу реализовать некоторые приложения в этих системах и кратко сравнить их. Интересно, есть ли какая-либо компания, использующая эти...
25 просмотров
schedule
24.06.2022
эвристика водяного знака потоковой обработки
Насколько точны оценки водяных знаков при потоковой обработке в Apache Beam или Spark Streaming. Моим источником данных являются файлы из gcs/s3, но я использую время события, связанное с каждым событием, в качестве метки времени для оконной функции....
884 просмотров
schedule
14.06.2023
Apache Flink: ProcessWindowFunction не применяется
Я хочу использовать ProcessWindowFunction в моем проекте Apache Flink. Но я получаю некоторую ошибку при использовании функции процесса, см. Фрагмент кода ниже.
Ошибка:
Процесс метода (ProcessWindowFunction, R, Tuple, TimeWindow>) в типе...
816 просмотров
schedule
30.09.2023
Flink - скользящее окно во время события с пропущенными данными в окне из-за временных интервалов
Предположим, у меня есть поток торговых событий на фондовом рынке, например:
technical1, ALXN, 1/1/2016
technical1, CELG, 1/1/2016
technical2, ALXN, 1/2/2016
technical2, CELG, 1/2/2016
. . .
technicalN, ALXN, 4/1/2018
technicalN, CELG, 4/1/2018...
460 просмотров
schedule
02.02.2023
Как обработать входящее событие и на основе поля в событии записать в разные потоки с помощью wso2?
Я пытаюсь использовать один поток, обрабатывать входящий формат json и записывать в разные потоки на основе атрибута в событии. Например, если входной поток состоит из чего-то вроде этого:
{ "event_type" : "temperature",
"json" : {...
98 просмотров
schedule
25.07.2022
В потоковом процессоре WSO2 учебник по обнаружению аномалии выдает исключение.
Я пытаюсь воспроизвести руководство «Обнаружение аномалий», приведенное в документации по потоковому процессору WSO2.
@App:name('SugarSyrupOutlierPredictionApp')
@source(type='http', receiver.url='http://localhost:5007/SugarSyrupEP', @map(type =...
119 просмотров
schedule
09.05.2024
Синхронизация данных из нескольких источников данных
Наша команда пытается создать систему профилактического обслуживания, задачей которой является просмотр набора событий и прогнозирование того, отражают ли эти события набор известных аномалий или нет.
Мы находимся на этапе проектирования, и текущий...
1035 просмотров
schedule
02.09.2022
оператор share не может быть объявлен в определении функции в DolphinDB
Я пробую функцию потоковой обработки dolphindb. И я хочу, чтобы другой узел подписался на текущий узел, поэтому я написал следующий код. Но графический интерфейс dolphindb каким-то образом сообщает Syntax Error: [line #2] share statement can't be...
47 просмотров
schedule
10.08.2023
Оценка водяного знака для времени события в луче
Я пытаюсь использовать Beam для агрегирования по набору данных, используя время события из данных и Kafka в качестве источника данных. Это работает, если все мои разделы kafka заполнены данными. Однако, как только раздел еще не был записан, водяной...
73 просмотров
schedule
21.06.2023