Публикации по теме 'stream-processing'


Почему, когда и как вернуть Stream из Java API вместо коллекции
Вступление Коллекции - это базовые и часто используемые структуры данных. Программисты с самого начала своей карьеры учатся использовать их для получения, обработки и возврата данных. Становясь более продвинутыми в программировании на Java, они находят stream() метод преобразования коллекции в поток и узнают, как обрабатывать данные с помощью некоторых полезных методов потока, таких как map, flatMap или reduce . Они также могли заметить, что другие API в Java тоже возвращают..

Вопросы по теме 'stream-processing'

Достижение пределов Apache Storm
Мы пытаемся реализовать веб-приложение с помощью Apache Storm . Приложение получает огромную нагрузку рекламных запросов ( 100 TPS - сто транзакций/сек), производит несложные вычисления на них, а затем сохраняет результат в базе...
616 просмотров

Отладка планировщика Apache Heron
Твиттер утверждает, что одним из самых больших преимуществ apache heron по сравнению с apache storm является debug-ability , и это достигается путем перемещения каждой задачи spout/bolt в один экземпляр Heron (процесс JVM) вместо объединения...
156 просмотров

Распределенные потоковые приложения (график и транзакция) в реальной жизни
В настоящее время я изучаю распределенные системы обработки потоков, например. Storm, Flink и Spark Streaming. Я хочу реализовать некоторые приложения в этих системах и кратко сравнить их. Интересно, есть ли какая-либо компания, использующая эти...
25 просмотров

эвристика водяного знака потоковой обработки
Насколько точны оценки водяных знаков при потоковой обработке в Apache Beam или Spark Streaming. Моим источником данных являются файлы из gcs/s3, но я использую время события, связанное с каждым событием, в качестве метки времени для оконной функции....
884 просмотров

Apache Flink: ProcessWindowFunction не применяется
Я хочу использовать ProcessWindowFunction в моем проекте Apache Flink. Но я получаю некоторую ошибку при использовании функции процесса, см. Фрагмент кода ниже. Ошибка: Процесс метода (ProcessWindowFunction, R, Tuple, TimeWindow>) в типе...
816 просмотров

Flink - скользящее окно во время события с пропущенными данными в окне из-за временных интервалов
Предположим, у меня есть поток торговых событий на фондовом рынке, например: technical1, ALXN, 1/1/2016 technical1, CELG, 1/1/2016 technical2, ALXN, 1/2/2016 technical2, CELG, 1/2/2016 . . . technicalN, ALXN, 4/1/2018 technicalN, CELG, 4/1/2018...
460 просмотров

Как обработать входящее событие и на основе поля в событии записать в разные потоки с помощью wso2?
Я пытаюсь использовать один поток, обрабатывать входящий формат json и записывать в разные потоки на основе атрибута в событии. Например, если входной поток состоит из чего-то вроде этого: { "event_type" : "temperature", "json" : {...
98 просмотров

В потоковом процессоре WSO2 учебник по обнаружению аномалии выдает исключение.
Я пытаюсь воспроизвести руководство «Обнаружение аномалий», приведенное в документации по потоковому процессору WSO2. @App:name('SugarSyrupOutlierPredictionApp') @source(type='http', receiver.url='http://localhost:5007/SugarSyrupEP', @map(type =...
119 просмотров

Синхронизация данных из нескольких источников данных
Наша команда пытается создать систему профилактического обслуживания, задачей которой является просмотр набора событий и прогнозирование того, отражают ли эти события набор известных аномалий или нет. Мы находимся на этапе проектирования, и текущий...
1035 просмотров

оператор share не может быть объявлен в определении функции в DolphinDB
Я пробую функцию потоковой обработки dolphindb. И я хочу, чтобы другой узел подписался на текущий узел, поэтому я написал следующий код. Но графический интерфейс dolphindb каким-то образом сообщает Syntax Error: [line #2] share statement can't be...
47 просмотров
schedule 10.08.2023

Оценка водяного знака для времени события в луче
Я пытаюсь использовать Beam для агрегирования по набору данных, используя время события из данных и Kafka в качестве источника данных. Это работает, если все мои разделы kafka заполнены данными. Однако, как только раздел еще не был записан, водяной...
73 просмотров