Вопросы по теме 'flink-cep'

Динамический поток SQL для Apache Flink CEP
Я хочу поместить потоковый SQL в Kafka для использования Flink для CEP. Это хороший способ? Я знаю, что определение динамического шаблона не разрешено во Flink, и мне нужно применить правила, которые они могут изменить в неограниченном потоке...
698 просмотров

отправка DataStream из сокета виртуальной машины в Kafka и получение в программе Flink хост-ОС: проблема десериализации
Я отправляю поток данных с виртуальной машины в тестовую тему Kafka (работает на хост-ОС с IP-адресом 192.168.0.12), используя приведенный ниже код. public class WriteToKafka { public static void main(String[] args) throws Exception {...
76 просмотров

Как прикрепить схему к Flink DataStream - на лету?
Я имею дело с потоком мутаций базы данных, то есть с потоком журнала изменений. Я хочу преобразовать значения с помощью SQL-запроса. Мне трудно собрать вместе следующие три концепции RowTypeInfo , Row и DataStream . ПРИМЕЧАНИЕ: я заранее не...
1681 просмотров

Что означает, что состояние широковещания разблокирует реализацию функции «динамических шаблонов» для библиотеки Flink CEP?
Из объявления о выпуске Flink 1.5 мы знаем, что Flink теперь поддерживает «широковещательное состояние», и было описано, что «широковещательное состояние разблокирует реализацию функции« динамических шаблонов »для библиотеки Flink CEP». Означает ли...
649 просмотров
schedule 06.04.2024

Есть ли способ обработки нескольких временных ограничений в Flink CEP?
Как указано в документе CEP ( https://ci.apache.org/projects/flink/flink-docs-release-1.5/dev/libs/cep.html ), что в последовательности шаблонов допускается только одно временное ограничение, я изо всех сил пытаюсь найти способ обработки...
69 просмотров
schedule 02.06.2022

Flink - скользящее окно во время события с пропущенными данными в окне из-за временных интервалов
Предположим, у меня есть поток торговых событий на фондовом рынке, например: technical1, ALXN, 1/1/2016 technical1, CELG, 1/1/2016 technical2, ALXN, 1/2/2016 technical2, CELG, 1/2/2016 . . . technicalN, ALXN, 4/1/2018 technicalN, CELG, 4/1/2018...
460 просмотров

Порядок обработки событий во Flink и рекавери
Я исследую Flink уже больше недели. Мы потребляем события из Kafka и хотим, чтобы события принадлежали определенному идентификатору объекта, который необходимо обработать в порядке времени события. Пока мое исследование подсказывает мне, что я...
1174 просмотров
schedule 16.05.2022

Временная метка контекста в DataStream, созданная операцией Window
Допустим, у меня есть inputStream, и я выполняю над ним некоторую оконную операцию. Какая метка времени для события, созданного при выполнении над ним некоторой оконной операции. .... DataStream<Integer> inputStream = // ......
165 просмотров

Как я могу разделить состояние между моими рабочими местами flink?
Я запускаю несколько заданий из моего файла .jar. Я хочу разделить состояние между моими работами. но все входы потребляют (из кафки) в каждой работе и генерируют дублирующийся выход. Я вижу свою мигающую панель. все вакансии «отправлено» 3. Я...
427 просмотров
schedule 17.12.2022

Flink CEP — поднимать предупреждение, если последовательность не пришла в течение определенного времени, независимо от того, поступило ли какое-либо другое сообщение.
Я написал часть Flink CEP, которая проверяет шаблон статуса (с ключом id ) с Relaxed Contiguity ( followedBy ). Идея состоит в том, чтобы поднять предупреждение, если определенный статус не прибыл после первого в течение заданного времени. Это...
112 просмотров
schedule 05.02.2023

Apache Flink - обработка дублированных сообщений во время развертывания заданий с ActiveMQ в качестве источника
Учитывая, У меня есть задание Flink, которое читает из ActiveMQ источника и записывает в базу данных mysql - с ключом по идентификатору. Я включил контрольные точки для этой работы каждую секунду. Я указываю контрольные точки на экземпляр...
218 просмотров

Исключение NullPointer при попытке доступа или чтения ReadOnly ctx в методе processElement в KeyedBroadCastProcessFunction в Apache Flink
У меня есть интересный сценарий, в котором я работаю над сопоставлением шаблонов во flink, оценивая входящие шаблоны с помощью функции keyedbroadcastprocess, когда я запускаю программу в среде IDE, я получаю исключение нулевого указателя в функции...
438 просмотров

Таймеры (Heap против RocksDB)
поскольку я использую RocksDB в качестве бэкэнда состояния для моей работы Flink, и я настраиваю параметры этого бэкэнда состояния, я прочитал на этой странице Flink , что у меня есть два варианта сохранения таймеров (RockDB или куча), и я прочитал...
39 просмотров

Контрольная точка во Flink не работает с функцией CoFlatMapFunction
Привет, я пытаюсь выполнить контрольную точку в одном из моих модулей flink, в котором я использую CoFlatMapFunction для объединения с потоками, если я закомментирую контрольную точку CoFlatMapFunction, работает, если раскомментировать снова, она не...
122 просмотров