Динамический поток SQL для Apache Flink CEP

Я хочу поместить потоковый SQL в Kafka для использования Flink для CEP. Это хороший способ?

Я знаю, что определение динамического шаблона не разрешено во Flink, и мне нужно применить правила, которые они могут изменить в неограниченном потоке событий.

Чтобы привести пример;

Существует пользовательский интерфейс, с помощью которого пользователи могут определять правила для своих устройств. Представьте, что существует служба теневого копирования (например, AWS IoT hub), сохраняющая состояние физического устройства, а также я подумал, что было бы неплохо поместить определенные правила каждого устройства в теневые правила и когда данные датчиков получены теневым актером , он может передавать данные со своими правилами, добавленными для использования Flink в качестве механизма правил (через kafka). Поэтому я хочу, чтобы Flink выполнял данные моего входящего датчика (со своими правилами), которые могут быть разными для каждого устройства.


person ccobanoglu    schedule 20.07.2017    source источник
comment
Это то, о чем вы спрашиваете. Вам необходимо подробнее рассказать о своем варианте использования. Более того, потоковый SQL Flink еще не интегрирован с его библиотекой CEP. Это постоянная работа.   -  person Fabian Hueske    schedule 21.07.2017
comment
Пожалуйста, обновите свой вопрос вместо того, чтобы добавлять комментарии. Спасибо   -  person Fabian Hueske    schedule 21.07.2017


Ответы (1)


Из вашего вопроса я понял, что вы хотите обрабатывать разные потоки с разными правилами. В этом случае вам следует отправлять потоки с этих устройств в темы Kafka. Затем запустите несколько экземпляров CEP во Flink.

StreamExecutionEnvironment envrionment1 = StreamExecutionEnvironment.createLocalEnvironment(1);
...
StreamExecutionEnvironment envrionmentn = StreamExecutionEnvironment.createLocalEnvironment(1);

Каждый экземпляр должен подписаться на темы Kafka (каждая представляет одно устройство) и добавлять шаблоны различий в каждый экземпляр Flink.

person Amarjit Dhillon    schedule 29.08.2017