Вопросы по теме 'flink-streaming'
FlinkKafkaConsumer082 настройка auto.offset.reset не работает?
У меня есть потоковая программа Flink, которая считывает данные из топика Kafka. В программе auto.offset.reset установлен на «наименьший». При тестировании в IDE / Intellij-IDEA программа всегда могла читать данные с начала темы. Затем я настроил...
1114 просмотров
schedule
04.11.2023
Flink + Kafka сбросить контрольную точку и смещение
Короче говоря, я хотел бы повторно запустить конвейер Flink для данных в Kafka с самого начала .
Флинк 0.10.2, Кафка 0.8.2.
У меня есть тема твитов в Kafka с удержанием 2 часа и конвейер в Flink, который считает твиты со скользящим окном 5...
3354 просмотров
schedule
17.07.2023
Неблокирующая операция в потоке Flink или Sparks vs Akka
Я изучаю и оцениваю Sparks и Flink, прежде чем выбрать одну из них для проекта, который у меня есть.
В своей оценке я придумал следующие простые задачи, которые я могу понять, как реализовать это в обоих фреймворках.
Скажем так
1- / У меня...
1337 просмотров
schedule
06.02.2022
Как указать файл журнала, отличный от файла журнала демона, при отправке задания flink в автономном кластере flink
Когда я запускаю автономный кластер flink, он регистрирует журналы демона в файле, упомянутом в файле conf / log4j.properties, и когда я отправляю задание flink в этом кластере, он использует тот же файл свойств для регистрации журналов приложения и...
670 просмотров
schedule
08.03.2022
Одновременное выполнение потоковой и пакетной среды с помощью Flink
Имеет ли смысл параллельно запускать потоковую и пакетную обработку во Flink?
//calculate median using DataSet (Batch Environment)
BatchFunctions batch = new BatchFunctions();
DataSet<Tuple2<Double, Integer>> dataSet1 =...
116 просмотров
schedule
14.07.2022
Flink streaming - декартово произведение и оконное отображение потоков
Предположим, у меня есть поток с ключами и отметками времени. Я хочу создать декартово произведение этих ключей в каждом окне (скользящее окно). Если у меня есть ключи 1,2,3,4 и я установил параллелизм на два, я хочу «сгруппировать» их следующим...
596 просмотров
schedule
16.09.2023
Проблемы Flink HA Cluster JobManager
У меня есть установка с кластером flink 1.2, состоящим из 3 менеджеров заданий и 2 диспетчеров задач. Я запускаю кворум Zookeeper из JobManager1, получаю подтверждение, что Zookeeper запускается на двух других менеджерах заданий, затем я запускаю...
1476 просмотров
schedule
24.03.2022
Apache Flink - реализация потокового процессора с потенциально очень большим состоянием
Я хочу спроецировать потенциально очень большое состояние из потока событий. Вот как я могу реализовать это в обязательном порядке:
class ImperativeFooProcessor {
val state: mutable.Map[UUID, BarState] = mutable.HashMap.empty[UUID, BarState]...
134 просмотров
schedule
23.12.2022
Прогнозирование потоковой передачи в реальном времени во Flink с использованием scala
Версия Flink: 1.2.0 Версия Scala: 2.11.8
Я хочу использовать DataStream для прогнозирования использования модели во флинке с использованием scala. У меня есть DataStream [String] в flink с использованием scala, который содержит данные в формате...
998 просмотров
schedule
27.05.2024
Flink - как одновременно вычислить сумму и среднее значение?
Есть ли способ во Flink (пакетная / потоковая передача) одновременно вычислять среднее значение и сумму поля? Используя метод агрегирования, я могу вычислить сумму поля для результата groupBy, но как одновременно вычислить среднее значение? Пример...
1469 просмотров
schedule
20.10.2023
Сессия Windows во Flink дает неожиданные результаты
У меня есть поток записей, которые «привязаны» к двум полям, а затем назначается окно сеанса с перерывом в 30 секунд. Я использую «отметку времени», прикрепленную к записям, как время события. Я использую водяной знак assignAscendingTimestamps....
449 просмотров
schedule
30.01.2023
Соединение Flink Scala между двумя потоками, похоже, не работает
Я хочу присоединиться к двум потокам (json), исходящим от производителя Kafka. Код работает, если я фильтрую данные. Но кажется, что это не работает, когда я присоединяюсь к ним. Я хочу вывести на консоль объединенный поток, но ничего не...
424 просмотров
schedule
06.06.2024
Конфигурация AWS для Apache flink с использованием EMR
У меня есть приложение производителя, которое записывает в поток Kinesis со скоростью 600 записей в секунду. Я написал приложение Apache flink для чтения / обработки и агрегирования этих потоковых данных и записи агрегированного вывода в AWS...
610 просмотров
schedule
03.12.2023
отправка DataStream из сокета виртуальной машины в Kafka и получение в программе Flink хост-ОС: проблема десериализации
Я отправляю поток данных с виртуальной машины в тестовую тему Kafka (работает на хост-ОС с IP-адресом 192.168.0.12), используя приведенный ниже код.
public class WriteToKafka {
public static void main(String[] args) throws Exception {...
76 просмотров
schedule
20.07.2023
Пример Flink Streaming: Kafka010Example.scala не работает
Я пытаюсь запустить официальный «Kafka010Example.scala», но, к сожалению, он не читает из входной темы и не записывает в вывод, как ожидалось. Что я упускаю или делаю неправильно? Любая помощь или подсказки высоко ценятся. Вот что я сделал:...
314 просмотров
schedule
18.03.2023
Scala - API мониторинга Flink (загрузка заданий)
Добрый день, у меня проблема с загрузкой вакансий в Flink API с помощью Scala
Все запросы Get работают
import scalaj.http._
val url: String = "http://127.0.0.1:8081"
val response: HttpResponse[String] = Http(url+"/config").asString...
258 просмотров
schedule
04.02.2023
Источник флинка для периодического обновления
Я пытаюсь реализовать внешнюю конфигурацию для длительной работы flink. Моя идея - создать собственный источник, который периодически (каждые 5 минут) опрашивает конфигурацию в кодировке JSON из внешней службы по http.
Как создать источник,...
594 просмотров
schedule
02.03.2024
Как получить количество элементов, присутствующих в функции суммы во Flink?
Я хочу получить количество элементов, присутствующих в функции суммы. Пример:
val counts = text.flatMap { _.toLowerCase.split("\\W+") }
.map { (_, 1) }
.keyBy(0)
.timeWindow(Time.minutes(10))
.sum(1)
выход:
hello...
134 просмотров
schedule
30.11.2023
Как сохранить запрашиваемое состояние во Flink?
Я использую FLink v.1.4.0 . Я использую QueryableStateStream , который я каким-то образом набираю, а затем sink для создания Queryable State , например:
stream.keyBy(0).asQueryableState("query-name");
Это все хорошо, пока работает моя...
380 просмотров
schedule
29.10.2023
Принудительное исключение скользящих окон событий для обработки (исторические потоки) на Flink
В настоящее время я использую Flink для исследования движков потоковой обработки. В процессе обучения я работаю с историческими потоками, которые состоят из кортежей следующего вида:
event_time, attribute_1, ..., attribute_X
где event_time...
322 просмотров
schedule
17.06.2022
