Я запускаю несколько заданий из моего файла .jar. Я хочу разделить состояние между моими работами. но все входы потребляют (из кафки) в каждой работе и генерируют дублирующийся выход. Я вижу свою мигающую панель. все вакансии «отправлено» 3. Я думаю, мне нужно разделить количество моих работ.
Я создаю работу с помощью этой команды
bin/flink run app.jar
Как я могу это исправить?
Поскольку Flink ориентирован на масштабируемость и высокую производительность, он является локальным. На самом деле Flink не предоставляет механизма для разделения состояния между рабочими местами.
Тем не менее, Flink поддерживает разделение большой работы между парком рабочих. Кластер Flink может выполнять одно задание параллельно, используя ресурсы одного или нескольких многоядерных процессоров. Некоторые задания Flink выполняются на тысячах ядер, просто чтобы дать представление о его масштабируемости.
При использовании с Kafka каждый раздел Kafka может быть прочитан другой подзадачей в Flink и обработан его собственным параллельным экземпляром конвейера.
Вы можете начать с запуска одного параллельного экземпляра вашего задания через
bin/flink run --parallelism <parallelism> app.jar
Для этого в вашем кластере должно быть как минимум столько свободных слотов, сколько требуется для параллелизма. Параллелизм должен быть меньше или равен количеству разделов в используемых темах Kafka. Потребители Flink Kafka будут координировать свои действия между собой - каждый из них будет читать из одного или нескольких разделов.
