Запуск kafka connect в распределенном режиме?

Всего у меня 3 ВМ (CloudVPS). На каждом из них установлена ​​java, confluent с открытым исходным кодом. В VM1 я запускаю 3 процесса Splunk-sink-connector, которые считываются из разных тем и работают на разных портах. И с помощью вызовов REST я отправил конфигурацию JSON каждому из них.

Поскольку я работаю в распределенном режиме, я также хочу воспользоваться преимуществами других двух виртуальных машин. Может ли кто-нибудь сказать мне, что делать, чтобы добавить еще 2 виртуальные машины к этим 3 процессам для достижения параллельной обработки.


person Pavan_Obj    schedule 06.03.2018    source источник


Ответы (1)


Вам просто нужно запустить Kafka Connect в распределенном режиме на трех виртуальных машинах, инструкции здесь и убедитесь, что вы даете им один и тот же group.id, который идентифицирует их как членов одного и того же кластера (и, таким образом, имеет право на распределение нагрузки по задачам между ними). Дополнительные сведения о конфигурации для распределенного режима здесь.

Смотрите также:

person Robin Moffatt    schedule 06.03.2018
comment
У вас есть аналогичный документ или диаграммы управления для распределенного режима kafka connect в кластере kubernetes? - person SunilS; 29.04.2021