Мне нужно иметь один java-модуль в моем кластере Kafka, который получит сообщение, и в зависимости от двух полей сообщения он будет обогащен и опубликован в другом кластере kafka. Я изучаю KStream API и не могу найти способ отправить данные в другой кластер (без использования библиотеки издателя).
Любые идеи и как я могу это сделать?
Спасибо!
Мне нужно иметь один java-модуль в моем кластере Kafka, который получит сообщение, и в зависимости от двух полей сообщения он будет обогащен и опубликован в другом кластере kafka. Я изучаю KStream API и не могу найти способ отправить данные в другой кластер (без использования библиотеки издателя).
На данный момент Kafka's Streams API одновременно взаимодействует только с одним заданным кластером. То есть вы не можете читать из кластера Kafka A, а затем записывать в кластер Kafka B с помощью Streams API.
Любые идеи и как я могу это сделать?
Поэтому я бы рекомендовал для этого использовать Kafka Connect. Последние версии Kafka включают так называемую функцию Single Message Transformations в Kafka Connect, которая вы можете использовать для такой маршрутизации сообщений.
Если вы готовы использовать коммерческий инструмент, Confluent Replicator (docs) позволяет выполнять такие межкластерные потоки данных, как Ганс Йесперсен, упомянутый выше.
Хорошей отправной точкой на высоком уровне будет обсуждение Преобразования отдельных сообщений — это не те преобразования, которые вам нужны (не пугайтесь названия :-P) Эвен Чеслак-Постава, один из коммиттеров Kafka, разработавших новую функцию SMT. Также есть сообщение в блоге который кратко описывает SMT в Kafka Connect.
