Вопросы по теме 'kafka-producer-api'
Как анализировать данные json, которые поступают из темы kafka в классе схемы Storm?
Я получаю данные json из темы кафки. Как я могу применить синтаксический анализ json, чтобы получить все поля для всех объектов в классе схемы шторма, который использует метод десериализации, после чего я возвращаю значения в новые возвращаемые...
3408 просмотров
schedule
26.07.2022
Как установить размер сообщений в Kafka?
Сейчас я использую Kafka 0.9.0.1. Согласно некоторым источникам, которые я нашел, способ установить размеры сообщений - это изменить следующие значения ключей в server.properties .
message.max.bytes
replica.fetch.max.bytes...
17500 просмотров
schedule
08.02.2022
Публикация сообщения для Kafka, работающего внутри докера
Я запускаю Kafka внутри док-контейнера. Я запускаю свой контейнер, используя следующую команду
docker run --rm -p 2181:2181 -p 9092:9092 -p 8081:8081 --env
ADVERTISED_HOST=\`docker-machine ip \\`docker-machine active\\`` --env...
4867 просмотров
schedule
06.01.2023
Kafka: изменение количества разделов для определенной темы с помощью java
Я новичок в Kafka и работаю с новыми KafkaProducer и KafkaConsumer, версия: 0.9.0.1
Есть ли способ в java изменить / обновить количество разделов для определенной темы после ее создания.
Я не использую zookeeper для создания темы. Мой...
3862 просмотров
schedule
02.02.2022
Может ли один производитель Kafka создавать сообщения для нескольких тем и как?
Я просто изучаю Kafka , в настоящее время я использую одну тему producer и одну для создания сообщений, и она используется одним Consumer . очень просто.
Я читал страницу Kafka, new Producer API is thread-safe и совместное использование...
15271 просмотров
schedule
11.07.2022
Надежная доставка сообщений
Извините, мне нужно немного объяснить, прежде чем перейти к проблеме.
Я использую Kafka Client 0.9.0.0 для отправки сообщений в кластер Kafka. Система представляет собой своего рода конвейер, который принимает сообщения от JMS и отправляет их в...
1608 просмотров
schedule
27.12.2023
Снижение производительности репликации Kafka 0.10
Я пытаюсь сравнить Kafka Cluster. Я новичок. Я строю 3 узла-кластера. Каждый узел имеет один раздел. Я не менял настройки брокера по умолчанию. Я просто скопировал код производителя и потребителя прямо с официального сайта.
Когда я создал тему...
494 просмотров
schedule
28.08.2023
Нужно печатать сообщения об отправке на 10 разделов случайным образом, используя kafka
Привет, я использую Kafka API 0.10.0.1. Я создал тему картик и имеет 10 разделов. Из этого кода производителя я получаю вывод, поскольку все 10 сообщений проходят 10 разделов. Но проблема в том, что каждый раздел получает 10 сообщений. Я хочу,...
901 просмотров
schedule
29.05.2024
kafka Client API вопросы
Может ли кто-нибудь помочь мне с приведенными ниже запросами. Я использую kafka-clients-0.10.1.1(Single Node Single Broker)
Значение по умолчанию auto.create.topics.enable — true.
1. Я отправляю сообщение в тему, используя...
204 просмотров
schedule
26.04.2023
Как назначить идентификатор клиента конкретному производителю или теме кафки?
Я знаю, что квоты основаны на идентификаторе клиента
В основном я хочу запустить kafka-producer-perf-test с определенным идентификатором клиента, чтобы проверить, правильно ли работают квоты.
Мой вопрос: как я могу назначить идентификатор...
14298 просмотров
schedule
05.04.2023
org.apache.kafka.common.errors.RecordTooLargeException
Я выполняю агрегирование потоков kafka и записываю агрегированные записи в тему и получаю следующие ошибки. Я использую пользовательский json serde для вспомогательного класса агрегации. В некоторых блогах я нашел решение этой проблемы - увеличить...
1388 просмотров
schedule
04.05.2022
Фиксация смещения Kafka-Streams - повторная обработка очень старых сообщений
Мы используем apache kafka-streams 0.10.2.0 в приложении. Мы используем топологию kafka-streams для передачи обработанных данных в следующую тему до конца обработки.
Кроме того, мы используем контейнер AWS ECS для развертывания потребительского...
913 просмотров
schedule
12.03.2022
Невозможно прочитать из файла через производителя Kafka
Я пытаюсь прочитать файл с помощью производителя kafka. Zookeeper и сервер Broker работают. Я могу читать входные данные из командной строки, используя производителя Kafka и потребителей, используя следующие команды:
Kafka Producer...
559 просмотров
schedule
08.08.2023
Производитель Kafka не собирает новые разделы
Я новичок в Kafka и пытаюсь создать на нем сервис для обслуживания платформы обмена сообщениями. Вот моя установка:
Kafka 0.9.0.1 Zookeeper 3.4.8 kafka-python 1.3 .3
Мое приложение создает KafkaProducer , из которого я отправляю поток...
1303 просмотров
schedule
13.03.2022
Kafka – Как получить сведения о неудачных сообщениях в классе Producer
Kafka позволяет асинхронно отправлять сообщения с помощью следующих методов класса Producer (KafkaProducer):
public java.util.concurrent.Future<RecordMetadata> send(ProducerRecord<K,V> record)
public...
2339 просмотров
schedule
28.06.2022
TimeoutException продюсера Kafka: истекает срок действия 1 записи (ов)
Я использую Kafka с Spring-boot:
Класс Kafka Producer :
@Service
public class MyKafkaProducer {
@Autowired
private KafkaTemplate<String, String> kafkaTemplate;
private static Logger LOGGER =...
40498 просмотров
schedule
03.02.2024
В теме Kafka нет дублирования сообщений
Как добиться такого результата с сообщениями в темах кафки?
То есть функциональность, подобная журналу изменений - в тему приходит несколько сообщений, но меня волнует только последнее пришедшее.
И что происходит в случае, если тема разделена?...
154 просмотров
schedule
27.02.2023
Kafka установил тип сжатия у производителя и в теме
В чем разница между следующими способами включения сжатия в кафке:
Подход 1. Создайте тему с помощью команды:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --config compression.type=gzip --topic test
Подход 2: установите свойство...
20212 просмотров
schedule
13.03.2023
Проблема при использовании Multiple KafkaProducerMessageHandler с интеграцией Spring
Это расширение сообщения MaprStream с проблемой Spring интеграции Kafka Producer
У меня возникают проблемы с несколькими KafkaProducerMessageHandler при попытке добиться свойства синхронизации при публикации сообщений в maprstream....
229 просмотров
schedule
22.10.2022
Не могу отправить в Кафку из NiFi
Я работаю в Docker для Windows, и вот моя установка NiFi:
Подробная информация о процессоре PublishKafka:
Подробная информация о процессоре ConsumeKafka:
Вот мой файл для создания докеров (примечание: 192.168.1.50 - это мой...
2916 просмотров
schedule
25.06.2023
