Я использую модуль python-kaka для использования от брокера kafka. Я хочу использовать из той же темы с количеством разделов «x» параллельно. В документации есть это: # Use multiple consumers in parallel w/ 0.9 kafka brokers # typically you...

Я уже некоторое время пытаюсь использовать библиотеку python kafka . и не может заставить продюсера работать. После небольшого исследования я обнаружил, что kafka отправляет (и я предполагаю, что тоже ожидает) дополнительный 5-байтовый заголовок...

У нас есть планировщик сообщений, который генерирует хэш-ключ из атрибутов сообщения, прежде чем поместить его в очередь тем Kafka с ключом. Это сделано в целях дедупликации. Однако я не уверен, как я мог бы протестировать эту дедупликацию без...

Я новичок в Kafka и пытаюсь создать на нем сервис для обслуживания платформы обмена сообщениями. Вот моя установка: Kafka 0.9.0.1 Zookeeper 3.4.8 kafka-python 1.3 .3 Мое приложение создает KafkaProducer , из которого я отправляю поток...

Я знаю о настройке kafka для чтения с самого раннего или последнего сообщения. Как мы можем включить дополнительную опцию, если мне нужно прочитать предыдущее смещение? Причина, по которой мне нужно сделать это, заключается в том, что более ранние...

Я хотел бы получить смещение для темы kafka. Я попробовал код, упомянутый здесь: https://stackoverflow.com/a/44685608/2762279 , но он не работает. Я обнаружил, что для получения смещений требуется параметр раздела end_offsets(partitions) . Итак,...

У меня есть потребительский сценарий, который обрабатывает каждое сообщение и вручную вносит коррективы в тему. CONSUMER = KafkaConsumer( KAFKA_TOPIC, bootstrap_servers=[KAFKA_SERVER], auto_offset_reset="earliest",...

На диаграмме выше показана текущая архитектура, которую я пытаюсь реализовать. В настоящее время я запускаю zookeeper и kakfa (новинка для обоих) на удаленном сервере, и это приложение службы уведомлений построено с использованием колбы,...

Окружение: services: zookeeper: image: wurstmeister/zookeeper ports: - 2181 kafka: image: wurstmeister/kafka ports: - 9092:9092 #- 8004:8004 links: - zookeeper environment:...