Публикации по теме 'apache-kafka'
Введение в настройку Apache Kafka
Kafka, распределенная платформа потоковой передачи данных, использует ZooKeeper. ZooKeeper отвечает за управление узлами Kafka в кластере.
Давайте посмотрим, как настроить Kafka на вашем компьютере. Прежде чем мы сможем что-то делать с Kafka, нам нужно настроить ZooKeeper.
Я использую ноутбук с Linux. Таким образом, приведенные здесь команды должны нормально работать с большинством систем Linux.
Установите и запустите Apache ZooKeeper
Загрузите сжатый файл Apache ZooKeeper..
Вопросы по теме 'apache-kafka'
Apache Kafka: состояние потребителя
Я прочитал документацию на веб-сайте Kafka, но после попытки реализовать полный минимальный пример (производитель -> кафка -> потребитель) мне не очень понятно, как нужно обрабатывать «состояние потребителя», смещение.
Некоторая информация
Я...
8066 просмотров
schedule
24.02.2024
Каков наиболее эффективный способ записи из кафки в hdfs с разбиением файлов на даты
Я работаю над проектом, который должен писать через kafka в hdfs. Предположим, есть онлайн-сервер, который записывает сообщения в кафку. Каждое сообщение содержит метку времени. Я хочу создать задание, которое будет выводить файл / файлы в...
24811 просмотров
schedule
01.09.2022
Как получить признание от Кафки
Как мне точно получить подтверждение от Kafka после того, как сообщение будет использовано или обработано. Это может показаться глупым, но есть ли способ узнать начальное и конечное смещение того сообщения, для которого было получено подтверждение?
6637 просмотров
schedule
30.03.2023
Задержка в сообщениях, потребляющих потребителя в Apache Kafka
Я использую Kafka 0.8.0 и пытаюсь реализовать описанный ниже сценарий.
JCA API (действует как производитель и отправляет данные) -----> Потребителю ------> HBase
Я отправляю каждое сообщение потребителю, как только получаю данные с помощью JCA...
11194 просмотров
schedule
12.04.2022
ОШИБКА backtype.storm.daemon.executor - java.lang.NoClassDefFoundError: org/I0Itec/zkclient/serialize/ZkSerializer
Я делаю интеграцию kafka storm, и при выполнении кода storm я получаю эту ошибку
ERROR backtype.storm.util - Async loop died!
java.lang.NoClassDefFoundError: org/I0Itec/zkclient/serialize/ZkSerializer
at...
5372 просмотров
schedule
28.04.2023
Поддерживает ли Kafka безопасную связь?
Я читал много документации Apache Kafka, но не могу найти, поддерживает ли Kafka безопасную связь между производителями-брокерами, брокерами-потребителями и особенно для связи между центрами обработки данных для репликации брокера.
7151 просмотров
schedule
24.04.2024
Какое решение лучше справляется со сценарием «издатель/подписчик»?
Сценарий — издатель/подписчик, и я ищу решение, которое может обеспечить возможность отправки одного сообщения, сгенерированного ОДНИМ производителем, МНОЖЕСТВУ потребителей в режиме реального времени. Чем легче этот сценарий может быть обработан...
709 просмотров
schedule
30.05.2022
Пример ошибки Apache Kafka: не удалось отправить сообщение после 3 попыток
Я запускаю этот пример производителя kafka, упомянутый на его сайте.
Код:
public class TestProducer {
public static void main(String[] args) {
long events = Long.parseLong(args[0]);
Random rnd = new Random();...
20788 просмотров
schedule
05.06.2023
Проблемы с производительностью: Kafka + Storm + Trident + OpaqueTridentKafkaSpout
Мы наблюдаем некоторые проблемы с производительностью с Kafka + Storm + Trident + OpaqueTridentKafkaSpout
Ниже указаны детали нашей установки:
Топология шторма:
Broker broker = Broker.fromString("localhost:9092")...
2733 просмотров
schedule
03.12.2022
Коа с Кафкой - не может дать kafka.connect()
Я новичок в Koa, но настроил приложение, использующее Kafka. Я использую kafkaesque ( https://github.com/pelger/Kafkaesque ). Я пробовал yield* kafkaesque.tearUp() . Результат:
cb(err);
^
TypeError: undefined is not a function
Я также...
343 просмотров
schedule
05.11.2022
Пул подключений производителей - Kafka
Я не могу понять, как кафка поддерживает пул соединений с брокером для производителя.
Когда я создаю новый объект производителя и отправляю сообщение брокеру
producer = new Producer<Integer, String>(new ProducerConfig(props));...
4254 просмотров
schedule
12.05.2022
Проблема с разделом группы потребителей Kafka
Я читал вики Kafka, у меня проблемы с этой картинкой.
Для группы потребителей A, C1, C2, может принимать только сообщение с двумя разделами, например, C1 принимает только P0, а C2 получает только P1?
Насколько я знаю, одна группа...
2192 просмотров
schedule
28.08.2023
время ожидания сеансов потребителя kafka истекло
У нас есть приложение, в котором потребитель читает сообщение, а поток выполняет ряд действий, включая доступ к базе данных до того, как сообщение будет отправлено в другую тему. Время между получением и созданием сообщения в цепочке может занять...
12847 просмотров
schedule
03.10.2023
ActiveMQ против Apollo против Kafka
У меня нет предыдущего опыта работы с * MQ, и я хочу расширить знания о JMS и очередях сообщений в целом. Таким образом, мне интересно, следует ли мне начать с ActiveMQ или просто «игнорировать» его и начать с обучения Apollo. Является ли Apollo...
48777 просмотров
schedule
24.01.2024
Почему потребители Kafka подключаются к zookeeper, а производители получают метаданные от брокеров?
Почему потребители подключаются к zookeeper для получения местоположения разделов? И производители кафки должны подключиться к одному из брокеров для получения метаданных.
Я хочу сказать, в чем именно заключается использование zookeeper, если у...
20580 просмотров
schedule
17.04.2022
Нужен ли мне собственный сериализатор для создания сообщения JSON в kafka?
Я хотел бы знать, нужен ли мне собственный сериализатор для создания сообщений JSON в очереди kafka. Я не обязательно работаю с объектами во время создания, но сообщения, которые я получаю, будут в формате JSON, которые мне нужно поместить в очередь...
5248 просмотров
schedule
08.04.2024
Апач Самза не запускается
Я пытаюсь настроить среду Apache Samza и Kafka. Я испытываю некоторые проблемы при попытке запустить модули.
У меня Кафка работает правильно, но Самзу заставить работать не могу. Я установил две коробки Debian Jeesy AMD64 и следовал инструкциям...
988 просмотров
schedule
28.02.2024
Что происходит с потребительскими смещениями, если в тему Kafka добавляются новые разделы?
Что произойдет с потребительскими смещениями при добавлении нового раздела? Он остается прежним?
1321 просмотров
schedule
09.04.2022
Обработка ошибок Kafka с помощью Shopify Sarama
Итак, я пытаюсь использовать Kafka для своего приложения, в котором производитель регистрирует действия в Kafka MQ, а потребитель считывает их с MQ. Поскольку мое приложение находится в Go, я использую Shopify Sarama, чтобы сделать это возможным....
2133 просмотров
schedule
31.10.2022
Ошибка при создании темы в кафке
Я использую kafka в окне Cygwin и пытаюсь создать тему и получаю следующую ошибку
log4j:ERROR Could not read configuration file from URL [file:/cygdrive/d/kafka/bin/../config/tools-log4j.properties].
java.io.FileNotFoundException:...
6345 просмотров
schedule
09.05.2023
