Как получить метрики Apache Kafka в формате JSON

Я пытаюсь получить показатели работоспособности Apache Kafka, такие как показатели Broker, Producer, Consumer, Zookeeper, Topics и т. Д., Без использования Confluent или любого другого программного обеспечения / плагина.

Мне нужно открыть их и сохранить в Elasticsearch. Пока не удалось извлечь эту информацию. Любые указатели на то, как я могу извлечь эту информацию из работающего контейнера докеров Apache Kafka?


java apache-kafka json health-monitoring
person SahilW    schedule 17.01.2019    source источник
comment
Думаю, этот пост может вам помочь: datadoghq.com/blog/collecting-kafka -performance-metrics. Kafka предоставляет свои показатели через JMX. Вы можете читать данные и перемещать их в свой Elasticsearch. Может быть, вы найдете плагин битов, который экспортирует эти данные JMX.   -  person Seyed Morteza Mousavi    schedule 17.01.2019
comment
Спасибо, Сейед. Постараюсь что это.   -  person SahilW    schedule 17.01.2019
comment
Пожалуйста. Также я опубликовал статью о мониторинге Kafka с помощью JMX. Вы можете просмотреть его на странице medium.com/@mousavi310 /   -  person Seyed Morteza Mousavi    schedule 19.01.2019

Ответы (1)


arrow_upward
1
arrow_downward

Как говорит @Seyed Morteza Mousavi, показатели доступны через JMX.

Однако для получения данных вам понадобится дополнительное программное обеспечение / плагин. Если вы используете Elasticsearch, то в том же стеке находится Beats, которые могут напрямую передавать метрики JMX в Elasticsearch.

person Robin Moffatt    schedule 17.01.2019
comment
Спасибо, попробую. - person SahilW; 17.01.2019