Стоит ли использовать Prometheus в качестве агрегатора логов?

Можно / нужно использовать Prometheus в качестве агрегатора логов? Мы развертываем приложения в кластере Kubernetes. Все контейнеры уже регистрируются в stdout / err, и мы хотим, чтобы все разработчики инструментировали свой код журналами в stdout / err. Затем Fluentd соберет все журналы по всему кластеру и отправит их агрегатору. Мы думали об использовании Elasticsearch / kibana, однако у нас уже будет Prometheus для сбора метрик узлов, поэтому, если мы сможем свободно отправлять все журналы в Prometheus, он хранит все в одном месте.

Итак, можно ли использовать Prometheus в качестве агрегатора журналов? Придется ли опросить fluentd-сервер? На самом деле, было бы здорово иметь возможность использовать функции оповещения Prometheus, чтобы, если создается определенный журнал, он (например) сбрасывает сообщение журнала в канал резервирования и т. Д.

Оцените несколько указателей по этому поводу, спасибо.


person Zuriar    schedule 11.01.2017    source источник
comment
Ознакомьтесь с graylog; он может делать то, что вы хотите (и это также альтернатива ELK).   -  person Martin Schröder    schedule 13.01.2017


Ответы (2)


Prometheus - это система показателей, а не система журналов. Существуют экспортеры mtail и grok для обработки журналов, но на самом деле это только для тех случаев, когда невозможно оснастить ваш код метриками.

Для журналов гораздо более уместно что-то вроде Elasticsearch.

person brian-brazil    schedule 11.01.2017
comment
Я могу собирать метрики из самого ElasticSearch. Почему я должен пойти на Прометея? @ brian-brazil - person AATHITH RAJENDRAN; 21.02.2020

Обновление: Loki - это новый проект, заявляющий «как Prometheus, но для журналов».

person tdensmore    schedule 08.01.2019