Общие способы сбора журналов для использования в logstash

Я только что запустил ELK-стек (Elastic, Logstash и Kibana). И теперь я готов приступить к обработке логов.

Мой вопрос: Каковы распространенные способы сбора журналов для обработки с помощью logstash?

Сценарий: у меня есть журналы на сервере, которые мне нужно передать на сервер logstash.

заранее спасибо

Ответ (насколько я понимаю)

Мне решать, как собираются журналы для обработки с помощью logstash. Если вы также устанавливаете logstash на серверах, с которых должны собираться журналы, logstash имеет много входных (для локальной обработки журналов) и выходных плагинов (для отправки журналов), которые позволят отправлять журналы на центральный сервер logstash. (s).


person Community    schedule 08.07.2015    source источник


Ответы (2)


Logstash также является гибким инструментом для чтения и анализа журналов. Мы используем logstash на наших машинах для чтения локальных журналов и отправки их в elasticsearch. Позже мы смотрим данные в Kibana.

Итак, чтобы ответить на ваш вопрос. Вы можете использовать плагины ввода, которые можно найти здесь: https://www.elastic.co/guide/en/logstash/current/input-plugins.html

Чтобы подключить logstash к elasticsearch, вы можете найти плагины вывода по адресу: https://www.elastic.co/guide/en/logstash/current/output-plugins.html

В зависимости от того, что вы хотите использовать на сервере, который содержит журналы. Вы всегда можете поместить на него другой экземпляр logstash, или добавить пересылку logstash, или использовать что-то вроде apache nifi (http://nifi.incubator.apache.org/) для потоковой передачи журналов обратно на ваш сервер logstash.

Надеюсь это поможет

person deanw    schedule 08.07.2015
comment
Извините, не совсем. Я понимаю, как устроен стог лося. Но мне непонятно, как собираются логи. - person ; 08.07.2015
comment
Обновил мой ответ, чтобы, надеюсь, быть более ясным. - person deanw; 08.07.2015

Я бы спросил себя, какие существующие возможности журналов у меня есть на моих серверах, например, у вас уже могут быть инструменты, способные каким-то образом отправлять журналы с сервера, может быть, что syslog запущен, может быть, у вас есть ловушки SNMP, инструменты от таких компаний, как HP или Microsoft, запуск докера или что-то еще.

Важной частью является то, что logstash, скорее всего, сможет получать ваши журналы, больше о том, что ваши серверы могут отправлять, и не меняя так на стороне сервера.

Например, в системах Windows NXLog действительно хорош, но это означает, что вам необходимо установить его на всех серверах.

person Anders Johansson    schedule 11.07.2015