У меня есть машина Logstash, работающая в AWS. В Logstash у меня есть 3 файла конфигурации, в каждом из которых определено 1 вход. Эти входы читают журналы из следующих источников
- Из с3
- Из http-ввода
- Из файлового бита
Проблема в том, что я получаю повторяющиеся сообщения в Kibana. Итак, для 1 сообщения, сгенерированного Filebeat, я вижу 3 сообщения в Kibana. Я попытался удалить 1 файл конфигурации, и количество сократилось до 2. Поэтому я почти уверен, что это связано с этими файлами конфигурации.
Что меня смущает, так это то, почему это происходит. У меня есть отдельный ввод, определенный для всех трех файлов конфигурации, но все еще получаю дублирующиеся сообщения. Это раздел ввода всех трех файлов конфигурации.
вход s3
input {
s3 {
bucket => "elb-logs"
region => "us-east-1"
prefix => "demo/AWSLogs/792177735214/"
type => "elb-logs"
delete => true
}
}
HTTP-ввод
input {
http {
type => "frontend-logs"
codec => "json"
}
}
Filebeat
input {
beats {
port => "5043"
}
}
Для всех трех конфигурационных файлов есть общий раздел вывода, т.е.
output {
elasticsearch { hosts => [ "10.0.0.1:9200" ] }
}