Вопросы по теме 'logstash-configuration'
определение фильтра logstash для расширенного журнала apache
Я пытаюсь настроить фильтр logstash для определения расширенного фильтра журнала apache. По сути, это «комбинированный» LogFormat с некоторым дополнительным полем, вот определение формата журнала apache:
LogFormat "%h %{X-LB-Client-IP}i %l %u %m...
1025 просмотров
schedule
16.12.2022
подключить Logstash 1.5.0 с log4j нескольких серверов
Я пытаюсь подключить logstash (версия 1.5.0), чтобы получить журналы служб (которые работают на apache-tomcat). Эти журналы log4j.
Я использую эту конфигурацию для logstash:
input {
log4j {
mode => server
host => localhost...
237 просмотров
schedule
21.02.2024
Отфильтруйте конкретное сообщение с помощью logstash перед отправкой в ElasticSearch
Мне хотелось узнать, можно ли отправлять только определенные сообщения журнала в elasticsearch через logstash? Например, допустим, у меня есть эти сообщения в моем файле журнала:
2015-08-14 12:21:03 [31946] PASS 10.249.10.70 http://google.com...
1268 просмотров
schedule
04.12.2022
kv фильтр в logstash
Как работает remove_field в kv? У меня есть файл json, и мне нужно удалить поля, глубоко вложенные в файл json.
[url][queryString][404; http://hspb.homesearch.com:80/wcJV4LhTSmzJ1rX6FOq4RuiKe K49gUP2JvWtjdhhE] — одно из таких полей.
Этот...
795 просмотров
schedule
09.12.2023
Управление потоком журналов из logstash forwarder
Я хочу контролировать поток журналов от клиента пересылки logstash, так как на данный момент он читает весь файл журнала с самого начала, что не требуется в проекте.
Я хочу, чтобы журналы до 10 ноября 2015 г. не пересылались на сервер...
138 просмотров
schedule
26.11.2023
Как я могу передавать журналы с серверов tomcat в кластер Kafka?
В настоящее время я использую Redis -> s3 -> эластичный поиск -> стек kibana для передачи и визуализации моих журналов. Я хочу добавить кластер kafka в этот стек и передать данные из узлов приложения в кластер kafka.
Как именно я могу это сделать?
369 просмотров
schedule
21.01.2024
Как написать многострочный logstash для чередующихся строк журнала из разных потоков процесса на основе динамического идентификатора
фиктивный лог-файл:
[1] test123
[2] test234
[3] test345
[2] test321
[1] test432
[3] test058
[1] test002`
ожидаемый результат от многострочного объединения строк с одинаковым идентификатором и рассмотрения как одного события.
[1] test123...
79 просмотров
schedule
10.09.2022
Logstash сохранить значение для следующей записи
Можно ли сохранить значение, которое я отфильтровал с помощью grok, чтобы использовать его в качестве дополнительного поля для следующей записи?
Or
Может быть, есть плагин, который может сделать это для меня?
131 просмотров
schedule
14.06.2022
Разобрать лог с помощью Losgtash
Я использую Logstash для анализа файла журнала. Образец строки журнала показан ниже.
2011/08/10 09:51:34.450457,1.048908,tcp,213.200.244.217,47908, ->,147.32.84.59,6881,S_RA,0,0,4,244,124,flow=Background-Established-cmpgw-CVUT
Я использую...
138 просмотров
schedule
02.04.2024
ELK Stack - создание индекса Elasticsearch (logstash)
Я экспериментирую с ELK, чтобы проанализировать наши файлы журналов. Следуя доступной документации, удалось настроить стек на моем компьютере. Теперь у меня возникла проблема с созданием индекса эластичного поиска. Раньше я использовал комбинацию...
2273 просмотров
schedule
20.06.2022
Как остановить файл конфигурации logstash, работающий в Ubuntu?
Я запускаю файл конфигурации logstash в Ubuntu, используя следующую команду.
/opt/logstash/bin/logstash -f /etc/logstash/conf.d/logstash.conf
Это работает, однако недавно я понял, что каждый раз, когда я запускаю эту команду, она запускает...
6064 просмотров
schedule
29.08.2022
Статус заглушки Nginx для Logstash
Я скомпилировал Nginx с модулем состояния заглушки и хочу, чтобы данные обрабатывались Logstash и отправлялись в ElasticSearch. Я использую модуль Logstash http_poller для получения статуса каждые 10 секунд.
См....
321 просмотров
schedule
07.03.2024
Разбор XML с помощью Logstash
Я новичок в стеке ELK и пытаюсь обработать приведенный ниже образец XML-файла с помощью Logstash.
<Book:Body>
<Book:Head>
<bookname>Book:Name</bookname>
<ns:Hello xmlns:ns="www.example.com">...
894 просмотров
schedule
31.01.2023
Что произойдет, если logstash отправляет данные в elasticsearch со скоростью, превышающей скорость индексации?
Итак, у меня есть несколько хостов с установленным logstash на каждом хосте. Logstash на всех этих хостах считывает файлы журналов, сгенерированные хостом, и отправляет данные в мой единственный кластер aws elasticsearch.
Теперь рассмотрим...
104 просмотров
schedule
23.01.2024
Конфигурация Logstash, если строка содержит
Итак, давайте предположим, что у меня есть часть строки журнала, которая выглядит примерно так:
GET /restAPI/callMethod1/8675309
GET соответствует методу http и извлекается, остаток соответствует URI и также извлекается. Теперь в...
24753 просмотров
schedule
14.06.2023
Как мне подключиться к cockroachDB через JDBC из плагина вывода logstash?
Я использую logstash для создания конвейера от Postgres к CockroachDB. Ниже конфиг.
Плагин ввода (источник - postgres) работает нормально. Но я не могу установить соединение в выходном плагине (cockroachDB) с помощью JDBC. Я столкнулся с ошибкой...
430 просмотров
schedule
05.08.2023
logstash конвертировать время в дату
Я использую logstash для передачи данных из filebeat в elasticsearch. Мои данные имеют время как hh:mm:ss a (05:21:34). Я хочу добавить к нему сегодняшнюю дату. Это фильтр конфигурации logstash
filter{
grok{ some grok pattern to get...
1330 просмотров
schedule
11.08.2022
Logstash Grok - Как разобрать поле @timestamp с использованием шаблона HTTPDERROR_DATE?
В моем файле журнала есть такой шаблон:
[Sun Oct 30 17:16:09 2016] [TRACE_HIGH] [TEST1] MessageTest1
[Sun Oct 30 17:16:10 2016] [TRACE_HIGH] [TEST2] MessageTest2
Шаблон:
\A\[%{HTTPDERROR_DATE}](?<message>(.|\r|\n)*)
Фильтр:...
8547 просмотров
schedule
29.08.2023
Подключение ELK (Logstash) к Zabbix через плагин
Я пытаюсь настроить Logstash для отправки журналов ошибок на удаленный сервер Zabbix.
Мои входные данные и фильтры работают нормально, а оператор if правильно выводится в файл журнала, однако я не уверен, как правильно отправить вывод в Zabbix....
819 просмотров
schedule
04.06.2022
Как я могу синхронизировать время журнала в logstash или kibana
У меня есть два журнала из разных источников, которые я загружаю в elasticsearch через logstash, а затем визуализирую с помощью kibana. Моя проблема в том, что время начала каждого журнала должно быть одинаковым, однако один из журналов неправильно...
478 просмотров
schedule
03.05.2024
