Вопросы по теме 'fluentd'
Как отслеживать журнал контейнеров докеров от пользователя без полномочий root?
Я хочу отслеживать журнал контейнеров докеров от пользователя без полномочий root (td-agent) и на хост-сервере,
sudo chmod o+rx /var/lib/docker
sudo find /var/lib/docker/containers/ -type d -exec chmod o+rx {} \;
sudo find...
2994 просмотров
schedule
22.05.2022
fluentd теряет миллисекунды, и теперь сообщения журнала хранятся не по порядку в elasticsearch
Я использую fluentd для централизации сообщений журнала в elasticsearch и просмотра их с помощью kibana. Когда я просматриваю сообщения журнала, сообщения, которые произошли в одну и ту же секунду, не по порядку, а миллисекунды в @timestamp - все...
11391 просмотров
schedule
08.07.2023
Удалить повторяющиеся сообщения удаленного системного журнала
Для избыточности каждый хост в нашей распределенной сети отправляет свои сообщения системного журнала на два выделенных rsyslog -узла. Они, в свою очередь, отправляют системные журналы в центральный экземпляр graylog :
/ rsyslog \
host...
2056 просмотров
schedule
13.08.2023
Плагин вывода копии Fluentd не отправляет одни и те же данные в оба места назначения?
У меня есть стек веб-сервера с несколькими узлами (группа автоматического масштабирования), и каждый веб-сервер настроен на использование Fluentd для пересылки файлов журналов в центральный сборщик, который сохраняет журналы в корзине S3.
Я...
2106 просмотров
schedule
27.01.2024
Fluentd: невозможно передать журнал Rails в Fluentd STDOUT
Я следую этому сообщению Fluentd , чтобы установить рабочую версию Fluentd с Rails. Мой fluent-logger.yml :
development:
fluent_host: "localhost"
fluent_port: 24224
tag: "foo"
messages_type: "string"
application.rb :...
992 просмотров
schedule
08.08.2022
Получение журналов работы контейнеров tomcat в модулях kubernetes с помощью fluentd, elsasticsearch и kibana
Мы используем Kubernetes, и у нас есть несколько контейнеров tomcat / jws, работающих на нескольких подах. Что было бы наилучшим подходом для централизованного ведения журнала с использованием fluentd, Elasticsearch и Kibana. Основная цель -...
1583 просмотров
schedule
27.05.2022
Kubernetes на AWS с kube-up.sh без логов
Я настраиваю кластер с использованием kube-up.sh (v1.3.4) с AWS в качестве поставщика. Все хорошо, единственная проблема в том, что я не вижу свои логи (в Kibana и Elsaticsearch). Если я подключаюсь к докеру внутри контейнера fluentd-elasticsearch,...
170 просмотров
schedule
10.08.2023
Fluentd не записывает логи в amazon s3
Я пытаюсь протестировать плагин fluentd-s3-plugin, но на данный момент он не отправляет мои журналы в корзину s3. Я все запускаю на ubuntu xenial, установив fluentd с td-agent. Ниже приведен файл журнала td-agent, расположенный по адресу...
1134 просмотров
schedule
12.02.2022
[Fluentd]Как разархивировать файлы в Fluentd
Я пытаюсь обработать файлы журналов с расширением .gz в fluentd с помощью плагина cat_sweep, и моя попытка не удалась. Как показано в приведенной ниже конфигурации, я пытаюсь обработать все файлы в расположении /opt/logfiles/* . Однако, когда...
647 просмотров
schedule
16.01.2024
Fluentd - использование исходного тега в качестве индекса
У меня есть установка с Fluentd и Elasticsearch, работающими на движке Docker. У меня есть множество сервисов, которые я хотел бы зарегистрировать на Fluentd.
Я хочу создать тег для каждой службы, которую я запускаю, и использовать этот тег в...
1769 просмотров
schedule
04.10.2022
Настройте fluentd для правильного синтаксического анализа и отправки java stacktrace, отформатированного с помощью драйвера ведения журнала json-файла docker, для эластичности в виде одного сообщения.
Наш сервис работает как экземпляр докера. Данное ограничение заключается в том, что драйвер ведения журнала докеров не может быть изменен ни на что иное, кроме драйвера json-файла по умолчанию. Сервис (scala micro) выводит журнал, который выглядит...
4488 просмотров
schedule
22.02.2023
Как передать docker host в журналы fluentd
Я использую драйвер журнала fluentd для сбора журналов в моем кластере Docker Swarm.
Я создал беглый сервис:
docker service create --name fluentd --network my-network \
--mount type=bind,src=/data/fluentd,dst=/fluentd/etc \
--mount...
1600 просмотров
schedule
24.02.2022
Контейнер Fluentd не работает на Openshift
Я пытаюсь запустить свободное изображение на Openshift. Для этого я использую официальный образ Fluentd от Docker Hub.
Однако я получаю следующую ошибку -
adduser: permission denied (are you root?)
chown: unknown user fluent
chown: unknown...
1005 просмотров
schedule
12.02.2023
Ошибка синтаксического анализа данных json с использованием регулярного выражения в fluentd
Я отлично работаю и могу публиковать данные для эластичного поиска. Я изменил конфигурационный файл fluentd, чтобы отслеживать файл, получать данные и публиковать. Ниже источник:
<source>
@type tail
format...
1256 просмотров
schedule
25.12.2022
rsyslog для работы через ssl
Я настраиваю отправку данных из rsyslog в fluentd через ssl.
Я установил плагин secure_forward в fluentd. Эта конфигурация, как показано ниже.
Свободная конфигурация:
<source>
@type secure_forward
shared_key qeu1223123ecdcdjs...
198 просмотров
schedule
23.09.2023
Запись GCP Dataflow на fluentd
Мы хотели бы объединить наши журналы из нашего приложения и сервисов GCP в одну систему журналов. Приложения, работающие в K8s, пересылаются экземпляру fluentd, который затем передает журналы в нашу систему ведения журналов. (Гумио). Для сервисов...
208 просмотров
schedule
03.04.2022
Разобрать строку в JSON в FluentD
У меня есть эта строка журнала:
2019-03-18 15:56:57.5522 | HandFarm | ResolveDispatcher | start resolving msg: 8
Подскажите, пожалуйста, как мне преобразовать эту строку в формат JSON в fluentd.conf? Мне нужен следующий формат:
{...
2406 просмотров
schedule
19.12.2023
Как извлечь и визуализировать значения из записи журнала в стеке OpenShift EFK
У меня настроен кластер OKD со стеком EFK для ведения журнала, как описано здесь . Я никогда раньше не работал ни с одним из компонентов.
Одно развертывание регистрирует запросы, которые содержат конкретное значение, которое меня интересует. Я...
365 просмотров
schedule
11.04.2024
Контейнер набора демонов fluentd для papertrail не запускается в кластере Kubernetes
Я пытаюсь настроить fluentd в кластере kubernetes для агрегирования журналов в papertrail в соответствии с документацией, предоставленной здесь . Файл конфигурации: fluentd- daemonset-papertrail.yaml По сути, он создает набор демонов для...
378 просмотров
schedule
01.05.2022
Подключите aws-elasticssearch к fluentd с помощью tdagent
Я успешно подключил elasticsearch на локальном компьютере с помощью tdagent, но в промежуточной среде мне нужно подключиться к aws elasticsearch, если я установил fluentd с помощью ruby, тогда есть плагин
gem...
644 просмотров
schedule
22.03.2024
