Многострочные логи в ES из filebeat, развернутого как Kubernetes Daemonset

Я установил filebeat в качестве демона в кубернетах для пересылки журналов в ES + kibana из контейнеров докеров. (со ссылкой на https://www.elastic.co/guide/en/beats/filebeat/master/running-on-kubernetes.html) И логи успешно пересылаются.

Проблема в том, что когда есть многострочные журналы, они пересылаются в ES как отдельные строки журнала.

вот часть, где я настроил многострочный фильтр my filebeat-kuberneted.yaml

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: filebeat-prospectors
  namespace: kube-system
  labels:
    k8s-app: filebeat
    kubernetes.io/cluster-service: "true"
data:
  kubernetes.yml: |-
    - type: docker
      containers.ids:
      - "${data.kubernetes.container.id}"
      processors:
        - add_kubernetes_metadata:
            in_cluster: true
      multiline:
        pattern: '^[[:space:]]'
        negate: false
        match: after
---

Вот мой полный файл filebeat-kuberneted.yaml

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: filebeat-config
  namespace: kube-system
  labels:
    k8s-app: filebeat
    kubernetes.io/cluster-service: "true"
data:
  filebeat.yml: |-
    filebeat.config:
      prospectors:
        # Mounted `filebeat-prospectors` configmap:
        path: ${path.config}/prospectors.d/*.yml
        # Reload prospectors configs as they change:
        reload.enabled: true
      modules:
        path: ${path.config}/modules.d/*.yml
        # Reload module configs as they change:
        reload.enabled: false

    filebeat.autodiscover:
      providers:
        - type: kubernetes
          templates:
            - condition:
                or:
                  - equals:
                      kubernetes.container.name: customer-infor-service
                config:
                - type: docker
                  containers.ids:
                    - "${data.kubernetes.container.id}"
                  multiline.pattern: '^[[:space:]]'
                  multiline.negate: false
                  multiline.match: after

    processors:
      - add_cloud_metadata:

    cloud.id: ${ELASTIC_CLOUD_ID}
    cloud.auth: ${ELASTIC_CLOUD_AUTH}

    output.elasticsearch:
      hosts: [ "192.168.1.245:9200"]
      username: ""
      password: ""
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: filebeat-prospectors
  namespace: kube-system
  labels:
    k8s-app: filebeat
    kubernetes.io/cluster-service: "true"
data:
  kubernetes.yml: |-
    - type: docker
      containers.ids:
      - "${data.kubernetes.container.id}"
      processors:
        - add_kubernetes_metadata:
            in_cluster: true
---
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: filebeat
  namespace: kube-system
  labels:
    k8s-app: filebeat
    kubernetes.io/cluster-service: "true"
spec:
  template:
    metadata:
      labels:
        k8s-app: filebeat
        kubernetes.io/cluster-service: "true"
    spec:
      serviceAccountName: filebeat
      terminationGracePeriodSeconds: 30
      containers:
      - name: filebeat
        image: docker.elastic.co/beats/filebeat:6.2.4
        args: [
          "-c", "/etc/filebeat.yml",
          "-e",
        ]
        env:
        - name: ELASTICSEARCH_HOST
          value: "192.168.1.245"
        - name: ELASTICSEARCH_PORT
          value: "9200"
        - name: ELASTICSEARCH_USERNAME
          value: ""
        - name: ELASTICSEARCH_PASSWORD
          value: ""
        - name: ELASTIC_CLOUD_ID
          value:
        - name: ELASTIC_CLOUD_AUTH
          value:
        securityContext:
          runAsUser: 0
        resources:
          limits:
            memory: 200Mi
          requests:
            cpu: 100m
            memory: 100Mi
        volumeMounts:
        - name: config
          mountPath: /etc/filebeat.yml
          readOnly: true
          subPath: filebeat.yml
        - name: prospectors
          mountPath: /usr/share/filebeat/prospectors.d
          readOnly: true
        - name: data
          mountPath: /usr/share/filebeat/data
        - name: varlibdockercontainers
          mountPath: /var/lib/docker/containers
          readOnly: true
      volumes:
      - name: config
        configMap:
          defaultMode: 0600
          name: filebeat-config
      - name: varlibdockercontainers
        hostPath:
          path: /var/lib/docker/containers
      - name: prospectors
        configMap:
          defaultMode: 0600
          name: filebeat-prospectors
      - name: data
        emptyDir: {}
---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: filebeat
subjects:
- kind: ServiceAccount
  name: filebeat
  namespace: kube-system
roleRef:
  kind: ClusterRole
  name: filebeat
  apiGroup: rbac.authorization.k8s.io
---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRole
metadata:
  name: filebeat
  labels:
    k8s-app: filebeat
rules:
- apiGroups: [""] # "" indicates the core API group
  resources:
  - namespaces
  - pods
  verbs:
  - get
  - watch
  - list
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: filebeat
  namespace: kube-system
  labels:
    k8s-app: filebeat
---

Однако я могу успешно применить многострочный фильтр filebeat на докере без кубернетов, а также на развертываниях без докеров. Думаю, проблема в моем файле конфигурации filebeat-kuberneted.yaml.

Мне что-то не хватает в моей конфигурации filebeat-kuberneted.yaml ?.


person Dushmantha    schedule 19.06.2018    source источник
comment
Документы утверждают, что path.config /etc/filebeat ; Вы пробовали монтировать том filebeat.yml в /etc/filebeat/filebeat.yml, а затем старателей как /etc/filebeat/prospectors.d?   -  person mdaniel    schedule 20.06.2018
comment
И было бы полезно, если бы мы знали, как вы запускаете версию docker, поскольку вы сказали, что настройка работает для вас.   -  person mdaniel    schedule 20.06.2018
comment
@MatthewLDaniel Спасибо, что заметили монтирование томов. Я дважды проверил, и они правильно смонтированы (на самом деле они настроены как ConfigMaps). в любом случае я смог решить эту проблему после двух поисков. Спасибо еще раз за помощь.   -  person Dushmantha    schedule 20.06.2018


Ответы (2)


Наконец, чтобы решить проблему, используйте многострочный фильтр под filebeat.autodiscover:

      filebeat.autodiscover:
      providers:
        - type: kubernetes
          templates:
            - condition:
                or:
                  - equals:
                      kubernetes.container.name: car-search
                  - equals:
                      kubernetes.container.name: cart-service
              config:
                - type: docker
                  containers.ids:
                    - "${data.kubernetes.container.id}"
                  multiline.pattern: '^[[:space:]]'
                  multiline.negate: false
                  multiline.match: after

    processors:
      - add_cloud_metadata:

ref https://github.com/moby/moby/issues/22920

person Dushmantha    schedule 20.06.2018

Вы можете попробовать следующее:

filebeat.inputs:
- type: container
  multiline.pattern: '<your-pattern>'
  multiline.negate: false
  multiline.match: after
  paths:
    - /var/log/containers/*.log
  processors:
    - add_kubernetes_metadata:
        in_cluster: true
        host: ${NODE_NAME}
        matchers:
        - logs_path:
            logs_path: "/var/log/containers/"
person aman    schedule 07.05.2020