Kubernetes - слишком много открытых файлов.

Я пытаюсь оценить производительность одного из моих серверов go, работающих внутри модуля. Однако появляется сообщение об ошибке слишком много открытых файлов. Есть ли возможность установить ulimit в кубернетах?

ubuntu@ip-10-0-1-217:~/ppu$ kubectl exec -it go-ppu-7b4b679bf5-44rf7 -- /bin/sh -c 'ulimit -a'
core file size (blocks)         (-c) unlimited
data seg size (kb)              (-d) unlimited
scheduling priority             (-e) 0
file size (blocks)              (-f) unlimited
pending signals                 (-i) 15473
max locked memory (kb)          (-l) 64
max memory size (kb)            (-m) unlimited
open files                      (-n) 1048576
POSIX message queues (bytes)    (-q) 819200
real-time priority              (-r) 0
stack size (kb)                 (-s) 8192
cpu time (seconds)              (-t) unlimited
max user processes              (-u) unlimited
virtual memory (kb)             (-v) unlimited
file locks                      (-x) unlimited

Файл развертывания.

---
apiVersion: apps/v1
kind: Deployment                 # Type of Kubernetes resource
metadata:
  name: go-ppu           # Name of the Kubernetes resource
spec:
  replicas: 1                    # Number of pods to run at any given time  
  selector:
    matchLabels:
      app: go-ppu         # This deployment applies to any Pods matching the specified label
  template:                      # This deployment will create a set of pods using the configurations in this template
    metadata:
      labels:                    # The labels that will be applied to all of the pods in this deployment
        app: go-ppu  
    spec:                        # Spec for the container which will run in the Pod
      containers:
      - name: go-ppu 
        image: ppu_test:latest
        imagePullPolicy: Never
        ports:
          - containerPort: 8081  # Should match the port number that the Go application listens on
        livenessProbe:           # To check t$(minikube docker-env)he health of the Pod
          httpGet:
            path: /health
            port: 8081
            scheme: HTTP
          initialDelaySeconds: 35
          periodSeconds: 30
          timeoutSeconds: 20
        readinessProbe:          # To check if the Pod is ready to serve traffic or not
          httpGet:
            path: /readiness
            port: 8081
            scheme: HTTP
          initialDelaySeconds: 35
          timeoutSeconds: 20    

Информация о стручках:

ubuntu@ip-10-0-1-217:~/ppu$ kubectl get pods
NAME                           READY   STATUS    RESTARTS   AGE
go-ppu-7b4b679bf5-44rf7        1/1     Running   0          18h

ubuntu@ip-10-0-1-217:~/ppu$ kubectl get services
NAME          TYPE           CLUSTER-IP      EXTERNAL-IP                                                               PORT(S)          AGE
kubernetes    ClusterIP      100.64.0.1      <none>                                                                    443/TCP          19h
ppu-service   LoadBalancer   100.64.171.12   74d35bb2a5f30ca13877-1351038893.us-east-1.elb.amazonaws.com   8081:32623/TCP   18h

Когда я использовал locust для проверки производительности сервера, я получил следующую ошибку.

# fails Method  Name    Type
3472    POST    /supplyInkHistory   ConnectionError(MaxRetryError("HTTPConnectionPool(host='74d35bb2a5f30ca13877-1351038893.us-east-1.elb.amazonaws.com', port=8081): Max retries exceeded with url: /supplyInkHistory (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x....>: Failed to establish a new connection: [Errno 24] Too many open files',))",),)

person Srikanth    schedule 02.09.2020    source источник


Ответы (2)


Предлагаем вам ознакомиться с https://kubernetes.io/docs/tasks/administer-cluster/sysctl-cluster/ Но вам нужно включить несколько функций, чтобы заставить его работать.

  securityContext:
sysctls:
- name: fs.file-max
  value: "YOUR VALUE HERE"
person Zambozo    schedule 02.09.2020

Было несколько случаев установки аргумента --ulimit, вы можете найти их здесь или просмотрите эту статью. Это ограничение ресурса может быть установлено Docker во время запуска контейнера. Когда вы добавляете тег google-kubernetes-engine, ответ будет связан со средой GKE, однако в другом облаке он может работать аналогично.

Если вы хотите установить unlimit for open files, вы можете изменить файл конфигурации /etc/security/limits.conf. Однако, пожалуйста, обратите внимание, что он не будет сохраняться после перезагрузки.

Второй вариант - отредактировать /etc/init/docker.conf и перезапустить службу докеров. По умолчанию у него есть несколько ограничений, например nofile или nproc, вы можете добавить их здесь.

Другой вариант - использовать шаблон экземпляра. Шаблон экземпляра будет включать сценарий запуска, который устанавливает требуемый предел. После этого вам нужно будет использовать этот новый шаблон экземпляра для группы экземпляров в GKE. Дополнительная информация здесь и здесь.

person PjoterS    schedule 02.09.2020