Как увеличить диапазон CIDR подов в кластере Kubernetes, развернутом с помощью kubeadm?

Изменить кластерный CIDR - непростая задача. Мне удалось воспроизвести ваш сценарий и изменить его, выполнив следующие действия.

Изменение пула IP-адресов

Процесс выглядит следующим образом:

1. Установите calicoctl как модуль Kubernetes (Source < / а>)
2. Добавьте новый пул IP-адресов (Источник).
3. Отключите старый пул IP-адресов. Это предотвращает выделение нового IPAM из старого пула IP-адресов, не влияя на сетевое взаимодействие существующих рабочих нагрузок.
4. Изменить параметры узлов podCIDR (Источник)
5. Измените --cluster-cidr на kube-controller-manager.yaml на главном узле. (Кредиты OP по этому поводу)
6. Восстановите все существующие рабочие нагрузки, которым был назначен адрес из старого пула IP-адресов.
7. Удалите старый пул IP-адресов.

Давайте начнем.

В этом примере мы собираемся заменить 192.168.0.0/16 на 10.0.0.0/8.

1. Установка calicoctl в качестве модуля Kubernetes

   $ kubectl apply -f https://docs.projectcalico.org/manifests/calicoctl.yaml
   

   Установка псевдонима:

   $ alias calicoctl="kubectl exec -i -n kube-system calicoctl -- /calicoctl "
   

2. Добавьте новый пул IP:

   calicoctl create -f -<<EOF
   apiVersion: projectcalico.org/v3
   kind: IPPool
   metadata:
     name: new-pool
   spec:
     cidr: 10.0.0.0/8
     ipipMode: Always
     natOutgoing: true
   EOF
   

   Теперь у нас должно быть два включенных пула IP, которые мы можем увидеть при запуске calicoctl get ippool -o wide:

   NAME                  CIDR             NAT    IPIPMODE   DISABLED
   default-ipv4-ippool   192.168.0.0/16   true   Always     false
   new-pool              10.0.0.0/8       true   Always     false
   

3. # P8 # # P9 #

   calicoctl get ippool -o yaml > pool.yaml
   

   # P10 #

   apiVersion: projectcalico.org/v3
   items:
   - apiVersion: projectcalico.org/v3
     kind: IPPool
     metadata:
       name: default-ipv4-ippool
     spec:
       cidr: 192.168.0.0/16
       ipipMode: Always
       natOutgoing: true
   - apiVersion: projectcalico.org/v3
     kind: IPPool
     metadata:
       name: new-pool
     spec:
       cidr: 10.0.0.0/8
       ipipMode: Always
       natOutgoing: true
   

   # P11 #

   # P12 #

   apiVersion: projectcalico.org/v3
   kind: IPPool
   metadata:5
     name: default-ipv4-ippool
   spec:
     cidr: 192.168.0.0/16
     ipipMode: Always
     natOutgoing: true
     disabled: true
   

   # P13 #

   calicoctl apply -f pool.yaml
   

   # P14 #

   NAME                  CIDR             NAT    IPIPMODE   DISABLED
   default-ipv4-ippool   192.168.0.0/16   true   Always     true
   new-pool              10.0.0.0/8       true   Always     false
   

4. Измените параметр узлов podCIDR:

   Замените параметр podCIDR на конкретном ресурсе узла k8s новым диапазоном IP-адресов, желательно с помощью следующих команд:

   $ kubectl get no kubeadm-0 -o yaml > file.yaml; sed -i "s~192.168.0.0/24~10.0.0.0/16~" file.yaml; kubectl delete no kubeadm-0 && kubectl create -f file.yaml
   $ kubectl get no kubeadm-1 -o yaml > file.yaml; sed -i "s~192.168.1.0/24~10.1.0.0/16~" file.yaml; kubectl delete no kubeadm-1 && kubectl create -f file.yaml
   $ kubectl get no kubeadm-2 -o yaml > file.yaml; sed -i "s~192.168.2.0/24~10.2.0.0/16~" file.yaml; kubectl delete no kubeadm-2 && kubectl create -f file.yaml    
   

   Мы должны были выполнить это действие для каждого имеющегося у нас узла. Обратите внимание на диапазоны IP-адресов, они различаются от одного узла к другому.

5. Измените CIDR в kubeadm-config ConfigMap и kube-controller-manager.yaml

Отредактируйте kubeadm-config ConfigMap и измените podSubnet на новый диапазон IP-адресов:

kubectl -n kube-system edit cm kubeadm-config

Также измените --cluster-cidr в /etc/kubernetes/manifests/kube-controller-manager.yaml, расположенном на главном узле.

$ sudo cat /etc/kubernetes/manifests/kube-controller-manager.yaml
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    component: kube-controller-manager
    tier: control-plane
  name: kube-controller-manager
  namespace: kube-system
spec:
  containers:
  - command:
    - kube-controller-manager
    - --allocate-node-cidrs=true
    - --authentication-kubeconfig=/etc/kubernetes/controller-manager.conf
    - --authorization-kubeconfig=/etc/kubernetes/controller-manager.conf
    - --bind-address=127.0.0.1
    - --client-ca-file=/etc/kubernetes/pki/ca.crt
    - --cluster-cidr=10.0.0.0/8
    - --cluster-signing-cert-file=/etc/kubernetes/pki/ca.crt
    - --cluster-signing-key-file=/etc/kubernetes/pki/ca.key
    - --controllers=*,bootstrapsigner,tokencleaner
    - --kubeconfig=/etc/kubernetes/controller-manager.conf
    - --leader-elect=true
    - --node-cidr-mask-size=24
    - --requestheader-client-ca-file=/etc/kubernetes/pki/front-proxy-ca.crt
    - --root-ca-file=/etc/kubernetes/pki/ca.crt
    - --service-account-private-key-file=/etc/kubernetes/pki/sa.key
    - --service-cluster-ip-range=10.96.0.0/12
    - --use-service-account-credentials=true

7. Восстановите все существующие рабочие нагрузки, используя IP-адреса из отключенного пула. В этом примере kube-dns - единственная рабочая нагрузка, подключенная к сети Calico:

   kubectl delete pod -n kube-system kube-dns-6f4fd4bdf-8q7zp
   

   Убедитесь, что новая рабочая нагрузка теперь имеет адрес в новом пуле IP-адресов, запустив calicoctl get wep --all-namespaces:

   NAMESPACE     WORKLOAD                   NODE      NETWORKS            INTERFACE
   kube-system   kube-dns-6f4fd4bdf-8q7zp   vagrant   10.0.24.8/32   cali800a63073ed
   

8. Удалите старый пул IP:

   calicoctl delete pool default-ipv4-ippool
   

Правильное создание с нуля

Чтобы развернуть кластер под определенным диапазоном IP-адресов с помощью Kubeadm и Calico, вам необходимо инициализировать кластер с помощью --pod-network-cidr=192.168.0.0/24 (где 192.168.0.0/24 - ваш желаемый диапазон), а затем вам необходимо настроить манифест Calico перед его применением в новом кластере.

Чтобы настроить Calico перед применением, вам необходимо загрузить его yaml-файл и изменить диапазон сети.

1. Загрузите сетевой манифест Calico для Kubernetes.

   $ curl https://docs.projectcalico.org/manifests/calico.yaml -O
   

2. Если вы используете модуль CIDR 192.168.0.0/24, перейдите к следующему шагу. Если вы используете другой CIDR модуля, используйте следующие команды, чтобы установить переменную среды с именем POD_CIDR, содержащую CIDR вашего модуля, и заменить 192.168.0.0/24 в манифесте на CIDR вашего модуля.

   $ POD_CIDR="<your-pod-cidr>" \
   sed -i -e "s?192.168.0.0/16?$POD_CIDR?g" calico.yaml
   

3. Примените манифест с помощью следующей команды.

   $ kubectl apply -f calico.yaml