Kubernetes Pod中的內核參數調整

背景

使用uwsgi部署了一個django的應用，並且使用Kubernetes來運行，但是運行以後老是報如下的錯誤,後來在網上查詢了，是一個系統內核參數(net.core.somaxconn)太小了，默認是128.所以需要將它調整大一些。

uwsgi_proto_uwsgi_parser(): Resource temporarily unavailable [proto/uwsgi.c line 40]

簡介

容器的系統內存參數不是通過echo 一個值到指定的文件，然後sysctl -p 就生效了。在docker 中可以使用 如下的命令來調整

docker run --sysctl net.core.somaxconn=1000 nginx

但是這K8S中，步驟稍微要複雜一點，主要是還需要修改kubelet的啓動參數。

步驟

1. 修改kubelet的service文件

vi /etc/systemd/system/kubelet.service ,在啓動命令中添加 --allowed-unsafe-sysctls=net.*

[root@ai-test-k8s07 ~]# cat /etc/systemd/system/kubelet.service
[Unit]
Description=Kubernetes Kubelet
Documentation=https://github.com/GoogleCloudPlatform/kubernetes

[Service]
WorkingDirectory=/var/lib/kubelet
ExecStartPre=/bin/mount -o remount,rw '/sys/fs/cgroup'
ExecStartPre=/bin/mkdir -p /sys/fs/cgroup/cpuset/system.slice/kubelet.service
ExecStartPre=/bin/mkdir -p /sys/fs/cgroup/hugetlb/system.slice/kubelet.service
ExecStartPre=/bin/mkdir -p /sys/fs/cgroup/memory/system.slice/kubelet.service
ExecStartPre=/bin/mkdir -p /sys/fs/cgroup/pids/system.slice/kubelet.service
ExecStart=/opt/kube/bin/kubelet \
  --config=/var/lib/kubelet/config.yaml \
  --cni-bin-dir=/opt/kube/bin \
  --cni-conf-dir=/etc/cni/net.d \
  --hostname-override=10.215.0.24 \
  --kubeconfig=/etc/kubernetes/kubelet.kubeconfig \
  --network-plugin=cni \
  --pod-infra-container-image=mirrorgooglecontainers/pause-amd64:3.1 \
  --root-dir=/var/lib/kubelet \
  --v=2 \
  --allowed-unsafe-sysctls=net.*
Restart=always
RestartSec=5

[Install]
WantedBy=multi-user.target

2. 重新啓動kubelet 

systemctl daemon-reload && systemctl restart kubelet

3. 在Pod中添加內存參數，我是直接在Deployment裏面改，securityContext 這個裏面定義需要修改的內核參數，如果有多個，就在sysctls下面添加就可以。

nginx.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
  labels: 
    app: nginx

spec: 
  selector:
    matchLabels:
      app: nginx
  replicas: 1
  template: 
    metadata:
      labels:
        app: nginx
    spec:
      securityContext:
        sysctls:
        - name: net.core.somaxconn
          value: "1000"
        - name: net.ipv4.tcp_keepalive_time
          value: "1200"
      containers:
      - name: nginx
        image: nginx
        imagePullPolicy: IfNotPresent
        ports:
          - containerPort: 80

4. 運行這個Deployment

kubectl apply -f nginx.yaml

5. 進入容器查看內核參數

[root@master ~]# kubectl exec -it nginx-57b5f658d-44nq4 bash
root@nginx-57b5f658d-44nq4:/# cat /proc/sys/net/core/somaxconn
1000