背景
使用Kubeadm在國內部署Kubernetes集羣時，由於無法訪問k8s.gcr.io，就修改了默認的倉庫地址，直接使用了Azure 提供的gcr.azk8s.cn/google_containers倉庫。
部署信息
操作系統：Centos7
Kubernetes：v1.17.0 單Master節點
問題
docker pull gcr.azk8s.cn/google_containers/pause:3.1
Error response from daemon: error parsing HTTP 403 response body: invalid character '<' looking for beginning of value: "<html>\r\n<head><title>403 Forbidden</title></head>\r\n<body bgcolor=\"white\">\r\n<center><h1>403 Forbidden</h1></center>\r\n<hr><center>nginx/1.14.0 (Ubuntu)</center>\r\n</body>\r\n</html>\r\n"
近期Azure調整了策略，其倉庫只允許 Azure China IP 使用，不再對外提供服務, 如果確實有需求，可以聯繫[email protected]並提供IP地址。官方說明：https://mirror.azure.cn/help/docker-registry-proxy-cache.html
這樣我在新增節點時就無法下載kube-proxy以及pause鏡像了，甚至節點出現意外時，對恢復節點也造成一定影響。
目標
切換所有相關鏡像至新的倉庫。
實施
升級過程中服務會短暫中斷，也可能存在未知風險，應提前做好準備。
升級過程中服務會短暫中斷，也可能存在未知風險，應提前做好準備。
升級過程中服務會短暫中斷，也可能存在未知風險，應提前做好準備。
倉庫切換涉及到兩個核心內容：
- Kubernetes集羣鏡像，以及現有運行中的所有基礎服務。
- Kubeadm配置信息，保證新增節點拿到新的配置信息，進行初始化。
創建倉庫代理
創建代理倉庫的細節網上很多，就不詳細贅述。
網上可以找到很多更好的倉庫，像：阿里、中科大、網易都有相關的服務提供。爲了自主可控，我還是選擇了阿里雲香港節點的輕量應用服務器做了代理，寬帶峯值30M，每月1T流量，經常會被限速，體驗不怎麼好，但好歹自主可控了。急需的同學倒是可以拿來應急下。
- hub.docker.com -> dockerhub.msorg.cn
- gcr.io -> gcr.msorg.cn
- k8s.gcr.io -> k8sgcr.msorg.cn
- quay.io -> quay.msorg.cn
更新鏡像
鏡像清單可以通過kubeadm config images list命令查看到。
k8s.gcr.io/kube-apiserver:v1.17.0
k8s.gcr.io/kube-controller-manager:v1.17.0
k8s.gcr.io/kube-scheduler:v1.17.0
k8s.gcr.io/kube-proxy:v1.17.0
k8s.gcr.io/pause:3.1
k8s.gcr.io/etcd:3.4.3-0
k8s.gcr.io/coredns:1.6.5
kube-apiserver、kube-controller-manager、kube-scheduler、etcd可以在主節點的/etc/kubernetes/manifests/目錄下找到，yaml配置文件修改保存後立即生效。
coredns、kube-proxy是發佈到Kubernetes集羣中的，直接kubectl更新配置。
pause是與kubelet綁定在一起的，修改service配置即可。
更新kube-apiserver
在主節點的/etc/kubernetes/manifests/目錄中，找到kube-apiserver.yaml文件，修改其中的image部分即可,如：image: gcr.msorg.cn/google_containers/kube-apiserver:v1.17.0
修改之後保存文件立即生效。
更新kube-controller-manager
在主節點/etc/kubernetes/manifests/目錄中，找到kube-controller-manager.yaml文件，修改其中的image部分即可,如：image: gcr.msorg.cn/google_containers/kube-controller-manager:v1.17.0
修改之後保存文件立即生效。
更新kube-scheduler
在主節點/etc/kubernetes/manifests/目錄中，找到kube-scheduler.yaml文件，修改其中的image部分即可,如：image: gcr.msorg.cn/google_containers/kube-scheduler:v1.17.0
修改之後保存文件立即生效。
更新etcd
在主節點/etc/kubernetes/manifests/目錄中，找到etcd.yaml文件，修改其中的image部分即可,如：image: gcr.msorg.cn/google_containers/etcd:3.4.3-0
修改之後保存文件立即生效。
更新coredns
coredns被以deployment的方式發佈在Kubernetes集羣之上，我們只需要修改其配置即可。
可以使用命令kubectl edit deployment coredns -n kube-system,修改其image部分配置，如：image: gcr.msorg.cn/google_containers/coredns:1.6.5
更新kube-proxy
kube-proxy被以daemonset的方式發佈在Kubernetes集羣之上，我們只需要需改其配置即可。
可以使用kubectl edit daemonset kube-proxy -n kube-system命令進行編輯，修改其image部分配置，如：image: gcr.msorg.cn/google_containers/kube-proxy:v1.17.0
更新pause鏡像
該鏡像配置被放在每個節點上的kubelet啓動命令中，可以通過以下方式確認。
使用ps -ef | grep kubelet命令查看當前kubelet啓動信息
root 26588 1 2 Apr11 ? 06:18:01 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --cgroup-driver=systemd --network-plugin=cni --pod-infra-container-image=gcr.msorg.cn/google_containers/pause:3.1
可以看到在啓動時有pod-infra-container-image參數，修改此參數即可。具體此參數如何修改，因爲系統不同，可能方式也不太一樣，下面以Centos7系統爲例，Centos7使用了systemd，演示如何查找該參數配置位置。
第一步：kubeadm已經將kubelet已經被安裝爲service了，可以使用service kubelet status查看當前service信息。
kubelet.service - kubelet: The Kubernetes Node Agent
Loaded: loaded (/usr/lib/systemd/system/kubelet.service; enabled; vendor preset: disabled)
Drop-In: /usr/lib/systemd/system/kubelet.service.d
└─10-kubeadm.conf
Active: active (running) since Sat 2020-04-11 17:27:03 CST; 1 weeks 1 days ago
Docs: https://kubernetes.io/docs/
Main PID: 26588 (kubelet)
Tasks: 35
Memory: 196.4M
CGroup: /system.slice/kubelet.service
└─26588 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --cgroup-driver=systemd --network-plugin=cni --pod-infra-...
從以上信息中我們可以看到當前使用的service配置文件爲/usr/lib/systemd/system/kubelet.service，並且加載了10-kubeadm.conf
第二步：查看service配置
使用cat /usr/lib/systemd/system/kubelet.service進行查看
[Unit]
Description=kubelet: The Kubernetes Node Agent
Documentation=https://kubernetes.io/docs/
[Service]
ExecStart=/usr/bin/kubelet
Restart=always
StartLimitInterval=0
RestartSec=10
[Install]
WantedBy=multi-user.target
發現其中並沒有什麼特別的，進一步查看10-kubeadm.conf，至於這個文件呢，在/usr/lib/systemd/system/kubelet.service.d路徑下，或者使用find命令進行查找即可。
[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
# This is a file that "kubeadm init" and "kubeadm join" generates at runtime, populating the KUBELET_KUBEADM_ARGS variable dynamically
EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env
# This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use
# the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file.
EnvironmentFile=-/etc/sysconfig/kubelet
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS
從此文件中我們可以找到/var/lib/kubelet/kubeadm-flags.env文件是在kubeadm init與kubeadm join時產生的。基本可以確定下一步的目標了。
第三步：查看/var/lib/kubelet/kubeadm-flags.env文件
使用cat /var/lib/kubelet/kubeadm-flags.env查看該文件
KUBELET_KUBEADM_ARGS="--cgroup-driver=systemd --network-plugin=cni --pod-infra-container-image=gcr.msorg.cn/google_containers/pause:3.1"
我們會發現需要的內容真的在裏面，這時候只需要改了pod-infra-container-image這個參數爲我們所需要的，重新啓動kubelet即可，每個node節點都需要手動修改。
更新kubeadm配置
Kubernetes中存有名爲kubeadm-config的ConfigMap配置信息，需要對其進行更新。
可以使用kubectl edit cm kubeadm-config -n kube-system命令進行編輯，修改imageRepository部分，如：imageRepository: gcr.msorg.cn/google_containers
總結
至此所有操作就已經完成了。當然了，此方式比較野路子，原因是沒有在官方文檔中找到相關資料，如果哪位找到了，請告知我，謝謝。