本文圖文並茂地詳細介紹了在CentOS7.6上，使用kubeadm工具搭建Kubernates集羣v1.17.3，並集成Flannel、Harbor1.10.1的全過程。
服務器規劃：
k8s-master：192.168.100.244
k8s-node：192.168.100.246
harbor：192.168.100.242
1. 前期準備
Master節點和Node節點都需要這些準備。
關閉防火牆：
systemctl stop firewalld #停止firewall
systemctl disable firewalld #禁止firewall開機啓動
關閉SElinux：
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config
關閉swap（k8s官方要求）：
# 關閉swap
swapoff -a && sysctl -w vm.swappiness=0
# 取消開機掛載
sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab
添加本地DNS：
vim /etc/hosts
#### kubernates ########
192.168.100.244 k8s-master
192.168.100.245 k8s-node2
192.168.100.246 k8s-node
時鐘同步：
ntpdate ntp1.aliyun.com
1.1 安裝docker
刪除原先docker：
yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-engine
安裝依賴：
yum update -y #根據需要進行更新
yum install -y yum-utils \
device-mapper-persistent-data \
lvm2
更換docker源：
# 添加阿里雲的docker-ce源
wget -O /etc/yum.repos.d/docker-ce.repo \
https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 查看當前所有yum源
ll /etc/yum.repos.d/
安裝docker：
yum install -y docker-ce \
docker-ce-cli \
containerd.io
設置開機自啓：
systemctl enable --now docker
1.2 修改docker cgroup驅動
創建 docker daemon 文件，進行配置，目的是將native.cgroupdriver由cgroupfs修改爲systemd
cat > /etc/docker/daemon.json <<EOF
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2",
"storage-opts": [
"overlay2.override_kernel_check=true"
]
}
EOF
重啓生效：
systemctl daemon-reload
systemctl restart docker
1.3 更換kubernates源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
# 查看當前所有yum源
ll /etc/yum.repos.d/
1.4 安裝kubelet kubeadm kubectl
先卸載舊版（如果需要）：
yum remove \
kubelet \
kubeadm \
cri-tools \
kubectl
再安裝v1.17.3版：
yum install -y kubelet-1.17.3-0 \
kubeadm-1.17.3-0 \
kubectl-1.17.3-0 \
--disableexcludes=kubernetes
如果想安裝其他版本號，可以使用下面命令查看：
yum list kubeadm --showduplicates
安裝這三個程序時，會自動下載的依賴包有：
conntrack-tools.x86_64 0:1.4.4-5.el7_7.2
cri-tools.x86_64 0:1.13.0-0
kubernetes-cni.x86_64 0:0.7.5-0
libnetfilter_cthelper.x86_64 0:1.0.0-10.el7_7.1
libnetfilter_cttimeout.x86_64 0:1.0.0-6.el7_7.1
libnetfilter_queue.x86_64 0:1.0.2-2.el7_2
socat.x86_64 0:1.7.3.2-2.el7
安裝完成後，查看版本：
kubeadm version
kubectl version
kubelet --version
開機自啓kubelet：
systemctl enable --now kubelet
1.5 設置路由
yum install -y bridge-utils.x86_64
加載br_netfilter模塊：
modprobe br_netfilter
創建/etc/sysctl.d/k8s.conf文件：
cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
其中net.bridge.bridge-nf-call-iptables = 1 將會使系統下 /proc/sys/net/bridge/bridge-nf-call-iptables的值爲1，它會將橋接的IPv4流量傳遞給iptables的鏈。這也是包括flannel在內的很多CNI插件工作的前置要求。
使生效：
sysctl -p /etc/sysctl.d/k8s.conf
2. 配置Master和Node端
2.1 Master端拉取集羣所需鏡像
如果能夠科學上網，可以直接執行：
kubeadm config images pull
無法科學上網時的替代方案，步驟是這樣的：
- 列出kubeadm所需的image名稱
- 找個docker鏡像下載image
- 修改tag，改成與kubeadm所需名稱一致
- 最後啓動kubeadm進行安裝
下面是具體步驟：
1、列出所需鏡像：
kubeadm config images list
# 輸出結果：（可以查看各個組件的版本）
k8s.gcr.io/kube-apiserver:v1.17.3
k8s.gcr.io/kube-controller-manager:v1.17.3
k8s.gcr.io/kube-scheduler:v1.17.3
k8s.gcr.io/kube-proxy:v1.17.3
k8s.gcr.io/pause:3.1
k8s.gcr.io/etcd:3.4.3-0
k8s.gcr.io/coredns:1.6.5
2、根據所需鏡像名字先拉取國內資源：
docker pull gotok8s/kube-apiserver:v1.17.3
docker pull gotok8s/kube-controller-manager:v1.17.3
docker pull gotok8s/kube-scheduler:v1.17.3
docker pull gotok8s/kube-proxy:v1.17.3
docker pull gotok8s/pause:3.1
docker pull gotok8s/etcd:3.4.3-0
docker pull coredns/coredns:1.6.5
根據網絡情況，這一步驟可能需要很長時間。
3、修改tag：
docker tag gotok8s/kube-apiserver:v1.17.3 \
k8s.gcr.io/kube-apiserver:v1.17.3
docker tag gotok8s/kube-controller-manager:v1.17.3 \
k8s.gcr.io/kube-controller-manager:v1.17.3
docker tag gotok8s/kube-scheduler:v1.17.3 \
k8s.gcr.io/kube-scheduler:v1.17.3
docker tag gotok8s/kube-proxy:v1.17.3 \
k8s.gcr.io/kube-proxy:v1.17.3
docker tag gotok8s/pause:3.1 \
k8s.gcr.io/pause:3.1
docker tag gotok8s/etcd:3.4.3-0 \
k8s.gcr.io/etcd:3.4.3-0
docker tag coredns/coredns:1.6.5 \
k8s.gcr.io/coredns:1.6.5
4、刪除原來鏡像：
docker rmi gotok8s/kube-apiserver:v1.17.3 &&
docker rmi gotok8s/kube-controller-manager:v1.17.3 &&
docker rmi gotok8s/kube-scheduler:v1.17.3 &&
docker rmi gotok8s/kube-proxy:v1.17.3 &&
docker rmi gotok8s/pause:3.1 &&
docker rmi gotok8s/etcd:3.4.3-0 &&
docker rmi coredns/coredns:1.6.5
5、備份鏡像（根據需要）：
通過docker自帶的鏡像導入導出功能，可以方便地將一個node節點上鏡像導出==>拷貝==>導入到其他node節點的docker中。這樣不用每個節點都下載一遍。
如果使用Harbor的話，可以push到Harbor中去，再由各節點的docker客戶端從Harbor拉取即可。
下面先來看docker導入導出方式：
docker save 導出：
mkdir -p /home/k8s/docker-images-backup/k8s.gcr.io/
cd /home/k8s/docker-images-backup/k8s.gcr.io/
docker save k8s.gcr.io/kube-apiserver:v1.17.3 -o ./kube-apiserver-v1.17.3.tar
docker save k8s.gcr.io/kube-controller-manager:v1.17.3 -o ./kube-controller-manager-v1.17.3.tar
docker save k8s.gcr.io/kube-scheduler:v1.17.3 -o ./kube-scheduler-v1.17.3.tar
docker save k8s.gcr.io/kube-proxy:v1.17.3 -o ./kube-proxy-v1.17.3.tar
docker save k8s.gcr.io/pause:3.1 -o ./pause-3.1.tar
docker save k8s.gcr.io/etcd:3.4.3-0 -o ./etcd-3.4.3-0.tar
docker save k8s.gcr.io/coredns:1.6.5 -o ./coredns-1.6.5.tar
docker load 導入：
cd /home/k8s/docker-images-backup/k8s.gcr.io/
docker load -i ./kube-apiserver-v1.17.3.tar
docker load -i ./kube-controller-manager-v1.17.3.tar
docker load -i ./kube-scheduler-v1.17.3.tar
docker load -i ./kube-proxy-v1.17.3.tar
docker load -i ./pause-3.1.tar
docker load -i ./etcd-3.4.3-0.tar
docker load -i ./coredns-1.6.5.tar
2.2 Node拉取所需鏡像
步驟與《2.1 Master端拉取集羣所需鏡像》相同。
3. 創建集羣
使用kubeadm創建集羣，這是在Master節點中需要執行的：
# –apiserver-advertise-address - 是你本機的ip地址
# –pod-network-cidr - 指定pod網絡子網。
# 如果是flannel，官網要求設爲10.244.0.0/16
# 如果是catico，官網要求設爲192.168.0.0/16
kubeadm init \
--apiserver-advertise-address 192.168.100.244 \
--pod-network-cidr 10.244.0.0/16
創建成功後會提示你成功，這時要記錄token，我們後面將其他節點加入到該集羣中需要使用到它。這個token信息非常重要。
從kubeadm安裝時的提示信息中，我們知道：
1）設置權限（一條條執行）
下面的命令是配置常規用戶如何使用kubectl(客戶端)訪問集羣,因爲master節點也需要使用kubectl訪問集羣，所以也需要運行以下命令：
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
2）需要安裝Pod Network
可以查看官網的要求：
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/
我這裏安裝的是flannel network add-on
安裝命令：
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
# 輸出如下：
podsecuritypolicy.policy/psp.flannel.unprivileged created
clusterrole.rbac.authorization.k8s.io/flannel created
clusterrolebinding.rbac.authorization.k8s.io/flannel created
serviceaccount/flannel created
configmap/kube-flannel-cfg created
daemonset.apps/kube-flannel-ds-amd64 created
daemonset.apps/kube-flannel-ds-arm64 created
daemonset.apps/kube-flannel-ds-arm created
daemonset.apps/kube-flannel-ds-ppc64le created
daemonset.apps/kube-flannel-ds-s390x created
確保您的防火牆規則允許UDP端口8285和8472與所有參加overlay網絡的主機通信。
更多關於flannel的信息可以參考：https://github.com/coreos/flannel
3）完成上面1、2之後就可以通過下面的語句，向集羣中加入任意個node節點了。
kubeadm join 192.168.100.244:6443 --token 5biv...wdnf \
--discovery-token-ca-cert-hash sha256:4ee34f...d0bce8
注意 ：如果安裝時出現
Error writing Crisocket information for the control-plane node: timed out waiting for the condition
則重啓 kubeadm，然後再執行init命令
sudo kubeadm reset
4. Node節點加入集羣
這句話其實就是Master節點執行kubeadm init成功之後輸出的最後一句話，我們拿到Node節點中直接執行即可。
kubeadm join 192.168.100.244:6443 --token 5biv...wdnf \
--discovery-token-ca-cert-hash sha256:4ee34f...d0bce8
當看到下面信息，就說明成功加入集羣了。
...
This node has joined the cluster:
...
下面在master節點上執行命令查看集羣中的節點：
kubectl get nodes
如果node節點是NotReady，可以使用命令檢查是否有報錯：
systemctl status -l kubelet.service
注意node節點也要安裝flannel。
5. 常見問題
1、集羣初始化如果遇到問題，可以使用下面的命令進行清理再重新初始化：
kubeadm reset
ifconfig cni0 down
ip link delete cni0
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/
2、如何從集羣中移除Node
假設要移除的節點hostname爲k8s-node：
在master節點上執行：
kubectl drain k8s-node --delete-local-data --force --ignore-daemonsets
kubectl delete node k8s-node
在node節點上執行：
kubeadm reset
ifconfig cni0 down
ip link delete cni0
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/
6. 查看節點狀態
回到Maser節點，運行下面命令：
# 獲取namespace信息
kubectl get namespace
# 查看pod狀態
kubectl get pods --all-namespaces
# 查看有多少個節點
kubectl get nodes
查看kubelet進程日誌：
journalctl -f -u kubelet
查看所有的token：
kubeadm token list
創建新的token：
kubeadm token create
============================ 我是一條華麗麗的分割線 ============================
如果希望向Kubernates集羣中集成Harbor，那麼請看下面的介紹。
首先是要在k8s集羣外的一臺主機上安裝Harbor，作爲雲倉庫管理docker鏡像。安裝過程請參考：《CentOS安裝Harbor1.10.1並與docker集成 》
然後，在Kubernates中增加secret，用於Harbor認證。
7、Kubernates集成Harbor
Step1、docker login 登錄Harbor：
docker login -uharbor-dev -pHarbordev123 harbor.cn
執行命令查看登錄狀態：
[root@dev ~]# cat ~/.docker/config.json
{
"auths": {
"harbor.cn": {
"auth": "Y2N4...MjM="
}
}
}
Step2、生成祕鑰(secret)，命名爲secret-harbor-dev：
# 參數說明：
# secret-harbor-dev - 這是密鑰的鍵名稱, 可自行定義
# --docker-server - 指定docker倉庫地址
# --docker-username - 指定docker倉庫賬號
# --docker-password - 指定docker倉庫密碼
# -n - 指定namespace，默認爲default
kubectl create secret docker-registry secret-harbor-dev \
--docker-server=harbor.cn \
--docker-username=harbor-dev \
--docker-password=Harbordev123
Step3、查看祕鑰：
[root@dev244 ~]# kubectl get secret
NAME TYPE DATA AGE
secret-harbor-dev kubernetes.io/dockerconfigjson 1 22s
Step4、yaml文件中通過imagePullSecrets指定拉取鏡像操作使用的祕鑰：
# imagePullSecrets - 聲明拉取鏡像時需要指定密鑰，值爲密鑰的名稱
# 另外需要注意當前資源的namespace必須與密鑰的namespace一致
imagePullSecrets:
- name: secret-harbor-dev
在定義Deployment的yaml文件中，要注意參數層級，應設置在spec.template.spec.imagePullSecrets。
這樣，在執行yaml文件時，node節點上的docker就可以使用secret-harbor-dev通過Harbor認證，從Harbor拉取鏡像了。