一、概述
手工搭建 Kubernetes 集羣是一件很繁瑣的事情，爲了簡化這些操作，就產生了很多安裝配置工具，如 Kubeadm ，Kubespray，RKE 等組件，我最終選擇了官方的 Kubeadm 主要是不同的 Kubernetes 版本都有一些差異，Kubeadm 更新與支持的會好一些。Kubeadm 是 Kubernetes 官方提供的快速安裝和初始化 Kubernetes 集羣的工具，目前的還處於孵化開發狀態，跟隨 Kubernetes 每個新版本的發佈都會同步更新, 強烈建議先看下官方的文檔瞭解下各個組件與對象的作用。
https://kubernetes.io/docs/concepts/
https://kubernetes.io/docs/setup/independent/install-kubeadm/
https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
在創建Kubernetes集羣時，阿里雲容器服務提供兩種網絡插件：Terway和Flannel。
Flannel：使用的是簡單穩定的社區的Flannel CNI 插件，配合阿里雲的VPC的高速網絡，能給集羣高性能和穩定的容器網絡體驗，但功能偏簡單，支持的特性少，例如：不支持基於Kubernetes標準的Network Policy。
Terway：是阿里雲容器服務自研的網絡插件，將阿里雲的彈性網卡分配給容器，支持基於Kubernetes標準的NetworkPolicy來定義容器間的訪問策略，支持對單個容器做帶寬的限流。對於不需要使用Network
Policy的用戶，可以選擇Flannel，其他情況建議選擇Terway。
因此，本文主要介紹flannel的簡單使用。
系統環境
| 系統 | 內核 | docker | ip | 主機名 | 配置 |
|---|---|---|---|---|---|
| centos 7.6 | 3.10.0-957.el7.x86_64 | 19.03.5 | 192.168.128.130 | k8s-master | 2核4G |
| centos 7.6 | 3.10.0-957.el7.x86_64 | 19.03.5 | 192.168.128.131 | k8s-node01 | 2核4G |
| centos 7.6 | 3.10.0-957.el7.x86_64 | 19.03.5 | 192.168.128.132 | k8s-node02 | 2核4G |
注意：請確保CPU至少2核，內存2G
二、準備工作
關閉防火牆
如果各個主機啓用了防火牆，需要開放Kubernetes各個組件所需要的端口，可以查看Installing kubeadm中的”Check required ports”一節。 這裏簡單起見在各節點禁用防火牆：
systemctl stop firewalld systemctl disable firewalld
禁用SELINUX
# 臨時禁用 setenforce 0 # 永久禁用 vim /etc/selinux/config # 或者修改/etc/sysconfig/selinux SELINUX=disabled
修改k8s.conf文件
cat <<EOF > /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOF sysctl --system
關閉swap
# 臨時關閉 swapoff -a
修改 /etc/fstab 文件，註釋掉 SWAP 的自動掛載（永久關閉swap，重啓後生效）
# 註釋掉以下字段 /dev/mapper/cl-swap swap swap defaults 0 0
安裝docker
這裏就不再敘述了，請參考鏈接：
https://www.cnblogs.com/xiao987334176/p/11771657.html
修改主機名
hostnamectl set-hostname k8s-master
注意：主機名不能帶下劃線，只能帶中劃線
否則安裝k8s會報錯
could not convert cfg to an internal cfg: nodeRegistration.name: Invalid value: "k8s_master": a DNS-1123 subdomain must consist of lower case alphanumeric characters, '-' or '.', and must start and end with an alphanumeric character (e.g. 'example.com', regex used for validation is '[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*')
三、安裝kubeadm，kubelet，kubectl
在各節點安裝kubeadm，kubelet，kubectl
修改yum安裝源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/ enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF
安裝軟件
目前最新版本是：1.18.1
yum install -y kubelet-1.18.1-0 kubeadm-1.18.1-0 kubectl-1.18.1-0 systemctl enable kubelet && systemctl start kubelet
以上，就是master和node都需要操作的部分。
四、初始化Master節點
運行初始化命令
kubeadm init --kubernetes-version=1.18.1 \ --apiserver-advertise-address=192.168.128.130 \ --image-repository registry.aliyuncs.com/google_containers \ --service-cidr=10.1.0.0/16 \ --pod-network-cidr=10.244.0.0/16
注意修改apiserver-advertise-address爲master節點ip
參數解釋：
–kubernetes-version: 用於指定k8s版本； –apiserver-advertise-address：用於指定kube-apiserver監聽的ip地址,就是 master本機IP地址。 –pod-network-cidr：用於指定Pod的網絡範圍； 10.244.0.0/16 –service-cidr：用於指定SVC的網絡範圍； –image-repository: 指定阿里雲鏡像倉庫地址
這一步很關鍵，由於kubeadm 默認從官網k8s.grc.io下載所需鏡像，國內無法訪問，因此需要通過–image-repository指定阿里雲鏡像倉庫地址
集羣初始化成功後返回如下信息：
記錄生成的最後部分內容，此內容需要在其它節點加入Kubernetes集羣時執行。
輸出如下：
... Your Kubernetes control-plane has initialized successfully!To start using your cluster, you need to run the following as a regular user: mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config You should now deploy a pod network to the cluster. Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at: https://kubernetes.io/docs/concepts/cluster-administration/addons/Then you can join any number of worker nodes by running the following on each as root: kubeadm join 192.168.128.130:6443 --token rkt1p6.3m7z7pqfvaehxmxi \ --discovery-token-ca-cert-hash sha256:dd384c51b5a38cce275dd3e178f6f1601b644f5fc2bc2f8cee9c2b031b119143
注意保持好kubeadm join，後面會用到的。
配置kubectl工具
mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config
安裝flannel
mkdir k8s cd k8swget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
如果yml中的"Network": "10.244.0.0/16"和kubeadm init xxx --pod-network-cidr不一樣，就需要修改成一樣的。不然可能會使得Node間Cluster IP不通。
由於我上面的kubeadm init xxx --pod-network-cidr就是10.244.0.0/16。所以此yaml文件就不需要更改了。
查看yaml需要的鏡像
# cat kube-flannel.yml |grep image|uniq image: quay.io/coreos/flannel:v0.12.0-amd64 image: quay.io/coreos/flannel:v0.12.0-arm64 image: quay.io/coreos/flannel:v0.12.0-arm image: quay.io/coreos/flannel:v0.12.0-ppc64le image: quay.io/coreos/flannel:v0.12.0-s390x
注意：這些鏡像都是需要訪問谷歌才行的。
但是阿里雲容器鏡像服務ACR裏面是有的，訪問鏈接如下：
https://www.aliyun.com/product/acr
注意：必須使用阿里雲賬號登錄才行。
點擊管理控制檯
點擊左側的鏡像搜索
輸入關鍵字：flannel:v0.12.0-amd64，選擇第二個。
點擊複製公網地址
由於我這裏是上海區域，所以域名是：registry.cn-shanghai。如果你選的是其他區域，域名也會不一樣。
下面就是我們需要的版本號。
那麼下載鏡像的完整命令爲：
docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-amd64
其他鏡像，也都在這裏。
所以，所需要的鏡像下載命令爲：
docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-amd64 docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-arm64 docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-arm docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-ppc64le docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-s390x
爲鏡像打tag，保持和yaml文件一樣。
docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-amd64 quay.io/coreos/flannel:v0.12.0-amd64 docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-arm64 quay.io/coreos/flannel:v0.12.0-arm64 docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-arm quay.io/coreos/flannel:v0.12.0-arm docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-ppc64le quay.io/coreos/flannel:v0.12.0-ppc64le docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-s390x quay.io/coreos/flannel:v0.12.0-s390x
注意：這些鏡像，也需要在node節點執行。
加載flannel
kubectl apply -f kube-flannel.yml
查看Pod狀態
等待幾分鐘，確保所有的Pod都處於Running狀態
# kubectl get pod --all-namespaces -o wide NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES kube-system coredns-7ff77c879f-8jpb7 0/1 Running 0 125m 10.244.0.3 k8s-master <none> <none>kube-system coredns-7ff77c879f-9gcjr 1/1 Running 0 125m 10.244.0.2 k8s-master <none> <none>kube-system etcd-k8s-master 1/1 Running 0 125m 192.168.128.130 k8s-master <none> <none>kube-system kube-apiserver-k8s-master 1/1 Running 0 125m 192.168.128.130 k8s-master <none> <none>kube-system kube-controller-manager-k8s-master 1/1 Running 0 125m 192.168.128.130 k8s-master <none> <none>kube-system kube-flannel-ds-amd64-gz8jd 1/1 Running 0 27s 192.168.128.130 k8s-master <none> <none>kube-system kube-proxy-wh548 1/1 Running 0 125m 192.168.128.130 k8s-master <none> <none>kube-system kube-scheduler-k8s-master 1/1 Running 0 125m 192.168.128.130 k8s-master <none> <none>
注意：coredns容器的網段是10.244.0.0/16
設置開機啓動
systemctl enable kubelet
命令補全
（僅master）
yum install -y bash-completion source <(kubectl completion bash) echo "source <(kubectl completion bash)" >> ~/.bashrc source ~/.bashrc
必須退出一次，再次登錄，就可以了
五、node加入集羣
準備工作
請查看上文中的準備工作，確保都執行了！！！
修改主機名部分，改爲k8s-node01
hostnamectl set-hostname k8s-node01
加入節點
登錄到node節點，確保已經安裝了docker和kubeadm，kubelet，kubectl
kubeadm join 192.168.128.130:6443 --token rkt1p6.3m7z7pqfvaehxmxi \ --discovery-token-ca-cert-hash sha256:dd384c51b5a38cce275dd3e178f6f1601b644f5fc2bc2f8cee9c2b031b119143
設置開機啓動
systemctl enable kubelet
查看節點
登錄到master，使用命令查看
# kubectl get nodes -o wideNAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME k8s-master Ready master 128m v1.18.1 192.168.128.130 <none> CentOS Linux 7 (Core) 3.10.0-957.el7.x86_64 docker://19.3.8k8s-node01 Ready <none> 30s v1.18.1 192.168.128.131 <none> CentOS Linux 7 (Core) 3.10.0-957.el7.x86_64 docker://19.3.8k8s-node02 NotReady <none> 19s v1.18.1 192.168.128.132 <none> CentOS Linux 7 (Core) 3.10.0-957.el7.x86_64 docker://19.3.8
登錄到node節點，查看ip
# ifconfig ... flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1450 inet 10.244.1.0 netmask 255.255.255.255 broadcast 0.0.0.0 inet6 fe80::80e7:9eff:fe5d:3d94 prefixlen 64 scopeid 0x20<link> ether 82:e7:9e:5d:3d:94 txqueuelen 0 (Ethernet) RX packets 0 bytes 0 (0.0 B) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 0 bytes 0 (0.0 B) TX errors 0 dropped 8 overruns 0 carrier 0 collisions 0...
它會創建一個flannel.1網卡，用來做flannel網絡通信的。
七、使用yml發佈應用
以flaskapp爲例子
flaskapp-deployment.yaml
apiVersion: apps/v1 kind: Deployment metadata: name: flaskapp-1 spec: selector: matchLabels: run: flaskapp-1 replicas: 1 template: metadata: labels: run: flaskapp-1 spec: containers: - name: flaskapp-1 image: jcdemo/flaskapp ports: - containerPort: 5000
flaskapp-service.yaml
apiVersion: v1 kind: Service metadata: name: flaskapp-1 labels: run: flaskapp-1 spec: type: NodePort ports: - port: 5000 name: flaskapp-port targetPort: 5000 protocol: TCP nodePort: 30005 selector: run: flaskapp-1
加載yml文件
kubectl apply -f flaskapp-service.yaml kubectl apply -f flaskapp-deployment.yaml
查看pod狀態
# kubectl get pods -o wideNAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES flaskapp-1-5d96dbf59b-94v6v 1/1 Running 0 33s 10.244.2.2 k8s-node02 <none> <none>
等待幾分鐘，確保爲Running狀態
ping pod ip
# ping 10.244.2.2 -c 3PING 10.244.2.2 (10.244.2.2) 56(84) bytes of data.64 bytes from 10.244.2.2: icmp_seq=1 ttl=63 time=1.86 ms64 bytes from 10.244.2.2: icmp_seq=2 ttl=63 time=0.729 ms64 bytes from 10.244.2.2: icmp_seq=3 ttl=63 time=1.05 ms--- 10.244.2.2 ping statistics ---3 packets transmitted, 3 received, 0% packet loss, time 2001ms rtt min/avg/max/mdev = 0.729/1.215/1.862/0.477 ms
確保能正常ping通，表示flannel網絡正常。
訪問頁面
使用master ip+nodeport訪問
http://192.168.128.130:30005/
效果如下：
注意：使用node節點ip+nodeport也可以訪問。