K8S 部署 Rancher 2.X 版本

Rancher 介紹

Rancher是一套容器管理平臺，它可以幫助組織在生產環境中輕鬆快捷的部署和管理容器。 Rancher可以輕鬆地管理各種環境的Kubernetes，滿足IT需求併爲DevOps團隊提供支持。
Kubernetes不僅已經成爲的容器編排標準，它也正在迅速成爲各類雲和虛擬化廠商提供的標準基礎架構。Rancher用戶可以選擇使用Rancher Kubernetes Engine(RKE)創建Kubernetes集羣，也可以使用GKE，AKS和EKS等雲Kubernetes服務。 Rancher用戶還可以導入和管理現有的Kubernetes集羣。
Rancher支持各類集中式身份驗證系統來管理Kubernetes集羣。例如，大型企業的員工可以使用其公司Active Directory憑證訪問GKE中的Kubernetes集羣。IT管理員可以在用戶，組，項目，集羣和雲中設置訪問控制和安全策略。 IT管理員可以在單個頁面對所有Kubernetes集羣的健康狀況和容量進行監控。
Rancher爲DevOps工程師提供了一個直觀的用戶界面來管理他們的服務容器，用戶不需要深入瞭解Kubernetes概念就可以開始使用Rancher。 Rancher包含應用商店，支持一鍵式部署Helm和Compose模板。Rancher通過各種雲、本地生態系統產品認證，其中包括安全工具，監控系統，容器倉庫以及存儲和網絡驅動程序。下圖說明了Rancher在IT和DevOps組織中扮演的角色。每個團隊都會在他們選擇的公共雲或私有云上部署應用程序。

Helm 簡介

Helm是一種簡化Kubernetes應用程序安裝和管理的工具。可以把它想象成apt/yum/homebrew。
Helm有兩部分：client(helm)和server(tiller)
,Tiller在您的Kubernetes集羣內部運行，並管理chart的發佈(安裝)。
Helm可在您的筆記本電腦，或在任何位置運行。
chart是包含至少兩件事的Helm包：
包的描述（Chart.yaml）
一個或多個模板，包含Kubernetes清單文件
chart可以存儲在磁盤上，也可以從遠程chart存儲庫（如Debian或RedHat包）中獲取.

RKE介紹

RKE是一個用Golang編寫的Kubernetes安裝程序，極爲簡單易用，用戶不再需要做大量的準備工作，即可擁有閃電般快速的Kubernetes安裝部署體驗。

部署環境

主機名	IP地址	角色	配置
master	192.168.1.4	主節點	2C/4G
node01	192.168.1.6	工作節點1	2C/2G
node02	192.168.1.7	工作節點	2C/2G

安裝方法：

1.直接docker pull鏡像，適合實驗環境，不適合線上環境，可參考https://docs.rancher.cn/rancher2x/quick-start.html
2.使用k8s羣集部署，官網推薦線上環境，本文使用就是這種辦法，參考官網教程 https://docs.rancher.cn/rancher2x/

部署過程

---------------------------在3臺服務器都要操作---------------------------------------

一、Docker 安裝部署

參考博客 https://blog.51cto.com/13760351/2488508

二、用戶設置

1.創建用戶zhangsan,設置密碼

useradd zhangsan
psswd zhangsan
vim /etc/sudoers

插入：
zhangsan        ALL=(ALL)       ALL

2.添加用戶到docker組

usermod -aG docker zhangsan

三、配置ssh免密登陸

1.生成ssh key

su zhangsan
ssh-keygen

2.將ssh公鑰發送到三臺機器上

ssh-copy-id -i .ssh/id_rsa.pub zhangsan@node1
ssh-copy-id -i .ssh/id_rsa.pub zhangsan@node2
ssh-copy-id -i .ssh/id_rsa.pub zhangsan@master

3.驗證

ssh zhangsan@node1
ssh zhangsan@node2
ssh zhangsan@master

 **--------------------在master服務器上面-------------------------**

四、RKE創建K8s集羣

1.下載 kubectl，rke，helm並上傳到master

下載地址: https://docs.rancher.cn/rancher2x/install-prepare/download/
cd /home/zhangsan #進入用戶目錄
sudo mv linux-amd64-v1.18.2-kubectl kubectl #重命名
sudo mv v1.1.1-rke_linux-amd64 rke
sudo chmod +x rke kubectl #授權
sudo cp kubectl rke /usr/bin

2.安裝helm

tar xvf helm-v3.0.3-linux-amd64.tar.gz
sudo cp linux-amd64/helm /usr/bin/

3.創建 rancher-cluster.yml

vim rancher-cluster.yml

nodes:
           - address: 192.168.1.4
             user: zhangsan
             role: [controlplane, worker, etcd]
           - address: 192.168.1.6
             user: zhangsan
             role: [controlplane, worker, etcd]
           - address: 192.168.1.7
             user: zhangsan
             role: [controlplane, worker, etcd]

 services:
  etcd:
   snapshot: true
   creation: 6h
   retention: 24h

4.使用rke創建集羣

這裏採用rke安裝k8s
./rke up --config ./rancher-cluster.yml

如果出現以下報錯：

不要慌，再執行一遍就可以了

./rke up --config ./rancher-cluster.yml

5.查看所有的節點狀態

sudo mkdir $HOME/.kube/
sudo cp kube_config_rancher-cluster.yml $HOME/.kube/config
kubectl --kubeconfig=kube_config_rancher-cluster.yml get nodes
kubectl --kubeconfig=kube_config_rancher-cluster.yml get pods --all-namespaces

五、安裝 ssl證書

1.編寫一鍵生成證書腳本

vim cert.sh

#!/bin/bash -e

help ()
{
    echo  ' ================================================================ '
    echo  ' --ssl-domain: 生成ssl證書需要的主域名，如不指定則默認爲localhost，如果是ip訪問服務，則可忽略；'
    echo  ' --ssl-trusted-ip: 一般ssl證書只信任域名的訪問請求，有時候需要使用ip去訪問server，那麼需要給ssl證書添加擴展IP，多個IP用逗號隔開；'
    echo  ' --ssl-trusted-domain: 如果想多個域名訪問，則添加擴展域名（SSL_TRUSTED_DOMAIN）,多個擴展域名用逗號隔開；'
    echo  ' --ssl-size: ssl加密位數，默認2048；'
    echo  ' --ssl-date: ssl有效期，默認10年；'
    echo  ' --ca-date: ca有效期，默認10年；'
    echo  ' --ssl-cn: 國家代碼(2個字母的代號),默認CN;'
    echo  ' 使用示例:'
    echo  ' ./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \ '
    echo  ' --ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650'
    echo  ' ================================================================'
}

case "$1" in
    -h|--help) help; exit;;
esac

if [[ $1 == '' ]];then
    help;
    exit;
fi

CMDOPTS="$*"
for OPTS in $CMDOPTS;
do
    key=$(echo ${OPTS} | awk -F"=" '{print $1}' )
    value=$(echo ${OPTS} | awk -F"=" '{print $2}' )
    case "$key" in
        --ssl-domain) SSL_DOMAIN=$value ;;
        --ssl-trusted-ip) SSL_TRUSTED_IP=$value ;;
        --ssl-trusted-domain) SSL_TRUSTED_DOMAIN=$value ;;
        --ssl-size) SSL_SIZE=$value ;;
        --ssl-date) SSL_DATE=$value ;;
        --ca-date) CA_DATE=$value ;;
        --ssl-cn) CN=$value ;;
    esac
done

#CA相關配置
CA_DATE=${CA_DATE:-3650}
CA_KEY=${CA_KEY:-cakey.pem}
CA_CERT=${CA_CERT:-cacerts.pem}
CA_DOMAIN=localhost

#ssl相關配置
SSL_CONFIG=${SSL_CONFIG:-$PWD/openssl.cnf}
SSL_DOMAIN=${SSL_DOMAIN:-localhost}
SSL_DATE=${SSL_DATE:-3650}
SSL_SIZE=${SSL_SIZE:-2048}

##國家代碼(2個字母的代號),默認CN;
CN=${CN:-CN}

SSL_KEY=$SSL_DOMAIN.key
SSL_CSR=$SSL_DOMAIN.csr
SSL_CERT=$SSL_DOMAIN.crt

echo -e "\033[32m ---------------------------- \033[0m"
echo -e "\033[32m       | 生成 SSL Cert |       \033[0m"
echo -e "\033[32m ---------------------------- \033[0m"

if [[ -e ./${CA_KEY} ]]; then
    echo -e "\033[32m ====> 1. 發現已存在CA私鑰，備份"${CA_KEY}"爲"${CA_KEY}"-bak，然後重新創建 \033[0m"
    mv ${CA_KEY} "${CA_KEY}"-bak
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
else
    echo -e "\033[32m ====> 1. 生成新的CA私鑰 ${CA_KEY} \033[0m"
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
fi

if [[ -e ./${CA_CERT} ]]; then
    echo -e "\033[32m ====> 2. 發現已存在CA證書，先備份"${CA_CERT}"爲"${CA_CERT}"-bak，然後重新創建 \033[0m"
    mv ${CA_CERT} "${CA_CERT}"-bak
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
else
    echo -e "\033[32m ====> 2. 生成新的CA證書 ${CA_CERT} \033[0m"
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
fi

echo -e "\033[32m ====> 3. 生成Openssl配置文件 ${SSL_CONFIG} \033[0m"
cat > ${SSL_CONFIG} <<EOM
[req]
req_extensions = v3_req
distinguished_name = req_distinguished_name
[req_distinguished_name]
[ v3_req ]
basicConstraints = CA:FALSE
keyUsage = nonRepudiation, digitalSignature, keyEncipherment
extendedKeyUsage = clientAuth, serverAuth
EOM

if [[ -n ${SSL_TRUSTED_IP} || -n ${SSL_TRUSTED_DOMAIN} ]]; then
    cat >> ${SSL_CONFIG} <<EOM
subjectAltName = @alt_names
[alt_names]
EOM
    IFS=","
    dns=(${SSL_TRUSTED_DOMAIN})
    dns+=(${SSL_DOMAIN})
    for i in "${!dns[@]}"; do
      echo DNS.$((i+1)) = ${dns[$i]} >> ${SSL_CONFIG}
    done

    if [[ -n ${SSL_TRUSTED_IP} ]]; then
        ip=(${SSL_TRUSTED_IP})
        for i in "${!ip[@]}"; do
          echo IP.$((i+1)) = ${ip[$i]} >> ${SSL_CONFIG}
        done
    fi
fi

echo -e "\033[32m ====> 4. 生成服務SSL KEY ${SSL_KEY} \033[0m"
openssl genrsa -out ${SSL_KEY} ${SSL_SIZE}

echo -e "\033[32m ====> 5. 生成服務SSL CSR ${SSL_CSR} \033[0m"
openssl req -sha256 -new -key ${SSL_KEY} -out ${SSL_CSR} -subj "/C=${CN}/CN=${SSL_DOMAIN}" -config ${SSL_CONFIG}

echo -e "\033[32m ====> 6. 生成服務SSL CERT ${SSL_CERT} \033[0m"
openssl x509 -sha256 -req -in ${SSL_CSR} -CA ${CA_CERT} \
    -CAkey ${CA_KEY} -CAcreateserial -out ${SSL_CERT} \
    -days ${SSL_DATE} -extensions v3_req \
    -extfile ${SSL_CONFIG}

echo -e "\033[32m ====> 7. 證書製作完成 \033[0m"
echo
echo -e "\033[32m ====> 8. 以YAML格式輸出結果 \033[0m"
echo "----------------------------------------------------------"
echo "ca_key: |"
cat $CA_KEY | sed 's/^/  /'
echo
echo "ca_cert: |"
cat $CA_CERT | sed 's/^/  /'
echo
echo "ssl_key: |"
cat $SSL_KEY | sed 's/^/  /'
echo
echo "ssl_csr: |"
cat $SSL_CSR | sed 's/^/  /'
echo
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo

echo -e "\033[32m ====> 9. 附加CA證書到Cert文件 \033[0m"
cat ${CA_CERT} >> ${SSL_CERT}
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo

echo -e "\033[32m ====> 10. 重命名服務證書 \033[0m"
echo "cp ${SSL_DOMAIN}.key tls.key"
cp ${SSL_DOMAIN}.key tls.key
echo "cp ${SSL_DOMAIN}.crt tls.crt"
cp ${SSL_DOMAIN}.crt tls.crt

2.生成證書文件

sudo chmod +x cert.sh
./cert.sh --ssl-domain=rancher.sigs.applysquare.net --ssl-size=2048 --ssl-date=3650

3.創建命名空間

kubectl create namespace cattle-system

4.服務證書和私鑰密文

kubectl -n cattle-system create \
secret tls tls-rancher-ingress \
--cert=./tls.crt \
--key=./tls.key

5.ca證書密文

kubectl -n cattle-system create secret \
generic tls-ca \
--from-file=./cacerts.pem

注意:

證書、私鑰、ca名稱必須是tls.crt、tls.key、cacerts.pem

六、Helm安裝Rancher

1.添加Chart倉庫地址

helm repo add rancher-stable https://releases.rancher.com/server-charts/stable

2.安裝rancher

helm install rancher rancher-stable/rancher \
--namespace cattle-system \
--set hostname=rancher.test.com \
--set ingress.tls.source=secret \
--set privateCA=true

注意:

證書對應的域名需要與hostname選項匹配，否則ingress將無法代理訪問Rancher。

3.查看pod的運行狀態

kubectl --kubeconfig=kube_config_rancher-cluster.yml get pods --all-namespaces

4.在各個服務器hosts文件加入（包括宿主機）

192.168.1.4 rancher.test.com

4.頁面訪問：https://rancher.test.com/

4.1第一次登錄會要求設置管理員密碼，默認管理員賬號爲: admin

4.2.查看羣集狀態

4.3 如果想要導入新的K8s羣集，可以這樣操作：

如果訪問頁面發生如下報錯：

解決辦法：

1.查看防火牆
2.查看hosts文件
3.重啓docker

參考文件

1.rancher 官方文檔 https://docs.rancher.cn/rancher2x/
2.rancherhttps://rancher2.docs.rancher.cn/