阿里雲 Centos7 輕量服務器 安裝 K8s 集羣---採坑

原創 我的架构师之路 2020-06-01 06:49

前言：集百家之言......

 

環境規劃：

操作系統：centos7.3
Kubernetes :1.10.7
Docker: 18.06.0-ce
Etcd: 3.0
CPU 1核+ 2G內存+
master
192.168.1.6 kube-apiserver kube-controller-manager kube-scheduler flannel etcd
node01
192.168.1.7 kubelet kube-proxy docker flannel etcd
node02
192.168.1.8 kubelet kube-proxy docker flannel etcd
注意有iptables的注意添加規則內網互通：
iptables -I INPUT -s 192.168.1.0/24 -j ACCEPT
 

 

基礎環境：

關閉防火牆：


[root@k8s-master ~]# cat /etc/redhat-release
CentOS Linux release 7.5.1804 (Core)
[root@k8s-master ~]#
[root@k8s-master ~]#
[root@k8s-master ~]# systemctl stop firewalld
[root@k8s-master ~]#
[root@k8s-master ~]# systemctl disable firewalld

關閉selinux:

[root@k8s-master ~]# sed -i 's/enforcing/disabled/' /etc/selinux/config
[root@k8s-master ~]# setenforce 0
setenforce: SELinux is disabled
[root@k8s-master ~]#
[root@k8s-master ~]#

關閉swap:

[root@k8s-master ~]# swapoff -a
[root@k8s-master ~]# free -m
              total        used        free      shared  buff/cache   available
Mem:           1838        1288          76          17         474         366
Swap:             0           0           0
[root@k8s-master ~]#

 設置k8s集羣主機名(你自己的集羣節點ip)（可有可無）：


# echo '47.95.7.67    k8s-master
47.95.7.67          etcd
120.783.212        k8s-node-212
39.1.201.0          k8s-node-0' >> /etc/hosts

同步時間：

[root@k8s-master ~]# yum install ntpdate -y
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
base                                                                                                    | 3.6 kB  00:00:00
docker-ce-stable                                                                                        | 2.9 kB  00:00:00
epel                                                                                                    | 3.2 kB  00:00:00
extras                                                                                                  | 3.4 kB  00:00:00
updates                                                                                                 | 3.4 kB  00:00:00
(1/3): epel/x86_64/updateinfo                                                                           | 933 kB  00:00:00
(2/3): updates/7/x86_64/primary_db                                                                      | 6.0 MB  00:00:00
(3/3): epel/x86_64/primary                                                                              | 3.6 MB  00:00:00
epel                                                                                                               12756/12756
Package ntpdate-4.2.6p5-28.el7.centos.x86_64 already installed and latest version
Nothing to do
[root@k8s-master ~]# ntpdate ntp.api.bz
 1 Nov 12:22:26 ntpdate[27967]: the NTP socket is in use, exiting
[root@k8s-master ~]#

安裝Docker 方案一:

# yum install -y yum-utils device-mapper-persistent-data lvm2

如果提示container-selinux依賴問題，先安裝ce-17.03匹配版本：
# yum localinstall https://download.docker.com/linux/centos/7/x86_64/stable/Packages/docker-ce-selinux-17.03.3.ce-1.e17.noarch.rpm

如果已安裝docker-ce 18, 先卸載：
# yum remove docker container-selinux

# yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

查看當前所有docker 版本

# yum list docker-ce.x86_64 --showduplicates |sort -r

目前docker 最大支持docker-ce-17.03， 所以要指定版本安裝
# yum install -y docker-ce

# systemctl enable docker & systemctl start docker

# vi /lib/systemd/system/docker.service
   
#找到ExecStart=xxx，在這行上面加入一行，內容如下：(k8s的網絡需要)
ExecStartPost=/sbin/iptables -I FORWARD -s 0.0.0.0/0 -j ACCEPT
啓動服務
# systemctl daemon-reload
# service docker start

 

安裝docker 方案二：

yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum install docker-ce
 cat << EOF > /etc/docker/daemon.json
{
"registry-mirrors": [ "https://registry.docker-cn.com"]
}
EOF

systemctl start docker
systemctl enable docker

 

創建k8s的目錄：

mkdir -p /opt/kubernetes/{bin,cfg,ssl}

自籤TLS證書: 

 

在master上面操作，即192.168.1.6
安裝證書生成工具cfssl：

cd /opt/ssl
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x *
mv cfssl_linux-amd64 /usr/local/bin/cfssl
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
mv cfssl-certinfo_linux-amd64 /usr/bin/cfssl-certinfo

不知道如何創建證書可以根據提示 生成模板然後修改：
 

cfssl print-defaults config >config.json
cfssl print-defaults csr >csr.json

生成我們需要的證書腳本：

[root@localhost ssl]# cat certificate.sh
#證書根機構
cat > ca-config.json <<EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "kubernetes": {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ]
      }
    }
  }
}
EOF

#生成根證書的具體信息
cat > ca-csr.json <<EOF
{
    "CN": "kubernetes",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "hangzhou",
            "ST": "hangzhou",
      	    "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF

#用cfssl生成證書

cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

#-----------------------

#用於api http通信的證書信息 尾數：6  7  8 這三個ip 改成你的。
cat > server-csr.json <<EOF
{
    "CN": "kubernetes",
    "hosts": [
      "127.0.0.1",
      "192.168.1.6",
      "192.168.1.7",
      "192.168.1.8",
      "10.10.10.1",
      "kubernetes",
      "kubernetes.default",
      "kubernetes.default.svc",
      "kubernetes.default.svc.cluster",
      "kubernetes.default.svc.cluster.local"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing",
            "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF

#生成server證書
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server

#-----------------------

#集羣管理員證書，權限
cat > admin-csr.json <<EOF
{
  "CN": "admin",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "L": "BeiJing",
      "ST": "BeiJing",
      "O": "system:masters",
      "OU": "System"
    }
  ]
}
EOF

#生成管理員證書
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes admin-csr.json | cfssljson -bare admin

#-----------------------

#關於網絡策略的證書
cat > kube-proxy-csr.json <<EOF
{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "L": "BeiJing",
      "ST": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

#生成網絡策略證書
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy

然後運行該腳本
我們只需要生成的pem格式的證書，其他的可以刪掉了。

ls |grep -v pem|xargs -i rm {}

然後將我們證書拷貝到我們定義的地方：

cp server* ca* /opt/kubernetes/ssl/

部署etcd 存儲集羣：

首先我們在master上操作，即192.168.1.6

此處我們可以用的最新版的:3.2.12版本
wget https://github.com/etcd-io/etcd/releases/download/v3.2.12/etcd-v3.2.12-linux-amd64.tar.gz

tar xvf etcd-v3.2.12-linux-amd64.tar.gz
cd etcd-v3.2.12-linux-amd64

#將我們需要的可執行文件拷貝到我們自定義的地方

cp etcd  /opt/kubernetes/bin/
cp etcdctl /opt/kubernetes/bin/

編輯etcd配置文件：

vim /opt/kubernetes/cfg/etcd

#[Member]
ETCD_NAME="etcd01"
#數據目錄
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.1.6:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.1.6:2379"

#節點信息
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.1.6:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.1.6:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.1.6:2380,etcd02=https://192.168.1.7:2380,etcd03=https://192.168.1.8:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

 

將etcd配置到系統環境中：

vim /usr/lib/systemd/system/etcd.service


[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
Type=notify
EnvironmentFile=-/opt/kubernetes/cfg/etcd
ExecStart=/opt/kubernetes/bin/etcd \
--name=${ETCD_NAME} \
--data-dir=${ETCD_DATA_DIR} \
--listen-peer-urls=${ETCD_LISTEN_PEER_URLS} \
--listen-client-urls=${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379 \
--advertise-client-urls=${ETCD_ADVERTISE_CLIENT_URLS} \
--initial-advertise-peer-urls=${ETCD_INITIAL_ADVERTISE_PEER_URLS} \
--initial-cluster=${ETCD_INITIAL_CLUSTER} \
--initial-cluster-token=${ETCD_INITIAL_CLUSTER} \
--initial-cluster-state=new \
--cert-file=/opt/kubernetes/ssl/server.pem \
--key-file=/opt/kubernetes/ssl/server-key.pem \
--peer-cert-file=/opt/kubernetes/ssl/server.pem \
--peer-key-file=/opt/kubernetes/ssl/server-key.pem \
--trusted-ca-file=/opt/kubernetes/ssl/ca.pem \
--peer-trusted-ca-file=/opt/kubernetes/ssl/ca.pem
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

啓動etcd服務：

查看/var/log/message

systemctl start etcd

#開機啓動
systemctl enable etcd

如果啓動的時候沒有退出命令交互界面，可以強制ctrl +c
如果報錯：journalctl -xe 查看日誌 查看/var/log/message。

說道說道阿里雲輕量服務器：

錯誤一：systemd啓動etcd服務的時候出現錯誤：Failed at step CHDIR spawning /usr/bin/etcd: No such file or directory

解決辦法：etcd.service服務配置文件中設置的工作目錄WorkingDirectory=/var/lib/etcd/必須存在，否則會報以上錯誤

錯誤二：systemd啓動etcd服務的時候出現錯誤：cannot assign requested address

解決辦法：更改 vim /opt/kubernetes/cfg/etcd ，綁定阿里雲的私網IP。

安全組：2379，2380，43944

錯誤三： fatal: parameter inet_interfaces: no local interface found for ::1

vi  /etc/postfix/main.cf

發現配置爲：

inet_interfaces = localhost

inet_protocols = all

改成：

inet_interfaces = all

inet_protocols = all

重新啓動就ok了

service postfix start 

錯誤四：dial tcp 127.0.0.1:4001: getsockopt: connection refused

解決辦法：ETCD_LISTEN_CLIENT_URLS需要配置http://127.0.0.1:2379，特別注意，此處是http而不是https

 

以上錯誤，三臺服務器都需要注意，切記，切記，切記。。。。。。。。。。

繼續啓動 systemctl start etcd 如果不退出，可以 ctrl + c ，然後 ps -ef|grep etcd 就可以看到了 etcd 進程。

 

每臺服務器上安裝 rsync ：

yum install rsync -y

把我們剛纔的配置都copy 到其他機器上：

rsync -avzP /opt/kubernetes [email protected]:/opt
rsync -avzP /opt/kubernetes [email protected]:/opt

傳過去以後我們只需要變更/opt/kubernetes/cfg/etcd 配置文件即可
需要改的地方：

vim /opt/kubernetes/cfg/etcd

注意：ETCD_NAME 記得修改

#數據目錄
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://阿里雲內網ip:2380"
ETCD_LISTEN_CLIENT_URLS="https://阿里雲內網ip:2379"

其他：外網ip。

 

上述  vim /usr/lib/systemd/system/etcd.service 該配置，在每個node 上生成，然後啓動。

注意 上圖中 那個 ETCD_NAME= 這個配置，分別是01，02，03.

 

測試etcd:：

cd  /opt/kubernetes/ssl
/opt/kubernetes/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://192.168.1.6:2379,https://192.168.1.7:2379,https://192.168.1.8:2379" cluster-health

#正常如下：
member 16d32cea662d494c is unreachable: no available published client urls
member 766bc6053ca9ca80 is healthy: got healthy result from https://39.1001.0:2379
member 8a6a38d26f51127e is healthy: got healthy result from https://47.957.67:2379
cluster is healthy

 

/******************************************************** ETCD 部署結束 ***********************************************************/

 

部署Flannel網絡:

我們先在master上面操作，即192.168.1.6
下載二進制包：
此處我們用的比較新的0.10版本
wget https://github.com/coreos/flannel/releases/download/v0.10.0/flannel-v0.10.0-linux-amd64.tar.gz

 

將解壓後得到的可執行文件放入我們之定義的路徑下面：

cp flanneld mk-docker-opts.sh /opt/kubernetes/bin/

配置配置文件：
直接在命令行 將配置文件利用EOF寫進去：

#寫flanneld配置文件
cat <<EOF >/opt/kubernetes/cfg/flanneld

FLANNEL_OPTIONS="--etcd-endpoints=https://192.168.1.6:2379,https://192.168.1.7:2379,https://192.168.1.8:2379 \
-etcd-cafile=/opt/kubernetes/ssl/ca.pem \
-etcd-certfile=/opt/kubernetes/ssl/server.pem \
-etcd-keyfile=/opt/kubernetes/ssl/server-key.pem"

EOF

#寫入 flanneld系統配置文件
cat <<EOF >/usr/lib/systemd/system/flanneld.service
[Unit]
Description=Flanneld overlay address etcd agent
After=network-online.target network.target
Before=docker.service

[Service]
Type=notify
EnvironmentFile=/opt/kubernetes/cfg/flanneld
ExecStart=/opt/kubernetes/bin/flanneld --ip-masq \$FLANNEL_OPTIONS
ExecStartPost=/opt/kubernetes/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/subnet.env
Restart=on-failure

[Install]
WantedBy=multi-user.target

EOF

#寫入分配的子網段到etcd，供flanneld使用
cd /opt/kubernetes/ssl

/opt/kubernetes/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://192.168.1.6:2379,https://192.168.1.7:2379,https://192.168.1.8:2379" set /coreos.com/network/config '{ "Network": "172.17.0.0/16", "Backend": {"Type": "vxlan"}}'

測試：

/opt/kubernetes/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://192.168.1.6:2379,https://192.168.1.7:2379,https://192.168.1.8:2379" get /coreos.com/network/config

systemctl enable flanneld
systemctl start flanneld

如果報錯請查看：/var/log/message

查看flanneld分配的網絡：

cat /run/flannel/subnet.env

編輯docker系統配置文件：

cat <<EOF >/usr/lib/systemd/system/docker.service

[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target

[Service]
Type=notify
EnvironmentFile=/run/flannel/subnet.env
ExecStart=/usr/bin/dockerd  \$DOCKER_NETWORK_OPTIONS
ExecReload=/bin/kill -s HUP \$MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s

[Install]
WantedBy=multi-user.target

EOF

systemctl daemon-reload
systemctl restart docker

查看ifconfig 中 會出現一個flannel 網絡，並且flannel和docker0 網絡段會相同

設置完成後將配置文件分發到node02,和node03上即192.168.1.7和192.168.1.8

方案一， 將上述操作文件copy 到 其他 節點：
 

阿里雲 輕量服務器會有部分文件， copy 不過去，建議去各個節點重複上述操作。

rsync -avzP /opt/kubernetes/bin/flanneld mk-docker-opts.sh [email protected]:/opt/kubernetes/bin/
rsync -avzP /opt/kubernetes/cfg/flanneld [email protected]:/opt/kubernetes/cfg/
rsync -avzP /usr/lib/systemd/system/flanneld.service [email protected]:/usr/lib/systemd/system/

rsync -avzP /opt/kubernetes/bin/flanneld mk-docker-opts.sh [email protected]:/opt/kubernetes/bin/
rsync -avzP /opt/kubernetes/cfg/flanneld [email protected]:/opt/kubernetes/cfg/
rsync -avzP /usr/lib/systemd/system/flanneld.service [email protected]:/usr/lib/systemd/system/

 

然後將docker系統配置文件(即/usr/lib/systemd/system/docker.servic)改成和 master（192.168.1.6）一樣，
然後啓動

systemctl daemon-reload
systemctl enable flanneld
systemctl start flanneld
systemctl restart docker

查看ifconfig 是否有flanneld，docker0網絡是否和flanneld一致，
在master上ping node02上的docker0網關，如果能通的話證明Ok
如下：

[root@localhost ssl]# /opt/kubernetes/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://192.168.1.6:2379,https://192.168.1.7:2379,https://192.168.1.8:2379" ls /coreos.com/network/subnets
/coreos.com/network/subnets/172.17.41.0-24
/coreos.com/network/subnets/172.17.96.0-24
/coreos.com/network/subnets/172.17.98.0-24

[root@localhost ssl]# ping 172.17.41.1
PING 172.17.41.1 (172.17.41.1) 56(84) bytes of data.
64 bytes from 172.17.41.1: icmp_seq=1 ttl=64 time=0.454 ms

 

/********************************************** flannel ping 不通，懷疑阿里雲的坑 ************************************/

創建Node節點kubeconfig文件：

在Master上執行即192.168.1.6：

mkdir /opt/ssl

cd /opt/ssl

運行腳本獲取我們所需的文件，總共有三個：
1、TLS Bootstrapping Token
2、kubelet kubeconfig
3、kube-proxy kubeconfig

阿里雲服務器 此處配置：export KUBE_APISERVER="https://192.168.1.6:6443" ， 設置爲阿里雲內網IP(外網ip 也行......)。

[root@localhost ssl]# cat kubeconfig.sh
# 創建 TLS Bootstrapping Token
export BOOTSTRAP_TOKEN=$(head -c 16 /dev/urandom | od -An -t x | tr -d ' ')
cat > token.csv <<EOF
${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:kubelet-bootstrap"
EOF

#----------------------

# 創建kubelet bootstrapping kubeconfig
export KUBE_APISERVER="https://192.168.1.6:6443"

# 設置集羣參數
kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=bootstrap.kubeconfig

# 設置客戶端認證參數
kubectl config set-credentials kubelet-bootstrap \
  --token=${BOOTSTRAP_TOKEN} \
  --kubeconfig=bootstrap.kubeconfig

# 設置上下文參數
kubectl config set-context default \
  --cluster=kubernetes \
  --user=kubelet-bootstrap \
  --kubeconfig=bootstrap.kubeconfig

# 設置默認上下文
kubectl config use-context default --kubeconfig=bootstrap.kubeconfig

#----------------------

# 創建kube-proxy kubeconfig文件

kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=kube-proxy.kubeconfig

kubectl config set-credentials kube-proxy \
  --client-certificate=./kube-proxy.pem \
  --client-key=./kube-proxy-key.pem \
  --embed-certs=true \
  --kubeconfig=kube-proxy.kubeconfig

kubectl config set-context default \
  --cluster=kubernetes \
  --user=kube-proxy \
  --kubeconfig=kube-proxy.kubeconfig

kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig

運行該腳本：

sh -x kubeconfig.sh

#結果如下
[root@k8s-master ssl]# sh -x kubeconfig.sh
++ head -c 16 /dev/urandom
++ od -An -t x
++ tr -d ' '
+ export BOOTSTRAP_TOKEN=0115145c5898d710c8a887f32994b882
+ BOOTSTRAP_TOKEN=0115145c5898d710c8a887f32994b882
+ cat
+ export KUBE_APISERVER=https://47.95.237.67:6443
+ KUBE_APISERVER=https://47.95.237.67:6443
+ kubectl config set-cluster kubernetes --certificate-authority=/opt/kubernetes/ssl/ca.pem --embed-certs=true --server=https://47.95.237.67:6443 --kubeconfig=bootstrap.kubeconfig
Cluster "kubernetes" set.
+ kubectl config set-credentials kubelet-bootstrap --token=0115145c5898d710c8a887f32994b882 --kubeconfig=bootstrap.kubeconfig
User "kubelet-bootstrap" set.
+ kubectl config set-context default --cluster=kubernetes --user=kubelet-bootstrap --kubeconfig=bootstrap.kubeconfig
Context "default" modified.
+ kubectl config use-context default --kubeconfig=bootstrap.kubeconfig
Switched to context "default".
+ kubectl config set-cluster kubernetes --certificate-authority=/opt/kubernetes/ssl/ca.pem --embed-certs=true --server=https://47.95.237.67:6443 --kubeconfig=kube-proxy.kubeconfig
Cluster "kubernetes" set.
+ kubectl config set-credentials kube-proxy --client-certificate=./kube-proxy.pem --client-key=./kube-proxy-key.pem --embed-certs=true --kubeconfig=kube-proxy.kubeconfig
error: error reading client-certificate data from ./kube-proxy.pem: open ./kube-proxy.pem: no such file or directory
+ kubectl config set-context default --cluster=kubernetes --user=kube-proxy --kubeconfig=kube-proxy.kubeconfig
Context "default" modified.
+ kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig
Switched to context "default".
[root@k8s-master ssl]#

此時我們可以獲取到三個配置文件，我們將其拷貝到指定目錄：

cp -rf token.csv bootstrap.kubeconfig kube-proxy.kubeconfig /opt/kubernetes/cfg/

獲取K8S二進制包：

wget https://dl.k8s.io/v1.10.7/kubernetes-server-linux-amd64.tar.gz

我們先在master（192.168.1.6）上操作

master需要三個組件：kube-apiserver kube-controller-manager kube-scheduler
我們將其拿出來 放入指定目錄：

tar xvf kubernetes-server-linux-amd64.tar.gz
cp kubernetes/server/bin/kube-scheduler ./
cp kubernetes/server/bin/kube-controller-manager ./
cp kubernetes/server/bin/kube-apiserver ./
[root@localhost kubernetes]# ls
apiserver.sh  controller-manager.sh  kube-apiserver  kube-controller-manager  kubectl  kube-scheduler  master.zip  scheduler.sh

mv kube-apiserver kube-controller-manager kube-scheduler /opt/kubernetes/bin/
賦予權限
chmod +x /opt/kubernetes/bin/*


echo "export PATH=$PATH:/opt/kubernetes/bin" >> /etc/profile

其中的*.sh文件是我們自定義的腳本，幫助我們安裝。
安裝kube-apiserver：

阿里雲服務器此處配置 MASTER_ADDRESS=${1:-"192.168.1.6"}  配置爲內網ip.

[root@localhost kubernetes]# cat apiserver.sh
#!/bin/bash

MASTER_ADDRESS=${1:-"192.168.1.6"}
ETCD_SERVERS=${2:-"http://127.0.0.1:2379"}

cat <<EOF >/opt/kubernetes/cfg/kube-apiserver

KUBE_APISERVER_OPTS="--logtostderr=true \\
--v=4 \\
--etcd-servers=${ETCD_SERVERS} \\
--insecure-bind-address=0.0.0.0 \\
--bind-address=${MASTER_ADDRESS} \\
--insecure-port=8080 \\
--secure-port=6443 \\
--advertise-address=${MASTER_ADDRESS} \\
--allow-privileged=true \\
--service-cluster-ip-range=10.10.10.0/24 \\
--admission-control=NamespaceLifecycle,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota,NodeRestriction \
--authorization-mode=RBAC,Node \\
--kubelet-https=true \\
--enable-bootstrap-token-auth \\
--token-auth-file=/opt/kubernetes/cfg/token.csv \\
--service-node-port-range=30000-50000 \\
--tls-cert-file=/opt/kubernetes/ssl/server.pem  \\
--tls-private-key-file=/opt/kubernetes/ssl/server-key.pem \\
--client-ca-file=/opt/kubernetes/ssl/ca.pem \\
--service-account-key-file=/opt/kubernetes/ssl/ca-key.pem \\
--etcd-cafile=/opt/kubernetes/ssl/ca.pem \\
--etcd-certfile=/opt/kubernetes/ssl/server.pem \\
--etcd-keyfile=/opt/kubernetes/ssl/server-key.pem"

EOF

cat <<EOF >/usr/lib/systemd/system/kube-apiserver.service
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/kubernetes/kubernetes

[Service]
EnvironmentFile=-/opt/kubernetes/cfg/kube-apiserver
ExecStart=/opt/kubernetes/bin/kube-apiserver \$KUBE_APISERVER_OPTS
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload
systemctl enable kube-apiserver
systemctl restart kube-apiserver

執行腳本：

阿里雲服務器如下 ./apiserver.sh 192.168.1.6  改成 阿里雲 內網IP。

./apiserver.sh 192.168.1.6 https://192.168.1.6:2379,https://192.168.1.7:2379,https://192.168.1.8:2379

其中 192.168.1.6 代表master ip,https://192.168.1.6:2379,https://192.168.1.7:2379,https://192.168.1.8:2379代表枚舉ip

安裝：controller-manager
編寫安裝腳本：

[root@localhost master_pkg]# cat controller-manager.sh
#!/bin/bash

MASTER_ADDRESS=${1:-"127.0.0.1"}

cat <<EOF >/opt/kubernetes/cfg/kube-controller-manager


KUBE_CONTROLLER_MANAGER_OPTS="--logtostderr=true \\
--v=4 \\
--master=${MASTER_ADDRESS}:8080 \\
--leader-elect=true \\
--address=127.0.0.1 \\
--service-cluster-ip-range=10.10.10.0/24 \\
--cluster-name=kubernetes \\
--cluster-signing-cert-file=/opt/kubernetes/ssl/ca.pem \\
--cluster-signing-key-file=/opt/kubernetes/ssl/ca-key.pem  \\
--service-account-private-key-file=/opt/kubernetes/ssl/ca-key.pem \\
--root-ca-file=/opt/kubernetes/ssl/ca.pem"

EOF

cat <<EOF >/usr/lib/systemd/system/kube-controller-manager.service
[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/kubernetes/kubernetes

[Service]
EnvironmentFile=-/opt/kubernetes/cfg/kube-controller-manager
ExecStart=/opt/kubernetes/bin/kube-controller-manager \$KUBE_CONTROLLER_MANAGER_OPTS
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload
systemctl enable kube-controller-manager
systemctl restart kube-controller-manager

執行腳本安裝啓動：

./controller-manager.sh 127.0.0.1
ps uxa |grep controller-manager

安裝scheduler：

編寫安裝腳本：
[root@localhost master_pkg]# cat scheduler.sh
#!/bin/bash

MASTER_ADDRESS=${1:-"127.0.0.1"}

cat <<EOF >/opt/kubernetes/cfg/kube-scheduler

KUBE_SCHEDULER_OPTS="--logtostderr=true \\
--v=4 \\
--master=${MASTER_ADDRESS}:8080 \\
--leader-elect"

EOF

cat <<EOF >/usr/lib/systemd/system/kube-scheduler.service
[Unit]
Description=Kubernetes Scheduler
Documentation=https://github.com/kubernetes/kubernetes

[Service]
EnvironmentFile=-/opt/kubernetes/cfg/kube-scheduler
ExecStart=/opt/kubernetes/bin/kube-scheduler \$KUBE_SCHEDULER_OPTS
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload
systemctl enable kube-scheduler
systemctl restart kube-scheduler

執行腳本安裝啓動：

./scheduler.sh 127.0.0.1
ps aux |grep scheduler

到這裏我們可以測試集羣大概狀態了：

[root@localhost master_pkg]# kubectl get cs
NAME                 STATUS    MESSAGE              ERROR
scheduler            Healthy   ok
controller-manager   Healthy   ok
etcd-1               Healthy   {"health": "true"}
etcd-2               Healthy   {"health": "true"}
etcd-0               Healthy   {"health": "true"}

查看狀態：

systemctl status kube-scheduler

systemctl status kube-controller-manager

systemctl status kube-apiserver

要是都是非 綠色的 activity .則通過日誌查看錯誤原因 ：

journalctl -u kube-apiserver

journalctl -u kube-controller-manager

journalctl -u kube-controller-manager

 

運行node組件：

首先我們需要在master上面生成一個角色用於node上證書綁定認證
在master上面操作（192.168.1.6）
創建認證用戶：

kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap

如果創建錯誤我們可以先刪除再創建：
刪除： kubectl delete clusterrolebinding kubelet-bootstrap
將在master上面生成的 bootstrap.kubeconfig ，kube-proxy.kubeconfig文件傳到node節點上面去
 


cd /opt/ssl/

rsync -avPz bootstrap.kubeconfig kube-proxy.kubeconfig [email protected]:/opt/kubernetes/cfg/
rsync -avPz bootstrap.kubeconfig kube-proxy.kubeconfig [email protected]:/opt/kubernetes/cfg/

#注意這兩個文件的大小
total 16
-rw------- 1 root root 2174 Nov  8 10:57 bootstrap.kubeconfig
-rwxrwxrwx 1 root root 1554 Nov  8 10:57 kubeconfig.sh
-rw------- 1 root root 2092 Nov  8 10:57 kube-proxy.kubeconfig
-rw-r--r-- 1 root root   84 Nov  8 10:57 token.csv


在node上操作（192.168.1.7）
將我們需要的文件(kubelet ，kube-proxy)拿出來，文件都在我們下載的二進制包中，其中*.sh爲我們自定義的腳本：

[root@mail node_pkg]# ls
kubelet  kubelet.sh  kube-proxy   proxy.sh
chmod +x *.sh

mv kubelet kube-proxy /opt/kubernetes/bin/
chmod +x /opt/kubernetes/bin/*

echo "export PATH=$PATH:/opt/kubernetes/bin" >> /etc/profile

安裝kubelet
編輯安裝腳本：

kubelet.sh 中  NODE_ADDRESS=${1:-"192.168.1.6"} ， 配置爲阿里雲外網ip, 注意 該處是 主節點的Ip

[root@mail node_pkg]# cat kubelet.sh
#!/bin/bash

NODE_ADDRESS=${1:-"192.168.1.6"}
DNS_SERVER_IP=${2:-"10.10.10.2"}

cat <<EOF >/opt/kubernetes/cfg/kubelet

KUBELET_OPTS="--logtostderr=true \\
--v=4 \\
--address=${NODE_ADDRESS} \\
--hostname-override=${NODE_ADDRESS} \\
--kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig \\
--experimental-bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig \\
--cert-dir=/opt/kubernetes/ssl \\
--allow-privileged=true \\
--cluster-dns=${DNS_SERVER_IP} \\
--cluster-domain=cluster.local \\
--fail-swap-on=false \\
--pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0"

EOF

cat <<EOF >/usr/lib/systemd/system/kubelet.service
[Unit]
Description=Kubernetes Kubelet
After=docker.service
Requires=docker.service

[Service]
EnvironmentFile=-/opt/kubernetes/cfg/kubelet
ExecStart=/opt/kubernetes/bin/kubelet \$KUBELET_OPTS
Restart=on-failure
KillMode=process

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload
systemctl enable kubelet
systemctl restart kubelet

 

執行腳本安裝：

阿里雲服務器，此 ip 192.168.1.7, 爲阿里雲內網ip.

sh ./kubelet.sh 192.168.1.7 10.10.10.2

啓動出錯查看：/var/log/message

 

安裝kube-proxy：
編寫安裝腳本：

[root@mail node_pkg]# cat proxy.sh
#!/bin/bash

NODE_ADDRESS=${1:-"192.168.1.7"}

cat <<EOF >/opt/kubernetes/cfg/kube-proxy

KUBE_PROXY_OPTS="--logtostderr=true \
--v=4 \
--hostname-override=${NODE_ADDRESS} \
--kubeconfig=/opt/kubernetes/cfg/kube-proxy.kubeconfig"

EOF

cat <<EOF >/usr/lib/systemd/system/kube-proxy.service
[Unit]
Description=Kubernetes Proxy
After=network.target

[Service]
EnvironmentFile=-/opt/kubernetes/cfg/kube-proxy
ExecStart=/opt/kubernetes/bin/kube-proxy \$KUBE_PROXY_OPTS
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload
systemctl enable kube-proxy
systemctl restart kube-proxy

啓動腳本：

sh ./proxy.sh 192.168.1.7
ps aux |grep proxy
報錯查看：/var/log/message
journalctl -f -t kube-proxy     
journalctl -u kube-proxy

node02沒有出錯的話我們就去node03上操作（192.168.1.8）
同樣的重複操作：
只是將腳本里面對應的ip改成node03本機ip：

./kubelet.sh 192.168.1.8 10.10.10.2
./proxy.sh 192.168.1.8

到此集羣的安裝結束，我們測試集羣通不通

 

查詢集羣狀態：

[root@localhost ~]# kubectl get csr
NAME                                                   AGE       REQUESTOR           CONDITION
node-csr-0EfKRr3ZU_UVFi5O8XLASGNxTzMrIsxMHg8oHJnY3JA   4m        kubelet-bootstrap   Pending
node-csr-MTGLph0ohPwDJK6FtjJagnkjo3utvYjL1N52nBA1xRU   43m       kubelet-bootstrap   Pending

可以看到，節點 是處於等待狀態

我們查看節點接入情況：

[root@localhost ~]# kubectl get node
No resources found.

目前沒有節點加入，我們將節點加入：

kubectl certificate approve node-csr-0EfKRr3ZU_UVFi5O8XLASGNxTzMrIsxMHg8oHJnY3JA
kubectl certificate approve node-csr-MTGLph0ohPwDJK6FtjJagnkjo3utvYjL1N52nBA1xRU

騷等片刻，我們發現節點已經加入進來：

[root@localhost ~]#  kubectl get node
NAME          STATUS     ROLES     AGE       VERSION
192.168.1.7   NotReady   <none>    2s         v1.10.7

192.168.1.8   Ready      <none>    1m         v1.10.7

查看集羣狀態：( kubectl get componentstatus)

[root@localhost ~]#  kubectl get cs
NAME                 STATUS    MESSAGE              ERROR
controller-manager   Healthy   ok
scheduler            Healthy   ok
etcd-1               Healthy   {"health": "true"}
etcd-2               Healthy   {"health": "true"}
etcd-0               Healthy   {"health": "true"}

 

/********************************END , 好他媽費勁

 

另外：node 狀態 NotReady 重啓一下該節點的docker ： systemctl restart docker 就完事了。

 

上面的 Flannel 啓動 沒有報錯， 各項 參數都正常，在阿里雲上 就是ping 不同其他節點的docker。

 

 

 

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

centos7安裝php的zip擴展

錯誤提示： Strict Standards: Only variables should be passed by reference in /**目錄 Fatal error: Class 'ZipArchive' not found

爱代码也爱家庭 2020-07-08 09:03:04

linux運維開發（一）----------防火牆

解決問題： Linux是系統部署常用的系統，但是經常由於我們忘記防火牆的存在導致訪問失敗，爲了解決這個問題，我們需要對防火牆進行關閉操作，對於常見的系統我們提供了以下幾種解決方式： centos 7： 暴力解決 ------ 整

xiaofengbuhuimai 2020-07-07 03:51:26

linux創建定時服務service

一、創建執行服務腳本 示例如下，三個文件： backup.service backup.timer run_backup.sh 文件內容分別爲 backup.service [Unit] Description=leanote

geek_hch 2020-07-06 02:40:23

git定期清理提交歷史避免倉庫爆炸

git同步二進制文件會導致本地和遠程倉庫大小成倍增長，進而導致自動同步失敗。使用如下腳本來控制倉庫大小。 注意，清理操作會造成所有提交歷史log完全刪除，不可恢復，建議提前備份（只針對.git文件夾，不會影響工作區文件） # #

geek_hch 2020-07-06 02:40:23

linux 按天切割日誌(logrotate)

logrotate 程序是一個日誌文件管理工具。用來把舊的日誌文件刪除，並創建新的日誌文件，我們把它叫做“轉儲”。我們可以根據日誌文件的大小，也可以根據其天數來轉儲，這個過程一般通過 cron 程序來執行 安裝後系統會定時運行lo

忆网 2020-07-06 01:06:42

Start Zabbix at boot on Ubuntu 14.04

Version: zabbix 2.2.10 Copy the init.d scripts to the right spot: sudo cp misc/init.d/debian/zabbix-server /etc/i

JeremyIO 2020-07-05 02:33:47

pip freeze err

更多內容可移駕至我的獨立Blog: http://www.justfbt.com/ 備忘一下 root@x04:/tmp#pip freeze Exception: Traceback (most recent call la

JeremyIO 2020-07-05 02:33:47

wordpress 下多域名支持

修改wp-config.php,在數據庫配置下加上如下內容： # vim wp-config.php ... // ** MySQL 設置 - 具體信息來自您正在使用的主機 ** // /** WordPress數據庫的名稱 */

JeremyIO 2020-07-05 02:33:47

筆記一下：配置nginx輸入任何地址都跳轉至維護頁面

筆記一下：配置nginx輸入任何地址都跳轉至維護頁面 server { listen 80; root /xxx/xxx/src; index index.html index.htm; ser

JeremyIO 2020-07-05 02:33:47

Ubuntu 14.04 source list: http://cn.archive.ubuntu.com

#deb cdrom:[Xubuntu 14.04.1 LTS _Trusty Tahr_ - Release amd64 (20140723)]/ trusty main multiverse restricted unive

JeremyIO 2020-07-05 02:33:47

linux查詢大文件區間內容

tail -n 1650 查詢最後1650行內容 head -n 10 查詢開始的10行內容 那麼，從最後的一行開始數，查詢1650-1660行的日誌 tail -n 1650 run.log | head -n 10

Hello_Ray 2020-07-04 03:43:22

Mac筆記本查看以連接的Wi-Fi密碼

1、在應用程序裏找到 “鑰匙串訪問”並打開 2、在鑰匙串訪問中搜索當前連接的Wi-Fi 3、右鍵選擇“顯示簡介” 4、勾選“顯示密碼”，在彈出來的窗口中輸入電腦的密碼

爱辉弟啦 2020-07-03 14:49:43

Centos7命令使用

systemctl start nginx.service #啓動nginx服務 systemctl enable nginx.service #設置開機自啓動 systemct

爱辉弟啦 2020-07-03 14:49:43

Centos6x系統進入單用戶模式

當系統無法正常啓動時，需要進入單用戶模式進行一些操作 操作系統啓動加載內核之前按下鍵盤e， 選擇kernel 這個選項按鍵盤e 在參數未尾輸入 1 或 single 敲回車鍵 還是在kernel這個選項模式下按鍵盤b，進入

爱辉弟啦 2020-07-03 14:49:43

VMware虛擬機NAT模式上外網

虛擬網絡配置： 網關不管怎麼配，一定不要配192.168.200.1，因爲.1IP是VMnet8的ip 系統網卡配置文件：

爱辉弟啦 2020-07-03 14:49:33