k8s實踐(九)：Helm and Kubeapps UI

環境說明：

主機名	操作系統版本	ip	docker version	kubelet version	helm version	配置	備註
master	Centos 7.6.1810	172.27.9.131	Docker 18.09.6	V1.14.2	v2.14.3	2C2G	master主機
node01	Centos 7.6.1810	172.27.9.135	Docker 18.09.6	V1.14.2	v2.14.3	2C2G	node節點
node02	Centos 7.6.1810	172.27.9.136	Docker 18.09.6	V1.14.2	v2.14.3	2C2G	node節點
centos7	Centos 7.3.1611	172.27.9.181	×	×	×	1C1G	nfs服務器

 

k8s集羣部署詳見：Centos7.6部署k8s(v1.14.2)集羣
k8s學習資料詳見：基本概念、kubectl命令和資料分享

 

一、概述

1. Helm簡介

  Helm是一個Kubemetes包管理器（類似於OS包管理器，比如Linux中的yum、apt,或者MacOS中的 homebrew)。

 

  Helm包括兩個部分：helm客戶端和tiller服務端。

 

helm客戶端
helm客戶端是一個命令行工具，負責管理charts、repository和release。它通過gPRC API（使用kubectl port-forward將tiller的端口映射到本地，然後再通過映射後的端口跟tiller通信）向tiller發送請求，並由tiller來管理對應的Kubernetes資源。helm作用：

• 本地Charts開發；
• 管理Charts倉庫；
• 與Tiller服務器交互：發送Charts以安裝、查詢Release的相關信息及升級或卸載已有的Release

 

tiller 服務端
tiller 接收來自helm客戶端的請求，並把相關資源的操作發送到Kubernetes，負責管理（安裝、查詢、升級或刪除等）和跟蹤 Kubernetes 資源。爲了方便管理，tiller把release的相關信息保存在kubernetes的ConfigMap中。tiller作用：

• 監聽來自helm客戶端的請求；
• 合併Charts和配置以構建一個Release；
• 向Kubernetes集羣安裝Charts並對相應的Release進行跟蹤；
• 升級和卸載Charts；

2. 爲什麼需要Helm

  Kubernetes雖然提供了多種容器編排對象，例如Deployment、StatefulSet、DeamonSet、Job等，還有多種基礎資源封裝例如ConfigMap、Secret、Serivce等，但是一個應用往往有多個服務，有的可能還要依賴持久化存儲，當這些服務之間直接互相依賴，需要有一定的組合的情況下，使用YAML文件的方式配置應用往往十分繁瑣還容易出錯，這時候就需要服務編排工具。
  服務編排管理工具就是構建在kubernetes的基礎object之上，統籌各個服務之間的關係和依賴的。目前常用到的工具是Helm。

3. Helm核心術語

• Chart：一個Helm包，其中包含了運行一個應用所需要的工具和資源定義，還可能包含Kubernetes集羣中的服務定義，類似於Homebrew中的formula、APT中的dpkg或者Yum中的RPM文件：
• Release：在Kubernetes集羣上運行的一個Chart實例。在同一個集羣上，一個Chart可以安裝多次。例如有一個MySQLChart，如果想在服務器上運行兩個MySQL數據庫，就可以基於這個Chart安裝兩次，每次安裝都會生成新的Release，會有獨立的Release名稱；
• Repository：用於存放和共享Chart的倉庫。

Helm將charts安裝到Kubernetes中，每個安裝創建一個新release。要找到新的chart，可以搜索Helm charts存儲庫repositories。

二、安裝Helm

1. 安裝Helm Client

Helm客戶端可以從源代碼安裝，也可以從預構建的二進制版本安裝或執行安裝腳本。

1.1 腳本安裝方式

Helm現在有一個安裝shell腳本，將自動獲取最新版本的Helm客戶端並在本地安裝。

[root@master ~]# curl https://raw.githubusercontent.com/kubernetes/helm/master/scripts/get | bash

腳本方式安裝很簡單，執行一條命令就行。

1.2 二進制方式安裝

這種方式可以選擇helm客戶端安裝版本，下載二進制文件：https://github.com/helm/helm/releases/ ，例如下載2.14.2版本：

[root@master ~]# curl -L https://get.helm.sh/helm-v2.14.2-linux-amd64.tar.gz -o helm-v2.14.2-linux-amd64.tar.gz
[root@master ~]# tar -zxvf helm-v2.14.2-linux-amd64.tar.gz 
linux-amd64/
linux-amd64/LICENSE
linux-amd64/helm
linux-amd64/README.md
linux-amd64/tiller
[root@master ~]# cp linux-amd64/helm /usr/bin
[root@master ~]# helm version
Client: &version.Version{SemVer:"v2.14.2", GitCommit:"a8b13cc5ab6a7dbef0a58f5061bcc7c0c61598e7", GitTreeState:"clean"}
Error: could not find tiller

下載二進制文件、解壓、拷貝命令，執行helm version命令發現helm客戶端版本爲v2.14.2，服務端tiller還未安裝，本文測試基於v2.14.3最新版。

1.3 命令補全

[root@master ~]# echo   "source <(helm completion bash)" >> .bash_profile
[root@master ~]# source .bash_profile

2. 安裝Tiller server

2.1 設置環境變量

[root@master ~]# mkdir helm
[root@master ~]# echo 'export HELM_HOME=~/helm' >> .bash_profile 
[root@master ~]# source .bash_profile 
[root@master ~]# echo $HELM_HOME
/root/helm

設置helm的home目錄爲/root/helm，tiller將安裝於該目錄下

2.2 創建帶有cluster-admin角色權限的服務賬戶

[root@master ~]# more rbac-config.yaml 
apiVersion: v1
kind: ServiceAccount
metadata:
  name: tiller
  namespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: tiller
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
  - kind: ServiceAccount
    name: tiller
    namespace: kube-system
[root@master ~]# kubectl create -f rbac-config.yaml
serviceaccount/tiller created
clusterrolebinding.rbac.authorization.k8s.io/tiller created
[root@master ~]# kubectl get -n kube-system secrets,sa,clusterrolebinding -o name|grep tiller
secret/tiller-token-dz4lt
serviceaccount/tiller
clusterrolebinding.rbac.authorization.k8s.io/tiller

否則helm install可能會報權限錯誤：

Error: no available release name found
Error: the server does not allow access to the requested resourc

2.3 下載tiller鏡像

[root@master helm]# docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/tiller:v2.14.3
[root@master helm]# docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/tiller:v2.14.3 gcr.io/kubernetes-helm/tiller:v2.14.3
[root@master helm]# docker rmi -f registry.cn-hangzhou.aliyuncs.com/google_containers/tiller:v2.14.3

由於網絡原因官網鏡像無法下載，下載阿里源鏡像，打上tag並刪除原鏡像。注意，每個node節點都需執行以上操作。

2.4 安裝Tiller

[root@master ~]# helm init --service-account tiller

安裝的tiller版本與helm客戶端版本一致

3. 卸載Helm

3.1 卸載tiller server

[root@master ~]# helm reset --force
[root@master ~]# kubectl get -n kube-system secrets,sa,clusterrolebinding -o name|grep tiller|xargs kubectl -n kube-system delete
[root@master ~]# kubectl get all -n kube-system -l app=helm -o name|xargs kubectl delete -n kube-system
[root@master ~]# rm -rf /root/helm

卸載tiller，刪除相關資源和文件

3.2 卸載helm客戶端

[root@master ~]# rm -rf /usr/bin/helm
[root@master ~]# rm -rf helm-v2.14.3-linux-amd64.tar.gz 
[root@master ~]# rm -rf linux-amd64/

helm客戶端卸載只需移除相關文件即可

三、Helm UI

Kubeapps提供了一個開源的Helm UI界面，方便以圖形界面的形式管理Helm應用。Kubeapps特點：

• 部署應用。可從公共或私有倉庫中瀏覽chart並將其部署到集羣中；
• 管理應用。升級、管理和刪除部署在kubernetes集羣中的應用程序；
• 搜索功能。Kubeapps提供chart搜索頁面；

1. 新增倉庫bitnami

[root@master ~]# helm repo add bitnami https://charts.bitnami.com/bitnami
"bitnami" has been added to your repositories
[root@master ~]# helm update
Command "update" is deprecated, use 'helm repo update'

Hang tight while we grab the latest from your chart repositories...
...Skip local chart repository
...Successfully got an update from the "bitnami" chart repository
...Successfully got an update from the "stable" chart repository
Update Complete.
[root@master ~]# helm repo list
NAME    URL                                             
stable  https://kubernetes-charts.storage.googleapis.com
local   http://127.0.0.1:8879/charts                    
bitnami https://charts.bitnami.com/bitnami

2. 安裝Kubeapps

[root@master ~]# helm install --name kubeapps --namespace kubeapps bitnami/kubeapps

安裝的時候主要遇到的問題是網絡，即鏡像下載失敗，可通過手動方式下載鏡像到對應節點方式解決。

kubeappspod資源列表如下：

3. 創建API token

[root@master ~]# kubectl create -n default serviceaccount example
serviceaccount/example created
[root@master ~]# kubectl get -n default secret $(kubectl get -n default serviceaccount example -o jsonpath='{.secrets[].name}') -o jsonpath='{.data.token}' | base64 --decode 
eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJkZWZhdWx0Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZWNyZXQubmFtZSI6ImV4YW1wbGUtdG9rZW4tdHBmdHoiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoiZXhhbXBsZSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6ImFhZTIxZmE0LWU5N2ItMTFlOS05Njk0LTAwMGMyOWQ5OWJhMyIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDpkZWZhdWx0OmV4YW1wbGUifQ.Cto0Csh7n6Uk_cgGWGGGiMXVie8IBX-yu3fKWGFgX4rxhjT1pwS1PXI7Kq2M-c00DJhHEih2cHFZ7trwZdLrBpI3qJUz5Ymta3I3k5V2m0C_H3wXH9KODIRAhOxT45yFPk3gmdfl8-QBKLD8bB8WufHTTO0SeJ1hsAWDX5S9f3EyTmYhjI6UPEnlWiheq-WjiR1Ba7ZRzCCr4KU3_UIZ_GTF0D_1a5yghizwwngdOs7dPdLfuKOwbgjBhEBlWP4nINa2ixo03EE2EzjfAVtX6SQTuJu1lAmH-vZZi19pKc6PyMzSjfUKHmB-W5dfcbmPhv4OAlJxx4tZffq8fKP0cw[root@master ~]# 

創建serviceaccount example並獲取secret，登錄時會用到。

4. 創建service

[root@master ~]# more kubeapps-service.yaml 
apiVersion: v1
kind: Service
metadata:
  name: kubeapps-svc
  namespace: kubeapps 
spec:
  type: NodePort
  selector:
    app: kubeapps
  ports:
  - protocol: TCP
    nodePort: 30002
    port: 8080
    targetPort: 8080
[root@master ~]# kubectl apply -f kubeapps-service.yaml
service/kubeapps-svc created
[root@master ~]# kubectl get service -n kubeapps 
NAME                             TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
kubeapps                         ClusterIP   10.103.27.24    <none>        80/TCP           46m
kubeapps-internal-chartsvc       ClusterIP   10.102.122.69   <none>        8080/TCP         46m
kubeapps-internal-dashboard      ClusterIP   10.110.249.91   <none>        8080/TCP         46m
kubeapps-internal-tiller-proxy   ClusterIP   10.105.104.45   <none>        8080/TCP         46m
kubeapps-mongodb                 ClusterIP   10.96.175.241   <none>        27017/TCP        46m
kubeapps-svc                     NodePort    10.98.2.173     <none>        8080:30002/TCP   6s

創建servicekubeapps-svc用於登陸訪問。

5. 登錄kubeapps

登錄kubeapps，地址爲：http://NodeIp:30002，密碼爲之前創建的secret

輸入secret後登陸成功

6.通過kubeapps創建mysql

6.1 授權

[root@master ~]# kubectl create clusterrolebinding example --clusterrole=cluster-admin --serviceaccount=default:example
clusterrolebinding.rbac.authorization.k8s.io/example created

授予example用戶集羣管理訪問權限

6.2 創建pv

部署mysql服務時需8G的pv
nfs和pv搭建詳見：k8s實踐(七)：存儲卷和數據持久化(Volumes and Persistent Storage)

[root@master ~]# more kubeapps-pv.yaml 
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv-mysql
spec:
  capacity:
    storage: 8Gi                             #指定PV容量爲8G
  volumeMode: Filesystem                     #卷模式，默認爲Filesystem，也可設置爲'Block'表示支持原始塊設備
  accessModes:
    - ReadWriteOnce                          #訪問模式，該卷可以被單個節點以讀/寫模式掛載
  persistentVolumeReclaimPolicy: Retain      #回收策略，Retain（保留），表示手動回收
  nfs:                                       #指定NFS共享目錄和IP信息
    path: /backup/v1
    server: 172.27.9.181
[root@master ~]# kubectl apply -f kubeapps-pv.yaml 
persistentvolume/pv-mysql created
[root@master ~]# kubectl get pv
NAME       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
pv-mysql   8Gi        RWO            Retain           Available                                   5s

6.3 創建mysql

倉庫選擇stable

選擇deploy

name爲mysql-stable，submit

mysql部署成功

6.4 進入mysql

[root@master ~]# kubectl get secret --namespace default mysql-stable -o jsonpath="{.data.mysql-root-password}" | base64 --decode; echo
L31oZF8AJ2
[root@master ~]# kubectl exec -it mysql-stable-76674bc757-8crfk sh
# mysql -uroot -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 25
Server version: 5.7.14 MySQL Community Server (GPL)

Copyright (c) 2000, 2016, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> 

四、Helm的使用

1. helm search

[root@master ~]# helm search mysql

使用search命令可搜索倉庫中的mysql應用

2. helm inspect

[root@master ~]# helm inspect values stable/mysql

使用inspect查詢package詳細信息，之前kubeapps部署mysql時需要8G的pv就是通過該命令獲得的。

3. helm status

[root@master ~]# helm ls
NAME            REVISION        UPDATED                         STATUS          CHART           APP VERSION     NAMESPACE
kubeapps        1               Tue Oct  8 10:41:57 2019        DEPLOYED        kubeapps-2.1.6  v1.5.1          kubeapps 
mysql-stable    1               Tue Oct  8 15:39:07 2019        DEPLOYED        mysql-1.4.0     5.7.27          default  
[root@master ~]# helm status mysql-stable

通過status查詢之前部署的服務mysql-stable的狀態

4. helm delete

[root@master ~]# helm delete --purge mysql-stable
release "mysql-stable" deleted

通過delete可刪除之前部署的mysql-stable服務

5. helm install

[root@master ~]# helm install --name my-database stable/mysql

通過install安裝部署package，服務名爲my-database;由於pv回收策略爲Retain，需手動回收，故刪除pv並重建。

6. helm upgrade

[root@master ~]# helm upgrade --force --set imageTag=5.7.15 my-database stable/mysql

mysql鏡像由5.7.14升級到了5.7.15

7. helm rollback

[root@master ~]# helm history my-database
REVISION        UPDATED                         STATUS          CHART           DESCRIPTION     
1               Wed Oct  9 17:28:51 2019        SUPERSEDED      mysql-1.4.0     Install complete
2               Wed Oct  9 17:31:09 2019        DEPLOYED        mysql-1.4.0     Upgrade complete
[root@master ~]# helm rollback my-database 1
Rollback was a success.
[root@master ~]# kubectl get deployments. -o wide
NAME                READY   UP-TO-DATE   AVAILABLE   AGE   CONTAINERS          IMAGES         SELECTOR
my-database-mysql   1/1     1            1           16m   my-database-mysql   mysql:5.7.14   app=my-database-mysql,release=my-database

回滾至上一個版本，鏡像版本回退爲5.7.14

8. helm fetch

[root@master ~]# helm fetch stable/mysql
[root@master ~]# ll|grep mysql
-rw-r--r--  1 root root    10657 10月 10 11:20 mysql-1.4.0.tgz

可通過helm fetch命令下載chart

五、Chart目錄結構

[root@master ~]# helm fetch stable/wordpress   
[root@master ~]# tar -zxvf wordpress-7.3.9.tgz 

以wordpress爲例介紹Charts目錄結構

文件名	說明
charts	可選，包含該Chart所依賴的其他Chart，依賴管理推薦採用requirements.yaml文件來進行
Chart.yaml	用於描述Chart信息的YAML文件
requirements.yaml	指明Chart可能依賴其他的Chart，與charts區別是charts需要提供整個Chart的文件，requirements僅需要註明依賴Chart的倉庫信息
templates	可選，結合values.yaml，能夠生成Kubernetes的manifest文件
templates/NOTES	可選，文本文件，用法描述
values.yaml	提供了Chart定製化安裝是配置參數的默認值

六、搭建本地倉庫

在master節點上啓動httpd容器來搭建私有倉庫，容器的volume採用Bind mounts方式，掛載點使用NFS共享存儲，Docker Bind mounts實踐詳見：Docker實踐(三):數據持久化及共享

1. 創建自定義chart並打包

[root@master ~]# helm create mychart
Creating mychart
[root@master ~]# helm package mychart/
Successfully packaged chart and saved it to: /root/mychart-0.1.0.tgz

Helm會自動創建目錄mychart，並生成了各類chart文件，默認包含一個 nginx 應用示例。

2. 掛載NFS共享目錄

[root@master ~]# mkdir /repo
[root@master ~]# showmount -e 172.27.9.181
[root@master ~]# mount -t nfs 172.27.9.181:/helm-repo /repo

本地新建目錄repo，掛載nfs共享目錄/helm-repo

3. 新建容器web-repo

[root@master ~]# docker run -d -p 81:80 -v /repo/:/usr/local/apache2/htdocs --name web-repo httpd

新建容器web-repo，端口映射爲81

4. 生成倉庫的index文件

[root@master ~]# mkdir /repo/charts
[root@master ~]# mv mychart-0.1.0.tgz /repo/charts/
[root@master ~]# helm repo index /repo/charts --url http://172.27.9.131:81/charts

新建目錄/repo/charts，Helm會掃描/repo/charts目錄中的所有tgz包並生成index.yaml。--url指定的是新倉庫的訪問路徑。新生成的 index.yaml記錄了當前倉庫中所有chart的信息

5. 將新倉庫添加到Helm

[root@master charts]# helm repo add pri-repo http://172.27.9.131:81/charts
"pri-repo" has been added to your repositories

新倉庫命名爲pri-repo

6. 驗證新倉庫

[root@master charts]# helm install pri-repo/mychart

從新的倉庫pri-repo中部署應用，訪問nginx服務正常；當然，私有鏡像也可以部署在其他節點或者專門的鏡像服務器上。

7. 更新本地倉庫

[root@master charts]# helm repo index /repo/charts --url http://172.27.9.131:81/charts
[root@master charts]# helm repo update 

當本地倉庫有chart增減時，可通過執行update更新。

 
 

本文所有腳本和配置文件已上傳：k8s實踐(九)：Helm and Kubeapps UI