本文翻譯自nfs-client-provisioner的說明文檔,本文將介紹使用nfs-client-provisioner這個應用,利用NFS Server給Kubernetes作爲持久存儲的後端,並且動態提供PV。前提條件是有已經安裝好的NFS服務器,並且NFS服務器與Kubernetes的Slave節點都能網絡連通。 所有下文用到的文件來自於git clone https://github.com/kubernetes-incubator/external-storage.git
的nfs-client目錄。
nfs-client-provisioner
nfs-client-provisioner 是一個Kubernetes的簡易NFS的外部provisioner,本身不提供NFS,需要現有的NFS服務器提供存儲
- PV以
${namespace}-${pvcName}-${pvName}
的命名格式提供(在NFS服務器上) - PV回收的時候以
archieved-${namespace}-${pvcName}-${pvName}
的命名格式(在NFS服務器上)
安裝部署
- 修改deployment文件並部署
deploy/deployment.yaml
需要修改的地方只有NFS服務器所在的IP地址(10.10.10.60),以及NFS服務器共享的路徑(/ifs/kubernetes
),兩處都需要修改爲你實際的NFS服務器和共享目錄
kind: Deployment apiVersion: extensions/v1beta1 metadata: name: nfs-client-provisioner spec: replicas: 1 strategy: type: Recreate template: metadata: labels: app: nfs-client-provisioner spec: serviceAccountName: nfs-client-provisioner containers: - name: nfs-client-provisioner image: quay.io/external_storage/nfs-client-provisioner:latest volumeMounts: - name: nfs-client-root mountPath: /persistentvolumes env: - name: PROVISIONER_NAME value: fuseim.pri/ifs - name: NFS_SERVER value: 10.10.10.60 - name: NFS_PATH value: /ifs/kubernetes volumes: - name: nfs-client-root nfs: server: 10.10.10.60 path: /ifs/kubernetes
- 修改StorageClass文件並部署
deploy/class.yaml
此處可以不修改,或者修改provisioner的名字,需要與上面的deployment的PROVISIONER_NAME名字一致。
apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: managed-nfs-storage provisioner: fuseim.pri/ifs
授權
如果您的集羣啓用了RBAC,或者您正在運行OpenShift,則必須授權provisioner。 如果你在非默認的“default”名稱空間/項目之外部署,可以編輯deploy/auth/clusterrolebinding.yaml
或編輯`oadm policy“指令。
如果啓用了RBAC
需要執行如下的命令來授權。
$ kubectl create -f deploy/auth/serviceaccount.yaml serviceaccount "nfs-client-provisioner" created $ kubectl create -f deploy/auth/clusterrole.yaml clusterrole "nfs-client-provisioner-runner" created $ kubectl create -f deploy/auth/clusterrolebinding.yaml clusterrolebinding "run-nfs-client-provisioner" created $ kubectl patch deployment nfs-client-provisioner -p '{"spec":{"template":{"spec":{"serviceAccount":"nfs-client-provisioner"}}}}'
測試
測試創建PVC
kubectl create -f deploy/test-claim.yaml
測試創建POD
kubectl create -f deploy/test-pod.yaml
在NFS服務器上的共享目錄下的卷子目錄中檢查創建的NFS PV卷下是否有”SUCCESS” 文件。
刪除測試POD
kubectl delete -f deploy/test-pod.yaml
刪除測試PVC
kubectl delete -f deploy/test-claim.yaml
在NFS服務器上的共享目錄下查看NFS的PV捲回收以後是否名字以archived開頭。
我的示例
- NFS服務器配置
# cat /etc/exports
/media/docker *(no_root_squash,rw,sync,no_subtree_check)
- nfs-deployment.yaml示例
NFS服務器的地址是ubuntu-master,共享出來的路徑是/media/docker,其他不需要修改。
# cat nfs-deployment.yaml
kind: Deployment apiVersion: extensions/v1beta1 metadata: name: nfs-client-provisioner spec: replicas: 1 strategy: type: Recreate template: metadata: labels: app: nfs-client-provisioner spec: serviceAccountName: nfs-client-provisioner containers: - name: nfs-client-provisioner image: quay.io/external_storage/nfs-client-provisioner:latest volumeMounts: - name: nfs-client-root mountPath: /persistentvolumes env: - name: PROVISIONER_NAME value: fuseim.pri/ifs - name: NFS_SERVER value: ubuntu-master - name: NFS_PATH value: /media/docker volumes: - name: nfs-client-root nfs: server: ubuntu-master path: /media/docker
- StorageClass示例
可以修改Class的名字,我的改成了default。
# cat class.yaml
apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: default provisioner: fuseim.pri/ifs
- 查看StorageClass
# kubectl get sc NAME PROVISIONER AGE default fuseim.pri/ifs 2d
- 設置這個default名字的SC爲Kubernetes的默認存儲後端
# kubectl patch storageclass default -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}' storageclass.storage.k8s.io "default" patched # kubectl get sc NAME PROVISIONER AGE default (default) fuseim.pri/ifs 2d
- 測試創建PVC
查看pvc文件
# cat test-claim.yaml
kind: PersistentVolumeClaim apiVersion: v1 metadata: name: test-claim spec: accessModes: - ReadWriteMany resources: requests: storage: 1Mi
創建PVC
# kubectl apply -f test-claim.yaml persistentvolumeclaim "test-claim" created root@Ubuntu-master:~/kubernetes/nfs# kubectl get pvc|grep test test-claim Bound pvc-fe3cb938-3f15-11e8-b61d-08002795cb26 1Mi RWX default 10s # kubectl get pv|grep test pvc-fe3cb938-3f15-11e8-b61d-08002795cb26 1Mi RWX Delete Bound default/test-claim default 58s
- 啓動測試POD
POD文件如下,作用就是在test-claim的PV裏touch一個SUCCESS文件。
# cat test-pod.yaml
kind: Pod apiVersion: v1 metadata: name: test-pod spec: containers: - name: test-pod image: gcr.io/google_containers/busybox:1.24 command: - "/bin/sh" args: - "-c" - "touch /mnt/SUCCESS && exit 0 || exit 1" volumeMounts: - name: nfs-pvc mountPath: "/mnt" restartPolicy: "Never" volumes: - name: nfs-pvc persistentVolumeClaim: claimName: test-claim
啓動POD,一會兒POD就是completed狀態,說明執行完畢。
# kubectl apply -f test-pod.yaml pod "test-pod" created kubectl get pod|grep test test-pod 0/1 Completed 0 40s
我們去NFS共享目錄查看有沒有SUCCESS文件。
# cd default-test-claim-pvc-fe3cb938-3f15-11e8-b61d-08002795cb26 # ls SUCCESS
說明部署正常,並且可以動態分配NFS的共享卷。
本文轉自kubernetes中文社區-利用NFS client provisioner動態提供Kubernetes後端存儲卷–安裝指南與實踐