PV、PVC概述
Pod動態供給
Pod使用CephFS作爲持久化數據卷
Ceph端創建CephFS pool
部署Cephfs-provisioner
配置storageclass
測試使用
Ceph集羣維護命令

PV、PVC概述

管理存儲是管理計算的一個明顯問題。PersistentVolume子系統爲用戶和管理員提供了一個API，用於抽象如何根據消費方式提供存儲的詳細信息。於是引入了兩個新的API資源：PersistentVolume和PersistentVolumeClaim
PersistentVolume（PV）是集羣中已由管理員配置的一段網絡存儲。集羣中的資源就像一個節點是一個集羣資源。 PV是諸如卷之類的卷插件，但是具有獨立於使用PV的任何單個pod的生命週期。該API對象包含存儲的實現細節，即NFS，iSCSI或雲提供商特定的存儲系統。
PersistentVolumeClaim（PVC）是用戶存儲的請求。它類似於pod。Pod消耗節點資源，PVC消耗存儲資源。 pod可以請求特定級別的資源（CPU和內存）。權限要求可以請求特定的大小和訪問模式。
雖然PersistentVolumeClaims允許用戶使用抽象存儲資源，但是常見的是，用戶需要具有不同屬性（如性能）的PersistentVolumes，用於不同的問題。管理員需要能夠提供多種不同於PersistentVolumes，而不僅僅是大小和訪問模式，而不會使用戶瞭解這些卷的實現細節。對於這些需求，存在StorageClass資源。
StorageClass爲集羣提供了一種描述他們提供的存儲的“類”的方法。不同的類可能映射到服務質量級別，或備份策略，或者由羣集管理員確定的任意策略。 Kubernetes本身對於什麼類別代表是不言而喻的。這個概念有時在其他存儲系統中稱爲“配置文件”

Pod動態供給

動態供給主要是能夠自動幫你創建pv，需要多大的空間就創建多大的pv。k8s幫助創建pv，創建pvc就直接api調用存儲類來尋找pv。
如果是存儲靜態供給的話，會需要我們手動去創建pv，如果沒有足夠的資源，找不到合適的pv，那麼pod就會處於pending等待的狀態。而動態供給主要的一個實現就是StorageClass存儲對象，其實它就是聲明你使用哪個存儲，然後幫你去連接，再幫你去自動創建pv。

Pod使用CephFS做爲持久數據卷
CephFS方式支持k8s的pv的3種訪問模式ReadWriteOnce，ReadOnlyMany ，ReadWriteMany
Ceph端創建CephFS pool
1、如下操作在ceph的mon或者admin節點
CephFS需要使用兩個Pool來分別存儲數據和元數據

ceph osd pool create fs_data 16
ceph osd pool create fs_metadata 16

[root@k8s-master ceph-storage]# ceph osd lspools
1 .rgw.root
2 default.rgw.control
3 default.rgw.meta
4 default.rgw.log
5 kube
6 fs_data
7 fs_metadata

2、創建一個CephFS

ceph fs new cephfs fs_metadata fs_data
new fs with metadata pool 7 and data pool 6

3、查看

ceph fs ls
name: cephfs, metadata pool: fs_metadata, data pools: [fs_data ]

部署 cephfs-provisioner
1、使用社區提供的cephfs-provisioner

yaml文件地址：[email protected]:zhaocheng172/cephfs-storage.git
拉取需要將公鑰給我,不然拉不下來

[root@k8s-master cephfs-storage]# ls
cephfs-pvc-test.yaml  external-storage-cephfs-provisioner.yaml  nginx-pod.yaml  storageclass-cephfs.yaml

kubectl apply -f external-storage-cephfs-provisioner.yaml

2、查看狀態等待running之後再進行後續的操作

[root@k8s-master cephfs-storage]# kubectl get pod -A
NAMESPACE     NAME                                      READY   STATUS    RESTARTS   AGE
kube-system   cephfs-provisioner-5d47d684f4-rff7r       1/1     Running   0          7s
kube-system   coredns-9d85f5447-mhp9m                   1/1     Running   0          7h3m
kube-system   coredns-9d85f5447-x6rxv                   1/1     Running   0          7h9m
kube-system   etcd-k8s-master                           1/1     Running   2          7h9m

配置 storageclass
1、查看key 在ceph的mon或者admin節點
ceph auth get-key client.admin

2、創建 admin secret

kubectl create secret generic ceph-secret --type="kubernetes.io/rbd" \
--from-literal=key=AQCHHGte882jHxAA3xokdiyBYj9+UhhflszkPw==== \
--namespace=kube-system

3、查看 secret

kubectl get secret ceph-secret -n kube-system -o yaml
apiVersion: v1
data:
  key: QVFDSEhHdGU4ODJqSHhBQTN4b2tkaXlCWWo5K1VoaGZsc3prUHc9PT09
kind: Secret
metadata:
  creationTimestamp: "2020-03-13T12:25:28Z"
  name: ceph-secret
  namespace: kube-system
  resourceVersion: "69255"
  selfLink: /api/v1/namespaces/kube-system/secrets/ceph-secret
  uid: 104a8a6d-92f8-4e54-b548-e82e43aa2d0f
type: kubernetes.io/rbd

4、配置 StorageClass

cat >storageclass-cephfs.yaml<<EOF
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: dynamic-cephfs
provisioner: ceph.com/cephfs
parameters:
  monitors: 10.151.30.125:6789,10.151.30.126:6789,10.151.30.127:6789
  adminId: admin
  adminSecretName: ceph-secret
  adminSecretNamespace: "kube-system"
  claimRoot: /volumes/kubernetes
EOF

5、創建
kubectl apply -f storageclass-cephfs.yaml

6、查看

kubectl get sc
dynamic-cephfs        ceph.com/cephfs   Delete          Immediate           false                  5s

測試使用
1、創建pvc測試

cat >cephfs-pvc-test.yaml<<EOF
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: cephfs-claim
spec:
  accessModes:     
    - ReadWriteMany
  storageClassName: dynamic-cephfs
  resources:
    requests:
      storage: 2Gi
EOF

kubectl apply -f cephfs-pvc-test.yaml

2、查看

kubectl get pvc
[root@k8s-master cephfs-storage]# kubectl get pvc
NAME           STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS     AGE
cephfs-claim   Bound    pvc-544b5db3-e034-4bc7-b601-815030c8bdd4   2Gi        RWX            dynamic-cephfs   4m53s

kubectl get pv
pvc-544b5db3-e034-4bc7-b601-815030c8bdd4   2Gi        RWX            Delete           Bound    default/cephfs-claim                       dynamic-cephfs                 5m8s

3、創建 nginx pod 掛載測試

cat >nginx-pod.yaml<<EOF
apiVersion: v1
kind: Pod
metadata:
  name: nginx-pod2
  labels:
    name: nginx-pod2
spec:
  containers:
  - name: nginx-pod2
    image: nginx
    ports:
    - name: web
      containerPort: 80
    volumeMounts:
    - name: cephfs
      mountPath: /usr/share/nginx/html
  volumes:
  - name: cephfs
    persistentVolumeClaim:
      claimName: cephfs-claim
EOF
kubectl apply -f nginx-pod.yaml

4、查看

kubectl get pods -o wide
[root@k8s-master cephfs-storage]# kubectl exec -it nginx-pod2 /bin/bash
root@nginx-pod2:/# df -h
Filesystem                                                                                                                                           Size  Used Avail Use% Mounted on
overlay                                                                                                                                              8.7G  5.3G  3.5G  61% /
tmpfs                                                                                                                                                 64M     0   64M   0% /dev
tmpfs                                                                                                                                                1.9G     0  1.9G   0% /sys/fs/cgroup
/dev/sda3                                                                                                                                            8.7G  5.3G  3.5G  61% /etc/hosts
shm                                                                                                                                                   64M     0   64M   0% /dev/shm
192.168.30.21:6789,192.168.30.22:6789,192.168.30.23:6789:/volumes/kubernetes/kubernetes/kubernetes-dynamic-pvc-b0ac12c9-6526-11ea-918a-bef58f12dbe9  2.8G     0  2.8G   0% /usr/share/nginx/html

5、修改文件內容
kubectl exec -ti nginx-pod2 -- /bin/sh -c 'echo This is from CephFS!!! > /usr/share/nginx/html/index.html'

6、訪問pod測試
curl http://$podip

7、清理

kubectl delete -f nginx-pod.yaml
kubectl delete -f cephfs-pvc-test.yaml

一、集羣監控管理

集羣整體運行狀態

[root@cephnode01 ~]# ceph -s
cluster:
  id:     8230a918-a0de-4784-9ab8-cd2a2b8671d0
  health: HEALTH_WARN
          application not enabled on 1 pool(s)

services:
  mon: 3 daemons, quorum cephnode01,cephnode02,cephnode03 (age 27h)
  mgr: cephnode01(active, since 53m), standbys: cephnode03, cephnode02
  osd: 4 osds: 4 up (since 27h), 4 in (since 19h)
  rgw: 1 daemon active (cephnode01)

data:
  pools:   6 pools, 96 pgs
  objects: 235 objects, 3.6 KiB
  usage:   4.0 GiB used, 56 GiB / 60 GiB avail
  pgs:     96 active+clean

id：集羣ID
health：集羣運行狀態，這裏有一個警告，說明是有問題，意思是pg數大於pgp數，通常此數值相等。

mon：Monitors運行狀態。
osd：OSDs運行狀態。
mgr：Managers運行狀態。
mds：Metadatas運行狀態。
pools：存儲池與PGs的數量。
objects：存儲對象的數量。
usage：存儲的理論用量。
pgs：PGs的運行狀態
~]$ ceph -w
~]$ ceph health detail

PG狀態
查看pg狀態查看通常使用下面兩個命令即可，dump可以查看更詳細信息，如。

~]$ ceph pg dump
~]$ ceph pg stat

Pool狀態

~]$ ceph osd pool stats
~]$ ceph osd pool stats

OSD狀態

~]$ ceph osd stat
~]$ ceph osd dump
~]$ ceph osd tree
~]$ ceph osd df

Monitor狀態和查看仲裁狀態

~]$ ceph mon stat
~]$ ceph mon dump
~]$ ceph quorum_status

集羣空間用量

~]$ ceph df
~]$ ceph df detail

二、集羣配置管理(臨時和全局，服務平滑重啓)
有時候需要更改服務的配置，但不想重啓服務，或者是臨時修改。這時候就可以使用tell和daemon子命令來完成此需求。
1、查看運行配置
命令格式：
#ceph daemon {daemon-type}.{id} config show

命令舉例

#ceph daemon osd.0 config show

2、tell子命令格式
使用 tell 的方式適合對整個集羣進行設置，使用 * 號進行匹配，就可以對整個集羣的角色進行設置。而出現節點異常無法設置時候，只會在命令行當中進行報錯，不太便於查找。
命令格式：

#ceph tell {daemon-type}.{daemon id or *} injectargs --{name}={value} [--{name}={value}]
命令舉例：
#ceph tell osd.0 injectargs --debug-osd 20 --debug-ms 1

daemon-type：爲要操作的對象類型如osd、mon、mds等。
daemon id：該對象的名稱，osd通常爲0、1等，mon爲ceph -s顯示的名稱，這裏可以輸入*表示全部。
injectargs：表示參數注入，後面必須跟一個參數，也可以跟多個
3、daemon子命令
使用 daemon 進行設置的方式就是一個個的去設置，這樣可以比較好的反饋，此方法是需要在設置的角色所在的主機上進行設置。
命令格式：
#ceph daemon {daemon-type}.{id} config set {name}={value}
命令舉例：
#ceph daemon mon.ceph-monitor-1 config set mon_allow_pool_delete false

三、集羣操作
命令包含start、restart、status
1、啓動所有守護進程
#systemctl start ceph.target
2、按類型啓動守護進程

#systemctl start ceph-mgr.target
#systemctl start ceph-osd@id
#systemctl start ceph-mon.target
#systemctl start ceph-mds.target
#systemctl start ceph-radosgw.target

四、添加和刪除OSD
1、添加OSD
1、格式化磁盤
ceph-volume lvm zap /dev/sd<id>
2、進入到ceph-deploy執行目錄/my-cluster，添加OSD
#ceph-deploy osd create --data /dev/sd<id> $hostname

2、刪除OSD
1、調整osd的crush weight爲 0
ceph osd crush reweight osd.<ID> 0.0
2、將osd進程stop
systemctl stop ceph-osd@<ID>
3、將osd設置out
ceph osd out <ID>
4、立即執行刪除OSD中數據
ceph osd purge osd.<ID> --yes-i-really-mean-it
5、卸載磁盤
umount /var/lib/ceph/osd/ceph-？

五、擴容PG

ceph osd pool set {pool-name} pg_num 128
ceph osd pool set {pool-name} pgp_num 128

注：
1、擴容大小取跟它接近的2的N次方
2、在更改pool的PG數量時，需同時更改PGP的數量。PGP是爲了管理placement而存在的專門的PG，它和PG的數量應該保持一致。如果你增加pool的pg_num，就需要同時增加pgp_num，保持它們大小一致，這樣集羣才能正常rebalancing。
六、Pool操作
列出存儲池
ceph osd lspools

創建存儲池

命令格式：
#ceph osd pool create {pool-name} {pg-num} [{pgp-num}]
命令舉例：
#ceph osd pool create rbd 32 32

設置存儲池配額

命令格式：
#ceph osd pool set-quota {pool-name} [max_objects {obj-count}] [max_bytes {bytes}]
命令舉例：
#ceph osd pool set-quota rbd max_objects 10000

刪除存儲池
ceph osd pool delete {pool-name} [{pool-name} --yes-i-really-really-mean-it]

重命名存儲池

ceph osd pool rename {current-pool-name} {new-pool-name}

查看存儲池統計信息
rados df

給存儲池做快照
ceph osd pool mksnap {pool-name} {snap-name}

刪除存儲池的快照
ceph osd pool rmsnap {pool-name} {snap-name}

獲取存儲池選項值
ceph osd pool get {pool-name} {key}

調整存儲池選項值

ceph osd pool set {pool-name} {key} {value}
size：設置存儲池中的對象副本數，詳情參見設置對象副本數。僅適用於副本存儲池。
min_size：設置 I/O 需要的最小副本數，詳情參見設置對象副本數。僅適用於副本存儲池。
pg_num：計算數據分佈時的有效 PG 數。只能大於當前 PG 數。
pgp_num：計算數據分佈時使用的有效 PGP 數量。小於等於存儲池的 PG 數。
hashpspool：給指定存儲池設置/取消 HASHPSPOOL 標誌。
target_max_bytes：達到 max_bytes 閥值時會觸發 Ceph 沖洗或驅逐對象。
target_max_objects：達到 max_objects 閥值時會觸發 Ceph 沖洗或驅逐對象。
scrub_min_interval：在負載低時，洗刷存儲池的最小間隔秒數。如果是 0 ，就按照配置文件裏的 osd_scrub_min_interval 。
scrub_max_interval：不管集羣負載如何，都要洗刷存儲池的最大間隔秒數。如果是 0 ，就按照配置文件裏的 osd_scrub_max_interval 。
deep_scrub_interval：“深度”洗刷存儲池的間隔秒數。如果是 0 ，就按照配置文件裏的 osd_deep_scrub_interval 。

獲取對象副本數
ceph osd dump | grep 'replicated size'

七、用戶管理
Ceph 把數據以對象的形式存於各存儲池中。Ceph 用戶必須具有訪問存儲池的權限才能夠讀寫數據。另外，Ceph 用戶必須具有執行權限才能夠使用 Ceph 的管理命令。
1、查看用戶信息
查看所有用戶信息
#ceph auth list
獲取所有用戶的key與權限相關信息
#ceph auth get client.admin
如果只需要某個用戶的key信息，可以使用pring-key子命令
#ceph auth print-key client.admin

2、添加用戶

#ceph auth add client.john mon 'allow r' osd 'allow rw pool=liverpool'
#ceph auth get-or-create client.paul mon 'allow r' osd 'allow rw pool=liverpool'
#ceph auth get-or-create client.george mon 'allow r' osd 'allow rw pool=liverpool' -o george.keyring
#ceph auth get-or-create-key client.ringo mon 'allow r' osd 'allow rw pool=liverpool' -o ringo.key

3、修改用戶權限

#ceph auth caps client.john mon 'allow r' osd 'allow rw pool=liverpool'
#ceph auth caps client.paul mon 'allow rw' osd 'allow rwx pool=liverpool'
#ceph auth caps client.brian-manager mon 'allow *' osd 'allow *'
#ceph auth caps client.ringo mon ' ' osd ' '

4、刪除用戶
#ceph auth del {TYPE}.{ID}
其中， {TYPE} 是 client，osd，mon 或 mds 的其中一種。{ID} 是用戶的名字或守護進程的 ID 。

八、增加和刪除Monitor
一個集羣可以只有一個 monitor，推薦生產環境至少部署 3 個。 Ceph 使用 Paxos 算法的一個變種對各種 map 、以及其它對集羣來說至關重要的信息達成共識。建議（但不是強制）部署奇數個 monitor 。Ceph 需要 mon 中的大多數在運行並能夠互相通信，比如單個 mon，或 2 箇中的 2 個，3 箇中的 2 個，4 箇中的 3 個等。初始部署時，建議部署 3 個 monitor。後續如果要增加，請一次增加 2 個。
1、新增一個monitor
#ceph-deploy mon create $hostname
注意：執行ceph-deploy之前要進入之前安裝時候配置的目錄。/my-cluster

2、刪除Monitor
#ceph-deploy mon destroy $hostname

注意：確保你刪除某個 Mon 後，其餘 Mon 仍能達成一致。如果不可能，刪除它之前可能需要先增加一個。

Ceph持久化存儲爲k8s應用提供存儲方案（5）

PV、PVC概述

Pod動態供給

一、集羣監控管理

Nginx R31 doc 官方文檔-01-nginx 如何安裝

挑戰程序設計競賽 2.2章習題 POJ - 3617 Best Cow Line 貪心

golang開發環境搭建(win10)

雲原生技術專題-Service Mesh-技術演進之路（二）

雲原生技術專題-Service Mesh-到底解決了什麼問題（三）

雲原生技術專題-Service Mesh-爲什麼會出現（一）

通過jenkins交付微服務到kubernetes

記一次批量刪除Evicted狀態的pod

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結