⑨ OpenStack高可用集羣部署方案(train版)—CentOS8安裝與配置Ceph集羣

CentOS8安裝與配置Ceph Octopus版

1. Ceph介紹

https://www.cnblogs.com/kevingrace/p/8387999.html

1.1 爲什麼要用Ceph

Ceph是當前非常流行的開源分佈式存儲系統，具有高擴展性、高性能、高可靠性等優點，同時提供塊存儲服務(rbd)、對象存儲服務(rgw)以及文件系統存儲服務(cephfs)，Ceph在存儲的時候充分利用存儲節點的計算能力，在存儲每一個數據時都會通過計算得出該數據的位置，儘量的分佈均衡。。目前也是OpenStack的主流後端存儲，隨着OpenStack在雲計算領域的廣泛使用，ceph也變得更加炙手可熱。國內目前使用ceph搭建分佈式存儲系統較爲成功的企業有x-sky,深圳元核雲，上海UCloud等三家企業。

分佈式存儲	Ceph	GFS	HDFS	Swift	Lustre
平臺屬性	開源	閉源	開源	開源	開源
系統架構	去中心化架構	中心化架構	中心化架構	去中心化架構	中心化架構
數據存儲方式	塊、文件對象	文件	文件	對象	文件
元數據節點數量	多個	1個	1個(主備)	多個	1個
數據冗餘	多副本/糾刪碼	多副本/糾刪碼	多副本/糾刪碼	多副本/糾刪碼	無
數據一致性	強一致性	最終一致性	過程一致性	弱一致性	無
分塊大小	4MB	64MB	128MB	視對象大小	1MB
適用場景	頻繁讀寫場景/IaaS	大文件連續讀寫	大數據場景	雲的對象存儲	大型集羣/超算

1.2 Ceph架構介紹

Ceph使用RADOS提供對象存儲，通過librados封裝庫提供多種存儲方式的文件和對象轉換。外層通過RGW（Object，有原生的API，而且也兼容Swift和S3的API，適合單客戶端使用）、RBD（Block，支持精簡配置、快照、克隆，適合多客戶端有目錄結構）、CephFS（File，Posix接口，支持快照，社會和更新變動少的數據，沒有目錄結構不能直接打開）將數據寫入存儲。

• 高性能
  a. 摒棄了傳統的集中式存儲元數據尋址的方案，採用CRUSH算法，數據分佈均衡，並行度高
  b.考慮了容災域的隔離，能夠實現各類負載的副本放置規則，例如跨機房、機架感知等
  c. 能夠支持上千個存儲節點的規模，支持TB到PB級的數據
• 高可擴展性
  a. 去中心化
  b. 擴展靈活
  c. 隨着節點增加而線性增長
• 特性豐富
  a. 支持三種存儲接口：塊存儲、文件存儲、對象存儲
  b. 支持自定義接口，支持多種語言驅動

目前來說，ceph在開源社區還是比較熱門的，但是更多的是應用於雲計算的後端存儲。官方推薦使用ceph的對象式存儲，速度和效率都比較高，而cephfs官方並不推薦直接在生產中使用。以上介紹的只是ceph的滄海一粟，ceph遠比上面介紹的要複雜，而且支持很多特性，比如使用糾刪碼就行尋址，所以大多數在生產環境中使用ceph的公司都會有專門的團隊對ceph進行二次開發，ceph的運維難度也比較大。但是經過合理的優化之後，ceph的性能和穩定性都是值得期待的。

1.3 Ceph核心概念

==RADOS==

全稱Reliable Autonomic Distributed Object Store，即可靠的、自動化的、分佈式對象存儲系統。RADOS是Ceph集羣的精華，用戶實現數據分配、Failover等集羣操作。

==Librados==

Rados提供庫，因爲RADOS是協議很難直接訪問，因此上層的RBD、RGW和CephFS都是通過librados訪問的，目前提供PHP、Ruby、Java、Python、C和C++支持。

==Crush==

Crush算法是Ceph的兩大創新之一，通過Crush算法的尋址操作，Ceph得以摒棄了傳統的集中式存儲元數據尋址方案。而Crush算法在一致性哈希基礎上很好的考慮了容災域的隔離，使得Ceph能夠實現各類負載的副本放置規則，例如跨機房、機架感知等。同時，Crush算法有相當強大的擴展性，理論上可以支持數千個存儲節點，這爲Ceph在大規模雲環境中的應用提供了先天的便利。

==Pool==

Pool是存儲對象的邏輯分區，它規定了數據冗餘的類型和對應的副本分佈策略，默認存儲3份副本；支持兩種類型：副本（replicated）和 糾刪碼（ Erasure Code）；

==PG==

PG（ placement group）是一個放置策略組，它是對象的集合，該集合裏的所有對象都具有相同的放置策略，簡單點說就是相同PG內的對象都會放到相同的硬盤上，PG是 ceph的邏輯概念，服務端數據均衡和恢復的最小粒度就是PG，一個PG包含多個OSD。引入PG這一層其實是爲了更好的分配數據和定位數據；

==Object==

簡單來說塊存儲讀寫快，不利於共享，文件存儲讀寫慢，利於共享。能否弄一個讀寫快，利於共享的出來呢。於是就有了對象存儲。最底層的存儲單元，包含元數據和原始數據。

1.4 Ceph核心組件

OSD

是負責物理存儲的進程，一般配置成和磁盤一一對應，一塊磁盤啓動一個OSD進程。主要功能是存儲數據、複製數據、平衡數據、恢復數據，以及與其它OSD間進行心跳檢查，負責響應客戶端請求返回具體數據的進程等；

Pool、PG和OSD的關係：

• 一個Pool裏有很多PG；
• 一個PG裏包含一堆對象，一個對象只能屬於一個PG；
• PG有主從之分，一個PG分佈在不同的OSD上（針對三副本類型）;

Monitor

一個Ceph集羣需要多個Monitor組成的小集羣，它們通過Paxos同步數據，用來保存OSD的元數據。負責監視整個Ceph集羣運行的Map視圖（如OSD Map、Monitor Map、PG Map和CRUSH Map），維護集羣的健康狀態，維護展示集羣狀態的各種圖表，管理集羣客戶端認證與授權；生產中建議最少要用3個Monitor，基數個的Monitor組成組件來做高可用。

MDS

MDS全稱Ceph Metadata Server，是CephFS服務依賴的元數據服務。負責保存文件系統的元數據，管理目錄結構。對象存儲和塊設備存儲不需要元數據服務；

Mgr

ceph 官方開發了 ceph-mgr，主要目標實現 ceph 集羣的管理，爲外界提供統一的入口。例如cephmetrics、zabbix、calamari、promethus

RGW

RGW全稱RADOS gateway，是Ceph對外提供的對象存儲服務，接口與S3和Swift兼容。

Admin

Ceph常用管理接口通常都是命令行工具，如rados、ceph、rbd等命令，另外Ceph還有可以有一個專用的管理節點，在此節點上面部署專用的管理工具來實現近乎集羣的一些管理工作，如集羣部署，集羣組件管理等。

1.5 Ceph三種存儲類型

塊存儲（RBD）

優點：

• 通過Raid與LVM等手段，對數據提供了保護；
• 多塊廉價的硬盤組合起來，提高容量；
• 多塊磁盤組合出來的邏輯盤，提升讀寫效率；

缺點：

• 採用SAN架構組網時，光纖交換機，造價成本高；
• 主機之間無法共享數據；

使用場景

• docker容器、虛擬機磁盤存儲分配；
• 日誌存儲；
• 文件存儲；

如果滿足以下所有條件，則認爲存儲設備可用

• 硬盤設備必須沒有分區。
• 設備不得具有任何LVM狀態。
• 不得安裝設備。
• 該設備不得包含文件系統。
• 該設備不得包含Ceph BlueStore OSD。
• 設備必須大於5 GB。

注意：Ceph拒絕在不可用的設備上配置OSD；也就是說配置OSD時，要保證掛載的硬盤設備是沒有分區過的空盤

文件存儲（CephFS）

優點：

• 造價低，隨便一臺機器就可以了；
• 方便文件共享；

缺點：

• 讀寫速率低；
• 傳輸速率慢；

使用場景

• 日誌存儲；
• FTP、NFS；
• 其它有目錄結構的文件存儲

對象存儲（Object）

適合更新變動較少的數據

優點：

• 具備塊存儲的讀寫高速；
• 具備文件存儲的共享等特性；

使用場景

• 圖片存儲；
• 視頻存儲；

---

2. 安裝與配置

2.1 環境介紹

IP地址	配置	主機名	Ceph版本
10.15.253.161	c2m8h300	cephnode01	Octopus 15.2.4
10.15.253.193	c2m8h300	cephnode02	Octopus 15.2.4
10.15.253.225	c2m8h300	cephnode03	Octopus 15.2.4

#Linux系統版本
[root@cephnode01 ~]# cat /etc/redhat-release 
CentOS Linux release 8.2.2004 (Core)
[root@cephnode01 ~]# uname -r
4.18.0-193.14.2.el8_2.x86_64


#網絡設計:建議各網絡單獨分開
10.15.253.0/24 #Public Network  公共網絡
172.31.253.0/24 #Cluster Network 集羣網絡

#每臺ceph節點下除系統盤外，最少掛載兩塊相同的大容量硬盤，不需要進行分區
[root@cephnode01 ~]# lsblk 
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda      8:0    0   20G  0 disk 
├─sda1   8:1    0  200M  0 part /boot
├─sda2   8:2    0    1G  0 part [SWAP]
└─sda3   8:3    0 18.8G  0 part /
sdb      8:16   0   20G  0 disk

2.1.1 Ceph安裝與版本選擇

https://docs.ceph.com/docs/master/install/

ceph-deploy 是用於快速部署羣集的工具；社區不再積極維護ceph-deploy。僅支持Nautilus版之前的Ceph版本上進行。它不支持RHEL8，CentOS 8或更新的操作系統。

這裏的系統環境是centos8系統，所以需要使用cephadm部署工具部署octopus版的ceph

2.1.2 基礎環境準備

全部Ceph節點上操作；以cephnode01節點爲例；

#（1）關閉防火牆：
systemctl stop firewalld
systemctl disable firewalld

#（2）關閉selinux：
sed -i 's/enforcing/disabled/' /etc/selinux/config
setenforce 0

#（3）在cephnode01上配置免密登錄到cephnode02、cephnode03
dnf install sshpass -y
ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ''
for ip in 161 193 225 ;do sshpass -pZxzn@2020 ssh-copy-id -o StrictHostKeyChecking=no 10.15.253.$ip ;done

#（4）在cephnode01上添加主機名：已經配置過則不需要再次添加
cat >>/etc/hosts <<EOF
10.15.253.161 cephnode01 
10.15.253.193 cephnode02
10.15.253.225 cephnode03
EOF
for ip in 193 225 ;do scp -rp /etc/hosts [email protected].$ip:/etc/hosts ;done

#（5）設置文件連接數最大值
echo "ulimit -SHn 102400" >> /etc/rc.local
cat >> /etc/security/limits.conf << EOF
* soft nofile 65535
* hard nofile 65535
EOF

#（6）內核參數優化
echo 'net.ipv4.ip_forward = 1' >>/etc/sysctl.conf
echo 'kernel.pid_max = 4194303' >>/etc/sysctl.conf
#內存不足時低於此值，使用交換空間
echo "vm.swappiness = 0" >>/etc/sysctl.conf 
sysctl -p

#（7）同步網絡時間和修改時區；已經添加不需要配置
安裝chrony時間同步 同步cephnode01節點
yum install chrony -y
vim /etc/chrony.conf 
server cephnode01 iburst
---
systemctl restart chronyd.service 
systemctl enable chronyd.service 
chronyc sources

#(8)read_ahead,通過數據預讀並且記載到隨機訪問內存方式提高磁盤讀操作
echo "8192" > /sys/block/sda/queue/read_ahead_kb

#(9) I/O Scheduler，SSD要用noop(電梯式調度程序)，SATA/SAS使用deadline(截止時間調度程序)
#https://blog.csdn.net/shipeng1022/article/details/78604910
echo "deadline" >/sys/block/sda/queue/scheduler
echo "deadline" >/sys/block/sdb/queue/scheduler
#echo "noop" >/sys/block/sd[x]/queue/scheduler

3. 添加Octopus版yum源

cat >>/etc/yum.repos.d/ceph.repo <<EOF
[Ceph]
name=Ceph packages for $basearch
baseurl=https://mirrors.aliyun.com/ceph/rpm-octopus/el8/$basearch
enabled=1
gpgcheck=0
type=rpm-md

[Ceph-noarch]
name=Ceph noarch packages
baseurl=https://mirrors.aliyun.com/ceph/rpm-octopus/el8/noarch
enabled=1
gpgcheck=0
type=rpm-md

[ceph-source]
name=Ceph source packages
baseurl=https://mirrors.aliyun.com/ceph/rpm-octopus/el8/SRPMS
enabled=1
gpgcheck=0
type=rpm-md
EOF

yum clean all && yum makecache
#安裝基礎軟件
yum install net-tools wget vim bash-completion lrzsz unzip zip -y

4. cephadm工具部署

https://docs.ceph.com/docs/master/cephadm/install/

• 在15版本，支持使用cephadm工具部署，ceph-deploy在14版本前都支持

4.1 拉取最新的cephadm並賦權

在cephnode01節點配置；

[root@cephnode01 ~]# curl --silent --remote-name --location https://github.com/ceph/ceph/raw/octopus/src/cephadm/cephadm
[root@cephnode01 ~]# chmod +x cephadm
[root@cephnode01 ~]#ll
-rwxr-xr-x. 1 root root 184653 Sep 10 12:01 cephadm

4.2 使用cephadm獲取octopus最新版本並安裝

已手動配置爲國內yum源，不需要按官方文檔的步驟再進行添加yum源

#全部ceph節點安裝
[root@cephnode01 ~]# dnf install python3 podman -y
[root@cephnode01 ~]# ./cephadm install
...
[root@cephnode01 ~]# which cephadm
/usr/sbin/cephadm

5. 創建ceph新集羣

5.1 指定管理節點

創建一個可以被任何訪問Ceph集羣的主機訪問的網絡，指定mon-ip，並將生成的配置文件寫進/etc/ceph目錄裏

[root@cephnode01 ~]# mkdir -p /etc/ceph
[root@cephnode01 ~]# cephadm bootstrap --mon-ip 10.15.253.161
...
        URL: https://cephnode01:8443/
        User: admin
    Password: 6v7xazcbwk
...

可登陸URL: https://cephnode01:8443/，首次登陸要修改密碼，進行驗證

5.2 將ceph命令映射到本地

• Cephadm不需要在主機上安裝任何Ceph包。但是，建議啓用對ceph命令的簡單訪問。
• cephadm shell命令在安裝了所有Ceph包的容器中啓動一個bash shell。默認情況下，如果在主機上的/etc/ceph中找到配置和keyring文件，它們將被傳遞到容器環境中，這樣就可以完全正常工作了。

[root@cephnode01 ~]# cephadm shell
[root@cephnode01 ~]# alias ceph='cephadm shell -- ceph'
[root@cephnode01 ~]# exit

#安裝ceph-common包；包括ceph，rbd，mount.ceph的命令
[root@cephnode01 ~]# ephadm install ceph-common包；包括ceph，rbd，mount.ceph的命令

#查看版本
[root@cephnode01 ~]# ceph -v
ceph version 15.2.4 (7447c15c6ff58d7fce91843b705a268a1917325c) octopus (stable)

查看狀態

[root@cephnode01 ~]# ceph status
  cluster:
    id:     8a4fdb4e-f31c-11ea-be33-000c29358c7a
    health: HEALTH_OK
    Reduced data availability: 1 pg inactive
    OSD count 0 < osd_pool_default_size 3
 
  services:
    mon: 1 daemons, quorum ceph135 (age 14m)
    mgr: ceph03.oesega(active, since 10m)
    osd: 0 osds: 0 up (since 31m), 0 in 
 
  data:
    pools:   1 pools, 1 pgs
    objects: 0 objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:     100.000% pgs unknown
             1 unknown

5.3 添加新節點進ceph集羣

[root@cephnode01 ~]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@cephnode02
[root@cephnode01 ~]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@cephnode03

[root@cephnode01 ~]# ceph orch host add cephnode02
Added host 'cephnode02'
[root@cephnode01 ~]# ceph orch host add cephnode03
Added host 'cephnode03'

5.4 部署添加 monitor

選擇需要設置mon的節點，全選

[root@cephnode01 ~]# ceph orch host label add cephnode01 mon
Added label mon to host cephnode01
[root@cephnode01 ~]# ceph orch host label add cephnode02 mon
Added label mon to host cephnode02
[root@cephnode01 ~]# ceph orch host label add cephnode03 mon
Added label mon to host cephnode03

[root@cephnode01 ~]# ceph orch host ls
HOST        ADDR        LABELS  STATUS  
cephnode01  cephnode01  mon             
cephnode02  cephnode02  mon             
cephnode03  cephnode03  mon

告訴cephadm根據標籤部署mon，這步需要等待各節點拉取images並啓動容器

[root@cephnode01 ~]# ceph orch apply mon label:mon

具體驗證是否安裝完成，其他兩臺節點可查看下

[root@cephnode02 ~]# podman ps -a
...

[root@cephnode02 ~]# podman images
REPOSITORY                     TAG       IMAGE ID       CREATED         SIZE
docker.io/ceph/ceph            v15       852b28cb10de   3 weeks ago     1 GB
docker.io/prom/node-exporter   v0.18.1   e5a616e4b9cf   15 months ago   24.3 MB

6. 部署OSD

6.1 查看可使用的硬盤

[root@cephnode01 ~]# ceph orch device ls
HOST    PATH      TYPE   SIZE  DEVICE  AVAIL  REJECT REASONS                         
ceph01  /dev/sda  hdd   20.0G          False  locked, Insufficient space (<5GB) on vgs, LVM detected  
ceph01  /dev/sdb  hdd   20.0G          True
ceph02  /dev/sda  hdd   20.0G          False  Insufficient space (<5GB) on vgs, LVM detected, locked  
ceph02  /dev/sdb  hdd   20.0G          True
ceph03  /dev/sda  hdd   20.0G          False  locked, Insufficient space (<5GB) on vgs, LVM detected  
ceph03  /dev/sdb  hdd   20.0G          True

6.2 使用所有可用硬盤

[root@cephnode01 ~]# ceph orch apply osd --all-available-devices

添加單塊盤的方式

[root@cephnode01 ~]# ceph orch daemon add osd cephnode02:/dev/sdc

6.3 驗證部署情況

[root@cephnode01 ~]# ceph osd df
ID  CLASS  WEIGHT   REWEIGHT  SIZE    RAW USE  DATA     OMAP     META      AVAIL   %USE  VAR   PGS  STATUS
 0    hdd  0.01949   1.00000  20 GiB  1.0 GiB  3.8 MiB    1 KiB  1024 MiB  19 GiB  5.02  1.00    1      up
 1    hdd  0.01949   1.00000  20 GiB  1.0 GiB  3.8 MiB    1 KiB  1024 MiB  19 GiB  5.02  1.00    1      up
 2    hdd  0.01949   1.00000  20 GiB  1.0 GiB  3.8 MiB    1 KiB  1024 MiB  19 GiB  5.02  1.00    1      up
                       TOTAL  60 GiB  3.0 GiB   11 MiB  4.2 KiB   3.0 GiB  57 GiB  5.02                   
MIN/MAX VAR: 1.00/1.00  STDDEV: 0

7. 存儲部署

7.1 CephFS部署

部署cephfs的mds服務，指定集羣名及mds的數量

[root@cephnode01 ~]# ceph orch apply mds fs-cluster --placement=3

[root@cephnode01 ~]# ceph -s

  cluster:
    id:     8a4fdb4e-f31c-11ea-be33-000c29358c7a
    health: HEALTH_OK
 
  services:
    mon: 3 daemons, quorum cephnode01,cephnode02,cephnode03 (age 1m)
    mgr: cephnode01.oesega(active, since 49m), standbys: cephnode02.lphrtb, cephnode03.wkthtb
    mds:  3 up:standby
    osd: 3 osds: 3 up (since 51m), 3 in (since 30m)
 
  data:
    pools:   1 pools, 1 pgs
    objects: 0 objects, 0 B
    usage:   3.0 GiB used, 57 GiB / 60 GiB avail
    pgs:     1 active+clean

7.2 部署RGW

創建一個領域

[root@cephnode01 ~]# radosgw-admin realm create --rgw-realm=rgw-org --default
{
    "id": "43dc34c0-6b5b-411c-9e23-687a29c8bd00",
    "name": "rgw-org",
    "current_period": "ea3dd54c-2dfe-4180-bf11-4415be6ccafd",
    "epoch": 1
}

創建一個zonegroup區域組

[root@cephnode01 ~]# radosgw-admin zonegroup create --rgw-zonegroup=rgwgroup --master --default
{
    "id": "1878ecaa-216b-4c99-ad4e-b72f4fa9193f",
    "name": "rgwgroup",
    "api_name": "rgwgroup",
    "is_master": "true",
    "endpoints": [],
    "hostnames": [],
    "hostnames_s3website": [],
    "master_zone": "",
    "zones": [],
    "placement_targets": [],
    "default_placement": "",
    "realm_id": "43dc34c0-6b5b-411c-9e23-687a29c8bd00",
    "sync_policy": {
        "groups": []
    }
}

創建一個區域

[root@cephnode01 ~]# radosgw-admin zone create --rgw-zonegroup=rgwgroup --rgw-zone=zone-dc1 --master --default
{
    "id": "fbdc5f83-9022-4675-b98e-39738920bb57",
    "name": "zone-dc1",
    "domain_root": "zone-dc1.rgw.meta:root",
    "control_pool": "zone-dc1.rgw.control",
    "gc_pool": "zone-dc1.rgw.log:gc",
    "lc_pool": "zone-dc1.rgw.log:lc",
    "log_pool": "zone-dc1.rgw.log",
    "intent_log_pool": "zone-dc1.rgw.log:intent",
    "usage_log_pool": "zone-dc1.rgw.log:usage",
    "roles_pool": "zone-dc1.rgw.meta:roles",
    "reshard_pool": "zone-dc1.rgw.log:reshard",
    "user_keys_pool": "zone-dc1.rgw.meta:users.keys",
    "user_email_pool": "zone-dc1.rgw.meta:users.email",
    "user_swift_pool": "zone-dc1.rgw.meta:users.swift",
    "user_uid_pool": "zone-dc1.rgw.meta:users.uid",
    "otp_pool": "zone-dc1.rgw.otp",
    "system_key": {
        "access_key": "",
        "secret_key": ""
    },
    "placement_pools": [
        {
            "key": "default-placement",
            "val": {
                "index_pool": "zone-dc1.rgw.buckets.index",
                "storage_classes": {
                    "STANDARD": {
                        "data_pool": "zone-dc1.rgw.buckets.data"
                    }
                },
                "data_extra_pool": "zone-dc1.rgw.buckets.non-ec",
                "index_type": 0
            }
        }
    ],
    "realm_id": "43dc34c0-6b5b-411c-9e23-687a29c8bd00"
}

爲特定領域和區域部署一組radosgw守護進程，這裏只指定了兩個節點開啓rgw

[root@cephnode01 ~]# ceph orch apply rgw rgw-org zone-dc1 --placement="2 cephnode02 cephnode03"

驗證

[root@cephnode01 ~]# ceph -s

  cluster:
    id:     8a4fdb4e-f31c-11ea-be33-000c29358c7a
    health: HEALTH_OK
 
  services:
    mon: 3 daemons, quorum cephnode01,cephnode02,cephnode03 (age 1m)
    mgr: cephnode01.oesega(active, since 49m), standbys: cephnode02.lphrtb, cephnode03.wkthtb
    mds:  3 up:standby
    osd: 3 osds: 3 up (since 51m), 3 in (since 30m)
    rgw: 2 daemons active (rgw-org.zone-dc1.cephnode02.cdgjsi, rgw-org.zone-dc1.cephnode03.nmbbsz)
  data:
    pools:   1 pools, 1 pgs
    objects: 0 objects, 0 B
    usage:   3.0 GiB used, 57 GiB / 60 GiB avail
    pgs:     1 active+clean

爲RGW開啓dashborad

#創建rgw的管理用戶
[root@cephnode01 ~]# radosgw-admin user create --uid=admin --display-name=admin --system
{
    "user_id": "admin",
    "display_name": "admin",
    "email": "",
    "suspended": 0,
    "max_buckets": 1000,
    "subusers": [],
    "keys": [
        {
            "user": "admin",
            "access_key": "WG9W5O9O11TGGOLU6OD2",
            "secret_key": "h2DfrWvlS4NMkdgGin4g6OB6Z50F1VNmhRCRQo3W"
        }
    ],
    "swift_keys": [],
    "caps": [],
    "op_mask": "read, write, delete",
    "system": "true",
    "default_placement": "",
    "default_storage_class": "",
    "placement_tags": [],
    "bucket_quota": {
        "enabled": false,
        "check_on_raw": false,
        "max_size": -1,
        "max_size_kb": 0,
        "max_objects": -1
    },
    "user_quota": {
        "enabled": false,
        "check_on_raw": false,
        "max_size": -1,
        "max_size_kb": 0,
        "max_objects": -1
    },
    "temp_url_keys": [],
    "type": "rgw",
    "mfa_ids": []
}

設置dashboard憑證

[root@cephnode01 ~]# ceph dashboard set-rgw-api-access-key WG9W5O9O11TGGOLU6OD2
Option RGW_API_ACCESS_KEY updated
[root@cephnode01 ~]# ceph dashboard set-rgw-api-secret-key h2DfrWvlS4NMkdgGin4g6OB6Z50F1VNmhRCRQo3W
Option RGW_API_SECRET_KEY updated

設置禁用證書驗證、http訪問方式及使用admin賬號

ceph dashboard set-rgw-api-ssl-verify False
ceph dashboard set-rgw-api-scheme http
ceph dashboard set-rgw-api-host 10.15.253.225
ceph dashboard set-rgw-api-port 80
ceph dashboard set-rgw-api-user-id admin

重啓RGW

ceph orch restart rgw