1、配置網絡，保證網絡暢通。（各節點）
Vi /etc/sysconfig/network-scripts/ifcfg-ens33
（配置成靜態IP，onboot=yes）
2、修改hostname，配置/etc/hosts：（各節點）
Vi /etc/hostname
192.168.10.130 admin
192.168.10.131 node1
192.168.10.132 node2
3、關閉防火牆Firewalled：（各節點）【建議：關閉seslinux】
systemctl stop firewalld //停止
systemctl disable firewalld //永久關閉
systemctl status firewalld //查看狀態
4、更新內核：（各節點）
yum update –y
5、重啓：reboot（各節點）
6、添加epel庫（各節點）
sudo yum install -y yum-utils && sudo yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/ && sudo yum install --nogpgcheck -y epel-release && sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 && sudo rm /etc/yum.repos.d/dl.fedoraproject.org* //參照官方
7、添加ceph軟件庫：（各節點）
根據自己的版本修改，將rpm-後面修改成需要的ceph版本，將el7修改成Linux發行版本（如 el6 爲 CentOS 6 、 el7 爲 CentOS 7 、 rhel6 爲 Red Hat 6.5 、 rhel7 爲 Red Hat 7 、 fc19 是 Fedora 19 、 fc20 是 Fedora 20）
vi /etc/yum.repos.d/ceph.repo
[Ceph]
name=Ceph packages for $basearch
baseurl=https://mirrors.aliyun.com/ceph/rpm-luminous/el7/$basearch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
[Ceph-noarch]
name=Ceph noarch packages
baseurl=https://mirrors.aliyun.com/ceph/rpm-luminous/el7/noarch/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
[ceph-source]
name=Ceph source packages
baseurl=https://mirrors.aliyun.com/ceph/rpm-luminous/el7/SRPMS/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
8、在admin節點安裝ceph-deploy：（管理節點）
yum install -y ceph-deploy ntp
9、安裝ntp （各節點）
yum install -y ntp
systemctl start ntpd //開啓NTP 服務
systemctl enable ntpd //設置NTP開機啓動
查看ntp狀態：ntpq -p
注意:如果ntp時鐘不同步，後面ceph服務起不來！
9、創建部署 CEPH 的用戶，並配置其無密碼sudo權限（此處創建普通用戶：admin）。（各節點）
useradd -d /home/admin -m admin
passwd admin //密碼這裏設置爲winfae123
echo "admin ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/admin
sudo chmod 0440 /etc/sudoers.d/admin
10、配置admin用戶無密鑰SSh登錄（管理節點）
【注意：先切換到admin用戶，su - admin再執行以下命令！！！】
ssh-keygen -t rsa -P ''
ssh-copy-id admin
ssh-copy-id node1
ssh-copy-id node2
11、修改ssh配置文件，添加子節點（管理節點）
這裏我只有node1,node2,所以就填:
Host node1
Hostname node1
User admin
Host node2
Hostname node2
User admin
12、確保你的包管理器安裝了優先級/首選項包，且已啓用。（各節點）
sudo yum install yum-plugin-priorities
13、新建一個集羣目錄（admin用戶，在家目錄/home/admin下操作如下命令！！！）（管理節點）
mkdir my-cluster
cd my-cluster
14、禁用requiretty（各節點）
此處不用操作
15、創建集羣（管理節點）
在my-cluster目錄下執行這條命令：
ceph-deploy new admin node1 node2
在當前目錄會出現一個ceph的配置文件，一個monitor祕鑰環和一個日誌文件。
16、修改默認副本，配置文件ceph.conf:（管理節點）
【修改ceph.conf注意以下：】
[global]
fsid = 4277e3f9-ee7e-4490-9b4b-afdafc020aaf
mon_initial_members = admin
mon_host = 192.168.10.131 //管理節點（監控主機IP）
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
osd pool default size = 2
public network = 192.168.10.0/24
在配置文件中的global下添加：
osd pool default size = 2 （默認3副本，此處因爲只有2個節點，所以改爲2！！）
//如果多塊網卡，可以添加public network（這裏用虛擬機測試，加上！）
把 public network 寫入 Ceph 配置文件的 [global] 段下：
public network = 192.168.10.0/24
17、安裝ceph（管理節點上執行，各節點會自動安裝！記得加sudo！！！）
sudo ceph-deploy install admin node1 node2
【如果這樣裝不行，可以在各個節點執行：yum install ceph ceph-common -y替代，效果是一樣的！】
//如果報這個錯誤 [ceph_deploy][ERROR ] RuntimeError: NoSectionError: No section: ‘Ceph’
可以將ceph.repo改名爲ceph-deploy.repo來解決這個問題。前面已經預先處理，所以此處無報錯。
18、配置初始化monitor(s)，並收集所有祕鑰：（管理節點）
sudo ceph-deploy mon create-initial
//這樣只會在管理節點安裝監控，如需在其他節點安裝（執行sudo ceph-deploy mon node1 node2）
檢查：完成上述操作後，當前目錄會出現這些祕鑰環：
sudo ls *keying
admin.client.admin.keyring
admin.bootstrap-osd.keyring
admin.bootstrap-mds.keyring
admin.bootstrap-rgw.keyring
然後把所有配置信息和祕鑰拷貝至主機節點和其他所有節點。
ceph-deploy admin node1 node2
sudo scp *.keyring admin:/etc/ceph/ //將當前文件夾下的所有祕鑰環拷貝至所有節點
sudo scp *.keyring node1:/etc/ceph/
sudo scp *.keyring node2:/etc/ceph/
19、添加兩個OSD【ceph12版本以上請跳過此步！！！】
這裏用的是目錄而非整塊硬盤，分別在node1和node2節點上給OSD守護進程創建一個目錄，並且給予權限（不給權限報錯！！！）
分別在node1和node2節點上給OSD守護進程創建一個目錄。
【node1節點】：
sudo mkdir /var/local/osd0
sudo chmod 777 /var/local/osd0
【node2節點】：
sudo mkdir /var/local/osd1
chmod 777 /var/local/osd1
20、 準備OSD（管理節點)【注意：單獨做OSD的硬盤必須是空盤，不做任何操作。】
sudo ceph-deploy osd prepare node1:/var/local/osd0 node2:/var/local/osd1
【注意：12版本以後命令改了，詳細信息請參照英文官網！！！
ceph-deploy osd create --data /dev/sdc node1
ceph-deploy osd create --data /dev/sdc node2
】
21、激活OSD（管理節點）【12版本以下執行】
sudo ceph-deploy osd activate node1:/var/local/osd0 node2:/var/local/osd1
22、確保當前用戶對ceph.client.admin.keyring有正確的操作權限（各節點）
sudo chmod +r /etc/ceph/ceph.client.admin.keyring
23、檢查集羣的健康狀況（可以各個節點檢查一遍！！！）
ceph health
【以下模塊可以選裝，安裝儀表板，便於UI查看。】【版本低的看下28步】
24、部署mgr，ceph12版本之後的版本可以部署。
sudo ceph-deploy mgr create node1 node2
25、開啓dashboard模塊查看
sudo chown -R admin.admin /etc/ceph (管理節點執行)
ceph mgr module enable dashboard
27、打開瀏覽器查看
28、【由於機器安裝的ceph版本爲低版本時，所以需要先對其升級！！】
1、升級 Ceph 守護進程前，應該先升級 ceph-deploy 工具。（管理節點）
sudo yum install ceph-deploy python-pushy
2、修改repo文件的配置，請參考第7步。（各節點執行）
3、執行升級（管理節點執行）
ceph-deploy install --release luminous admin node1 node2
4、然後繼續第25步
29、設置ceph集羣自啓動（各節點）
sudo systemctl enable ceph-mon.target
sudo systemctl enable ceph-osd.target
sudo systemctl enable ceph.target
30、添加元數據服務器
ceph-deploy mds create node1
31、添加 RGW 例程
ceph-deploy rgw create node1
32、添加 MONITORS（可選）
sudo ceph-deploy mon add node2 node3
33、檢查
ceph quorum_status --format json-pretty
塊設備快速入門：
34、準備client節點（必須是集羣以外的物理機，不能再任一集羣節點部署！！！）
1、安裝ceph（管理節點）
ceph-deploy install client
2、把 Ceph 配置文件和 ceph.client.admin.keyring 拷貝到 ceph-client。（管理節點）
ceph-deploy admin ceph-client
3、ceph-deploy 工具會把密鑰環複製到 /etc/ceph 目錄，要確保此密鑰環文件有讀權限。（clent節點）
sudo chmod +r /etc/ceph/ceph.client.admin.keyring
4、在 ceph-client 節點上創建一個塊設備 image。
rbd create foo --size 4096 --image-feature layering
5、在 ceph-client 節點上，把 image 映射爲塊設備。
sudo rbd map foo --id admin
6、在 ceph-client 節點上，創建文件系統後就可以使用塊設備了
sudo mkfs.ext4 -m0 /dev/rbd/rbd/foo
7、在 ceph-client 節點上掛載此文件系統
sudo mkdir /mnt/ceph-block-device
sudo mount /dev/rbd/rbd/foo /mnt/ceph-block-device
cd /mnt/ceph-block-device
文件系統入門：
1、創建文件系統
ceph osd pool create fs_data 96 96 //數值96可以根據需要變化
ceph osd pool create fs_metadata 32 32 //數值32可以根據需要變化
2、創建一個cephfs
ceph fs new cephfs fs_metadata fs_data
參考文檔：
1、https://blog.csdn.net/qq_38773184/article/details/81631093
CentOS7.6下載地址：http://mirrors.163.com/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso