GlusterFS分佈式文件系統羣集
5臺centos服務器，四臺添加硬盤（30G）
配置服務器基礎環境
五臺服務器上分別給新添加硬盤分區
[root@centos01 ~]# fdisk /dev/sdb
命令(輸入 m 獲取幫助)：n
Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended
Select (default p): p
分區號 (1-4，默認 1)：
起始 扇區 (2048-62914559，默認爲 2048)：
將使用默認值 2048
Last 扇區, +扇區 or +size{K,M,G} (2048-62914559，默認爲 62914559)：+5G
分區 1 已設置爲 Linux 類型，大小設爲 5 GiB
命令(輸入 m 獲取幫助)：n
Partition type:
p primary (1 primary, 0 extended, 3 free)
e extended
Select (default p): p
分區號 (2-4，默認 2)：
起始 扇區 (10487808-62914559，默認爲 10487808)：
將使用默認值 10487808
Last 扇區, +扇區 or +size{K,M,G} (10487808-62914559，默認爲 62914559)：+5G
分區 2 已設置爲 Linux 類型，大小設爲 5 GiB
命令(輸入 m 獲取幫助)：n
Partition type:
p primary (2 primary, 0 extended, 2 free)
e extended
Select (default p): p
分區號 (3,4，默認 3)：
起始 扇區 (20973568-62914559，默認爲 20973568)：
將使用默認值 20973568
Last 扇區, +扇區 or +size{K,M,G} (20973568-62914559，默認爲 62914559)：+5G
分區 3 已設置爲 Linux 類型，大小設爲 5 GiB
命令(輸入 m 獲取幫助)：n
Partition type:
p primary (3 primary, 0 extended, 1 free)
e extended
Select (default e): e
已選擇分區 4
起始 扇區 (31459328-62914559，默認爲 31459328)：
將使用默認值 31459328
Last 扇區, +扇區 or +size{K,M,G} (31459328-62914559，默認爲 62914559)：
將使用默認值 62914559
分區 4 已設置爲 Extended 類型，大小設爲 15 GiB
命令(輸入 m 獲取幫助)：n
All primary partitions are in use
添加邏輯分區 5
起始 扇區 (31461376-62914559，默認爲 31461376)：
將使用默認值 31461376
Last 扇區, +扇區 or +size{K,M,G} (31461376-62914559，默認爲 62914559)：+5G
分區 5 已設置爲 Linux 類型，大小設爲 5 GiB
命令(輸入 m 獲取幫助)：n
All primary partitions are in use
添加邏輯分區 6
起始 扇區 (41949184-62914559，默認爲 41949184)：
將使用默認值 41949184
Last 扇區, +扇區 or +size{K,M,G} (41949184-62914559，默認爲 62914559)：+5G
分區 6 已設置爲 Linux 類型，大小設爲 5 GiB
命令(輸入 m 獲取幫助)：n
All primary partitions are in use
添加邏輯分區 7
起始 扇區 (52436992-62914559，默認爲 52436992)：
將使用默認值 52436992
Last 扇區, +扇區 or +size{K,M,G} (52436992-62914559，默認爲 62914559)：
將使用默認值 62914559
分區 7 已設置爲 Linux 類型，大小設爲 5 GiB
命令(輸入 m 獲取幫助)：p
磁盤 /dev/sdb：32.2 GB, 32212254720 字節，62914560 個扇區
Units = 扇區 of 1 * 512 = 512 bytes
扇區大小(邏輯/物理)：512 字節 / 512 字節
I/O 大小(最小/最佳)：512 字節 / 512 字節
磁盤標籤類型：dos
磁盤標識符：0x0d5bf394
設備 Boot Start End Blocks Id System
/dev/sdb1 2048 10487807 5242880 83 Linux
/dev/sdb2 10487808 20973567 5242880 83 Linux
/dev/sdb3 20973568 31459327 5242880 83 Linux
/dev/sdb4 31459328 62914559 15727616 5 Extended
/dev/sdb5 31461376 41947135 5242880 83 Linux
/dev/sdb6 41949184 52434943 5242880 83 Linux
/dev/sdb7 52436992 62914559 5238784 83 Linux
命令(輸入 m 獲取幫助)：w
The partition table has been altered!
Calling ioctl() to re-read partition table.
正在同步磁盤。
查看創建的分區
[root@centos01 ~]# fdisk -l
磁盤 /dev/sda：85.9 GB, 85899345920 字節，167772160 個扇區
Units = 扇區 of 1 * 512 = 512 bytes
扇區大小(邏輯/物理)：512 字節 / 512 字節
I/O 大小(最小/最佳)：512 字節 / 512 字節
磁盤標籤類型：dos
磁盤標識符：0x000ab7bb
設備 Boot Start End Blocks Id System
/dev/sda1 * 2048 411647 204800 83 Linux
/dev/sda2 411648 8800255 4194304 82 Linux swap / Solaris
/dev/sda3 8800256 167772159 79485952 83 Linux
磁盤 /dev/sdb：32.2 GB, 32212254720 字節，62914560 個扇區
Units = 扇區 of 1 * 512 = 512 bytes
扇區大小(邏輯/物理)：512 字節 / 512 字節
I/O 大小(最小/最佳)：512 字節 / 512 字節
磁盤標籤類型：dos
磁盤標識符：0x0d5bf394
設備 Boot Start End Blocks Id System
/dev/sdb1 2048 10487807 5242880 83 Linux
/dev/sdb2 10487808 20973567 5242880 83 Linux
/dev/sdb3 20973568 31459327 5242880 83 Linux
/dev/sdb4 31459328 62914559 15727616 5 Extended
/dev/sdb5 31461376 41947135 5242880 83 Linux
/dev/sdb6 41949184 52434943 5242880 83 Linux
/dev/sdb7 52436992 62914559 5238784 83 Linux
四臺服務器初始化新建分區
[root@centos01 ~]# mkfs.xfs /dev/sdb1
[root@centos01 ~]# mkfs.xfs /dev/sdb2
[root@centos01 ~]# mkfs.xfs /dev/sdb3
[root@centos01 ~]# mkfs.xfs /dev/sdb5
[root@centos01 ~]# mkfs.xfs /dev/sdb6
[root@centos01 ~]# mkfs.xfs /dev/sdb7
四臺服務器創建掛載點在根目錄
[root@centos01 ~]# mkdir /sdb{1…7}
掛載新創建的分區
[root@centos01 ~]# echo “/dev/sdb1 /sdb1 xfs defaults 0 0” >> /etc/fstab
[root@centos01 ~]# echo “/dev/sdb2 /sdb2 xfs defaults 0 0” >> /etc/fstab
[root@centos01 ~]# echo “/dev/sdb3 /sdb3 xfs defaults 0 0” >> /etc/fstab
[root@centos01 ~]# echo “/dev/sdb5 /sdb5 xfs defaults 0 0” >> /etc/fstab
[root@centos01 ~]# echo “/dev/sdb6 /sdb6 xfs defaults 0 0” >> /etc/fstab
[root@centos01 ~]# echo “/dev/sdb7 /sdb7 xfs defaults 0 0” >> /etc/fstab
將 /etc/fstab目錄遠程複製到其他三臺服務器上
[root@centos01 ~]# scp /etc/fstab [email protected]:/etc/
[root@centos01 ~]# scp /etc/fstab [email protected]:/etc/
[root@centos01 ~]# scp /etc/fstab [email protected]:/etc/
修改hosts文件解析所有節點
[root@centos01 ~]# vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.100.10 centos01
192.168.100.20 centos02
192.168.100.30 centos03
192.168.100.40 centos04
[root@centos01 ~]# scp /etc/hosts [email protected]:/etc/
[root@centos01 ~]# scp /etc/hosts [email protected]:/etc/
[root@centos01 ~]# scp /etc/hosts [email protected]:/etc/
[root@centos01 ~]# scp /etc/hosts [email protected]:/etc/
將四臺服務器重啓，查看磁盤分區是否掛載成功
[root@centos01 ~]# df -Th
文件系統 類型 容量 已用 可用 已用% 掛載點
/dev/sda3 xfs 76G 3.6G 73G 5% /
devtmpfs devtmpfs 474M 0 474M 0% /dev
tmpfs tmpfs 489M 0 489M 0% /dev/shm
tmpfs tmpfs 489M 7.0M 482M 2% /run
tmpfs tmpfs 489M 0 489M 0% /sys/fs/cgroup
/dev/sdb7 xfs 5.0G 33M 5.0G 1% /sdb7
/dev/sdb2 xfs 5.0G 33M 5.0G 1% /sdb2
/dev/sdb5 xfs 5.0G 33M 5.0G 1% /sdb5
/dev/sdb6 xfs 5.0G 33M 5.0G 1% /sdb6
/dev/sdb1 xfs 5.0G 33M 5.0G 1% /sdb1
/dev/sdb3 xfs 5.0G 33M 5.0G 1% /sdb3
/dev/sda1 xfs 197M 136M 61M 70% /boot
tmpfs tmpfs 98M 0 98M 0% /run/user/0
安裝GlusterFS
掛載Glusterfs光盤
[root@centos01 ~]# mount /dev/cdrom /mnt/
mount: /dev/sr0 寫保護，將以只讀方式掛載
修改yum配置文件的掛載點
[root@centos01 ~]# cd /mnt/
[root@centos01 mnt]# ls
gfsrepo
[root@centos01 mnt]# vim /etc/yum.repos.d/local.repo
[local]
name=centos
baseurl=file:///mnt/gfsrepo
enabled=1
gpgcheck=0
安裝gluster服務器端和客戶端
[root@centos01 ~]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
啓動服務，設置服務開機自動啓動
[root@centos01 ~]# systemctl start glusterd
[root@centos01 ~]# systemctl enable glusterd
將yum配置文件遠程複製到其他四臺服務器
[root@centos01 ~]# scp /etc/yum.repos.d/local.repo [email protected]:/etc/yum.repos.d/
[root@centos01 ~]# scp /etc/yum.repos.d/local.repo [email protected]:/etc/yum.repos.d/
[root@centos01 ~]# scp /etc/yum.repos.d/local.repo [email protected]:/etc/yum.repos.d/
[root@centos01 ~]# scp /etc/yum.repos.d/local.repo [email protected]:/etc/yum.repos.d/
其他四臺服務器掛載glusterfs光盤，刪除系統自動yum源，安裝gluster服務器端和客戶端
[root@centos02 ~]# mount /dev/cdrom /mnt/
mount: /dev/sr0 寫保護，將以只讀方式掛載
[root@centos02 ~]# rm -rf /etc/yum.repos.d/CentOS-*
[root@centos02 ~]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
啓動服務，設置服務開機自動啓動
[root@centos02 ~]# systemctl start glusterd
[root@centos02 ~]# systemctl enable glusterd
配置GlusterFS
1）創建GlusterFS羣集
[root@centos01 ~]# gluster peer probe centos02
[root@centos01 ~]# gluster peer probe centos03
[root@centos01 ~]# gluster peer probe centos04
2）查看羣集節點
[root@centos01 ~]# gluster peer status
Number of Peers: 3
Hostname: centos02
Uuid: 4cc7469c-9d8b-4fce-9d5c-f0132f4faab9
State: Peer in Cluster (Connected)
Hostname: centos03
Uuid: 200c060d-9ad6-4e61-9065-2637599f3865
State: Peer in Cluster (Connected)
Hostname: centos04
Uuid: e548bbe0-5796-4ef2-a990-017379f96e08
State: Peer in Cluster (Connected)
創建分佈式卷
創建分佈式卷
[root@centos01 ~]# gluster volume create FBS-Volume centos01:/sdb1 centos02:/sdb1 force
查看分佈式卷的狀態
[root@centos01 ~]# gluster volume info FBS-Volume
啓動分佈式卷
[root@centos01 ~]# gluster volume start FBS-Volume
客戶端創建掛載目錄，客戶端掛載分佈式卷
[root@centos05 ~]# mkdir /FBS-Volume
[root@centos05 ~]# mount -t glusterfs 192.168.100.10:FBS-Volume /FBS-Volume
客戶端驗證是否掛載成功
[root@centos05 ~]# df -Th
文件系統 類型 容量 已用 可用 已用% 掛載點
192.168.100.10:FBS-Volume fuse.glusterfs 10G 65M 10G 1% /FBS-Volume
條帶卷
創建條帶卷
[root@centos01 ~]# gluster volume create TD-Volume stripe 2 centos01:/sdb2 centos02:/sdb2 force
查看條帶卷狀態
[root@centos01 ~]# gluster volume info TD-Volume
啓動條帶卷
[root@centos01 ~]# gluster volume start TD-Volume
客戶端創建掛載目錄，客戶端掛載條帶卷
[root@centos05 ~]# mkdir /TD-Volume
[root@centos05 ~]# mount -t glusterfs 192.168.100.10:TD-Volume /TD-Volume
客戶端驗證是否掛載成功
[root@centos05 ~]# df -Th
文件系統 類型 容量 已用 可用 已用% 掛載點
192.168.100.10:FBS-Volume fuse.glusterfs 10G 65M 10G 1% /FBS-Volume
192.168.100.10:TD-Volume fuse.glusterfs 10G 65M 10G 1% /TD-Volume
複製卷
創建複製卷
[root@centos01 ~]# gluster volume create FZ-Volume replica 2 centos01:/sdb3 centos02:/sdb3 force
查看複製卷狀態
[root@centos01 ~]# gluster volume info FZ-Volume
啓動複製卷
[root@centos01 ~]# gluster volume start FZ-Volume
客戶端創建掛載目錄，客戶端掛載複製卷
[root@centos05 ~]# mkdir /FZ-Volume
[root@centos05 ~]# mount -t glusterfs 192.168.100.10:FZ-Volume /FZ-Volume
客戶端驗證是否掛載成功
[root@centos05 ~]# df -Th
文件系統 類型 容量 已用 可用 已用% 掛載點
192.168.100.10:FBS-Volume fuse.glusterfs 10G 65M 10G 1% /FBS-Volume
192.168.100.10:TD-Volume fuse.glusterfs 10G 65M 10G 1% /TD-Volume
192.168.100.10:FZ-Volume fuse.glusterfs 5.0G 33M 5.0G 1% /FZ-Volume
分佈式條帶卷
創建分佈式條帶卷
[root@centos01 ~]# gluster volume create FBSTD-Volume stripe 2 transport tcp centos01:/sdb5 centos02:/sdb05 centos01:/sdb6 centos02:/sdb6 force
查看分佈式條帶卷狀態
[root@centos01 ~]# gluster volume info FBSTD-Volume
啓動分佈式條帶卷
[root@centos01 ~]# gluster volume start FBSTD-Volume
客戶端創建掛載目錄，客戶端掛載分佈式條帶卷
[root@centos05 ~]# mkdir /FBSTD-Volume
[root@centos05 ~]# mount -t glusterfs 192.168.100.10:FBSTD-Volume /FBSTD-Volume/
客戶端驗證是否掛載成功
[root@centos05 ~]# df -Th
文件系統 類型 容量 已用 可用 已用% 掛載點
192.168.100.10:FBS-Volume fuse.glusterfs 10G 65M 10G 1% /FBS-Volume
192.168.100.10:TD-Volume fuse.glusterfs 10G 65M 10G 1% /TD-Volume
192.168.100.10:FZ-Volume fuse.glusterfs 5.0G 33M 5.0G 1% /FZ-Volume
192.168.100.10:FBSTD-Volume fuse.glusterfs 91G 3.7G 88G 5% /FBSTD-Volume
分佈式複製卷
創建分佈式複製卷
[root@centos01 ~]# gluster volume create FBSFZ-Volume replica 2 transport tcp centos01:/sdb7 centos02:/sdb7 centos03:/sdb1 centos04:/sdb1 force
查看分佈式複製卷狀態
[root@centos01 ~]# gluster volume info FBSFZ-Volume
啓動分佈式複製卷
[root@centos01 ~]# gluster volume start FBSFZ-Volume
客戶端創建掛載目錄，客戶端掛載分佈式複製卷
[root@centos05 ~]# mkdir /FBSFZ-Volume
[root@centos05 ~]# mount -t glusterfs 192.168.100.10:FBSFZ-Volume /FBSFZ-Volume
客戶端驗證是否掛載成功
[root@centos05 ~]# df -Th
文件系統 類型 容量 已用 可用 已用% 掛載點
192.168.100.10:FBS-Volume fuse.glusterfs 10G 65M 10G 1% /FBS-Volume
192.168.100.10:TD-Volume fuse.glusterfs 10G 65M 10G 1% /TD-Volume
192.168.100.10:FZ-Volume fuse.glusterfs 5.0G 33M 5.0G 1% /FZ-Volume
192.168.100.10:FBSTD-Volume fuse.glusterfs 91G 3.7G 88G 5% /FBSTD-Volume
192.168.100.10:FBSFZ-Volume fuse.glusterfs 10G 65M 10G 1% /FBSFZ-Volume
自動掛載GlusterFS文件系統
設置自動掛載glusterFS文件系統
[root@centos05 ~]# vim /etc/fstab
192.168.100.10:FBS-Volume /FBS-Volume glusterfs defaults,_netdev 0 0
192.168.100.10:TD-Volume /TD-Volume glusterfs defaults,_netdev 0 0
192.168.100.10:FZ-Volume /FZ-Volume glusterfs defaults,_netdev 0 0
192.168.100.10:FBSTD-Volume /FBSTD-Volume glusterfs defaults,_netdev 0 0
192.168.100.10:FBSFZ-Volume /FBSFZ-Volume glusterfs defaults,_netdev 0 0
重啓客戶端查看是否自動掛載
[root@centos05 ~]# df -Th
文件系統 類型 容量 已用 可用 已用% 掛載點
192.168.100.10:FZ-Volume fuse.glusterfs 5.0G 33M 5.0G 1% /FZ-Volume
192.168.100.10:FBS-Volume fuse.glusterfs 10G 65M 10G 1% /FBS-Volume
192.168.100.10:FBSTD-Volume fuse.glusterfs 91G 3.7G 88G 5% /FBSTD-Volume
192.168.100.10:TD-Volume fuse.glusterfs 10G 65M 10G 1% /TD-Volume
192.168.100.10:FBSFZ-Volume fuse.glusterfs 10G 65M 10G 1% /FBSFZ-Volume
GlusterFS相關命令
查看創建glusterfs卷
[root@centos01 ~]# gluster volume list
FBS-Volume
FBSFZ-Volume
FBSTD-Volume
FZ-Volume
TD-Volume
查看卷的狀態
[root@centos01 ~]# gluster volume status
針對條帶卷設置訪問控制列表（允許100.10、100.20、100.50掛載，其他拒絕掛載）
[root@centos01 ~]# gluster volume set TD-Volume auth.allow 192.168.100.10,192.168.100.20,192.168.100.50
客戶端掛載條帶卷
[root@centos05 ~]# mount -t glusterfs 192.168.100.10:TD-Volume /TD-Volume
查看是否掛載成功
[root@centos05 ~]# df -Th
文件系統 類型 容量 已用 可用 已用% 掛載點
192.168.100.10:FZ-Volume fuse.glusterfs 5.0G 33M 5.0G 1% /FZ-Volume
192.168.100.10:FBS-Volume fuse.glusterfs 10G 65M 10G 1% /FBS-Volume
192.168.100.10:FBSTD-Volume fuse.glusterfs 91G 3.7G 88G 5% /FBSTD-Volume
192.168.100.10:FBSFZ-Volume fuse.glusterfs 10G 65M 10G 1% /FBSFZ-Volume
tmpfs tmpfs 98M 0 98M 0% /run/user/0
192.168.100.10:TD-Volume fuse.glusterfs 10G 65M 10G 1% /TD-Volume
刪除創建的節點，刪除前停止服務
[root@centos01 ~]# gluster volume stop FBSFZ-Volume
[root@centos01 ~]# gluster volume delete FBSFZ-Volume