DAS 直連存儲
NAS nfs samba
SAN 存儲區域網絡
IP SAN
node1 node2
\ /
\ /
交換機
/ \
/ \
192.168.10.2 192.168.10.3
#配置yum
Server VT Cluster ClusterStorage
存儲節點配置：
節點3安裝一個軟件：
yum install scsi-target-utils -y
編輯配置文件
vim /etc/tgt/targets.conf
通訊設備
default-driver iscsi
共享設備
iqn iscsi合格名稱
<target iqn.2012-07.com.zhaoyun:node3.target1>
backing-store /dev/sda 共享的設備名
write-cache off 關閉寫緩存，如果不關，重啓會出錯
vendor_id node3 可以理解爲，主機地址
product_id storage1 產品型號
initiator-address 192.168.10.1 允許訪問的IP地址，訪問控制
initiator-address 192.168.10.2
</target>
service tgtd start 啓動服務
tgt-admin --show
節點4
同節點3差不多
前端節點配置,客戶端
需要支持
yum install iscsi-initiator-utils -y
service iscsi start
發現共享資源信息
iscsiadm -m discovery -t sendtargets -p 192.168.10.3:3260
iscsiadm -m discovery -t sendtargets -p 192.168.10.4:3260
添加資源
iscsiadm -m node -T iqn.信息 -l 登陸 | -u 登出
udev 當系統插入硬件時， kernel先加載設備驅動去識別，
掛載規則，寫udev規則
udevinfo -a -p /sys/block/sdb -a 所有信息 -p 路徑
從以上值提取信息 ==是匹配 +=是添加
vim /etc/udev/rules.d/80-scsi.rules
第一塊
SUBSYSTEM=="block" ,SYSFS{size}=="4096000",SYSSF{vendor}=="node3" ,SYSSF{model}=="storage1"，SYMLINK+="iscsi/node3"
第二塊
SUBSYSTEM=="block" ,SYSFS{size}=="4096000",SYSSF{vendor}=="node4" ,SYSSF{model}=="storage1"，SYMLINK+="iscsi/node4"
vgchange -ay vg001
gfs 全局文件系統
如果前端幾點使用GFS，前邊節點必須是一個集羣
安裝集羣
node1 node2都需要配置
yum install system-config-cluster -y
yum install cman -y
service cman start
clustat
gfs-utils 提供格式化的命令，第二個提供了讓內核支持gfs。
yum install gfs-utils kmod-gfs
modprobe gfs2
lsmod |grep gfs
-t 集羣名:鎖表名 -j 指定日誌的格式
格式化gfs文件系統
gfs_mkfs -t iscsi_cluster:tables -p lock_dlm -j 2 /dev/vg001/lv0
掛載gfs文件系統
mount -t gfs2 -o lockproto=lock_dlm /dev/vg001/lv001 /mnt
擴展iscsi空間，擴展存儲節點
新加新的存儲節點
yum install iscsi-target-utils -y
vim /etc/tgt/targets.conf
<target iqn.2012-07.com.zhaoyun:node5.target1>
backing-store /dev/sdb
write-cache off
vendor_id node5
product_id storage1
initiator-address 192.168.10.1
initiator-address 192.168.10.2
</target>
啓動服務
service tgtd start
tgt-admin --show
#####
node1 查看配置
iscsiadm -m discovery -t sendtargets -p 192.168.10.5:3260
iscsiadm -m node -T iqn. -l 登陸
fdisk -l 發現新設備
vi /etc/udev/80-iscsi.rules
添加規則
start_udev 重啓udev
pvcreate /dev/iscsi/node5
vgextend vg001 /dev/iscsi/node5
lvextend -l +900 /dev/vg001/lv001
gfs_grow -v /iscsi/
df -h 磁盤空間擴大
node2通node1一樣
iscsiadm -m discovery -t sendtargets -p 192.168.10.5:3260
iscsiadm -m node -T iqn. -l
不停業務更新tgt配置文件
tgt-admin --update --force 讀取配置文件內容
添加節點node6 ,web節點
cman_tool update /etc/cluster/cluster.conf
編輯配置文件、、
pvscan
vgchange -ay vg001
lvdisplay
yum install gfs2_utils kmod-gfs -y
modeprobe gfs2
mount -t gfs -o lockproto=lock_dlm /dev/vg001/lv001 /iscsi
報日誌少，掛載失敗
gfs_tool journals /iscsi
gfs2_jadd -j 1 /iscsi
開機自動掛載
vim /etc/fstab
/dev/vg001/lv001 /iscsi gfs2 lockproto=lock_dlm 0 0
yum install lvm2-cluster
lvmconf --enable-cluster 集羣虛擬邏輯卷組
chkconfig clvmd on