LINUX下多路徑（multi-path）介紹及使用

LINUX下多路徑（multi-path）介紹及使用http://zhumeng8337797.blog.163.com/blog/static/1007689142013416111534352/

一、什麼是多路徑

普通的電腦主機都是一個硬盤掛接到一個總線上，這裏是一對一的關係。而到了有光纖組成的SAN環境，或者由iSCSI組成的IPSAN環境，由於主機和存儲通過了光纖交換機或者多塊網卡及IP來連接，這樣的話，就構成了多對多的關係。也就是說，主機到存儲可以有多條路徑可以選擇。主機到存儲之間的IO由多條路徑可以選擇。每個主機到所對應的存儲可以經過幾條不同的路徑，如果是同時使用的話，I/O流量如何分配？其中一條路徑壞掉了，如何處理？還有在操作系統的角度來看，每條路徑，操作系統會認爲是一個實際存在的物理盤，但實際上只是通向同一個物理盤的不同路徑而已，這樣是在使用的時候，就給用戶帶來了困惑。多路徑軟件就是爲了解決上面的問題應運而生的。

多路徑的主要功能就是和存儲設備一起配合實現如下功能：
1.故障的切換和恢復
2.IO流量的負載均衡
3.磁盤的虛擬化
由於多路徑軟件是需要和存儲在一起配合使用的，不同的廠商基於不同的操作系統，都提供了不同的版本。並且有的廠商，軟件和硬件也不是一起賣的，如果要使用多路徑軟件的話，可能還需要向廠商購買license才行。比如EMC公司基於linux下的多路徑軟件，就需要單獨的購買license。好在， RedHat和Suse的2.6的內核中都自帶了免費的多路徑軟件包，並且可以免費使用，同時也是一個比較通用的包，可以支持大多數存儲廠商的設備，即使是一些不是出名的廠商，通過對配置文件進行稍作修改，也是可以支持並運行的很好的。

二、Linux下multipath介紹，需要以下工具包：

在CentOS 5中，最小安裝系統時multipath已經被安裝，查看multipath是否安裝如下：

1、device-mapper-multipath：即multipath-tools。主要提供multipathd和multipath等工具和 multipath.conf等配置文件。這些工具通過device mapper的ioctr的接口創建和配置multipath設備（調用device-mapper的用戶空間庫。創建的多路徑設備會在/dev /mapper中）。

2、 device-mapper：主要包括兩大部分：內核部分和用戶部分。內核部分主要由device mapper核心（dm.ko）和一些target driver（md-multipath.ko）。核心完成設備的映射，而target根據映射關係和自身特點具體處理從mappered device 下來的i/o。同時，在覈心部分，提供了一個接口，用戶通過ioctr可和內核部分通信，以指導內核驅動的行爲，比如如何創建mappered device，這些divece的屬性等。linux device mapper的用戶空間部分主要包括device-mapper這個包。其中包括dmsetup工具和一些幫助創建和配置mappered device的庫。這些庫主要抽象，封裝了與ioctr通信的接口，以便方便創建和配置mappered device。multipath-tool的程序中就需要調用這些庫。

3、dm-multipath.ko和dm.ko：dm.ko是device mapper驅動。它是實現multipath的基礎。dm-multipath其實是dm的一個target驅動。

4、scsi_id：包含在udev程序包中，可以在multipath.conf中配置該程序來獲取scsi設備的序號。通過序號，便可以判斷多個路徑對應了同一設備。這個是多路徑實現的關鍵。scsi_id是通過sg驅動，向設備發送EVPD page80或page83 的inquery命令來查詢scsi設備的標識。但一些設備並不支持EVPD 的inquery命令，所以他們無法被用來生成multipath設備。但可以改寫scsi_id，爲不能提供scsi設備標識的設備虛擬一個標識符，並輸出到標準輸出。multipath程序在創建multipath設備時，會調用scsi_id，從其標準輸出中獲得該設備的scsi id。在改寫時，需要修改scsi_id程序的返回值爲0。因爲在multipath程序中，會檢查該直來確定scsi id是否已經成功得到。

三、multipath在CentOS 5中的基本配置過程：
1、安裝和加載多路徑軟件包
# yum –y install device-mapper device-mapper-multipath

# chkconfig –level 2345 multipathd on #設置成開機自啓動multipathd

# lsmod |grep dm_multipath #來檢查安裝是否正常

如果模塊沒有加載成功請使用下列命初始化DM，或重啓系統
---Use the following commands to initialize and start DM for the first time:
# modprobe dm-multipath
# modprobe dm-round-robin
# service multipathd start
# multipath –v2

2、配置multipath：

Multipath的配置文件是/etc/multipath.conf , 如需要multipath正常工作只需要如下配置即可：(如果需要更加詳細的配置，請看本文後續的介紹)

blacklist {

devnode "^sda"

}

defaults {

user_friendly_names yes

path_grouping_policy multibus

failback immediate

no_path_retry fail

}

# vi /etc/multipath.conf

3、multipath基本操作命令
# /etc/init.d/multipathd start #開啓mulitipath服務
# multipath -F #刪除現有路徑
# multipath -v2 #格式化路徑
# multipath -ll #查看多路徑

如果配置正確的話就會在/dev/mapper/目錄下多出mpath0、mpath1等之類設備。

用fdisk -l命令可以看到多路徑軟件創建的磁盤，如下圖中的/dev/dm-[0-3]

4、multipath磁盤的基本操作
要對多路徑軟件生成的磁盤進行操作直接操作/dev/mapper/目錄下的磁盤就行.

在對多路徑軟件生成的磁盤進行分區之前最好運行一下pvcreate命令:

# pvcreate /dev/mapper/mpath0

# fdisk /dev/mapper/mpath0

用fdisk對多路徑軟件生成的磁盤進行分區保存時會有一個報錯,此報錯不用理會。

fdisk對多路徑軟件生成的磁盤進行分區之後，所生成的磁盤分區並沒有馬上添加到/dev/目錄下，此時我們要重啓IPSAN或者FCSAN的驅動，如果是用iscsi-initiator來連接IPSAN的重啓ISCSI服務就可以發現所生成的磁盤分區了

# service iscsi restart

# ls -l /dev/mapper/

如上圖中的mpath0p1和mpath1p1就是我們對multipath磁盤進行的分區

# mkfs.ext3 /dev/mapper/mpath0p1 #對mpath1p1分區格式化成ext3文件系統

# mount /dev/mapper/mpath0p1 /ipsan/ #掛載mpath1p1分區

四、multipath的高有配置

以上都是用multipath的默認配置來完成multipath的配置，比如映射設備的名稱，multipath負載均衡的方法都是默認設置。那有沒有按照我們自己定義的方法來配置multipath呢，當可以。

1、multipath.conf文件的配置

接下來的工作就是要編輯/etc/multipath.conf的配置文件

multipath.conf主要包括blacklist、multipaths、devices三部份的配置

blacklist配置

blacklist {

devnode "^sda"

}

Multipaths部分配置multipaths和devices兩部份的配置。

multipaths {

multipath {

wwid **************** #此值multipath -v3可以看到

alias iscsi-dm0 #映射後的別名,可以隨便取

path_grouping_policy multibus #路徑組策略

path_checker tur #決定路徑狀態的方法

path_selector "round-robin 0" #選擇那條路徑進行下一個IO操作的方法

}

Devices部分配置

devices {

device {

vendor "iSCSI-Enterprise" #廠商名稱

product "Virtual disk" #產品型號

path_grouping_policy multibus #默認的路徑組策略

getuid_callout "/sbin/scsi_id -g -u -s /block/%n" #獲得唯一設備號使用的默認程序

prio_callout "/sbin/acs_prio_alua %d" #獲取有限級數值使用的默認程序

path_checker readsector0 #決定路徑狀態的方法

path_selector "round-robin 0" #選擇那條路徑進行下一個IO操作的方法

failback immediate #故障恢復的模式

no_path_retry queue #在disable queue之前系統嘗試使用失效路徑的次數的數值

rr_min_io 100 #在當前的用戶組中，在切換到另外一條路徑之前的IO請求的數目

}

如下是一個完整的配置文件

blacklist {

devnode "^sda"

}

defaults {

user_friendly_names no

}

multipaths {

multipath {

wwid 14945540000000000a67854c6270b4359c66c272e2f356321

alias iscsi-dm0

path_grouping_policy multibus

path_checker tur

path_selector "round-robin 0"

}

multipath {

wwid 14945540000000000dcca2eda91d70b81edbcfce2357f99ee

alias iscsi-dm1

path_grouping_policy multibus

path_checker tur

path_selector "round-robin 0"

}

multipath {

wwid 1494554000000000020f763489c165561101813333957ed96

alias iscsi-dm2

path_grouping_policy multibus

path_checker tur

path_selector "round-robin 0"

}

multipath {

wwid 14945540000000000919ca813020a195422ba3663e1f03cc3

alias iscsi-dm3

path_grouping_policy multibus

path_checker tur

path_selector "round-robin 0"

}

devices {

device {

vendor "iSCSI-Enterprise"

product "Virtual disk"

path_grouping_policy multibus

getuid_callout "/sbin/scsi_id -g -u -s /block/%n"

path_checker readsector0

path_selector "round-robin 0"

}

獲取wwid的方法：

(1)默認情況下，將使用 /var/lib/multipath/bindings 內的配置設定具體每個多路徑設備名，如果在/etc/multipath.conf中有設定各wwid 別名，別名會覆蓋此設定。

(2)# multipath -v3命令查找

2、負載均衡測試

使用dd命令來對設備進行寫操作，並同時通過iostat來查看I／0狀態，命令及輸出如下：
# dd if=/dev/zero of=/dev/mapper/iscsi-dm1p1
開啓另外一個終端用以下命令查看IO情況

# iostat 10 10

通過上述輸出，我們看到，在對/dev/mapper/iscsi-dm1p1讀寫時，實際上是通過對/dev/md-1包含的當前active的所有設備，即/dev/sde1,/dev/shl這2條路徑來完成對實際的LUN的寫過程。

3、路徑切換測試

首先，我們拔掉服務器上一根網線，經過不到10秒，我們看到：MPIO成功地從上述“失敗”的路徑/dev/sel切換到了另外一條路徑/dev/sdh1上。

centos上iscsi+multipath多路徑存儲配置手冊

這是我在實際工程中所做的一個文檔，拿出來給大家分享，如有異議，歡迎探討。

一：客戶端安裝iscsi包。

二：zai共享存儲上爲服務器劃分磁盤空間。

三：啓用iscsi設備。

四：安裝dm-multipath包。

五：配置參數修改和測試。

一;客戶端添加iscsi 安裝包。

1、服務器安裝iscsi initiator包。安裝包從安裝光盤中找到

[email protected]~>rpm -qa |grep iscsi

iscsi-initiator-utils-6.2.0.868-0.7.el5

2、在/etc/iscsi/目錄下/etc/iscsi/initiatorname.iscsi

查看此文件可發現主機端的iqn號碼。在EVA command view管理軟件中添加HOST時需用到。

二:爲服務器劃分磁盤陣列的磁盤空間（即Virtual disk）

具體詳見存儲配置。

三:啓用ISCSI設備

1、在服務器端，啓動ISCSI服務：

[email protected]~>service iscsi start

2、查詢ISCSI設備（HP storageworks mpx100）target的iqn號碼：（必須）

[email protected]~>iscsiadm -m discovery -t sendtargets -p 192.168.14.1

192.168.14.1:3260,0 iqn.1986-03.com.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad38

3、登陸到ISCSI存儲設備

[root@localhost~]#Iscsiadm –m node –T iqn.1986-03.com.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad38 -p 192.168.14.1:3260 – l

上面命令是連續的，其中iqn號碼爲上面查詢得到的號碼，ip爲iscsi存儲中iscsi口對外映射的地址。

4、查看磁盤:

[root@localhost ~]# fdisk -l

Disk /dev/sda: 8795 MB, 8795105280 bytes

255 heads, 63 sectors/track, 1069 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System

/dev/sda1 * 1 941 7558551 83 Linux

/dev/sda2 942 1068 1020127+ 82 Linux swap / Solaris

Disk /dev/sdb: 10.4 GB, 10487232000 bytes

255 heads, 63 sectors/track, 1275 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System

得到新的盤符

5、同樣的方法添加另外一個ISCSI路徑的target 。

（說明：一個mpx100的一個ISCSI端口有一個iqn號和一個ip地址）

添加成功後fdisk –l 應該可以看到兩個盤符。他們的容量都一樣。這兩個盤符對應的是同一個磁盤陣列下的同一個LUN。

6：映射完成之後使用下面命令查看映射結果：

[email protected]~>iscsiadm -m node

192.168.14.1:3260,0 iqn.1986-03.com.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad38

192.168.14.3:3260,0 iqn.1986-03.com.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad3c

五：安裝DM-multipath 軟件包

由於需要實現存儲設備的多路徑訪問及故障切換，故需要運行multipath服務，這個在centos中已經安裝好了。如沒有執行下面的命令。

（原理爲EVA4400中的一個真實的virtual disk通過與2個冗餘陣列控制器連接的2個MPX100B對外提供映射，故服務器上可以看到兩個物理磁盤，但此磁盤對應一個真實的一個真實的virtual disk，故這兩條路徑間可以實現故障切換和負載均衡）

rpm –ivh device-mapper-1.02.13-6.9.i686.rpm

rpm –ivh multipath-tools-0.4.7-34.18.i686.rpm

安裝完成後，使用命令modprobe dm_multipath來加載相應的模塊，

可以使用lsmod |grep dm_multipath來檢查安裝是否正常。

六：配置文件的修改及創建

1： etc/multipath.conf 是多路徑軟件的配置文件，其中大部分配置是註釋掉的，可以將他保存爲備用，然後新建一個multipath.conf 文件，編輯新的配置文件：

實際有用的就是下面這些參數：其餘參數都可以註釋掉：

defaults {

user_friendly_names yes

udev_dir /dev

path_grouping_policy multibus

failback immediate

no_path_retry fail

}

保存退出

2：啓動服務：

Service multipathd restart

啓動成功後，我們會在dev目錄下看到下面的目錄：

/dev/mapper/mpathn,

/dev/mpath/mpathn,

/dev/dm-n.

說明: 其中/dev/mapper/mpathn 是軟件虛擬出來的多路徑設備，這個可以被我們用來掛載使用。

/dev/mpath/mpathn 這個是udev設備管理器創建的，不能用來掛載。

/dev/dm-n 這個是軟件自身使用的，不能被軟件以外使用。不可掛載。

3：用 multipath –ll 命令查看到兩條活躍路徑，他們之間互爲A/A 關係。斷掉其中一根線路，那麼系統自動切換到另外一條。

[email protected]~>multipath -ll

mpath2 (3600508b4000a5bfd0000b00000200000) dm-2 HP,HSV300

[size=2.0T][features=0][hwhandler=0]

\_ round-robin 0 [prio=2][active]

\_ 1:0:0:2 sdd 8:48 [active][ready]

\_ 2:0:0:2 sdf 8:80 [active][ready]

mpath1 (3600508b4000a5bfd0000b000001a0000) dm-1 HP,HSV300

[size=2.0T][features=0][hwhandler=0]

\_ round-robin 0 [prio=2][active]

\_ 1:0:0:1 sdb 8:16 [active][ready]

\_ 2:0:0:1 sdc 8:32 [active][ready]

mpath3 (3600508b4000a5bfd0000b00000350000) dm-3 HP,HSV300

[size=2.0T][features=0][hwhandler=0]

\_ round-robin 0 [prio=2][active]

\_ 1:0:0:3 sde 8:64 [active][ready]

\_ 2:0:0:3 sdg 8:96 [active][ready]

4：在多路徑設備創建後，我們就可以像使用實際的物理設備樣使用多路徑設備了。前提是必須通過下面的命令將其標記爲物理卷。

pvcreate /dev/mapper/mpath1

5：然後對磁盤進行分區和格式化

fdisk /dev/mapper/mpath1

（說明：這裏有很多種說法，我這裏是自己經驗總結出來的，和官方文檔不同，如有異議歡迎討論）

分區之後，會在dev/mapper/目錄下創建新的塊設備，

/dev/mapper/mpath1p1 這個表示mpath1設備下面的分區1.

如果沒有看到或者不匹配，使用multipath –F命令清除多路徑設備緩存後，再用multipath –v3命令重新加載。

分區之後使用fdisk –l 命令查看磁盤會看到dm-1 磁盤下面已經有分區的信息了。

****************************************************

isk /dev/dm-1: 2197.9 GB, 2197949513728 bytes

255 heads, 63 sectors/track, 267218 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System

/dev/dm-1p1 1 121577 976567221 83 Linux

mkfs.ext3 /dev/mapper/mpath0p1

****************************************************

6：最後將磁盤mount掛載，就可以正常使用了。

7：將multipathd服務設置成開機自啓動

chkconfig multipathd on

8：注意事項：

刪除失效的iscsi 連接：

如果因爲錯誤配置等原因創建了iscsi 對應，系統不會自動刪除，需手動刪除。

例如：

[root@as-h-01 ~]# iscsiadm -m node

192.168.1.51:3260,1 iqn.2006-01.com.openfiler:tsn.59dc8fc04fa2

我們看到上面有一個iscsi對應，但實際中這個對應已經失效，系統不會自動刪除。

刪除命名：

iscsiadm -m node -o delete -T iqn.2006-01.com.openfiler:tsn.59dc8fc04fa2 -p 192.168.1.51:3260

如果其中一條鏈路出現故障，那麼在日誌裏面我們可以看到如下類似的信息：

[email protected]~>tail /var/log/messages

Dec 12 14:03:15 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)

Dec 12 14:03:15 bhnfs1 multipathd: sdf: readsector0 checker reports path is down

Dec 12 14:03:15 bhnfs1 multipathd: sdg: readsector0 checker reports path is down

Dec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)

Dec 12 14:03:20 bhnfs1 multipathd: sdc: readsector0 checker reports path is down

Dec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)

Dec 12 14:03:20 bhnfs1 multipathd: sdf: readsector0 checker reports path is down

Dec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)

Dec 12 14:03:20 bhnfs1 multipathd: sdg: readsector0 checker reports path is down

[email protected]/etc>multipath -ll

sdc: checker msg is "readsector0 checker reports path is down"

sdf: checker msg is "readsector0 checker reports path is down"

sdg: checker msg is "readsector0 checker reports path is down"

mpath2 (3600508b4000a5bfd0000b00000200000) dm-2 HP,HSV300

[size=2.0T][features=0][hwhandler=0]

\_ round-robin 0 [prio=1][active]

\_ 1:0:0:2 sdd 8:48 [active][ready]

\_ 2:0:0:2 sdf 8:80 [failed][faulty]

mpath1 (3600508b4000a5bfd0000b000001a0000) dm-1 HP,HSV300

[size=2.0T][features=0][hwhandler=0]

\_ round-robin 0 [prio=1][active]

\_ 1:0:0:1 sdb 8:16 [active][ready]

\_ 2:0:0:1 sdc 8:32 [failed][faulty]

mpath3 (3600508b4000a5bfd0000b00000350000) dm-3 HP,HSV300

[size=2.0T][features=0][hwhandler=0]

\_ round-robin 0 [prio=1][active]

\_ 1:0:0:3 sde 8:64 [active][ready]

\_ 2:0:0:3 sdg 8:96 [failed][faulty]

RHEL6 配置multipath多路徑軟件連存儲2012-12-28 12:59:13

分類： LINUX

RHEL6與5在多路徑的配置上有一些小區別。scsi_id命令有些參數不再支持。在RHEL 6中獲取磁盤的wwid可以通過–whitelist參數獲取:[root@db1 ~]# scsi_id --whitelist /dev/sdg 360060160a2212f00f8139df761ece111

可以通過一條shell命令，來獲取系統所有磁盤的wwid：

# for i in `cat /proc/partitions ? awk {'print $4'} ?grep sd`; do echo "### $i: `scsi_id --whitelist /dev/$i`"; done

在RHEL 5中，可以通過如下方式獲取磁盤wwid：

# for i in `cat /proc/partitions ? awk {'print $4'} ?grep sd`; do echo "### $i: `scsi_id -g -u -s /block/$i`"; done

另外，RHEL 6中，多路徑配置文件也出現變化：

# multipath.conf written by anaconda 
 
defaults { 
user_friendly_names yes 
} 
blacklist { 
devnode "^(ramrawloopfdmddm-srscdst)[0-9]*" 
devnode "^hd[a-z]" 
devnode "^dcssblk[0-9]*" 
device { 
vendor "DGC" 
product "LUNZ" 
} 
device { 
vendor "IBM" 
product "S/390.*" 
} 
# don't count normal SATA devices as multipaths 
device { 
vendor "ATA" 
} 
# don't count 3ware devices as multipaths 
device { 
vendor "3ware" 
} 
device { 
vendor "AMCC" 
} 
# nor highpoint devices 
device { 
vendor "HPT" 
} 
wwid "20080930-1" 
wwid "20080930-1" 
device { 
vendor Cisco 
product Virtual_CD_DVD 
} 
wwid "*" //其實可以註釋這項，這樣就不需要單獨填寫blacklist_exceptions 
} 
blacklist_exceptions { //排除在黑名單之外的wwid 
wwid "360060160a2212f00a67e0b91f2dbe111" 
wwid "360060160a2212f0044a0fc6ef5eae111" 
} 
multipaths { 
multipath { 
uid 0 //磁盤讀所屬用戶uid 
gid 0 //磁盤所屬組gid 
wwid "360060160a2212f00a67e0b91f2dbe111" //wwid號 
mode 0600 //磁盤讀寫權限 
} 
multipath { 
wwid "360060160a2212f0044a0fc6ef5eae111" 
alias data //別名 
} 
... ... //還可以根據實際情況，配置其它磁盤的別名、uid、gid、mode etc... 
 
}

配置完了之後，重啓multipathd服務，之後通過multipath -ll查看經過多路徑軟件綁定後的磁盤。

注意，如果要對磁盤進行格式化，請採用/dev/mapper/[alias]這類設備名進行fdisk。

LINUX下多路徑（multi-path）介紹及使用

LINUX下多路徑（multi-path）介紹及使用http://zhumeng8337797.blog.163.com/blog/static/1007689142013416111534352/

[轉帖]使用NMT和pmap解決JVM資源泄漏問題原創

Python實現大麥網搶票的四大關鍵技術點解析

salesforce零基礎學習（一百三十八）零碎知識點小總結（十）

一款開源的.NET程序集反編譯、編輯和調試神器

關於接口協議，你必須要知道這些！

【2024-05-21】以茶會友

LVM基本原理

LINUX下多路徑（multi-path）介紹及使用

我的友情鏈接

Raid配置實例

Vmware的三種網絡連接模式(bridged、NAT、host-only)

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結