【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲

目錄:
(一)瞭解什麼是共享存儲及共享存儲的必要性
(二)配置iSCSI服務器端
(三)配置iSCSI客戶端


iSCSI(Internet Small Computer System Interface),Internet小型計算機系統接口,又稱爲IP-SAN,是一種基於因特網及SCSI-3協議下的存儲技術,由IETF提出,提出,並於2003年2月11如成爲正式的標準。與傳統的SCSI技術比較起來,iSCSI技術有以下三個革命性的變化:1.把原來只用於本機的SCSI協議透過TCP/IP網絡發送,使連接距離可作無限的地域延伸;2.連接的服務器數量無限(原來的SCSI-3的上限是15);3.由於是服務器架構,因此也可以實現在線擴容以至動態部署。
(一)瞭解什麼是共享存儲及共享存儲的必要性
(1.1)現在我們想要搭建一個集羣,在我們的集羣中有節點node1和節點node2,我們搭建的是高可用的集羣,所以如果當node1節點出現問題的時候,會快速的切換到由node2節點提供服務。此時我們遇到的問題是如何保證node1節點和node2節點數據同步且保持一致性。我們的解決方案是配置共享存儲,例如我們配置一個NFS服務器,node1節點和node2節點都掛載到NFS服務器提供的目錄中,用戶正常是使用node1節點訪問nfs服務器中的數據,當node1節點宕機時,客戶再次訪問時將切換爲由node2節點提供服務,由於node2節點也是掛載在NFS服務器上的,所以此時客戶仍然可以正常的訪問自己所需的數據。此時我們就保證了在高可用集羣中,節點之間數據同步性。還有例如在虛擬化的環境中做虛擬機的遷移任務時,我們也是通過配置共享存儲解決問題的。
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(1.2)說到共享存儲,我們常見的共享存儲主要有三類:1.第一種DAS即爲直接附加存儲,我們日常工作中將移動硬盤通過數據線和主板連接在一起的方式就是DAS的模型,這種存儲擴展性很差,屬於一種過時的技術;2.第二種NAS即網絡區域存儲,是一種文件夾級別的共享,例如Windows中的共享文件夾,其他主機也可以訪問到共享的目錄中,我們常見的服務如NFS、SAMBA、FTP等都屬於NAS存儲,NAS存儲主要的問題是,當節點數很多,且訪問量巨大時,很容易出現性能瓶頸,所以一般我們也會同時使用分佈式文件系統緩解性能瓶頸,常見的分佈式文件系統主要包括ceph、glusterfs、mfs等;3.第三種SAN即存儲區域網絡,是一種塊級別的共享,比較常見的有FC-SAN網絡和IP-SAN網絡,其中iSCSI就是屬於IP-SAN網絡。
(1.3)現在我們有兩個節點,節點A和節點B,在A和B兩個主機上都有自己本地的磁盤sda,現在我們有一個後端存儲,上面有硬盤sdx1和sdy1,以底層的方式共享出去,例如sdx1硬盤會通過網絡傳輸同時映射到節點A和節點B上,並命名爲sdb,此時在節點A上對sdb進行分區等操作,是可以正常的實現劃分分區的,並且會將劃分的結果也同步映射到節點B上的sdb上。此時不管在節點A還是節點B上的sdb中創建的元數據信息,其實是保存在後端存儲sdx1上的,所以例如在節點A上的sdb中創建了分區表劃分了分區,保存生效後,都會自動通過後端存儲的sdx1同步到節點B上的sdb上的。傳統的數據傳輸做法是使用光纖交換機,將所有的設備使用光纖連接起來,並且在每個設備上都要安裝一個光纖網卡hba,對於使用光纖設備傳輸數據這樣的架構環境是非常昂貴的,動輒上百萬,對於一般的中小型企業是難以承擔的,這樣的架構環境稱爲FC-SAN網絡。不過不用擔心,進過優化我們使用IP-SAN網絡是可以很好的進行替代的,將傳輸的數據重封裝爲tcp/ip的數據包,這樣我們使用普通的以太網的交換機就可以傳輸數據了,例如sdx1存儲中的數據到達了節點A的sdb後再進行解封裝,這樣就使得我們的SAN網絡在以太網中傳輸稱爲了現實。在我們的後端存儲中,我們是無法直接將sdx1或者sdy1對外進行共享的,我們需要創建一個虛擬的設備target來對sdx1和sdy1進行管理,其中target的命名方式爲iqn.2019-09.com.example:disk,我們共享存儲的時候是將target對外進行共享的。
在一個target上有連接兩個設備sdx1和sdy1,所有會有兩個接口,由於target和接口都是虛擬的並不是真實的,所以接口名爲lun(Logical Unit Number)即邏輯單元號。例如在節點A上去學習target時只能看到兩個lun,但是並不知道後端存儲具體是有幾塊硬盤的,所以最終在節點A和節點B上就都學習到了sdb和sdc
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲


(二)配置iSCSI服務器端
(2.1)服務器的配置主要包括:準備磁盤,創建target,把target和磁盤關聯,以及其他設置。我們首先在vms001主機上的擴展分區中創建sda5和sda6用於共享出去。
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
我們創建的sda5和sda6是作爲iSCSI後端存儲的兩塊硬盤
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(2.2)保存設置後,還要將分區設置同步到磁盤。
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(2.3)首先在vms001主機上安裝target軟件,並將target服務啓動起來,還要設置開機自動啓動,此時iSCSI服務器端便可以正常的登錄了。
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(2.4)進入iSCSI服務器端的控制界面後使用# ls /可以當前iSCSI的配置情況。
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(2.5)在iSCSI服務器的後端存儲backstores中,創建兩個塊設備block1和block2,並使用創建的後端存儲sda5和sda6與其一一對應起來。
注意:如果我們的block1創建錯了,可以使用delete命令進行刪除
/> /backstores/block delete block1
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(2.6)接着我們在iscsi中創建一個target
注意:如果這個target創建錯了,我們可以使用如下的方式進行刪除
/> /iscsi delete iqn.2019-09.com.example:disk
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(2.7)此時我們便可以對acl、luns、portals的值進行相關設置,首先進入到/iscsi/iqn.2019-09.com.example:disk/tpg1/路徑下並設置acl的值。
注意:如果acl的值我們設置錯誤了,可以通過如下的方式進行刪除
/> acls/ delete iqn.2019-09.com.example:xx
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(2.8)接着我們在luns中創建對應的邏輯單元號,主要是和backstores中的block進行關聯。
注意:如果第一個邏輯單元號創建錯了,那麼我們可以使用如下的方式刪除
/> luns/ delete 0
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(2.9)接着我們對portals進行設置,其中portals代表端口的意思,如果我們設置portals監聽在192.168.26.101主機的3260端口上不太合適,也可以設置portals監聽在所有主機的3260端口上。退出後所有的設置都保存在/etc/target/saveconfig.json文件中了。
# cat /etc/target/saveconfig.json | json_reformat
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(2.10)接着在防火牆設置將3260端口開放,此時我們服務器端便配置完畢了。
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲


(三)配置iSCSI客戶端
(3.1)接着我們在vms002主機上安裝iSCSI的客戶端。
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(3.2)首先我們必須要知道服務器vms001這邊共享的target是什麼,所以需要做“發現”的操作。
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(3.3)接着要在/etc/iscsi/目錄下的initiatorname.iscsi文件中設置acl的值爲vms001主機acls中設置的iqn.2019-09.com.example:xx即可。
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(3.4)然後將服務重啓一下並且設置開機自動啓動,再從vms002主機的iSCSI客戶端登錄到vms001主機上的iSCSI服務中。
注意:①如果是加載某個指定的target的時候是使用
# iscsiadm -m discovery -t st -p 192.168.26.101
# iscsiadm -m node -T iqn.2019-09.com.example:disk -p vms001.example.com -l
②如果是加載所有的target的時候是使用
# iscsiadm -m discovery -t st -p 192.168.26.101 -l
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(3.5)我們也可以使用lsscsi命令查看當前vms002主機上iSCSI設備的掛載情況。
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(3.6)我們也可以使用如下的命令可以查看vms002主機上的連接iSCSI服務器的屬性,而且顯示的信息依次變得更詳細。
# iscsiadm -m session -P0
# iscsiadm -m session -P1
# iscsiadm -m session -P2
# iscsiadm -m session -P3
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(3.7)如果我們想在vms002主機上斷開當前iSCSI指定的掛載則可以使用如下的命令:
# iscsiadm -m node -T iqn.2019-09.com.example:disk -p vms001.example.com -u
(3.8)但是-u命令只是臨時的斷開連接的命令,客戶端重啓之後還是會主動連接過去的,我們如果想徹底的刪除iSCSI指定的掛載則可以使用如下的命令:
# iscsiadm -m node -T iqn.2019-09.com.example:disk -p vms001.example.com -o delete
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(3.9)由於我們已經徹底刪除了,如果需要再次加載使用,此時可以使用加載所有target的命令執行即可。
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(3.10)如果我們需要同時斷開vms002主機上所有的iSCSI的掛載則可以使用如下的命令:
# iscsiadm -m node -u ALL
如果我們需要同時徹底刪除vms002主機上所有的iSCSI的掛載則可以使用如下的命令:
# iscsiadm -m node -o delete
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(3.11)我們重新將vms002主機掛載在vms001主機的iSCSI服務上,並將sdb分區進行劃分,並格式化爲xfs格式。
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(3.12)在vms002主機上創建一個/data目錄,將/data目錄掛載到創建的iSCSI分區/dev/sdb1上,發現此時iSCSI服務提供的分區已經可以正常的掛載使用了。
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(3.13)如果我們希望重啓之後也仍然能夠掛載生效,則應該到/etc/fstab文件中進行編輯。
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(3.14)注意,在/etc/fstab文件中需要加上_netdev的參數選項,如果忘記加了,無法正常登錄系統時,記得在命令行輸入root密碼,並進入到/etc/fstab文件中加上_netdev的參數,這樣才能繼續正常的重啓。
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
【講清楚,說明白!】常用共享存儲--iSCSI服務部署企業級網絡存儲
(3.15)實際應用中,對於iSCSI服務如果我們需要實現例如節點A宕機後,能夠立刻讓節點B使用相同的數據提供服務,即實時同步數據,此時我們需要將文件系統格式化爲集羣文件系統纔可以,因爲我們常見的xfs、ext3、ext4等都屬於單日誌文件系統,並不能做到實時同步數據。至此,這就是我們所介紹的IP-SAN網絡,它的性能會比NAS網絡高很多,並且沒有性能瓶頸,符合企業級的應用需求。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章