網絡存儲學習之關鍵技術(網絡存儲系統的I/O性能)

1 概述

關於網絡存儲系統I/O性能的研究I/O性能是衡量存儲系統的傳統指標。關於提升存儲系統性能的研究是國內外的研究熱點。就研究方向可以分爲對存儲系統體系結構的研究以及對網絡存儲設備I/O優化的研究。

2 對存儲系統體系結構的研究

2.1 基於InfiniBand的存儲系統

InfiniBand 是被用來取代PCI總線的新I/O體系結構。InfiniBand把網絡技術引入I/O體系中,形成一個I/O交換網絡結構,主機系統通過一個或多個主機通道適配器(HCA)連接到I/O交換網上,存儲器、網絡通信設備通過目標通道適配器(TCA)連接到該I/O交換網上。

InfiniBand體系結構把IP網絡和存儲網絡合二爲一,以交換機互連和路由器互連的方式支持系統的可擴展性。服務器端通過主機通道適配器(HCA)連接到主機內存總線上,突破了PCI的帶寬限制,存儲設備端通過終端通道適配器(TCA)連接到物理設備上,突破了SCSI和FC-AL的帶寬限制。在InfiniBand體系結構下,可以實現不同形式的存儲系統,包括SAN和NAS。
基於InfiniBandI/O路徑的SAN存儲系統有兩種實現途徑:其一是SAN存儲設備內部通過InfiniBand I/O路徑進行數據通信,InfiniBand I/O路徑取代PCI或高速串性總線,但與服務器/主機系統的連接還是通過FC I/O路徑;其二是SAN存儲設備和主機系統利用InfiniBand I/O路徑取代FC I/O路徑,實現徹底地基於InfiniBand I/O路徑的存儲體系結構。

2.2 基於DAFS協議的存儲體系結構

DAFS的主要作用是主要的目的是在所有的網絡上建立一個通用的網絡I/O存儲系統。作爲一種文件系統協議,直接存取文件系統DAFS可以在大量甚至過量負載時有效地減輕存儲服務器的計算壓力,提高存儲系統的性能。DAFS把RDMA的優點和NAS的存儲能力集成在一起,全部讀寫操作都直接通過DAFS的用戶層——RDMA驅動器執行,從而降低了網絡文件協議所帶來的系統負載。

DAFS的基本原理是通過縮短服務器讀寫文件時的數據路徑來減少和重新分配CPU的計算任務。它提供內存到內存的直接傳輸途徑,使數據塊的複製工作不需要經過應用服務器和文件服務器的CPU,而是在這兩個物理設備預先映射的緩衝區中直接傳輸。也就是說,文件可以直接由應用服務器內存傳輸到存儲服務器內存,而不必先填充各種各樣的系統緩衝區和網絡接收器。DAFS可以直接集成到NAS存儲服務器中,一方面實現高性能的數據傳輸,另一方面也可以更好地支持數據庫管理系統,如Oracle數據庫等。

具體來講,DAFS協議的設計充分利用正出現的RDMA網絡通信技術,例如InfiniBand, VI和iWARP的文件存取協議,從而極大地增強了WEB、計算、電子商務等各種應用的性能、可靠性與可擴展性。因爲DAFS網絡文件協議直接在內核中實現,而且直接通過內核的文件系統低層和設備交互,因此,從體系結構上,基於DAFS的NAS和基於SCSI目標模擬器的SAN體系結構基本相同,這樣就可以把NAS和SAN融合到一個存儲設備中,實現NAS和SAN的融合。
DUKE大學在MYRINET和以太網網絡上基於IP協議實現了一個統一傳輸協議的SAN存儲系統,並將DAFS實現在該SAN存儲系統中,於是實現了統一傳輸協議以及統一NAS和SAN的網絡存儲系統。綜上,DAFS協議不僅是有效提升NAS結構I/O性能的方法,也可以作爲下一步融合NAS和SAN存儲系統的核心協議。DAFS客戶與DAFS文件服務器的體系結構如下圖所示:


3.5 基於IP的網絡存儲技術

IP.SAN是採用iSCSl(Interact Small ComputerSystems Interface)協議構架在IP網絡上的SAN。iSCSI協議通過IP協議來封裝SCSI命令,並在IP網絡上傳輸SCSI命令和數據。在FC/SAN結構中,服務器間的消息傳遞使用的是前端局域網,而數據傳輸則被限制在後端的存儲網絡中。但是,IpoSAN的倡導者認爲存儲網絡應該與應用網絡使用相同的體系架構和技術標準,也就是說,IPSAN存儲系統既使用IP網絡進行消息傳遞,也使用IP網絡進行數據傳輸。基於IP網絡的SAN系統可充分利用目前普遍使用的lP網絡基礎設施,解決了應用網絡和存儲網絡異構的問題。另一方面,IP/SAN的數據傳輸路徑和FC/SAN存儲系統的I/O路徑相比,只是光纖通道卡和FCP協議變爲iSCSI卡和iSCSI協議。

3. 網絡存儲設備的I/O優化技術

存儲設備的I/O性能決定着整個網絡存儲系統的I/O性能,因此目前很多的研究工作針對如何減少發送到網絡存儲設備的I/O請求、改進網絡存儲設備的I/O性能等方面。

3.1 Cache技術

改進網絡存儲設備I/O性能的Cache技術,按其實現位置可分爲文件系統端的Cache技術以及網絡存儲設備端的Cache技術。
在服務器端實現的cache技術,首先表現在通過對負載的分析採用不同速度的存儲設備。Conquest系統[10,11,12,13]根據文件系統負載的統計特徵實現了一個新的改進文件系統I/O性能的Cache方法。它在服務器端實現一個混合磁盤的文件系統,採用持久的RAM作爲一個I/O子系統設備,大部分文件操作發送給基於持久RAM的設備進行處理。基於混合磁盤的文件系統可以提高43-97% 的性能。
由於在實際應用中對元數據的I/O操作佔總I/O操作的50%~80%,因此針對元數據的cache也是有效提高I/O性能的手段。HeRMES系統[14,15]是基於磁性RAM(MRAM)實現的一個新的文件系統。在該文件系統中,元數據和部分的文件系統數據將被存放在持久的MRAM中,元數據操作不需要存取物理磁盤,這樣快速的元數據存取和基於MRAM的優化數據放置算法使得數據存取性能也得到較好的提高。同時MRAM具有單字節讀寫能力,允許HeRMES使用較簡單的數據結構,而不需要採用Flash RAM的基於塊結構的讀寫方式。
目前針對磁盤和網絡磁盤的Cache技術研究成果也比較多,包括體系結構、改進技術和定性研究等方面。通過對磁盤/網絡磁盤內的Cache大小對I/O性能的影響做了深入的分析和研究,有結果顯示磁盤內使用大Cache是沒有必要的,當磁盤內Cache大小達到512KB後,增加大小對系統的I/O性能幾乎沒有改進[16]。針對這一現象,Wong等人闡述了一種新的Cache改進技術[17],因爲客戶端的Cache和網絡磁盤陣列的Cache是無法累加使用的,它們是包含的關係,因此採用排除的方法去改進平均命中率,尤其是讀操作,其主要技術是Demote操作。此外還涌現了系統內的多個程序共享單個數據物理拷貝的Cache技術[18],可以減少磁盤/網絡磁盤內的數據拷貝次數。Rapid-Cache技術提出了新的Cache體系結構[19],它採用兩個緩衝區,一個是基於RAM的主緩衝區,另一個是採用基於LOG磁盤的NVRAM實現的備份緩衝器。主緩衝區主要用做讀操作,而備份緩衝器主要用於寫操作,因爲符合目前的工作負載規律以及RAM/NVRAM的性能,因此可以改進I/O讀寫性能。

3.1 Cache技術

3.2 數據分佈技術

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章