深度剖析雲存儲
Tags: 雲存儲 , 雲計算 , 應用存儲 , CDN , 重複數據刪除 , 集羣
雲存儲（cloud storage）這個概念一經提出，就得到了衆多廠商的支持和關注。Amazon在兩年前就推出的Elastic Compute Cloud（EC2：彈性計算雲）雲存儲產品，旨在爲用戶提供互聯網服務形式同時提供更強的存儲和計算功能。內容分發網絡服務提供商CDNetworks和業界著名的雲存儲平臺服務商 Nirvanix發佈了一項新的合作，並宣佈結成戰略伙伴關係，以提供業界目前唯一的雲存儲和內容傳送服務集成平臺。半年以前，微軟就已經推出了提供網絡移動硬盤服務的Windows Live SkyDrive Beta測試版。近期，EMC宣佈加入 道里可信基礎架構項目，致力於雲計算環境下關於信任和可靠度保證的全球研究協作，IBM也將雲計算標準作爲全球備份中心的3億美元擴展方案的一部分。
雲存儲變得越來越熱，大家衆說紛”雲”，而且各有各的說法，各有各的觀點，那麼到底什麼是雲存儲？
1 什麼是雲存儲
雲存儲在雲計算 (cloud computing)概念上延伸和發展出來的一個新的概念。雲計算是是分佈式處理(Distributed Computing)、並行處理(Parallel Computing)和網格計算(Grid Computing)的發展，是透過網絡將龐大的計算處理程序自動分拆成無數個較小的子程序，再交由多部服務器所組成的龐大系統經計算分析之後將處理結果回傳給用戶。通過雲計算技術，網絡服務提供者可以在數秒之內，處理數以千萬計甚至億計的信息，達到和”超級計算機”同樣強大的網絡服務。
雲存儲的概念與雲計算類似，它是指通過集羣應用、網格技術或分佈式文件系統等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。
如果這樣解釋還是難以理解，那我們可以借用廣域網和互聯網的結構來解釋雲存儲。
雲狀的網絡結構
相信大家對局域網、廣域網和互聯網都已經非常瞭解了。在常見的局域網系統中，我們爲了能更好地使用局域網，一般來講，使用者需要非常清楚地知道網絡中每一個軟硬件的型號和配置，比如採用什麼型號交換機，有多少個端口，採用了什麼路由器和防火牆，分別是如何設置的。系統中有多少個服務器，分別安裝了什麼操作系統和軟件。各設備之間採用什麼類型的連接線纜，分配了什麼 xml:lang=IP地址和子網掩碼。
但當我們使用廣域網和互聯網時，我們只需要知道是什麼樣的接入網和用戶名、密碼就可以連接到廣域網和互聯網，並不需要知道廣域網和互聯網中到底有多少臺交換機、路由器、防火牆和服務器，不需要知道數據是通過什麼樣的路由到達我們的電腦，也不需要知道網絡中的服務器分別安裝了什麼軟件，更不需要知道網絡中各設備之間採用了什麼樣的連接線纜和端口。
廣域網和互聯網對於具體的使用者是完全透明的，我們經常用一個雲狀的圖形來表示廣域網和互聯網，如下圖：
雖然這個雲圖中包含了許許多多的交換機、路由器、防火牆和服務器，但對具體的廣域網、互聯網用戶來講，這些都是不需要知道的。這個雲狀圖形代表的是廣域網和互聯網帶給大家的互聯互通的網絡服務，無論我們在任何地方，都可以通過一個網絡接入線纜和一個用戶、密碼，就可以接入廣域網和互聯網，享受網絡帶給我們的服務。
參考雲狀的網絡結構，創建一個新型的雲狀結構的存儲系統系統，這個存儲系統由多個存儲設備組成，通過集羣功能、分佈式文件系統或類似網格計算等功能聯合起來協同工作，並通過一定的應用軟件或應用接口，對用戶提供一定類型的存儲服務和訪問服務。
當我們使用某一個獨立的存儲設備時，我們必須非常清楚這個存儲設備是什麼型號，什麼接口和傳輸協議，必須清楚地知道存儲系統中有多少塊磁盤，分別是什麼型號、多大容量，必須清楚存儲設備和服務器之間採用什麼樣的連接線纜。爲了保證數據安全和業務的連續性，我們還需要建立相應的數據備份系統和容災系統。除此之外，對存儲設備進行定期地狀態監控、維護、軟硬件更新和升級也是必須的。
如果採用雲存儲，那麼上面所提到的一切對使用者來講都不需要了。雲狀存儲系統中的所有設備對使用者來講都是完全透明的，任何地方的任何一個經過授權的使用者都可以通過一根接入線纜與雲存儲連接，對雲存儲進行數據訪問。
雲存儲不是存儲，而是服務
就如同雲狀的廣域網和互聯網一樣，雲存儲對使用者來講，不是指某一個具體的設備，而是指一個由許許多多個存儲設備和服務器所構成的集合體。使用者使用雲存儲，並不是使用某一個存儲設備，而是使用整個雲存儲系統帶來的一種數據訪問服務。所以嚴格來講，雲存儲不是存儲，而是一種服務。
雲存儲的核心是應用軟件與存儲設備相結合，通過應用軟件來實現存儲設備向存儲服務的轉變。
2 雲存儲的結構模型
與傳統的存儲設備相比，雲存儲不僅僅是一個硬件，而是一個網絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網、和客戶端程序等多個部分組成的複雜系統。各部分以存儲設備爲核心，通過應用軟件來對外提供數據存儲和業務訪問服務。雲存儲系統的結構模型如下：
雲存儲系統的結構模型由 4層組成。
一、存儲層
存儲層是雲存儲最基礎的部分。存儲設備可以是FC光纖通道存儲設備，可以是NAS和 iSCSI等IP存儲設備，也可以是 SCSI或SAS等 DAS存儲設備。雲存儲中的存儲設備往往數量龐大且分佈多不同地域，彼此之間通過廣域網、互聯網或者 FC光纖通道網絡連接在一起。
存儲設備之上是一個統一存儲設備管理系統，可以實現存儲設備的邏輯虛擬化管理、多鏈路冗餘管理，以及硬件設備的狀態監控和故障維護。
二、基礎管理層：
基礎管理層是雲存儲最核心的部分，也是雲存儲中最難以實現的部分。基礎管理層通過集羣、分佈式文件系統和網格計算等技術，實現雲存儲中多個存儲設備之間的協同工作，使多個的存儲設備可以對外提供同一種服務，並提供更大更強更好的數據訪問性能。
CDN內容分發系統、數據加密技術保證雲存儲中的數據不會被未授權的用戶所訪問，同時，通過各種數據備份和容災技術和措施可以保證雲存儲中的數據不會丟失，保證雲存儲自身的安全和穩定。
三、應用接口層：
應用接口層是雲存儲最靈活多變的部分。不同的雲存儲運營單位可以根據實際業務類型，開發不同的應用服務接口，提供不同的應用服務。比如視頻監控應用平臺、IPTV和視頻點播應用平臺、網絡硬盤引用平臺，遠程數據備份應用平臺等。
四、訪問層：
任何一個授權用戶都可以通過標準的公用應用接口來登錄雲存儲系統，享受雲存儲服務。雲存儲運營單位不同，雲存儲提供的訪問類型和訪問手段也不同。
3 雲存儲的技術前提
從上面的雲存儲結構模型可知，雲存儲系統是一個多設備、多應用、多服務協同工作的集合體，它的實現要以多種技術的發展爲前提。
一、寬帶網絡的發展
真正的雲存儲系統將會是一個多區域分佈、遍佈全國、甚至於遍佈全球的龐大公用系統，使用者需要通過ADSL、DDN等寬帶接入設備來連接雲存儲，而不是通過FC、 SCSI或以太網線纜直接連接一臺獨立的、私有的存儲設備上。只有寬帶網絡得到充足的發展，使用者纔有可能獲得足夠大的數據傳輸帶寬，實現大量容量數據的傳輸，真正享受到雲存儲服務，否則只能是空談。
二、 WEB2.0技術
Web2.0 技術的核心是分享。只有通過web2.0技術，雲存儲的使用者纔有可能通過 PC、手機、移動多媒體等多種設備，實現數據、文檔、圖片和視音頻等內容的集中存儲和資料共享。Web2.0技術的發展使得使用者的應用方式和可得服務更加靈活和多樣。
三、應用存儲的發展
雲存儲不僅僅是存儲，更多的是應用。應用存儲是一種在存儲設備中集成了應用軟件功能的存儲設備，它不僅具有數據存儲功能，還具有應用軟件功能，可以看作是服務器和存儲設備的集合體。應用存儲技術的發展可以大量減少雲存儲中服務器的數量，從而降低系統建設成本，減少系統中由服務器造成單點故障和性能瓶頸，減少數據傳輸環節，提供系統性能和效率，保證整個系統的高效穩定運行。
四、集羣技術、網格技術和分佈式文件系統
雲存儲系統是一個多存儲設備、多應用、多服務協同工作的集合體，任何一個單點的存儲系統都不是雲存儲。
既然是由多個存儲設備構成的，不同存儲設備之間就需要通過集羣技術、分佈式文件系統和網格計算等技術，實現多個存儲設備之間的協同工作，使多個的存儲設備可以對外提供同一種服務，並提供更大更強更好的數據訪問性能。如果沒有這些技術的存在，雲存儲就不可能真正實現，所謂的雲存儲只能是一個一個的獨立系統，不能形成雲狀結構。
五、 CDN內容分發、P2P技術、數據壓縮技術、重複數據刪除技術、數據加密技術
CDN內容分發系統、數據加密技術保證雲存儲中的數據不會被未授權的用戶所訪問，同時，通過各種數據備份和容災技術保證雲存儲中的數據不會丟失，保證雲存儲自身的安全和穩定。如果雲存儲中的數據安全得不到保證，想來也沒有人敢用雲存儲，否則，保存的數據不是很快丟失了，就是全國人民都知道了。
六、存儲虛擬化技術、存儲網絡化管理技術
雲存儲中的存儲設備數量龐大且分佈在多不同地域，如何實現不同廠商、不同型號甚至於不同類型（如FC存儲和 IP存儲）的多臺設備之間的邏輯卷管理、存儲虛擬化管理和多鏈路冗餘管理將會是一個巨大的難題，這個問題得不到解決，存儲設備就會是整個雲存儲系統的性能瓶頸，結構上也無法形成一個整體，而且還會帶來後期容量和性能擴展難等問題。
雲存儲中的存儲設備數量龐大、分佈地域廣造成的另外一個問題就是存儲設備運營管理問題。雖然這些問題對雲存儲的使用者來講根本不需要關心，但對於雲存儲的運營單位來講，卻必須要通過切實可行和有效的手段來解決集中管理難、狀態監控難、故障維護難、人力成本高等問題。因此，雲存儲必須要具有一個高效的類似與網絡管理軟件一樣的集中管理平臺，可實現雲存儲系統中設有存儲設備、服務器和網絡設備的集中管理和狀態監控。