存儲技術趨勢預測與分析

信息計算現已進入以數據爲中心的時代,存儲行業是目前最熱門的領域之一。面對不斷出現的存儲需求新挑戰,我們該如何把握存儲的未來發展方向呢?本人根據自己的經驗和理解嘗試預測和分析一下存儲的未來技術趨勢,與存儲同行分享,不當之處還請大家批評指正。

1、存儲虛擬化

 存儲虛擬化是目前以及未來的存儲技術熱點,它其實並不算是什麼全新的概念,RAID、LVM、SWAP、VM、文件系統等這些都歸屬於其範疇。存儲的虛擬化技術有很多優點,比如提高存儲利用效率和性能,簡化存儲管理複雜性,綠色節省,降低運營成本等。現代數據應用在存儲容量、I/O性能、可用性、可靠性、利用效率、管理、業務連續性等方面對存儲系統不斷提出更高的需求,基於存儲虛擬化提供的解決方案可以幫助數據中心應對這些新的挑戰,有效整合各種異構存儲資源,消除信息孤島,保持高效數據流動與共享,合理規劃數據中心擴容,簡化存儲管理以及綠色節能等。目前最新的存儲虛擬化技術有自動分級存儲(HSM)、自動精減配置(Thin provision)、雲存儲(Cloud storage)、分佈式文件系統(Distributed file system),另外還有諸如動態內存分區、SAN和NAS虛擬化。虛擬化可以柔性地解決不斷出現的新存儲需求問題,因此我們可以斷言存儲虛擬化仍將是未來存儲的發展趨勢之一,當前的虛擬化技術會得到長足發展,未來新虛擬化技術將層出不窮。

2、固態硬盤

 固態硬盤(SSD, solid state disk)是目前倍受存儲界廣泛關注的存儲新技術,它被看作是一種革命性的存儲技術,可能會給存儲行業甚至計算機體系結構帶來深刻變革。在計算機系統內部,L1 cache、L2 cache、總線、內存、外存、網絡接口等存儲層次之間,目前來看內存與外存之間的存儲鴻溝最大,磁盤I/O通常成爲系統性能瓶頸。SSD與傳統磁盤不同,它是一種電子器件而非物理機械裝置,它具有體積小、能耗小、搞干擾能力強、尋址時間極小(甚至可以忽略不計)、IOPS高、I/O性能高等特點。因此,SSD可以有效縮短內存與外存之間的存儲鴻溝,計算機系統中原本爲解決I/O性能瓶頸的諸多組件和技術的作用將變得越來越微不足道,甚至最終將被淘汰出局。試想,如果SSD性能達到內存甚至L1/L2 cache,後者的存在還有什麼意義,數據預讀和緩存技術也將不再需要,計算機體系結構也將會隨之發生重大變革。對於存儲系統來說,SSD最大突破是大幅提高了IOPS,摩爾定理的效力再次顯現,通過簡單地用SSD替換傳統磁盤,就可能可以達到和超越綜合運用緩存、預讀、高併發、數據局部性、磁盤調度策略等軟件技術的效用。SSD目前對IOPS要求高的存儲應用最爲有效,主要是大量隨機讀寫應用,這類應用包括互聯網行業和CDN行業的海量小文件存儲與訪問(圖片、網頁)、數據分析與挖掘領域的OLTP等。SSD已經開始被廣泛接受並應用,當前主要的限制因素包括價格、使用壽命、寫性能抖動等。從最近兩年的發展情況來看,這些問題都在不斷地改善和解決,SSD的發展和廣泛應用將勢不可擋。

3、重複數據刪除

 重複數據刪除(Deduplication)是一種目前主流且非常熱門的存儲技術,可對存儲容量進行有效優化。它通過刪除數據集中重複的數據,只保留其中一份,從而消除冗餘數據。這種技術可以很大程度上減少對物理存儲空間的需求,從而滿足日益增長的數據存儲需求。Dedupe技術可以幫助衆多應用降低數據存儲量,節省網絡帶寬,提高存儲效率、減小備份窗口,節省成本。Dedupe技術目前大量應用於數據備份與歸檔系統,因爲對數據進行多次備份後,存在大量重複數據,非常適合這種技術。事實上,dedupe技術可以用於很多場合,包括在線數據、近線數據、離線數據存儲系統,可以在文件系統、卷管理器、NAS、SAN中實施。Dedupe也可以用於數據容災、數據傳輸與同步,作爲一種數據壓縮技術可用於數據打包。爲什麼dedupe技術目前主要應用於數據備份領域,而其他領域應用少呢?這主要由兩方面的原因決定的,一是數據備份應用數據重複率高,非常適合dedupe技術。二是dedupe技術的缺陷,主要是數據安全、性能。dedupe使用hash指紋來識別相同數據,存在產生數據碰撞並破壞數據的可能性。dedupe需要進行數據塊切分、數據塊指紋計算和數據塊檢索,消耗可觀的系統資源,對存儲系統性能產生影響。信息呈現的指數級增長方式給存儲容量帶來巨大的壓力,而dedupe是最爲行之有效的解決方案,因此固然其有一定的不足,它大行其道的技術趨勢無法改變。更低碰撞概率的hash函數、多核、GPU、SSD等,這些技術推動dedupe走向成熟,由作爲一種產品而轉向作爲一種功能,逐漸應用到近線和在線存儲系統。ZFS已經原生地支持dedupe技術,我們相信將會不斷有更多的文件系統、存儲系統支持這一功能。

4、雲存儲

 雲計算無疑是現在最熱門的IT話題,不管是商業噱頭還是IT技術趨勢,它都已經融入了我們每個人工作與生活當中。雲存儲亦然。雲存儲即DaaS(存儲即服務),專注於向用戶提供以互聯網爲基礎的在線存儲服務。它的特點表現爲彈性容量(理論上無限大)、按需付費、易於使用和管理。雲存儲主要涉及分佈式存儲(如分佈式文件系統、IPSAN、數據同步、複製)、數據存儲(如重複數據刪除、數據壓縮、數據編碼)和數據保護(如RAID、CDP、快照、備份與容災)等技術領域。從專業機構的市場分析預測和實際的發展情況來看,雲存儲的發展如火如荼,移動互聯網的迅猛發展也起到了推波助瀾的作用。目前典型的雲存儲服務主要有Amazon S3, Google storage, Microsoft SkyDrive, EMC Atmos/mozy, Dropbox, SugurSync,SyncPlicity, 中國電信e雲, 中國移動139信箱, 世紀互聯有備, 聯想網盤, 金山快盤、數據銀行、新浪微盤、QQ硬盤、360雲盤。私有云存儲目前發展情況不錯,但是公有云存儲發展不順,用戶仍持懷疑和觀望態度。目前影響雲存儲普及應用的主要因素有性能瓶頸、安全性、標準與互操作、訪問與管理、存儲容量和價格。雲存儲終將離我們越來越近,這個趨勢是不無可置疑的,但是終究到底還有多遠?這由這些問題的解決程度決定。雲存儲將從私有云逐漸走向公有云,滿足部分用戶的存儲、共享、同步、訪問、備份需求,但是試圖解決所有的存儲問題也是不現實的,我姑且推測一下,2012年底雲存儲發展將進入一個嶄新的發展階段。

5、SOHO存儲

 SOHO(Small office, home office)存儲即家庭或個人存儲。現代家庭中擁有多臺PC、筆記本電腦、上網本、平板電腦、智能手機,這種情況業已非常普遍,這些設備將組成家庭網絡。SOHO存儲的數據主要來自個人文檔、工作文檔、軟件與程序源碼、電影與音樂、自拍視頻與照片,部分數據需要在不同設備之間共享與同步,重要數據需要備份或者在不同設備之間複製多份,需要在多臺設備之間協同搜索文件,需要多設備共享的存儲空間等等。手機、數碼相機和攝像機的普及和數字化技術的發展,以多媒體存儲爲主的SOHO存儲需求突現。單部高清電影容量可以達到數GB、單張高質量照片體積可達數MB,這些內容的總容量往往能夠達到幾TB甚至數十TB,直連的硬盤無法滿足這種日益增長的存儲需求,用戶面臨的困境是存儲空間似乎永遠不夠用。SOHO存儲目前大致有兩種思路,一是home NAS微型存儲裝置,提供文件級的集中共享存儲空間,並在NAS提供數據備份和複製、數據管理、高級文件檢索、多種數據訪問協議和接口等功能。目前已經有一些存儲廠商推出了此類產品,由於存在硬件設備並且價格低廉,用戶的認可度比較高。二是p2p存儲系統,利用軟件系統將各個設備的存儲空間統一起來,提供一個虛擬的集中共享存儲空間,同樣可以提供home NAS上的所有功能。p2p存儲系統的一個問題是可用性,如果沒有足夠多的設備啓動,這個系統就不能正常工作,而往往家庭中的設備都不會同時啓動,因此可用性很難保證。此外,個人用戶通常不大願意爲軟件系統付費,所以這種思路目前來看是不可行的。SOHO存儲的需求已經初步顯現,還沒有引起存儲廠商的足夠重視,但這塊市場是非常巨大的,未來會不會出現家庭雲存儲呢?大家拭目以待吧。

6、ROBO存儲

 ROBO(Remote office, branch office)存儲即企業遠程或分支機構存儲。大的公司或組織機構會有多個子公司或分支機構組成,物理分佈在世界上不同的城市。互聯網使得世界變得非常平坦,分佈式協作越來越爲重要,我們甚至可以遐想未來很多企業甚至不需要集中的辦公場所,員工在家辦公即可。ROBO存儲正是爲了應對這種基於互聯網的協作式工作模式而產生的。ROBO存儲的需求主要集中在數據同步、共享、分發、協作,傳統的上傳/下載模式文件服務難以滿足這種需求,天然地需要基於互聯網的廣域分佈式文件系統。由於互聯網的低帶寬、高延遲、安全性等因素影響,ROBO存儲面臨巨大的挑戰,像NAS/CIFS/AFS這類系統都無法在互聯網上很好工作。針對ROBO存儲,通常在公司總部部署集中式存儲系統保存所有的數據,在每個子公司部署較小的存儲節點,然後通過高速網絡互聯,並提供高效的數據同步、分發、數據緩存等機制,儘量減少數據通信量以提高性能和實時性。目前ROBO存儲似乎還沒有成熟的解決方案,廣域網分佈式文件系統現在也很少被提及,挑戰性顯而易見,然後,潛在需求是推動技術發展的最好動力,我們有理由相信ROBO存儲終會成爲一種存儲趨勢。

7、語義化檢索

 數據檢索目前主要分爲兩類,一是基於文件名,二是基於文件內容。主流文件系統的數據檢索都是基於文件名進行的,桌面搜索引擎則綜合文件名和文件內容進行檢索,前者遍歷文件系統元數據,後者需要解析文件內容,它們都是通過關鍵字匹配來實現檢索。顯然,這兩類檢索的語義是非常有限的,與人類思維方式有着很大的區別。人類對事物的檢索往往通過事物的屬性以及與其他事物於其的聯繫來實現,例如人肉搜索一個人,我們通過性別、交通工具、外貌等基本特徵以及社會關係來定位,這些都可看作是基於語義的檢索。文件本身就具備許多的屬性,如文件名、大小、創建者、創建日期、文件類型、訪問權限,同時也具有與其他文件的聯繫,如處於相同目錄、相同的所有者、同時被訪問、文件集的組成部分等,此外還可以標註額外的屬性和關係。因此,存儲系統完全可以實現語義化的檢索,通過文件屬性和關係來檢索文件,並用關係網絡(類似社會化網絡)來表示檢索結果。這種方式語義上更加豐富,檢索結果更加精確,也更加符合人類的思維方式。目前存儲方面的語義化檢索產品基本是空白,業界當前主要研究還是集中在基於內容分析的數據檢索,但也有一些先行者在從事這方面的工作,而且語義網的研究成果可以爲此提供許多基礎,比如語義的標識、知識表示以及推理等。面對海量的數據,精確、高效地檢索出自己需要的數據是第一步,語義化檢索符合存儲的技術發展趨勢。

8、存儲智能化

 人工智能是計算機的發展方向,這是個理想而艱鉅的目標。對於存儲系統來說,智能化代表着自動化、自適應、兼容性、自治管理、彈性應用,通過對系統的監控、分析和挖掘來發現數據應用的特點和使用者的行爲模式並動態調整配置,從而達到最佳的運行狀態。存儲智能化可以分別在存儲系統棧中的不同層次實現,包括磁盤、RAID、卷管理器、文件系統、NAS系統、應用系統,從而形成系統的存儲智能化。目前存儲智能化已經有許多應用,例如,自動分級存儲根據數據的訪問頻度在不同存儲層級間流動,數據卷大小自動調整,文件系統根據文件大小採用不同的數據塊大小,數據自動遷移與複製,數據診斷與自動糾錯。存儲智能化整體水平目前還很低,巨大容量、高性能、高可用性、高可靠性、高可擴性、高安全性的存儲系統實現和管理仍然非常艱鉅和複雜。雖然我們已經取得了一定的成果,但離真正的目標差距還很大,存儲學術界和業界都在這此而努力。智慧的存儲,讓數據在整個信息生命週期內有序、高效、自治,存儲效用最大化、簡化管理、減少人工干預,這應該是存儲的大趨勢。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章