杉巖海量圖片分佈式存儲解決方案

隨着互聯網、雲計算及大數據等信息技術的發展,越來越多的應用依賴於對海量數據的存儲和處理,如智能監控、電子商務、地理信息等,這些應用都需要對海量圖片的存儲和檢索。由於圖片大多是小文件(80%大小在數MB以內),以GFS、HDFS爲代表的適用於流式訪問大文件的分佈式存儲系統,若直接用來存儲圖片,由於元數據膨脹,在擴展性和性能方面均存在嚴重問題。

爲了解決HDFS在小文件存儲方面的問題,通常的做法是先將很多小文件合併成一個大文件再保存到HDFS,同時爲這些小文件建立索引,以便進行快速存取。典型技術包括Hadoop自帶的Archive、SequenceFile,但均需要用戶自己編寫程序,實現小文件的合併。爲了實現小文件合併對用戶的透明,需從系統層面解決HDFS小文件問題。論文針對具體應用場景進行了探索,但不具有通用性。

SandStone MOS海量圖片解決方案

杉巖海量圖片分佈式存儲解決方案

對於海量圖片數據的存儲問題,杉巖海量對象存儲(SandStone MOS)解決方案採用去中心化分佈式架構,同時利用軟件定義的方式實現了單一名字空間條件下數百PB級規模的容量擴展,業務可以隨時隨地訪問而不受數據存儲位置的限制。

在提升海量小文件訪問性能方面,SandStone MOS利用哈希計算實現了數億級文件的高效訪問。針對文件檢索困難,SandStone MOS支持標籤功能,文件存儲時會自動設置標籤,從而更好地與業務結合,滿足高效檢索。

此外,SandStone MOS在易用性與可維護性方面也超越了同級別產品,其採用“x86通用服務器+存儲軟件”的分佈式解耦架構,將底層存儲空間與上層業務邏輯空間進行分離,軟硬件的升級不會影響到整個系統的正常運行。

即使系統有再多應用更新,也不會影響存儲空間的使用。值得一提的是,SandStone MOS首創的分佈式存儲數據盤漫遊功能,可以幫助企業用戶漸進式的進行老舊硬件設備更換,不影響業務的正常運行。

在對象存儲領域的專注與持續創新,換來的是行業的高度認可。去年8月,杉巖數據成爲首家通過Intel中國雲計算創新中心測試併發布報告的軟件定義存儲廠商。

與此同時,杉巖數據作爲國家信息化標準委員會雲計算標準工作組成員單位及中國開源雲聯盟理事單位,先後參與了分佈式存儲國家標準的制定工作及Ceph行業白皮書的編寫工作。

如今,對象存儲正煥發出更大的生命力,一場存儲革命也已開啓。以杉巖數據爲代表的創新型存儲廠商,正通過不斷深耕對象存儲領域,幫助企業構建更加智慧的IT基礎設施,推動傳統存儲朝着更高效、更集約、更易用的方向全面演進。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章