圖片處理能力提升50%,杉巖智能存儲是如何做到的?

一提到對象存儲,大家多半會聯想到“存儲海量文件”。但隨着近幾年大數據、雲計算等應用場景的廣泛部署,客戶對業務的敏捷性要求越來越高,儘可能地精簡業務處理流程、提高業務處理效率變得更加重要。面對這些需求變化,身處幕後的存儲設備已經不能僅僅侷限於“存儲”這個基本要求。一些領先的對象存儲廠商已經開始思考,如何將原本外置的業務處理能力集成到存儲上來,讓存儲做“更多事情”,結合業務需求來賦能應用,幫助客戶實現更大價值。

爲了滿足部分客戶在海量圖片處理場景下對業務敏捷性和處理效率的要求,SandStone MOS在V5.4版本中新增圖片處理功能,使圖片處理的全業務流程均在對象存儲內部完成,讓流程處理從“繁瑣低效”走向“簡潔高效”。本文即對該特性進行專題解讀。

一、圖片處理業務導致海量數據高吞吐

隨着各類企業文檔、圖片和音視頻等非結構化文件的數量逐步從千萬級快速增長至數億級別,並呈現持續的指數級爆炸式增長,分佈式對象存儲已逐步替代傳統NAS存儲,成爲當今企業內非結構化數據存儲的標配。非結構化數據(尤其是圖片文件),通常與企業的業務流程緊密相關。比如銀行的購房貸款審批業務,購房者提交的申請材料通常包含身份證、戶口本、個人收入證明及購房合同等各類文件的掃描件,並以圖片的形式長期存檔。整個審批流程包含了對圖片的各種處理需求,比如通過縮略圖來提高瀏覽效率、通過打水印以便於追溯圖片來源,以及通過調整圖片尺寸來適配不同客戶端顯示規格等。若要滿足客戶對圖片存儲、提取、處理這一系列需求,目前普通的對象存儲系統是如何實現的呢?

圖片處理能力提升50%,杉巖智能存儲是如何做到的?

圖1.基於普通對象存儲的圖片處理業務架構

如圖1所示,普通的對象存儲系統僅提供圖片文件的存儲服務,當業務系統需要獲取處理後的圖片(如縮略圖)時,大致需要經歷以下4個步驟:

  1. 業務應用向對象存儲發送讀取原始圖片的請求

  2. 業務應用下載原始圖片到業務服務器

  3. 業務應用上傳原始圖片到圖片處理系統以請求縮略圖

  4. 業務應用獲取圖片處理系統返回的原始圖片的縮略圖

顯而易見,整個過程中存儲系統和圖片處理系統要進行頻繁交互。當業務實際上線運行後,由於原始圖片一般爲高分辨率、高清晰度的大文件,上述步驟2和步驟3通常會給業務網絡帶來巨大的流量壓力,佔用大量的網絡帶寬;另外因爲流程步驟較多,這也會增加系統響應時間,導致客戶訪問體驗很差。

如上所述,對象存儲系統與圖片處理系統各自獨立,前者只負責“存”,後者只負責“處理”,而且中間的“提取”過程效率低下。對用戶而言,這顯然不是最佳的解決方案。

杉岩基於多年行業實踐,準確地捕捉到了這一長期存在的痛點,並提出了針對性的解決方法。

圖片處理能力提升50%,杉巖智能存儲是如何做到的?

圖2.基於SandStone MOS的圖片處理業務架構

如圖2所示,SandStone MOS通過在對象存儲系統內部集成圖片處理功能,省去了圖片處理過程中將原始圖片在業務網絡上來回拷貝的過程。這樣做的好處是:既免除了對業務網絡的帶寬壓力、提升了系統響應速度和交互體驗;還能夠充分發揮存儲節點富餘的CPU資源的計算能力,確保存儲性能的高效利用。

二、集成圖片處理能力,提升存儲智能化

既然瞭解了SandStone MOS在圖像處理方面的獨到之處,那麼,它是如何實現的呢?

圖片處理能力提升50%,杉巖智能存儲是如何做到的?

圖3.SandStone MOS圖片處理業務架構的實現方式

如圖3所示,SandStone MOS存儲系統最底層爲通用的服務器硬件,OSD負責管理服務器上的每個存儲硬盤,對象存儲網關負責S3對象存儲接口的邏輯封裝以及與OSD的數據進行讀寫交互,負載均衡器負責實現業務讀寫請求在多個對象存儲網關間的負載均衡路由及高可用。

當業務應用經過S3 SDK發送讀寫請求到負載均衡器時,負載均衡器根據指定的路由算法(如輪詢)將請求分配到對應的對象存儲網關,對象存儲網關再與OSD交互完成數據的讀寫。

此外,SandStone MOS的對象存儲網關模塊除了提供S3對象訪問協議,還支持常用的圖片處理功能,主要包括圖片轉碼、圖片壓縮、縮略圖及圖片文字水印,具體規格如下。

  1. 圖片轉碼接口支持將圖片轉換成JPG、PNG、BMP、WEBP、GIF、TIFF等格式

  2. 圖片壓縮接口支持 JPEG、PNG 格式。瘦身後畫質不變,分辨率不變,格式不變,文件體積大幅縮小

  3. 縮略圖接口支持圖片格式轉換、縮略、剪裁功能。只需要填寫幾個參數,即可對圖片進行縮略操作,生成各種縮略圖,接口可支持處理的原圖片格式包括:PSD、JPG、PNG、BMP、WEBP、GIF、TIFF

  4. 文字水印接口支持圖片類型包括:JPEG、PNG、PSD、GIF、TIFF、BMP

當對象存儲系統集成了圖片處理功能後,業務應用通過標準的S3訪問入口,即可完成圖片的存儲和處理過程,業務應用只需要在原有的S3讀取接口增加相應的圖片處理參數,就能獲取處理後的圖片。

三、媒體處理能力提升50%,幫助客戶提升效益

簡化業務架構,降低硬件成本

在普通對象存儲的業務架構中,因爲對象存儲自身不支持圖片處理功能,圖片的存儲和處理分別需要訪問對象存儲服務地址和圖片服務地址,這導致業務邏輯需要針對兩套系統做複雜的邏輯處理,業務處理的效率低下。通過使用SandStone MOS分佈式對象存儲系統,業務應用只需要維護一個訪問地址和SDK就可以,整體架構得到了極大的簡化,有效精簡了IT設備,降低硬件成本。

釋放網絡帶寬壓力,保障性能穩定

SandStone MOS通過在對象存儲系統內部集成圖片處理功能,省去了圖片處理過程中需要將原始圖片在業務網絡上來回拷貝的過程,減少了業務網絡的帶寬壓力,避免了由於帶寬擠佔導致其他業務系統訪問卡頓甚至癱瘓的風險,有效保障性能的持續穩定。

極大縮短圖片處理請求時間,讓業務更敏捷

由於避免了跨業務網絡訪問,即省去了原始圖片在存儲系統和圖片處理系統間的交互過程,圖片在SandStone MOS內部可就近完成處理任務。對比普通對象存儲的方案,在相同算力的前提下,SandStone MOS的圖片處理整體效率可以提升高達50%以上,極大的保障了業務敏捷性,幫助客戶從容應對海量圖片場景下的快速處理需求。

充分發揮富餘CPU算力,提高硬件利用率

一般在業務壓力比較低的場景下,或是出於對存儲系統擴展性規劃的考慮,服務器硬件的CPU資源利用率通常只有20%-30%左右,SandStone MOS的圖片處理業務架構不僅可以減少跨網絡的數據拷貝,提升圖片處理效率,還能夠充分發揮存儲節點上富餘CPU資源的計算能力,確保多業務場景下有充足的算力保障。

SandStone MOS通過集成圖片處理功能,在便捷存儲海量文件的同時,讓圖片處理的全業務流程在對象存儲內部完成,避免了傳統方案中存儲與圖片處理系統的頻繁交互,不僅能很好地完成“存儲”這一基本要求,還能結合場景需求,在存儲內部高效完成圖片處理過程,幫助用戶實現更大價值。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章