智能化管理10億文件,G證券是如何做到的?

證券公司每天產生的數據中80%以上是非結構化數據,持續的數據增長,證券服務向智能化、敏捷化、價值化方向發展,對後端存儲提出了挑戰。

1、變革的動力:證券信息化升級

以影像、圖片、掃描件爲主的非結構化數據激增,數據量從TB級向PB級躍進。每年新增大量應用,複雜性增加,海量文件的訪問性能面臨新挑戰。

機構內部業務繁雜,存在數據壁壘,需搭建統一數據平臺,提高跨業務共享效率。技術演進推動應用的容器化部署,這要求存儲吸收容器技術提供持久化存儲服務。利用大數據的價值,借力AI實現業務創新,比如智能運維(AIOps),進一步降本提效也是大勢所趨。如果存儲自身能夠提供AI能力,支撐智能運維,自然是錦上添花。

G證券公司(後文簡稱“G證券”)選擇分佈式存儲,開啓了集約式數字化檔案管理的全新探索。

2、變革迫在眉睫:長期痛點驅使新方案落地

從外部環境來看,2014年以前,證券業客戶檔案都採用營業部分散管理的方式,風險多,一線員工壓力大,掣肘業務開展。從內部需求看,業務數據以小文件爲主,且增速很快;加之“雙錄”規範要求文件保存20年且隨時調閱,存儲性能嚴重不足。

G證券面臨痛點如下:NAS存儲7000萬文件,秒級延時性能差;NAS瓶頸凸顯,擴容困難;多站點管理不便,主備中心難以高效協同;業務高峯期帶寬不足,資源無法合理分配;大文件讀取慢,視頻播放卡頓,用戶體驗差;人工運維效率低,構建智能運維平臺是剛需。這一切促使G證券面向市場尋求新的存儲解決方案。

3、衆多方案角逐:G證券爲何選擇杉巖?

備選方案中,一類是傳統存儲方案,即用高端NAS滿足需求,但未來頻繁擴容以及性能瓶頸依舊令人頭疼;另一類是分佈式存儲方案,其在容量、性能、擴展性等方面具備天然優勢。

針對前述痛點,方案選型需關注:PB級容量,靈活擴容;性能無瓶頸,訪問性能高;運維簡單,效益顯著;測試對接順利,業務上線快;售後及時,提供原廠支持。

競爭者中不乏傳統存儲領域的知名大廠,以及新興存儲領域的創業廠商,杉巖最終憑何贏得G證券認可?

產品及方案完善

杉巖MOS海量對象存儲支撐5億文件毫秒級訪問。獨有的AI處理引擎,幫助優化質檢算法。已接入MOS的業務,無需開發元數據的遷移功能,元數據檢索和主數據讀取均在MOS內部完成,效率顯著提升。

杉巖的三層數據保護方案也讓客戶感到放心:通過副本和糾刪機制,提高數據可靠性;通過內置備份功能,取代外置的備份軟硬件;通過跨數據中心容災,保障業務連續性。

測試結果優異

客戶主要關注MOS能否與現有業務順利對接,以及產品可靠性和穩定性。MOS的S3接口順利通過接口測試,客戶僅用一個小時就完成了單系統對接。近一個月的異常測試,杉巖都順利通過。

實施服務周到

客戶只對原業務進行微小改造,就將原數據無縫遷到MOS。爲不影響證券交易,項目實施都在18:00到第二天06:00進行,服務周到。

4、海量、智能、敏捷,杉巖爲檔案管理提供新選擇

先從檔案中心宏觀架構入手,如圖1所示,MOS將源數據區的數據存下來,並與計算層交互。通過部署同城雙活,實現RPO分鐘級災備。

智能化管理10億文件,G證券是如何做到的?

圖1.G證券檔案中心整體架構

具體到解決方案的實現,如圖2所示。

(1)MOS替代NAS,保障毫秒級訪問;利用小文件合併提升空間利用率;

(2)基於分佈式架構,擴展靈活,容量和性能線性增長;

(3)跨數據中心雙活模式,多數據中心可同時讀寫,保障高連續和高可用;

(4)通過智能QoS合理分配帶寬和優先級,避免資源搶佔;

(5)營業網點通過HTTPS訪問存儲,提升文件讀取效率;

(6)MOS告警信息通過SNMP對接G證券告警管理平臺,實現精細化監管。

智能化管理10億文件,G證券是如何做到的?

圖2. 杉巖解決方案架構

2017年6月,MOS正式上線,部署12臺服務器、4臺交換機及百餘塊硬盤,構建1PB存儲集羣。

業務數據逐步遷移,MOS支撐5億文件毫秒級訪問

經過半年多穩定運行,G證券逐步將一櫃通櫃檯、投研平臺等接入MOS。由於數據增長,原有空間不足,客戶在2019年進行首次擴容。通過新建EC故障域將空間利用率從50%提升到67%,成本效益顯著。

截至2020年3月,存儲集羣裸容量超過800TB,對象總數超過5.6億,每天寫入文件7萬多個,時延低於百毫秒,性能表現讓NAS難以企及。

MOS對接日誌易系統,以智能存儲支撐智能運維

爲構建智能運維(AIOps)平臺,將日誌易系統遷至MOS。基於分佈式架構保障高可用,降低硬件變更的影響;利用MOS特性賦能AIOps,如通過智能QoS實現資源優化;借力AI優化運維策略。

MOS集成智能數據處理引擎,充分釋放數據價值

MOS獨有的智能數據處理引擎,幫助優化質檢算法,釋放數據價值,實現了數據存儲、處理、災備、價值發現的一站式管理,如圖3所示。

智能化管理10億文件,G證券是如何做到的?

圖3. 杉巖解決方案架構

如圖4所示,客戶藉助可視化界面,清晰掌握集羣狀態,方便又省心。

智能化管理10億文件,G證券是如何做到的?

圖4.MOS圖形化管理界面

MOS至今穩定運行2年10個月,未出現任何故障,贏得了客戶讚許。

5、檔案管理能力顯著提升,幫助客戶實現更大價值

MOS幫助G證券構建集中式數字化檔案管理平臺,帶來明顯改觀。客戶可在全國任一網點辦理業務,所有營業部可共享使用數字化檔案,在線查閱和借閱客戶資料更方便。檔案中心可對雙錄視頻進行內容檢查,如人臉是否清晰、有無公司標識,系統審覈不通過再人工複審,效率高。

新方案的經濟效益也十分明顯。MOS每TB的價格相比高端NAS低50%左右,省去文檔格式轉化集羣、水印集羣所需的硬件設施,節約成本近10萬元。

未來的架構演進方向,一是結合MOS的智能數據處理引擎,釋放數據價值。比如:利用AI優化質檢算法;通過格式轉換工具,精簡數據結構,提升數據質量;以AI賦能運維,降本提效。二是擁抱互聯網金融,加速容器部署,提升微服務能力。

G證券檔案管理平臺的成功實踐,驗證了杉巖產品及方案的高品質,也爲今後的行業實踐打下堅實的基礎。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章