歡迎大家前往騰訊雲社區，獲取更多騰訊海量技術實踐乾貨哦~
作者：騰訊雲存儲產品中心 雷偉
前言
騰訊雲存儲服務，從開放至今，已支撐EB級存儲規模。面對存儲規模快速增長、應用數據多樣化等挑戰如何應對？大數據AI如火如荼，用戶對數據存儲的訴求從基本的穩定性、可靠性、性能到現在又發生了怎樣的變化？對於未來，雲存儲服務又會爲用戶帶來哪些新的機遇，和大家一起分享和探討。
騰訊雲存儲的發展離不開每一個互聯網用戶的支持。已成必需品的微信、便利出行的滴滴、放鬆心情的QQ音樂，休閒時刻的騰訊視頻等等，這些應用的極致服務背後都離不開騰訊雲存儲的支撐。
早在2006年，騰訊分佈式存儲系統平臺TFS，就開始爲騰訊集團所有的業務提供數據存儲的服務。至2015年，規模已達EB級、用戶數已達數十億級別。TFS服務的對外開放，也就是今天大家熟知的騰訊雲存儲。
雲存儲的發展歷程
雖然騰訊雲存儲對外提供服務時，已歷經數十億用戶訪問高併發、規模海量、業務多樣化的考驗，但不同的時代對雲存儲的訴求會有所不同。
2013年左右，國內最初使用雲存儲的用戶較多是用於網站的靜態數據存放和加速，如網站的圖片、視頻存儲等。這個階段可以理解爲是基礎的將數據存儲並訪問的訴求，故稱爲“數據訪問”時代。
到2015年左右，隨着基礎設施的逐漸成熟，如4G網絡的普及、智能手機高清攝像頭的普遍、互聯網社交及便利的手機支持方式帶動了視頻直播、視頻點播的高速發展。雲存儲中的視頻、圖片比重逐步增長，爲便於適配多樣化的終端設備，圖片需要裁剪、視頻需要轉碼。自然而然，雲存儲也提供了這些通用服務。我們稱其爲“數據處理”時代。
近兩年來，互聯網的發展引發數據量的暴漲，也引發了大家對數據價值的探索和思考，大數據框架和生態工具的逐步成熟也讓這一探索變得逐漸清晰。精準營銷，風險控制，用戶行爲分析等等，這些都對存儲提出了新的挑戰，與大數據、機器學習框架是否能無縫對接，分析後的數據逐漸增長但很少使用，是否可以降低存儲成本。稱爲“數據激活”時代。
數據訪問時代
數據訪問時代，騰訊雲的CDN+雲存儲是一組完美搭檔，CDN提供高速訪問服務，存儲作爲源站，便於中心層節點未命中時，可以快速從源站拉取數據。即使在CDN回源率較高的情況下，也能支撐住大量的併發訪問。
對於用戶已有源站的情況下，如何將源站內容快速遷移到雲存儲，也應生出“回源設置”的功能。即當發現數據在雲存儲缺失時，返回HTTP狀態碼302重定向到源站，同時，將源站數據拷貝雲存儲中。這樣也保證有效數據的遷移，並降低數據存儲成本，實現快速高效的數據遷移。
數據處理時代
數據處理時代，爲了適配不同的使用場景，大量的視頻和圖片需要進行視頻轉碼、圖片縮放、裁剪等，將這些常用功能可以直接在雲端完成，可以減少用戶的計算成本，降低下載視頻和圖片的帶寬成本。爲此，騰訊雲也及時推出萬象優圖和視頻處理服務，可以支持豐富的圖片和視頻處理功能，如圖片壓縮編輯及智能裁剪，視頻多轉碼格式及水印設置等，並能方便的和雲存儲進行對接。
數據激活時代
數據激活時代，常見的場景有各垂直行業對日誌的大數據分析，對視頻監控和社交圖片/視頻的識別和分析等。以大數據分析的場景爲例，除了雲存儲需要能和大數據框架無縫對接。很重要但也容易被忽視的一點是，已有數據的遷移上雲。
不同用戶的網絡環境和數據規模有所差異，所以也有着不同的訴求。對於已和雲機房有專線或數據規模大且希望快速上雲的客戶，可以通過專線+遷移工具的方式，直接從HDFS中遷移；對於網絡環境有限的客戶，可以通過提供的專有物理遷移設備進行數據搬遷上雲；對於數據量較小的客戶，也可以通過現有網絡環境+遷移工具的方式直接上雲。針對客戶的場景，騰訊雲提供了豐富的線上工具和線下設備遷移的方式。
對於常見的大數據分析場景，騰訊雲存儲提供了多種方式，基於文件存儲CFS的實時分析，或基於對象存儲COS的離線分析，對象存儲COS提供了對接hadoop的插件，通過此插件，hadoop框架可以直接使用雲存儲。
微信存儲使用案例
不同時代對雲存儲的訴求，促進了騰訊雲存儲的不斷髮展，包括在高可靠性、高性能、更豐富的功能、更完善的方案。但如何能讓應用和存儲完美結合，僅從存儲端着手，是遠遠不夠的。以微信的場景爲例：
首先，是性能問題。如何支撐近10億的活躍用戶的消息、圖片、視頻的頻繁發送與接送。當網絡環境發生改變時，從移動網絡到無線，多運營商之間切換時，怎麼保證信息和文件傳輸暢通。在發送端，微信通過斷點續傳、結合雲存儲的分片上傳等來保障性能和完整性，並通過預分發的機制來保證接收性能。
其次，是可靠性。除了副本策略，數據還通過多地備份異地容災來保障數據的高可靠和服務的高可用性。
另外，成本非常關鍵，也是個永無止境的話題。從數據存儲之前的圖片/視頻壓縮、到存儲引擎層的冷熱數據分離、到硬件層的高密度設備引入。
其中，值得一提的是，由騰訊音視頻實驗室自研的TPG圖片壓縮格式，壓縮效率比WebP還要高出25%，目前在手Q、微信H5頁面、QQ空間、騰訊視頻等應用中已經廣泛使用，併爲QQ空間相冊業務節省了40%的流量成本。同時，TPG也將會在近期內通過騰訊雲的萬象優圖、CDN對外提供服務。
這些爲微信服務的雲存儲能力，現已通過騰訊雲存儲一一對外開放：如用於提高可靠性的多版本管理及跨區域複製；提升性能的分片上傳；降低成本的生命週期管理、多種存儲類別（熱冷存儲與歸檔存儲）；保障安全的密鑰鑑權、數據加密服務等。
總結
存儲作爲基礎平臺核心的一部分，爲應用而服務。除了需要自身具備穩定、可靠、高性能的基礎能力，更是需要結合應用的場景和特性來豐富功能和完善細節。
所幸的是，騰訊雲存儲基於自身對應用的深入理解，爲方便用戶更好的使用，已針對各種場景推出完整的方案： 如智能安防監控方案、大數據方案、企業雲盤方案、混合雲存儲方案、數據備份方案、視頻直播點播方案、醫療影像雲存儲方案、廣電非編媒資方案等。
推薦閱讀
此文已由作者授權騰訊雲技術社區發佈，轉載請註明文章出處