移動互聯網、人工智能、5G、IoT等技術的發展，海量的終端催生了越來越高的業務性能需求，越來越多的文件業務場景要求被“加速”，以提供快速響應和高帶寬訪問。HDD存儲設備已無法滿足高IOPS、低延遲的業務需求，越來越多的企業數據中心開始選擇全閃存的解決方案。據Gartner預計，到2020年數據中心50%的機械硬盤存儲將被全閃存存儲取代，應用於新數據時代的諸多業務場景。
01 方案背景
海量小文件難題
大數據、人工智能、物聯網、智慧金融、電子商務、新媒體等應用產生了大量數據，其中小文件數量可以可輕鬆達到千萬甚至十億級別。如淘寶、京東等購物網站的海量產品圖片；微博微信裏用戶上傳的表情、圖片；人工智能領域的人臉識別、安防監控的卡口圖片、金融的影像數據等，這些文件在幾KB至幾百KB不等，數量可達上億級，屬於典型的海量小文件。
海量小文件簡稱LOSF(lots of small file)，業內將大小在1MB以內的文件稱爲小文件，百萬級數量及以上稱爲海量。LOSF讀寫性能低下一直是困擾存儲界的難題，無論是傳統磁盤陣列，還在風頭正勁的分佈式存儲，都無法有效應對海量小文件的I/O壓力。
海量小文件的文件尺寸小，因此多個文件在硬盤上的分佈不連續，物理位置跨度較大；而文件系統的每次文件訪問都會伴隨一定的元數據操作，文件數量越多，元數據訪問壓力越大。因此海量小文件讀寫是併發隨機訪問，資源開銷大，對存儲系統的隨機讀寫性能有極高的要求。而目前的文件系統包括本地文件系統、分佈式文件系統等主要面向傳統場景設計，在元數據管理、數據佈局、緩存策略等方面都側重於大文件，在海量小文件壓力下性能極差，業務訪問時常常出現目錄無法打開、檢索緩慢、響應遲鈍、甚至發熱宕機等情況。
大文件帶寬壓力
一方面，小文件的數量在瘋狂增長，另一方面，大文件的尺寸在快速增加。如像素越來越高的手機照片、動輒幾百GB甚至TB級的4K/8K視頻、精密科研儀器產生的大尺寸素材數據。這些數據不僅僅需要海量的存儲空間，更需要充足的帶寬性能，滿足大量數據在快速查看、編輯、處理、共享等多方面的需求。
以高清非編爲例，它通過多個工作站對於高清視頻素材的編輯與渲染，最終處理生成符合播放要求的視頻文件。無損4K視頻碼率可超過300MB/s，壓縮後仍有500Mb/s的碼率，某些特殊場景因有更高的幀率，碼率更可達到驚人的1.5GB/s。
在10個工作站規模、無損4K素材視頻編輯時，假設每工作站平均編輯5層4K素材，需要的帶寬性能爲300MB/s×5×10=15000MB/s。這對於存儲系統是一個巨大的性能挑戰，SAN文件系統方案架構複雜，且需要很多套光纖陣列支撐；而傳統分佈式存儲需要衆多存儲節點，且網絡延時帶來的抖動也很難滿足視頻渲染的穩定性要求。類似的大文件應用場景，需要更高帶寬、更低延時、簡單經濟的解決方案。
02 FASS文件網關解決方案說明
爲滿足海量小文件高效管理和大文件的高帶寬性能需求，TaoCloud基於FASS分佈式全閃存儲系統，推出了FASS文件網關解決方案。該方案主要採用分佈式全閃存儲架構，通過在資源調度、元數據管理、數據組織、I/O 流程優化等多方面優化，可以有效釋放全閃存介質的性能，實現海量小文件訪問的快速響應；文件網關可以支持多種文件存儲協議，實現便捷的數據共享和強大的帶寬性能。
△FASS文件網關方案拓撲圖
爲保障文件網關的高性能表現，方案採用配備全閃存介質的FASS分佈式全閃存儲集羣作爲存儲底座，FASS使用本地SSD資源創建多個LUN卷，並映射到不同的網關節點。FASS是面向IO密集型應用的高性能塊存儲系統。它採用高性能的全閃存硬件平臺，針對NVMe閃存介質設計了高效的分佈式存儲軟件棧，FASS可將多個節點的SSD資源通過高速以太網或Infiniband網絡組成高性能、高可用、易擴展的塊存儲資源池，並通過iSCSI、iSER、NVMeoF存儲接口對外提供超高性能的存儲服務。隨着業務性能需求的增長，FASS可以通過橫向擴展，輕鬆提升容量與性能。
文件網關相當於IO節點，它們通過高速IP SAN網絡訪問FASS存儲服務，使用iSER協議掛載其LUN資源。每個網關節點以多路徑的形式掛載所有LUN卷，並使用其中某個卷作爲自己的存儲介質資源。各網關節點使用的LUN卷各不相同，可以單獨導出文件服務，或將所有LUN創建存儲資源池，並以CIFS/NFS/S3等協議對外導出，通過10/25/100Gb以太網爲應用提供高性能、易共享、彈性擴展的存儲服務。
網關節點本身即一套高可用集羣，通過LUN多路徑映射以及SAN高可用設計，任何一個網關節點故障後，它的LUN卷會由其他網關節點自動接管，最大允許N-1節點故障，而不影響文件存儲服務的正常使用。
FASS文件網關包含IO鏈路、集羣內部、業務訪問幾層，不同網絡可單獨配置，也可以複用簡化。爲保證方案整體性能，推薦配置10Gbps以上網絡配置。
FASS文件網關可以提供遠高於傳統NAS的文件訪問性能，滿足新興文件應用場景對於高IOPS和帶寬的苛刻要求，參考性能：
03 FASS方案優勢
·優秀的性能表現
FASS網關方案採用share-nothing分佈式集羣架構，可以消除獨立元數據性能瓶頸，支持百億級別文件總數目和千萬級單目錄文件數目。FASS元數據服務基於內存K/V數據庫實現，文件數據與元數據分別存儲和管理，具備優秀的性能擴展能力。通過NVMe盤提供極致I/O性能，結合軟件層的XPE引擎設計、微控制器技術、輕量元數據索引等機制，塊存儲端可達到三節點千萬級IOPS、微秒級延遲；文件存儲性能可達到數十萬OPS、10GB/S級帶寬。
·統一存儲、便捷共享
FASS文件網關方案同時提供高性能塊、文件、對象訪問，如CIFS、NFS、FTP、S3、iSCSI、iSER，可以滿足用戶各類應用的存儲訪問需求。數據庫可以使用iSER高性能塊服務，滿足關鍵業務的性能需求；海量小文件或大文件編輯，可以使用NAS協議或POSIX共享訪問。方案採用透明共享機制，可以讓文件協議和對象協議實現零拷貝數據共享，異構應用可以輕鬆共享彼此寫入的數據，而無需任何拷貝或轉換。。
·高可用、靈活擴展
FASS分佈式全閃存儲系統採用全活高可用架構，可以允許任意節點故障而不中斷塊存儲服務；存儲網關通過多路徑映射加SAN高可用機制，可以允許N-1個網關節點故障。兩者結合，具有極高的業務可用性。
隨着業務的增長，方案可以按需配置相應的集羣規模，以最小的投入滿足業務性能需求。方案前後端相對獨立，用戶可以根據業務對塊存儲和文件/對象存儲的不性能要求，對FASS存儲底座與文件網關可以配置不同的網絡、集羣規模、硬件規格，以經濟靈活的配置，滿足業務的實際資源需求。隨着集羣規模的擴展，文件網關的整體性能呈線性增長。
04 典型業務場景
FASS文件網關解決方案主要面向海量小文件和高業務帶寬需求場景，可以通過標準的NAS或CIFS協議，可以便捷的文件共享和高吞吐帶寬性能。可廣泛應用於AI海量小文件、4K/8K非編、HPC、基因測序、高速數據採集 （雷達、衛星等）等業務場景。
海量小文件
AI人臉識別、大型電商、交通卡口等場景，每天都會產生高級TB量級的小圖片文件，這些數據要求保存一定的週期，到期後需要批量刪除，集中操作往往給存儲系統帶來巨大的壓力。大量的元數據操作導致傳統存儲系統對小文件的刪除、檢索效率極低，讀寫放大明顯，HDD存儲系統難以應對如此龐大的文件數據和隨機訪問壓力，成爲類似應用的最大性能瓶頸。
FASS網關方案採用分佈式輕量級元數據設計，可以支持百億級別文件總數目和千萬級單目錄文件數目。結合軟件層的的多種優化，可以充分發揮NVMe盤的隨機讀寫性能，應對海量小文件的同時刪除或併發隨機訪問壓力。
△FASS文件網關交通卡口海量圖片管理
高清非編
4K/8K不僅給播放設備、網絡帶寬帶來的新的挑戰，給後端的存儲設備更是帶來了性能和容量上的巨大壓力。視頻後期製作通常需要同時編輯多層素材，導致存儲帶寬需求數倍增長；除了極高的帶寬，還要求存儲的訪問延遲較低，不能存在明顯的性能抖動，否則會導致畫面卡頓、丟幀等情況，極大影響編輯人員的工作體驗。隨着業務的增長，視頻素材的累積，工作站所需要的存儲空間也越來越大，存儲設備需要具備強大的擴展能力，以彈性滿足業務發展的需要。
FASS文件網關解決方案可以較低的成本提供非編所需的容量、帶寬與共享特性，解決4K/8K視頻編輯處理面臨的性能難題。
△FASS文件網關4K/8K非編應用
高性能計算
隨着HPC逐漸往大數據、AI等方向融合和演進，對存儲容量、I/O性能、彈性擴展能力提出了更多的要求。多個HPC高工作需要便捷的數據共享，通過文件協議實現高帶寬業務訪問。也對數據提供出了全場景交叉共享，跨業務自由流動的要求。
FASS文件網關支持多種文件存儲協議，高吞吐、可擴展的帶寬表現，可以滿足多個高性能計算節點的並行數據處理要求，並提供原生的數據共享；內置的冷數據歸檔功能，可以將重要的結果數據歸檔至藍光或雲端保存；軟件定義方案，支持主流的服務器硬件平臺，降低用戶建設成本。
△FASS文件網關基因測序HPC應用
（TaoCloud團隊原創）