原创 AI + K8S 驅動存儲技術變革

在以容器爲應用運行載體的Kubernetes平臺上,運行AI訓練和推理任務,正逐步成爲AI廠商以及AI應用在企業落地的熱點和首選。這兩年,國內外陸續有相關的研究報告在關注這兩個前沿技術的結合和突破,與之相關的工具和創新型企業也不斷湧現。

原创 開源分佈式文件系統大檢閱

前言 我們的YRCloudFile是一款面向雲時代的分佈式文件系統,它的主要特點是支持海量小文件的高性能數據訪問,對Kubernetes平臺的無縫支持,混合雲場景下的數據支撐。我們在開發YRCloudFile時,也會去了解業界主流的分佈式

原创 微服務實踐 | 焱融雲前端微服務架構的設計要點

什麼是微服務 微服務是一種開發軟件的架構和組織方法,其中軟件由通過明確定義的 API 進行通信的小型獨立服務組成,這些服務由各個小型獨立團隊負責,每個服務可被獨立部署,服務之間是松耦合的,每個服務僅關注於完成一件任務。微服務架構使應用程序

原创 NVMe over TCP高性能文件存儲

你真的懂NVMe嗎? 在說NVMe之前,我們覺得有必要先聊一聊NVM(Non-Volatile Memory),即非易失性內存。從名字上看就知道,NVM是一種類內存式(訪問及尋址方式類似)的設備,它必須具備高速讀寫數據的能力,但它和普通內

原创 如何實現支持百億級文件的分佈式文件存儲

前言 文件系統是最常用的數據存儲形式,所以,常用Linux操作系統的用戶必然知道ext4、xfs等單機文件系統,用Windows操作系統的用戶也都知道NTFS單機文件系統。各種業務場景下,不同的數據都存儲於文件系統之上,大量業務邏輯就是基

原创 存儲讓“想象”勢不可擋

互聯網應用、VR、5G等技術的快速發展,使得媒體和娛樂行業進入蓬勃發展期。尤其是圖像分辨率的提高,4K/8K的內容創作日益普及,存儲需求激增。根據調研機構Coughlin Associates的預測,至2024年,媒體娛樂行業的存儲容量將

原创 「首度揭祕」大規模HPC生產環境 IO 特徵

在王堅博士的《在線》一書中提到,單純談數據的“大”,意義是不大的。歐洲核子研究中心(CERN)進行一次原子對撞產生的數據大到驚人,而如何通過計算的方式去挖掘出這些數據背後的價值,纔是數據意義的本身。HPC高性能計算,就是完成這種價值轉換的

原创 你不知道的SSD那些事

從2005年三星作爲第一個進入SSD市場的巨頭,到現在短短15年,SSD已經成爲非常普遍的存儲介質了,相對於機械硬盤HDD,SSD在IOPS上提升了數百倍,帶寬提升了數倍,如今NVMe硬盤又進一步將普通SATA SSD的性能提升了近十倍。

原创 你瞭解自己的業務IO麼?

我們爲什麼要關注業務的IO行爲,或者IO訪問模型呢?原因很簡單,任何系統都要關注自己服務的對象,存儲系統服務的對象就是上層應用,所以存儲的研發離不開對業務行爲的分析和研究。存儲系統的整體設計和架構,是多種因素綜合權衡的結果。在存儲系統性能

原创 混合雲時代來臨,你的存儲ready了嗎?

2017年,VMware發佈了VMware Cloud on AWS,吹響了私有的基礎架構雲廠商進駐公有云,併爲公有云用戶提供基礎架構服務的號角。這是一個標誌性的事件,一方面,表明公有云基礎架構服務的靈活性、重要性不但被越來越多中小型用戶

原创 AI 場景的存儲優化之路(二)

前言 回顧上一篇《AI 場景的存儲優化之路》中,我們分析了AI場景中分佈式文件存儲面臨三大挑戰:海量文件、小文件訪問性能、目錄熱點,其中對目錄熱點問題做了詳細分析,並介紹了YRCloudFile在該問題上的方案實現。 而文中提到的元數據的