聊聊什麼是對象存儲?

從來沒接觸過對象存儲的可能有點蒙,對象存儲是啥,使用場景是啥,還有沒有文件系統POSIX哪些接口?

公有云廠商對對象存儲的定義

AWS S3

Amazon Simple Storage Service (Amazon S3) 是一種對象存儲服務,提供行業領先的可擴展性、數據可用性、安全性和性能。這意味着各種規模和行業的客戶都可以使用它來存儲和保護各種用例(如網站、移動應用程序、備份和還原、存檔、企業應用程序、IoT 設備和大數據分析)的任意數量的數據。
AWS

騰訊雲

對象存儲(Cloud Object Storage,COS)是由騰訊雲推出的無目錄層次結構、無數據格式限制,可容納海量數據且支持 HTTP/HTTPS 協議訪問的分佈式存儲服務。
COS

阿里雲

對象存儲服務(Object Storage Service,OSS)是一種海量、安全、低成本、高可靠的雲存儲服務,適合存放任意類型的文件。容量和處理能力彈性擴展,多種存儲類型供選擇,全面優化存儲成本。
OSS

七牛雲

七牛雲海量存儲系統(KODO)是自主研發的非結構化數據存儲管理平臺,支持中心和邊緣存儲。平臺經過多年大規模用戶驗證已躋身先進技術行列,並廣泛應用於海量數據管理的各類場景。
KODO


對象存儲特點

對象存儲是由AWS首先推出的一個存儲產品形態,AWS的S3協議也成爲對象存儲事實標準,各個雲存儲廠商的雲存儲服務協議都兼容S3。從國內外這四個公有云廠商對象存儲的描述,我們就能看出對象存儲的幾個特點:

  1. 海量數據,無論對文件大小,文件數量,都是海量
  2. 無文件系統的目錄結構,採取的是平坦的層次結構
  3. 易擴展,相對低成本

具體更詳細的描述呢,可以網上自我搜索。對象存儲的特點,有沒有一點更形象化的描述呢?下面白話文說下自己的理解:

海量存儲

一般塊存儲來說(公有云形態爲雲盤)體量如果能達到PB級別,我們都覺得挺大了,但是對象存儲的體量,PB就不夠看了,至少都是EB的支持。國內公有云的對象存儲體量基本上EB級別體量(旁白:PB不夠看,EB是常態)。

層次結構

對象存儲是完全不同於文件系統和塊存儲的存儲形態。對外體現的層次概念是:桶(bucket),對象(key),沒有目錄結構。

那麼有些小白可能迷惑了,我在騰訊雲,阿里雲,或者其他的S3客戶端還是能看到對象以目錄層次組織?

其實那個只是一個客戶端的可視化顯示而已,你的key名包含 “/” 的時候,有些會幫你顯示成目錄的樣子,但這個跟對象存儲本身無關(旁白:無目錄,無目錄,無目錄)。也就是說,你存儲對象存儲使用的標識是(bucket,key),下載這個對象存儲也只是使用:(bucket,key),除此之外,無其他標識。

易擴展,低成本

對象存儲對外服務是可以宣稱做到空間無限的,用戶不用擔心空間不夠的問題,你有多少,我就能存多少(旁白:你有多少,我有多大)。

對象存儲產品還可以細分成標準存儲,歸檔存儲,低頻存儲等。不同的產品適用於不同的場景,那麼就允許使用特定的軟硬件方案來限定成本。

  • 比如歸檔存儲,這種存儲很有可能是寫下去1年,都不讀一次的,那麼數據所在磁盤機器平時都可以直接下電的(旁白:其實這個說的簡單,實現起來技術含量是很高的,國內應該還沒有這種配合硬件的真正的歸檔存儲,而只是產品上做個區分,搶佔用戶)
  • 比如數據冗餘除了多副本,可以使用糾刪碼等技術降低數據冗餘度,從而保證相等可靠性的情況相對降低成本(旁白:糾刪碼是個好東西,我們也用這個)

接口協議

對象存儲的事實協議標準是S3,是基於http之上的應用協議,核心接口極其簡單(旁白:之前做塊存儲,剛接觸這個,想“對象存儲寫偏移1M的位置寫數據,怎麼搞?” 後來發現根本就沒有塊存儲對應的“改”的語義)。對象存儲對外只提供兩個抽象概念:桶,對象。這兩個對象有哪些接口,下面列舉最主要的幾個:

桶(bucket)

  • CREATE:創建桶
  • LIST:列舉桶
  • DELETE:刪除桶

對象(object)

  • PUT:上傳對象
  • GET:下載對象
  • DELETE:刪除對象

對象存儲使用場景

  • 基本上互聯網的產品服務都使用了對象存儲;
    • 海量短視頻:比如抖音,快手的音視頻數據就非常適用於對象存儲
    • 靜態網站,圖牀等
  • 大數據,AI數據這些數據也非常適合對象存儲
  • 監控視頻,海量日誌,等歸檔數據,流式數據
  • 國內公有云廠商一般還會添加附加價值,比如多媒體數據處理

後續會對對象存儲的各種公共細節的理解,架構理解,前沿資訊,一些分享。

\color{#ea4335}{堅持思考,方向比努力更重要。}
關注公衆號:奇伢雲存儲

關注我,獲取更多幹貨

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章