深入淺出分佈式文件存儲系統之 Ceph 的實現

  深入淺出分佈式文件存儲系統之 Ceph 的實現

  一、何爲分佈式文件文件系統

  分佈式文件系統(Distributed File System)是指文件系統管理的物理存儲資源不一定直接連接在本地節點上,而是通過計算機網絡與節點相連,它的設計是基於客戶端/服務器模式。

  如上圖所示,應用服務器和文件服務器分別存在於網絡當中,而這裏的網絡,可以是統一子網,也可以是不同子網。服務器對文件的存取,均在網絡進行,這樣就可以突破常用存儲設備的容量限制。

  二、常用分佈式文件系統的介紹

  1、Lustre

  lustre是一個大規模的、安全可靠的,具備高可用性的集羣文件系統,它是由SUN公司開發和維護。該項目主要的目的就是開發下一代的集羣文件系統,可以支持超過10000個節點,數以PB的數量存儲系統。

  2、Hadoop

  hadoop不僅僅是一個用於存儲的分佈式文件系統,而其設計更是用來在由通用計算設備組成的大型集羣上執行分佈式應用的框架。目前主要應用於大數據、區塊鏈等領域。

  3、FastDFS

  FastDFS是一個開源的分佈式文件系統,它對文件進行管理,功能包括:文件存儲、文件同步、文件訪問(文件上傳、文件下載)等,解決了大容量存儲和負載均衡的問題。特別適合以文件爲載體的在線服務, 如相冊網站,視頻網站等等。

  4、Ceph

  Ceph是一個具有高擴展、高可用、高性能、可以提供對象存儲、塊存儲、文件存儲的分佈式文件系統,它可以提供 PD 級別的存儲空間,理論上說,是無上限的。

  三、Ceph 介紹

  Ceph是一個具有高擴展、高可用、高性能的分佈式存儲系統,根據場景劃分可以將Ceph分爲對象存儲、塊設備存儲和文件系統服務。在虛擬化領域裏,比較常用到的是Ceph的塊設備存儲,比如在OpenStack項目裏,Ceph的塊設備存儲可以對接OpenStack的cinder後端存儲、Glance的鏡像存儲和虛擬機的數據存儲。比較直觀的是Ceph集羣可以提供一個raw格式的塊存儲來作爲虛擬機實例的硬盤。

  Ceph相比其它存儲的優勢點在於它不單單是存儲,同時還充分利用了存儲節點上的計算能力,在存儲每一個數據時,都會通過計算得出該數據存儲的位置,儘量將數據分佈均衡。同時由於Ceph本身的良好設計,採用了CRUSH算法、HASH環等方法,使得它不存在傳統的單點故障的問題,且隨着規模的擴大性能並不會受到影響。

  四、Ceph 構成

  Ceph的核心構成包括:Ceph OSD(對象存出設備)、Ceph Monitor(監視器) 、Ceph MSD(元數據服務器)、Object、PG、RADOS、Libradio、CRUSH、RDB、RGW、CephFS

  OSD:全稱 Object Storage Device,真正存儲數據的組件,一般來說每塊參與存儲的磁盤都需要一個 OSD 進程,如果一臺服務器上又 10 塊硬盤,那麼該服務器上就會有 10 個 OSD 進程。

  MON:MON通過保存一系列集羣狀態 map 來監視集羣的組件,使用 map 保存集羣的狀態,爲了防止單點故障,因此 monitor 的服務器需要奇數臺(大於等於 3 臺),如果出現意見分歧,採用投票機制,少數服從多數。

  MDS:全稱 Ceph Metadata Server,元數據服務器,只有 Ceph FS 需要它。

  Object:Ceph 最底層的存儲單元是 Object 對象,每個 Object 包含元數據和原始數據。

  PG:全稱 Placement Grouops,是一個邏輯的概念,一個PG包含多個OSD。引入PG這一層其實是爲了更好的分配數據和定位數據。

  RADOS:全稱Reliable Autonomic Distributed Object Store,是Ceph集羣的精華,可靠自主分佈式對象存儲,它是 Ceph 存儲的基礎,保證一切都以對象形式存儲。

  Libradio:Librados是Rados提供庫,因爲RADOS是協議很難直接訪問,因此上層的RBD、RGW和CephFS都是通過librados訪問的,目前僅提供PHP、Ruby、Java、Python、C和C++支持。

  CRUSH:是Ceph使用的數據分佈算法,類似一致性哈希,讓數據分配到預期的地方。

  RBD:全稱 RADOS block device,它是 RADOS 塊設備,對外提供塊存儲服務。

  RGW:全稱 RADOS gateway,RADOS網關,提供對象存儲,接口與 S3 和 Swift 兼容。

  CephFS:提供文件系統級別的存儲。
瀋陽包皮醫院××× http://www.25259999.com/
 瀋陽×××醫院哪家比較好 http://www.024sysdnk.com/
 瀋陽那家醫院看×××比較好 http://www.sysdnk.com/

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章