hadoop NameNode和SecondaryNameNode

一、NameNode
Namenode 是 HDFS 的元數據服務器,管理並協調數據節點 Datanode 的工作,其內存中保存整個分佈式文件系統的兩類元數據:
(1)文件系統的名字空間,即系統目錄樹(恢復這個需要FsImages和Edit logs)。
(2)數據塊副本與 Datanode 的映射,即副本的位置。
第(1)類元數據在 Namenode 上定期持久化,保存爲鏡像文件。數據塊副本的位置信息沒有實現持久化,而是在Namenode 啓動時,通過接收 Datanode 的 Blockreport 獲得。
在NameNode重啓時,首先會將磁盤上(存在NameNode的磁盤上)的fsiamge命名空間鏡像文件讀入內存,恢復到某個時間的檢查點,然後再讀取編輯日誌(Edit logs),進行重建(也可以成爲合併)。

二、SecondaryNameNode
SecondaryNameNode定期將Namenode上的fsimage文件和原編輯日誌下載到本地,並在內存中合併,將結果更新到Namenode中,此過程爲hdfs的checkpoint機制。從而減少Edit logs文件數,避免Namenode重啓時重建耗時過長
<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>3600</value>
  <description>SecondaryNameNode進行checkpoint的間隔</description>
</property >
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章