Hadoop2.5.2 HA高可靠性集羣搭建(Hadoop+Zookeeper)

一.概述

1.1 hadoop1.0的單點問題

Hadoop中的NameNode好比是人的心臟,非常重要,絕對不可以停止工作。在hadoop1時代,只有一個NameNode。如果該NameNode數據丟失或者不能工作,那麼整個集羣就不能恢復了。這是hadoop1中的單點問題,也是hadoop1不可靠的表現。如下圖所示,便是hadoop1.0的架構下載地址  


Hadoop2.5.2 HA高可靠性集羣搭建(Hadoop+Zookeeper)

1.2 hadoop2.0對hadoop1.0單點問題的解決

爲了解決hadoop1中的單點問題,在hadoop2中新的NameNode不再是隻有一個,可以有多個(目前只支持2個)。每一個都有相同的職能。一個是active狀態的,一個是standby狀態的。當集羣運行時,只有active狀態的NameNode是正常工作的,standby狀態的NameNode是處於待命狀態的,時刻同步active狀態NameNode的數據。一旦active狀態的NameNode不能工作,通過手工或者自動切換,standby狀態的NameNode就可以轉變爲active狀態的,就可以繼續工作了。這就是高可靠。

 

1.3 使用JournalNode實現NameNode(Active和Standby)數據的共享

Hadoop2.0中,2個NameNode的數據其實是實時共享的。新HDFS採用了一種共享機制,Quorum Journal Node(JournalNode)集羣或者Nnetwork File System(NFS)進行共享。NFS是操作系統層面的,JournalNode是hadoop層面的,我們這裏使用JournalNode集羣進行數據共享(這也是主流的做法)。如下圖所示,便是JournalNode的架構圖。


Hadoop2.5.2 HA高可靠性集羣搭建(Hadoop+Zookeeper)
兩個NameNode爲了數據同步,會通過一組稱作JournalNodes的獨立進程進行相互通信。當active狀態的NameNode的命名空間有任何修改時,會告知大部分的JournalNodes進程。standby狀態的NameNode有能力讀取JNs中的變更信息,並且一直監控edit log的變化,把變化應用於自己的命名空間。standby可以確保在集羣出錯時,命名空間狀態已經完全同步了

 

1.4 NameNode之間的故障切換

對於HA集羣而言,確保同一時刻只有一個NameNode處於active狀態是至關重要的。否則,兩個NameNode的數據狀態就會產生分歧,可能丟失數據,或者產生錯誤的結果。爲了保證這點,這就需要利用使用ZooKeeper了。首先HDFS集羣中的兩個NameNode都在ZooKeeper中註冊,當active狀態的NameNode出故障時,ZooKeeper能檢測到這種情況,它就會自動把standby狀態的NameNode切換爲active狀態。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章