HDFS的HA集羣原理分析

1.簡單hdfs集羣中存在的問題

• 不能存在兩個NameNode
• 單節點問題   單節點故障轉移

2.解決單節點問題

• 找額外一個NameNode備份原有的數據 會出現腦裂http://www.daiqiyang.com
• 腦裂：一個集羣中多個管理者數據不一致 這種情況稱之爲腦裂

3.如何解決啓動多個NameNode時保證同一時刻只有一個NameNode工作 避免腦裂發生

　　QJM 使用Zookeeper完成高可用

        

 

 

 4.面試問題

在HA集羣中 如果zk與NameNode(active) 出現網絡延遲這種情況時，zk會自動切換NameNode(standy) 爲活躍節點 這個時候集羣中就出現了多個NameNode active  進而出現腦裂問題http://www.scask.cn

Journal Node可以解決腦裂問題  它有兩個作用：

1. 1. 負責NameNode中edits同步
   2. 隔離機制 保證在這一時刻只能有一個NameNode active 使用ssh登錄到NameNode節點上使用kill命令殺死NameNode