HA高可用集羣搭建
1.總體集羣規劃
在hadoop102、hadoop103和hadoop104三個節點上部署Zookeeper。
| hadoop102 | hadoop103 | hadoop104 |
|---|---|---|
| NameNode | NameNode | |
| JournalNode | JournalNode | JournalNode |
| DataNode | DataNode | DataNode |
| ZK | ZK | ZK |
| ResourceManager | ||
| NodeManager | NodeManager | NodeManager |
2.配置zookeeper集羣
2.1 zookeeper集羣規劃
在hadoop102、hadoop103和hadoop104三個節點上部署Zookeeper。
2.2 解壓安裝
（1）解壓Zookeeper安裝包到/opt/module/目錄下
[simon@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/（2）在/opt/module/zookeeper-3.4.10/這個目錄下創建zkData
mkdir -p zkData（3）重命名/opt/module/zookeeper-3.4.10/conf這個目錄下的zoo_sample.cfg爲zoo.cfg
mv zoo_sample.cfg zoo.cfg2.3 配置zoo.cfg文件
（1）具體配置
dataDir=/opt/module/zookeeper-3.4.10/zkData 增加如下配置
#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888（2）配置參數解讀
Server.A=B:C:D。
A 是一個數字，表示這個是第幾號服務器；
B 是這個服務器的IP地址；
C 是這個服務器與集羣中的Leader服務器交換信息的端口；
D 是萬一集羣中的Leader服務器掛了，需要一個端口來重新進行選舉，選出一個新的Leader，而這個端口就是用來執行選舉時服務器相互通信的端口。
集羣模式下配置一個文件
myid，這個文件在dataDir目錄下，這個文件裏面有一個數據就是A的值，Zookeeper啓動時讀取此文件，拿到裏面的數據與zoo.cfg裏面的配置信息比較從而判斷到底是哪個server。
2.4 集羣操作
（1）在/opt/module/zookeeper-3.4.10/zkData目錄下創建一個myid的文件
touch myid添加myid文件，注意一定要在linux裏面創建，在notepad++裏面很可能亂碼
（2）編輯myid文件
vi myid 在文件中添加與server對應的編號：如2
（3）拷貝配置好的zookeeper到其他機器上
xsync zookeeper-3.4.10 並在其他兩天機器上分別修改myid文件中內容爲3、4
（4）分別啓動zookeeper
[root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh start
[root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh start
[root@hadoop104 zookeeper-3.4.10]# bin/zkServer.sh start（5）查看狀態
[root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
[root@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower3. 配置HDFS-HA集羣
1 .官方地址：http://hadoop.apache.org/
在
/opt/module目錄下創建一個ha文件夾mkdir ha將
/opt/module/下的hadoop-2.7.2拷貝到/opt/moudule/ha目錄下cp -r hadoop-2.7.2/ /opt/moudule/ha配置 Hadoop，先把data logs 刪除掉，將Hadoop還原成純淨狀態
[simon@hadoop104 hadoop-2.7.2]$ rm -rf data logs配置core-site.xml，將之前的給刪除掉，然後新增如下內容
<configuration> <!-- 把兩個NameNode）的地址組裝成一個集羣mycluster --> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property> <!-- 指定hadoop運行時產生文件的存儲目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/ha/hadoop-2.7.2/data/tmp</value> </property> </configuration>配置hdfs-site.xml
<configuration> <!-- 完全分佈式集羣名稱 --> <property> <name>dfs.nameservices</name> <value>mycluster</value> </property> <!-- 集羣中NameNode節點都有哪些 --> <property> <name>dfs.ha.namenodes.mycluster</name> <value>nn1,nn2</value> </property> <!-- nn1的RPC通信地址 --> <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>hadoop102:9000</value> </property> <!-- nn2的RPC通信地址 --> <property> <name>dfs.namenode.rpc-address.mycluster.nn2</name> <value>hadoop103:9000</value> </property> <!-- nn1的http通信地址 --> <property> <name>dfs.namenode.http-address.mycluster.nn1</name> <value>hadoop102:50070</value> </property> <!-- nn2的http通信地址 --> <property> <name>dfs.namenode.http-address.mycluster.nn2</name> <value>hadoop103:50070</value> </property> <!-- 指定NameNode元數據在JournalNode上的存放位置 --> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value> </property> <!-- 配置隔離機制，即同一時刻只能有一臺服務器對外響應 --> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <!-- 使用隔離機制時需要ssh無祕鑰登錄--> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/simon/.ssh/id_rsa</value> </property> <!-- 聲明journalnode服務器存儲目錄--> <property> <name>dfs.journalnode.edits.dir</name> <value>/opt/module/ha/hadoop-2.7.2/data/jn</value> </property> <!-- 關閉權限檢查--> <property> <name>dfs.permissions.enable</name> <value>false</value> </property> <!-- 訪問代理類：client，mycluster，active配置失敗自動切換實現方式--> <property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> </configuration>同步其他機器
[simon@hadoop104 module]$ xsync ha原來啓動新配置的集羣需要格式化，現在元數據存在QJN集羣上所以要啓動集羣
4. 啓動HDFS-HA集羣
啓動JournalNode，
hadoop-daemons三臺一起啓動[simon@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemons.sh start journalnode hadoop104: starting journalnode, logging to /opt/module/ha/hadoop-2.7.2/logs/hadoop-simon-journalnode-hadoop104.out hadoop103: starting journalnode, logging to /opt/module/ha/hadoop-2.7.2/logs/hadoop-simon-journalnode-hadoop103.out hadoop102: starting journalnode, logging to /opt/module/ha/hadoop-2.7.2/logs/hadoop-simon-journalnode-hadoop102.out在[nn1]上，對其進行格式化，並啓動：注意只能格式化一次
[simon@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -format [simon@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode在[nn2]上拉取[nn1]上的數據：
[simon@hadoop103 hadoop-2.7.2]$ bin/hdfs namenode -bootstrapStandby啓動[nn2]namenode
[simon@hadoop103 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode此時在web查看節點信息，可以觀察到兩者都是standBy狀態，這是因爲節點剛啓動的時候爲了防止腦裂（split brain）,都是非工作狀態。如果想用，需要手動將其中國一個變成active狀態。
在[nn1]上，啓動所有datanode
[simon@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemons.sh start datanode將[nn1]切換爲Active
[simon@hadoop102 hadoop-2.7.2]$ bin/hdfs haadmin -transitionToActive nn1查看[nn1]是否爲active
[simon@hadoop102 hadoop-2.7.2]$ bin/hdfs haadmin -getServiceState nn1 active
5. 配置HDFS-HA自動故障轉移
具體配置：① 開啓自動轉移 ； ② 告訴它zookeeper在哪裏
（1）在hdfs-site.xml中增加
<property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> （2）在core-site.xml文件中增加
<property> <name>ha.zookeeper.quorum</name> <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value> </property>刪除掉
data和logs, 因爲元數據不在本機，所以先在[nn1]啓動journalnode, 再格式化namenode[simon@hadoop102 hadoop-2.7.2]$ rm -rf data logs [simon@hadoop102 hadoop-2.7.2]$ xsync etc [simon@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemons.sh start journalnode [simon@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -format啓動HA集羣 :
（1）關閉所有HDFS服務：
sbin/stop-dfs.sh （2）啓動Zookeeper集羣：
[simon@hadoop102 hadoop-2.7.2]$ /opt/module/zookeeper-3.4.10/bin/zkServer.sh start [simon@hadoop103 hadoop-2.7.2]$ /opt/module/zookeeper-3.4.10/bin/zkServer.sh start [simon@hadoop104 hadoop-2.7.2]$ /opt/module/zookeeper-3.4.10/bin/zkServer.sh start （3）初始化HA在Zookeeper中狀態：
[simon@hadoop102 hadoop-2.7.2]$ bin/hdfs zkfc -formatZK （4）[nn1]中啓動HDFS服務：
#nn2同步nn1的數據 [simon@hadoop103 hadoop-2.7.2]$ bin/hdfs namenode -bootstrapStandby [simon@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh #成功的效果 [simon@hadoop102 hadoop-2.7.2]$ jpsall --------------------- hadoop102 ------------------------------- 11776 JournalNode 12513 NameNode 12009 QuorumPeerMain 12973 DFSZKFailoverController 12653 DataNode --------------------- hadoop103 ------------------------------- 28564 DataNode 28950 NameNode 28342 QuorumPeerMain 28138 JournalNode 28699 DFSZKFailoverController --------------------- hadoop104 ------------------------------- 34160 JournalNode 34369 QuorumPeerMain 34504 DataNode