Hadoop-HA高可用

一：HA概述 

1：所謂HA（High Available），即高可用（7*24小時不中斷服務）。

2：實現高可用最關鍵的策略是消除單點故障。HA嚴格來說應該分成各個組件的HA機制：HDFS的HA和YARN的HA。

3：Hadoop2.0之前，在HDFS集羣中NameNode存在單點故障（SPOF）。

4：NameNode主要在以下兩個方面影響HDFS集羣

       NameNode機器發生意外，如宕機，集羣將無法使用，直到管理員重啓

       NameNode機器需要升級，包括軟件、硬件升級，此時集羣也將無法使用。

       HDFS HA功能通過配置Active/Standby兩個NameNodes實現在集羣中對NameNode的熱備來解決上述問題。如果出現故障，如機器崩潰或機器需要升級維護，這時可通過此種方式將NameNode很快的切換到另外一臺機器。

二：HDFS-HA工作機制

通過雙NameNode消除單點故障

1：HDFS-HA工作要點

1.1：元數據管理方式需要改變

內存中各自保存一份元數據；

Edits日誌只有Active狀態的NameNode節點可以做寫操作；

兩個NameNode都可以讀取Edits；

共享的Edits放在一個共享存儲中管理（qjournal和NFS兩個主流實現）；

1.2：需要一個狀態管理功能模塊

       實現了一個zkfailover，常駐在每一個namenode所在的節點，每一個zkfailover負責監控自己所在NameNode節點，利用zk進行狀態標識，當需要進行狀態切換時，由zkfailover來負責切換，切換時需要防止brain split現象的發生。

1.3：必須保證兩個NameNode之間能夠ssh無密碼登錄

1.4：隔離（Fence），即同一時刻僅僅有一個NameNode對外提供服務

2：HDFS-HA自動故障轉移工作機制

       前面學習了使用命令hdfs haadmin -failover手動進行故障轉移，在該模式下，即使現役NameNode已經失效，系統也不會自動從現役NameNode轉移到待機NameNode，下面學習如何配置部署HA自動進行故障轉移。自動故障轉移爲HDFS部署增加了兩個新組件：ZooKeeper和ZKFailoverController（ZKFC）進程，如圖3-20所示。ZooKeeper是維護少量協調數據，通知客戶端這些數據的改變和監視客戶端故障的高可用服務。HA的自動故障轉移依賴於ZooKeeper的以下功能：

（1）：故障檢測：集羣中的每個NameNode在ZooKeeper中維護了一個持久會話，如果機器崩潰，ZooKeeper中的會話將終止，ZooKeeper通知另一個NameNode需要觸發故障轉移。

（2）：現役NameNode選擇：ZooKeeper提供了一個簡單的機制用於唯一的選擇一個節點爲active狀態。如果目前現役NameNode崩潰，另一個節點可能從ZooKeeper獲得特殊的排外鎖以表明它應該成爲現役NameNode。

       ZKFC是自動故障轉移中的另一個新組件，是ZooKeeper的客戶端，也監視和管理NameNode的狀態。每個運行NameNode的主機也運行了一個ZKFC進程，ZKFC負責：

（1）：健康監測：ZKFC使用一個健康檢查命令定期地ping與之在相同主機的NameNode，只要該NameNode及時地回覆健康狀態，ZKFC認爲該節點是健康的。如果該節點崩潰，凍結或進入不健康狀態，健康監測器標識該節點爲非健康的。

（2）：ZooKeeper會話管理：當本地NameNode是健康的，ZKFC保持一個在ZooKeeper中打開的會話。如果本地NameNode處於active狀態，ZKFC也保持一個特殊的znode鎖，該鎖使用了ZooKeeper對短暫節點的支持，如果會話終止，鎖節點將自動刪除。

（3）：基於ZooKeeper的選擇：如果本地NameNode是健康的，且ZKFC發現沒有其它的節點當前持有znode鎖，它將爲自己獲取該鎖。如果成功，則它已經贏得了選擇，並負責運行故障轉移進程以使它的本地NameNode爲Active。故障轉移進程與前面描述的手動故障轉移相似，首先如果必要保護之前的現役NameNode，然後本地NameNode轉換爲Active狀態。

三：HDFS-HA集羣配置

1：環境準備

https://blog.csdn.net/qq_36297434/article/details/87472245

2：規劃集羣

hadoop02	hadoop03	hadoop04
NameNode	NameNode
JournalNode	JournalNode	JournalNode
DataNode	DataNode	DataNode
ZK	ZK	ZK
	ResourceManager
NodeManager	NodeManager	NodeManager

3：配置Zookeeper集羣

3.1：集羣規劃

在hadoop02、hadoop03和hadoop04三個節點上部署Zookeeper。

3.2：解壓安裝

3.2.1：解壓Zookeeper安裝包到/opt/module/目錄下

tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

3.2.2：在/opt/module/zookeeper-3.4.10/這個目錄下創建zkData

mkdir -p zkData

3.2.3：重命名/opt/module/zookeeper-3.4.10/conf這個目錄下的zoo_sample.cfg爲zoo.cfg

mv zoo_sample.cfg zoo.cfg

3.3：配置zoo.cfg文件

3.3.1：具體配置

dataDir=/opt/module/zookeeper-3.4.10/zkData

增加如下配置

#######################cluster##########################
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888
server.4=hadoop04:2888:3888

3.3.2：配置參數解讀

Server.A=B:C:D

A是一個數字，表示這個是第幾號服務器；

B是這個服務器的IP地址；

C是這個服務器與集羣中的Leader服務器交換信息的端口；

D是萬一集羣中的Leader服務器掛了，需要一個端口來重新進行選舉，選出一個新的Leader，而這個端口就是用來執行選舉時服務器相互通信的端口。

集羣模式下配置一個文件myid，這個文件在dataDir目錄下，這個文件裏面有一個數據就是A的值，Zookeeper啓動時讀取此文件，拿到裏面的數據與zoo.cfg裏面的配置信息比較從而判斷到底是哪個server

3.4：集羣操作

3.4.1：在/opt/module/zookeeper-3.4.10/zkData目錄下創建一個myid的文件

touch myid

3.4.2：編輯myid文件

vi myid  
#在文件中添加與server對應的編號：如2

3.4.3：拷貝配置好的zookeeper到其他機器上

scp -r zookeeper-3.4.10/ root@hadoop03:/opt/module/
scp -r zookeeper-3.4.10/ root@hadoop04:/opt/module/

並分別修改myid文件中內容爲3、4

3.4.4：分別啓動zookeeper

bin/zkServer.sh start
bin/zkServer.sh start
bin/zkServer.sh start

3.4.5：查看各個節點的ZooKeeper狀態

bin/zkServer.sh status

4：配置HDFS-HA集羣

4.1：官方地址

http://hadoop.apache.org/

4.2：在opt目錄下創建一個ha文件夾

mkdir ha

4.3：將/opt/app/下的 hadoop-2.7.2拷貝到/opt/ha目錄下

cp -r hadoop-2.7.2/ /opt/ha/

4.4：配置hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

4.5：配置core-site.xml

<configuration>
<!-- 把兩個NameNode）的地址組裝成一個集羣mycluster -->
		<property>
			<name>fs.defaultFS</name>
        	<value>hdfs://mycluster</value>
		</property>

		<!-- 指定hadoop運行時產生文件的存儲目錄 -->
		<property>
			<name>hadoop.tmp.dir</name>
			<value>/opt/ha/hadoop-2.7.2/data/tmp</value>
		</property>
</configuration>

4.6：配置hdfs-site.xml

<configuration>
	<!-- 完全分佈式集羣名稱 -->
	<property>
		<name>dfs.nameservices</name>
		<value>mycluster</value>
	</property>

	<!-- 集羣中NameNode節點都有哪些 -->
	<property>
		<name>dfs.ha.namenodes.mycluster</name>
		<value>nn1,nn2</value>
	</property>

	<!-- nn1的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn1</name>
		<value>hadoop02:9000</value>
	</property>

	<!-- nn2的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn2</name>
		<value>hadoop03:9000</value>
	</property>

	<!-- nn1的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.mycluster.nn1</name>
		<value>hadoop02:50070</value>
	</property>

	<!-- nn2的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.mycluster.nn2</name>
		<value>hadoop03:50070</value>
	</property>

	<!-- 指定NameNode元數據在JournalNode上的存放位置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://hadoop02:8485;hadoop03:8485;hadoop04:8485/mycluster</value>
	</property>

	<!-- 配置隔離機制，即同一時刻只能有一臺服務器對外響應 -->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>

	<!-- 使用隔離機制時需要ssh無祕鑰登錄-->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/atguigu/.ssh/id_rsa</value>
	</property>

	<!-- 聲明journalnode服務器存儲目錄-->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/opt/ha/hadoop-2.7.2/data/jn</value>
	</property>

	<!-- 關閉權限檢查-->
	<property>
		<name>dfs.permissions.enable</name>
		<value>false</value>
	</property>

	<!-- 訪問代理類：client，mycluster，active配置失敗自動切換實現方式-->
	<property>
  		<name>dfs.client.failover.proxy.provider.mycluster</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
</configuration>

4.7：拷貝配置好的hadoop環境到其他節點

scp -r hadoop-2.7.2/ root@hadoop03: /opt/ha/
scp -r hadoop-2.7.2/ root@hadoop04: /opt/ha/

5：啓動HDFS-HA集羣

5.1：在各個JournalNode節點上，輸入以下命令啓動journalnode服務

sbin/hadoop-daemon.sh start journalnode

5.2：在[nn1]上，對其進行格式化，並啓動

bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode

5.3：在[nn2]上，同步nn1的元數據信息

bin/hdfs namenode -bootstrapStandby

5.4：啓動[nn2]

sbin/hadoop-daemon.sh start namenode

5.5：瀏覽器訪問

hadoop02:50070
hadoop03:50070

5.6：在[nn1]上，啓動所有datanode

sbin/hadoop-daemons.sh start datanode

5.7：將[nn1]切換爲Active

bin/hdfs haadmin -transitionToActive nn1

5.8：查看是否Active

bin/hdfs haadmin -getServiceState nn1

6：配置HDFS-HA自動故障轉移

6.1：具體配置

6.1.1：在hdfs-site.xml中增加

<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>

6.1.2：core-site.xml

<property>
	<name>ha.zookeeper.quorum</name>
	<value>hadoop02:2181,hadoop03:2181,hadoop04:2181</value>
</property>

6.1.3：同步配置到其他節點

6.2：啓動

6.2.1：關閉所有HDFS服務

stop-dfs.sh

6.2.2：啓動Zookeeper集羣

bin/zkServer.sh start

6.2.3：初始化HA在Zookeeper中狀態

bin/hdfs zkfc -formatZK

6.2.4：啓動HDFS服務

sbin/start-dfs.sh

6.3：驗證

6.3.1：將Active NameNode進程kill

kill -9 namenode的進程id

6.3.2：將Active NameNode機器斷開網絡

service network stop

四：YARN-HA配置

1：YARN-HA工作機制

1.1：官方文檔

http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html

1.2：YARN-HA工作機制，如圖所示

2：配置YARN-HA集羣

2.1：環境準備

接上

2.2：規劃集羣

hadoop02	hadoop03	hadoop04
NameNode	NameNode
JournalNode	JournalNode	JournalNode
DataNode	DataNode	DataNode
ZK	ZK	ZK
ResourceManager	ResourceManager
NodeManager	NodeManager	NodeManager

3.3：具體配置

3.3.1：yarn-site.xml

<configuration>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!--啓用resourcemanager ha-->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
 
    <!--聲明兩臺resourcemanager的地址-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster-yarn1</value>
    </property>

    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop02</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop03</value>
    </property>
 
    <!--指定zookeeper集羣的地址--> 
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop02:2181,hadoop03:2181,hadoop04:2181</value>
    </property>

    <!--啓用自動恢復--> 
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
 
    <!--指定resourcemanager的狀態信息存儲在zookeeper集羣--> 
    <property>
        <name>yarn.resourcemanager.store.class</name>     <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

</configuration>

3.3.2：同步配置到其他節點

3.4：啓動hdfs

3.4.1：在各個JournalNode節點上，輸入以下命令啓動journalnode服務

sbin/hadoop-daemon.sh start journalnode

3.4.2：在[nn1]上，對其進行格式化，並啓動

bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode

3.4.3：在[nn2]上，同步nn1的元數據信息

bin/hdfs namenode -bootstrapStandby

3.4.4：啓動[nn2]

sbin/hadoop-daemon.sh start namenode

3.4.5：在[nn1]上，啓動所有DataNode

sbin/hadoop-daemons.sh start datanode

3.4.6：將[nn1]切換爲Active

bin/hdfs haadmin -transitionToActive nn1

3.5：啓動YARN

3.5.1：在hadoop02中執行：

sbin/start-yarn.sh

3.5.2：在hadoop03中執行：

sbin/yarn-daemon.sh start resourcemanager

3.5.3：查看服務狀態，如圖3-24所示

bin/yarn rmadmin -getServiceState rm1

3.5.4：瀏覽器訪問

hadoop02:8088