Yarn中Resource Manager HA集羣搭建

第一步：在master上打開hadoop的配置文件yarn-site.xml 加入以下內容

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
 </property>


 <property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>rmha</value>
 </property>


 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
 </property>


 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>master</value>
 </property>


 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>slave1</value>
 </property>


 <property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>master:2181,slave1:2181,slave2:2181</value>
 </property>
</configuration>

第二步：在master上打開hadoop的配置文件mapred-site.xml 加入以下內容：

vim mapred-site.xml

設置MR的運行環境爲Yarn

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

</configuration>

第二步：在master上打開hadoop的配置文件yarn-site.xml 加入以下內容：

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

Node Manager不用單獨配置 因爲Node Manager必須與DataNode位於同一臺機器上 根據DataNode就可以知道Node Manager是哪臺機器

第三步：將master上hadoop的配置文件拷貝到slave1 slave2 slave3上

第四步：在master上啓動Yarn：start-yarn.sh

第五步：在slave1上啓動備用的Resource Manager

第六步：通過瀏覽器查看Resource Manager狀態（端口號爲8088）

這裏顯示的就是三臺Node Manager

訪問備用的Resource Manager 會給出提示 並重定向到主Resource Manager的監控頁面

第七步：手動強制殺掉master上的Resource Manager進程 測試slave1是否會自動接管

此時打開slave1的監控頁面 可以直接打開 不會發生重定向 說明slave1已經成功接管