hadoop僞分佈式運行模式---啓動YARN並運行MapReduce程序

配置集羣

  1. 配置yarn-env.sh
    配置一下JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
  1. 配置yarn-site.xml
<!-- Reducer獲取數據的方式 -->
<property>
 		<name>yarn.nodemanager.aux-services</name>
 		<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>
  1. 配置:mapred-env.sh
    配置一下JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
  1. 配置: (對mapred-site.xml.template重新命名爲) mapred-site.xml
[[email protected] hadoop]$ mv mapred-site.xml.template mapred-site.xml
[[email protected] hadoop]$ vi mapred-site.xml
<!-- 指定MR運行在YARN上 -->
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>

啓動集羣

  1. 啓動前必須保證NameNode和DataNode已經啓動
  2. 啓動ResourceManager
[[email protected] hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
  1. 啓動NodeManager
[[email protected] hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

集羣操作

  1. YARN的瀏覽器頁面查看 http://hadoop101:8088/cluster
  2. 刪除文件系統上的output文件
[[email protected] hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/liujh/output
  1. 執行MapReduce程序
[[email protected] hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/liujh/input  /user/liujh/output
  1. 查看運行結果
[[email protected] hadoop-2.7.2]$ bin/hdfs dfs -cat /user/liujh/output/*

關注微信公衆號
簡書:https://www.jianshu.com/u/0278602aea1d
CSDN:https://blog.csdn.net/u012387141
特別感謝:尚硅谷教育

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章