我的大數據之旅-Hadoop啓動YARN並運行MapReduce-WordCount

目標

（1）配置集羣在YARN上運行MR

（2）啓動、測試集羣

（3）在YARN上運行WordCount案例

---

執行步驟

（1）配置集羣

（a）配置yarn-env.sh

$ vim etc/hadoop/yarn-env.sh

（b）配置etc/hadoop/mapred-site.xml（對mapred-site.xml.template重新命名爲mapred-site.xml）

[fengling@hadoop129 hadoop-2.7.2]$ mv etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

<configuration>
    <!--指定MapReduce jobs運行在YARN上-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

(c) 配置etc/hadoop/yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
        <!-- Reducer獲取數據的方式 -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

        <!-- 指定YARN的ResourceManager的地址 -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop101</value>
        </property>

</configuration>

（2）啓動yarn

[fengling@hadoop129 hadoop-2.7.2]$  sbin/start-yarn.sh
[fengling@hadoop129 hadoop-2.7.2]$ jps
30384 ResourceManager
30518 NodeManager
114859 SecondaryNameNode
114170 DataNode
113999 NameNode
30766 Jps

啓動成功，瀏覽器訪問 http://hadoop129:8088 即可查看web管理界面

（3）在YARN上運行WordCount案例

[fengling@hadoop129 hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/fengling/input/hadoop/ wc_output_20190925

頁面查看運行結果

查看統計結果

[fengling@hadoop129 hadoop-2.7.2]$ bin/hdfs dfs -cat wc_output_20190925/*