MapReduce本地模式

---

本地模式方便debug，推薦使用

---

做以下配置是可以在本地正常調試運行，出現問題的話可能是環境配置的問題：

1、替換本地hadoop根目錄下的bin/、lib/，（解壓默認是linux運行環境），替換後如下圖

2、配置環境變量，指定本地hadoop根目錄、bin目錄：

3、在程序中添加一下代碼，更多配置，請查找.xml文件

        // 本地模式：local  ； 提交到yarn上就改爲：yarn
        conf.set("mapreduce.framework.name", "local");
        // 本地模式下，輸入輸出數據在Hdfs上
        conf.set("fs.defaultFS", "hdfs://192.168.217.10:9000/");
        // 本地模式下，輸入輸出數據在本地磁盤
//      conf.set("fs.defaultFS", "file:///");

4、本地模式下，輸入輸出數據在hdfs上需要在run configuration中指定hadoop用戶（見下圖）；若輸入輸出數據在本地不用指定hadoop用戶，但輸入輸出路徑要修改爲本地路徑（如：C:\Users\ZYS\Desktop\flowsum\input）