hadoop map reduce 跑個案例 挖坑二

先啓動機器
切換到hadoop目錄下

啓動成功後

查看端口
這裏要主要 我是雲服務器 的話 要把 端口打開 （如果要訪問）

在你的雲上 輸入外網ip 然後 和你的 運行端口後
先 配置你的hosts文件

nn: core-site.xml
<configuration>
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop001:9000</value>
   </property>
</configuration>
snn:
<property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>hadoop001:50090</value>
</property>
<property>
             <name>dfs.namenode.secondary.https-address</name>
            <value>hadoop001:50091</value>
</property>

現在 nn 和snn 都配置好了

可以啓動了

如何用 jps
上一篇 博客說過了
jps後 可以看端口號
這裏要注意的是 經常所在的用戶查看 如果不是經常所在的用戶 會顯示
process information unavailable
但是 這個進程是不是真的運行着 不行用jps 還是要用 netstat -nlp|grep
現在 配置 pid存儲 目錄

生產上，pid目錄放/tmp真的合適嗎 ？ 這個是個面試題目
因爲 /tmp裏面 默認 會30天刪除 所以 自己創建一個
mkdir -p /data/tmp
chmod -R 777 /data/tmp
但是如果是CDH 就不用關心

用mapreduce 做個 wc案例 最經典的一個例子
首先 先配置 map reduce
etc/hadoop/mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

然後啓動

 sbin/start-yarn.sh

jps 查看一下啓動
ResourceManager rm 資源管理者
NodeManager nm 節點管理者

下一步 找到 example 這個文件例子 用模糊搜索

find ./ -name '*example*.jar'

要熟悉

bin/hdfs dfs 命令

創建2個文件 文件裏 有單詞 隨意 單詞
1.log
2.log
然後 mkdir 一個hdfs 存儲文件
然後將文件移動到新建的hdfs 文件裏
最後登入 雲外ip +端口 查看log日誌