第十課記錄 MapReduce編程模型與案例

1) 查詢 hadoop 進程是否啓動

#jps

2) 啓動 hadoop 程序   

#start-all.sh

        (1) 首先啓動 namenode 
        (2) 再啓動 datanode
        (3) 再啓動 secodarynamenode (注意: secodarynamenode與namenode沒有半毛線的關係)

3) 再檢查一下hadoop當前模式是不是安全模式

#hdfs dfsadmin -safemode get 

        輸出結果如: Safe mode is OFF  (因爲Hadoop在安全模式環境下，它是隻讀的)

4) 查看一個hdfs上的文本文件內容,如:

#hdfs dfs -cat /data/data.txt

    
        內容如下:
                I love Beijing
                I love China
                Beijing is the capital of China
 

5) 在此需要用到MapReduce的一個Examples的官方例子來計算data.txt

#cd /root/training/hadoop-2.4.1/share/hadoop/mapreduce
#hadoop jar hadoop-mapreduce-examples-2.4.1.jar

        結果: 爲當前examples的jar包的所有功能支持

#hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount

        結果: Usage: wordcount <in> <out>

#hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /data/data.txt /output/wcdata

        結果: 
                在沒有分區的情況下,默認是1個分區：
                        17/08/30 13:55:12 INFO mapreduce.Job:  map 0% reduce 0%
                        17/08/30 13:55:20 INFO mapreduce.Job:  map 100% reduce 0%
                        17/08/30 13:55:28 INFO mapreduce.Job:  map 100% reduce 100%
                如果有多個分區: 如3個分區 ------> 輸出文件: 3個
                        17/08/30 13:55:12 INFO mapreduce.Job:  map 0% reduce 0%
                                                                                            map 100% reduce 33%
                                                                                            map 100% reduce 67%
                        17/08/30 13:55:28 INFO mapreduce.Job:  map 100% reduce 100%

        此時開始處理數據，可通過YARN平臺來監控運行情況
        http://localhost:8080/cluster

#hdfs dfs -ls /output/1

  結果:
   Found 2 items
   -rw-r--r--   1 root supergroup          0 2017-08-30 13:55 /output/1/_SUCCESS
   -rw-r--r--   1 root supergroup         55 2017-08-30 13:55 /output/1/part-r-00000

#hdfs dfs -cat /output/1/part-r-00000

  結果：特點----->排序 (默認的排序規則: 1、字符串按照字典順序  2、數字升序), 可以自定義排序規則(比較器）
   Beijing 2
   China   2
   I       2
   capital 1
   is      1
   love    2
   of      1

   the     1

6) 重要: WordCount單詞計數數據的流動過程(數據如何被處理的?)

<a.jpg>

  非常重要:  開發一個MR程序的之前，一定一定一定要畫圖，分析數據的流動過程（數據處理的過程)