一、WordCount的需求
計算每一個單詞出現的次數
二、WordCount的分析
Map
讀取輸入文件內容，解析成key、value對（k1是字節偏移量，v1是一行的文件內容）------>將文件內容轉換成字符串------>
按照空格切分成若干單詞------>遍歷單詞內容，出現一次，記作‘1’，以新的key、value寫出去
Reduce
得到上面傳過來的數據------>定義一個計數器------>遍歷v2集合，計算單詞出現次數------>將結果以新的key、value寫出去
Hadoop之Mapreduce------>入門級程序WordCount原理
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
hadoop核心------>HDFS原理
一 、hdfs體系架構 1.NameNode------>管理節點------>hdfs中老大 （1）維護着整個文件系統的文件目錄樹； （2）維護元數據信息； （3）接收用戶的操作請求