Hadoop之Mapreduce------>Mapreduce原理

Mapruduce工作原理

與hdfs（分佈式文件系統）不同，Mapreduce 是一個分佈式計算模型，如圖

執行步驟：
 1. map任務處理------>切片
1.1 讀取輸入文件內容，解析成key、value對，輸入文件的每一行，就是一個key、value對，對應調用一次map函數。
1.2 寫自己的邏輯，對輸入的key、value（k1,v1）處理，轉換成新的key、value(k2,v2)輸出。

2.reduce任務處理------>計算
（注意）在reduce之前，有一個shuffle的過程對多個map任務的輸出進行合併、排序、分組等操作。
2.1 寫reduce函數自己的邏輯，對輸入的key、value（k2,{v2,...}）處理，轉換成新的key、value(k3,v3)輸出。
2.2 把reduce的輸出保存到文件中。