一.Hadoop簡介
1.Hadoop簡介
1）Hadoop是一個由Apache基金會所開發的分佈式系統基礎架構。
用戶可以在不瞭解分佈式底層細節的情況下，開發分佈式程序。充分利用集羣的威力進行高速運算和存儲。
Hadoop是開源的高可靠、可擴展的分佈式的軟件框架。
2）Hadoop組成
（1）MapReduce------計算
（2）Yarn------------------資源調度
（3）HDFS---------------數據存儲
（4）Common-----------輔助工具
HDFS架構
1）NameNode（nn）：存儲文件的元數據，如文件名，文件目錄結構，文件屬性（生成時間，副本數，文件權限），以及每個文件的塊列表和塊所在的DataNode等。
2）DataNode（dn）：在本地文件系統存儲文件塊數據，以及塊數據的校驗
3）Secondary NameNode（2nn）：用來監控HDFS狀態的輔助後臺程序，每隔一段時間獲取HDFS元數據的快照
Yarn架構
1）ResourceManager（RM） 處理客戶端請求
監控NodeManager 啓動或監控
ApplicationMaster 資源分配與調度
2）NodeManager（NM） 管理單個節點上的資源 處理來自ResourceManager的命令 處理來自ApplicationMaster的命令
3）ApplicationMaster（AM） 負責數據切分 爲應用程序申請資源並分配給內部任務 任務的監控與容錯
4）Container Yarn中的資源抽象，封裝了某個節點上的多維度資源，如內存，CPU，磁盤，網絡等
MapReduce架構
1）Map 階段並行處理輸入數據
2）Reduce 階段對Map結果進行彙總
3）Hadoop的框架最核心的設計就是：HDFS和MapReduce。
HDFS爲海量的數據提供了存儲，而MapReduce則爲海量的數據提供了計算。