Hadoop的基礎運行模式

主從架構

• Master:主節點運行NameNode、ResourceMananger服務進程
• Slave:從節點，運行DataNode、NodeManager服務進程

主要的服務進程詳解

• NameNode,負責記錄數據是存在哪個存儲空間的,與DataNode通信,通過算法決策將數據分發到節點進行存儲
• DataNode,負責實際數據的存儲，反饋所在節點的狀態信息給NameNode
• 一個HDFS集羣包含一個單獨的Master節點和多個Slave節點，這裏所說的單獨的Master節點並不是一個機器或服務器，而是指的邏輯意義上的一個Master組件，它具體可以是1或2臺物理服務器，而Slave節點就是指的Slave服務器。可以這麼說，由一臺Master服務器所架設的NameNode，稱之爲單NameNode集羣，兩臺Master服務器架設成的NameNode，稱之爲雙NameNode集羣，通常，所有的這些機器、或服務器都是普通的Linux機器，在這些Linux服務器上運行着用戶級別（user-level）的服務進程。

3種Hadoop運行模式:單機模式、僞分佈式模式、分佈式模式

1. 單機模式：用於實驗，所有服務進程運行在同一臺機器上，非分佈式文件系統，文件系統直接採用本地文件系統，直接讀寫本地文件，無論存儲和計算都由單機完成。
2. 僞分佈式：通過一臺機器上不同的Java進程來模擬分佈式種不同節點上的服務進程，將文件系統設置程分佈式的文件系統，即便是一臺機器，也可以看成是邏輯上的分佈式。例如：可以在同一臺機器上運行NameNode、DataNode，即此機器既管理存儲空間也實際存儲數據；運行ResourceManager、NodeManager,即此機器既負責資源調度也負責
   作業調度
3. 分佈式：就是將僞分佈式種運行的一些服務進程放到另外一些機器上運行，例如：把DataNode和NodeManager放到多個從節點上運行，就實現了真正的分佈式模式的Hadoop集羣