Hadoop資源配置

一、YARN的運行原理

1.1、Yarn的工作流程圖

1.2、Yarn流程圖詳解

如上圖所示，Yarn框架流程如下幾個步驟：

①、用戶編寫客戶端程序，向Yarn提交應用程序，提交的內容包括ApplicationMaster程序、啓動ApplicationMaster
的命令、用戶程序等；
②、Yarn中的ResourceManager負責接收和處理來自客戶端的請求，待接收到客戶端應用程序請求後，
ResourceManager裏面的調度器會爲應用程序分配一個容器。同時ResourceManager的應用程序管理器會與該
容器所在的NodeManager通信，爲該應用程序在該容器中啓動一個ApplicationMaster（即圖1.1中的MR App 
Mstr）；
③、ApplicationMaster被創建後會首先向ResourceManager註冊，從而使得用戶可以通過ResourceManager
來直接查看應用程序的運行狀態，接下來的④~⑦是具體的應用程序執行步驟；
④、ApplicationMaster採用輪詢的方式通過RPC協議向ResourceManager申請資源；
⑤、ResourceManager以“容器”的形式向提出申請的ApplicationMaster分配資源，一旦ApplicationMaster申請
到資源後，就會與該容器所在的NodeManager進行通信，要求它啓動任務；
⑥、當ApplicationMaster要求啓動任務時，它會爲任務設置好運行環境（包括環境變量、Jar包、二進制程序等），
然後將任務啓動命令寫到一個腳本中，最後通過在容器中運行該腳本來啓動任務；
⑦、各個任務通過某個RPC協議向ApplicationMaster彙報自己的狀態和進度，讓ApplicationMaster可以隨時掌
握各個任務的運行狀態，從而可以在任務失敗時重新啓動任務；
⑧、應用程序運行完成之後，ApplicationMaster向ResourceManager的應用程序管理器註銷並關閉自己。若
ApplicationMaster因故失敗，ResourceManager中的應用程序會監測到失敗的情形，然後將其重啓，直到所
有任務執行完畢。

二、YARN的資源配置

1、Yarn的介紹與資源配置

資源設置說明

	YARN負責管理MR中的資源（內存，CPU等）並且將其打包成Container。這樣可以精簡MR使之專注於其
擅長的數據處理任務，將無需考慮資源調度。YARN會管理集羣中所有機器可用計算資源，YARN會調度應用
發來的資源請求，然後Yarn會通過分配Container來給每個應用提供處理能力，Container是Yarn中處理能力的
基本單元，是對內存，CPU等的封裝。
	在Hadoop集羣中，平衡內存（RAM）、處理器（CPU核心）和磁盤的使用至關重要，合理規劃，可以避免
某項引起瓶頸制約。

注：建議一塊磁盤和一個CPU核心上配置兩個Container會達到集羣利用率的最佳平衡。

	Yarn和MR總的可用內存應考慮到保留的內存，保留的內存是由系統進程和其他Hadoop進程（如HBase）所
需要的內存。

注：保留內存 = 保留系統內存 + 保留HBase內存（如果HBase是在同一節點）
保留系統內存設置：主機->所有主機->配置->內存調撥過度驗證閾值

2、保留內存的建議如下

3、確定每個節點的Container允許的最大數量

注：Container數量=min(2*cores,1.8*disks,可用內存/最低Container的大小)
最低Container的大小，這個值是依賴於可用的RAM數量。

Container的大小建議

計算每個Container的內存大小：

注：每個Container的內存大小 = max(最小Container內存大小，總的可用內存/Container數)

4、根據計算Yarn和MapReduce配置建議

三、結合集羣真實情況配置

開發集羣環境

查看CPU數量命令：
	cat /proc/cpuinfo | grep "physical id" | uniq | wc -l
查看單個CPU核數命令：
	cat /proc/cpuinfo | grep "cpu cores" | uniq
查看CPU總核數命令：
	cat /proc/cpuinfo | grep "processor" | wc –l