Yarn三大組件介紹及運行流程

Yarn三大組件

ResourceManager

1. ResourceManager負責整個集羣的資源管理和分配，是一個全局的資源管理系統。
2. NodeManager以心跳的方式向ResourceManager彙報資源使用情況（目前主要是CPU和內存的使用情況）。RM只接受NM的資源回報信息，對於具體的資源處理則交給NM自己處理。
3. YARN Scheduler根據application的請求爲其分配資源，不負責application job的監控、追蹤、運行狀態反饋、啓動等工作。

 

NodeManager

1. NodeManager是每個節點上的資源和任務管理器，它是管理這臺機器的代理，負責該節點程序的運行，以及該節點資源的管理和監控。YARN集羣每個節點都運行一個NodeManager。
2. NodeManager定時向ResourceManager彙報本節點資源（CPU、內存）的使用情況和Container的運行狀態。當ResourceManager宕機時NodeManager自動連接RM備用節點。
3. NodeManager接收並處理來自ApplicationMaster的Container啓動、停止等各種請求。

 

ApplicationMaster

1. 用戶提交的每個應用程序均包含一個ApplicationMaster，它可以運行在ResourceManager以外的機器上。
2. 負責與RM調度器協商以獲取資源（用Container表示）。
3. 將得到的任務進一步分配給內部的任務(資源的二次分配)。
4. 與NM通信以啓動/停止任務。
5. 監控所有任務運行狀態，並在任務運行失敗時重新爲任務申請資源以重啓任務。
6. 當前YARN自帶了兩個ApplicationMaster實現，一個是用於演示AM編寫方法的實例程序DistributedShell，它可以申請一定數目的Container以並行運行一個Shell命令或者Shell腳本；另一個是運行MapReduce應用程序的AM—MRAppMaster。

注：RM只負責監控AM，並在AM運行失敗時候啓動它。RM不負責AM內部任務的容錯，任務的容錯由AM完成。

 

 

Yarn的運行流程

 

1. client向RM提交應用程序，其中包括啓動該應用的ApplicationMaster的必須信息，例如ApplicationMaster程序、啓動ApplicationMaster的命令、用戶程序等。
2. ResourceManager啓動一個container用於運行ApplicationMaster。
3. 啓動中的ApplicationMaster向ResourceManager註冊自己，啓動成功後與RM保持心跳。
4. ApplicationMaster向ResourceManager發送請求，申請相應數目的container。
5. 申請成功的container，由ApplicationMaster進行初始化。container的啓動信息初始化後，AM與對應的NodeManager通信，要求NM啓動container。
6. NM啓動啓動container。
7. container運行期間，ApplicationMaster對container進行監控。container通過RPC協議向對應的AM彙報自己的進度和狀態等信息。
8. 應用運行結束後，ApplicationMaster向ResourceManager註銷自己，並允許屬於它的container被收回。

 

詳細流程