YARN概述

  YARN(Yet Another Resource Negotiator)是Hadoop的集羣資源管理系統,提供了請求和使用集羣資源的API,一些分佈式計算框架如MapReduce、Spark等作爲YARN應用運行在集羣計算層(YARN)和集羣存儲層(HDFS、HBase)上。

  YARN主要包含以下幾個重要組件:

  1、Resource Manager:RM是一個全局的資源管理器,集羣只有一個,負責整個系統的資源管理和分配,包括處理客戶端請求、啓動/監控APP master、監控Node Manager、資源的分配與調度。它主要由兩個組件構成:調度器(Scheduler)和應用程序管理器(Applications Manager,ASM)。

  調度器根據各個應用程序的資源需求進行資源分配,而資源分配單位用一個抽象概念“資源容器”(Resource Container,簡稱Container)表示,Container是一個動態資源分配單位,它將內存、CPU、磁盤、網絡等資源封裝在一起,從而限定每個任務使用的資源量。

  應用程序管理器負責管理整個系統中所有應用程序,包括應用程序提交、與調度器協商資源以啓動Application Master、監控Application Master運行狀態並在失敗時重新啓動它等。

  2、Node Manager:用來啓動和監控本地計算機資源Container,處理來自於Resource Manager和Application Master的命令。

  3、Application Master:當Resource Manager接到YARN應用計算任務後,會在一個Container內啓動Application Master,用於管理該計算任務,每個YARN應用任務都會對應新建一個Application Master,任務間互不影響。

  大連市××× http://www.dlbhnk.com/

  大連正規×××醫院 http://www.120bhnk.com/

  大連正規×××醫院 http://www.39552222.net/


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章