Hadoop 3.0學習筆記(持續更新....)

HDFS聯盟
爲了水平擴展服務,聯盟使用多個獨立的NamNode。聯盟的NameNode是互相獨立的,不互相協調。每個DataNode與集羣中的所有NameNode註冊,DataNode節點週期性發送的心跳和塊報告和處理命令的節點。
MapReduce NextGen aka YARN aka MRv2:
新的功能已經在Hadoop-0.23中介紹過了,劃分了JobTracker兩個功能:資源管理以及job生命週期管理在不同的兩個組件中。
新的ResourceManager爲每一個app分配全局的計算資源,AM主要管理每個app、調度以及協調管理。
一個app是一個經典的MR或者DAG的job。
一個ResourceManager或者每個節點的守護進程NodeManager
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章