Hadoop 3.0學習筆記(持續更新....)
HDFS聯盟:
爲了水平擴展服務,聯盟使用多個獨立的NamNode。聯盟的NameNode是互相獨立的,不互相協調。每個DataNode與集羣中的所有NameNode註冊,DataNode節點週期性發送的心跳和塊報告和處理命令的節點。
MapReduce NextGen aka YARN aka MRv2:
新的功能已經在Hadoop-0.23中介紹過了,劃分了JobTracker兩個功能:資源管理以及job生命週期管理在不同的兩個組件中。
新的ResourceManager爲每一個app分配全局的計算資源,AM主要管理每個app、調度以及協調管理。
一個app是一個經典的MR或者DAG的job。
一個ResourceManager或者每個節點的守護進程NodeManager
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
實戰 - Hive 日期時間運算與比較
初级以上
2020-06-25 20:32:30
實戰 - hive 數據庫SQL操作
初级以上
2020-06-25 20:32:17
實戰 - Hive 寫入數據時報錯:java.lang.IllegalArgumentException: java.net.URISyntaxException
初级以上
2020-06-25 20:32:17
Hive學習筆記四 -- Hive交互方式
幼儿园园草
2020-06-22 11:15:18
Hive學習筆記三 -- MySQL在Hive中的作用
幼儿园园草
2020-06-22 11:15:18
Hive學習筆記二 -- 安裝Hive
幼儿园园草
2020-06-22 11:15:18
Hive學習筆記一 -- Hive與數據倉庫
幼儿园园草
2020-06-22 11:15:18
SparkCore 筆記(二)
目錄 一、RDD中的函數傳遞(序列化問題) 1、傳遞一個方法 2、傳遞一個屬性 二、RDD依賴關係 1、Lineage(容錯機制) 2、窄依賴 3、寬依賴 4、DAG 5、任務劃
辛聪明
2020-06-22 08:39:28
SparkCore 筆記(一)
辛聪明
2020-06-22 08:39:27
愛奇藝大數據實時項目統計項目
辛聪明
2020-06-22 08:39:27
Hive學習筆記五 -- HiveQL
幼儿园园草
2020-04-19 11:51:38
Flume學習筆記一 -- 安裝Flume
幼儿园园草
2020-04-19 11:51:38
Flume學習筆記二 -- Flume常用配置案例
幼儿园园草
2020-04-19 11:51:38
Hadoop工作機制詳解
幼儿园园草
2020-04-15 20:16:20