HDFS&Yarn HA架構設計

在這裏插入圖片描述
在這裏插入圖片描述

在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述

在這裏插入圖片描述

1 hdfs HA 架構 圖梳理
2 yarn HA 架構圖梳理
3總結 hdfs yarn ha 架構區別 區別是ZKFC一個是進程一個是線程 ,一個是一個RMstatestore 一個是JN羣集
4 hdfs dfs  - ls 結果 是哪個文件 三個操作不一樣  思考。
5雙寫的理解 ?雙寫,比如hdfs 做HA(高可靠)的時候,有nn 不僅會讀DN(active)發來的信息e,還會寫入JN ,同時 另一個不是active的NN 會從JN 讀信息同時 自己也執行這個操作
好yarn 中不一樣的是 yarn 中 zkfc 是rm上的線程 而不是經程,它可能不如hdfs ,比較hdfs是專門存儲,yarn做計算,在yarn的NM中 有自己的job ,NM會向中調容器資源,並向RM註冊,RMsatestore 這個是來共享兩個 RM
6小文件的危害 ?小文件如果很多 會照成如hdfs 讀寫的苦難,因爲 會在nn dn 上產生更多的管理,所以如果每個block是128m ,管理的時候 儘量控制小文件的大小在100m比較好
7主從架構的hbase讀寫經過master進程嗎? 儘管生態上,很多都是主從架構,如hadoop yarn 但是 hbase的讀寫 不經過master進程

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章