Cloudera對HDFS做Balance數據均衡/數據平衡/數據傾斜

如果說Hadoop集羣的某些DataNode存儲數據達到閾值或者出現數據傾斜的情況,任務會高頻的打到很多“經常性訪問的”數據節點。

這個時候某些節點資源會出現緊張或者異常情況,如下圖:

其中HDFS有7個節點出現異常情況,我們點擊查看詳情。

 

具體異常信息如上圖。

我們對於這種數據傾斜或者存儲異常的情況(重啓單節點服務無效的時候)。

我們可以點擊操作,點擊重新平衡。這時系統會自動的來解決數據傾斜或者異常情況。

我們也可以使用命令行:

hdfs balancer -help

後面指定具體參數來優化。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章