如果說Hadoop集羣的某些DataNode存儲數據達到閾值或者出現數據傾斜的情況,任務會高頻的打到很多“經常性訪問的”數據節點。
這個時候某些節點資源會出現緊張或者異常情況,如下圖:
其中HDFS有7個節點出現異常情況,我們點擊查看詳情。
具體異常信息如上圖。
我們對於這種數據傾斜或者存儲異常的情況(重啓單節點服務無效的時候)。
我們可以點擊操作,點擊重新平衡。這時系統會自動的來解決數據傾斜或者異常情況。
我們也可以使用命令行:
hdfs balancer -help
後面指定具體參數來優化。