hadoop擴容與下線

1、下線退役datanode nodemanager

a、下線datanode節點
修改 hadoop/etc/hadoop/slaves 文件
分發到所有機器
在執行datanode下線命令
hdfs dfsadmin -refreshNodes
檢查
hdfs dfsadmin -report
yarn node -list

Decomissioning標記的即爲正在下線的datanode,hadoop集羣會盡快的將要下線的datanode數據塊複製到其他節點上
複製完成之後會變成Decommission Status : Decommissioned,此時可以下線此datanode

b、下線nodemanager
修改hadoop/etc/hadoop/nodemanagers 文件
分發到所有機器
在active resourcemanager 執行nodemanager下線命令
yarn rmadmin -refreshNodes

擴容datanode
取消raid 每個目錄創建hadoop文件目錄

查看resourcemanager 狀態
yarn rmadmin -getServiceState ip1

啓動blance
sh start-balancer.sh -threshold 5 默認10
hdfs dfsadmin -setBalancerBandwidth 52428800 帶寬50M 默認1M

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章