Hadoop卸載或增加節點

卸載節點或者增加節點:
方式一:靜態的增添刪除:將集羣關閉,修改配置文件(etc/hadoop/slaves),重新啓動集羣(很黃很暴力,不夠人性化)。
方式二:動態的增加和卸載節點。

卸載DataNode節點:
1)要在HDFS主節點NameNode上,進行配置。
a)在etc/hadoop/hdfs-site.xml中,設置屬性值:

dfs.hosts.exclude
/opt/modules/hadoop-2.5.0/ect/hadoop/dfs-hosts.exclude

b)創建文件並在文件中加入卸載節點的IP地址或者主機名。
2)在NameNode節點上刷新集羣
bin/hdfs dfsadmin -refreshNodes
3)從頁面查看卸載相關信息(過程)。
4)通過命令來查看結果。
bin/hdfs dfsadmin -report
5)在卸載機器上關閉DataNode進程
sbin/hadoop-daemon.sh stop datanode
6)將dfs-hosts.exclude文件內容清空

注意:
在卸載NodeManager時,一定要主要配置在ResourceManager上。

yarn.resourcemanager.nodes.exclude-path
/opt/modules/hadoop-2.5.0/etc/hadoop/yarn-hosts.exclude

增加新機器,DataNode(存儲數據)和NodeManager(計算)
1)系統、主機名、IP地址、防火牆、SELinux等與集羣的從節點基本配置保持一致。
2)安裝JDK(版本、路徑、環境變量保持一致)。
3)配置主節點(HDFS:NameNode;YARN:ResourceManager)所在機器到新機器的SSH無密鑰登錄(方便集羣的啓動)。
4)配置修改etc/hadoop/slaves文件(只需要在主節點上修改)。
5)分發hadoop安裝包(配置完成)到新機器上。
6)創建HDFS、YARN在新機器的本地磁盤上一些文件夾。
7)在新機器上啓動DataNode和NodeManager節點。
DataNode:sbin/hadoop.daemon.sh start datanode
NodeManager:sbin/yarn.daemon.sh start nodemanager
注意:
需要將新機器的IP地址與主機名稱的映射關係配置到系統的【/etc/hosts】文件中,最好是所有集羣中的機器都要添加。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章