使用hadoop2.6.5版本配置Hadoop集羣,配置NameNode+HA、ResourceManager+HA,並使用zookeeper來管理Hadoop集羣。
一、主機規劃
hadoop001 192.168.159.129 | hadoop002 192.168.159.130 | hadoop003 192..168.159.131 | hadoop004 192..168.159.133 | hadoop005 192..168.159.132 | |
namenode | 是 | 是 | 否 | 否 | 否 |
datanode | 否 | 否 | 是 | 是 | 是 |
resourcemanager | 是 | 是 | 否 | 否 | 否 |
journalnode | 是 | 是 | 是 | 是 | 是 |
zookeeper | 是 | 是 | 是 | 是 | 是 |
二、集羣主機用戶、用戶組、密碼規劃
主機 | 用戶組 | 用戶名 | 密碼 |
hadoop001 | hadoop | hadoop | 123456 |
hadoop002 | hadoop | hadoop | 123456 |
hadoop003 | hadoop | hadoop | 123456 |
hadoop004 | hadoop | hadoop | 123456 |
hadoop005 | hadoop | hadoop | 123456 |
CentOS6.5 64位;JDK1.8.0_45;zookeeper3.4.10;Hadoop2.6.5。
四、目錄規劃
1、軟件目錄:/usr/hadoop/app/ ;
2、數據與日誌目錄:/usr/hadoop/data 。
五、環境檢查及配置
1、修改主機名
vi /etc/sysconfig/network 修改network內容爲:
按照此方法修改其它服務器(hadoop002,hadoop003,hadoop004,hadoop004)。
2、修改IP地址
cat /etc/udev/rules.d/70-persistent-net.rules 查看MAC地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0 修改IP地址如下:
按照此方法修改其它服務器hadoop002,hadoop003,hadoop004,hadoop004的IP地址。
3、 修改hosts文件
vi /etc/hosts 修改hosts文件如下:
4、禁用防火牆
關閉命令: service iptables stop
永久關閉防火牆:chkconfig iptables off
兩個命令同時運行,運行完成後 service iptables status 查看防火牆關閉狀態