HDFS高可用性集羣搭建
1.環境準備
主機 | 從機 | 從機 | |
---|---|---|---|
主機名 | anshun112 | anshun113 | anshun114 |
hostname | anshun112 | anshun113 | anshun114 |
IP地址 | 192.168.153.112 | 192.168.153.113 | 192.168.153.114 |
用戶名 | zhangyong | zhangyong | zhangyong |
內存大小 | /boot 200M /swap 2048M / 剩餘空間 |
/boot 200M /swap 2048M / 剩餘空間 |
/boot 200M /swap 2048M / 剩餘空間 |
防火牆 | service iptables stop chkconfig iptables off(開機關閉) |
service iptables stop chkconfig iptables off |
service iptables stop chkconfig iptables off |
網路配置 | ONBOOT=yes BOOTPROTO=static IPADDR=192.168.153.112 GATEWAY=192.168.153.2 NETMASK=255.255.255.0 DNS1=114.114.114.114 DNS2=8.8.8.8 |
ONBOOT=yes BOOTPROTO=static IPADDR=192.168.153.113 GATEWAY=192.168.153.2 NETMASK=255.255.255.0 DNS1=114.114.114.114 DNS2=8.8.8.8 |
ONBOOT=yes BOOTPROTO=static IPADDR=192.168.153.114 GATEWAY=192.168.153.2 NETMASK=255.255.255.0 DNS1=114.114.114.114 DNS2=8.8.8.8 |
免密登錄 | 已配置 | 已配置 | 已配置 |
2. 集羣規劃表
anshun112 | anshun113 | anshun114 |
---|---|---|
NN1 | NN2 | |
ZKFC | ZKFC | |
JN | JN | JN |
ZK | ZK | ZK |
DN | DN | DN |
3. 安裝軟件
- 在一臺機器上安裝Java、Hadoop、zookeeper,並配置環境變量,並分發到集羣其他機器
1. 拷貝安裝文件到/home/software_pack,兩個tar包
2. tar -zxf h"+tab" -C /home/software
3. tar -zxf j"+tab" -C /home/software
4. tar -zxf z"+tab" -C /home/software(需要配置zookeeper環境,詳情查看:一篇文章搞定大數據Zookeeper,讓你少走很多彎路)
5. 配置環境變量:sudo vim /etc/profile
6. 在文件末尾添加
#JAVA_HOME
export JAVA_HOME=/home/software/jdk1.8.0_144
#HADOOP_HOME
export HADOOP_HOME=/home/software/hadoop-2.9.2
#ZK_HOME
export ZK_HOME=/home/software/zookeeper-3.6.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZK_HOME/bin
- source /etc/profile
3. 分發腳本
- 在/bin/目錄下創建xsync,更改執行權限
chmod +x xsync
- 編輯:vim xsync
#!/bin/bash
#1 獲取輸入參數個數,如果沒有參數,直接退出
pcount=$#
if ((pcount==0)); then
echo no args;
exit;
fi
#2 獲取文件名稱
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 獲取上級目錄到絕對路徑
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 獲取當前用戶名稱
user=`whoami`
#5 循環
for((host=112; host<115; host++)); do
echo ------------------- anshun$host --------------
rsync -av $pdir/$fname $user@anshun$host:$pdir
done
4. 執行分發腳本
- 分發安裝軟件:
sudo xsync /home/software
- 分發環境變量配置
sudo xsync /etc/profile
- 分發的三臺虛擬機分別執行
source /etc/profile
5. 配置HDFS環境
- 所有配置文件都在$HADOOP_HOME/etc/hadoop下
- 配置hadoop-env.sh
export JAVA_HOME=/home/software/jdk1.8.0_144
export HADOOP_CONF_DIR=/home/software/hadoop-2.9.2/etc/hadoop
- 配置core-site.xml
<configuration>
<!--指定hdfs的nameservice,爲整個集羣起一個別名-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns</value>
</property>
<!--指定Hadoop數據存放目錄-->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/software/hadoop-2.9.2/tmp</value>
</property>
<!--指定Zookeeper的地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>anshun112:2181,anshun113:2181,anshun114:2181</value>
</property>
</configuration>
- 配置hdfs-site.xml
<configuration>
<!--執行HDFS的nameservice爲ns,注意此處的需要和core-site.xml中的
名稱保持一致-->
<property>
<name>dfs.nameservices</name>
<value>ns</value>
</property>
<!--ns集羣中有兩個namenode,分別爲nn1,nn2-->
<property>
<name>dfs.ha.namenodes.ns</name>
<value>nn1,nn2</value>
</property>
<!--配置nn1的RPC的通信地址-->
<property>
<name>dfs.namenode.rpc-address.ns.nn1</name>
<value>anshun112:9000</value>
</property>
<!--配置nn1的http通信地址-->
<property>
<name>dfs.namenode.http-address.ns.nn1</name>
<value>anshun112:50070</value>
</property>
<!--配置nn2的RPC的通信地址-->
<property>
<name>dfs.namenode.rpc-address.ns.nn2</name>
<value>anshun113:9000</value>
</property>
<!--配置nn2的http通信地址-->
<property>
<name>dfs.namenode.http-address.ns.nn2</name>
<value>anshun113:50070</value>
</property>
<!-- 指定NameNode1的元數據存放在JournalNode上面,NameNode2
可以從JournalNode上面獲取信息,從而達到熱備的效果-->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://anshun112:8485;anshun113:8485;anshun114:8485/ns</value>
</property>
<!--配置JournalNode的數據存放在本地硬盤上-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/software/hadoop-2.9.2/tmp/journal</value>
</property>
<!--開啓NameNode在遇到故障時自動切換-->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!--配置遇到失敗自動切換的實現方式-->
<property>
<name>dfs.client.failover.proxy.provider.ns</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--配置隔離機制-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!--配置隔離機制時需要使用ssh免登錄-->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!--配置namenode存放的元數據目錄,此項不配置也可以,如果不配置那
麼則默認存放到hadoop.tmp.dir目錄下-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/software/hadoop-2.9.2/tmp/hdfs/name</value>
</property>
<!--配置datanode存放數據的目錄,此項也可以不配置,同上!-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/software/hadoop-2.9.2/tmp/hdfs/data</value>
</property>
<!--配置副本的數量-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!--設定hdfs的用戶操作權限,false則表示關閉驗證,任何人都可以操
作-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
- 配置yarn-site.xml
<configuration>
<!--配置yarn的高可用-->
<property>
<name>yarn.resoucemanager.ha.enabled</name>
<value>true</value>
</property>
<!--指定兩個resourcemanager的名稱-->
<property>
<name>yarn.resoucesmanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!--配置rm1的主機-->
<property>
<name>yarn.resourcemanager.hostname-rm1</name>
<value>anshun112</value>
</property>
<!--配置rm2的主機-->
<property>
<name>yarn.resourcemanager.hostname-rm2</name>
<value>anshun114</value>
</property>
<!--執行rm恢復機制實現類-->
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<!--配置Zookeeper的地址-->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>anshun112:2181,anshun113:2181,anshun114:2181</value>
</property>
<!--給yarn集羣起個別名-->
<property>
<name>yarn.resoucemanager.cluster-id</name>
<value>ns-yarn</value>
</property>
<!--指定nodemanager啓動時加載server的方式爲shuffle server-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--指定resourcemanager地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>anshun114</value>
</property>
</configuration>
- 配置mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- 配置Slaves
anshun112
anshun113
anshun114
- 分發配置文件
xsync /home/software/hadoop-2.7.2/etc
- 第一次啓動集羣
i. 在三臺服務器中啓動zk:
zkServer.sh start
ii. 在zk的leader節點上執行格式化命令
hdfs zkfc -formatZK
iii. 在三臺服務器上啓動journalnode
hadoop-daemon.sh start journalnode
iv. 在第一臺節點上格式化NameNode
hadoop namenode -format
v. 在第一臺節點上啓動NameNode
hadoop-daemon.sh start namenode
vi. 在第二臺節點上格式化NameNode
hdfs namenode -bootstrapStandby
vii. 在第二臺節點上啓動NameNode
hadoop-daemon.sh start namenode
viii. 在三臺服務器上啓動DataNode。
hadoop-daemon.sh start datanode
ix. 在第一和第二臺節點上,啓動zkfc
hadoop-daemon.sh start zkfc
x. 在第一臺節點上啓動yarn:
start-yarn.sh
xi. 在第三臺節點上啓動ResourceManager
yarn-daemon.sh start resourcemanager
- 以後啓動和停止集羣
啓動:start-all.sh
停止:stop-all.sh
- 如果集羣出了問題
- 查看日誌文件,查找具體錯誤