本案例搭建的環境介紹如下:Ambari 2.4.2 + HDP 2.5 (hadoop 2.7 ;hive 1.2 ;Tez ;Spark 2.0)+jdk1.8.25 +centos7.0,這裏首先要關注些注意事項,至於爲什麼會一一說明。
第一部分:注意事項:
版本必須低於7.2 |
selinux 必須關閉 |
firewalld 必須關閉 |
127.0.0.1 hosts該條記錄刪除 |
本地倉庫必須搭建 |
root 賬戶ssh 啓用 |
指定hdfs data 目錄 |
安裝jdk1.8.0 |
所有機器時間必須同步 |
1:版本必須低於7.2,這裏踩了個大坑,剛開始選用了7.3,最後發現經常莫名其妙的異常,經常安裝失敗。後來從官方查到(沒有放在最顯眼的位置說明):
2. 127.0.0.1 hosts該條記錄刪除 ,這也是在埋坑過後 發現的
3.本地倉庫必須搭建 ,如果不搭建本地倉庫,太痛苦了。下載過程巨慢,而且每次重新來的時候,巨費時間。
4.root 賬戶ssh 啓用 這個我也考慮過使用專門賬戶,雖然ambari 也支持該功能,但是需要做相應的很多更改,如果是測試機版本,還是便捷點比較好,後期可以通過ambari 的相關安全策略來補上。
5.其他的幾項注意事項,大家一看就懂的,不過還是得細心檢查比較好。否則後面的拍錯過程會費掉很多精力
第二部分:開始配置客戶端及ambari-server
1.集羣端機器分配如下:
centos7.0 | 10.1.11.1 | hadoop11-1 |
centos7.0 | 10.1.11.2 | hadoop11-2 |
centos7.0 | 10.1.11.3 | hadoop11-3 |
centos7.0 | 10.1.11.4 | hadoop11-4 |
centos7.0 | 10.1.11.5 | hadoop11-5 |
centos7.0 | 10.1.11.6 | hadoop11-6 |
centos7.0 | 10.1.11.7 | hadoop11-7 |
2.檢查 centos 版本,關閉selinux ,firewalld , 添加hosts 記錄,安裝jdk1.8,
檢查時區和時間是否統一
yum install ntp
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
配置root ssh 登陸
配置jdk1.8.025 ,將jdk 解壓到/usr/local/java/jdk1.8.0_112目錄:
/etc/profile 文件末尾添加
#add jdk-8u112
##add for jdk
export JAVA_HOME=/usr/local/java/jdk1.8.0_112
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
配置hosts 文件
cat /etc/hosts
10.1.11.32 localRepository-11-32
10.1.11.10 ambari-11-10
10.1.11.1 hadoop11-1
10.1.11.2 hadoop11-2
10.1.11.3 hadoop11-3
10.1.11.4 hadoop11-4
10.1.11.5 hadoop11-5
10.1.11.6 hadoop11-6
10.1.11.7 hadoop11-7
如上,客戶機的相關準備工作已經都檢查完畢。下一步驟,先搭建本地倉庫,以便下載。