基於ambari的大數據平臺搭建-01環境初始化
0. 服務器準備
個人搭建學習用，所以用VMware建5臺虛擬機作爲服務器集羣
- 安裝VMware（略）。
- 新建5臺虛擬機（略）,建議先裝一臺，配置後克隆節省時間。
1.主機名及ip規劃
- 在本地通過cmd輸入ipconfig查看主機默認網關與子網掩碼
ipconfig
#得到網關及子網掩碼信息
以太網適配器 以太網:
連接特定的 DNS 後綴 . . . . . . . :
本地鏈接 IPv6 地址. . . . . . . . :XXX
IPv4 地址 . . . . . . . . . . . . : XXX
子網掩碼 . . . . . . . . . . . . : 255.255.255.0
默認網關. . . . . . . . . . . . . : 192.168.31.1
- ip規劃
| 主機名 | ip |
|---|---|
| ambari1 | 192.168.31.101 |
| ambari2 | 192.168.31.102 |
| ambari3 | 192.168.31.103 |
3.進入安裝好的虛擬機，修改虛擬器IP地址
vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=dhcp
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=d91763a4-c870-4ee7-bdd1-0a16f78660ea
DEVICE=ens33
# 將ONBOOT改爲yes,添加ip地址、網關以及子網掩碼配置
ONBOOT=yes
IPADDR=192.168.31.101
GATEWAY=192.168.31.1
NETMASK=255.255.255.0
# 重啓network
systemctl restart network
5.修改hostname
vi /etc/hostname
# 將主機名改爲ambari1
6.配置hosts主機名識別
vi /etc/hosts
# 添加主機名與ip
192.168.31.101 ambari1
192.168.31.102 ambari2
192.168.31.103 ambari3
192.168.31.104 ambari4
192.168.31.105 ambari5
7.編輯網絡配置文件
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=<fully.qualified.domain.name>
3.關閉防火牆及seliunx
#查看防火牆狀態
firewall-cmd --state
#停止firewall
systemctl stop firewalld.service
#禁止firewall開機啓動
systemctl disable firewalld.service
#進入到/etc/selinux/config文件將SELINUX=enforcing改爲SELINUX=disabled
vi /etc/selinux/config
4.重啓
sync
reboot
5.驗證
#查看主機名
hostname
#查看ip
ip addr
#查看是否能ping通外網
ping 192.168.132.2
6.軟硬件要求
1.需要yum和rpm(RHEL/CentOS/Oracle Linux)
2.需要zypper 和 php_curl (SLES)
3.需要apt (Debian/Ubuntu)
4.需要scp, curl, unzip, tar, and wget
5.需要OpenSSL (v1.01, build 16 or later)
6.需要Python 2.7.X(以上軟件沒有的需要提前安裝)
7.Ambari主機應具有至少1 GB內存，500M可用內存。20g磁盤空間。
# 查看內存
free -m
8.建議的最大打開文件描述符數爲10000或更多。要檢查爲最大打開文件描述符數設置的當前值，請在每個主機上執行以下shell命令：
ulimit -Sn
ulimit -Hn
# 如果輸出沒有10000 可以設置爲10000
ulimit -n 10000
8.啓用ntp
yum install -y ntp
systemctl enable ntpd
- 檢測umask值
umask
#如果不是0022
echo umask 0022 >> /ect/profile
6.配置JDK
1.安裝前檢查是否有Jdk
rpm -qa | grep java
#卸載
rpm -e | grep java
2.下載jdk
#查看版本配套jdk
https://cwiki.apache.org/confluence/display/HADOOP2/HadoopJavaVersions
# 準備安裝HDP3.1.4 只支持java8
# 在JAVA官網下載即可
3.將下載好的JDK文件上傳到Linux系統/opt/software
#創建文件夾用於
mkdir -p /opt/software
mkdir -p /opt/module
5.解壓jdk到/opt/module
tar -zxvf jdk-8u241-linux-x64.tar.gz -C /opt/module/
6.配置java環境變量=/opt/module/jdk1.8.0_241
#修改配置文件
vi /etc/profile
#在文件最後加入
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
#使配置生效
source /etc/profile
7. 克隆其他機器
克隆完成後需修改主機名及ip地址
8.附錄-其他相關命令
#查看ip及uuid等信息
ip addr
#查看網卡物理地址
nmcli con show
#如果uuid與網卡不匹配 可用命令查看網卡對應的uuid
uuidgen ens33
#重啓網絡配置
systemctl restart network
#如遇錯誤可查看日誌
cat /var/log/meesage | grep network
dbus-send --system --print-reply --dest=com.redhat.ifcfgrh1 /com/redhat/ifcfgrh1 com.redhat.ifcfgrh1.GetIfcfgDetails string:"/etc/sysconfig/network-scripts/ifcfg-ens33" 2>/dev/null
