一、集羣規劃
離線部署：mysql cm( server agent 主從架構 ) parcel文件
規劃：
hadoop001：mysql cm-server cm-agent nn snn dn rm nm zk
hadoop002：cm-agent dn nm broker zk
hadoop003：cm-agent dn nm broker zk
原則：
- 選擇第一臺 配置不是太強的做爲 工具節點 mysql cm-server cm-agent
- 選擇2臺 專門做 大數據生態圈的主從架構的組件（HDFS YARN HBase）的 主角色
- datanode和nodemanager部署在同一臺 ==> 數據本地化，dn是用來做存儲的，nm是用來做計算的，部署在同一臺，可以儘可能的使計算離數據更近一些。
- 其他非主從架構的組件的進程 隨意部署 儘量在同一個機架
二、雲平臺集羣環境準備
2.1 雲平臺需求：
- 杭州 、可用區G
- 2core、16G
- centos、7.2 64位
- 高效雲盤 40G
- 網絡 默認
- 公網寬帶：按固定帶寬 1M
2.2安裝包
| 組件 | 版本 | 鏈接 |
| JDK | jdk-8u251-linux-x64.tar.gz |
https://www.oracle.com/java/technologies/javase-downloads.html |
| MySQL | mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz | https://downloads.mysql.com/archives/community/ |
| MySQL驅動 | mysql-connector-java-5.1.47.tar.gz | https://downloads.mysql.com/archives/c-j/ |
| CM tar包 | cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz | http://archive.cloudera.com/cm5/cm/5/ |
| parcel |
CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel |
http://archive.cloudera.com/cdh5/parcels/5.16.2/ |
三、集羣節點初始化工作
3.1 命令
安裝包上傳目錄
mkdir ~/cdh5.16.2
安裝上傳下載命令(上傳時可歷時增加帶寬)
yum install lrzsz
3.2 配置ip和域名映射關係
hadoop001
hadoop002
hadoop003
3.3 防火牆
建議：儘量關閉防火牆 (自己的機房、IDC託管的機器、雲主機)
systemctl stop firewalld
systemctl disable firewalld
iptables -F
3.4關閉selinux
vi /etc/selinux/config
SELINUX=disable
3.5時區、時鐘的同步 (雲主機可忽略）
1) 時區
timedatectl --help
timedatectl list-timezones
2) 時鐘
安裝ntp工具
yum install -y ntp
策略：選擇第一臺節點作爲ntp主節點，從網絡或本地同步時間，其他節點作爲從節點，從主節點同步時間
a) 主節點：
vi /etc/ntp.conf
#time
server 0.asia.pool.ntp.org
server 1.asia.pool.ntp.org
server 2.asia.pool.ntp.org
server 3.asia.pool.ntp.org
#當外部時間不可用，使用本地硬件時間
server 127.127.1.0 iburst local clock
#允許哪些網段的機器來同步時間
restrict 網段.0 mask 255.255.255.0 nomodify notrap
# 開啓ntp
systemctl start ntpd
# 查看ntp的狀態
systemctl status ntpd
# 查看ntp的網絡服務器
ntpq -p
b) 從節點
# 關閉ntp
systemctl stop ntpd
# 禁用ntp
systemctl disable ntpd
# 從主節點同步時間
ntpdate hadoop001
# 使用crontab每天凌晨定時同步主節點的時間
crontab -e
00 00 * * * ntpdate hadoop001