大數據平臺CDH搭建

一、概述

Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，簡稱“CDH”），基於Web的用戶界面,支持大多數Hadoop組件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,簡化了大數據平臺的安裝、使用難度。

二、安裝部署

序號	IP地址	主機名	系統版本
1	172.20.2.222	cm-server	centos7.3
2	172.20.2.203	hadoop-1	centos7.3
3	172.20.2.204	hadoop-2	centos7.3
4	172.20.2.205	hadoop-3	centos7.3

2.2.1 基礎環境部署

a.修改主機名配置hosts

systemctl stop firewalld
hostnamectl set-hostname  cm-server   #更改個主機名
sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config
setenforce 0
cat >>/etc/hosts<<EOF    #添加各個節點hosts解析
172.20.2.222    cm-server
172.20.2.203      hadoop-1
172.20.2.204      hadoop-2
172.20.2.205      hadoop-3
EOF

b.配置cm-server免密鑰登錄其他節點

ssh-keygen -t rsa     #在cm-server生成密鑰對
for num in `seq 1 3`;do ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop-$num;done

c.在cm-server安裝數據庫
在cm-server上安裝mariadb，用於後期數據存儲

yum install mariadb*
systemctl start mariadb
mysql -uroot password "mysqladmin"
登錄數據庫後我們採用root登錄

e.java環境配置
如果系統有安裝java環境卸載乾淨使用oracle的jdk，此處使用jdk-7u80-linux-x64.rpm,在各節點均配置java環境

rpm -ivh jdk-7u80-linux-x64.rpm
cat >/etc/profile.d/java.sh<<EOF
export JAVA_HOME=/usr/java/jdk1.8.0_121
export CLASSPATH=.:\$JAVA_HOME/jre/lib/rt.jar:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar 
export PATH=\$PATH:\$JAVA_HOME/bin
EOF
source /etc/profile.d/java.sh

f.配置各節點服務器需求

sysctl -w vm.swappiness=10
echo "vm.swappiness=10" >>/etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

2.2.2 Cloudera Manager安裝

a.下載解壓相關軟件包

mkdir /software && cd /software
wget -c https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz 
wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel
wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1 -O CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha
wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/manifest.json
wget -c https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.zip
tar -zxvf cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz -C /opt/   #解壓cm包
unzip mysql-connector-java-5.1.46.zip  #解壓java-mysql連接jar包
cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /opt/cm-5.14.1/share/cmf/lib/    #將jar包複製到cm的lib目錄下
cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar 

b.創建用戶及初始化數據庫

useradd --system --home=/opt/cm-5.14.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm     #在各個節點均創建用戶
vim /opt/cm-5.14.1/etc/cloudera-scm-agent/config.ini將其中的server_host=cm-server     #指向cm-server
usage: /opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh [options] (postgresql|mysql|oracle) database username [password]    #使用選項
/opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh mysql cmdb -h"cm-server" -uroot -pmysqladmin --scm-host cm-server scm scm scm

c.將文件將cm-server修改完成的文件分發到其他各節點

for i in `seq 1 3`;do scp -r /opt/cm-5.14.1 hadoop-$i:/opt/;done

d.創建本地源

mv CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel* manifest.json /opt/cloudera/parcel-repo/

e.啓動服務
在cm-server啓動server和agent服務，在其他節點啓動agent服務

/opt/cm-5.14.1/etc/init.d/cloudera-scm-server start
/opt/cm-5.14.1/etc/init.d/cloudera-scm-agent start

2.2.2 Cloudera Manager的web界面配置

服務器均啓動後，可以瀏覽器訪問cm-server的7180端口,用戶名/密碼爲admin/admin


接受協議繼續

可以選擇適用60天

提示一些涉及許可證的信息

勾選管理的主機繼續操作

選擇CDH-5.14版本

parcel安裝

主機正確性檢查

羣集設置（選擇安裝的服務）

自定義角色分配，選擇安裝在那個節點上

數據庫設置
需要提前創建數據庫及授權其他節點可以正常連接


審覈更改

集羣安裝

完成安裝


後期可添加服務