Centos-6.5安裝CDH-5.9.0教程


本文是爲了幫助想以Cloudera搭建自己大數據管理和運行平臺的朋友,由於Cloudera有多種安裝方式,經過多次的嘗試和研究,本文介紹的是其中一種更容易安裝成功的方式,供大家參考。

Cloudera的介紹可參考官方文檔 cloudera介紹 包含cloudera的各個工程項目,這裏就不再細說,直接進入正題。

一、準備工作

1、下載CDH相關文件

       

Cloudera Manager :http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.9.0_x86_64.tar.gz

CDH安裝包: http://archive.cloudera.com/cdh5/parcels/5.9.0/CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel

                       http://archive.cloudera.com/cdh5/parcels/5.9.0/CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1

                       http://archive.cloudera.com/cdh5/parcels/5.9.0/manifest.json

myslq連接jar:http://download.softagency.net/MySQL/Downloads/Connector-J/mysql-connector-java-5.1.40.zip

CDH安裝的RPM包:http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.9.0/RPMS/x86_64/


2、安裝Centos6.5

關閉selinux: 命令:vim /etc/selinux/config   修改爲 SELINUX=disabled

卸載自帶openJdk(CDH不支持openjdk):

[root@server1 ~]# rpm -qa | grep jdk     \\查詢系統自帶jdk

java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64

java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

[root@server1 ~]# yum -y remove java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64  \\卸載自帶jdk


[root@server1 ~]# yum -y remove java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64   \\卸載自帶jdk

安裝oracle jdk

下載oracle jdk

 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

[root@server1 .ssh]# tar xzvf /usr/local / jdk-8u121-linux-x64.tar.gz   \\解壓

[root@server1 .ssh]# vi /etc/profile 配置環境變量


export JAVA_HOME=/usr/local/jdk1.8

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar


[root@server1 .ssh]# source /etc/profile

關閉防火牆:

[root@server1 ~]# service iptables stop \\即時生效

[root@server1 ~]# chkconfig iptables off \\重啓生效

修改主機名

[root@server1 ~]# vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=server1   \\hostname 爲主機名

修改hosts

[root@server1 ~]# vi /etc/hosts

192.168.1.31 server1

192.168.1.32 server2

192.168.1.33 server3

配置ssh免密碼登錄

\\主機執行

[root@server1 ~]# ssh-keygen -t rsa  \\回車鍵到結束


[root@server1 .ssh]# cd /root/.ssh/

[root@server1 .ssh]# ls

id_rsa id_rsa.pub known_hosts


[root@server1 .ssh]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

[root@server1 .ssh]# ls

authorized_keys id_rsa id_rsa.pub known_hosts


\\分發到各子機

[root@server1 .ssh]# scp /root/.ssh/authorized_keys root@server2:/root/.ssh/   

root@server2's password:

authorized_keys


配置ntp服務


\\所有節點執行

[root@server1 .ssh]# yum install ntp

[root@server1 .ssh]# chkconfig ntpd on  \\設置開機啓動

[root@server1 .ssh]# chkconfig --list ntpd \\檢查是否設置成功  與系統基本相同的爲“啓動”


\\主機同步中心時間  阿里雲時鐘服務

[root@server1 .ssh]# ntpdate -u ntp1.aliyun.com

【主機ntp服務配置】

[root@server1 .ssh]# vi /etc/ntp.conf

修改爲

# Please consider joining the pool (http://www.pool.ntp.org/join.html).

server ntp1.aliyun.com prefer

#broadcast 192.168.1.255 autokey

\\啓動ntp服務

[root@server1 .ssh]# service ntpd start

【子機ntp配置】

[root@server2 .ssh]# vi /etc/ntp.conf

修改server爲主機的ip

# Please consider joining the pool (http://www.pool.ntp.org/join.html).

server 192.168.1.31

#broadcast 192.168.1.255 autokey



ntp服務配置完成  可以用 date命令查看時間是否一致


在主節點(本次是server1)安裝mysql

參考rpm包方式安裝mysql:http://3126597.blog.51cto.com/3116597/1893213

二 安裝clourdera-manage

【主機操作】

將cloudera-manager-el6-cm5.9.0_x86_64.tar.gz放至/opt

tar xzvf cloudera-manager*.tar.gz  \\在opt目錄下執行解壓

將mysql-connector-java-5.1.40-bin.jar拷貝至/opt/cm-5.9.0/share/cmf/lib

將mysql-connector-java-5.1.40-bin.jar拷貝至/usr/share/java 並重新命名爲mysql-connector-java.jar(有時包jdbc驅動找不到一般是此步驟未做)

初始化mysql庫

[root@server1 cm-5.9.0]# /opt/cm-5.9.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm

這時我們登錄mysql可以看到已經有個CM庫了


創建用戶(所有節點執行)

[root@server1 cm-5.9.0]# useradd --system --home=/opt/cm-5.9.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm


Agent配置 

[root@server1 cloudera-scm-agent]# vi /opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini

\\將server_host 改爲主節點主機名

server_host=server1


將Agent分發到各子節點

[root@server1 cloudera-scm-agent]# scp -r /opt/cm-5.9.0/ root@server2:/opt/

[root@server1 cloudera-scm-agent]# scp -r /opt/cm-5.9.0/ root@server3:/opt/


將parcel文件放至/opt/cloudera/parcel-repo

三個文件:CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel

                CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1

                manifest.json

CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1 重命名爲 CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha




安裝RPM包

主機安裝安裝所有RPM包

在rpm包路徑下執行 

[root@server1 cdh-rpm]# yum install *.rpm

在這裏如果提示mysql版本衝突則需要執行以下命令升級mysql源

rpm -Uvh http://repo.mysql.com/mysql-community-release-el6-5.noarch.rpm

如果是用yum 安裝的mysql 此處用yum安裝不會存在版本衝突問題

在所有子機安裝rpm包

cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64.rpm

cloudera-manager-daemons-5.9.0-1.cm590.p0.249.el6.x86_64.rpm

將這兩個文件拷貝到子機目錄下 在該目錄下執行

[root@server3 cdh-rpm]# yum install *.rpm

關閉server開機啓動


[root@server1 init.d]# chkconfig cloudera-scm-server off


啓動server,server啓動方式爲

[root@server1 init.d]# /opt/cm-5.9.0/etc/init.d/cloudera-scm-server start

啓動agent(所有節點)

[root@server1 init.d]# service cloudera-scm-agent start


至此 cloudera manage 安裝完畢


在瀏覽器輸入http://192.168.1.31:7180/  ip爲主機ip

用戶名密碼都爲 admin

wKiom1iAb5axd59JAAEI5JjScy4609.png-wh_50

選擇接受,按步驟到主界面,這時未添加集羣,也未安裝任何服務,首先添加集羣,勾選主機,進入如下界面

wKiom1iAb87Cp9hcAADCtdlP8gE901.png-wh_50

集羣機器添加完畢後到選擇安裝的服務處,此處爲第一次安裝的時候可以選一組的服務,也可跳過此步,後續在集羣中單獨安裝每個服務,但在安裝的時候得手動選擇服務依賴關係。

wKiom1iAb_7j2m-lAADDmzAy9xo589.png-wh_50

cloudera manage有非常強大豐富的管理、監控、診斷、集成功能,其管理界面的用戶交互性等都非常不錯,具有較高的學習研究價值。


以上介紹了CDH的安裝過程,對於Cloudera Manage管理頁面操作有問題的朋友請留言


                                             ---史龍剛

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章