centos7-離線安裝CDH-02

原創

dkjhl

2020-06-07 13:37

centos7-離線安裝CDH-01

開始

1、安裝 Cloudera Manager Server&Agent

發送 cloudera-manager-centos7-cm5.14.2_x86_64.tar.gz 到所有的server和agent節點

所有節點創建cm目錄

mkdir /opt/cloudera-manager

所有節點解壓cm壓縮包

tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

2、創建用戶 cloudera-scm（所有節點）

useradd --system --home=/opt/cloudera-manager/cm-5.0/run/cloudera-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3、配置CM agent，所有節點

vi /opt/cloudera-manager/cm-5.14.2/etc/cloudera-scm-agent/config.ini

修改

server_host=node6 都改爲node6，server對應的主機（或者是server的IP）

server_port默認，不用更改

4、配置CM Server的數據庫，只要節點node6配置即可

將驅動包拷貝到目錄下（注意拷貝過去的驅動包名字一定要和下邊的一樣，否則會報錯）

剛開始沒有java目錄，要手動創建

mkdir java

cd /usr/share/java/

cp mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar

cd /usr/share/java

java]# ll

接下來要確保mysql已經啓動，安裝過MySQL之後就已經設置了開機自啓動

service mysqld status

另外一些命令

service mysqld start

service mysqld stop

chkconfig mysqld on

chkconfig --lsit mysqld

執行：
mysql> grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;

退出後，節點node6上運行

cd /opt/cloudera-manager/cm-5.14.2/share/cmf/schema/

chema]# ./scm_prepare_database.sh mysql -h node6 -utemp -ptemp --scm-host node6 scm scm scm

格式說明：數據庫類型、數據庫、數據庫服務器、用戶名、密碼、cm server 服務器， 3個scm是默認賬戶

all done your scm database is configured correctly

則說明創建成功

若安裝 Oozie 等組件可能需要手動創建對應組件所需的數據庫，例如：

create database ooziecm DEFAULT CHARACTER SET utf8;
grant all on ooziecm.* TO 'ooziecm'@'%' IDENTIFIED BY 'ooziecm';

5、創建 Parcel 目錄

Manager 節點創建目錄/opt/cloudera/parcel-repo，執行：

mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

將下載好的文件（CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel、CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1、manifest.json）拷貝到該目錄下。

記得更改文件名：mv CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1 CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha

Agent 節點創建目錄/opt/cloudera/parcels，執行：

mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

6、啓動 CM Manager&Agent 服務

執行：
Manager：/opt/cloudera-manager/cm-5.14.2/etc/init.d/cloudera-scm-server start

所有節點，先啓動server再啓動agent，查看日誌

cd /opt/cloudera-manager/cm-5.14.2/log/cloudera-scm-server/

tail -f cloudera-scm-server.log

啓動大概要30分鐘左右，看到

INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server

Agents：/opt/cloudera-manager/cm-5.14.2/etc/init.d/cloudera-scm-agent start

看到OK說明啓動成功，啓動成功之後

瀏覽器輸入 node6:7180

或者

node6:7180/cmf/login

admin/admin 用戶名密碼登錄

CDH5安裝--以下是界面操作：

免費版本的CM5已經去除50個節點數量的限制

點擊繼續

各個agent節點正常啓動後，可以在當前管理的主機列表中看到對應的節點，選擇要安裝的節點，點繼續

接下來，出現以下包名，說明本地Parcel包配置無誤，直接點擊繼續即可

如果本地parcel包無誤，那麼下圖中的已下載，應該是瞬間就完成，然後耐心等待分配過程即可，大約10分鐘，取決於網速

接下來服務器檢查，可能遇到以下問題，針對所有節點解決

echo 0 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo 'echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag' >> /etc/rc.local