CDH hadoop 部署

1. 所有免密鑰登陸(all節點)(centos6 操作系統)

node01 2C  6G
node02 2C  2G
node03 2C  2G
2.node01 安裝數據庫 mysql5.5(node01節點)
https://blog.csdn.net/u012402177/article/details/82870433
root/123456
3.下載基礎的軟件(all 節點)
yum  -y  install  chkconfig python bind-utils psmisc libxslt  zlib sqlite cyrus-sasl-plain  cyrus-sasl-gssapi fuse  fuse-libs  redhat-lsb
/etc/init.d/ntpd  start  
解決agent啓動會有問題:
/opt/cloudera-manager/cm-5.4.3/lib64/cmf/agent/build/env/bin/python: error while loading shared libraries: libpython2.6.so.1.0: cannot open shared object file: No such file or directory
wget  http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tgz
tar -xzvf Python-2.6.6.tgz
cd  Python-2.6.6
./configure --prefix=/foo/python26 --enable-shared
make
make altinstall
sudo ln -s /foo/python26/lib/libpython2.6.so.1.0  /usr/lib/libpython2.6.so.1.0
4.clouderamanager安裝(server 和 agent節點都需要  all)
 mkdir /opt/cloudera-manager
 tar xvzf cloudera-manager*.tar.gz  -C /opt/cloudera-manager
5.添加用戶所有節點
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
6.修該所有agent節點的server的地址
/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中server_host
7.創建目錄
Server節點
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent節點
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
8.server節點製作源(文件放在如下路徑)
cd  /opt/cloudera/parcel-repo
[root@node01 parcel-repo]# 11
-rw-r--r-- 1 root root 1272629458 Oct 30 13:33 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel
-rw-r--r-- 1 root root         41 Oct 30 13:33 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha
-rw-r--r-- 1 root root      42625 Oct 30 13:32 manifest.json
9.配置CM數據庫  以及數據庫連接驅動
mkdir -p   /usr/share/java/
cd /usr/share/java/
cp -a  /root/install/mysql-connector-java-5.1.26-bin.jar   ./
mv  mysql-connector-java-5.1.26-bin.jar  mysql-connector-java.jar
創建庫(server端執行)
刪除mysql.user 裏面所有多餘的用戶 只剩一個管理員
grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
flush  privileges;
cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h node01 -utemp -ptemp --scm-host node01 scm scm scm
10.啓動服務
server端 node01
cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
./cloudera-scm-server start
agent  node01  node02  node03
 /opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent  restart

2.

1.png

3.

2.png

4.

3.png

5.

4.png

6.

5.png

7.

6.png

8.

7.png

9.

8.png

10.

9.png

11.

10.png

12.

11.png

13.

12.png

14.

13.png

15.

14.png

16.

15.png

17.

16.png

18.

17.png

19.

18.png

20.

20.png

21.

21.png

22.

22.png

23.

23.png

24.

10.png


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章