Hadoop - 企業級大數據管理平臺CDH(安裝Hadoop組件) 原 薦

當我們已經把cm-service和cm-agent安裝完成之後,接下來我們就要到最重要的部分了,安裝Hadoop組件

附上:

喵了個咪的博客:w-blog.cn

cloudera官網: https://www.cloudera.com/

官方文檔地址: https://www.cloudera.com/documentation/enterprise/latest.html

一 , 主機agent安裝配置

接着上篇文章的頁面點擊下一步:

填入主機的名稱或在已託管主機選擇一下主機

cm
master-1
master-2
slave-1
slave-2
slave-3

下一步選擇我們之前下載好的parcel

等待系統自動分發

完成之後在進行下一步

檢查集羣正確性

以上的幾個提示不解決也可以,爲了美觀我們還是處理掉上面的問題

用戶和用戶組

useradd cloudera-scm

swappiness

echo 10 > /proc/sys/vm/swappiness

透明頁面

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

點擊頁面頭部的重新運行,我們就得到一個乾淨的主機檢查了

二, 大數據組件安裝

主要組件分佈

cm           cloudManageService   oozie  HUE
master-1     Zookeeper  NameNode  HbaseMaster  YARN  HiveMetastore  
master-2     Zookeeper  NameNode  HbaseMaster  YARN  HiveMetastore 
slave-1      Zookeeper  DataNode  HbaseRegion  NodeManger
slave-2      Zookeeper  DataNode  HbaseRegion  NodeManger
slave-3      Zookeeper  DataNode  HbaseRegion  NodeManger

選擇創建集羣:

勾選我們需要的組件

對組件中的各個實例修改安裝的主機實例

PS:如果大家發現安裝完成之後有組件掛掉,並且不能解決可以嘗試減少安裝的組件數量,比如oozie和hue可以在後面安裝,先安裝好核心組件

數據庫配置(先去MYSQL創建好對應的數據庫)

配置修改(先使用默認配置)

開始安裝運行組件

愉快的開始使用了

三 , HUE load balancer 啓動失敗問題解決

需要先安裝一下下面兩個包之後在重啓

yum install httpd mod_ssl