Cloudera Manager(簡稱CM)+CDH構建大數據平臺

一、Cloudera Manager介紹

Cloudera Manager(簡稱CM)是Cloudera公司開發的一款大數據集羣安裝部署利器，這款利器具有集羣自動化安裝、中心化管理、集羣監控、報警等功能，使得安裝集羣從幾天的時間縮短在幾小時以內，運維人員從數十人降低到幾人以內，極大的提高集羣管理的效率。所以爲了同學們能夠快速搭建該平臺，寫出以下教程僅供參考，有什麼不足之處請提出，加以改正。
開始之前其實有很多的工作要做，比如配置IP地址、關閉防火牆、配置SSH免密登錄等，這些都是比較常規的環境配置，這裏不再贅述，不懂者自行百度。
附上大數據“前世今生”的一篇文章給大家，希望大家對大數據有更多的瞭解，大數據的前世今生：誕生、發展、未來？

1.CM技術架構

CM架構.png

Agent：安裝在每臺主機上。該代理負責啓動和停止的過程，拆包配置，觸發裝置和監控主機。
Management Service：由一組執行各種監控，警報和報告功能角色的服務。
Database：存儲配置和監視信息。通常情況下，多個邏輯數據庫在一個或多個數據庫服務器上運行。例如，Cloudera的管理服務器和監控角色使用不同的邏輯數據庫。
Cloudera Repository：軟件由Cloudera 管理分佈存儲庫。
Clients：是用於與服務器進行交互的接口：
Admin Console ：基於Web的用戶界面與管理員管理集羣和Cloudera管理。
API ：與開發人員創建自定義的Cloudera Manager應用程序的API。

2.CM四大功能

1.管理：對集羣進行管理，如添加、刪除節點等操作。
2.監控：監控集羣的健康情況，對設置的各種指標和系統運行情況進行全面監控。
3.診斷：對集羣出現的問題進行診斷，對出現的問題給出建議解決方案。
4.集成：對hadoop的多組件進行整合。

3.分析表格

CM分析.png

4.本教程使用虛擬機配置

(根據自己的PC進行配置，CPU核心總數要等於PC總核心數，否則會出現線程串線的問題)

.	192.168.1.10(mini1)	192.168.1.11(mini2)	192.168.1.12(mini3)
角色	Server	Agent	Agent
cpu	雙核	單核	單核
內存	4G	3G	3G

二.服務器集羣時間同步

之所以要做服務器集羣的時間同步，我想大家應該不言而喻了吧，CM要求各個節點之間的時間不能夠相差太多，爲的就是保證集羣的統一管理和減少不必要的錯誤、麻煩。還有一個原因就是一般企業裏用到的服務器是不能夠連接外網的，所以第一步我們就開始做服務器集羣時間同步。

1.配置時間爲中國的時區

東部時間.png

EST是美國東部標準時間，不符合中國的時間，所以要把所有的服務器都改爲CST中部標準時間。

中部時間.png

2.ntp時間同步服務器安裝

這裏需要安裝一個時間主服務器，其它節點的時間分別去同步這臺時間主服務器，這樣就可以統一去管理時間了，ntp剛好提供了這一功能，其它的節點按照時間間隔進行不斷同步，達到時間一致的效果。
每臺服務器都需要安裝ntp，通過yum進行安裝。

yum install -y ntp

3.配置ntp

配置文件在/etc/ntp.conf，並進行編輯，修改以下三處：

ntp.conf

把第一處的註釋給去掉，並修改ip地址爲時間主服務器的地址。
把第二處的這幾行註釋掉，因爲不需要連接互聯網進行時間同步。
第三處是增加的兩行命令，需要本地與本地進行同步時間。

配置/etc/sysconfig/ntpd：
在文件末尾增加一條命令SYNC_CLOCK=yes

4.啓動ntp服務

啓動ntp.png

執行以上命令後，ntp服務就會啓動成功，並開啓了自啓動。

5.其它節點進行時間同步

其它節點也需要安裝ntp，然後執行命令：

crontab -e

添加一條命令：

同步命令.png

這條命令的意思是在0到59分鐘之間間隔1分鐘向ip地址服務器進行時間同步，*號代表任意小時、任意天、任意月、任意星期都執行。然後等待1分鐘後進行時間查看，看時間是否已經同步。
.

三、構建本地Cloudera yum源

因爲大部分公司的大數據服務器都是不允許連接外網的，所以需要建立本地的yum源來進行安裝CM。

1.主節點安裝http服務

執行命令yum install -y httpd
啓動httpd 執行命令service httpd start
在瀏覽器輸入網址：192.168.1.10回車，看是否啓動成功！

2.CM的tar包

下載CM的tar包，地址爲：鏈接
下載CM最新版本和對應的系統，本例下載的文件爲：

cm tar包.png
在/var/www/html文件目錄下創建一個文件夾cm-5.15.0
把下載下來的tar包放到該文件夾中，並進行解壓操作，解壓完成後刪除tar包。

3.創建本地源

安裝創建本地源的工具：yum install yum-utils createrepo
創建repo文件夾：createrepo /var/www/html/cm-5.15.0/
創建yum源映射文件：切換到/etc/yum.repos.d目錄下。
創建repo映射文件並進行編輯：touch myrepo.repo

myrepo.repo
複製該文件到所有的節點上。

四、設置SELINUX

編輯/etc/sysconfig/selinux文件，把把裏邊的一行改爲SELINUX=disabled，然後重啓就可以了。
.

五、安裝mysql數據庫

mysql數據安裝在哪都可以，只要能夠訪問到這個數據庫就可以，這裏不再詳細介紹如何安裝了，給個鏈接自行百度吧！鏈接
.

六、安裝Cloudera Manager

1.下載CM安裝文件並且進行配置(每臺服務器都要操作)

下載安裝文件並上傳到服務器/opt目錄下，並解壓：鏈接

CM安裝文件.png
修改文件/opt/cm-5.15.0/etc/cloudera-scm-agent/config.ini，指向server所在的服務器地址：
server_host=192.168.1.10
配置mysql數據庫(Server服務器操作)，進入/opt/cm-5.15.0/share/cmf/schema目錄下，執行以下命令：
./scm_prepare_database.sh mysql temp -h 192.168.1.3:3306 -uroot -proot --scm-h mini1 root root root
格式：數據庫類型、數據庫、數據庫服務器、用戶名、密碼、cm server服務器登錄名登錄密碼

2.下載CDH文件(Server服務器操作)

下載CDH安裝文件到CM的parcel包裏，就可以通過parcel包進行安裝CDH了，安裝和升級都更加的方便了。把下載好的2個文件放入到/opt/cloudera/parcel-repo目錄下。鏈接

CDH5.8.0.png

文件名中的el7代表CentOS7版本，如果是別的版本請下載其它的版本。

CM只能識別比自身版本低的CDH。
修改.sha1結尾的文件名爲.sha，這才能夠被CM識別。

3.檢查cloudera-manager-agent的yum安裝版本

執行yum info cloudera-manager-agent命令可以查看agent的版本，一定要與安裝CM的文件版本相一致，否則會安裝失敗。每臺機器上都要進行檢查。

agent版本.png

如果發現版本不一致，那就是製作本地yum倉庫的時候下載的文件版本不一致，重新安裝本地yum倉庫，並進行yum清除緩存，執行以下2條命令：
yum clean all
yum list
然後再次進行agent版本校驗(如果是已經安裝了agent，請先卸載掉)。

4.修改hosts文件

給每臺機器上的hosts文件加上一個server機器的bogon映射，CDH安裝時會用上，否則會報錯：

hosts映射.png

5.啓動server進行安裝CM

進入/opt/cm-5.15.0/etc/init.d目錄下，執行：
./cloudera-scm-server start
命令會很快執行完，但需要等比較久的時間纔會啓動完成，可以通過端口7180是否啓動或者通過瀏覽器輸入192.168.1.10:7180看是否能夠訪問，能夠彈出登錄界面就說明安裝CM成功了。用戶名和密碼初始都是admin

cloudera manager登錄界面.png

六、CM裏安裝CDH

1.登錄CM並按照步驟進行安裝

指定主機就是集羣的所有機器了。可以通過模式匹配來進行搜索。

指定主機.png

-選擇CDH版本爲自己下載的parcel版本

CDH版本.png

自定義存儲庫爲本地yum源。

本地yum源.png
按照提示勾選安裝jdk和啓用單用戶模式，輸入root用戶登錄密碼等，等待安裝完成(這裏需要的內存比較大，也比較卡，請耐心等待)。注意！！！這裏很容易發生錯誤，可以通過查看詳細信息定位錯誤位置，並根據該信息進行解決。

安裝界面.png
下步進行安裝parcel，這一步也要蠻久的時間去執行，請耐心等待，如果服務器滿負荷運行，需要進行清理後再查看狀態。
直到出現安裝成功頁面，並進入CM主頁，表示CM+CDH已經安裝成功！

CM主頁.png