一、Cloudera Manager介紹
Cloudera Manager(簡稱CM)是Cloudera公司開發的一款大數據集羣安裝部署利器,這款利器具有集羣自動化安裝、中心化管理、集羣監控、報警等功能,使得安裝集羣從幾天的時間縮短在幾小時以內,運維人員從數十人降低到幾人以內,極大的提高集羣管理的效率。所以爲了同學們能夠快速搭建該平臺,寫出以下教程僅供參考,有什麼不足之處請提出,加以改正。
開始之前其實有很多的工作要做,比如配置IP地址、關閉防火牆、配置SSH免密登錄等,這些都是比較常規的環境配置,這裏不再贅述,不懂者自行百度。
附上大數據“前世今生”的一篇文章給大家,希望大家對大數據有更多的瞭解,大數據的前世今生:誕生、發展、未來?
1.CM技術架構
CM架構.png
Agent:安裝在每臺主機上。該代理負責啓動和停止的過程,拆包配置,觸發裝置和監控主機。
Management Service:由一組執行各種監控,警報和報告功能角色的服務。
Database:存儲配置和監視信息。通常情況下,多個邏輯數據庫在一個或多個數據庫服務器上運行。例如,Cloudera的管理服務器和監控角色使用不同的邏輯數據庫。
Cloudera Repository:軟件由Cloudera 管理分佈存儲庫。
Clients:是用於與服務器進行交互的接口:
Admin Console :基於Web的用戶界面與管理員管理集羣和Cloudera管理。
API :與開發人員創建自定義的Cloudera Manager應用程序的API。
2.CM四大功能
1.管理:對集羣進行管理,如添加、刪除節點等操作。
2.監控:監控集羣的健康情況,對設置的各種指標和系統運行情況進行全面監控。
3.診斷:對集羣出現的問題進行診斷,對出現的問題給出建議解決方案。
4.集成:對hadoop的多組件進行整合。
3.分析表格
CM分析.png
4.本教程使用虛擬機配置
(根據自己的PC進行配置,CPU核心總數要等於PC總核心數,否則會出現線程串線的問題)
. | 192.168.1.10(mini1) | 192.168.1.11(mini2) | 192.168.1.12(mini3) |
---|---|---|---|
角色 | Server | Agent | Agent |
cpu | 雙核 | 單核 | 單核 |
內存 | 4G | 3G | 3G |
.
二.服務器集羣時間同步
之所以要做服務器集羣的時間同步,我想大家應該不言而喻了吧,CM要求各個節點之間的時間不能夠相差太多,爲的就是保證集羣的統一管理和減少不必要的錯誤、麻煩。還有一個原因就是一般企業裏用到的服務器是不能夠連接外網的,所以第一步我們就開始做服務器集羣時間同步。
1.配置時間爲中國的時區
東部時間.png
EST是美國東部標準時間,不符合中國的時間,所以要把所有的服務器都改爲CST中部標準時間。
中部時間.png
2.ntp時間同步服務器安裝
這裏需要安裝一個時間主服務器,其它節點的時間分別去同步這臺時間主服務器,這樣就可以統一去管理時間了,ntp剛好提供了這一功能,其它的節點按照時間間隔進行不斷同步,達到時間一致的效果。
每臺服務器都需要安裝ntp,通過yum進行安裝。
yum install -y ntp
3.配置ntp
- 配置文件在/etc/ntp.conf,並進行編輯,修改以下三處:
ntp.conf
- 把第一處的註釋給去掉,並修改ip地址爲時間主服務器的地址。
- 把第二處的這幾行註釋掉,因爲不需要連接互聯網進行時間同步。
- 第三處是增加的兩行命令,需要本地與本地進行同步時間。
- 配置/etc/sysconfig/ntpd:
在文件末尾增加一條命令SYNC_CLOCK=yes
4.啓動ntp服務
啓動ntp.png
執行以上命令後,ntp服務就會啓動成功,並開啓了自啓動。
5.其它節點進行時間同步
其它節點也需要安裝ntp,然後執行命令:
crontab -e
添加一條命令:
同步命令.png
這條命令的意思是在0到59分鐘之間間隔1分鐘向ip地址服務器進行時間同步,*號代表任意小時、任意天、任意月、任意星期都執行。然後等待1分鐘後進行時間查看,看時間是否已經同步。
.
三、構建本地Cloudera yum源
因爲大部分公司的大數據服務器都是不允許連接外網的,所以需要建立本地的yum源來進行安裝CM。
1.主節點安裝http服務
- 執行命令yum install -y httpd
- 啓動httpd 執行命令service httpd start
- 在瀏覽器輸入網址:192.168.1.10回車,看是否啓動成功!
2.CM的tar包
-
下載CM的tar包,地址爲:鏈接
下載CM最新版本和對應的系統,本例下載的文件爲:cm tar包.png
-
在/var/www/html文件目錄下創建一個文件夾cm-5.15.0
-
把下載下來的tar包放到該文件夾中,並進行解壓操作,解壓完成後刪除tar包。
3.創建本地源
-
安裝創建本地源的工具:yum install yum-utils createrepo
-
創建repo文件夾:createrepo /var/www/html/cm-5.15.0/
-
創建yum源映射文件:切換到/etc/yum.repos.d目錄下。
創建repo映射文件並進行編輯:touch myrepo.repomyrepo.repo
-
複製該文件到所有的節點上。
四、設置SELINUX
編輯/etc/sysconfig/selinux文件,把把裏邊的一行改爲SELINUX=disabled,然後重啓就可以了。
.
五、安裝mysql數據庫
mysql數據安裝在哪都可以,只要能夠訪問到這個數據庫就可以,這裏不再詳細介紹如何安裝了,給個鏈接自行百度吧!鏈接
.
六、安裝Cloudera Manager
1.下載CM安裝文件並且進行配置(每臺服務器都要操作)
-
下載安裝文件並上傳到服務器/opt目錄下,並解壓:鏈接
CM安裝文件.png
-
修改文件/opt/cm-5.15.0/etc/cloudera-scm-agent/config.ini,指向server所在的服務器地址:
server_host=192.168.1.10 -
配置mysql數據庫(Server服務器操作),進入/opt/cm-5.15.0/share/cmf/schema目錄下,執行以下命令:
./scm_prepare_database.sh mysql temp -h 192.168.1.3:3306 -uroot -proot --scm-h mini1 root root root
格式:數據庫類型、數據庫、數據庫服務器、用戶名、密碼、cm server服務器 登錄名 登錄密碼
2.下載CDH文件(Server服務器操作)
下載CDH安裝文件到CM的parcel包裏,就可以通過parcel包進行安裝CDH了,安裝和升級都更加的方便了。把下載好的2個文件放入到/opt/cloudera/parcel-repo目錄下。鏈接
CDH5.8.0.png
文件名中的el7代表CentOS7版本,如果是別的版本請下載其它的版本。
- CM只能識別比自身版本低的CDH。
- 修改.sha1結尾的文件名爲.sha,這才能夠被CM識別。
3.檢查cloudera-manager-agent的yum安裝版本
執行yum info cloudera-manager-agent命令可以查看agent的版本,一定要與安裝CM的文件版本相一致,否則會安裝失敗。每臺機器上都要進行檢查。
agent版本.png
如果發現版本不一致,那就是製作本地yum倉庫的時候下載的文件版本不一致,重新安裝本地yum倉庫,並進行yum清除緩存,執行以下2條命令:
yum clean all
yum list
然後再次進行agent版本校驗(如果是已經安裝了agent,請先卸載掉)。
4.修改hosts文件
給每臺機器上的hosts文件加上一個server機器的bogon映射,CDH安裝時會用上,否則會報錯:
hosts映射.png
5.啓動server進行安裝CM
進入/opt/cm-5.15.0/etc/init.d目錄下,執行:
./cloudera-scm-server start
命令會很快執行完,但需要等比較久的時間纔會啓動完成,可以通過端口7180是否啓動或者通過瀏覽器輸入192.168.1.10:7180看是否能夠訪問,能夠彈出登錄界面就說明安裝CM成功了。用戶名和密碼初始都是admin
cloudera manager登錄界面.png
六、CM裏安裝CDH
1.登錄CM並按照步驟進行安裝
-
指定主機就是集羣的所有機器了。可以通過模式匹配來進行搜索。
指定主機.png
-選擇CDH版本爲自己下載的parcel版本
CDH版本.png
-
自定義存儲庫爲本地yum源。
本地yum源.png
-
按照提示勾選安裝jdk和啓用單用戶模式,輸入root用戶登錄密碼等,等待安裝完成(這裏需要的內存比較大,也比較卡,請耐心等待)。注意!!!這裏很容易發生錯誤,可以通過查看詳細信息定位錯誤位置,並根據該信息進行解決。
安裝界面.png
-
下步進行安裝parcel,這一步也要蠻久的時間去執行,請耐心等待,如果服務器滿負荷運行,需要進行清理後再查看狀態。
-
直到出現安裝成功頁面,並進入CM主頁,表示CM+CDH已經安裝成功!
CM主頁.png
作者:mantch
鏈接:https://www.jianshu.com/p/1ed522c1ad1e
來源:簡書
著作權歸作者所有。商業轉載請聯繫作者獲得授權,非商業轉載請註明出處。