CDH-6.2在CentOS7安裝虛擬機集羣（超詳細筆記，可虛擬機無網絡安裝）

前言

環境：
VMware-15
CentOS-7
CM-6.2
CDH-6.2
JDK-1.8

網盤鏈接下載CM、CDH、Docker等配置

鏈 接

提取碼：9nw1

CDH-6.2組件版本彙總：

---

1. 虛擬機集羣安裝

注意：非常重要，博主的linux主機名稱帶有下劃線，安裝CDH的主機名是不能帶下劃線的，所以你的主機名不要帶下劃線。。。博主下面的圖片帶了下劃線請忽略。

博主將搭建三臺虛擬機集羣，配置說明：
主節點：12G內存，70G硬盤。
子節點1、2：5G內存，70G硬盤。

VMware和CentOS的安裝可以參考博主的另一篇文章：
VMware 搭建CentOS集羣

注：上面鏈接博客中有Hadoop的安裝，跳過即可。最終的結果是三臺主機都安裝了JDK，免密

完全配置成功的實例：

---

2. 設置本地yum倉庫

1. 主節點創建/disk，並上傳ISO鏡像：
   
2. 掛載鏡像
   
   
3. 修改yum源
   
   在CentOS-Media.repo中做如下修改：
   
   更新yum源：
   最後一條命令有數字則成功。
   
4. 安裝http服務

# 安裝http
yum -y install httpd

# 啓動
systemctl start httpd.service

# 開機自啓
systemctl enable httpd.service

可以在Windows下測試能不能訪問：

5. 創建網絡軟件倉庫目錄
默認應該已經創建，如果未創建則創建。

mkdir -p /var/www/html/

6. 安裝createrepo

yum -y install createrepo

7. 將本地掛載的鏡像拷貝到軟件倉庫

cp -r /media/CentOS/ /var/www/html/

8. repodata更新
   
   查看頁面：
   
9. 取消掛載
   
10. 將鏡像源設置爲剛纔創建的網絡鏡像
    
    CentOS-Media.repo 修改baseurl，地址爲你當前Linux的IP：
    
11. 再次更新yum源緩存
    

---

3. 創建CM和CDH網絡鏡像

1. 創建CM網絡鏡像
   將cm6.2上傳到/var/www/html
   
   頁面查看：
   

2. 創建CDH網絡鏡像
   將cdh6.2上傳到/var/www/html
   
   頁面查看：(Kafka可以不上傳)
   

3. 子節點掛載網絡鏡像
   將主節點的CentOS-Media.repo 複製到子節點：
   

分別在子節點更新yum緩存：

6. 關閉防火牆

systemctl stop firewalld.service
systemctl disable firewalld.service

7. 增加開啓自啓項
   主節點執行：

vim /etc/rc.local

添加如下內容：

echo 0 > /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
swapoff -a

複製到子節點：

8. 安裝ntp 時間服務
   主機節點作爲時間服務器，子節點同步主節點。
   所有節點都需要執行yum -y install ntp：
   
   所有節點啓動，並設置開機啓動：
   
   主節點（不包括子節點）配置時間服務器：

vim /etc/ntp.conf

做如下修改：紅圈示做了修改的地方

主節點重啓ntpd服務：

systemctl restart ntpd.service

子節點（兩個子節點）的配置：

重啓ntp 服務。

子節點手動進行時間同步：


三臺節點都設置開機啓動ntp：

systemctl enable ntpd

三臺機器修改句柄數限制

vim /etc/security/limits.conf ，文件末尾添加：

* soft nofile 100000
* hard nofile 100000

重啓所有虛擬機。。。

9. 主節點安裝MySQL
   注意：
   如果對Hive不需要可以不安裝MySQL。
   如果使用CDH嵌入式數據庫可以不安裝MySQL。

安裝教程（根據需要選擇其一即可）：

Docker腳本安裝MySQL

CentOS本地離線安裝MySQL

---

4. CM安裝（主節點執行）

1. 複製repo

cp /var/www/html/cm6.2/cloudera-manager.repo /etc/yum.repos.d/

2. 修改cloudera-manager.repo
   
   將修改後，如下圖：(路徑就是配置本地的網絡源)
   

3. 查看repo源
   
   備份，因爲安裝CDH失敗會修改這個文件：
   
   複製到子節點：（雖然博主不知道不復制是否會出現問題，保險起見還是複製）
   

4. 安裝CM
   複製安裝文件到/opt，賦予執行權限，並執行：
   
   （回車）點擊Next（兩次）：
   
   點擊Yes：
   
   點擊No（不安裝JDK），這裏點擊Yes（後面修改爲我們自己安裝的JDK）：
   
   等待安裝完成：
   
   安裝成功：
   

查看是否開啓服務：

頁面訪問192.168.1.110:7180：（服務可能需要一段時間啓動，需要等幾分鐘）
用戶名和密碼都爲：admin

進入安裝界面：

選擇免費：

設置集羣名稱：

搜索子節點：

修改CDH地址，點擊更多選項：

刪除多餘的，設置爲我們的本地網絡地址：

點擊繼續：

jdk分發，主節點已經安裝了jdk，需要分發到子節點：

scp -r /usr/java/ gp_guyt_2:/usr/
scp -r /usr/java/ gp_guyt_3:/usr/

因爲分發過jdk，所以不選擇安裝jdk：

密碼設置：密碼是主節點root用戶的密碼

等待安裝：

安裝完成，分發包中：

注意：這裏一定要點擊第二個選項（點擊第一個可能會不能安裝HOST MONITOR服務）

自定義：

注意：Cloudera Management Service是必不可少的服務，這裏安裝在主節點：

數據庫設置，無其他需要可以選擇默認嵌入式，博主選擇主機的MySQL：
MySQL的安裝在第三大節的第9點有安裝教程。。。
如果使用MySQL需要下載JDBC驅動：
選擇合適版本：https://mvnrepository.com/artifact/mysql/mysql-connector-java
上傳，並複製到/usr/share/java/ 目錄下：

配置參數，並測試，成功後繼續下一步：

路徑設計默認即可：

如果安裝報錯，修改/dfs 權限，然後點擊Resume重試安裝：


安裝成功，繼續下一步：

其他組件同理添加即可，相關配置可以根據需要進行設置。

完！