大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)

部署主節點以及安裝服務請看上
http://blog.51cto.com/6989066/2173573

(八)節點的擴展(以HDFS爲例)
① 從節點的準備工作
安裝一臺新的Linux
從節點只需要安裝l Server With GUI
l Development Tools,不需要安裝MariaDB Server

關閉防火牆
systemctl stop firewalld.service
systemctl disable firewalld.service
配置主機名:編輯/etc/hosts文件(主節點也需要加入從節點的信息)
配置免密碼登錄(各個節點之間,都需要配置)
安裝JDK
掛載光盤:mount /dev/cdrom /mnt
刪除原來的所有repo文件
創建yum的源文件: vi /etc/yum.repos.d/my.repo
[centos-yum]
baseurl=file:///mnt
enabled=1
gpgcheck=0
開啓NTP服務
所有節點都需要操作
yum install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd
在新節點上創建目錄:mkdir -p /var/lib/ambari-agent/data
② 添加一個新的節點,如下圖所示:
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)
PS:截圖的時候所有Ambari服務已經停了,所以有很多alerts
③ 配置新節點的主機信息和私鑰文件
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)
主機名與linux虛擬機host保持一致
私鑰在.ssh/id_rsa目錄,可用cat .ssh/id_rsa.pub查看大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)
④ 確認主機信息
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)![]
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)
⑤ 部署一個新的DataNode到新的節點
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)
⑥ 確認部署信息,並部署
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)
⑦ 部署成功,並在從節點上執行jps命令檢查新的DataNode

大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)

九)啓用HA(以NameNode爲例)
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)

① 按照上一節的步驟,在集羣中再添加一個新的節點,並部署DataNode。
② 將ZooKeeper服務部署到三個節點上,並啓動。
選擇:“Service Actions” ---> “Add ZooKeeper Server”
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)
③ 重啓所有的ZooKeeper服務
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)

注意:如果遇到有的節點無法啓動,在Console上重啓所有的服務。正常情況下,應該是所有服務都能正常啓動。
④ 爲HDFS NameNode添加HA的服務
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)

⑤ 輸入一個NameService
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)

⑥ 配置NameNode HA

大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)

⑦ 檢查配置信息
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)

⑧ 需要手動配置的內容,執行下面的命令:
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)

1.Login to the NameNode host mydemo71.
2.Put the NameNode in Safe Mode (read-only mode):
a)sudo su hdfs -l -c 'hdfs dfsadmin -safemode enter'

3.Once in Safe Mode, create a Checkpoint:
a)sudo su hdfs -l -c 'hdfs dfsadmin -saveNamespace'

4.You will be able to proceed once Ambari detects that the NameNode is in Safe Mode and the Checkpoint has been created successfully.

⑨ 開始進行HA的配置:
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)

⑩ 需要手動配置的內容,執行下面的命令:
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)

sudo su hdfs -l -c 'hdfs namenode -initializeSharedEdits'
⑪ 啓動HA
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)

⑫ 需要手動配置的內容,執行下面的命令:
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)

大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)

⑬ 進行最後的安裝配置
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)

⑭ 驗證HA:(非必需步驟)如果一個NameNode宕機,驗證是否會進行自動的切換。大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)

(十)刪除節點和服務(非必要步驟,有實際需求時再刪除)

(1)停止要刪除節點(hdp23)上的所有服務
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)

大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)

大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)

(3)刪除HDFS、Yarn、MapReduce2服務
(4)刪除節點hdp22,只保留hdp21
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)![]

(5)停止所有服務,並將hdp21的內存改爲8g(可選步驟)
注意:由於需要重啓虛擬機,一定要重新掛載光盤

6)重新部署HDFS、Yarn、MapReduce2服務。注意清空下面的目錄:
namenode /root/training/bigdata/namenode
datanode /root/training/bigdata/datanode
yarn.nodemanager.local-dirs /root/training/bigdata/nodemanager/local
yarn.nodemanager.log-dirs /root/training/bigdata/nodemanager/log
所有密碼 password

十一)安裝部署其他服務(內存8g)
注意:一定保證httpd service和yum的源可用。
(1)部署Hive和Pig
注意:
Hive的執行引擎需要選擇:MapReduce,如下圖
大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)

大數據之搭建HDP環境,以三個節點爲例(下——擴展節點,刪除節點,以及部署其他服務)
(2)部署Flume和Sqoop:很簡單。
(3)部署Spark:很簡單。
(4)部署Kafka:很簡單。
(5)部署Storm:很簡單。
(6)部署Mahout:很簡單。

到這裏HDP的部署工作就完成了,如果你有任何意見或者建議,歡迎你在下方留言。
如果這篇博客有幫到你,歡迎你點個贊哦!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章