hadoop集羣配置Ganglia監控

根據網友的介紹,簡單配置了一個集羣,用作記錄

我的集羣

hadoop1            192.168.1.151              gmetad 和 gmond

hadoop2            192.168.1.152              gmond

hadoop3            192.168.1.153              gmond

hadoop4            192.168.1.154              gmond

hadoop1 監控4臺虛擬機


1.先配置下 yum 源,一些 yum 源沒有 ganglia 所需要的包,妥妥滴要 EPEL

rpm -Uvhhttp://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm


2.安裝 ganglia 所需要的包

         ganglia 服務器

         yum install rrdtool ganglia-gmetad ganglia-gmond ganglia-web httpd php

        注意:這裏因爲有依賴關係,最好不安裝 ganglia-gmetad,因爲安裝 ganglia-web 會自動安裝,如果出錯,請看錯去列表


         ganglia 客戶端

         yum install ganglia-gmond


3.安裝好了就是配置,我列出我的配置,參考下

        Ganglia 服務器

        # gedit /etc/ganglia/gmetad.conf  

        data_source "hadoopcluster" hadoop1  hadoop2  hadoop3  hadoop4

        ---- hadoopcluster爲cluster名稱,後面是需要監控的主機


        # gedit /etc/httpd/conf.d/ganglia.conf  

        主要是修改  Deny  from  all  爲  Allow  from  all


         Ganglia 客戶端


 這個文件  四個  gmond 結點 都一樣 簡單暴力       

#vi /etc/ganglia/gmond.conf 

cluster {  

         name = "hadoopcluster"------ cluster名稱,是你在gmetad.conf裏配置的data_source名稱  

         owner = "unspecified"  

         latlong = "unspecified" 

url = "unspecified"  

}  

  udp_send_channel {  

        #mcast_join = 239.2.11.71 ----- 組播  

        host = 192.168.1.151 -------------- 單播  指定 gmetad 主機

        port = 8649  

        ttl = 1  

}  

  

udp_recv_channel {  

        #mcast_join = 239.2.11.71  

        port = 8649  

bind = 192.168.1.151 ------------- 指定 gmond 主機, 注意:這點在不同的 gmond 結點上不一樣,對應各自的IP

}  


4.最好把 selinux 關閉,實際工作中感覺還是不要這樣的好,開放 端口即可

            gedit  /etc/selinux/config

            SELINUX=disabled

    四個結點都搞一遍,全部重啓


5.啓動服務  

  root @ hadoop1 #  service gmetad start

  root @ hadoop1 #  service gmond start

  root @ hadoop1 #  service httpd start

service gmetad status  沒個都看一遍有沒有啓動

其他 gmond 結點  啓動  gmond 即可


6.訪問   hadoop1/ganglia  ,看看頁面可不可以出來,如圖Ganglia監控截圖


7.錯誤列表,鑑於運氣好,錯誤幾乎沒有,等慢慢的記錄吧

(1)There was an error collecting ganglia data (127.0.0.1:8652):fsockopen error: Connection refused 解決辦法

         卸載yum remove ganglia-web ganglia-gmetad

         重新安裝yum install ganglia-web    ----- ganglia-web本身有引用gmetad,這裏就不需要安裝ganglia-gmetad了,不過卸載了重裝,當然要重新配置

         啓動兩個進程即可



下面是Ganglia-3.6.0的安裝配置

參考  http://www.linuxidc.com/Linux/2014-01/95804p2.htm

由於安裝好HTTPD後 /etc /httpd /conf /http.conf 默認的用戶用戶組都是  apache 這點要注意,在gmetad 中設置  setuid_username "apache"  gmond中也設置user 爲 apache   ,/var/lib/ganglia/rrd 的用戶用戶組都爲apache

Of course, If you change user or group in /etc/httpd/conf/http.conf ,You should modify other configures too.I use yum to install my httpd,if you use the file of tar.gz to install by youself,you can customize you path to save http.conf


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章