在運維hadoop的時候，經常會遇到一些性能問題。而性能問題，是無法簡單通過web頁面和log分析出來的。需要很多方面的指標。而Ganglia就是比較實用個監控工具之一。
部署Ganglia，百度一下，很多人已經分享很多。結合衆人的經驗。並加入自己安裝過程中遇到的問題，整理出本文。
1. 準備了2臺機器
Server 192.168.0.11(gmetad,web,gmond-master) Client 192.168.0.12(gmond)
2. Server端需要安裝的軟件包
● epel包的安裝：yum install -y epel-release(解決不能yum安裝某些安裝包的問題)
● gmetad的安裝：yum install -y ganglia-gmetad ganglia-devel
● gmond的安裝：yum install -y ganglia-gmond ganglia-gmond-python
● rrdtool的安裝：yum install -y rrdtool rrdtool-devel
● httpd服務器的安裝：yum install -y httpd
● ganglia-web及php安裝：yum install -y ganglia-web php
● 其他依賴包的安裝：yum install -y apr-devel zlib-devel libconfuse-devel expat-devel pcre-devel
3. 被監測節點需要安裝的軟件包
● epel包的安裝：yum install -y epel-release(解決不能yum安裝某些安裝包的問題)
● gmond的安裝：yum install -y ganglia-gmond ganglia-gmond-python
4. 安裝目錄說明
● ganglia配置文件目錄：/etc/ganglia
● rrd數據庫存放目錄：/var/lib/ganglia/rrds
● httpd主站點目錄：/var/www/html
● ganglia-web安裝目錄：/usr/share/ganglia
● ganglia-web配置目錄：/etc/httpd/conf.d/ganglia.conf
5. 關閉SELINUX
vi /etc/selinux/config 把SELINUX=enforcing改成SELINUX=disable； 需要重啓機器。
6. 關閉防火牆
# chkconfig iptables off # chkconfig iptables --list iptables 0:off 1:off 2:off 3:off 4:off 5:off 6:off
7. 配置/etc/ganglia/gmetad.conf
修改data_source，改成：
data_source "testcluster” 192.168.0.11:8650 #gmetad採集數據的目標gmond地址和端口(tcp_accept_channel)
8. 配置gmond
/etc/ganglia/gmond.conf，修改以下內容(這個gmond節點作爲收集節點，這個節點可以是多個，最後需要在gmetad.conf上進行配置)：
cluster {
name = "testcluster" #設置集羣的名稱
#owner = "unspecified"
latlong = "unspecified"
url = "unspecified"
}
#發送到目標gmond的地址和端口（單播）
udp_send_channel {
host=192.168.0.11
port = 8649
ttl = 1
}
#接收udp的端口
udp_recv_channel {
port = 8649
}
#gmetad如果過來收集數據請求的端口
tcp_accept_channel {
port = 8650
gzip_output = no
}9. 配置web
軟連接方式
>ln -s /usr/share/ganglia /var/www/ganglia
也可以將/usr/share/ganglia的內容直接複製到/var/www/ganglia
10. 修改/etc/httpd/conf.d/ganglia.conf，改成：
Alias /ganglia /usr/share/ganglia <Location /ganglia> Order deny,allow Allow from all </Location>
11. 啓動服務
#service gmetad start #service gmond start #service httpd restart
至此，Ganglia的server端已經部署完成。
配置客戶端：
12. 客戶端只要配置gmond即可(需要先安裝yum -y install ganglia-gmond ganglia-gmond-python)
/etc/ganglia/gmond.conf，修改以下內容(這個gmond節點作爲收集節點，這個節點可以是多個，最後需要在gmetad.conf上進行配置)：
cluster {
name = "testcluster" #設置集羣的名稱
#owner = "unspecified"
latlong = "unspecified"
url = "unspecified"
}
#發送到目標gmond的地址和端口（單播）
udp_send_channel {
host=192.168.248.130
port = 8649
ttl = 1
}
#接收udp的端口
udp_recv_channel {
port = 8649
}
#gmetad如果過來收集數據請求的端口
tcp_accept_channel {
port = 8650
gzip_output = no
}13. 配置HDFS、YARN集成Ganglia
修改hadoop-metrics2.properties
# for Ganglia 3.1 support *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31 *.sink.ganglia.period=10 # default for supportsparse is false *.sink.ganglia.supportsparse=true *.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both *.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40 namenode.sink.ganglia.servers=192.168.0.11:8649 # host請參考gmond.conf中的定義 datanode.sink.ganglia.servers=192.168.0.11:8649 resourcemanager.sink.ganglia.servers=192.168.0.11:8649 nodemanager.sink.ganglia.servers=192.168.0.11:8649 mrappmaster.sink.ganglia.servers=192.168.0.11:8649 jobhistoryserver.sink.ganglia.servers=192.168.0.11:8649 注意下面參數，如果不過來container的信息收集，可能會造成數據量過大，ganglia的磁盤空間迅速佔滿。 # Switch off container metrics *.source.filter.class=org.apache.hadoop.metrics2.filter.GlobFilter nodemanager.*.source.filter.exclude=*ContainerResource*
14. HBase集成Ganglia
修改hadoop-metrics2-hbase.properties
*.sink.file*.class=org.apache.hadoop.metrics2.sink.FileSink
# default sampling period
*.period=10
*.source.filter.class=org.apache.hadoop.metrics2.filter.GlobFilter
*.record.filter.class=${*.source.filter.class}
*.metric.filter.class=${*.source.filter.class}
hbase.sink.ganglia.record.filter.exclude=*Regions*
hbase.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
hbase.sink.ganglia.tagsForPrefix.jvm=ProcessName
*.sink.ganglia.period=20
hbase.sink.ganglia.servers=192.168.0.11:8649 # host請參考gmond.conf中的定義15. 拷貝配置文件到每一個需要監控的機器上
將hadoop-metrics2.properties拷貝到$HADOOP_HOME/etc/hadoop/目錄下
將hadoop-metrics2-hbase.properties拷貝到$HBASE_HOME/conf目錄下
重新啓動hadoop&hbase軟件，令其生效。
16. 啓動監控端的gmond
service gmond start
問題彙總：
客戶端已經有信息傳遞，能看到整體CPU load等信息
2. 但是各個節點的信息都是空的，顯示“no matching metrics detected or rrds not readable”
3. 查看RRDs信息
# cd /var/lib/ganglia/rrds
# ll
drwxr-xr-x 5 ganglia ganglia 4096 Jan 17 08:50 azcluster
drwxr-xr-x 2 ganglia ganglia 36864 Jan 17 10:59 __SummaryInfo__
4. 文件夾名是小寫的
# ll
drwxr-xr-x 2 ganglia ganglia 32768 Jan 17 10:58 azcbetadnl05.envazure.com
drwxr-xr-x 2 ganglia ganglia 4096 Jan 17 08:47 azcbetaldapl01.envazure.com
drwxr-xr-x 2 ganglia ganglia 36864 Jan 17 10:58 __SummaryInfo__
5. 數據都已經傳遞過來了
# ls azcbetadnl05.envazure.com/|more
boottime.rrd
bytes_in.rrd
bytes_out.rrd
cpu_aidle.rrd
disk_free_absolute_data1.rrd
disk_free_absolute_data2.rrd
disk_free_absolute_data3.rrd
disk_free_absolute_data4.rrd
disk_free_absolute_data5.rrd
disk_free_absolute_dev_shm.rrd
disk_free_absolute_mnt_resource.rrd
......
6. 原因：/var/lib/ganglia/rrds中對各個節點相應的文件夾是小寫，如果節點的hostname中包含大寫字母的話，這樣就發現找不到數據了。
解決方法：修改gmetad.conf，將case_sensitive_hostnames的值設置爲1
# ls /etc/ganglia/
drwxr-xr-x 2 root root 4096 Jan 17 08:36 conf.d
-rw-r--r-- 1 root root 171 Oct 12 2015 conf.php
-rw-r--r-- 1 root root 9834 Jan 17 08:44 gmetad.conf
-rw-r--r-- 1 root root 8756 Jan 17 08:45 gmond.conf
# vi gmetad.conf
# In earlier versions of gmetad, hostnames were handled in a case
# sensitive manner
# If your hostname directories have been renamed to lower case,
# set this option to 0 to disable backward compatibility.
# From version 3.2, backwards compatibility will be disabled by default.
# default: 1 (for gmetad < 3.2)
# default: 0 (for gmetad >= 3.2)
case_sensitive_hostnames 1 #設置爲1，則不會將大寫變成小寫
7. 修改完之後，到RRDs目錄下查看結果。
# cd /var/lib/ganglia/rrds/azcluster
沒有什麼變化
# ls -al
drwxr-xr-x 2 ganglia ganglia 32768 Jan 17 10:58 azcbetadnl05.envazure.com
drwxr-xr-x 2 ganglia ganglia 4096 Jan 17 08:47 azcbetaldapl01.envazure.com
drwxr-xr-x 2 ganglia ganglia 36864 Jan 17 10:58 __SummaryInfo__
8. 重啓gmetad，讓配置生效
# service gmetad restart Shutting down GANGLIA gmetad: [ OK ] Starting GANGLIA gmetad: [ OK ]
9. 可以看到大寫主機名的文件夾已經被創建
# ls -al drwxr-xr-x 2 ganglia ganglia 32768 Jan 18 02:09 azcbetadnl05.envazure.com drwxr-xr-x 2 ganglia ganglia 4096 Jan 18 02:10 AZcbetadnL05.envazure.com <<<<<< drwxr-xr-x 2 ganglia ganglia 4096 Jan 17 08:47 azcbetaldapl01.envazure.com drwxr-xr-x 2 ganglia ganglia 4096 Jan 18 02:10 AZcbetaLDAPL01.envazure.com <<<<<< drwxr-xr-x 2 ganglia ganglia 36864 Jan 18 02:09 __SummaryInfo__
10. 可以看到信息已經過來了
# ls -l AZcbetaLDAPL01.envazure.com -rw-rw-rw- 1 ganglia ganglia 630760 Jan 18 02:13 boottime.rrd -rw-rw-rw- 1 ganglia ganglia 630760 Jan 18 02:13 bytes_in.rrd -rw-rw-rw- 1 ganglia ganglia 630760 Jan 18 02:13 bytes_out.rrd -rw-rw-rw- 1 ganglia ganglia 630760 Jan 18 02:13 cpu_aidle.rrd
11. 再看看網頁顯示，已經正常了。
參考文檔
http://blog.csdn.net/sinat_18497785/article/details/52259757
https://www.cnblogs.com/hequn/articles/3490780.html