一、告警系統主腳本
我們要養成習慣，把shell腳本放到/usr/local/sbin/目錄下，方便我們查找
[root@linux-01 ~]# cd /usr/local/sbin/
[root@linux-01 sbin]# mkdir mon
[root@linux-01 sbin]# cd mon/
[root@linux-01 mon]# mkdir bin conf shares log mail
[root@linux-01 mon]# cd bin/ //主腳本放到bin目錄下，主腳本作爲入口，需要判斷配置文件，查看xx監控項目是否需要監控，去調取各個需要監控的子腳本
[root@linux-01 bin]# vim main.sh
#!/bin/bash
#Written by aming.
#是否發送郵件的開關
export send=1
#過濾ip地址
export addr=/sbin/ifconfig |grep -A1 "ens33: "|awk '/inet/ {print $2}'
dir=pwd
#只需要最後一級目錄名
last_dir=echo $dir|awk -F'/' '{print $NF}'
#下面的判斷目的是，保證執行腳本的時候，我們在bin目錄裏，不然監控腳本、郵件和日>志很有可能找不到
if [ $last_dir == "bin" ] || [ $last_dir == "bin/" ]; then
conf_file="../conf/mon.conf"
else
echo "you shoud cd bin dir"
exit
fi
exec 1>>../log/mon.log 2>>../log/err.log
echo "date +"%F %T" load average"
/bin/bash ../shares/load.sh
#先檢查配置文件中是否需要監控502
if grep -q 'to_mon_502=1' $conf_file; then
export log=grep 'logfile=' $conf_file |awk -F '=' '{print $2}' |sed 's/ //g'
/bin/bash ../shares/502.sh
fi
//腳本解釋：export send=1，這裏send定義爲1，以下所有監控都會發郵件告警，如果系統處於維護狀態，我們需要把告警先暫停下，讓它不發告警郵件，但是監控還是正常，引用export意味着send這個變量和應用在所有的子腳本里面；
export addr中addr的目的是告訴我們發郵件的是哪個機器，分佈式不需要客戶端，每臺機器獨立運行，export addr=/sbin/ifconfig |grep -A1 "ens33: "|awk '/inet/ {print $2}' 這裏需要注意，網卡名稱注意要修改爲自己機器上的網卡名稱；
dir=pwd 查看下當前路徑；
last_dir=echo $dir|awk -F'/' '{print $NF}'表示過濾出最後一行目錄；
if [ $last_dir == "bin" ] || [ $last_dir == "bin/" ]; then
conf_file="../conf/mon.conf"
else
echo "you shoud cd bin dir"
exit
fi //這一段判斷是否在bin目錄下，必須在bin目錄下才能執行mail.sh腳本；
exec 1>>../log/mon.log 2>>../log/err.log輸出正確日誌和錯誤日誌；
echo "date +"%F %T" load average"標記時間，求出系統負載，因爲系統負載是每臺機器必須監控的項目，我們可以把這一項放到主腳本中；
/bin/bash ../shares/load.sh 主腳本中調用子腳本
二、告警系統配置文件
[root@linux-01 mon]# cd /usr/local/sbin/mon/conf
[root@linux-01 conf]# vim mon.conf
##to config the options if to monitor
##定義mysql的服務器地址、端口以及user、password
to_mon_cdb=0 ##0 or 1, default 0,0 not monitor, 1 monitor
db_ip=10.20.3.13
db_port=3315
db_user=username
db_pass=passwd
#httpd 如果是1則監控，爲0不監控
to_mon_httpd=0
#php 如果是1則監控，爲0不監控
to_mon_php_socket=0
#http_code_502 需要定義訪問日誌的路徑
to_mon_502=1
logfile=/data/log/xxx.xxx.com/access.log
#request_count 定義日誌路徑以及域名
to_mon_request_count=0
req_log=/data/log/www.discuz.net/access.log
domainname=www.discuz.net
//腳本解釋：to_mon_cdb=0 是否監控cdb數據庫，如果監控就是1，不監控就是0，在主腳本中會過濾這個數字，如果是1，就會執行這個子腳本，如果是0，就不執行子腳本；
要想使自己的腳本兼容性很強，需要把各個日誌文件載入到配置文件裏，這樣修改起來很方便；
三、告警系統監控項目
[root@linux-01 conf]# cd /usr/local/sbin/mon/shares/ //把監控項目放到shares路徑下
1、系統負載腳本：load.sh
[root@linux-01 shares]# vim load.sh
#! /bin/bash
##Writen by aming##
load=uptime |awk -F 'average:' '{print $2}'|cut -d',' -f1|sed 's/ //g' |cut -d. -f1
if [ $load -gt 10 ] && [ $send -eq "1" ]
then
echo "$addr date +%T load is $load" >../log/load.tmp
/bin/bash ../mail/mail.sh [email protected] "$addr_load:$load" cat ../log/load.tmp
fi
echo "date +%T load is $load"
//腳本解釋：
[root@linux-01 shares]# uptime |awk -F 'average:' '{print $2}'|cut -d',' -f1|sed 's/ //g' |cut -d. -f1
0 //使用這個命令可以查看到load的值；
if [ $load -gt 10 ] && [ $send -eq "1" ]判斷系統負載是否高於指定的閾值10並且send開關等於1；
echo "$addr date +%T load is $load" >../log/load.tmp 輸出一條日誌，顯示機器IP，時間，負載是多少，其中../log/load.tmp 是發郵件用到；
/bin/bash ../mail/mail.sh [email protected] "$addr_load:$load" cat ../log/load.tmp會調用mail.sh和mail.py腳本，發送郵件；<br/>echo "date +%T` load is $load"記錄一條日誌
2、502狀態碼腳本：
[root@linux-01 shares]# vim 502.sh
#! /bin/bash
d=date -d "-1 min" +%H:%M
c_502=grep :$d: $log |grep ' 502 '|wc -l
if [ $c_502 -gt 10 ] && [ $send == 1 ]; then
echo "$addr $d 502 count is $c_502">../log/502.tmp
/bin/bash ../mail/mail.sh $addr_502 $c_502 ../log/502.tmp
fi
echo "date +%T 502 $c_502"
//腳本解釋：
d=date -d "-1 min" +%H:%M
c_502=grep :$d: $log |grep ' 502 '|wc -l 截取系統一分鐘之前的數據；
/bin/bash ../mail/mail.sh $addr_502 $c_502 ../log/502.tmp調用mail.sh腳本，mail.sh指定發送給誰，發送的主題、內容
3、磁盤監控腳本：
[root@linux-01 shares]# vim disk.sh
#! /bin/bash
##Writen by aming##
rm -f ../log/disk.tmp
for r in df -h |awk -F '[ %]+' '{print $5}'|grep -v Use
do
if [ $r -gt 90 ] && [ $send -eq "1" ]
then
echo "$addr date +%T disk useage is $r" >>../log/disk.tmp
fi
if [ -f ../log/disk.tmp ]
then
df -h >> ../log/disk.tmp
/bin/bash ../mail/mail.sh $addr_disk $r ../log/disk.tmp
echo "date +%T disk useage is nook"
else
echo "date +%T disk useage is ok"
fi
//腳本解釋：
思路：把所有的磁盤挨個看下
這個命令查看的是已用的百分比，沒有%符號
[root@linux-01 shares]# echo "12:aa#sdfgh:11#333" |awk -F '[:#]' '{print $3}' //冒號和#做分隔符，截取第三段字符串
sdfgh //這個就是截取出來的第三段字符串
[root@linux-01 shares]# echo "12:aa#sdfgh:11#333" |awk -F '[:#]' '{print NF}' //查看有幾段
5
如果多加一個#，它判斷出來的就是6段字符串，但是加一個+，它判斷出來的就是5段
if [ $r -gt 90 ] && [ $send -eq "1" ]判斷當磁盤已用百分比大於等於90就發郵件了