sarg對squid的日誌流量分析報表(按小時,天,周生成)
1.SARG介紹
SARG的全稱是：Squid Analysis Report Generator
SARG非常好用的Squid日誌分析工具,它輸出html格式，可以詳細列出了每一位用戶訪問internet的站點信息，時間佔用信息，排名，連接次數，訪問量，訪問量等。
軟件的主頁：http://sarg.sourceforge.net/sarg.php 目前最新的版本是sarg-2.2.5
2、安裝
下載了sarg的最新安裝包執行以下的操作進行安裝：
解壓縮安裝軟件包
#tar zxvf sarg-sarg-2.2.5..tar.gz #cd sarg-sarg-2.2.5 #./configure #make #make install
這樣，就完成了sarg的安裝編譯前一定要有相關的開發庫哦,如gcc。
安裝完可執行文件是/usr/bin/sarg，配置文件是/usr/local/sarg/sarg.conf，在 /usr/local/sarg目錄下還有一些其他的文件和目錄。
3、配置
安裝成功後，在/usr/local/sarg/目錄中，有一個配置文件爲sarg.conf,我們通過修改配置文件的參數，來達到對日誌進行有規則的分析。也可以通過命令行參數實現。
我的相關配置如下
language english 指定網頁報告文件的語言類型，不支持中文網頁。 access_log /var/logs/squid/access.log 指定squid日誌文件絕對路徑。 title "squid user access reports" 指定網頁標題 output_dir /var/www/html/sarg 指定網頁報告文件輸出路徑 overwrite_report no 是否覆蓋報告,當那個日期的報告已經存在時是否覆蓋掉 mail_utility mail topsites_num 100 exclude_codes /usr/local/sarg/exclude_codes max_elapsed 28800000 charset UTF-8 exclude_hosts /usr/local/sarg/norecords resolve_ip no usertab /etc/squid/sarg.usertab IP和用戶的映射表(報表中可以顯示用戶名哦) user_ip no 使用用戶名顯示
指定不計入排序的站點列表文件名爲/usr/local/sarg/norecords，對於客戶端 訪問的這些站點，將不會被top排序中，norecords文件樣本:
google.com
microsoft.com
baidu.com
至此，sarg.conf文件的配置基本可以了
附:
sarg的命令行解釋如下：
# sarg -h sarg: usage [options...] -a hostname or ip address 指定不計入排序的主機名稱或地址 -b useragent log 用戶代理日誌文件輸出 -c exclude file 指定不計入排序的站點列表文件名爲/usr/local/sarg/norecords，對於客戶端訪問的這 些站點，將不會被top排序中 -d date from-until dd/mm/yyyy-dd/mm/yyyy 指定日期範圍 -e email address to send reports (stdout for console) 指定報告接收者郵件 -f config file (/usr/local/sarg/sarg.conf) 指定配置文件 -g date format [e=europe -> dd/mm/yy, u=usa -> mm/dd/yy] 指定輸入的日期格式 -i reports by user and ip address 指定客戶端排序採用用戶名或者ip地址 -l input log 指定squid日誌文件絕對路徑。 -o output dir 指定網頁報告文件輸出路徑，推薦使用webmaster或其他非admin用戶運行 sarg。 -p use ip address instead userid (reports) 使用ip地址作爲userid域 -w temporary dir 指定臨時文件目錄，請確認該目錄所在的分區足夠大先，1g以上。
4、運行
一般來說，我們希望系統可以自動生成日誌分析以後的結果。在這裏，我們利用cron來實現，把以下的相應腳本放到cron裏面去執行即可
下面是我寫的一些腳本.
sarg小時生成報表
#vim /root/sarg-hour.sh
-------------------------------------
#!/bin/bash
Date=$(date -d "1 hours ago " +"%y%m%d%H")
/usr/sbin/squid -k rotate
sleep 10
Squiddir='/var/log/squid/'
Access='access.log.*'
/bin/mv ${Squiddir}${Access} ${Squiddir}access${Date}.log
/usr/bin/sarg -o /var/www/html/hours -l ${Squiddir}access${Date}.log記的加入上可以執行
#chmod a+x /root/sarg-hour.sh
寫進crontab中吧,我們只上班時間記錄
0 9,10,11,12,13,14,15,16,17,18,19 * * * /root/sarg-hour.sh
sarg日報表：
#vim /root/sarg-day.sh
-------------------------------------
#!/bin/bash
#day
Squiddir='/var/log/squid/'
Date=$(date -d "1 day ago " +"%y%m%d")
/bin/sort -m -t " " -k 1 -o $Squiddir${Date}log_all.log ${Squiddir}access${Date}*.log
/bin/rm access${Date}*.log -rf
/usr/bin/sarg -o /var/www/html/days -l ${Squiddir}${Date}log_all.log記的加入上可以執行
#chmod a+x /root/sarg-day.sh
寫進crontab中吧,每天1點20運行統計昨天的內容
20 1 * * * /root/sarg-day.sh
sarg週報告：
#vim /root/sarg-week.sh
-------------------------------------
#!/bin/bash
#week
Date=$(date -d "1 week ago " +"%y%m%d")
YESTERDAY=$(date --date "1 week ago" +%d/%m/%Y)
/bin/sort -m -t " " -k 1 -o $Squiddir${Date}weeklog_all.log ${Squiddir}*log_all.log
/usr/bin/sarg -o /var/www/html/week -l ${Squiddir}${Date}weeklog_all.log
記的加入上可以執行
#chmod a+x /root/sarg-week.sh
寫進crontab中吧,每週5晚上統計一週的流量
40 * * * 5 /root/sarg-week.sh
3月21日更新:修改天，周統計的路徑問題