一：命令介紹：參考資料：http://linux.die.net/man/1/sar
sar（System ActivityReporter系統活動情況報告）是目前Linux上最爲全面的系統性能分析工具之一，可以從多方面對系統的活動進行報告，包括：文件的讀寫情況、系統調用的使用情況、磁盤I/O、CPU效率、內存使用狀況、進程活動及IPC有關的活動等，sar命令有sysstat安裝包安裝，本文主要以CentOS 6系列x64系統爲例，介紹sar命令。
1.1：sar命令常用格式：用法: sar [ 選項 ] [ <時間間隔> [ <次數> ] ]
選項:
[ -A ] [ -B ] [ -b ] [ -C ] [ -d ] [ -H ] [ -h ] [ -p ] [ -q ] [ -R ]
[ -r ] [ -S ] [ -t ] [ -u [ ALL ] ] [ -V ] [ -v ] [ -W ] [ -w ] [ -y ]
[ -I { <中斷> [,...] | SUM | ALL | XALL } ] [ -P { <cpu> [,...] | ALL } ]
[ -m { <關鍵詞> [,...] | ALL } ] [ -n { <關鍵詞> [,...] | ALL } ]
[ -j { ID | LABEL | PATH | UUID | ... } ]
[ -f [ <文件名> ] | -o [ <文件名> ] | -[0-9]+ ]
[ -i <間隔> ] [ -s [ <時:分:秒> ] ] [ -e [ <時:分:秒> ] ]
-A:所有報告的總和
-b:顯示I/O和傳遞速率的統計信息
-B:顯示換頁狀態
-d:輸出每一塊磁盤的使用信息
-e:設置顯示報告的結束時間
-f:從制定的文件讀取報告
-i:設置狀態信息刷新的間隔時間
-P:報告每個CPU的狀態
-R:顯示內存狀態
–u:輸出cpu使用情況和統計信息
–v:顯示索引節點、文件和其他內核表的狀態
-w:顯示交換分區的狀態
-x:顯示給定進程的裝
-r:報告內存利用率的統計信息
1.2：sar -u #統計CPU的使用情況，每間隔1秒鐘統計一次總共統計三次：#sar -u 1 3#%user #用戶空間的CPU使用
#%nice 改變過優先級的進程的CPU使用率
#%system 內核空間的CPU使用率
#%iowait CPU等待IO的百分比
#%steal 虛擬機的虛擬機CPU使用的CPU
#%idle 空閒的CPU
#在以上的顯示當中，主要看%iowait和%idle，%iowait過高表示存在I/O瓶頸，即磁盤IO無法滿足業務需求，如果%idle過低表示CPU使用率比較嚴重，需要結合內存使用等情況判斷CPU是否瓶頸。
1.2.1：sar -p 1 3 #報個每個CPU的使用狀態：#CPU 所有CPU的統計
#%user 用戶態的CPU使用統計
#%nice 更改過優先級的進程的CPU使用統計
#%iowait CPU等待IO數據的百分比
#%steal 虛擬機的vCPU佔用的物理CPU的百分比
#%idle 空閒的CPU百分比
1.3：將統計結果保存在文件並從文件讀取內容：
#sar -u -o /tmp/1.txt 2 3 #保存之文件，保存後的文件是二進制的，無法使用vim和cat直接打開
# sar -u -f /tmp/1.txt #從二進制文件讀取
1.4：sar -q #查看平均負載：#runq-sz 運行隊列的長度（等待運行的進程數，每核的CP不能超過3個）
#plist-sz 進程列表中的進程（processes）和線程數（threads）的數量
#ldavg-1 最後1分鐘的CPU平均負載，即將多核CPU過去一分鐘的負載相加再除以核心數得出的平均值，5分鐘和15分鐘以此類推
#ldavg-5 最後5分鐘的CPU平均負載
#ldavg-15 最後15分鐘的CPU平均負載
1.5：sar -r #查看內存使用情況#kbmemfree 空閒的物理內存大小
#kbmemused 使用中的物理內存大小
#%memused 物理內存使用率
#kbbuffers 內核中作爲緩衝區使用的物理內存大小，kbbuffers和kbcached:這兩個值就是free命令中的buffer和cache.
#kbcached 緩存的文件大小
#kbcommit 保證當前系統正常運行所需要的最小內存，即爲了確保內存不溢出而需要的最少內存（物理內存+Swap分區）
#commit 這個值是kbcommit與內存總量（物理內存+swap分區）的一個百分比的值
1.6：sar -W #查看系統swap分區的統計信息：#pswpin/s 每秒從交換分區到系統的交換頁面（swap page）數量
#pswpott/s 每秒從系統交換到swap的交換頁面（swap page）的數量
1.7：sar -b #查看I/O和傳遞速率的統計信息#tps 磁盤每秒鐘的IO總數，等於iostat中的tps
#rtps 每秒鐘從磁盤讀取的IO總數
#wtps 每秒鐘從寫入到磁盤的IO總數
#bread/s 每秒鐘從磁盤讀取的塊總數
#bwrtn/s 每秒鐘此寫入到磁盤的塊總數
1.8：sar -d #磁盤使用詳情統計#DEV 磁盤設備的名稱，如果不加-p，會顯示dev253-0類似的設備名稱，因此加上-p顯示的名稱更直接
#tps：每秒I/O的傳輸總數
#rd_sec/s 每秒讀取的扇區的總數
#wr_sec/s 每秒寫入的扇區的 總數
#avgrq-sz 平均每次次磁盤I/O操作的數據大小（扇區）
#avgqu-sz 磁盤請求隊列的平均長度
#await 從請求磁盤操作到系統完成處理，每次請求的平均消耗時間，包括請求隊列等待時間，單位是毫秒（1秒等於1000毫秒），等於尋道時間+隊列時間+服務時間
#svctm I/O的服務處理時間，即不包括請求隊列中的時間
#%util I/O請求佔用的CPU百分比，值越高，說明I/O越慢
1.9：sar -v #進程、inode、文件和鎖表狀態#dentunusd 在緩衝目錄條目中沒有使用的條目數量
#file-nr 被系統使用的文件句柄數量
#inode-nr 已經使用的索引數量
#pty-nr 使用的pty數量
####這裏面的索引和文件句柄值不是ulimit -a查看到的值，而是sysctl.conf裏面定義的和內核相關的值， max-file表示系統級別的能夠打開的文件句柄的數量， 而ulimit -n控制進程級別能夠打開的文件句柄的數量，可以使用sysctl -a | grep inode和sysctl -a | grep file查看，具體含義如下：
file-max中指定了系統範圍內所有進程可打開的文件句柄的數量限制(系統級別， kernel-level)。 （The value in file-max denotes the maximum number of file handles that the Linux kernel will allocate）。當收到"Too many open files in system"這樣的錯誤消息時， 就應該曾加這個值了。
cat /proc/sys/fs/file-max
4096
# echo 100000 > /proc/sys/fs/file-max
或者
# echo ""fs.file-max=65535" >> /etc/sysctl.conf
# sysctl -pfile-nr 可以查看系統中當前打開的文件句柄的數量。 他裏面包括3個數字： 第一個表示已經分配了的文件描述符數量， 第二個表示空閒的文件句柄數量， 第三個表示能夠打開文件句柄的最大值（跟file-max一致）。 內核會動態的分配文件句柄， 但是不會再次釋放他們（這個可能不適應最新的內核了， 在我的file-nr中看到第二列一直爲0， 第一列有增有減）
man bash， 找到說明ulimit的那一節：提供對shell及其啓動的進程的可用資源（包括文件句柄， 進程數量， core文件大小等）的控制。 這是進程級別的， 也就是說系統中某個session及其啓動的每個進程能打開多少個文件描述符， 能fork出多少個子進程等... 當達到上限時， 會報錯"Too many open files"或者遇上Socket/File: Can’t open so many files等
1.10：sar -n #統計網絡信息#sar -n選項使用6個不同的開關：DEV，EDEV，NFS，NFSD，SOCK，IP，EIP，ICMP，EICMP，TCP，ETCP，UDP，SOCK6，IP6，EIP6，ICMP6，EICMP6和UDP6 ，DEV顯示網絡接口信息，EDEV顯示關於網絡錯誤的統計數據，NFS統計活動的NFS客戶端的信息，NFSD統計NFS服務器的信息，SOCK顯示套接字信息，ALL顯示所有5個開關。它們可以單獨或者一起使用。
1.10.1：sar -n DEV 1 1： 每間隔1秒統計一次，總計統計1次，下面的average是在多次統計後的平均值#IFACE 本地網卡接口的名稱
#rxpck/s 每秒鐘接受的數據包
#txpck/s 每秒鐘發送的數據庫
#rxKB/S 每秒鐘接受的數據包大小，單位爲KB
#txKB/S 每秒鐘發送的數據包大小，單位爲KB
#rxcmp/s 每秒鐘接受的壓縮數據包
#txcmp/s 每秒鐘發送的壓縮包
#rxmcst/s 每秒鐘接收的多播數據包
1.10.2：sar -n EDEV 1 1 #統計網絡設備通信失敗信息：#IFACE 網卡名稱
#rxerr/s 每秒鐘接收到的損壞的數據包
#txerr/s 每秒鐘發送的數據包錯誤數
#coll/s 當發送數據包時候，每秒鐘發生的衝撞（collisions）數，這個是在半雙工模式下才有
#rxdrop/s 當由於緩衝區滿的時候，網卡設備接收端每秒鐘丟掉的網絡包的數目
#txdrop/s 當由於緩衝區滿的時候，網絡設備發送端每秒鐘丟掉的網絡包的數目
#txcarr/s 當發送數據包的時候，每秒鐘載波錯誤發生的次數
#rxfram 在接收數據包的時候，每秒鐘發生的幀對其錯誤的次數
#rxfifo 在接收數據包的時候，每秒鐘緩衝區溢出的錯誤發生的次數
#txfifo 在發生數據包 的時候，每秒鐘緩衝區溢出的錯誤發生的次數
1.10.3：sar -n SOCK 1 1 #統計socket連接信息#totsck 當前被使用的socket總數
#tcpsck 當前正在被使用的TCP的socket總數
#udpsck 當前正在被使用的UDP的socket總數
#rawsck 當前正在被使用於RAW的skcket總數
#if-frag 當前的IP分片的數目
#tcp-tw TCP套接字中處於TIME-WAIT狀態的連接數量
########如果你使用FULL關鍵字，相當於上述DEV、EDEV和SOCK三者的綜合
1.10.4：sar -n TCP 1 3 #TCP連接的統計#active/s 新的主動連接
#passive/s 新的被動連接
#iseg/s 接受的段
#oseg/s 輸出的段
1.10.5：sar -n 使用總結-n DEV ： 網絡接口統計信息。
-n EDEV ： 網絡接口錯誤。
-n IP ： IP數據報統計信息。
-n EIP ： IP錯誤統計信息。
-n TCP ： TCP統計信息。
-n ETCP ： TCP錯誤統計信息。
-n SOCK ： 套接字使用。
1.10.6：常用命令彙總，因版本和平臺不同，有部分命令可能沒有或顯示結果不一致：
默認監控: sar 5 5 // CPU和IOWAIT統計狀態
(1) sar -b 5 5 // IO傳送速率
(2) sar -B 5 5 // 頁交換速率
(3) sar -c 5 5 // 進程創建的速率
(4) sar -d 5 5 // 塊設備的活躍信息
(5) sar -n DEV 5 5 // 網路設備的狀態信息
(6) sar -n SOCK 5 5 // SOCK的使用情況
(7) sar -n ALL 5 5 // 所有的網絡狀態信息
(8) sar -P ALL 5 5 // 每顆CPU的使用狀態信息和IOWAIT統計狀態
(9) sar -q 5 5 // 隊列的長度（等待運行的進程數）和負載的狀態
(10) sar -r 5 5 // 內存和swap空間使用情況
(11) sar -R 5 5 // 內存的統計信息（內存頁的分配和釋放、系統每秒作爲BUFFER使用內存頁、每秒被cache到的內存頁）
(12) sar -u 5 5 // CPU的使用情況和IOWAIT信息（同默認監控）
(13) sar -v 5 5 // inode, file and other kernel tablesd的狀態信息
(14) sar -w 5 5 // 每秒上下文交換的數目
(15) sar -W 5 5 // SWAP交換的統計信息(監控狀態同iostat 的si so)
(16) sar -x 2906 5 5 // 顯示指定進程(2906)的統計信息，信息包括：進程造成的錯誤、用戶級和系統級用戶CPU的佔用情況、運行在哪顆CPU上
(17) sar -y 5 5 // TTY設備的活動狀態
(18) 將輸出到文件(-o)和讀取記錄信息(-f)