iostat 輸出解析
1. /proc/partitions
iostat 的數據的主要來源是 /proc/partitions，所以需要先看看
/proc/partitions 中有些什麼。
# cat /proc/partitions
major minor #blocks name rio rmerge rsect ruse wio wmerge wsect wuse running use aveq
3 0 19535040 hda 12524 31127 344371 344360 12941 25534 308434 1097290 -1 15800720 28214662
3 1 7172991 hda1 13 71 168 140 0 0 0 0 0 140 140
3 2 1 hda2 0 0 0 0 0 0 0 0 0 0 0
3 5 5116671 hda5 100 477 665 620 1 1 2 30 0 610 650
3 6 265041 hda6 518 92 4616 2770 257 3375 29056 143880 0 46520 146650
3 7 6980211 hda7 11889 30475 338890 340740 12683 22158 279376 953380 0 509350 1294120
major: 主設備號。3 代表 hda。
minor: 次設備號。7 代表 No.7 分區。
#blocks: 設備總塊數 (1024 bytes/block)。19535040*1024 => 20003880960(bytes) ~2G
name: 設備名稱。如 hda7。
rio: 完成的讀 I/O 設備總次數。指真正向 I/O 設備發起並完成的讀操作數目，
也就是那些放到 I/O 隊列中的讀請求。注意很多進程發起的讀操作
(read())很可能會和其他的操作進行 merge，不一定每個 read() 調用
都引起一個 I/O 請求。
rmerge: 進行了 merge 的讀操作數目。
rsect: 讀扇區總數 (512 bytes/sector)
ruse: 從進入讀隊列到讀操作完成的時間累積 (毫秒)。上面的例子顯示從開機
開始，讀 hda7 操作共用了約340秒。
wio: 完成的寫 I/O 設備總次數。
wmerge: 進行了 merge 的寫操作數目。
wsect: 寫扇區總數
wuse: 從進入寫隊列到寫操作完成的時間累積 (毫秒)
running: 已進入 I/O 請求隊列，等待進行設備操作的請求總數。上面的例子顯
示 hda7 上的請求隊列長度爲 0。
use: 扣除重疊等待時間的淨等待時間 (毫秒)。一般比 (ruse+wuse) 要小。比
如 5 個讀請求同時等待了 1 毫秒，那麼 ruse值爲5ms, 而 use值爲
1ms。use 也可以理解爲I/O隊列處於不爲空狀態的總時間。hda7 的I/O
隊列非空時間爲 509 秒，約合8分半鐘。
aveq: 在隊列中總的等待時間累積 (毫秒) (約等於ruse+wuse)
2. iostat 結果解析
# iostat -x
Linux 2.4.21-9.30AX (localhost) 2004年07月14日
avg-cpu: %user %nice %sys %idle
3.85 0.00 0.95 95.20
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
/dev/hda 1.70 1.70 0.82 0.82 19.88 20.22 9.94 10.11 24.50 11.83 57.81 610.76 99.96
/dev/hda1 0.00 0.00 0.00 0.00 0.01 0.00 0.00 0.00 12.92 0.00 10.77 10.77 0.00
/dev/hda5 0.02 0.00 0.00 0.00 0.03 0.00 0.02 0.00 6.60 0.00 6.44 6.04 0.00
/dev/hda6 0.01 0.38 0.05 0.03 0.43 3.25 0.21 1.62 46.90 0.15 193.96 52.25 0.41
/dev/hda7 1.66 1.33 0.76 0.79 19.41 16.97 9.70 8.49 23.44 0.79 51.13 19.79 3.07
rrqm/s: 每秒進行 merge 的讀操作數目。即 delta(rmerge)/s
wrqm/s: 每秒進行 merge 的寫操作數目。即 delta(wmerge)/s
r/s: 每秒完成的讀 I/O 設備次數。即 delta(rio)/s
w/s: 每秒完成的寫 I/O 設備次數。即 delta(wio)/s
rsec/s: 每秒讀扇區數。即 delta(rsect)/s
wsec/s: 每秒寫扇區數。即 delta(wsect)/s
rkB/s: 每秒讀K字節數。是 rsect/s 的一半，因爲每扇區大小爲512字節。
wkB/s: 每秒寫K字節數。是 wsect/s 的一半。
avgrq-sz: 平均每次設備I/O操作的數據大小 (扇區)。即 delta(rsect+wsect)/delta(rio+wio)
avgqu-sz: 平均I/O隊列長度。即 delta(aveq)/s/1000 (因爲aveq的單位爲毫秒)。
await: 平均每次設備I/O操作的等待時間 (毫秒)。即 delta(ruse+wuse)/delta(rio+wio)
svctm: 平均每次設備I/O操作的服務時間 (毫秒)。即 delta(use)/delta(rio+wio)
%util: 一秒中有百分之多少的時間用於 I/O 操作，或者說一秒中有多少時間 I/O 隊列是非空的。
即 delta(use)/s/1000 (因爲use的單位爲毫秒)
如果 %util 接近 100%，說明產生的I/O請求太多，I/O系統已經滿負荷，該磁盤
可能存在瓶頸。
svctm 一般要小於 await (因爲同時等待的請求的等待時間被重複計算了)，
svctm 的大小一般和磁盤性能有關，CPU/內存的負荷也會對其有影響，請求過多
也會間接導致 svctm 的增加。await 的大小一般取決於服務時間(svctm) 以及
I/O 隊列的長度和 I/O 請求的發出模式。如果 svctm 比較接近 await，說明
I/O 幾乎沒有等待時間；如果 await 遠大於 svctm，說明 I/O 隊列太長，應用
得到的響應時間變慢，如果響應時間超過了用戶可以容許的範圍，這時可以考慮
更換更快的磁盤，調整內核 elevator 算法，優化應用，或者升級 CPU。
隊列長度(avgqu-sz)也可作爲衡量系統 I/O 負荷的指標，但由於 avgqu-sz 是
按照單位時間的平均值，所以不能反映瞬間的 I/O 洪水。
3. I/O 系統 vs. 超市排隊
舉一個例子，我們在超市排隊 checkout 時，怎麼決定該去哪個交款臺呢? 首當
是看排的隊人數，5個人總比20人要快吧? 除了數人頭，我們也常常看看前面人
購買的東西多少，如果前面有個採購了一星期食品的大媽，那麼可以考慮換個隊
排了。還有就是收銀員的速度了，如果碰上了連錢都點不清楚的新手，那就有的
等了。另外，時機也很重要，可能 5 分鐘前還人滿爲患的收款臺，現在已是人
去樓空，這時候交款可是很爽啊，當然，前提是那過去的 5 分鐘裏所做的事情
比排隊要有意義 (不過我還沒發現什麼事情比排隊還無聊的)。
I/O 系統也和超市排隊有很多類似之處:
r/s+w/s 類似於交款人的總數
平均隊列長度(avgqu-sz)類似於單位時間裏平均排隊人的個數
平均服務時間(svctm)類似於收銀員的收款速度
平均等待時間(await)類似於平均每人的等待時間
平均I/O數據(avgrq-sz)類似於平均每人所買的東西多少
I/O 操作率 (%util)類似於收款臺前有人排隊的時間比例。
我們可以根據這些數據分析出 I/O 請求的模式，以及 I/O 的速度和響應時間。
4. 一個例子
# iostat -x 1
avg-cpu: %user %nice %sys %idle
16.24 0.00 4.31 79.44
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
/dev/cciss/c0d0
0.00 44.90 1.02 27.55 8.16 579.59 4.08 289.80 20.57 22.35 78.21 5.00 14.29
/dev/cciss/c0d0p1
0.00 44.90 1.02 27.55 8.16 579.59 4.08 289.80 20.57 22.35 78.21 5.00 14.29
/dev/cciss/c0d0p2
0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
上面的 iostat 輸出表明秒有 28.57 次設備 I/O 操作: delta(io)/s = r/s +
w/s = 1.02+27.55 = 28.57 (次/秒) 其中寫操作佔了主體 (w:r = 27:1)。
平均每次設備 I/O 操作只需要 5ms 就可以完成，但每個 I/O 請求卻需要等上
78ms，爲什麼? 因爲發出的 I/O 請求太多 (每秒鐘約 29 個)，假設這些請求是
同時發出的，那麼平均等待時間可以這樣計算:
平均等待時間 = 單個 I/O 服務時間 * ( 1 + 2 + … + 請求總數-1) / 請求總數
應用到上面的例子: 平均等待時間 = 5ms * (1+2+…+28)/29 = 70ms，和
iostat 給出的 78ms 的平均等待時間很接近。這反過來表明 I/O 是同時發起的。
每秒發出的 I/O 請求很多 (約 29 個)，平均隊列卻不長 (只有 2 個 左右)，
這表明這 29 個請求的到來並不均勻，大部分時間 I/O 是空閒的。
一秒中有 14.29% 的時間 I/O 隊列中是有請求的，也就是說，85.71% 的時間裏
I/O 系統無事可做，所有 29 個 I/O 請求都在142毫秒之內處理掉了。
delta(ruse+wuse)/delta(io) = await = 78.21 => delta(ruse+wuse)/s =
78.21 * delta(io)/s = 78.21*28.57 = 2232.8，表明每秒內的I/O請求總共需
要等待2232.8ms。所以平均隊列長度應爲 2232.8ms/1000ms = 2.23，而 iostat
給出的平均隊列長度 (avgqu-sz) 卻爲 22.35，爲什麼?! 因爲 iostat 中有
bug，avgqu-sz 值應爲 2.23，而不是 22.35。
5. iostat 的 bug 修正
iostat.c 中是這樣計算avgqu-sz的:
((double) current.aveq) / itv
aveq 的單位是毫秒，而 itv 是兩次採樣之間的間隔，單位是 jiffies。必須換
算成同樣單位才能相除，所以正確的算法是:
((double) current.aveq) / itv * HZ / 1000
這樣，上面 iostat 中輸出的 avgqu-sz 值應爲 2.23，而不是 22.3。
另外，util值的計算中做了 HZ 值的假設，不是很好，也需要修改。
— sysstat-4.0.7/iostat.c.orig 2004-07-15 13:31:27.000000000 +0800
+++ sysstat-4.0.7/iostat.c 2004-07-15 13:37:34.000000000 +0800
@@ -370,7 +370,7 @@
nr_ios = current.rd_ios + current.wr_ios;
tput = nr_ios * HZ / itv;
- util = ((double) current.ticks) / itv;
+ util = ((double) current.ticks) / itv * HZ / 1000;
/* current.ticks (ms), itv (jiffies) */
svctm = tput ? util / tput : 0.0;
/* kernel gives ticks already in milliseconds for all platforms -> no need for further scaling */
@@ -387,12 +387,12 @@
((double) current.rd_sectors) / itv * HZ, ((double) current.wr_sectors) / itv * HZ,
((double) current.rd_sectors) / itv * HZ / 2, ((double) current.wr_sectors) / itv * HZ / 2,
arqsz,
- ((double) current.aveq) / itv,
+ ((double) current.aveq) / itv * HZ / 1000, /* aveq is in ms */
await,
/* again: ticks in milliseconds */
- svctm * 100.0,
+ svctm,
/* NB: the ticks output in current sard patches is biased to output 1000 ticks per second */
- util * 10.0);
+ util * 100.0);
}
}
}
一會兒 jiffies, 一會兒 ms，看來 iostat 的作者也被搞暈菜了。
這個問題在 systat 4.1.6 中得到了修正:
* The average I/O requests queue length as displayed by iostat -x was
wrongly calculated. This is now fixed.
但 Redhat 的 sysstat 版本有些太過時了 (4.0.7)。
iostat 的數據的主要來源是 /proc/partitions，所以需要先看看
/proc/partitions 中有些什麼。
# cat /proc/partitions
major minor #blocks name rio rmerge rsect ruse wio wmerge wsect wuse running use aveq
3 0 19535040 hda 12524 31127 344371 344360 12941 25534 308434 1097290 -1 15800720 28214662
3 1 7172991 hda1 13 71 168 140 0 0 0 0 0 140 140
3 2 1 hda2 0 0 0 0 0 0 0 0 0 0 0
3 5 5116671 hda5 100 477 665 620 1 1 2 30 0 610 650
3 6 265041 hda6 518 92 4616 2770 257 3375 29056 143880 0 46520 146650
3 7 6980211 hda7 11889 30475 338890 340740 12683 22158 279376 953380 0 509350 1294120
major: 主設備號。3 代表 hda。
minor: 次設備號。7 代表 No.7 分區。
#blocks: 設備總塊數 (1024 bytes/block)。19535040*1024 => 20003880960(bytes) ~2G
name: 設備名稱。如 hda7。
rio: 完成的讀 I/O 設備總次數。指真正向 I/O 設備發起並完成的讀操作數目，
也就是那些放到 I/O 隊列中的讀請求。注意很多進程發起的讀操作
(read())很可能會和其他的操作進行 merge，不一定每個 read() 調用
都引起一個 I/O 請求。
rmerge: 進行了 merge 的讀操作數目。
rsect: 讀扇區總數 (512 bytes/sector)
ruse: 從進入讀隊列到讀操作完成的時間累積 (毫秒)。上面的例子顯示從開機
開始，讀 hda7 操作共用了約340秒。
wio: 完成的寫 I/O 設備總次數。
wmerge: 進行了 merge 的寫操作數目。
wsect: 寫扇區總數
wuse: 從進入寫隊列到寫操作完成的時間累積 (毫秒)
running: 已進入 I/O 請求隊列，等待進行設備操作的請求總數。上面的例子顯
示 hda7 上的請求隊列長度爲 0。
use: 扣除重疊等待時間的淨等待時間 (毫秒)。一般比 (ruse+wuse) 要小。比
如 5 個讀請求同時等待了 1 毫秒，那麼 ruse值爲5ms, 而 use值爲
1ms。use 也可以理解爲I/O隊列處於不爲空狀態的總時間。hda7 的I/O
隊列非空時間爲 509 秒，約合8分半鐘。
aveq: 在隊列中總的等待時間累積 (毫秒) (約等於ruse+wuse)
2. iostat 結果解析
# iostat -x
Linux 2.4.21-9.30AX (localhost) 2004年07月14日
avg-cpu: %user %nice %sys %idle
3.85 0.00 0.95 95.20
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
/dev/hda 1.70 1.70 0.82 0.82 19.88 20.22 9.94 10.11 24.50 11.83 57.81 610.76 99.96
/dev/hda1 0.00 0.00 0.00 0.00 0.01 0.00 0.00 0.00 12.92 0.00 10.77 10.77 0.00
/dev/hda5 0.02 0.00 0.00 0.00 0.03 0.00 0.02 0.00 6.60 0.00 6.44 6.04 0.00
/dev/hda6 0.01 0.38 0.05 0.03 0.43 3.25 0.21 1.62 46.90 0.15 193.96 52.25 0.41
/dev/hda7 1.66 1.33 0.76 0.79 19.41 16.97 9.70 8.49 23.44 0.79 51.13 19.79 3.07
rrqm/s: 每秒進行 merge 的讀操作數目。即 delta(rmerge)/s
wrqm/s: 每秒進行 merge 的寫操作數目。即 delta(wmerge)/s
r/s: 每秒完成的讀 I/O 設備次數。即 delta(rio)/s
w/s: 每秒完成的寫 I/O 設備次數。即 delta(wio)/s
rsec/s: 每秒讀扇區數。即 delta(rsect)/s
wsec/s: 每秒寫扇區數。即 delta(wsect)/s
rkB/s: 每秒讀K字節數。是 rsect/s 的一半，因爲每扇區大小爲512字節。
wkB/s: 每秒寫K字節數。是 wsect/s 的一半。
avgrq-sz: 平均每次設備I/O操作的數據大小 (扇區)。即 delta(rsect+wsect)/delta(rio+wio)
avgqu-sz: 平均I/O隊列長度。即 delta(aveq)/s/1000 (因爲aveq的單位爲毫秒)。
await: 平均每次設備I/O操作的等待時間 (毫秒)。即 delta(ruse+wuse)/delta(rio+wio)
svctm: 平均每次設備I/O操作的服務時間 (毫秒)。即 delta(use)/delta(rio+wio)
%util: 一秒中有百分之多少的時間用於 I/O 操作，或者說一秒中有多少時間 I/O 隊列是非空的。
即 delta(use)/s/1000 (因爲use的單位爲毫秒)
如果 %util 接近 100%，說明產生的I/O請求太多，I/O系統已經滿負荷，該磁盤
可能存在瓶頸。
svctm 一般要小於 await (因爲同時等待的請求的等待時間被重複計算了)，
svctm 的大小一般和磁盤性能有關，CPU/內存的負荷也會對其有影響，請求過多
也會間接導致 svctm 的增加。await 的大小一般取決於服務時間(svctm) 以及
I/O 隊列的長度和 I/O 請求的發出模式。如果 svctm 比較接近 await，說明
I/O 幾乎沒有等待時間；如果 await 遠大於 svctm，說明 I/O 隊列太長，應用
得到的響應時間變慢，如果響應時間超過了用戶可以容許的範圍，這時可以考慮
更換更快的磁盤，調整內核 elevator 算法，優化應用，或者升級 CPU。
隊列長度(avgqu-sz)也可作爲衡量系統 I/O 負荷的指標，但由於 avgqu-sz 是
按照單位時間的平均值，所以不能反映瞬間的 I/O 洪水。
3. I/O 系統 vs. 超市排隊
舉一個例子，我們在超市排隊 checkout 時，怎麼決定該去哪個交款臺呢? 首當
是看排的隊人數，5個人總比20人要快吧? 除了數人頭，我們也常常看看前面人
購買的東西多少，如果前面有個採購了一星期食品的大媽，那麼可以考慮換個隊
排了。還有就是收銀員的速度了，如果碰上了連錢都點不清楚的新手，那就有的
等了。另外，時機也很重要，可能 5 分鐘前還人滿爲患的收款臺，現在已是人
去樓空，這時候交款可是很爽啊，當然，前提是那過去的 5 分鐘裏所做的事情
比排隊要有意義 (不過我還沒發現什麼事情比排隊還無聊的)。
I/O 系統也和超市排隊有很多類似之處:
r/s+w/s 類似於交款人的總數
平均隊列長度(avgqu-sz)類似於單位時間裏平均排隊人的個數
平均服務時間(svctm)類似於收銀員的收款速度
平均等待時間(await)類似於平均每人的等待時間
平均I/O數據(avgrq-sz)類似於平均每人所買的東西多少
I/O 操作率 (%util)類似於收款臺前有人排隊的時間比例。
我們可以根據這些數據分析出 I/O 請求的模式，以及 I/O 的速度和響應時間。
4. 一個例子
# iostat -x 1
avg-cpu: %user %nice %sys %idle
16.24 0.00 4.31 79.44
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
/dev/cciss/c0d0
0.00 44.90 1.02 27.55 8.16 579.59 4.08 289.80 20.57 22.35 78.21 5.00 14.29
/dev/cciss/c0d0p1
0.00 44.90 1.02 27.55 8.16 579.59 4.08 289.80 20.57 22.35 78.21 5.00 14.29
/dev/cciss/c0d0p2
0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
上面的 iostat 輸出表明秒有 28.57 次設備 I/O 操作: delta(io)/s = r/s +
w/s = 1.02+27.55 = 28.57 (次/秒) 其中寫操作佔了主體 (w:r = 27:1)。
平均每次設備 I/O 操作只需要 5ms 就可以完成，但每個 I/O 請求卻需要等上
78ms，爲什麼? 因爲發出的 I/O 請求太多 (每秒鐘約 29 個)，假設這些請求是
同時發出的，那麼平均等待時間可以這樣計算:
平均等待時間 = 單個 I/O 服務時間 * ( 1 + 2 + … + 請求總數-1) / 請求總數
應用到上面的例子: 平均等待時間 = 5ms * (1+2+…+28)/29 = 70ms，和
iostat 給出的 78ms 的平均等待時間很接近。這反過來表明 I/O 是同時發起的。
每秒發出的 I/O 請求很多 (約 29 個)，平均隊列卻不長 (只有 2 個 左右)，
這表明這 29 個請求的到來並不均勻，大部分時間 I/O 是空閒的。
一秒中有 14.29% 的時間 I/O 隊列中是有請求的，也就是說，85.71% 的時間裏
I/O 系統無事可做，所有 29 個 I/O 請求都在142毫秒之內處理掉了。
delta(ruse+wuse)/delta(io) = await = 78.21 => delta(ruse+wuse)/s =
78.21 * delta(io)/s = 78.21*28.57 = 2232.8，表明每秒內的I/O請求總共需
要等待2232.8ms。所以平均隊列長度應爲 2232.8ms/1000ms = 2.23，而 iostat
給出的平均隊列長度 (avgqu-sz) 卻爲 22.35，爲什麼?! 因爲 iostat 中有
bug，avgqu-sz 值應爲 2.23，而不是 22.35。
5. iostat 的 bug 修正
iostat.c 中是這樣計算avgqu-sz的:
((double) current.aveq) / itv
aveq 的單位是毫秒，而 itv 是兩次採樣之間的間隔，單位是 jiffies。必須換
算成同樣單位才能相除，所以正確的算法是:
((double) current.aveq) / itv * HZ / 1000
這樣，上面 iostat 中輸出的 avgqu-sz 值應爲 2.23，而不是 22.3。
另外，util值的計算中做了 HZ 值的假設，不是很好，也需要修改。
— sysstat-4.0.7/iostat.c.orig 2004-07-15 13:31:27.000000000 +0800
+++ sysstat-4.0.7/iostat.c 2004-07-15 13:37:34.000000000 +0800
@@ -370,7 +370,7 @@
nr_ios = current.rd_ios + current.wr_ios;
tput = nr_ios * HZ / itv;
- util = ((double) current.ticks) / itv;
+ util = ((double) current.ticks) / itv * HZ / 1000;
/* current.ticks (ms), itv (jiffies) */
svctm = tput ? util / tput : 0.0;
/* kernel gives ticks already in milliseconds for all platforms -> no need for further scaling */
@@ -387,12 +387,12 @@
((double) current.rd_sectors) / itv * HZ, ((double) current.wr_sectors) / itv * HZ,
((double) current.rd_sectors) / itv * HZ / 2, ((double) current.wr_sectors) / itv * HZ / 2,
arqsz,
- ((double) current.aveq) / itv,
+ ((double) current.aveq) / itv * HZ / 1000, /* aveq is in ms */
await,
/* again: ticks in milliseconds */
- svctm * 100.0,
+ svctm,
/* NB: the ticks output in current sard patches is biased to output 1000 ticks per second */
- util * 10.0);
+ util * 100.0);
}
}
}
一會兒 jiffies, 一會兒 ms，看來 iostat 的作者也被搞暈菜了。
這個問題在 systat 4.1.6 中得到了修正:
* The average I/O requests queue length as displayed by iostat -x was
wrongly calculated. This is now fixed.
但 Redhat 的 sysstat 版本有些太過時了 (4.0.7)。