AIX或LINUX使用time+dd測試硬盤讀寫速度

測試硬盤   寫速度:

time dd if=/dev/zero of=test.dbf bs=8k count=300000
其中/dev/zero是一個僞設備,它只產生空字符流,對它不會產生IO,所以,IO都會集中在of文件中,of文件只用於寫,所以這個命令相當於測試磁盤的寫能力。

輸出的結果類似(因爲一般更長測試時間更準確,所以可以設置count大一些):
300000+0 records in
300000+0 records out

real 0m36.669s
user 0m0.185s
sys 0m9.340s

所以寫速度爲:8*300000/1024/36.669=63.916M/s

測試硬盤  讀速度:

time dd if=/dev/sda1 of=/dev/null bs=8k
因爲/dev/sdb1是一個物理分區,對它的讀取會產生IO,/dev/null是僞設備,相當於黑洞,of到該設備不會產生IO,
所以,這個命令的IO只發生在/dev/sdb1上,也相當於測試磁盤的讀能力

輸出的結果類似:
448494+0 records in
448494+0 records out

real 0m51.070s
user 0m0.054s
sys 0m10.028s

所以sda1上的讀取速度爲:8*448494/1024/51.070=68.61M/s

補充:Windows下安裝Cygwin也可以使用time和dd命令,而且輸出結果中直接包含IO的時間和速度,有興趣的朋友可以試一下,不過我測試下來的速度讀寫都只有40多M每秒,不知道是否是平臺的原因,可能Cygwin的機制和Linux下還是有所不同吧。


解讀dd命令

       dd命令是一個非常強大的命令,對於一些比較底層的問題,使用dd命令往往可以得到出人意料的效果。我們可以用它來測試磁盤的讀寫性能。之前一直以爲他只能測試塊設備,但是今天看到一個文章說他同時是可以測試文件系統的(IOzone也是可以測試文件系統跟塊設備,但IOmeter是不能用來測試文件系統的)。

        而對於dd命令,我們常用到的兩個設備就是 /dev/null /dev/zero 

       -------------------------------------------------------------------------------

       linux中特殊的設備(/dev/zeo,/dev/null,/dev/unrandom,/dev/random)


      /dev/zero 與 /dev/null

      我們平時在使用dd命令測試磁盤性能時候,時常見到 dd if=/dev/zero或者 dd of=/dev/null這樣的寫法。這是什麼東西呢?

     /dev/null

     /dev/null看作"黑洞"。 它非常等價於一個只寫文件。所有寫入它的內容都會永遠丟失。 而嘗試從它那兒讀取內容則什麼也讀不到。所以我們是不能從他那裏讀到數據的,所以在dd命令中當我們爲了測試某個磁盤的讀性能時候,就可以將of指定爲/dev/null 這樣相當從要測試的設備上讀出的數據都填到了這個無底洞中。同時, /dev/null對命令行和腳本都非常的有用的。例如,當我們標準輸出中有很多很多的無用信息時候而我們並不需要,這樣就可以將輸出重定向到/dev/null中:

    禁止標準輸出.    1 cat $filename >/dev/null

    /dev/zero

     像/dev/null一樣, /dev/zero也是一個僞文件。 他產生連續不斷的null的流(二進制的零流,而不是ASCII型的)。寫入它的輸出會丟失不見, 而從/dev/zero讀出一連串的null也比較困難, 雖然這也能通過od或一個十六進制編輯器來做到。 /dev/zero主要的用處是用來創建一個指定長度用於初始化的空文件,就像臨時交換文件。另一個應用是爲特定的目的而用零去填充一個指定大小的文件,就像我們在用dd命令爲了測試磁盤寫性能時候,我們可以將if指定爲/dev/zero這樣,他就相當源源不斷的向我們要測試的設備中寫入數據。

    /dev/random與/dev/unrandom

    /dev/random和/dev/urandom是unix系統提供的產生隨機數的設備,很多應用都需要使用random設備提供的隨機數,比如ssh keys, SSL keys, TCP/IP sequence numbers等等。他們的區別在於,/dev/urandom生成的速度比/dev/random快。如果不能立即生成隨機串,/dev/random會一直阻塞,有時會非常耗費CPU;/dev/urandom則會根據其他值立即生成一個隨機串,不會阻塞。/dev/urandom生成的隨機值沒有/dev/random隨機。大多數情況下,我們選用/dev/urandom

       ------------------------------------------------------------------------------

       dd有有些參數是挺難理解的,今天用了兩個小時才弄明白了設置conv=conv=fsync,oflag=sync/dsync,後兩者比較好區分,前兩者不好區分

我們知道 使用dd來測試硬盤讀寫速度只能提供一個大概的測試結果,而且是連續IO 而不是隨機IO ,理論上文件規模越大,測試結果越準確。理論上bs越大,所測得性能越高

如何真正寫磁盤

        dd if=/dev/zero of=test bs=64k count=16k 這個是不準確的,因爲命令結束的時候數據還沒有真正寫到磁盤上去,因爲對磁盤的寫,我們一般是先寫到了緩存就返回了。

我們來看dd的幫助頁面對於一些參數的解釋

    the FLAG 參數(完整的看手冊哦,這裏假設你是知道iflag跟oflag的)

    -dsync
   Use synchronized I/O for data. For the output file, this forces a physical write of output data on each write. For the input file, this flag can matter when reading from a remote file that    has         been written to synchronously by some other process. Metadata
    (e.g., last-access and last-modified time) is not necessarily synchronized. 

    -sync    likewise, but also for metadata

    the CONV參數
   -fsync 
      Synchronize output data and metadata just before finishing. This forces a physical write of output data and metadata

    dsync跟sync比較好理解,前者是隻同步寫數據,sync同時寫元數據

    但是感覺dsync與 -fsync怎麼感覺有些一樣? 網上的說法是  dd if=/dev/zero of=test bs=64k count=4k oflag=dsync 這個可以當成是模擬數據庫插入操作,所以很慢,但還是沒太明白。

    後來自己認真的摳了這英文用詞, conv=fsync  Synchronize output data and metadata just before finishing 意思也就是在dd命令結束前同步data和metadata,那就是不是每一次寫都同步一次咯,也就    是如果我們在dd命令中寫了100次,他可能是等到最後的時候才把他們同步到磁盤。而oflag=dsync是說Use synchronized
I/O for data. For the output file, this forces a physical write of output data on each write,注意這裏邊用詞  a physical write of output data on each write,那就是他是每一次寫都得等到這一次寫寫到了磁盤才進行下一個寫,也就是如果我們使用dd寫100次,他每次寫都是寫到磁盤後才進行下一次寫的。所以這樣當然要比conv=fsync慢一些吧。那麼自己感覺如果只是寫一次的話,兩者應該是差別不大的
,後來做了下小實驗,證實確實是這樣的。

20140723192805192.png


20140723192558296.png

在第一個圖中,我們只寫1塊,然後使用oflag=sync與conv=fsync 測出來一個是32.1kb/s 一個是37.8kb/s 差別不大。但是下一個我寫1000個,conv=fsync就明顯的比oflag=dsync/sync快很多了,所以覺得上面自己扣的英文的理解應該是正確的。

所以在用dd做讀或者寫的時候,應該要注意自己的使用場景,如果需要將數據寫入磁盤的話

dd if=/dev/zero of=test bs=64k count=16k  是不準確的,

而 dd if=/dev/zero of=test bs=64k count=16k conv=fsync 比較準備,他在dd結束前會寫到磁盤,

而dd if=/dev/zero of=test bs=64k count=4k oflag=dsync或者sync 是真正的每寫一次就寫一次磁盤,所以其實可以聽到磁盤啪啪啪的響的。

dd如何繞開cache

如果要規避掉文件系統cache,直接讀寫,不使用buffer cache,需做這樣的設置
iflag=direct,nonblock
oflag=direct,nonblock
iflag=cio
oflag=cio
direct 模式就是把寫入請求直接封裝成io 指令發到磁盤
非direct 模式,就把數據寫入系統緩存,然後就認爲io 成功,並由操作系統決定緩存中的數據什麼時候被寫入磁盤



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章