單元測試工具Numega

原文:http://www.cnitblog.com/qiuyangzh/archive/2005/07/14/975.html

1 前言

我在本文中詳細介紹了測試工具NuMega Devpartner(以下簡稱NuMega)的使用方法。

NuMega是一個動態測試工具,主要應用於白盒測試。該工具的特點是學習簡單、使用方便、功能有效。NuMega共有三個獨立的子功能——BoundsCheckerTrueCoverage、TrueTimeBoundsChecker爲代碼檢錯工具,TrueCoverage爲測試覆蓋率統計工具,TrueTime爲程序運行性能測試工具。

本文擋通過三章對NuMega三個子功能的使用方法進行了介紹,各部分之間內容獨立。如果你想了解NuMega的各項功能,建議閱讀本文擋全部內容,如果你只想瞭解NuMega提供的某一個子功能的相關信息,按目錄查看相應的章節即可。

需要說明的一點是,本文擋中所介紹的測試工具NuMega,專指NuMega for Visual C++版,對於NuMega for Visual Basic版和NuMega for Delphi版的使用說明,不在本文擋的介紹範圍之內,這一點請注意。

2安裝

NuMega的安裝很簡單。獲得NuMega安裝程序後,點擊setup.exe進行安裝即可。在安裝過程中不需要什麼特殊的設置。

不過有一點需要說明,在安裝NuMega之前,應該確保你的機器上已經安裝好了Visual C++,因爲只有這樣才能使NuMega成功的集成到Visual C++開發環境中去。

好了,下面我們分三個部分,分別介紹BoundsChecker、TrueCoverage、TrueTime的使用方法。

3 BoundsChecker

BoundsChecker 是一個Run-Time錯誤檢測工具,它主要定位程序在運行時期發生的各種錯誤。BoundsChecker能檢測的錯誤包括:

1))1、指針操作和內存、資源泄露錯誤,比如:

內存泄露;

資源泄露;

對指針變量的錯誤操作。

22、內存操作方面的錯誤,比如:

  內存讀、寫溢出;

  使用未初始化的內存。

33、API函數使用錯誤

BoundsChecker安裝成功後,在你的VC++集成開發環境中,會多出了一個名爲BoundsChecker的菜單,如下所示:

1.jpg
 

3-1 BoundsChecker在VC++集成開發環境中添加的菜單

BoundsChecker 已經非常完好的集成到VC++集成開發環境中了。

使用BoundsChecker對程序的運行時錯誤進行檢測,有兩種使用模式可供選擇。一種模式叫做ActiveCheck,一種模式叫做FinalCheck。下面分別進行介紹。

 

3.1 ActiveCheck

ActiveCheck是BoundsChecker提供的一種方便、快捷的錯誤檢測模式,它能檢測的錯誤種類有限,只包括:內存泄露錯誤、資源泄露錯誤、API函數使用錯誤。

要想使用ActiveCheck模式來檢測程序的運行時錯誤,只需在VC++集成開發環境中打開BoundsChecker功能,然後從調試狀態運行程序即可。此時ActiveCheck會在後臺自動運行,隨時檢測程序是否發生了錯誤。下面說一下具體的使用步驟。

3.1.1 用ActiveCheck來檢測錯誤

使用ActiveCheck的具體的操作步驟如下:

首先,在VC++集成開發環境中打開你要對其進行測試的程序,同時保證項目處於Debug編譯狀態下。

其次,確保VC++集成開發環境中[BoundsChecker/Integrated Debugging]菜單項和[BoundsChecker/Report Errors and Events]菜單項處於被選中的狀態。只有這兩項被選中,BoundsChecker纔會在程序運行過程中發揮作用。

最後,在VC++集成開發環境中選擇[Build/ Start Debug/Go]菜單命令,在Debug狀態下運行程序,ActiveCheck也在後臺開始運行了。

這時,就可以按照制定好的測試用例,對程序進行操作。凡是程序執行過的代碼,如果存在錯誤,ActiveCheck就會記錄下來。

有一個地方要說一下,在[BoundsChecker]菜單中有一項[Report Errors Immediately],如下圖所示:

2.jpg

3-2 關於[BoundsChecker / Report Errors Immediately] 菜單項

該菜單項對於ActiveCheck 模式,以及下面就要介紹的FinalCheck模式的作用是一樣的,即:如果不選中該項,則BoundsChecker會記錄程序運行過程中發現的各種錯誤,直到程序結束後再進行報告;當選中該菜單項時,在程序的運行過程中,一旦BoundsChecker發現錯誤,會馬上彈出如下的對話框進行提示:

3.jpg
 

 

3-3 錯誤報告對話框

下面按圖中標註的數字序號解釋一下對話框中各個按鈕的功能:

按鈕1:點擊該按鈕,則表示先暫時不理會這個錯誤,繼續執行程序。

按鈕2:點擊該按鈕,則會馬上跳轉到出現問題的代碼行處。處理完問題後,點擊[Build/ Start Debug/Go]菜單項,可以繼續執行程序,進行檢測。

按鈕3:點擊該按鈕,則將該錯誤添加到被忽略的錯誤列表中去,當再次出現這個問題時,BoundsChecker將不會進行報告。

按鈕4:點擊該按鈕,則立即終止程序的執行。

按鈕5:點擊該按鈕,會顯示當前內存的申請、使用情況。

按鈕6:點擊該按鈕,會得到當前這個錯誤的幫助信息。

按鈕7、8: 這兩個按鈕與[BoundsChecker\Report Errors Immediately]和[BoundsChecker\ Report Errors and Event] 菜單命令的功能是完全一樣的,在此不再贅述。

按鈕9:點擊該按鈕,會顯示/隱藏與該錯誤有關的函數調用堆棧情況,以及具體的出錯代碼行的位置。

是否選中[BoundsChecker/Report Errors Immediately]菜單項,完全取決於你自己的喜好,以及測試時的具體情況。如果你想要BoundsChecker在程序運行過程中實時向你彙報發現的錯誤,那麼你就選中這個菜單項;如果想等到操作結束後,再對操作過程中BoundsChecker發現的錯誤統一進行分析,就不必選中這個菜單項。我在平常使用過程中更偏向於使用後一種。

3.1.2 分析錯誤

 

在你操作全部結束,退出程序後,

 

BoundsChecker 會顯示一個所發現錯誤的列表。我們需要對列表中羅列的錯誤進行分析,來確定錯誤的原因和位置。

 

在錯誤檢測結果列表中,羅列出了在程序的執行過程中ActiveCheck檢測到的所有的內存泄露、資源泄露和API函數使用錯誤的相關信息。如下圖所示:

 

 

4.jpg
 

 

3-4 錯誤檢測結果

在左邊的窗口中,逐條列出了程序在內存、資源、API 函數使用上的問題,包括:該問題的種類,該問題發生的次數,如果是內存泄露,損失了多少內存,以及發生該問題的代碼位置等等。當你用鼠標單擊選中某一條記錄時,在右邊的窗口中會顯示出與該條錯誤記錄相對應的函數調用堆棧情況。當你用鼠標雙擊某一條錯誤記錄時,會定位到引發該錯誤的源代碼處。

   

好了,BoundsChecker在ActiveCheck模式下的使用方法至此介紹完了,是不是很簡單?

ActiveCheck模式下檢測程序時,程序的運行速度基本不受影響,但其缺點是檢測的錯誤種類有限,即只能檢查出內存泄露錯誤、資源泄露錯誤、API函數使用錯誤。BoundsChecker 提供了另外一種檢測錯誤的模式—— FinalCheck,也就是我們在前面提到的BoundsChecker的第二種使用模式。 FinalCheck可以檢測出程序中更多的錯誤。下面我們就對它進行介紹。

3.2 用 FinalCheck檢測更多的錯誤

FinalCheck具有BoundsChecker提供的所有檢錯功能。FinalCheck 是ActiveCheck的超集,它除了能夠檢測出ActiveCheck能夠檢測出的錯誤,還能發現很多 ActiveCheck 不能檢測到的錯誤,包括:指針操作錯誤、內存操作溢出、使用未初始化的內存等等,並且,對於ActiveCheck能檢測出的錯誤,FinalCheck能夠給出關於錯誤更詳細的信息。所以,我們可以把FinalCheck認爲是ActiveCheck的功能增強版。我們付出的代價是:程序的運行速度會變慢,有時甚至會變的很慢。

要想在FinalCheck 模式下測試程序,不能使用VC++集成開發環境提供的編譯連接器來構造程序,而必須要使用BoundsChecker提供的編譯連接器來編譯連接程序。當 BoundsChecker的編譯連接器編譯連接程序時,會向程序中插裝一些錯誤檢測代碼,這也就是FinalCheck能夠比ActiveCheck找到更多錯誤的原因。

下面就

介紹一下如何在FinalCheck模式下對程序進行測試:

1在VC++集成開發環境中打開你所要測試的項目。

2由於要使用BoundsChecker的編譯連接器重新編譯連接程序,所以我們爲BoundsChecker獨自構造一個文件夾。在VC++集成開發環境中,具體操作方法是:

A)點擊[ Build/Configurations...]菜單命令。

B)在彈出的對話框中點擊 Add 按鈕。在Configuration 編輯框中添入你爲BoundsChecker創建的文件夾的名稱,這個名稱是任意的,比如我們取名爲BoundChecker。

C)在 Copy settings from組合框中選中 XXX—Win32 Debug項,然後點擊OK按鈕,接着點擊Close按鈕。

現在,我們已經爲FinalCheck構造好了一個文件夾。

3 點擊[Build/Set Active Configuration…] 菜單命令,選中你剛纔爲BoundsChecker建的文件夾, 然後點擊OK按鈕。這樣BoundsChecker編譯連接程序時生成的中間文件、可執行程序,都會被放到該文件夾下。

4選擇[BoundsChecker/Rebuild All with BoundsChecker] 菜單命令,對程序重新進行編譯連接,也就是在這時,BoundsChecker向被測程序的代碼中加入了錯誤檢測碼。編譯連接完成後,BoundsChecker會在你爲BoundsChecker構造的文件夾中生成可執行文件。

FinalCheck模式下對程序進行檢測的準備工作都已經做好,這時可以啓動程序開始測試了,

操作步驟與在ActiveChecker模式下沒什麼區別。具體步驟如下:

  1. 確保VC++集成開發環境中[BoundsChecker/ Integrated Debugging]菜單項和[BoundsChecker/Report Errors and Events]菜單項處於選中狀態。

  2. 點擊[ Build\Start Debug]菜單,選中“Go” 菜單項。程序開始在Debug狀態下運行。

  3. 按照你制定好的測試用例,對程序進行操作。 

  4. BoundsChecker檢測到了錯誤時,會彈出窗口向你彙報,你可以當時就進行處理,也可以等到你的操作全部完成,退出程序之後再對列出的這些錯誤進行分析。這完全取決於你是否選中了[BoundsChecker/Report Errors Immediately] 菜單項。

  5. 退出程序後,BoundsChecker會給出錯誤檢測結果列表。該錯誤列表與ActiveChecker給出的錯誤列表的查看方法完全一樣。只不過這個列表中所報告的信息會更多、更詳細一些。 

好了,BoundsChecker在FinalCheck模式下的使用也介紹完了。ActiveChecker、FinalCheck這兩種模式,比較而言各有長短。ActiveChecker使用方便,只需在Debug狀態下直接運行程序即可,並且程序的運行速度較快,但檢測的錯誤種類有限;FinalCheck模式下,需要使用BoundsChecker的編譯連接器重新編譯連接生成可執行程序,並且程序的運行速度比較慢,但檢測的錯誤種類、提供的錯誤相關信息要多於ActiveChecker。所以,何時使用何種模式,應根據當時的具體情況而定。

3.3 檢測Win32 API函數的兼容性

BoundsChecker還提供了一個功能——檢測程序中使用的Win32 API函數在不同平臺上的兼容性。該功能與前面提到的ActiveChecker、FinalCheck模式沒有什麼關係,它是獨立的一個功能。

雖然大多數Win32 API函數都適用於Win95、Win98、Win2000、WinNT等不同的Windows操作系統平臺,但並不是所有的API函數都滿足這種情況。你可能不知不覺的使用了在某一個平臺下允許,在另一個平臺下卻不允許使用的API函數,而項目的要求是:程序能夠在這兩種平臺下運行。 BoundsChecker提供的這個檢測Win32 API函數兼容性的功能,恰好能夠處理這個問題。

該功能的使用方法如下:

啓動[BoundsChecker/View/Compliance Report]菜單命令,如下圖所示:

5.jpg
 

3-5 啓動Win32 API函數兼容性檢測功能

會彈出下面的窗口:

6.jpg

3-6Win32 API函數兼容性檢測功能

在對話框中選擇程序承諾能夠運行的平臺,以及被要求遵從的其他標準(標準C和擴展的標準C),點擊“OK”按鈕,BoundChecker會給出兼容性檢測報告。

3.4 忽略錯誤

在某些情況下,我們需要忽略BoundsChecker報告的一些錯誤,這些情況包括:

1 誤報。BoundsChecker 指定程序中的某段代碼存在錯誤,但經過我們的仔細檢查,證實程序確實沒有這個錯誤,這是BoundsChecker的誤報。工具畢竟是工具,它只能依照爲它制定的算法行事,所以會有誤報的情形發生。但千萬不要輕易認定某一個錯誤爲誤報,一定要對錯誤進行仔細的分析,確定是真正的誤報。

2第三方的代碼。BoundsChecker指定的錯誤發生位置在第三方提供的代碼中,包括第三方提供的程序庫、DLL、OCX等。對於這種情況,我們也要先進行認真的檢查,確定不是由於我們錯誤的使用第三方的代碼引起的。如果最後確定不是我們的原因,則這樣的錯誤報告可以忽略。

3.5 其他

還有一點需要強調,使用BoundsChecker對程序進行測試時,需要有程序的源代碼。如果沒有源碼,BoundsChecker雖然也可以打開EXE文件將其執行起來,但得出的測試結果經常是不正確的,因此也就沒有太大的意義。

另外,除了可以在VC++集成開發環境中使用BoundChecker外,從 [開始菜單] 中啓動BoundChecker,然後打開經BoundChecker編譯連接生成的可執行文件,也可以對程序進行測試,操作方法與集成到VC++集成開發環境中BoundChecker的操作方法是一樣的,在此就不贅述了。

至此,BoundChecker所提供的功能全部介紹完了。


 

 

4 TrueCoverage

覆蓋率對於測試來說是一項重要的數據。在我們執行了針對一個功能模塊的所有測試用例後,非常想了解測試對於模塊代碼的覆蓋情況,也就是測試覆蓋率到達了多少,以此來判斷測試工作是否可以結束,如果還未達到測試目標,如何進一步補充測試用例。

對於這些問題,如果沒有覆蓋率統計工具的幫助,而想通過手工來進行,幾乎是不可能的。

TrueCoverage的功能就是統計測試覆蓋率,它恰好能爲我們就上面這個問題提供幫助。TrueCoverage給出的覆蓋率是“語句覆蓋”,是最低覆蓋強度的覆蓋率,所以我們測試的項目,用TrueCoverage統計後,應儘量達到100%的覆蓋。

TrueCoverage的應用階段爲單元測試階段和集成測試階段。

BoundChecker一樣,TrueCoverage安裝成功後,在你的VC++集成開發環境中,會多出一個名爲TrueCoverage的菜單,如下圖所示:

7.jpg
 

4-1 TrueCoverageVC++集成開發環境中添加的菜單

這說明,TrueCoverage已經完好的集成到VC++集成開發環境中了。

下面開始介紹TrueCoverage的具體使用步驟。

4.1 使用TrueCoverage

TrueCoverage使用步驟:

1 在VC++集成開發環境中,打開你所要測試的項目。

2 爲TrueCoverage構造一個文件夾,方法爲:

首先,點擊[ Build/Configurations...]菜單命令。

其次,在彈出的對話框中點擊 Add 按鈕。

然後,在Configuration 編輯框中添入你爲TrueCoverage創建的文件夾的名稱,這個名稱是任意的,比如我們叫做TrueCoverage。

最後,在 Copy settings from組合框中選中 XXX—Win32 Debug項,然後點擊OK按鈕,接着點擊Close按鈕。

現在,我們已經爲TrueCoverage構造好了一個文件夾。

3 點擊[Build/Set Active Configuration…] 菜單命令,選中你剛纔爲TrueCoverage建的文件夾,然後點擊OK按鈕。

4 選擇[TrueCoverage/Rebuild All with TrueCoverage] 菜單命令,用TrueCoverage的編譯連接器對程序重新進行編譯連接。TrueCoverage對程序進行編譯連接時生成的中間文件、可執行程序,會放到你剛纔爲TrueCoverage創建的文件夾下。在這個編譯連接過程中,TrueCoverage向可執行程序中插入了一些信息,這也就是 TrueCoverage能夠跟蹤、統計測試覆蓋率的原因。

5點擊[TrueCoverage/Run with TrueCoverage] 菜單命令,TrueCoverage被啓動,接着你的程序也被執行起來。現在就可以按照事先已經制定好的測試用例,在程序中逐個進行執行了, TrueCoverage會在後臺記錄程序的執行覆蓋情況。

TrueCoverage界面中有一個工具條,我們有必要在這裏對它做一下說明。如下所示:

8.jpg

 

4-2 運行控制工具條

這個工具條在程序運行起來後,會由不可用狀態變爲可用狀態。工具條上各按鈕功能爲:

按鈕1:如果在程序的運行過程中你按下了該按鈕,則覆蓋率的統計只計算到此,你還可以繼續操作程序,但此時對程序的任何操作都不再計入到覆蓋率統計中去了。

按鈕2:如果在程序的運行過程中你按下了該按鈕,則TrueCoverage會馬上顯示截止到目前爲止的測試覆蓋率情況。之後你可以繼續操作程序,TrueCoverage會繼續在後臺記錄程序的執行覆蓋情況。

按鈕3:如果在程序的運行過程中你按下了該按鈕,則TrueCoverage會清除在這之前的覆蓋數據,使各項覆蓋率的數據均爲零。你可以繼續操作,TrueCoverage在後臺從零開始重新記錄程序的執行覆蓋情況。

6 當你退出程序時,TrueCoverage會顯示本次操作結束後,程序的執行覆蓋情況,包括:整個可執行程序的覆蓋情況、每個代碼文件的覆蓋情況、每個代碼文件中每個函數的覆蓋情況,對於這些覆蓋率統計結果,可以文件的形式進行保存。要想再次執行程序,點擊TrueCoverage 中的[Program/ Start]菜單命令即可。

我們不太可能一次執行完所有的測試用例。TrueCoverage 爲我們想到了這一點。在我們每次使用TrueCoverage運行起程序,執行了一些用例,關閉程序,並保存這一次的覆蓋率統計結果後, TrueCoverage會詢問你是否將本次的測試結果合併到總的覆蓋率統計結果中去,一般情況下,我們合並進去就可以了。

下面介紹一下TrueCoverage的界面,按圖中的編號分別給出說明。

9.jpg

 

4-3 TrueCoverage的運行界面

1:表示程序在某一次執行結束後的測試覆蓋情況。雙擊某一個條目,會在34部分的窗口中顯示關於本次覆蓋率的詳細信息。本圖中的情況,表示測試人員執行了兩次程序。

2表示程序當前總的測試覆蓋情況,是多個1合併後的結果。雙擊該條目,會在34部分的窗口中顯示關於總覆蓋率的詳細信息。

3:該窗口中顯示的數據與你當前選中的某一次或總的測試覆蓋統計結果相對應(即前面說到的12)。該窗口中顯示的數據包括:程序的覆蓋率、每個代碼文件的覆蓋率。更詳細的信息顯示在窗口4中。

4:該窗口中顯示的數據與你在窗口3中的選擇相對應,顯示了各個函數的測試覆蓋情況。用鼠標雙擊某一個函數,會顯示該函數的源代碼,TrueCoverage用不同的顏色標識執行過的和未被執行過的代碼,如下圖所示:

10.jpg

 

4-4 TrueCoverage用不同顏色標識執行過的和未被執行過的代碼

    TrueCoverage 默認情況下,用綠色代表已執行的代碼,用紅色代表未被執行的代碼,用黑色代表不可執行的代碼(你可以通過選擇TrueCoverage的 [program/setting]菜單命令,在啓動的對話框中的setting標籤頁中進行設置,來改變這種默認情況)。通過這些信息,我們可以有針對性的增加、修改用例,來提高測試覆蓋率。

4.2 對內聯函數的處理

內聯函數雖然具有函數的形式,但其機制與函數完全不同,所以,在用TrueCoverage統計測試覆蓋率時,對內聯函數需要採用不同的處理方式。

默認情況下,TrueCoverage是不會統計內聯函數的執行覆蓋率的。如果你需要得到內聯函數的覆蓋率數據,則需要進行一些額外的設置,具體方法是,在VC++的集成環境中選擇[TrueCoverage/TrueCoverage Setting...]菜單命令,彈出如下對話框:

11.jpg

 

4-5 內聯函數設置

選中“Instrument inline function”複選框,點擊OK。

然後選擇[TrueCoverage/Rebuild All with TrueCoverage] 菜單命令,重新進行編譯連接,對於這個可執行程序,TrueCoverage在其執行過程中就能夠記錄內聯函數的覆蓋率數據了。

4.3 TrueCoverage與BoundsChecker的結合使用

TrueCoverage與BoundsChecker可以結合起來使用。在[BoundsChecker]和[TrueCoverage]菜單下,都有一個[Rebuild with BoundsChecker and TrueCoverage]項,通過這一菜單命令編譯連接生成的可執行文件,在程序運行結束後,能同時得到TrueCoverage和BoundsChecker(FinalCheck)的檢測結果。

但這裏有一個限定,那就是:必須由BoundChecker打開該exe程序執行,或是在VC++集成開發環境中通過Debug來運行該exe。這樣在執行完程序後,能同時得到TrueCoverage和BoundsChecker(FinalCheck)的檢測結果,如果你通過TrueCoverage來執行程序,則只會得到TrueCoverage檢測結果。這一點請注意。

4.4 其他

BoundsChecker一樣,要使用TrueCoverage,一定要有被測程序的源代碼。如果沒有源碼,TrueCoverage無法統計覆蓋率。

除了可以在VC++的集成環境中使用TrueCoverage外,從 [開始菜單] 中啓動TrueCoverage,然後打開經TrueCoverage編譯連接生成的可執行文件,也可以進行覆蓋率的統計,操作方法與集成到VC++集成開發環境中TrueCoverage的操作方法一樣,在此不再贅述。

TrueCoverages的使用介紹到此結束了,該工具對於我們進行測試覆蓋率統計、補充測試用例的工作很有用處。




5 TrueTime

如何提高代碼的運行效率,是開發過程中的一個重要問題。一個應用程序運行速度慢,但不容易找到究竟是在哪裏出了問題,所以查找出性能瓶頸的位置是調整代碼性能的關鍵。TrueTime 就是一個對應用程序的運行性能進行分析,查找程序性能瓶頸的工具。

TrueTime 能夠收集、顯示應用程序運行性能的相關數據,這些數據包括每個模塊(EXE、DLL、OCX等)的運行性能,每一個函數的運行性能,對於有源代碼的部分,TrueTime還可以給出每一行代碼的運行性能。通過這些數據,我們可以確定系統的性能瓶頸,進一步優化程序的性能。

值得一提的是,TrueTime 在收集應用程序運行性能數據時,使用了一種叫做“Quantum”的技術。“Quantum”技術能夠將你測試的應用程序所包含的線程的運行時間,與操作系統中同時運行着的其他應用程序的線程的運行時間區分開來計算,也就是說,TrueTime只會計算花費在你的應用程序的線程上的時間片。這樣一來,在同一臺計算機上對同一應用程序的性能測試結果,不會因爲在該計算機系統中所運行的程序的多少而改變。所以,只要程序運行的硬件條件不發生改變, TrueTime的測試結果也基本不會變化,所以TrueTime對應用程序性能測試的結果是可復現的。

TrueTime安裝成功後,在你的VC++集成開發環境中,會多出一個名爲TrueTime的菜單,如下圖所示:

12.jpg
 

5-1 TrueTimeVC++集成開發環境中添加的菜單

這說明,TrueTime已經完好的集成到VC++集成開發環境中了。

下面開始介紹TrueTime的具體使用步驟。

5.1 使用TrueTime

TrueTime使用步驟:

1在VC++集成開發環境中打開你所要測試的項目。

2 爲TrueTime構造一個文件夾 ,具體方法是:

首先,點擊[ Build/Configurations...]菜單命令。

其次,在彈出的對話框中點擊 Add 按鈕。

然後,在Configuration 編輯框中添入你爲TrueTime創建的構造文件夾的名稱,這個名稱是任意的。比如我們取名爲TrueTime。

最後,在 Copy settings from組合框中選中 XXX—Win32 Debug項,然後點擊OK按鈕,接着點擊Close按鈕。

現在,我們爲TrueTime構造好了一個文件夾。

3 點擊[Build/Set Active Configuration…] 菜單命令,選中你剛纔爲TrueTime創建的文件夾, 然後點擊OK按鈕。

4 選中[TrueTime/Rebuild All with TrueTime] 菜單命令,用TrueTime的編譯連接器對程序重新進行編譯連接。TrueTime對程序進行編譯連接生成的中間文件、可執行程序,都會被放到你爲 TrueTime創建的文件夾下。在這個編譯連接過程中,TrueTime向可執行程序中插入了一些信息,這也就是TrueTime能夠記錄程序運行性能的原因。

5點擊[TrueTime/Run with TrueTime] 菜單命令,TrueTime被啓動,接着你的程序也被啓動並執行起來。

這時,按照事先制定好的測試用例,執行測試用例。TrueTime會記錄下被執行到的程序代碼的性能數據。

TrueTime界面中有一個工具條,它的外觀與我們在TrueCoverage中說到的那個工具條完全一樣,實現的功能也基本一樣,只是在TrueCoverage中,它控制的是覆蓋率,在這裏,它控制的是性能數據。我們現在來對它做一下說明。如下所示:

13.jpg

5-2 運行控制工具條

這個工具條在程序運行起來後,會由不可用狀態變爲可用狀態。工具條上各按鈕功能爲:

按鈕1:如果在程序的運行過程中你按下了該按鈕,則性能統計只計算到此,雖然還可以繼續操作程序,但此時對程序的任何操作都不再計入到性能統計中去了。

按鈕2:如果在程序的運行過程中你按下了該按鈕,則TrueTime會馬上顯示截止到目前爲止的性能統計情況。之後你可以繼續操作程序,TrueTime會繼續在後臺記錄程序的性能數據

按鈕3:如果在程序的運行過程中你按下了該按鈕,則TrueTime會清除在這之前所記錄的性能數據,使各項性能數據爲零。你可以繼續操作,TrueTime在後臺從零開始重新記錄程序的性能數據。

6當你退出程序時,TrueTime會顯示本次操作過程中被執行到的模塊、函數、代碼行的執行性能數據。要想對程序開始一次新的性能統計,點擊TrueTime 中的[Program / Start]菜單命令即可。

TrueTime檢測結果的界面如下:

14.jpg
 

5-3 TrueTime的運行界面

區域1:

列出了多次運行應用程序後,得到的多個性能檢測結果。雙擊某一項,會在區域2、區域3中顯示應用程序在這一次運行過程中的詳細性能數據。

區域2:

該窗口中顯示的數據與你在區域1中選中的某一次性能檢測相對應。窗口中顯示的數據以模塊(exe、dll等)爲單位,列出了程序在某一次執行過程中,各模塊的性能數據。對於各模塊更爲詳細的性能數據,顯示在區域3中。

區域3:

該窗口中顯示的數據與你在區域2中的選擇相對應,顯示了模塊中各個函數的性能數據。在區域3中有三個標籤頁——Function List標籤頁、Source標籤頁、Session Summary標籤頁。每個標籤頁中都列出了一組性能數據。其實要使用TrueTime,也就是要了解這些性能數據的含義。下面按照標籤頁對各項性能數據的含義進行解釋:

Function List標籤頁

Function List標籤頁中,用鼠標左鍵雙擊某一個函數,會彈出一個對話框,如下圖所示:

15.jpg
 

5-4 性能數據查看對話框

通過該對話框,能夠查看該函數的父函數(調用該函數的函數)、子函數(被該函數調用的函數)的性能信息。

Function List標籤頁列出了選定模塊所包含的函數的性能數據,這些數據包括:

Function Name——函數名稱。

% in Function——這是一個百分比,分子爲該函數執行的時間,分母爲系統從開始運行到結束的時間。

% with Children —— 這是一個百分比,分子爲該函數執行的時間,其中包括在該函數中又調用的子函數的運行時間,分母爲系統從開始運行到結束的時間。

Called——函數在本次的執行過程中被調用的次數。

Image——函數所在的模塊名稱(模塊指EXE、DLL、OCX等)。

% in Image——這是一個百分比,分子爲該函數執行的時間,分母爲該函數所在的模塊(EXE、DLL、OCX)運行的時間。

Average——函數多次運行時的平均執行時間,其中不包括該函數調用的子函數的運行時間。

First——函數第一次執行所耗費的時間。

Minimum——函數的多次執行中,耗費時間最短的那一次所用的時間。

Maximum——函數的多次執行中,耗費時間最長的那一次所用的時間。

Average with Children——函數被多次執行時,平均執行時間,其中包括該函數調用的子函數運行的時間。

Real——函數的平均執行時間,包括該函數調用的子函數所運行的時間,除此之外,還包括了花費在系統中同時運行着的其他應用程序的線程所耗費的時間。

Address——函數的入口地址。

Source標籤頁

Source標籤頁列出了選定模塊的指定源文件所包含的各行程序代碼的性能數據,這些數據包括:

Count——該行代碼在測試過程中被執行的次數。

% of Function——這是一個百分比,分子爲該行代碼執行的時間,分母爲該函數執行的時間。

% With Children——這也是一個百分比,分子爲該行代碼執行的時間,分母爲系統從開始運行到結束的時間。

Time——在系統的運行過程中,該行代碼運行時間的累計和。

Functions——該行代碼調用的函數的數量。

Line#——代碼所在行的行號。

Source——源代碼。

Session Summary標籤頁

Session Summarye標籤頁列出了該次性能統計的概要信息,內容很好理解,在此就不詳細介紹了。

TrueTime爲性能數據提供了四種不同的單位,分別是:CPU時鐘週期、微妙、毫秒、秒。我們可通過TrueTime中的[View/Scale]菜單項進行設置,如下:

16.jpg
 

5-5 性能數據單位設置菜單

在菜單中選中哪一項,性能數據就會以該時間單位顯示。

5.2 其他

TrueTime可以收集沒有源碼部分(比如第三方的DLL、OCX等)的運行性能數據,但如果我們想獲得某一個模塊的詳細運行性能數據,還是需要該模塊的源代碼。

除了可以在VC++集成環境中使用TrueTime外,從 [開始菜單] 中啓動TrueTime,然後打開經TrueTime編譯連接生成的可執行文件,也可以進行性能數據的收集,操作方法與集成到VC++集成開發環境中TrueTime的操作方法一樣,在此不再贅述。

TrueTime的介紹到此就結束了。





6 結束

至此,NuMega for Visual C++的三個子功能——BoundChecker、TrueCoverage、TrueTime的使用方法,都已經介紹完畢。現在我們應該做的就是使用NuMega去測試程序,在實踐中進一步深入瞭解這個白盒測試工具。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章