根據最新2018版本發佈的ISTQB初級大綱中的測試的定義,其測試過程包括:測試計劃與監控、測試分析與設計、測試實施與執行、測試結束活動,每個測試階段的結束點都可以作爲一個里程碑點,可以定義相應階段的出口準則;而每個測試階段的開始點,可以定義該階段的入口準則。
測試準則根據其目的和作用的不同,可以分爲測試入口準則、出口準則、暫停準則和恢復準則。根據ISTQB的術語定義,其含義分別如下:
-
入口準則(entry criteria):正式啓動已定義任務的一組條件。
-
出口準則(exit criteria):正式完成已定義任務的條件集。
-
暫停準則(suspension criteria ):用來(暫時性地)停止對測試條目進行的所有或部分測試活動的準則。
-
恢復準則(resumption criteria):重新啓動全部或部分被暫停的的測試活動時要達到的準則。
TMMi測試過程域PA“測試計劃”中對應的特殊實踐SP中相應的準則,分別是從產品質量和測試過程角度進行闡述的。而本文的思路更多的是從開發團隊和測試團隊角度、項目度量等角度闡述系統測試執行中涉及的入口準則、出口準則、暫停準則和恢復準則。
1、入口準則的定義
即滿足什麼條件,可以開始測試執行活動,定義以下內容可作爲參考:
1)從開發團隊的角度
-
開發人員已經完成針對被測軟件版本的預測試,例如:Smoking Testing,並且預測試結果滿足預先定義的要求;
-
開發人員提交了被測軟件的版本說明,包括該版本中新增加的功能特性、已修改的缺陷、沒有修改的缺陷、可能存在的問題以及測試重點的建議等內容;
2)從測試團隊的角度
-
測試文檔準備就緒並進行了評審和更新,例如:測試設計規格說明、測試用例規格說明等;
-
測試自動化用例和測試腳本經過了評審和更新;
-
測試資源準備就緒,包括測試人員、測試工具、測試設備等;
2、出口準則的定義
即滿足什麼條件,可以結束測試執行活動。項目度量中的幾個不同維度可以作爲出口準則內容的參考:
-
產品風險,例如:已經測試通過的產品風險、仍舊阻塞的產品風險、剩餘的產品風險等;
-
測試用例,例如:已經執行的測試用例,處於通過或失敗的測試用例等;
-
缺陷,例如:不同嚴重程度的缺陷分佈,缺陷的不同狀態分佈,嚴重程度爲1的缺陷是否已經修復,並通過確認測試和迴歸測試等;
-
覆蓋率,例如:需求覆蓋率、接口覆蓋率等;
3、暫停準則的定義
即出現什麼情況會導致測試執行的非正常中止。下面的內容可作爲暫停準則的參考:
-
測試過程中發現嚴重問題或者大量問題,以至於繼續測試沒有什麼意義;
-
測試環境方面的原因導致測試執行無法正常繼續;
4、恢復準則的定義
可以繼續或者重新進行測試執行的狀態或事件。通常情況下,可以參考前面提到的測試執行入口準則要求條目。或者測試過程中發現的嚴重問題或者大量問題已經解決,並且符合測試的入口準則。
測試入口準則和出口準則的建立不僅有助於測試的順利進行,同時也可以幫助測試人員在測試過程中利用這些準則評估和判斷測試狀態,並根據不同的測試狀態採取合適的措施。測試準則並不是測試團隊獨立制定的,而應該在整個項目範圍內進行,由測試、開發和項目管理團隊的代表共同參與制定,並在項目組內進行廣泛的溝通,從而對測試準則中的要求和條目達成共識。