2020年軟件測試狀態報告

本文要點:

  • 測試人員都在將他們的工作觸角伸向與傳統QA團隊職責無關的領域;
  • 我們看到越來越多的非測試人員參與到測試活動中;
  • CI/CD之類的開發部署方法給測試人員帶來了挑戰,讓他們更多地參與到應用程序安全性的其他方面;
  • 測試人員仍然覺得自己的價值沒有得到企業足夠的認可;
  • 測試人員更多地被認爲是軟件質量的倡導者和顧問,他們以測試教育傳播爲武器,促進高質量軟件產品的交付。

2020年軟件測試狀態報告”在測試技術、測試實踐、測試自動化的採用以及測試人員所面臨的挑戰方面提供了見解。報告內容爲PractiTest網站的Joel Montvelisky和“Tea-Time with Testers”雜誌的Lalit Bhamare共同發起的2020年測試調查的結果。

以下內容來自“2020年軟件測試狀態報告”:

我們很難確切地說我們從報告中“看到”了什麼,或許可以用一種“感覺”來形容,一種變化的感覺,甚至可以說是一種進化的感覺。

我們看到了很多測試人員和開發人員之間增強協作的跡象,團隊之間的界限隨着時間的推移變得越來越模糊。

我們還看到測試人員的職責範圍在擴展,團隊在不同領域需要完成的任務和需要解決的挑戰也在擴展。

我們也看到了一些被測試的技術、用於測試的技術以及未來可能會發展起來的技術,它們的底層在發生變化。

更重要的是,我們看到了測試人員對測試職業的未來有了更廣闊和更光明的願景。

InfoQ採訪了此次調查的兩位組織者。

InfoQ:與之前的報告相比,2020年測試狀態報告有哪些主要變化?

Lalit Bhamare:我們參考了前幾年的調查結果,仔細觀察正在發生的事情,修改了調查問題,以便能夠獲關於某些趨勢更詳細、更有用的信息。

除了這些以外,我們並沒有做出什麼重大的改變。

Joel Montvelisky:我們嘗試讓報告的內容更加重點突出一些。這個看起來很簡單,難就難在應該怎樣把過去問過的一些問題去掉,這樣我們就可以加入其他更有價值的問題。
例如,爲了瞭解測試團隊對CI/CD過程的參與度,我們必須從之前的調查中去掉兩個問題。

InfoQ:只從事測試工作的測試人員的百分比在下降,你能詳細地說明爲什麼會這樣嗎?

Montvelisky:這個現象很有意思,也很鼓舞人心。測試人員在擴大他們的工作職責和活動範圍,並參與到流程的其他方面。

對於其中的一些測試人員,他們需要指導開發人員進行自測,還有一些人需要在生產環境中進行質量監控,並定義流程,確保質量保證成爲整個團隊工作的一部分,而不僅僅是在版本發佈之前發現漏洞和給漏洞打補丁。

Bhamare:我完全同意Joel的看法。測試人員的角色似乎正在發生變化,他們所做的事情超出了傳統的範圍。很顯然,測試人員更多的是通過提供諮詢的方式來推進“全團隊測試”,或者將他們的測試技能和專業知識應用到軟件交付和軟件支持的其他領域。

InfoQ:人們使用什麼方法來增強測試專業知識和提高測試技能?

Bhamare:測試人員似乎在尋求基於技能和經驗的學習方法,他們與團隊成員結對,與其他測試人員討論,利用在線學習方式,參與社區論壇。

使用會議、網絡研討會和其他在線學習方式的人數明顯在增加。

Montvelisky:事實上,測試人員更多的是在進行相互指導或提供網絡課程,我認爲這些趨勢都是相互關聯的。在很多情況下,經驗豐富的測試人員提供有限的在線培訓,然後根據興趣繼續提供一對一指導。

InfoQ:你認爲團隊測試人員的數量在趨勢方面有什麼變化?

Montvelisky:這方面的趨勢不是很明顯,我們也說不清楚。數字正在變小,但去年我們卻看到了一個小跳躍。

這可能是因爲調查採樣導致的一次性跳躍,或者開發團隊的“鐘擺”行爲導致的,他們認爲他們需要足夠多的測試人員來幫助團隊交付高質量的產品。

我們需要在未來幾年繼續關注這個問題。

Bhamare:我同意Joel的看法。我覺得這個要視情況而定。在某些情況下,測試人員被合併到開發團隊中,而在某些情況下,會招募更多的測試人員來支持測試工作。

InfoQ:採用持續集成和持續部署對測試有什麼影響?

Bhamare:在我看來,CI/CD可以確保測試人員(或團隊中負責測試的人)在測試過程中有可靠和最佳的自動化手段,這樣他們就可以省出更多時間用於發現未知的風險。他們可以在SDLC中儘早發現這些風險。

測試人員可以批判性地思考最適合自己的自動化策略,並使其更加可靠、更有意義。另一方面,如果他們的自動化策略不夠好(或者說他們的CI/CD基礎設施不成熟),那麼測試人員需要花更多時間進行自動化,而這麼做也只能讓管道保持“綠色”。這些努力幾乎不會給產品質量帶來什麼好處,也沒有增加任何有意義的價值。

Montvelisky:在我看來,CI/CD有助於我們完善質量保證過程。最直接的因素是將單元測試和產品集成活動作爲測試和質量過程的一部分——讓測試人員參與到整個活動的定義和分析過程中,這是我們的團隊目前還無法做到的。

從長遠來看,特別是在那些使用持續部署的企業內部,這是在將測試團隊作爲DevOps的一部分,這樣一來,生產環境的部署和監控也有了“耳目”。

InfoQ:測試人員在使用哪些測試技術和方法?

Montvelisky:報告顯示,測試人員繼續使用混合性技術來完成他們的工作。大多數測試人員結合使用探索性(Exploratory)測試和腳本化測試。

我們還看到了一些常用的方法,比如結對測試(Pair Testing)、Bug追查(Bug Hunts)和生產日誌檢查(Review of Production Logs)。

他們還使用了各種不同的方法。有很多測試人員有意識地指導團隊,並實現了MT(現代測試,Alan Page和Brent Jensen在“現代測試方法和原則”中定義的測試方法)。

Bhamare:與我們從之前的報告中瞭解到的情況相比,我沒有看到任何重大變化。不過,探索性測試和基於會話的測試繼續被越來越多的人所接受。

Bug追查和生產監控似乎獲得了更多的關注。

大多數人採用遠程工作方式將給我們所使用的技術和方法帶來怎樣的影響?看着這種變化的發生,本身就是一件很有趣的事情。

InfoQ:測試人員和測試團隊面臨的最大挑戰是什麼?他們是如何應對的?

Bhamare:與時間賽跑以及不盡早參與整個過程仍然是最大的挑戰。當然,創建和維護測試數據和測試環境也極具挑戰性。

總的來說,把時間和精力花在如何簡化測試上是一個最大的痛點,除此之外還有其他傳統問題(比如政治問題),而並不是測試人員沒有充分重視測試,等等。

Montvelisky:對於我們中的大多數人來說,最具挑戰性的仍然是時間、早期參與和傳達測試所能產生的價值。

不過,也有很多測試人員需要面對來自其他方面的挑戰,如協調外包、政治問題以及將時間“浪費”在一些與測試本身不相干的任務上,比如給其他團隊培訓產品特性、爲開發團隊搭建環境或評估來自開發部門之外的潛在問題。

InfoQ:在測試領域,什麼樣的實踐或技術將會變得越來越重要?

Montvelisky:我的答案很清楚:數據分析。在生產系統中,數據的模式會更加捉摸不透,我們更多的是進行數據分析,而不是數據發現,我們需要成爲數據分析方面的專家,這樣才能基於大量從系統中流出的數據快速做出決策。

Bhamare:從報告和個人經驗來看,應該是數據科學和分析測試。當然也包括AI、ML和VR,但在我看來,數據科學肯定會改變遊戲的規則。

InfoQ:爲了更好地完成工作,測試人員希望哪些方面會發生變化?

Bhamare:作爲被合併到開發團隊中的測試人員,他們的工作似乎超負荷了。他們希望得到更多的測試支持,或者整個團隊都支持質量保證工作,也就是所謂的“全團隊”質量保證方法。

Montvelisky:在這方面,我並沒有看到與以前有太多的不一樣。我們仍然希望自己的工作價值得到認可,進行更多的團隊合作,特別是希望開發人員在測試過程中更多地參與進來。

採訪嘉賓簡介

Lalitkumar Bhamare目前在XING SE擔任高級軟件測試工程師。他是軟件測試雜誌“Tea-Time with Testers”的主編和聯合創始人。他也是“測試狀態報告”項目的聯合組織者。Bhamare熟悉探索性測試,是RST和CDT的實踐者。他是美國軟件測試協會BSST基礎課程的首席講師,並定期在James Bach的在線課程中提供協作。可以通過@Lalitbhamare或@TtimewidTesters聯繫Bhamare,或者訪問他的個人博客(http://www.talesoftesting.com/)。

Joel Montvelisky是PractiTest的聯合創始人和首席解決方案架構師。自1997年以來,他一直從事測試和QA工作,爲以色列、美國和歐盟的公司工作。他是一名國際演說家,並在“QA情報”博客上發表文章。Montvelisky也是OnlineTestConf的創始人和主席,“測試狀態調查和報告”的聯合組織者。他的最新項目是與Rob Lambert合作的“測試一對一”播客。

原文鏈接

2020 State of Testing Report

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章