阿里雲測試,阿里雲移動測試平臺基礎瞭解

(移動測試(Mobile Testing)是爲廣大企業客戶和移動開發者提供真機測試服務的雲平臺,擁有大量熱門機型,提供7x24全天候服務,幫助客戶發現APP中的各類隱患(應用崩潰、各類兼容性問題、功能性問題、性能問題等),減少用戶流失,提高APP質量和市場競爭力。)

簡介:

移動測試(MQC)是爲廣大企業客戶和移動開發者提供真機測試服務的雲平臺,擁有大量熱門機型,提供7x24全天候服務。

我們致力於提供專業、穩定、全面、高價值的自動化測試能力,以及簡單易用的使用流程、貼心的技術服務,並且幫助客戶以最低的成本、最高的效率發現APP中的各類隱患(APP崩潰、各類兼容性問題、功能性問題、性能問題等),減少用戶流失,提高APP質量和市場競爭力。

依託於阿里深厚的移動測試技術積累,MQC針對不同的測試場景和需求,研發了一套獨特的測試方法和體系,可以涵蓋Android、iOS、YunOS、H5 等不同的平臺體系,我們在內部服務了手淘、天貓、聚划算、支付寶等一系列超級App,積累了豐富的移動測試經驗。

名詞解釋:

兼容性測試:Android系統版本繁多,再加上各個廠商定製化的修改,使得Android碎片化問題非常嚴重。開發者需要花大量的金錢購買各類真機設備,花大量時間在不同的Android設備上進行測試,程序崩潰問題依然嚴重。兼容性測試就是解決這一問題。用戶只需上傳應用包,然後直接選擇真機設備,即可提交到雲端進行測試。兼容性測試會幫用戶自動的在選擇的真機終端上進行安裝測試、啓動測試、壓力測試、卸載測試,最後把整體的兼容性報告、所有崩潰隱患的詳細信息全部呈現給開發者,讓開發者足不出戶,便能體驗到極致的測試服務。

H5測試: H5應用已經到了與Native應用平分天下的地位,越來越多的開發者願意將精力投入到更加方便、輕量的H5應用上去。同時,H5應用的兼容性、性能等問題愈發值得重視。H5測試爲開發者提供真機上H5應用的兼容性和性能測試,同時智能地遍歷H5應用所有下級頁面,並且給出H5應用待優化的點,讓開發者快樂開發。

ANR:如果應用對輸入事件(例如硬件點擊或者屏幕觸摸事件)在5秒內無響應,或者BroadReceiver不能夠在10秒內結束接收到任務,就會發生ANR(程序無響應)。一般由在UI線程中執行了數據庫、IO、網絡等耗時的操作而無法響應輸入事件引起。

Crash:應用在運行過程中,出現異常退出。

Monkey測試:Monkey是Android中的一個命令行工具,可以運行在模擬器裏或實際設備中。它向系統發送僞隨機的用戶事件流(如按鍵輸入、觸摸屏輸入、手勢輸入等),實現對正在開發的應用程序進行壓力測試。Monkey測試是一種爲了測試軟件的穩定性、健壯性的快速有效的方法。

CPU時間:操作系統調度CPU交替的執行不同進程,一個進程的CPU時間就是指CPU在該進程上執行的所有時長的總和。

H5首屏加載: H5頁面加載完首屏所有資源、包括css、js、圖片、數據等所消耗的時間。

DOM加載:webView onPageStart到onPageFinished的時間。

非CDN資源:CDN是構建在網絡之上的內容分發網絡,依靠部署在各地的邊緣服務器,通過中心平臺的負載均衡、內容分發、調度等功能模塊,使用戶就近獲取所需內容,降低網絡擁塞,提高用戶訪問響應速度和命中率。非CDN資源就是沒有使用CDN的資源,加載資源時需要通過DNS層層解析。

無時間戳資源:HTTP請求時沒有在Header裏面帶上modify time和expire time這樣的信息,在請求時從緩存裏面找不到匹配的資源,需要重新加載,會耗用更多的流量和時間。

瀏覽器兼容性測試:瀏覽器兼容性目前支持QQ、百度、UC、360四類移動端瀏覽器。MQC會在您選擇的設備上,分別用這四款移動瀏覽器加載目標網頁,並在加載完成後,向上滑動2次網頁,分別截取H5應用圖片。從而,幫助您查看在不同瀏覽器上的H5應用兼容性情況。

功能特性

移動測試致力於提供專業、穩定、全面、高價值的自動化測試能力,以及簡單易用的使用流程、貼心的技術服務,並且幫助客戶以最低的成本、最高的效率發現APP中的各類隱患(APP崩潰、各類兼容性問題、功能性問題、性能問題等)。移動測試的機型分佈涵蓋了市面上幾乎所有主流品牌、型號、系統版本和屏幕分辨率。目前主要包括:Android兼容性測試、Android功能測試、Android深度性能測試、Android遠程真機租用、Android在線錄製、iOS兼容性測試、iOS功能測試、iOS在線錄製、H5測試等功能。

Android兼容性測試

本服務按照APP安裝—>啓動—>登錄(可選)—>Ripper探索->不同版本覆蓋安裝(可選)—>卸載這一流程運行您的APP,同時也會獲取相關的運行日誌(如果有)、BUG信息(如果有)、性能數據(如果有,主要包含啓動時間、CPU、內存、流量等數據),測試完成後將會提供一份兼容性測試報告。對於Android兼容性測試,免費任務的測試時長爲5分鐘,付費任務的測試時長爲10分鐘。

登錄這一步驟爲可選項,目前支持自動登錄和腳本登錄(一次測試任務中兩種方法不能同時使用),在您提交測試任務時,如果您提供了測試賬號和密碼,測試執行時將在出現登錄界面後移動測試將自動輸入賬號密碼進行登錄操作,此方法不支持需要驗證碼的登陸過程或者界面特殊的登錄界面;如果您在提交測試任務時提供了Appium(zip壓縮後的Python或Java文件)或Robotium(zip壓縮過的Java文件)測試腳本,移動測試將在測試過程開始時執行您的測試腳本。兩種登陸方法均支持賬號池功能。
       說明:Ripper探索使用了阿里集團基於機器學習開發的智能 AI 程序Ripper,具備自主決策能力,極大提高 App 測試效率。Ripper在頁面覆蓋度、BUG檢出率上相較傳統Monkey和遍歷程序有明顯優勢。

Android功能測試
本服務將按照APP安裝—>啓動—>執行測試用例—>卸載這一流程運行您的APP,同時也會獲取相關的運行日誌(如果有)、BUG信息(如果有)、性能數據(如果有),測試完成後將會提供一份功能測試報告。報告將會以截圖或者視頻的形式向您展現APP的運行過程,幫助您快速進行功能迴歸。

本服務需要您提供一份基於Appium或Robotium測試引擎的測試腳本,Appium測試腳本支持Python和Java編程語言,Robotium腳本支持Java編程語言。本服務不提供單獨的登陸步驟,請將您的登陸過程集成在測試腳本中,這裏也支持賬號池功能。

功能測試的腳本執行成功率跟您測試腳本的質量有關,移動測試無法保證您的腳本一定可以得到您預期的結果。移動測試會在腳本運行過程中儘量幫助您處理掉系統彈窗,以在一定程度上提高功能測試成功率,但是您APP彈出的非系統彈窗則需要您在測試腳本中自行處理。爲了提高您的腳本執行成功率,建議您在測試腳本中必要的步驟後增加相關的校驗或處理步驟(例如:在可能出現彈窗的地方進行相關判斷和處理、在界面切換或網絡請求等時間不可控的步驟後增加等待時間防止由於界面未完全加載而導致找不到控件等)。
您可以通過Android在線錄製生成一份測試腳本或者直接保存成測試用例,可以減輕您的腳本編寫負擔。

Android功能測試的測試時長限制在30分鐘以內,如果您的測試用例或腳本的執行時間過長,移動測試將在超時後主動結束本次測試任務,不會繼續執行用例或腳本;你可以將用例或腳本合理拆分,分解成多個任務提交測試,或者聯繫移動測試爲您提供個性化支持。
同時,針對金融類客戶,我們支持隨機密碼鍵盤的輸入操作,提高功能測試的適用範圍。

Android遠程真機租用

遠程真機租用向您提供在線遠程操作移動測試設備的功能,您可以實時看到設備的屏幕、以及執行屏幕或者按鍵操作,例如:點擊、滑動、輸入文本等。本服務方便您在發現APP在某些機型上存在問題而手邊沒有對應設備時,快速復現您APP的異常和問題。

Android&iOS在線錄製
在線錄製可以記錄您在移動測試設備上的操作軌跡,快速生成對應的功能測試用例和腳本。支持點擊、滑動、文本輸入、等待等常用操作。生成的測試腳本通過xpath、控件id、文字等多種方式查找控件,明顯提高了功能測試的成功率。針對iOS系統不同版本間xpath或元素類型變化等問題,移動測試做了大量適配工作。

說明:由於APP之間存在大量差異,移動測試無法適配所有情況,無法保證在線錄製生成的腳本一定運行成功。爲了保證生成的測試用例或腳本在功能測試中有較高的成功率,您在錄製時應儘量從APP安裝完成啓動時開始錄製,不要漏掉某些操作步驟;對於非系統彈框,也需要您進行針對性的處理;在錄製界面切換或網絡請求這類時間不可控的步驟後,請加上一定的等待時間,避免在功能測試時因爲這些因素而出現找不到控件的問題。

Android深度性能測試
深度性能測試能協助測試人員發現APP中存在的深層次性能問題,直接定位多項性能問題及瓶頸的根本原因,方便您快速做出針對性地修改,提升APP性能表現,使得APP運行得更加穩定。
深度性能測試現在提供內存泄露、內存溢出、GC監控、界面流暢度和卡頓檢測、過度繪製檢測、啓動分析、嚴苛模式(StrictMode)分析、安裝包分析等功能。分別從內存表現、繪製和響應表現、啓動表現、安裝包等四個方面對APP性能做出來全面的分析。

iOS兼容性測試
本服務按照安裝—>啓動—>自動登錄(可選)—>智能探索—>卸載的流程在您選定的設備上運行您的APP,移動測試目前的iOS機型涵蓋iPhone 4S到iPhone 7/7P,系統版本涵蓋iOS 8到iOS 10。方便您快速針對iOS機型進行全覆蓋測試。自動登錄只需要您提供測試賬號和密碼就可以幫您快速登錄,這裏暫不支持需要驗證碼和比較特殊的登錄界面。本服務將收集設備在APP運行期間輸出的BUG日誌(如果有),並將錄製測試過程的APP運行視頻,方便您快速查看問題。iOS兼容性測試免費任務的測試時長爲5分鐘,付費任務測試時長爲10分鐘。

iOS功能測試
本服務按照安裝—>啓動—>執行腳本—>卸載的流程運行您的APP。測試腳本目前支持Appium和UI Automation(由於iOS的限制,UI Automation腳本僅支持iOS 8及之前版本的設備)測試框架。移動測試將會錄製APP的運行視頻,方便您快速發現功能問題。
用於iOS功能測試的Appium腳本僅支持Python語言,UI Automation腳本僅支持JavaScript語言。

功能測試的腳本執行成功率跟您測試腳本的質量有關,移動測試無法保證您的腳本一定可以得到您預期的結果。移動測試會在腳本運行過程中儘量幫助您處理掉系統彈窗,以在一定程度上提高功能測試成功率,但是您APP彈出的非系統彈窗則需要您在測試腳本中自行處理。爲了提高您的腳本執行成功率,建議您在測試腳本中必要的步驟後增加相關的校驗或處理步驟(例如:在可能出現彈窗的地方進行相關判斷和處理、在界面切換或網絡請求等時間不可控的步驟後增加等待時間防止由於界面未完全加載而導致找不到控件等)。
您可以iOS在線錄製生成測試腳本或用例,減輕您的腳本編寫負擔。

iOS功能測試免費任務的測試時長限制在5分鐘以內,付費任務的測試時間限制在20分鐘以內,如果您的測試用例或腳本的執行時間過長,移動測試將在超時後主動結束本次測試任務,不會繼續執行用例或腳本;你可以將用例或腳本合理拆分,分解成多個任務提交測試,或者聯繫移動測試爲您提供個性化支持。

H5測試
H5測試可以在不同手機瀏覽器下測試您的頁面加載情況。H5測試從資源加載、白屏時間、網頁大小、網頁複雜度等方面對您的頁面加載性能做出全面分析, 方便快速發現H5問題。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章