移動多端自動化測試平臺建設(shè)

【摘要】? ? 本文介紹了移動多端自動化測試平臺的建設(shè)思路，該平臺實現(xiàn)了對國內(nèi)移動政務(wù)服務(wù)應(yīng)用的自動化真機在線測試和智能化測試結(jié)果在線分析，替代傳統(tǒng)人工測試。提供給各級政府在政務(wù)服務(wù)APP、H5、支付寶小程序、微信小程序等移動渠道研發(fā)、上線、運維過程中，對功能、性能、兼容性、穩(wěn)定性、安全性等全維度測試的能力，并提高軟件質(zhì)量和市場競爭力。文章對自動化測試平臺進(jìn)行概述，分析了自動化平臺結(jié)構(gòu)設(shè)計理念，闡述了自動化平臺設(shè)計和實現(xiàn)思路。

【關(guān)鍵詞】? ? 自動化? ? 在線測試? ? 軟件質(zhì)量? ? 市場競爭力

一、測試平臺需要解決的問題

目前市場上有部分移動政務(wù)APP應(yīng)用在安裝、啟動、卸載時存在耗時較長，使用過程中出現(xiàn)閃退、卡死等常見的問題;同時，一些軟件病毒、惡意插件、漏洞和敏感數(shù)據(jù)也在嚴(yán)重影響用戶信息安全。因此用戶對移動政務(wù)服務(wù)應(yīng)用在兼容性、性能、穩(wěn)定性、安全性上面提出了更高的要求。自動化云測平臺可以協(xié)助人工提供這方面的測試能力，很好的彌補了當(dāng)前測試階段存在幾個典型的痛點：

1.人工測試為主，效率低下：目前政務(wù)服務(wù)App質(zhì)量團(tuán)隊的測試手段依然以手工測試為主，人工成本較高。

2.缺乏安全滲透測試技術(shù)：政務(wù)服務(wù)領(lǐng)域內(nèi)研發(fā)團(tuán)隊主要以面向政務(wù)業(yè)務(wù)為主，缺乏自動化安全測試的專業(yè)技術(shù)。

3.適配機型復(fù)雜：傳統(tǒng)測試方式下，無法覆蓋市面上眾多的手機型號。

二、測試平臺功能矩陣

為了解決移動政務(wù)服務(wù)應(yīng)用在“性能”、“安全性”、“穩(wěn)定性”、“兼容性”以及功能上的問題，規(guī)范建設(shè)者們在移動政務(wù)應(yīng)用建設(shè)前、中、后期的專項測試標(biāo)準(zhǔn)，讓不同技術(shù)實力的開發(fā)者所開發(fā)的移動政務(wù)應(yīng)用均按統(tǒng)一標(biāo)準(zhǔn)進(jìn)行測試，為全國移動政務(wù)應(yīng)用開發(fā)領(lǐng)域的健康發(fā)展提供規(guī)范化、自動化的品控服務(wù)。測試平臺主要功能矩陣如下：

2.1性能測試

在APP的安裝啟動卸載過程中，檢測APP的安裝卸載時長，啟動時長;在APP運行過程中，實時檢測APP的前端性能數(shù)據(jù)，例如：FPS，流量，電量，內(nèi)存，CPU，上行流量，下行流量等性能。測試人員拿到獲取到的性能可以實時的分析此款A(yù)PP在測試過程中可能會存在的哪些問題，例如：內(nèi)存泄漏，加載時長過長，流暢度較差，加載圖片過大等一系列問題。移動終端應(yīng)用，不管是Native還是WebView的應(yīng)用，對性能要求都非常高，主要是卡頓、耗電、速度這幾個常見關(guān)鍵性的指標(biāo)，而這類測試重復(fù)性強，指標(biāo)路徑固定，自動化測試可以更快捷地完成性能測試任務(wù)。

2.2兼容性測試

不同的業(yè)務(wù)可能會有不同的適配要求，一般情況下平臺能提供幾百甚至上千臺機器進(jìn)行測試，包括在不同操作系統(tǒng)（android、ios、鴻蒙，每個還包含多個版本）、不同廠家手機（華為、小米和蘋果等）、不同屏幕尺寸和不同帶寬等方面的測試。

2.3穩(wěn)定性測試

APP的穩(wěn)定性一般通過閃退率、卡頓等可用性指標(biāo)來衡量。需要通過一定時間內(nèi)的持續(xù)使用或暴力測試來發(fā)現(xiàn)問題。

提到穩(wěn)定性測試大家都會想到用系統(tǒng)自帶的Monkey工具進(jìn)行測試，此工具既易上手也實用，但運用起來有非常多的講究和技巧，簡單的Monkey工具不一定能完成使命，不能完全測試出應(yīng)用的穩(wěn)定性情況。很多時候，需要測試開發(fā)人員按照一定規(guī)則自定義智能探索腳本，最大限度覆蓋APP的功能，保證穩(wěn)定性測試的全面性。

2.4功能測試

功能測試一般會通過運行自動測試用例來檢測功能是否符合預(yù)期。往往測試結(jié)果是和業(yè)務(wù)緊密相關(guān)的。

關(guān)于功能測試的爭議比較多，因為產(chǎn)品都需要快速迭代，而腳本的穩(wěn)定性、實現(xiàn)時間等成本開銷大，真正發(fā)揮作用也需要不斷地打磨，并且還有很多后期維護(hù)成本，所以比較折中的辦法是做一些BVT測試和持續(xù)集成配合，在開發(fā)編譯新的build后直接運行這些核心的BVT用例，以免出現(xiàn)嚴(yán)重的Regression/Block問題，日常的工作中選定較小范圍的用例及適合的框架一般就可以解決問題。

2.5安全測試

隨著互聯(lián)網(wǎng)的發(fā)展，手機移動端的普及，移動APP風(fēng)險漏洞也逐漸暴露出來。

所謂的風(fēng)險漏洞一般來說是應(yīng)用代碼編寫過程中出現(xiàn)的安全漏洞、編碼隱患、甚至業(yè)務(wù)邏輯上的缺陷。APP風(fēng)險漏洞往往帶來很多危害，諸如應(yīng)用內(nèi)信息泄露、本地拒絕服務(wù)等多種安全問題，嚴(yán)重的可能影響應(yīng)用正常運行，更為嚴(yán)重的是用戶信息泄漏、業(yè)務(wù)數(shù)據(jù)被篡改等。

針對以上可能存在的安全問題，APP客戶端內(nèi)部進(jìn)行了一系列的安全處理機制，用于保障APP的安全使用，保護(hù)用戶的個人信息，保證業(yè)務(wù)委托的安全可靠。

自動化測試平臺對APP進(jìn)行基礎(chǔ)信息、數(shù)據(jù)、代碼、組件四個維度的安全測試，可多緯度發(fā)現(xiàn)APP的安全問題。

2.6線上監(jiān)控測試

線上監(jiān)控測試通過對全網(wǎng)渠道的各類APP進(jìn)行盜版仿冒、惡意違規(guī)等唯獨的監(jiān)測，分析采集的數(shù)據(jù)，精確識別出有問題的應(yīng)用。

這塊測試方向不應(yīng)該直接歸屬于傳統(tǒng)的自動化測試范疇，因為它不需要常規(guī)情況下提到的自動化測試框架支持，也不需要開發(fā)測試用例腳本，這里主要是對線上測試數(shù)據(jù)的監(jiān)控，并且利用大數(shù)據(jù)分析進(jìn)行“自動化”測試，在互聯(lián)網(wǎng)產(chǎn)品中極為適用而且能非常直接地體現(xiàn)產(chǎn)品的質(zhì)量。舉個簡單的例子，通過瀏覽器的網(wǎng)頁瀏覽功能，可以監(jiān)控用戶在瀏覽網(wǎng)頁時有多少個404的頁面;出現(xiàn)瀏覽失敗的網(wǎng)站的地域/DNS是什么等。如此層層過濾，縮小問題排查范圍，提高安全防范效率。

三、系統(tǒng)架構(gòu)

移動多端自動化測試平臺系統(tǒng)架構(gòu)由以下幾部分組成：

1.機柜層：為平臺提供必要的硬件支撐，由若干PC主機連接多臺手機設(shè)備組成。

2.環(huán)境配置層：手機和物理主機使用USB接口進(jìn)行連接，通信過程中依賴 JDK環(huán)境和SDK環(huán)境，完成對手機的調(diào)試工作。

3.框架工具層：Appium是一個移動端自動化測試底層框架，可以測試原生應(yīng)用以及移動端web項目，該框架是跨平臺的，可以運行在osx、windows以及l(fā)inux桌面系統(tǒng)上。

4.基礎(chǔ)服務(wù)層：基于Pycharm腳本語言封裝了一系列的基礎(chǔ)服務(wù)組件，如“服務(wù)日志”、“文件儲存”、“數(shù)據(jù)儲存”等基礎(chǔ)服務(wù)，為上層應(yīng)用提供能力支撐。

5.能力框架層：該層統(tǒng)一管理自動化測試用戶腳本，實現(xiàn)了多機并行操作，并監(jiān)控手機的空閑狀態(tài)，通過智能遍歷腳本運行獲取過程指標(biāo)，然后經(jīng)過實時計算輸出業(yè)務(wù)層需要的結(jié)果數(shù)據(jù)。

6.業(yè)務(wù)能力層：業(yè)務(wù)能力層包括性能測試、兼容性測試、功能測試、安全測試、穩(wěn)定性測試、線上監(jiān)控測試，另外該層向上提供相關(guān)能力的openAPI，自動生成詳細(xì)的可視化測試報告。

四、應(yīng)用場景

移動多端自動化測試平臺被應(yīng)用的場景有很多，覆蓋政企、金融、教育、電商等多個行業(yè)。其中自動化成為大家共性的需求，安全性測試視安全等級要求而定，一般金融行業(yè)要求比較高，會涉及到要求人為滲透測試，并借助三方的一些加固工具進(jìn)行加固。

可以預(yù)見未來移動多端自動化測試平臺應(yīng)用的場景通常解決用戶的需求包括：

4.1用戶挑戰(zhàn)

· 手工測試無法完成量級龐大的測試內(nèi)容;

· 缺乏有效的測試管理流程以及測試效果的把控;

· 缺乏實用易讀的測試報告以及圖形化的管理工具;

· 每次發(fā)布要執(zhí)行的回歸案例量巨大，投入成本高;

· 手機設(shè)備沒有有效的管理;

· 客戶需要一套移動端自動化測試用例體系。

4.2用戶收益

· 通過客戶端自動化測試工具，提升測試效率，增加測試覆蓋率;

· 降低大量重復(fù)的人力，將有限的精力放在重要的功能測試上;

· 持續(xù)的本地化服務(wù)，使得服務(wù)質(zhì)量提升;

· 隨著測試需求的復(fù)雜度的提升及測試范圍的擴大，可快速完成完整的功能性測試執(zhí)行。

五、結(jié)束語

綜上，本文對移動多端自動化測試平臺的建設(shè)背景、相關(guān)的功能矩陣及系統(tǒng)架構(gòu)做了簡要的介紹。隨著互聯(lián)網(wǎng)的快速發(fā)展，移動化的普及，以及各種應(yīng)用場景的訴求提出，自動化測試平臺的建設(shè)將在用戶不斷的摸索和實踐過程中得到不斷的優(yōu)化和提升，最終發(fā)揮重要的作用。

參? 考? 文? 獻(xiàn)

[1] 《軟件自動化測試開發(fā)》，2017年1月電子工業(yè)出版社出版;作者鄒輝

[2] 《高效自動化測試平臺：設(shè)計與開發(fā)實戰(zhàn)》，2020年6月電子工業(yè)出版社出版;作者徐德晨，茹炳晟

[3] 《Python自動化測試實戰(zhàn)》，2019年電子工業(yè)出版社出版;作者無涯

[4] 《全棧自動化測試實戰(zhàn)――基于TestNG、HttpClient、Selenium和Appium》，2020年4月電子工業(yè)出版社出版;作者盧家濤

[5] 《軟件性能測試、分析與調(diào)優(yōu)實踐之路》，2020年7月1日清華大學(xué)出版社出版;作者張永清

王知明（1975.06），男，漢族，江蘇鹽城，大學(xué)本科，研究方向：自然語音處理，數(shù)據(jù)挖掘，深度學(xué)習(xí);自動化測試技術(shù)。