基于二維運(yùn)動(dòng)機(jī)械臂的移動(dòng)設(shè)備測試研究

尚政宇 錢巨 顏碩彥

摘 要：現(xiàn)有移動(dòng)設(shè)備測試自動(dòng)化框架大多是侵入性的，故而難以用于一些系統(tǒng)封閉的設(shè)備。非侵入式測試可以大大擴(kuò)展自動(dòng)測試技術(shù)的應(yīng)用范圍。由此，提出了一種基于二維運(yùn)動(dòng)機(jī)械臂的新型移動(dòng)設(shè)備測試自動(dòng)化技術(shù)。該技術(shù)使用可視化腳本表達(dá)測試動(dòng)作，提出視覺引擎驅(qū)動(dòng)二維運(yùn)動(dòng)機(jī)械臂自動(dòng)對移動(dòng)設(shè)備進(jìn)行非侵入性的測試。案例研究表明該框架具有較高的測試執(zhí)行準(zhǔn)確度和速度，有良好的實(shí)用價(jià)值。

關(guān)鍵詞：計(jì)算機(jī)視覺;自動(dòng)化測試;機(jī)器人;非侵入式

Abstract：Most of the existing frameworks for automated testing of mobile devices are intrusive to the devices under test. They are difficult to be used on devices with closedsystems. Non-intrusive testing can greatly expand the application scope of automated testing techniques. This paper presents a novel approach based on two-dimensional roboticarm for mobile device testing.It uses visual scripts to express test actions. We introduce computer vision based engine to drive two-dimensional robotic arm to automaticallyperform GUI actions on mobile devices in a non-intrusive way.Case studies show that the framework has high test execution accuracy and relatively fast execution speed， which suggests the frame work might be practical for use.

Key words：computer vision; test automation; robot; non-intrusive

移動(dòng)觸屏設(shè)備在日常生活中被廣泛使用，深入醫(yī)療、工業(yè)、金融、娛樂等各個(gè)領(lǐng)域。如何確保移動(dòng)設(shè)備上的應(yīng)用程序的質(zhì)量成了擺在軟件測試人員面前的一大難題[1-2]，低效的測試可能會(huì)占用大量的人力物力資源，帶來高昂軟件研發(fā)成本。

使用測試自動(dòng)化技術(shù)，可以降低測試過程對人工等資源的依賴，提升測試效率，降低測試成本。移動(dòng)應(yīng)用測試自動(dòng)化的典型方法是將手動(dòng)操作記錄為測試腳本，并使用工具自動(dòng)執(zhí)行測試腳本。在移動(dòng)設(shè)備中，現(xiàn)有的基于腳本的測試自動(dòng)化框架大致可以分為兩類[3]：一類是基于文本的框架，使用控件標(biāo)簽、索引、坐標(biāo)等確定和執(zhí)行圖形用戶界面（GUI）操作，例如Appium、UIAutomator和Robotium等;另一類是基于視覺的框架，通過控件圖像和計(jì)算機(jī)視覺技術(shù)執(zhí)行可視化GUI測試[4][5]，例如Sikuli、JAutomate等。無論哪一類，對于被測設(shè)備來說，現(xiàn)有測試自動(dòng)化技術(shù)都具有侵入性。這些技術(shù)需要在被測設(shè)備中安裝或啟用測試輔助工具，訪問設(shè)備底層操作系統(tǒng)或者GUI框架的接口，才能獲界面狀態(tài)并觸發(fā)GUI動(dòng)作。對于一些系統(tǒng)封閉的設(shè)備，例如GoPro照相機(jī)、一些嵌入式系統(tǒng)裝置等，現(xiàn)有的測試自動(dòng)化技術(shù)難以應(yīng)用。

非侵入式測試具有免植入工具、天然跨平臺等特點(diǎn)。然而，實(shí)現(xiàn)真正非侵入式的測試自動(dòng)化框架極具挑戰(zhàn)，特別是如何不借助被測設(shè)備所在底層系統(tǒng)觸發(fā)界面動(dòng)作，采用傳統(tǒng)技術(shù)難以實(shí)現(xiàn)[6]。為此，提出了一種基于二維運(yùn)動(dòng)機(jī)械臂的測試自動(dòng)化研究技術(shù)。該技術(shù)使用基于控件圖像的可視化腳本表達(dá)測試動(dòng)作，提出基于模板匹配等計(jì)算機(jī)視覺算法的引擎來解析腳本，驅(qū)動(dòng)主要在XY兩個(gè)維度運(yùn)動(dòng)的機(jī)械臂對移動(dòng)設(shè)備進(jìn)行點(diǎn)擊、滑動(dòng)等屏幕觸控操作，實(shí)現(xiàn)非侵入性的測試。

案例研究表明該技術(shù)具有較高的測試執(zhí)行準(zhǔn)確度。測試自動(dòng)化框架可適用于任意的觸屏應(yīng)用程序，擴(kuò)展了測試自動(dòng)化技術(shù)的應(yīng)用范圍，為現(xiàn)有技術(shù)無法應(yīng)用的測試場景，如對GoPro測試、游戲掌機(jī)測試等，提供了有效技術(shù)支撐，為測試自動(dòng)化創(chuàng)造了更多的技術(shù)選擇。

1 測試自動(dòng)化框架總體結(jié)構(gòu)

提出的測試自動(dòng)化框架包括機(jī)器人裝置、可視化腳本語言和腳本執(zhí)行引擎等幾個(gè)主要部分。

機(jī)器人裝置由操作臺、攝像頭、XY二維運(yùn)動(dòng)機(jī)械臂和觸屏筆組成，實(shí)景如圖1所示。操作臺提供平穩(wěn)的操作環(huán)境，能夠保持機(jī)械臂、被測設(shè)備處于同一平面內(nèi)。操作臺上搭建有一個(gè)支撐架，以靈活調(diào)整攝像頭位置。攝像頭是可變焦攝像頭，在測試過程中固定焦距使用，能夠在測試過程中平穩(wěn)獲取觸屏設(shè)備屏幕的狀態(tài)。XY二維運(yùn)動(dòng)機(jī)械臂由兩個(gè)步進(jìn)電機(jī)控制機(jī)械臂在操作臺平面上的運(yùn)動(dòng)，機(jī)械臂的運(yùn)動(dòng)基于HBOT結(jié)構(gòu)，空間利用率高，運(yùn)動(dòng)速度也比較快，并由一個(gè)舵機(jī)控制觸屏筆的升降，實(shí)現(xiàn)對人類手勢動(dòng)作的模擬。觸屏筆是主動(dòng)電容觸屏筆，能夠在各種觸控屏幕上工作，并引發(fā)屏幕的響應(yīng)。

被測觸屏設(shè)備可以是Android手機(jī)、iPhone、平板或者各種掌上游戲機(jī)等。在機(jī)器人裝置中，攝像頭和XY二維運(yùn)動(dòng)機(jī)械臂通過USB接口連接到測試工作站。測試過程中無需通過網(wǎng)絡(luò)、USB接口等任何形式獲取被測設(shè)備內(nèi)部系統(tǒng)信息，實(shí)現(xiàn)了真正意義上的對被測設(shè)備的非侵入式測試。

腳本語言使用通過攝像頭以非侵入式的方式獲取的界面控件圖元作為基礎(chǔ)來表達(dá)測試動(dòng)作，并提供多種腳本執(zhí)行指令，腳本指令能夠覆蓋觸屏設(shè)備的大部分控件和動(dòng)作類型。測試框架設(shè)計(jì)了一個(gè)用于可視化表達(dá)測試腳本的前端界面，界面如圖2所示。在前端界面中，界面左側(cè)是腳本的文件目錄，可以選擇從此界面導(dǎo)入已有的測試腳本，或者在工具欄新建測試腳本。界面中間是腳本編輯區(qū)，腳本語言基于Python語言，除了支持的腳本指令之外，還可以使用Python自帶的各種指令編輯測試腳本，豐富腳本的功能和可用性。界面右側(cè)是指令選擇區(qū)和控件圖像裁剪區(qū)，指令選擇區(qū)展示了本框架支持的各種屏幕觸摸指令，同時(shí)支持添加自定義快捷指令，能夠通過鼠標(biāo)雙擊將指令快速插入到編輯區(qū)中;在控件圖像裁剪區(qū)中，可以調(diào)用攝像頭拍攝被測設(shè)備當(dāng)前的系統(tǒng)狀態(tài)，并提供界面剪輯功能截取控件圖元插入到腳本中。對測試設(shè)計(jì)人員而言，只需要了解簡單的代碼邏輯即可編輯合格的測試腳本，其他人員也可以很清楚的了解測試腳本的執(zhí)行流程。

腳本執(zhí)行引擎負(fù)責(zé)腳本指令的分析和執(zhí)行，該引擎基于視覺算法分析待測屏幕狀態(tài)，能夠自動(dòng)將高抽象層次的可視化腳本動(dòng)作指令翻譯為底層機(jī)器人控制指令，從而實(shí)現(xiàn)自動(dòng)測試。

2 可視化測試腳本

測試腳本是測試自動(dòng)化的基礎(chǔ)，用于表達(dá)各種測試動(dòng)作、結(jié)果校驗(yàn)方法等。相對于基于使用標(biāo)簽、索引等文本信息的測試腳本，基于控件圖像的可視化腳本，對系統(tǒng)底層界面框架的依賴更低[7][8]。然而，現(xiàn)有可視化腳本依賴從底層操作獲取的屏幕截圖，仍也無法避免對設(shè)備的侵入性要求。

實(shí)現(xiàn)非侵入式的一種可行方法是從攝像頭拍攝的被測設(shè)備屏幕圖像中截取控件圖像來表達(dá)GUI動(dòng)作，構(gòu)建新型的可視化測試腳本。在如圖2所示的前端界面中，可以對測試腳本進(jìn)行可視化編輯與展示。圖2中展示了一個(gè)編輯好的測試腳本，腳本功能為判斷GalaxyNote4設(shè)備中的GalaxyStore是否提示需要更新軟件，若需要，則更新所有需要更新的軟件。腳本中包含了click、swipe等指令，每一步的操作都可以通過指令名和參數(shù)圖標(biāo)清晰地展示到工具屏幕中。

測試腳本由腳本指令、資源描述兩個(gè)主要部分組成，結(jié)構(gòu)如圖3所示。腳本指令是指可視化測試腳本中支持的所有測試腳本指令。腳本底層語言基于Python實(shí)現(xiàn)，所有的機(jī)器人指令動(dòng)作被封裝成庫函數(shù)。測試人員可以直接調(diào)用封裝好的庫函數(shù)編寫測試腳本，同時(shí)也可以結(jié)合Python語言的各種邏輯語句增加測試腳本的靈活性;整合通用的編程語言擴(kuò)展其工程以及有相應(yīng)的配套工具支撐等要求。

資源描述是指在測試腳本執(zhí)行過程中，測試活動(dòng)需要應(yīng)用的圖像資源，包括控件圖像和鍵盤模型庫兩部分?？丶D像指在測試腳本中腳本指令指定的目標(biāo)控件圖像，通過在攝像頭拍攝的設(shè)備屏幕圖像中截取獲得;鍵盤模型庫中保存有大量的軟鍵盤模型，用于通過軟鍵盤實(shí)現(xiàn)字符串的輸入。

具體而言，測試腳本支持的腳本指令可分為三類。第一類是GUI動(dòng)作觸發(fā)指令，此類指令控制機(jī)械臂觸摸設(shè)備屏幕，引起屏幕響應(yīng)，包括click、drag、swipe、long_press、press_keyboard等。以在設(shè)備屏幕上點(diǎn)擊指定控件的click指令為例，指令格式為：

其中，image是控件圖像，為目標(biāo)控件的屏幕截圖，用jpg、png等形式的資源描述表示。region是屏幕區(qū)域，為可選參數(shù)，用于指定腳本指令的活動(dòng)區(qū)域，一般應(yīng)用于設(shè)備屏幕中存在多個(gè)相同控件或者控件活動(dòng)區(qū)域只占據(jù)設(shè)備屏幕的一部分的情況。該指令沒有返回值，但如果屏幕中不存在指定控件，則會(huì)引發(fā)程序拋出異常，結(jié)束測試并記錄出現(xiàn)錯(cuò)誤的指令和問題。

第二類是結(jié)果驗(yàn)證指令，此類指令利用圖像識別技術(shù)判斷是否存在某些特定控件或者執(zhí)行特定的活動(dòng)，包括wait、assert_exist等指令。以校驗(yàn)測試結(jié)果的assert_exist指令為例，指令格式為：

參數(shù)與click指令相同，返回值為布爾類型，對應(yīng)在指定屏幕區(qū)域內(nèi)是否存在特定狀態(tài)或者控件圖標(biāo)。

第三類是機(jī)器人控制指令，負(fù)責(zé)控制機(jī)械臂執(zhí)行一些必要的規(guī)避或者其他運(yùn)動(dòng)，用于調(diào)整機(jī)械臂狀態(tài)，包括take_screen_photo、reset_arms、move等指令。以reset_arms指令為例，指令格式為：

可視化測試平臺可以根據(jù)測試人員的測試活動(dòng)設(shè)計(jì)測試腳本，在每個(gè)測試腳本中，必須調(diào)用封裝的動(dòng)作引擎Rcs，Rcs中包含了本框架支持的所有腳本指令。以Rcs類的實(shí)例化作為腳本執(zhí)行的起點(diǎn)，各種腳本指令的使用構(gòu)成了測試腳本的主要部分，reset_arms（）指令作為腳本執(zhí)行的終點(diǎn)，整體實(shí)現(xiàn)了對觸屏設(shè)備的自動(dòng)化測試。

3 腳本執(zhí)行引擎

腳本執(zhí)行引擎則通過攝像頭獲取被測設(shè)備系統(tǒng)狀態(tài)，通過操作機(jī)械臂執(zhí)行各種屏幕觸摸動(dòng)作進(jìn)行測試，全程無需獲取被測設(shè)備底層系統(tǒng)的任何信息。

腳本執(zhí)行引擎分為指令分析、圖像識別、坐標(biāo)轉(zhuǎn)換和指令傳遞等四個(gè)主要模塊。指令分析模塊負(fù)責(zé)分析測試腳本指令，獲取腳本指令觸摸動(dòng)作和目標(biāo)控件圖像。圖像識別模塊通過USB接口從攝像頭處獲取當(dāng)前設(shè)備屏幕圖像，使用計(jì)算機(jī)視覺技術(shù)計(jì)算目標(biāo)控件在圖像中的像素坐標(biāo)。坐標(biāo)轉(zhuǎn)換模塊將控件像素坐標(biāo)轉(zhuǎn)換為機(jī)械臂在操作臺上的物理世界的運(yùn)動(dòng)坐標(biāo)。指令傳遞模塊通過USB接口將測試腳本指令觸摸動(dòng)作和實(shí)際觸發(fā)坐標(biāo)發(fā)送給XY二維運(yùn)動(dòng)機(jī)械臂。

腳本執(zhí)行引擎的運(yùn)行流程如圖4所示。

由于攝像頭拍攝的圖像中除了被測設(shè)備之外，還存在機(jī)械臂、電源線或者其他干擾物品，為了避免實(shí)驗(yàn)受到干擾以及提高實(shí)驗(yàn)運(yùn)行速率，腳本執(zhí)行引擎在試驗(yàn)時(shí)，會(huì)使用邊緣檢測算法識別被測設(shè)備所處的圖像區(qū)域。

執(zhí)行可視化測試腳本時(shí)，首先根據(jù)腳本指令類型控制機(jī)械臂進(jìn)行相應(yīng)的運(yùn)動(dòng)。以GUI觸發(fā)動(dòng)作為例：首先使用模板匹配算法識別控件圖像在相機(jī)成像中的坐標(biāo)[9][10]。其次，將匹配到的控件在攝像頭圖像中的坐標(biāo)依據(jù)圖像和物理世界比例尺差異，轉(zhuǎn)變?yōu)槲锢硎澜缰械臋C(jī)械臂運(yùn)動(dòng)坐標(biāo)，將像素位移轉(zhuǎn)變?yōu)闄C(jī)械臂在物理世界中的運(yùn)動(dòng)。最后，控制機(jī)械臂運(yùn)動(dòng)到指定位置，執(zhí)行相應(yīng)的屏幕觸控動(dòng)作，通過控制觸屏筆的落筆高度和時(shí)間，實(shí)現(xiàn)對不同觸摸動(dòng)作的模擬。

在測試腳本執(zhí)行過程中，XY二維運(yùn)動(dòng)機(jī)械臂的機(jī)械臂會(huì)在設(shè)備屏幕上執(zhí)行各種觸發(fā)動(dòng)作。但是，機(jī)械臂本身會(huì)對設(shè)備屏幕在攝像頭中的成像產(chǎn)生遮擋。因此，腳本執(zhí)行引擎會(huì)在執(zhí)行腳本指令之前，需要，將機(jī)械臂移動(dòng)到最近的屏幕區(qū)域之外，避免遮擋屏幕。

4 案例研究

下面通過一個(gè)案例來介紹所提出測試自動(dòng)化框架的使用方法與使用效果。

4.1 測試自動(dòng)化框架使用方法

該案例中擬對GalaxyStore應(yīng)用的軟件更新功能進(jìn)行測試，被測設(shè)備為SamsungNote4設(shè)備，系統(tǒng)為Android系統(tǒng)。測試場景先根據(jù)應(yīng)用圖標(biāo)判斷該應(yīng)用是否有軟件更新提示，若有，則按順序依次打開應(yīng)用界面-個(gè)人信息界面-軟件更新界面，然后更新所有提示更新的應(yīng)用程序。

編寫好的測試腳本即為圖2中所示的測試腳本，腳本共有以下幾個(gè)步驟：（1）判斷GalaxyStore圖標(biāo)是否提示有軟件需要更新，若提示，執(zhí)行步驟2，否則，執(zhí)行步驟7;（2）打開GalaxyStore;（3）點(diǎn)擊打開個(gè)人應(yīng)用界面;（4）點(diǎn)擊打開軟件更新界面;（5）滑動(dòng)屏幕，查看推薦的應(yīng)用;（6）匹配屏幕中提示的軟件更新圖標(biāo)，若匹配成功，執(zhí)行步驟7，否則，執(zhí)行步驟8;（7）點(diǎn)擊進(jìn)行軟件更新，執(zhí)行步驟6;（8）將機(jī)械臂移回運(yùn)動(dòng)起點(diǎn)，并釋放機(jī)械臂和攝像頭USB接口，測試結(jié)束。在此過程中，除了測試框架支持的腳本動(dòng)作指令之外，還利用了python的判斷語句if和循環(huán)語句while，增加了測試腳本的智能程度。運(yùn)行過程設(shè)備屏幕狀態(tài)以及匹配結(jié)果如圖5腳本運(yùn)行過程屏幕狀態(tài)如圖5所示。

4.2 測試自動(dòng)化框架使用效果

由圖5可知，在腳本運(yùn)行過程中，所有的點(diǎn)擊指令的目標(biāo)控件都被腳本執(zhí)行引擎精準(zhǔn)定位，并被轉(zhuǎn)換成實(shí)際坐標(biāo)，機(jī)械臂也能夠準(zhǔn)確到指定位置執(zhí)行觸控指令，使屏幕產(chǎn)生預(yù)期的觸摸反饋。腳本指令中存在一條滑動(dòng)指令：

該指令物理意義為在設(shè)備屏幕上自右向左滑動(dòng)，參數(shù)“l(fā)eft”表示為向左滑動(dòng)，參數(shù)“[0， 0.3， 1， 0.7]”表示的屏幕區(qū)域?yàn)閳D5（d） 中藍(lán)色矩形框區(qū)域，根據(jù)屏幕左側(cè)露出的半個(gè)應(yīng)用圖標(biāo)，可以看出應(yīng)用列表發(fā)生了預(yù)期之內(nèi)的滑動(dòng)。

在腳本執(zhí)行過程中，腳本執(zhí)行引擎自動(dòng)規(guī)劃規(guī)避運(yùn)動(dòng)。執(zhí)行過程中，在算法控制下設(shè)備屏幕圖像均未發(fā)現(xiàn)機(jī)械臂遮擋拍攝的情況，腳本成功執(zhí)行。

對案例測試腳本開展了十次實(shí)驗(yàn)，實(shí)驗(yàn)環(huán)境光照為普通日光燈，亮度在200lux-250lux之間，被測設(shè)備位置在多次實(shí)驗(yàn)之間未固定，機(jī)械臂運(yùn)動(dòng)速度上限為15cm/s。腳本在不同時(shí)間、不同光照等環(huán)境下重復(fù)執(zhí)行了十次，均成功取得預(yù)期結(jié)果，表明測試框架在該案例中執(zhí)行準(zhǔn)確度為100%。實(shí)驗(yàn)中，沒有使用網(wǎng)絡(luò)或者USB數(shù)據(jù)線從被測設(shè)備內(nèi)部獲取任何數(shù)據(jù)。

5 結(jié) 論

提出了一個(gè)基于二維運(yùn)動(dòng)機(jī)械臂的測試自動(dòng)化技術(shù)，該技術(shù)使用攝像頭監(jiān)控觸屏設(shè)備屏幕狀態(tài)，使用二維運(yùn)動(dòng)機(jī)械臂執(zhí)行屏幕觸摸動(dòng)作，測試過程貼合人類對觸屏設(shè)備的實(shí)際使用過程。在GalaxyStore案例上的實(shí)驗(yàn)研究表明本框架可以在移動(dòng)觸屏設(shè)備上執(zhí)行準(zhǔn)確的自動(dòng)化測試，測試過程完全非侵入式。除了Android設(shè)備外，該項(xiàng)技術(shù)還可以用于Gopro、Switch游戲機(jī)等其它平臺不常見或不提供接口的觸屏設(shè)備，能夠滿足測試人員對眾多觸屏設(shè)備的測試需求，具有較高的使用價(jià)值。

參考文獻(xiàn)

[1] AMALFITANO D， FASOLINO A R， TRAMONTANA P， et al. MobiGUITAR： automated model-based testing of mobile apps[J]. IEEE Software， 2014， 32（5）： 53-59.

[2] GU T， SUN C， MA X， et al. Practical GUI testing of Android applications via model abstraction and refinement[C]//2019 I EEE/ACM 41st International Conference on Software Engineering （ICSE）. IEEE， 2019： 269-280.

[3] KONG P， LI L， GAO J， et al. Automated testing of Android apps： a systematic literature review[J]. IEEE Transactions on Reliability， 2018， 68（1）： 45-66.

[4] ALEGROTH E， NASS M， OLSSON H. JAutomate： A tool for system-and acceptance-test automation[C]//2013 IEEE Sixth International Conference on Software Testing， Verification and Validation. IEEE， 2013： 439-446.

[5] ALEGROTH E， FELDT R， RYRHOLM L. Visual gui testing in practice： challenges， problemsand limitations[J]. Empirical Software Engineering， 2015， 20（3）： 694-744.

[6] MAO K， HARMAN M， JIA Y. Crowd intelligence enhances automated mobile testing[C]//2017 32nd IEEE/ACM International Conference on Automated Software Engineering （ASE）. IEEE， 2017： 16-26.

[7] ALEGROTH E， FELDT R. On the long-term use of visual gui testing in industrial practice： a case study[J]. Empirical Software Engineering， 2017， 22（6）： 2937-2971.

[8] CHANG T H， YEH T， MILLER R C. GUI testing using computer vision[C]//Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. 2010： 1535-1544.

[9] SWAROOP P， SHARMA N. An overview of various template matching methodologies in image processing[J]. International Journal of Computer Applications， 2016， 153（10）： 8-14.

[10]ORON S， DEKEL T， XUE T， et al. Best-buddies similarity-robust template matching using mutual nearest neighbors[J]. IEEE transactions on pattern analysis and machine intelligence， 2017， 40（8）： 1799-1813.