饒建農(nóng)

摘要：當(dāng)今的軟件系統(tǒng)通常以圖形用戶界面（GUI）為特征，但是對(duì)于圖形界面的測(cè)試大多數(shù)都是手工操作完成，因此存在成本高，浪費(fèi)時(shí)間等缺點(diǎn)。在GUI軟件自動(dòng)化測(cè)試的基礎(chǔ)上，通過(guò)程序代碼，將輸出結(jié)果和輸入進(jìn)行對(duì)比，分析自動(dòng)化測(cè)試的結(jié)果，研究出一種不利用GUI完成以GUI為基礎(chǔ)的軟件的測(cè)試方法。實(shí)驗(yàn)結(jié)果證明，不利用GUI功能來(lái)測(cè)試GUI軟件的嘗試得到了部分成功。

關(guān)鍵詞：圖形用戶界面;軟件測(cè)試;測(cè)試方法;軟件工程環(huán)境;程序邏輯

中圖分類號(hào)：TP311? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）17-0078-04

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Abstract： Today's software systems are usually characterized by a graphical user interface （GUI）， but for most of the graphical interface testing manual to complete， so there is a high cost and waste of time and other shortcomings. On the basis of the automated testing of GUI software， by the code， compare the output and input， analyze the results of automated testing and come up with a non-use GUI to complete the GUI-based software testing methods.The experimental results show，do not use the GUI functionality to test the GUI software attempt has been partially successful.

Key words： Graphical User Interface（GUI）;software testing;test methods;Software Engineering Environment（SEE）;program logic

1 引言

當(dāng)今的軟件系統(tǒng)通常以圖形式用戶界面（GUI）為特征。那些幫助程序員利用圖形界面產(chǎn)生應(yīng)用系統(tǒng)的工具，已經(jīng)戲劇化地改進(jìn)了程序員的效率，但是也增加了測(cè)試者的壓力。這種軟件必須在每一次使用之前得到徹底地測(cè)試。

當(dāng)今的圖形界面測(cè)試大多數(shù)都是手工操作完成，這種方法成本較高且浪費(fèi)時(shí)間。因此，需要有完全自動(dòng)化的測(cè)試程序。如果使用自動(dòng)化測(cè)試程序，將極大地減少測(cè)試所需的時(shí)間和人力。

本文著重研究如何解決一個(gè)具有GUI功能的應(yīng)用程序，可以在不使用GUI的環(huán)境下被測(cè)試和引導(dǎo);研究自動(dòng)復(fù)原測(cè)試如何執(zhí)行，使測(cè)試結(jié)果在應(yīng)用程序功能發(fā)生變化的情況下不受影響或產(chǎn)生最小的影響。

不利用GUI功能來(lái)測(cè)試GUI的嘗試得到了部分成功。這種自動(dòng)化測(cè)試依賴于被測(cè)試產(chǎn)品的結(jié)構(gòu)。課題的測(cè)試目標(biāo)在某種程度上被結(jié)構(gòu)化，這可能使測(cè)試方法變得困難和費(fèi)時(shí)。

2 相關(guān)理論

2.1 測(cè)試的概念

在Glen Myers的經(jīng)典著作《The Art of Software Testing》中，給出了測(cè)試的定義：“程序測(cè)試是為了發(fā)現(xiàn)錯(cuò)誤而執(zhí)行程序的過(guò)程”。另外，Glen Myers還給出了與測(cè)試相關(guān)的三個(gè)重要觀點(diǎn)，那就是：測(cè)試是為了證明程序有錯(cuò)，而不是證明程序無(wú)錯(cuò)誤;一個(gè)好的測(cè)試用例是在于它能發(fā)現(xiàn)至今未發(fā)現(xiàn)的錯(cuò)誤;一個(gè)成功的測(cè)試是發(fā)現(xiàn)了至今未發(fā)現(xiàn)的錯(cuò)誤的測(cè)試。當(dāng)然測(cè)試用例在軟件開(kāi)發(fā)之前不能執(zhí)行，但是可以在需求規(guī)格的基礎(chǔ)上進(jìn)行設(shè)計(jì)。

測(cè)試的質(zhì)量可以描述為下列幾個(gè)屬性：效力、模范性和成本考慮。

2.2 驗(yàn)證和確認(rèn)

驗(yàn)證和確認(rèn)能確保軟件的規(guī)格和顧客的滿足程度。驗(yàn)證可以確保系統(tǒng)實(shí)現(xiàn)所有的要求，確保每一個(gè)功能都準(zhǔn)確地實(shí)現(xiàn)。也就是說(shuō)，驗(yàn)證可以確保開(kāi)發(fā)者按照規(guī)格開(kāi)發(fā)正確的產(chǎn)品，同時(shí)審核執(zhí)行質(zhì)量。

驗(yàn)證和確認(rèn)可以分成兩種技術(shù)，即：靜態(tài)技術(shù)和動(dòng)態(tài)技術(shù)。

2.2.1 測(cè)試過(guò)程

大型軟件系統(tǒng)的測(cè)試過(guò)程包含幾個(gè)階段，這些階段分為：?jiǎn)卧獪y(cè)試、集成測(cè)試、系統(tǒng)測(cè)試、確認(rèn)測(cè)試和復(fù)原測(cè)試。復(fù)原測(cè)試是測(cè)試中的必要部分，但是當(dāng)進(jìn)行手工操作的時(shí)候，就變得非常地反復(fù)和沉悶。這種測(cè)試越來(lái)越重要，需要通過(guò)發(fā)展周期來(lái)完成，如圖1所示。

所有這些流程都應(yīng)該盡可能經(jīng)常運(yùn)行。圖中的箭頭表明了測(cè)試的正常順序，當(dāng)箭頭返回到先前的框架中時(shí)，表明先前的測(cè)試可能被重復(fù)，也就是復(fù)原測(cè)試。

復(fù)原測(cè)試也可能導(dǎo)致編輯現(xiàn)有測(cè)試用例或者產(chǎn)生新的用例。

2.2.2 測(cè)試技術(shù)

測(cè)試設(shè)計(jì)方法分為兩類：白盒測(cè)試和黑盒測(cè)試。

白盒測(cè)試：這種測(cè)試技術(shù)基于程序代碼、程序描述或者技術(shù)設(shè)計(jì)的基礎(chǔ)上，對(duì)系統(tǒng)內(nèi)在結(jié)構(gòu)的認(rèn)知起著重要的作用。

黑盒測(cè)試：這種測(cè)試技術(shù)基于功能規(guī)格和質(zhì)量要求的基礎(chǔ)上。在黑盒技術(shù)中，系統(tǒng)被認(rèn)為是可以實(shí)際應(yīng)用的。

2.2.3 測(cè)試成本

如同任何事物一樣，軟件也有一個(gè)孕育、誕生、成長(zhǎng)、成熟、衰亡的生存過(guò)程。一般稱其為計(jì)算機(jī)軟件的生存期。根據(jù)這一思想，把上述基本的過(guò)程活動(dòng)進(jìn)一步展開(kāi)，可以得到軟件生存期的六個(gè)步驟，即制定計(jì)劃、需求分析、設(shè)計(jì)、程序編碼、測(cè)試及運(yùn)行維護(hù)。

每一階段的相關(guān)成本，可以歸結(jié)為如表1和表2所述：

測(cè)試、發(fā)現(xiàn)和修改程序中的錯(cuò)誤可以在軟件生存期的任何階段進(jìn)行，占總開(kāi)發(fā)成本的40%到80%。然而，發(fā)現(xiàn)和修改錯(cuò)誤的成本隨著開(kāi)發(fā)的推進(jìn)顯著增加。在代碼寫(xiě)完之前，更改需求文件比代碼寫(xiě)完之后進(jìn)行修改要花費(fèi)得少，因?yàn)榇a必須重寫(xiě)。程序員在發(fā)現(xiàn)錯(cuò)誤后進(jìn)行維護(hù)成本是比較低的，因?yàn)樗麄儾恍枰蚱渌私忉專@就不會(huì)產(chǎn)生溝通費(fèi)用。在運(yùn)行程序之前修改錯(cuò)誤所花費(fèi)的成本，要比發(fā)出新磁盤(pán)，給一個(gè)技術(shù)員，一個(gè)客戶后修改所花費(fèi)的成本低得多。

2.3 軟件工程環(huán)境

軟件工程環(huán)境（SEE）是一組硬件和軟件工具，它可以以一種集成的方式運(yùn)行，為整個(gè)軟件程序從最初的規(guī)劃一直到測(cè)試和運(yùn)行提供支持。

軟件工程環(huán)境運(yùn)行的平臺(tái)被稱為客戶系統(tǒng)。一般情況下，用軟件工程環(huán)境開(kāi)發(fā)的軟件將會(huì)在相同的平臺(tái)中運(yùn)行，但是在許多情況下，它可能傳送到一些目標(biāo)系統(tǒng)，而這些目標(biāo)系統(tǒng)有一個(gè)完全不同的結(jié)構(gòu)和運(yùn)行系統(tǒng)。

3 不利用圖形界面，來(lái)實(shí)現(xiàn)以圖形界面為基礎(chǔ)的軟件的測(cè)試的自動(dòng)化

3.1 介紹

通過(guò)使用GUI對(duì)以GUI為基礎(chǔ)的軟件進(jìn)行自動(dòng)化測(cè)試時(shí)存在兩個(gè)問(wèn)題：軟件改變時(shí)，都會(huì)需要大量地維護(hù)性工作;軟件運(yùn)行時(shí)，如果存在繪圖區(qū)，繪圖區(qū)尺寸就會(huì)改變，這使得繪圖區(qū)的測(cè)試變得困難。

為了避免上面提到的問(wèn)題，本節(jié)著重于尋找不使用GUI來(lái)實(shí)現(xiàn)GUI軟件測(cè)試自動(dòng)化的可能性，也就是依靠程序代碼。本節(jié)也要定義測(cè)試目標(biāo)必須完成的要求，發(fā)現(xiàn)形成測(cè)試自動(dòng)化的可能技術(shù)。

為了完成測(cè)試，使用Telelogic公司開(kāi)發(fā)的Telelogic Tau（由UML Suite， SDL Suite， TTCN Suite， SCADE 和Logiscpoe組成）作為測(cè)試工具。

3.2 Telelogic庫(kù)的概況

Telelogic庫(kù)分為幾個(gè)目錄和子庫(kù)。庫(kù)是Telelogic Tau的一個(gè)完整部分，庫(kù)被分成四個(gè)不同的層次。庫(kù)框架體現(xiàn)了結(jié)構(gòu)和公共代碼庫(kù)，代碼庫(kù)以特定的方式允許維護(hù)和開(kāi)發(fā)軟件的某些方面。

為了了解庫(kù)界面是如何互動(dòng)的，需要一個(gè)例子。這個(gè)例子顯示菜單選擇時(shí)事件的過(guò)程。通過(guò)選擇菜單，在應(yīng)用系統(tǒng)庫(kù)中的功能被激活。這一功能喚起框架子庫(kù)中的菜單選擇功能。

3.3 測(cè)試目標(biāo)的選擇

為了完成測(cè)試，測(cè)試目標(biāo)應(yīng)當(dāng)有一個(gè)簡(jiǎn)單的結(jié)構(gòu)與少數(shù)的菜單，因?yàn)檫@能使獲得和追蹤可能存在的漏洞變得更簡(jiǎn)單。

在Telelogic Tau的編輯器中，有兩種軟件能實(shí)現(xiàn)這一目的：MSCE（Message Sequence Chart Editor）和HMSCE（High-level Message Sequence Chart Editor）。

本文選擇HMSCE作為測(cè)試目標(biāo)。然后給出具體的描述，調(diào)查HMSCE中菜單、對(duì)話框和繪圖區(qū)的功能。

3.3.1 菜單

在Windows環(huán)境下有兩種菜單，分別是下拉式菜單和彈出式菜單。

下拉式菜單：這類菜單從應(yīng)用程序窗口的菜單欄中激活，允許用戶選擇將要執(zhí)行的命令。

彈出式菜單：也稱為快捷菜單或上下式菜單，當(dāng)點(diǎn)擊鼠標(biāo)右鍵時(shí)出現(xiàn)。鼠標(biāo)單擊的區(qū)域不同，彈出的菜單內(nèi)容一般也不同。

3.3.2 對(duì)話框

對(duì)話框通常用來(lái)顯示信息或者提示用戶輸入繼續(xù)執(zhí)行應(yīng)用程序所需要的數(shù)據(jù)。分為模態(tài)對(duì)話框和非模態(tài)對(duì)話框。模態(tài)對(duì)話框要求在繼續(xù)執(zhí)行應(yīng)用程序的其他操作之前，必須先被關(guān)閉，或?qū)λ奶崾咀龀鲰憫?yīng)。非模態(tài)對(duì)話框允許在關(guān)閉對(duì)話框之前對(duì)應(yīng)用程序的其他部分做出響應(yīng)或操作，即當(dāng)對(duì)話框正在顯示時(shí)，可以繼續(xù)操作當(dāng)前應(yīng)用程序的其他部分。

從測(cè)試的角度分類，對(duì)話框分為安裝/選項(xiàng)對(duì)話框和消息對(duì)話框。這些對(duì)話框可能是模態(tài)式的或者非模態(tài)式的。

安裝/選項(xiàng)對(duì)話框：這類對(duì)話框分成兩類。第一類選擇可能安裝的狀態(tài)和命令按鈕的數(shù)目。第二類幾乎同第一類相同，不同的是：按鈕被安裝后，不能改變現(xiàn)有按鈕的數(shù)目。

消息對(duì)話框：消息對(duì)話框被提前安裝，經(jīng)常會(huì)彈出來(lái)提醒用戶某些內(nèi)容被改變或者運(yùn)行錯(cuò)誤。消息對(duì)話框通常僅有一個(gè)按鈕，而用戶不能有任何選擇，只是確認(rèn)消息的內(nèi)容。

有些消息對(duì)話框也有幾個(gè)按鈕，但是它們?nèi)匀皇枪潭▽?duì)話框，主要提醒用戶某些內(nèi)容被改變，用戶可以接受或者拒絕這種改變。

3.3.3 繪圖區(qū)

當(dāng)在繪圖區(qū)處理目標(biāo)時(shí)，了解某個(gè)功能被調(diào)用時(shí)對(duì)軟件的影響是非常重要的。一個(gè)好的測(cè)試用例，其目的在于實(shí)現(xiàn)繪圖區(qū)測(cè)試的自動(dòng)化，使測(cè)試者把這些測(cè)試活動(dòng)用于運(yùn)行自動(dòng)化測(cè)試的輸入。

滿足這種需求需要測(cè)試用例覆蓋一些重要的活動(dòng)，例如增加、刪除、產(chǎn)生和復(fù)制目標(biāo)等。

3.4 案例研究

3.4.1 介紹

本文研究的目的是：調(diào)查GUI軟件的自動(dòng)化測(cè)試如何提高測(cè)試質(zhì)量;是什么原因使現(xiàn)有產(chǎn)品的自動(dòng)化測(cè)試變得困難;如何在將來(lái)的產(chǎn)品測(cè)試中克服這些困難。

通過(guò)測(cè)試案例的運(yùn)行，理解了自動(dòng)化測(cè)試的過(guò)程，發(fā)現(xiàn)了造成困難的原因。

3.4.2 計(jì)劃

當(dāng)軟件測(cè)試開(kāi)始之前，了解軟件存在問(wèn)題和軟件的功能是非常重要的。因此第一階段就是去調(diào)查T(mén)elelogic庫(kù)的結(jié)構(gòu)和子庫(kù)之間的界面，如表3所示。

調(diào)查的目的是找出一個(gè)可以抓取所有信號(hào)的界面，利用這個(gè)界面，GUI和邏輯程序可以互相交流。

這些信號(hào)用于菜單、對(duì)話框和繪圖區(qū)的分別測(cè)試。

在Telelogic Tau的研究中，發(fā)現(xiàn)GUI和程序代碼是兩個(gè)相互交疊的單元，如圖2所示。因此，所需要的界面并不存在。

由于界面的缺乏，使得統(tǒng)一操作和掌控所有部件是不可能的。因此，菜單，對(duì)話框和繪圖區(qū)必須被分別測(cè)試。

3.4.3 執(zhí)行

為抓取信號(hào)，有許多工具可以使用。把Telelogic庫(kù)分成四個(gè)子庫(kù)的目的就是為了編寫(xiě)宏和把宏放到包含程序代碼的應(yīng)用子庫(kù)中去，這對(duì)于所有類型的編輯器都是相同的。優(yōu)點(diǎn)是能夠測(cè)試和掌控任意編輯器，但是這種方法也比較費(fèi)時(shí)，因?yàn)椴粌H是程序代碼可能寫(xiě)在Unix和Windows兩個(gè)運(yùn)行系統(tǒng)上，而且對(duì)于一個(gè)簡(jiǎn)單的調(diào)用活動(dòng)，必須改變子庫(kù)中的許多其他程序。

為了避免這種復(fù)雜性，框架子庫(kù)看起來(lái)同應(yīng)用子庫(kù)相比是一個(gè)更好的轉(zhuǎn)變。在此子庫(kù)中，有一個(gè)功能被稱為Win菜單選擇。用這一功能，能調(diào)用編輯子庫(kù)中所需編輯器的其他功能。從子庫(kù)中調(diào)用編輯需要現(xiàn)有程序代碼的大量改變。

在其他HMSC編輯中，子庫(kù)包含所有種類的編輯器。因?yàn)椴藛慰杀贿x為測(cè)試目標(biāo)。在此編輯器中，有一種被稱為菜單選擇的功能執(zhí)行菜單的選擇。在宏的幫助下，包括菜單選擇功能的HMSCPage等級(jí)被定義為Original HMSCPage等級(jí)，它繼承了來(lái)自于先前等級(jí)的所有功能。

測(cè)試執(zhí)行期間，多余的窗口將會(huì)被同時(shí)打開(kāi)。因此，菜單和調(diào)試窗口兩者將會(huì)以兩種獨(dú)特的界面顯示。

3.4.4 結(jié)果

通過(guò)抓取/回放功能的輸入輸出文件之間的對(duì)比，清楚地顯示了菜單項(xiàng)的自動(dòng)化測(cè)試是可行的，但是它并不是對(duì)現(xiàn)有產(chǎn)品的測(cè)試技術(shù)。盡管本論題的觀念是研究菜單，對(duì)話框和繪圖區(qū)域的測(cè)試，但是由于時(shí)間和軟件產(chǎn)品的缺乏，不容易實(shí)現(xiàn)對(duì)對(duì)話框和繪圖區(qū)域進(jìn)行測(cè)試。

4 結(jié)論

4.1 設(shè)計(jì)上的測(cè)試執(zhí)行

菜單項(xiàng)的測(cè)試可以通過(guò)宏抓取回叫信號(hào)來(lái)完成。對(duì)話框和繪圖區(qū)用同樣方法也是可以的，但是由于現(xiàn)有軟件產(chǎn)品的結(jié)構(gòu)，這種方法比較困難而且費(fèi)時(shí)。

從測(cè)試指向來(lái)看，有三種類型的對(duì)話框，也就是兩種安裝對(duì)話框和一種信息對(duì)話框。由于這些對(duì)話框缺少一個(gè)公共的界面，因此這三種對(duì)話框可能會(huì)被分別測(cè)試。這就意味著回叫信號(hào)不可能由一個(gè)簡(jiǎn)單的宏抓取，會(huì)有大量的變化，而這種變化反過(guò)來(lái)會(huì)影響幾個(gè)文件。

進(jìn)行繪圖區(qū)的測(cè)試時(shí)，除對(duì)話框測(cè)試存在的問(wèn)題外，還應(yīng)該考慮其他的問(wèn)題：繪圖窗口的尺寸和抓取回叫信號(hào)的可用性。主要的問(wèn)題是：每次軟件運(yùn)行時(shí)，或者打開(kāi)窗口而其他窗口也打開(kāi)的時(shí)候，窗口的尺寸都會(huì)改變。這可能導(dǎo)致抓取的回叫信號(hào)和當(dāng)前位置有所不同。因此對(duì)自動(dòng)化測(cè)試來(lái)說(shuō)，抓取的回叫信號(hào)不能看作是重播功能的輸入。

回叫信號(hào)的可用性意味著：在進(jìn)行調(diào)試時(shí)，抓取到的回叫信號(hào)能實(shí)現(xiàn)自動(dòng)化測(cè)試，能夠直接地使用重播功能，或者為實(shí)現(xiàn)這一目的做好準(zhǔn)備。

一個(gè)普遍的問(wèn)題就是平臺(tái)的依靠性。例如，對(duì)于一些對(duì)話框，其測(cè)試必須安裝在Unix和Windons雙重平臺(tái)之上。

另一個(gè)問(wèn)題就是原有的測(cè)試數(shù)據(jù)的持久性。如果一個(gè)菜單在下個(gè)軟件中菜單項(xiàng)增加或者刪除，原來(lái)抓取的數(shù)據(jù)就是沒(méi)有用的了，因?yàn)樾碌牟藛尾煌谙惹败浖牟藛巍３志眯詥?wèn)題可以通過(guò)保存所有菜單的功能來(lái)解決，也可以在最初運(yùn)行手工測(cè)試來(lái)解決。

很明顯的，這些測(cè)試工具需要很多時(shí)間，要由有經(jīng)驗(yàn)的測(cè)試者來(lái)安裝，要由有經(jīng)驗(yàn)地對(duì)系統(tǒng)有良好知識(shí)的測(cè)試者來(lái)運(yùn)行。

在Telelogic公司，在現(xiàn)有軟件中不借助GUI的使用去測(cè)試GUI軟件，那也是非常困難的，或者是不可能的。

4.2 建議和未來(lái)的研究

要想能夠測(cè)試以GUI為基礎(chǔ)的軟件而不利用GUI的話，第一步應(yīng)該是從程序邏輯中分離出GUI。這種分離應(yīng)該給出所需的界面，也就是公共界面。由于現(xiàn)有軟件的結(jié)構(gòu)，在應(yīng)用庫(kù)中生成這種界面是可能的。這種方法可以使菜單和一些對(duì)話框的測(cè)試更容易。

公共界面使得能抓取所有的數(shù)據(jù)（這些數(shù)據(jù)可以用作重放功能的輸入）。這種重放功能可以用手寫(xiě)代碼實(shí)現(xiàn)，通過(guò)使用抓取數(shù)據(jù)激活應(yīng)用程序。正確的結(jié)果可以通過(guò)比較重放功能的輸入和輸出而得到。通過(guò)公共界面抓取的信號(hào)輸入到重放功能的繪圖區(qū)域時(shí)，需要當(dāng)前產(chǎn)品結(jié)構(gòu)上有巨大的改變。

另一種想法是在程序邏輯上寫(xiě)更多的代碼和生成GUI的尺寸盡可能小，這種方法的目的是盡量減少基于GUI軟件的自動(dòng)化測(cè)試的GUI的工作量。好處就是測(cè)試程序邏輯比GUI可能更容易一些。

參考文獻(xiàn)：

[1] Paul C. Jorgensen.Software Testing A Craftsmans Approach[M].北京：機(jī)械工業(yè)出版社，2005.

[2] 王謙.基于評(píng)價(jià)軟件測(cè)試的有效性問(wèn)題研究[J].計(jì)算機(jī)光盤(pán)軟件與應(yīng)用，2012（4）.

[3] 于凌云.軟件測(cè)試的實(shí)踐研究[J].電腦知識(shí)與技術(shù)，2010（27）：7664-7666.

[4] 鐘百成，張言上.關(guān)于軟件測(cè)試技術(shù)的探討[J].數(shù)字技術(shù)與應(yīng)用，2012（2）：133-135.

【通聯(lián)編輯：代影】