自動(dòng)化測(cè)試框架技術(shù)及應(yīng)用

鄧璐娟,李金萌,董東曉

(鄭州輕工業(yè)學(xué)院 計(jì)算機(jī)與通信工程學(xué)院，鄭州 450001)

?

自動(dòng)化測(cè)試框架技術(shù)及應(yīng)用

鄧璐娟,李金萌,董東曉

(鄭州輕工業(yè)學(xué)院 計(jì)算機(jī)與通信工程學(xué)院，鄭州 450001)

自動(dòng)化測(cè)試技術(shù)是軟件測(cè)試未來(lái)的發(fā)展方向，自動(dòng)化測(cè)試過(guò)程中會(huì)遇到測(cè)試腳本維護(hù)困難、腳本維護(hù)工作量大、重用性差、測(cè)試效率低的問(wèn)題；怎樣引入自動(dòng)化測(cè)試框架技術(shù)解決上面的問(wèn)題是測(cè)試工程師一直在探討和研究的主流問(wèn)題；探討研究了在自動(dòng)化測(cè)試框架技術(shù)應(yīng)用過(guò)程中遇到的下列問(wèn)題：腳本庫(kù)中測(cè)試腳本存放技術(shù)；測(cè)試用例設(shè)計(jì)技術(shù)；測(cè)試數(shù)據(jù)的管理和分類(lèi)技術(shù)；對(duì)象庫(kù)共享技術(shù)等；初步達(dá)到了以下結(jié)果：提高了測(cè)試代碼的可重用性和可維護(hù)性，測(cè)試執(zhí)行更有效，從而降低了測(cè)試成本；最后使用了協(xié)同辦公平臺(tái)實(shí)例，從而證明了基于QTP的協(xié)同辦公平臺(tái)的自動(dòng)化測(cè)試框架可以降低多余的代碼量，加快代碼生成速度，縮小測(cè)試周期等特點(diǎn)，從而提高代碼的利用率和可維護(hù)性。

軟件測(cè)試；自動(dòng)化測(cè)試；自動(dòng)化測(cè)試框架

0 引言

軟件測(cè)試過(guò)程中，總是遇到測(cè)試成本高、執(zhí)行繁瑣、效率低，不能滿(mǎn)足軟件產(chǎn)品迭代研發(fā)的要求。解決辦法有1)引入自動(dòng)化測(cè)試。減少手工測(cè)試的重復(fù)勞動(dòng)工作量，可以在特定的時(shí)間里不斷地提高測(cè)試效率。2)建立自動(dòng)化測(cè)試框架。提高腳本的可重復(fù)性，從而減少腳本維護(hù)工作量。

自動(dòng)化測(cè)試技術(shù)主要包括錄制/回放技術(shù)、腳本技術(shù)、數(shù)據(jù)驅(qū)動(dòng)技術(shù)和關(guān)鍵字驅(qū)動(dòng)技術(shù)等[1-4]。在自動(dòng)化測(cè)試技術(shù)中，錄制/回放技術(shù)是最基礎(chǔ)和最基本的，目前的負(fù)載測(cè)試中大部分都是采用該技術(shù)進(jìn)行測(cè)試的。腳本技術(shù)不可缺少的部分是腳本的共享。數(shù)據(jù)驅(qū)動(dòng)技術(shù)可以將測(cè)試數(shù)據(jù)和腳本分開(kāi)存儲(chǔ)，從而提高了腳本的利用率和維護(hù)性，卻因?yàn)轫?yè)面的改變而受到不同程序的變化。在關(guān)鍵字驅(qū)動(dòng)技術(shù)當(dāng)中使用到的關(guān)鍵字主要是：被操作對(duì)象(Item)、操作(Operation)和值(Value)，對(duì)關(guān)鍵字進(jìn)行設(shè)置，從而可以通過(guò)關(guān)鍵字進(jìn)行自動(dòng)化測(cè)試。

1 自動(dòng)化測(cè)試框架及原理

1.1 自動(dòng)化測(cè)試框架

常用的自動(dòng)化測(cè)試框架包括數(shù)據(jù)驅(qū)動(dòng)的測(cè)試框架(Data-driven testing)、關(guān)鍵字驅(qū)動(dòng)的測(cè)試框架(Keyword- driven testing) 、模塊驅(qū)動(dòng)的測(cè)試框架(Module-driven testing)、混合型測(cè)試框架(Hybrid testing)。不同的測(cè)試框架有其各自的特點(diǎn)和相應(yīng)的工具支持[5-9]。

1)使用數(shù)據(jù)驅(qū)動(dòng)的測(cè)試框架主要采用模型化設(shè)計(jì)思想，從而減少了多余的測(cè)試腳本，降低生成和維護(hù)測(cè)試腳本的費(fèi)用；在測(cè)試的過(guò)程中，可以輸入相應(yīng)的數(shù)據(jù)驗(yàn)證其正確性；將生成的預(yù)期結(jié)果和測(cè)試腳本單獨(dú)存儲(chǔ)，將預(yù)期結(jié)果存儲(chǔ)在單獨(dú)的數(shù)據(jù)文件當(dāng)中，這樣測(cè)試人員可以更加方便地進(jìn)行相應(yīng)的增加、刪除和維護(hù)；在測(cè)試的過(guò)程中，一邊測(cè)試一邊得到測(cè)試結(jié)果，在輸入數(shù)據(jù)的過(guò)程中生成相應(yīng)的測(cè)試結(jié)果，從而減少了手工測(cè)試的過(guò)程。數(shù)據(jù)驅(qū)動(dòng)的測(cè)試框架支持工具有Functional Tester、WebKing、Rational Robot、Winrunner、QTP等。

2)使用關(guān)鍵字驅(qū)動(dòng)的測(cè)試框架主要是可以實(shí)現(xiàn)腳本、數(shù)據(jù)和業(yè)務(wù)三者之間真正地分離，使用關(guān)鍵字形式把測(cè)試的整個(gè)流程存放到相應(yīng)的數(shù)據(jù)文件當(dāng)中；腳本的獲取根據(jù)功能的需要進(jìn)行設(shè)計(jì)，提高了其擴(kuò)展性；關(guān)鍵字的設(shè)計(jì)采用了分解的方式，可以將其移到其他的數(shù)據(jù)庫(kù)和系統(tǒng)當(dāng)中。關(guān)鍵字驅(qū)動(dòng)的測(cè)試框架支持工具有SAFS、EMOS Framework、SDT、TestFrame、TestQuest Pro、QuickTest Professional(QTP)等。

3)模塊驅(qū)動(dòng)的測(cè)試框架采用的是抽象和封裝，在對(duì)框架進(jìn)行設(shè)計(jì)的過(guò)程中，可以無(wú)需關(guān)心一些詳細(xì)的應(yīng)用和細(xì)節(jié)，在整個(gè)框架進(jìn)行設(shè)計(jì)的過(guò)程中提出相應(yīng)的接口來(lái)對(duì)腳本的詳細(xì)過(guò)程進(jìn)行保密，從而避免了測(cè)試腳本因?yàn)槠渌a的改變受到相應(yīng)的影響。模塊驅(qū)動(dòng)的測(cè)試框架支持工具主要有QTP。

4)混合型測(cè)試框架是集合數(shù)據(jù)驅(qū)動(dòng)和關(guān)鍵字驅(qū)動(dòng)測(cè)試框架這兩種的優(yōu)點(diǎn)而生成的一種自動(dòng)化測(cè)試框架[10-12]。因?yàn)槠渚哂袛?shù)據(jù)和關(guān)鍵字驅(qū)動(dòng)測(cè)試框架兩種類(lèi)型的優(yōu)點(diǎn)，目前，被很多人使用。其支持工具主要有QTP。

因此，本文采用的是混合型測(cè)試框架，選擇現(xiàn)在最流行的測(cè)試工具QTP支撐自動(dòng)化測(cè)試?；旌闲蜏y(cè)試框架將所有的數(shù)據(jù)和用例都存儲(chǔ)在測(cè)試數(shù)據(jù)庫(kù)當(dāng)中，腳本和測(cè)試版本都存儲(chǔ)在腳本庫(kù)當(dāng)中，常用函數(shù)和通用函數(shù)存放在函數(shù)庫(kù)中，在函數(shù)庫(kù)中加入了歷史庫(kù)，存放已經(jīng)使用過(guò)的函數(shù)，更加有利于方便共享，而且還可以自動(dòng)生成比較詳細(xì)的測(cè)試報(bào)告。

1.2 系統(tǒng)結(jié)構(gòu)及原理

混合型自動(dòng)測(cè)試框架主要有以下幾個(gè)部分組成，分別是腳本庫(kù)、對(duì)象庫(kù)、測(cè)試數(shù)據(jù)庫(kù)、函數(shù)庫(kù)、驅(qū)動(dòng)層、測(cè)試報(bào)告、日志、配置文件、測(cè)試工具QTP與被測(cè)程序等，自動(dòng)測(cè)試框架體系，如圖1。

圖1 自動(dòng)測(cè)試框架體系

1.2.1 腳本庫(kù)的自動(dòng)化測(cè)試框架

腳本庫(kù)用來(lái)存放編輯好的自動(dòng)化測(cè)試腳本，腳本庫(kù)主要分為腳本執(zhí)行庫(kù)和腳本版本庫(kù)。QTP可直接執(zhí)行腳本庫(kù)中的腳本，利用QTP中的專(zhuān)家視圖對(duì)腳本完善和環(huán)境設(shè)置。執(zhí)行的測(cè)試腳本中的Action可以共享和重復(fù)使用的；簡(jiǎn)單明了，共享腳本降低了測(cè)試的成本；減少了開(kāi)發(fā)時(shí)間。

在測(cè)試腳本開(kāi)發(fā)時(shí)采用VBScript作為開(kāi)發(fā)語(yǔ)言，可以提高測(cè)試效率。采用的技術(shù)是數(shù)據(jù)和關(guān)鍵字兩者相結(jié)合的測(cè)試技術(shù)。前者可以提高測(cè)試對(duì)象的變更能力、腳本的靈活性和覆蓋面。而后者可以將腳本、數(shù)據(jù)、業(yè)務(wù)三者之間分開(kāi)，降低耦合性，從而提高靈活性。腳本版本庫(kù)是存放更新發(fā)布的腳本，測(cè)試版本隨著系統(tǒng)的不斷變化而更新，在開(kāi)發(fā)流程中對(duì)腳本版本進(jìn)行管理和維護(hù)，以提高腳本的有效性。版本的管理使用SVN(Subversion)，每次版本的定義按照版本管理的規(guī)則執(zhí)行。

1.2.2 對(duì)象庫(kù)的自動(dòng)化測(cè)試框架

對(duì)象庫(kù)中主要存放的是在測(cè)試過(guò)程當(dāng)中所有的對(duì)象。對(duì)象庫(kù)由描述性和共享性對(duì)象庫(kù)兩者組成，在共享對(duì)象庫(kù)當(dāng)中，需要?jiǎng)?chuàng)建一個(gè)可以進(jìn)行共享的公用對(duì)象庫(kù)，共享對(duì)象文件是以.tsr的格式存放在共享對(duì)象庫(kù)中，可以讓腳本的測(cè)試人員和腳本的開(kāi)發(fā)人員進(jìn)行調(diào)用，但只能調(diào)用卻沒(méi)有權(quán)限進(jìn)行修改。在QTP中，我們對(duì)一個(gè)功能點(diǎn)進(jìn)行測(cè)試，測(cè)試之后把對(duì)象庫(kù)中的對(duì)象以.tsr的格式進(jìn)行導(dǎo)出，進(jìn)行共享，導(dǎo)入共享的.tsr文件(導(dǎo)入共享文件的步驟是在Resource/Associate- Repositories中關(guān)聯(lián)對(duì)應(yīng)的對(duì)象庫(kù))后就可以執(zhí)行調(diào)用的相關(guān)對(duì)象。

1.2.3 測(cè)試數(shù)據(jù)庫(kù)

在測(cè)試數(shù)據(jù)庫(kù)當(dāng)中，主要是由數(shù)據(jù)與用例庫(kù)兩者組成。對(duì)于測(cè)試用例的設(shè)計(jì)主要使用模板形式，把編寫(xiě)規(guī)范化的測(cè)試用例存儲(chǔ)在Excel表格中，測(cè)試用例的模板中主要采用的字段為測(cè)試功能模塊(TestModel)、測(cè)試用例編號(hào)(Test_ID)、測(cè)試用例名字(Test_Name)、測(cè)試步驟(Test_Step)、描述性信息(Test_Description)、測(cè)試數(shù)據(jù)(Test_Data)、檢查點(diǎn)(Test_CheckPoint)、預(yù)期結(jié)果(Test_Expectation)、測(cè)試結(jié)果(Test_Result)。測(cè)試數(shù)據(jù)的管理利用Excel報(bào)表的功能對(duì)數(shù)據(jù)進(jìn)行管理和分類(lèi)，如果需要查看相應(yīng)的數(shù)據(jù)，可以根據(jù)與測(cè)試用例相關(guān)的編號(hào)進(jìn)行查詢(xún)，這樣可以保證測(cè)試的數(shù)據(jù)和測(cè)試用例的一致性。

1.2.4 函數(shù)庫(kù)

函數(shù)庫(kù)主要是為測(cè)試腳本提供接口函數(shù)，主要分為常用和通用函數(shù)。常用函數(shù)是運(yùn)行測(cè)試腳本時(shí)調(diào)用較頻繁的函數(shù)，例如，數(shù)據(jù)庫(kù)訪問(wèn)，文件打開(kāi)等等。通用函數(shù)是一些通用的自定義函數(shù)，能提供給測(cè)試腳本進(jìn)行使用。

在函數(shù)庫(kù)中加入歷史庫(kù)，每次使用過(guò)的函數(shù)都放入里面，方便下次使用和共享該函數(shù)，提高效率。

1.2.5 驅(qū)動(dòng)模塊

驅(qū)動(dòng)模塊是自動(dòng)化測(cè)試框架中不可缺少與重要的部分。主要是由腳本、數(shù)據(jù)、測(cè)試執(zhí)行與測(cè)試用例驅(qū)動(dòng)器四部分組成。數(shù)據(jù)驅(qū)動(dòng)器是把所有的測(cè)試數(shù)據(jù)用Excel格式進(jìn)行統(tǒng)一的保存，該表格中的權(quán)限進(jìn)行設(shè)置，只能供其他人調(diào)用，但沒(méi)有權(quán)限進(jìn)行修改。第三種主要是通過(guò)對(duì)用例的分析，經(jīng)過(guò)分析結(jié)果來(lái)對(duì)腳本進(jìn)行調(diào)用和使用。第四種主要是通過(guò)對(duì)測(cè)試用例當(dāng)中的數(shù)據(jù)進(jìn)行分析用于解析測(cè)試用例中數(shù)據(jù)文件，經(jīng)過(guò)分析結(jié)果來(lái)對(duì)相應(yīng)的數(shù)據(jù)和腳本進(jìn)行使用。

1.2.6 配置文件

配置文件主要是由QTP中的一些信息，例如，初始化設(shè)置，操作系統(tǒng)，測(cè)試數(shù)據(jù)與測(cè)試用例存放路徑等等，以XML 形式存儲(chǔ)相關(guān)配置信息。

2 自動(dòng)化測(cè)試框架技術(shù)實(shí)現(xiàn)

2.1 數(shù)據(jù)和腳本分離

采用VBScript腳本開(kāi)發(fā)技術(shù)，用Excel對(duì)數(shù)據(jù)進(jìn)行保存。在QC中，可以對(duì)測(cè)試數(shù)據(jù)、測(cè)試用例和測(cè)試腳本進(jìn)行管理，并分開(kāi)保存。

2.2 腳本的復(fù)用

在測(cè)試框架中，Action的復(fù)用方式，主要采用的方法，在選擇“Reusable action”，只有選擇了才能對(duì)Action進(jìn)行復(fù)用，如圖2。

可以把業(yè)務(wù)功能中通用的部分設(shè)置為可循環(huán)的Action腳本，這樣，腳本的復(fù)用率大大提高。

圖2 腳本復(fù)用設(shè)置

2.3 資源共享

建立對(duì)象庫(kù)的方法：1)通過(guò)QTP對(duì)被協(xié)同辦公平臺(tái)進(jìn)行錄制；2)描述性編程。以上兩種方法，我們采用的是第一種通過(guò)自動(dòng)化測(cè)試工具QTP對(duì)其進(jìn)行錄制，對(duì)象庫(kù)可以進(jìn)行共享，供測(cè)試人員和開(kāi)發(fā)人員調(diào)用，錄制的對(duì)象庫(kù)，從而可以實(shí)現(xiàn)對(duì)象庫(kù)的共享。如圖3所示。

圖3 對(duì)象倉(cāng)庫(kù)

將自動(dòng)化測(cè)試工具(QTP)連接測(cè)試管理平臺(tái)(QC)后可同時(shí)為開(kāi)發(fā)團(tuán)隊(duì)和測(cè)試團(tuán)隊(duì)提供資源的共享，例如數(shù)據(jù)、腳本、測(cè)試用例等方面。連接步驟：1)輸入測(cè)試管理服務(wù)器地址；2)確認(rèn)用戶(hù)名和密碼。

QC是目前使用頻繁的一款測(cè)試管理工具，主要是用來(lái)管理測(cè)試流程、保存測(cè)試用例、測(cè)試執(zhí)行、記錄bug等。在自動(dòng)化測(cè)試框架當(dāng)中，為測(cè)試人員提供相應(yīng)接口，測(cè)試人員需要在接口中輸入登錄QC的相關(guān)信息和QTP的絕對(duì)路徑，連接成功后可自動(dòng)地把QTP測(cè)試的腳本放到QC上面。

其它的自動(dòng)化測(cè)試管理平臺(tái)資源也可共享。

3 實(shí)際應(yīng)用與分析

協(xié)同辦公平臺(tái)中主要有企業(yè)信息、部門(mén)事務(wù)、個(gè)人辦公、協(xié)同工作、文化長(zhǎng)廊、人事、資源中心、實(shí)用工具、系統(tǒng)設(shè)置等功能，對(duì)協(xié)同辦公系統(tǒng)中這些功能進(jìn)行自動(dòng)化測(cè)試，如果假設(shè)重復(fù)執(zhí)行的測(cè)試用例是2次與測(cè)試范圍一致，我們得到了以下基于QTP的協(xié)同辦公平臺(tái)的自動(dòng)化測(cè)試框架測(cè)試、簡(jiǎn)單自動(dòng)化測(cè)試和手工測(cè)試的比較結(jié)果，如表1所示。

從表1中的數(shù)據(jù)可知，使用本框架進(jìn)行自動(dòng)化測(cè)試比手工測(cè)試節(jié)省30%左右的時(shí)間，比簡(jiǎn)單的自動(dòng)化測(cè)試節(jié)省18%左右的時(shí)間，當(dāng)測(cè)試用例執(zhí)行次數(shù)越來(lái)越多時(shí)，節(jié)省的時(shí)間就會(huì)越來(lái)越多。由此可見(jiàn)，基于QTP的辦公系統(tǒng)的自動(dòng)化測(cè)試框架可以節(jié)省辦公系統(tǒng)的測(cè)試時(shí)間，把節(jié)省的時(shí)間可以運(yùn)用到更復(fù)雜的測(cè)試和必須使用手工測(cè)試上面，同時(shí)，基于QTP的協(xié)同辦公平臺(tái)的自動(dòng)化測(cè)試框架也可以減少20%～30%腳本編寫(xiě)工作，從而降低了后期維護(hù)的難度。

表1 基于QTP的自動(dòng)化測(cè)試、簡(jiǎn)單自動(dòng)化測(cè)試和手工測(cè)試的比較

4 結(jié)語(yǔ)

本文主要對(duì)混合型自動(dòng)化測(cè)試框架進(jìn)行了應(yīng)用研究，提出了自動(dòng)化測(cè)試框架體系，分別由腳本庫(kù)、對(duì)象庫(kù)、測(cè)試數(shù)據(jù)庫(kù)、函數(shù)庫(kù)、驅(qū)動(dòng)模塊、配置文件、日志與測(cè)試報(bào)告等幾部分組成。協(xié)同辦公平臺(tái)中的實(shí)際測(cè)試應(yīng)用證明：基于QTP的協(xié)同辦公平臺(tái)的自動(dòng)測(cè)試框架可以降低多余的代碼量，加快代碼生成的速度，縮小測(cè)試周期等特點(diǎn)，從而提高代碼的利用率和可維護(hù)性。同時(shí)，把該自動(dòng)化測(cè)試框架使用到其他相同類(lèi)型或者相近類(lèi)型的項(xiàng)目當(dāng)中，也能減少大量的測(cè)試費(fèi)用。

[1] Kao C H, Chi P H, Lee Y H. Automatic Testing Framework for Virtualization Environment[A]. Software Reliability Engineering Workshops (ISSREW), 2014 IEEE International Symposium on[C]. IEEE, 2014:134-135.

[2] 俞戴龍. QTP自動(dòng)化測(cè)試框架的企業(yè)級(jí)應(yīng)用[D]. 上海：復(fù)旦大學(xué), 2010.

[3] 王 敏, 王智超, 余 楊. 基于QTP的數(shù)據(jù)庫(kù)系統(tǒng)測(cè)試框架[J]. 計(jì)算機(jī)與數(shù)字工程, 2014, 42:117-121.

[4] Guo S. Research on Automatic Testing Framework[J]. Applied Mechanics & Materials, 2014, 635-637:1594-1598.

[5] Xiang Yun, Wen Jing. Automatic testing framework for Internet applications[A]. Communication Software and Networks (ICCSN), 2011 IEEE 3rd International Conference on[C]. IEEE, 2011:35-37.

[6] 趙建平, 劉曉陽(yáng), 趙建輝,等. 一種輕量級(jí)軟件自動(dòng)化測(cè)試框架[J]. 火力與指揮控制, 2014(7):179-183.

[7] 姚 杰, 程光鈞, 李 浩. 基于數(shù)據(jù)驅(qū)動(dòng)自動(dòng)化測(cè)試框架研究和實(shí)現(xiàn)[J]. 工業(yè)控制計(jì)算機(jī),2013,26:67-69.

[8] 束 進(jìn). 基于QTP的高速公路收費(fèi)軟件自動(dòng)測(cè)試框架[J]. 上海船舶運(yùn)輸科學(xué)研究所學(xué)報(bào), 2014, 37:56-60.

[9] 黃文高．QTP自動(dòng)化測(cè)試與框架模型設(shè)計(jì)[M]. 北京:機(jī)械工業(yè)出版社, 2008.

[10] 田艷琴.QTP從實(shí)踐到精通[M]. 北京:電子工業(yè)出版社, 2010.

[11] 劉 霞. 基于QTP的GUI數(shù)據(jù)驅(qū)動(dòng)自動(dòng)化測(cè)試框架[D]. 上海：復(fù)旦大學(xué), 2009.

[12] 張 鶴. 基于QTP的自動(dòng)化測(cè)試研究與實(shí)現(xiàn)[D]. 哈爾濱：哈爾濱工程大學(xué), 2011.

Technology of Automatic Testing Framework and Application

Deng Lujuan，Li Jinmeng，Dong Dongxiao

(School of Computer and Communication Engineering, Zhengzhou University of Light Industry,Zhengzhou 450001, China)

Automation testing technology is the development direction of software testing in the future. In the process of automatic testing, it will encounter many problems that maintainability is hard, the workload of the script maintenance is big, reusability of the test scripts are poor, the efficiency of testing is low, and so on. Test engineers have been in the mainstream of research and research is that how to introduce the technology of automatic testing framework to solve the above problems. This paper discusses the following questions in the applying process of automatic testing framework: the technology of storing testing script in the script library; the technology of designing test case; the technology of managing and classifying test data; the technology of sharing object library, and so on. Preliminary achieving the following results: improving the reusability and maintainability of test code, promoting the availability of testing execution, thereby reducing the test cost. Finally, we use the collaborative office platform as an example. The automatic testing framework based on QTP of collaboration office platform can reduce the amount of redundant code, speed up the speed of the code generation and reduce the test cycle ,and so on. It also can improve the utilization and maintenance of the code.

software testing; automatic testing; automatic testing framework

2016-03-09；

2016-04-29。

河南省2014科技攻關(guān)項(xiàng)目(142102210078)。

鄧璐娟(1964-)，女，湖南瀏陽(yáng)人，教授，碩士研究生導(dǎo)師，主要從事軟件工程、軟件測(cè)試方向的研究。

1671-4598(2016)09-0086-03

10.16526/j.cnki.11-4762/tp.2016.09.024

TP311

A