田 峰 丁文銳 李紅光

(北京航空航天大學(xué) 無(wú)人駕駛飛行器設(shè)計(jì)研究所，北京 100191)

李新軍

(北京航空航天大學(xué) 機(jī)械工程及自動(dòng)化學(xué)院，北京 100191)

一種無(wú)人機(jī)飛行控制管理軟件回歸測(cè)試方法

田 峰 丁文銳 李紅光

(北京航空航天大學(xué) 無(wú)人駕駛飛行器設(shè)計(jì)研究所，北京 100191)

李新軍

(北京航空航天大學(xué) 機(jī)械工程及自動(dòng)化學(xué)院，北京 100191)

針對(duì)大型嵌入式軟件測(cè)試的難題，提出了基于系統(tǒng)快照的自動(dòng)化回歸測(cè)試方法，并以無(wú)人機(jī)飛行控制管理軟件為研究案例進(jìn)行了關(guān)鍵技術(shù)解析、測(cè)試系統(tǒng)設(shè)計(jì)及分析.利用系統(tǒng)快照技術(shù)實(shí)現(xiàn)了彼此之間關(guān)系繁雜的測(cè)試用例的解耦，將復(fù)雜的系統(tǒng)測(cè)試轉(zhuǎn)化為靈活的單元測(cè)試.結(jié)合CPPUnit的測(cè)試框架，建立了自動(dòng)化回歸測(cè)試的系統(tǒng)結(jié)構(gòu)，并深入分析了各部分的功能和執(zhí)行過程.進(jìn)而設(shè)計(jì)出基于系統(tǒng)快照的自動(dòng)化回歸測(cè)試執(zhí)行流程和測(cè)試用例的編制流程.給出了某型無(wú)人機(jī)飛行控制管理軟件在不同方法下的測(cè)試結(jié)果，通過數(shù)據(jù)對(duì)比驗(yàn)證了測(cè)試系統(tǒng)的高有效性.

軟件測(cè)試;自動(dòng)化測(cè)試;系統(tǒng)快照;解耦;飛行控制管理

隨著計(jì)算機(jī)技術(shù)的迅猛發(fā)展和應(yīng)用，軟件的可靠性測(cè)試成為一個(gè)重要的研究領(lǐng)域，很多測(cè)試方法與工具［1］也應(yīng)運(yùn)而生.受系統(tǒng)結(jié)構(gòu)、測(cè)試周期及費(fèi)用等因素影響，大型嵌入式軟件的測(cè)試成為軟件測(cè)試領(lǐng)域中的研究難點(diǎn).

嵌入式軟件測(cè)試大體包括兩種方法:①將軟件剝離構(gòu)建數(shù)字平臺(tái)進(jìn)行測(cè)試［2］，但大型軟件的剝離測(cè)試會(huì)面臨后期測(cè)試用例安排復(fù)雜的問題;②在半實(shí)物仿真環(huán)境進(jìn)行閉環(huán)測(cè)試［3］，該方法雖然真實(shí)、直接，但是構(gòu)建大型嵌入式軟件自動(dòng)化測(cè)試環(huán)境的復(fù)雜度、費(fèi)用和周期都是無(wú)法接受的.

回歸測(cè)試是軟件測(cè)試中十分重要的部分.當(dāng)軟件出現(xiàn)發(fā)展性的改變(即規(guī)范和代碼發(fā)生變化)或修正性改變(只有代碼發(fā)生變化)時(shí)，它用來(lái)確保軟件在改動(dòng)后的測(cè)試可信性問題［4－5］.

為了提高測(cè)試效率和保證測(cè)試的可靠性，自動(dòng)化回歸測(cè)試成為軟件測(cè)試的發(fā)展趨勢(shì).比較成熟的方法有基于數(shù)據(jù)驅(qū)動(dòng)的回歸測(cè)試［6］和基于GUI圖形界面的回歸測(cè)試［7］.現(xiàn)有的 Win Runner，Silk Test等測(cè)試工具可以對(duì)GUI進(jìn)行冒煙測(cè)試和回歸測(cè)試，但不能完成對(duì)大型嵌入式軟件的自動(dòng)化測(cè)試.

1 測(cè)試方案分析

本文以某型無(wú)人機(jī)飛行控制管理軟件測(cè)試作為研究案例，利用系統(tǒng)快照的方法對(duì)大型嵌入式軟件的自動(dòng)化回歸測(cè)試技術(shù)方案進(jìn)行了研究.

首先，分析飛行控制管理軟件的特點(diǎn):①通常時(shí)間緊任務(wù)重，很多工作并行進(jìn)行，新研技術(shù)眾多，即便在飛行控制管理軟件系統(tǒng)測(cè)試完成后，也不得不經(jīng)常修改;②飛行控制管理軟件復(fù)雜，模塊之間交聯(lián)眾多，一處的修改極易影響系統(tǒng)的其他功能;③半實(shí)物仿真系統(tǒng)是分布式系統(tǒng)，使得自動(dòng)化測(cè)試平臺(tái)的搭建異常困難，成本極高;④測(cè)試用例龐大，每個(gè)用例都依賴于系統(tǒng)狀態(tài).每輪軟件測(cè)試必須通過精心安排用例組合，才能減少模擬飛行次數(shù)縮短測(cè)試時(shí)間.一輪完整的測(cè)試需要數(shù)個(gè)星期.如果每次回歸測(cè)試通過人力在半實(shí)物仿真平臺(tái)上做全用例的測(cè)試，就面臨測(cè)試時(shí)間長(zhǎng)、人力成本高的問題，而只針對(duì)修改部分進(jìn)行測(cè)試，又可能給系統(tǒng)埋下隱患.

針對(duì)上述分析，受特點(diǎn)③影響，本方案必須避免復(fù)雜而昂貴的半實(shí)物環(huán)境仿真，采用軟件剝離的思路.在測(cè)試方法上，本方案利用系統(tǒng)快照技術(shù)來(lái)解耦關(guān)系復(fù)雜的測(cè)試用例，使被測(cè)軟件獨(dú)立出來(lái)，旨在解決特點(diǎn)②和④所述的測(cè)試用例龐大且耦合復(fù)雜的難題.最后，由于特點(diǎn)①所述的時(shí)間和效率要求，在測(cè)試用例解耦的基礎(chǔ)上，本方案要將復(fù)雜的系統(tǒng)軟件測(cè)試分解為獨(dú)立的單元測(cè)試，并進(jìn)一步設(shè)計(jì)出自動(dòng)化回歸測(cè)試平臺(tái).

綜上特點(diǎn)分析，將飛行控制管理軟件剝離出來(lái)，構(gòu)建數(shù)字仿真測(cè)試環(huán)境是可行的.雖然無(wú)法實(shí)現(xiàn)硬件接口測(cè)試、實(shí)時(shí)性測(cè)試等項(xiàng)目的測(cè)試，但后期修改多屬于功能性修改，通過功能回歸測(cè)試完全可以發(fā)現(xiàn)絕大部分的問題，而且通過黑盒式系統(tǒng)快照的構(gòu)建，能夠解耦測(cè)試用例，使得構(gòu)建用例成本低廉、測(cè)試快速.故這是一種成本和性能的綜合優(yōu)化方案.

2 基于系統(tǒng)快照的用例解耦

所謂系統(tǒng)快照［8］就是系統(tǒng)內(nèi)存狀態(tài)的記錄或“拍照”.被測(cè)軟件運(yùn)行到待測(cè)點(diǎn)時(shí)，自動(dòng)記錄當(dāng)前的系統(tǒng)快照，測(cè)試用例僅以系統(tǒng)快照為輸入，避免了與其他測(cè)試用例的耦合.這樣就實(shí)現(xiàn)了測(cè)試用例之間的解耦，將復(fù)雜的系統(tǒng)測(cè)試轉(zhuǎn)化為多個(gè)獨(dú)立的單元測(cè)試，極大地提高了系統(tǒng)測(cè)試的效率.

2.1 系統(tǒng)快照的建立

在眾多的軟件自動(dòng)化測(cè)試方法中幾乎沒有用到系統(tǒng)快照的技術(shù).作為系統(tǒng)實(shí)現(xiàn)的關(guān)鍵技術(shù)，非常重要的一點(diǎn)就是現(xiàn)實(shí)系統(tǒng)快照建立的黑盒性.如果通過修改組件代碼來(lái)實(shí)現(xiàn)快照的建立和恢復(fù)，一方面原系統(tǒng)需要重新設(shè)計(jì)快照代碼，而這些代碼只對(duì)測(cè)試有用;另一方面系統(tǒng)數(shù)據(jù)的修改就會(huì)導(dǎo)致快照建立代碼的改變，不利于維護(hù).

為了實(shí)現(xiàn)黑盒的特性，本文做了兩個(gè)重要設(shè)計(jì):①系統(tǒng)快照數(shù)據(jù)和其他數(shù)據(jù)的分離:通過將系統(tǒng)快照相關(guān)數(shù)據(jù)按照功能封裝成dll，使得快照數(shù)據(jù)和主程序數(shù)據(jù)實(shí)現(xiàn)了內(nèi)存的隔離，具體剝離情況見3.1節(jié);②堆數(shù)據(jù)的重定向:從內(nèi)存中數(shù)據(jù)組織方式來(lái)看，動(dòng)態(tài)分配的數(shù)據(jù)在系統(tǒng)堆中，局部變量分布在棧中，而全局?jǐn)?shù)據(jù)、靜態(tài)數(shù)據(jù)則分布在可執(zhí)行文件的數(shù)據(jù)節(jié)中.因?yàn)橐粋€(gè)調(diào)度周期后，系統(tǒng)棧中沒有系統(tǒng)快照相關(guān)數(shù)據(jù)，可以不用存儲(chǔ)，但是堆的數(shù)據(jù)因?yàn)槊看畏峙涞刂冯S機(jī)，指針快照在這種情況下就會(huì)執(zhí)行錯(cuò)誤的地址，所以要通過自建內(nèi)存池和重載內(nèi)存分配函數(shù)，將原來(lái)在堆中的數(shù)據(jù)重定向到數(shù)據(jù)節(jié).

經(jīng)過上述設(shè)計(jì)后，只需要存儲(chǔ)數(shù)據(jù)節(jié)中的數(shù)據(jù)即可.每次數(shù)據(jù)層部件修改，可以不用更改快照相關(guān)代碼，實(shí)現(xiàn)了快照的黑盒性，最終形成的系統(tǒng)快照格式見圖1.本文以系統(tǒng)有兩個(gè)需要快照的部件為例，如果系統(tǒng)有多個(gè)部件可依此類推.

圖1 系統(tǒng)快照文件結(jié)構(gòu)圖

2.2 用例解偶的實(shí)現(xiàn)

由于大型嵌入式軟件的結(jié)構(gòu)復(fù)雜、模塊間耦合性很大，通用測(cè)試方法在合理安排測(cè)試用例上就十分困難，進(jìn)而導(dǎo)致測(cè)試周期及費(fèi)用增大.如果將無(wú)人機(jī)飛行過程簡(jiǎn)化為6個(gè)階段，通用軟件測(cè)試方法中飛行控制管理軟件的測(cè)試用例安排可以簡(jiǎn)易地用圖2表示.可見測(cè)試用例之間普遍存在耦合關(guān)系，一旦某個(gè)測(cè)試用例測(cè)試失敗將直接影響其他測(cè)試用例的實(shí)施.依據(jù)2.1節(jié)所述的系統(tǒng)快照技術(shù)，在測(cè)試用例實(shí)施前按照一定格式記錄系統(tǒng)的內(nèi)存狀態(tài).這樣測(cè)試用例就僅依賴于當(dāng)前的系統(tǒng)快照.如圖3所示，每個(gè)用例只需載入特定階段的快照，而無(wú)需系統(tǒng)狀態(tài)從頭開始，這樣就實(shí)現(xiàn)了測(cè)試用例間的解耦，將復(fù)雜交聯(lián)的系統(tǒng)測(cè)試轉(zhuǎn)換為相對(duì)靈活的單元測(cè)試，為自動(dòng)化回歸測(cè)試的實(shí)現(xiàn)提供了基礎(chǔ)和保證.通過解耦，測(cè)試人員也無(wú)需對(duì)前置飛行過程有過多了解即可編制用例，大大降低了用例編制的難度.

圖2 通用測(cè)試用例安排流程

圖3 基于系統(tǒng)快照的測(cè)試用例安排流程

3 自動(dòng)化回歸測(cè)試系統(tǒng)

為了提高測(cè)試效率保證系統(tǒng)的可靠性，自動(dòng)化回歸測(cè)試是必須的選擇［9］.

針對(duì)分布式半實(shí)物仿真系統(tǒng)來(lái)設(shè)計(jì)自動(dòng)測(cè)試平臺(tái)，雖然能夠更真實(shí)地反映系統(tǒng)的運(yùn)行狀況，但具有如下難點(diǎn):①實(shí)現(xiàn)自動(dòng)化必然要對(duì)很多模塊進(jìn)行修改;②測(cè)試系統(tǒng)的設(shè)計(jì)相當(dāng)復(fù)雜;③無(wú)法使測(cè)試用例解耦.故本文采用將飛行控制管理軟件剝離構(gòu)建數(shù)字仿真測(cè)試環(huán)境的方法實(shí)現(xiàn)自動(dòng)化回歸測(cè)試.

3.1 測(cè)試系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

自動(dòng)化回歸測(cè)試系統(tǒng)分為數(shù)據(jù)層、系統(tǒng)層、用例層3個(gè)層次，見圖4.對(duì)于大型嵌入式軟件的測(cè)試，這是一個(gè)通用的系統(tǒng)結(jié)構(gòu)，其中的數(shù)據(jù)層，對(duì)于不同的待測(cè)軟件有不同的表示方法，在此處用飛行控制管理軟件的內(nèi)容來(lái)表示.

數(shù)據(jù)層由系統(tǒng)狀態(tài)相關(guān)的需要快照的各個(gè)組件組成，該層對(duì)上暴露了功能和數(shù)據(jù)接口，每個(gè)組件封裝成dll形式，使得系統(tǒng)狀態(tài)相關(guān)數(shù)據(jù)和其他數(shù)據(jù)剝離，支持了黑盒快照的實(shí)現(xiàn).系統(tǒng)層一方面調(diào)度數(shù)據(jù)層暴露的功能函數(shù)形成系統(tǒng)的業(yè)務(wù)流程，另一方面對(duì)用例層暴露數(shù)據(jù)接口、調(diào)度接口和測(cè)試輔助接口.用例層則最終由測(cè)試人員根據(jù)系統(tǒng)層暴露的接口編制.

圖4 系統(tǒng)層次圖

以飛行控制管理軟件測(cè)試系統(tǒng)為例，各層描述如下:

1)數(shù)據(jù)層:包含了4個(gè)組件.①飛行控制管理計(jì)算機(jī)組件:由飛行控制管理計(jì)算機(jī)程序包裹成dll形式，通過替換os層的函數(shù)，將原來(lái)從硬件獲取數(shù)據(jù)改為從對(duì)外接口獲取數(shù)據(jù);②數(shù)字飛機(jī)組件:用來(lái)實(shí)現(xiàn)動(dòng)力學(xué)模型等功能，基本直接封裝半實(shí)物仿真中的程序，只是通過dll暴露出初始化和周期調(diào)度函數(shù);③執(zhí)行機(jī)構(gòu)組件:用來(lái)模擬舵機(jī)、發(fā)動(dòng)機(jī)等的動(dòng)態(tài)響應(yīng);④傳感器組件:用來(lái)模擬各傳感器功能和特性.

2)系統(tǒng)層:分為3類模塊.①功能調(diào)度模塊:調(diào)度過程見圖5，一個(gè)循環(huán)為一個(gè)周期20 ms;②數(shù)據(jù)接口模塊:獲得4個(gè)修改點(diǎn)數(shù)據(jù)，即可以用來(lái)查詢系統(tǒng)狀態(tài)也可以修改接口的數(shù)據(jù)，用來(lái)模擬諸如舵面卡死、發(fā)動(dòng)機(jī)停車、數(shù)據(jù)偏差等各種狀況，系統(tǒng)快照的建立和恢復(fù)也歸于數(shù)據(jù)接口模塊;③CPPUnit模塊:提供標(biāo)注的CPPUnit功能，包括了用例分組、執(zhí)行界面、判定宏、結(jié)果報(bào)告等功能.

圖5 系統(tǒng)調(diào)用過程

3)用例層:用戶編寫用例的地方，用戶按照用例的緊密程度對(duì)用例進(jìn)行分組.

3.2 測(cè)試系統(tǒng)執(zhí)行流程設(shè)計(jì)

測(cè)試系統(tǒng)執(zhí)行過程是基于對(duì)內(nèi)存運(yùn)行狀態(tài)產(chǎn)生的快照進(jìn)行的.由于代碼或數(shù)據(jù)結(jié)構(gòu)的改動(dòng)可能使變量在內(nèi)存中的分布產(chǎn)生變動(dòng)，故每次變動(dòng)后都需要重新編譯并利用系統(tǒng)快照用例建立系統(tǒng)快照，然后按照需求進(jìn)行測(cè)試.如果測(cè)試發(fā)現(xiàn)了問題，可直接利用測(cè)試平臺(tái)進(jìn)行調(diào)試，調(diào)試完畢并修改代碼后再按照測(cè)試流程進(jìn)行回歸測(cè)試.如圖6所示，由于系統(tǒng)快照技術(shù)的運(yùn)用，回歸測(cè)試方便快捷，整個(gè)系統(tǒng)具備了一定的自動(dòng)化程度.

圖6 測(cè)試系統(tǒng)執(zhí)行流程

從用例的編制可以看出整個(gè)系統(tǒng)是按照建立系統(tǒng)快照-激勵(lì)-檢測(cè)的步驟執(zhí)行的，如圖7所示.整個(gè)過程是由數(shù)據(jù)驅(qū)動(dòng)的測(cè)試，通過圖5所示的4個(gè)暴露點(diǎn)，可以完成系統(tǒng)的激勵(lì)和狀態(tài)的檢測(cè).

圖7 用例工作原理

4 實(shí)驗(yàn)

某大型無(wú)人機(jī)飛行控制管理軟件測(cè)試中，用例數(shù)4836個(gè)，不同測(cè)試方法的人員、時(shí)間花費(fèi)情況見表1.

表1 測(cè)試方法對(duì)比

通過表1可見，相對(duì)于半實(shí)物仿真測(cè)試，基于系統(tǒng)快照的自動(dòng)化回歸測(cè)試，除了用例代碼編寫有一次性較多投入，其他測(cè)試成本基本可以忽略.

5 結(jié)論

本文首次將黑盒快照的概念應(yīng)用于自動(dòng)化回歸軟件測(cè)試，并有針對(duì)性地設(shè)計(jì)了系統(tǒng)測(cè)試架構(gòu)，使系統(tǒng)測(cè)試用例編制相對(duì)簡(jiǎn)單、測(cè)試效率高、成本低廉.對(duì)于飛行控制管理軟件這種更改頻繁的大型嵌入式軟件，本文提出的測(cè)試方法使全用例回歸測(cè)試成為了可能，提高了系統(tǒng)的可靠性.這種測(cè)試方法的推廣對(duì)大型嵌入式軟件測(cè)試效率的提高將起到積極推動(dòng)作用.

本方法也有一定的適用性，用戶最好在內(nèi)存狀態(tài)穩(wěn)定的節(jié)點(diǎn)上建立測(cè)試用例，否則不斷的程序修改導(dǎo)致內(nèi)存快照改變，會(huì)帶來(lái)維護(hù)測(cè)試用例的代價(jià).

References)

［1］ Mustafa K M，Al-Qutaish R E，Muhairat M I.Classification of software testing tools based on the software testing methods［C］//2nd International Conference on Computer and Electrical Engineering.Dubai:IEEE，2009:229 －233

［2］侯智榮，陳欣，歐干良.無(wú)人機(jī)飛行控制系統(tǒng)軟件測(cè)試策略的研究［J］.計(jì)算機(jī)測(cè)量與控制，2006，14(7):968 －971 Hou Zhirong，Chen Xin，Ou Ganliang.Strategy research on unmanned aircraft vehicle flight control system software［J］.Computer Measurement＆ Control，2006，14(7):968 －971(in Chinese)

［3］劉斌，高小鵬，陸民燕，等.嵌入式軟件可靠性仿真測(cè)試系統(tǒng)研究［J］.北京航空航天大學(xué)學(xué)報(bào)，2000，26(4):490 －493 Liu Bin，Gao Xiaopeng，Lu Minyan，et al.Study on reliability simulation testing system for embedded software［J］.Journal of Beijing University of Aeronautics and Astronautics，2000，26(4):490－493(in Chinese)

［4］ Mansour N，Bahsoon R.Reduction-based methods and metrics for selective regression testing［J］.Information and Software Technologhy，2002，44(7):431 －443

［5］ Maedche A，Motik B，Stojanovic I.Managing muhiple and distributed ontologles in the semantic web ［J］.The VLDB Journal，2003，12(4):286 －300

［6］竇金鳳，唐瑞春，蔣永國(guó).基于數(shù)據(jù)載入技術(shù)的軟件回歸測(cè)試［J］.中國(guó)海洋大學(xué)學(xué)報(bào)，2009，39(1):145 －148 Dou Jinfeng，Tang Ruichun，Jiang Yongguo.Software regression test based on data load［J］.Periodical of Ocean University of China，2009，39(1):145 －148(in Chinese)

［7］李剛毅，金蓓弘.自動(dòng)化回歸測(cè)試的技術(shù)和實(shí)現(xiàn)［J］.計(jì)算機(jī)應(yīng)用研究，2006，23(2):186 －188 Li Gangyi，Jin Beihong.Techniques and realization of automated regression testing［J］.Application Research of Computers，2006，23(2):186－188(in Chinese)

［8］袁曉銘.磁盤陣列系統(tǒng)的快照技術(shù)研究［D］.武漢:華中科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，2007 Yuan Xiaoming.Research on the snapshot technology of the RAID system［D］.Wuhan:School of Computer of Science and Technology，Huazhong University of Science ＆ Technology，2007(in Chinese)

［9］ Briand L C，Labiche Y，Soccar G.Automating impact analysis and regression test selection based on UML designs［C］//Proceedings of the International Conference on Software Maintenance(ICSM'02).Washington DC:IEEE，2002:252 －261

(編 輯:李 晶)

Regression testing method of UAV flight and management software

Tian Feng Ding Wenrui Li Hongguang

(Research Institute of Unmanned Aerial Vehicle，Beijing University of Aeronautics and Astronautics，Beijing 100191，China)

Li Xinjun

(School of Mechanical Engineering and Automation，Beijing University of Aeronautics and Astronautics，Beijing 100191，China)

In order to solve the large embedded software testing problems，an automated regression testing method based on system snapshot was proposed.Taking unmanned aerial vehicle(UAV)flight control software as a case study，some key technology researching，system architecture designing and experiment analyzing were carried out by degrees.The system snapshot technology was used to decouple the test cases which had complex relationship with each others，then transformed complex systems testing into some flexible unit testing.With CPPUnit testing framework，an automated regression testing system structure was established，and the function and implementation process of each partwere deeply analyzed.Furthermore，based on the system snapshot technology，the process of automated regression testing and the preparation of test cases were designed.Two kinds of experimental result of a large UAV flight control software testing using different method was given.Through comparative analysis of the evidence-based data，test system's effectiveness was verified.

software testing;automatic test;system snapshot;decoupling;flight control and management

TP 311

A

1001-5965(2011)05-0574-05

2010-03-09

創(chuàng)新研究群體科學(xué)基金(60921001)

田 峰(1979－)，男，北京人，工程師，buaatf@126.com.