宋士濤，張佳佳，張　燕，劉文杰

(國(guó)家網(wǎng)絡(luò)軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心(濟(jì)南)、山東省軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心，山東　濟(jì)南 250014)

?

基于Web 2.0的系統(tǒng)性能測(cè)試技術(shù)研究

宋士濤，張佳佳，張燕，劉文杰

(國(guó)家網(wǎng)絡(luò)軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心(濟(jì)南)、山東省軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心，山東濟(jì)南 250014)

摘要：在分析Web性能測(cè)試模型WPTM (Web Performance Testing Model)的基礎(chǔ)上，參考軟件測(cè)試V模型和W模型，提出了一種性能測(cè)試PV模型(Performance V Model)。增加了用戶思考時(shí)間、請(qǐng)求放棄率等用戶特征，與其它性能指標(biāo)結(jié)合，綜合評(píng)價(jià)系統(tǒng)性能。該模型引入了項(xiàng)目管理，對(duì)性能測(cè)試各階段進(jìn)行明確規(guī)定，并評(píng)審以保證質(zhì)量。測(cè)試結(jié)果表明，該模型能夠客觀、準(zhǔn)確地評(píng)價(jià)被測(cè)軟件的性能。

關(guān)鍵詞：性能測(cè)試；Web 2.0系統(tǒng)；性能測(cè)試模型；WPTM

Web應(yīng)用系統(tǒng)已經(jīng)成為目前應(yīng)用軟件的主流，特別是隨著Web 2.0時(shí)代的到來(lái)，基于Web 2.0的系統(tǒng)以其交互性、廣泛性、易用性和快捷性等特點(diǎn)，受到了越來(lái)越多的企業(yè)和個(gè)人的青睞[1]。Web 2.0 是相對(duì)于Web 1.0的新的時(shí)代，主要包括異步 Java和XML(Ajax)、Adobe Flex、Web Services等技術(shù)。相對(duì)于之前的Web應(yīng)用的性能測(cè)試，Web 2.0應(yīng)用中對(duì)于請(qǐng)求和響應(yīng)的匹配、Web Services相關(guān)的RFC文件等都對(duì)系統(tǒng)性能測(cè)試提出了新的挑戰(zhàn)[2]。本文在分析原有的軟件性能測(cè)試模型的基礎(chǔ)上，結(jié)合用戶的訪問(wèn)特征，加入項(xiàng)目管理過(guò)程，提出了一種新的基于Web 2.0的系統(tǒng)性能測(cè)試模型，并應(yīng)用到性能測(cè)試過(guò)程中，說(shuō)明該模型是有效和可靠的。

一、Web 2.0 性能測(cè)試模型的分析

(一)國(guó)內(nèi)外性能測(cè)試研究現(xiàn)狀

對(duì)于Web系統(tǒng)的性能測(cè)試研究，在國(guó)內(nèi)外均已有了一定的成果，如印度Infosys Technologies公司提出了對(duì)象驅(qū)動(dòng)性能測(cè)試模型，國(guó)內(nèi)性能測(cè)試專家段念提出了Performance Testing General Model(性能測(cè)試通用過(guò)程模型，簡(jiǎn)稱PTGM)等，這些模型，對(duì)于性能測(cè)試?yán)碚撗芯亢蛯?shí)踐均有一定的指導(dǎo)意義，并開(kāi)發(fā)出了很多優(yōu)秀的性能測(cè)試工具。

(二)現(xiàn)有性能測(cè)試模型(Web Perfoanance Testing Model, WPTM)

所有的Web系統(tǒng)的性能都可用3種模型來(lái)表示：負(fù)載模型、性能模型和成本模型。其中性能模型用來(lái)預(yù)測(cè)響應(yīng)時(shí)問(wèn)、系統(tǒng)吞吐量和資源利用率等性能指標(biāo)[3]。

性能測(cè)試模型(Web Perfoanance Testing Model, WPTM)主要由性能指標(biāo)、性能參數(shù)、性能指示器三個(gè)維度構(gòu)成。通過(guò)在性能指示器中設(shè)置性能參數(shù)，得到性能指標(biāo)，性能指標(biāo)提供了性能度量的標(biāo)準(zhǔn)。性能指標(biāo)是性能測(cè)試的出發(fā)點(diǎn)，測(cè)試前必須先確定要測(cè)試的性能指標(biāo)[4]，常用的性能指標(biāo)主要有以下幾項(xiàng)：

1.響應(yīng)時(shí)間

從用戶觀點(diǎn)來(lái)看，響應(yīng)時(shí)間是從發(fā)出一個(gè)請(qǐng)求到客戶端收到服務(wù)器的響應(yīng)所經(jīng)歷的延遲[5]，通常以秒或毫秒來(lái)衡量。一般而言，響應(yīng)時(shí)間與尚未利用的系統(tǒng)容量成反比，隨著尚未利用的系統(tǒng)容量的減少而逐步變長(zhǎng)。在性能測(cè)試中，一般取事務(wù)平均響應(yīng)時(shí)間。

2.資源利用率

資源利用率指系統(tǒng)在運(yùn)行過(guò)程中，所耗費(fèi)的服務(wù)器各類資源的狀況。資源利用率是分析系統(tǒng)性能的重要指標(biāo)，實(shí)際測(cè)試時(shí)，通?？紤]CPU利用率、內(nèi)存占用率等服務(wù)器指標(biāo)。

3.并發(fā)用戶數(shù)

在同一時(shí)刻與服務(wù)器進(jìn)行交互的在線用戶數(shù)量，稱為并發(fā)用戶數(shù)。在測(cè)試時(shí)，要區(qū)分并發(fā)用戶數(shù)和在線用戶數(shù)、系統(tǒng)用戶數(shù)的區(qū)別。在并發(fā)用戶數(shù)增加時(shí)，一般資源利用率也會(huì)增加、并導(dǎo)致響應(yīng)時(shí)間延長(zhǎng)。

4.吞吐量

系統(tǒng)吞吐量是指在單位時(shí)間內(nèi)系統(tǒng)所處理的用戶請(qǐng)求數(shù)目，直接反映系統(tǒng)的性能承載能力，常用請(qǐng)求數(shù)/秒衡量。通常吞吐量與客戶端請(qǐng)求數(shù)成正比。

(三)性能測(cè)試模型 (WPTM)的不足

現(xiàn)有的性能測(cè)試模型，對(duì)于Web 2.0系統(tǒng)的性能測(cè)試具有一定的指導(dǎo)意義，為性能測(cè)試指明了方向，但是也存在一定的不足。首先，在實(shí)際測(cè)試中，每個(gè)指標(biāo)不能單獨(dú)地說(shuō)明系統(tǒng)性能的情況，比如驗(yàn)證響應(yīng)時(shí)間是否滿足用戶需求，離不開(kāi)一定的并發(fā)用戶數(shù)、系統(tǒng)資源占用情況等前提條件。所以需要綜合分析測(cè)試模型中的各個(gè)性能指標(biāo)，形成一個(gè)整體的Web性能測(cè)試體系[6]。其次，該模型缺少對(duì)用戶使用特征的分析，沒(méi)有從用戶行為出發(fā)，充分考慮用戶實(shí)際行為對(duì)系統(tǒng)性能的影響[7]。因?yàn)椴煌脩舻男袨槭遣灰粯拥模绮煌脩舨僮魉俣炔煌?，或者有些用戶在提出一些?qǐng)求后會(huì)放棄該請(qǐng)求，轉(zhuǎn)而去進(jìn)行其他業(yè)務(wù)操作，這些都會(huì)對(duì)系統(tǒng)的性能產(chǎn)生不同的影響。最后，該模型沒(méi)有對(duì)性能測(cè)試各個(gè)階段進(jìn)行說(shuō)明，也沒(méi)有對(duì)性能測(cè)試過(guò)程進(jìn)行質(zhì)量控制。

二、改進(jìn)的Web 2.0系統(tǒng)性能測(cè)試模型的提出

基于上文提到的性能測(cè)試模型的種種不足，本文根據(jù)多年Web 2.0系統(tǒng)性能測(cè)試實(shí)踐，在WPTM模型的基礎(chǔ)上，結(jié)合軟件測(cè)試V模型和W模型[8]，提出了一種改進(jìn)的Web 2.0系統(tǒng)性能測(cè)試PV(Performance V)模型。如下圖所示：

圖1　性能測(cè)試PV(Performance V)模型

Fig.1 Chart of performance testing PV(Performance V) model

本模型針對(duì)原有的性能測(cè)試模型，不再孤立地對(duì)系統(tǒng)的性能指標(biāo)進(jìn)行單獨(dú)考察，而是綜合各個(gè)性能指標(biāo)，從各個(gè)指標(biāo)的相互影響去評(píng)價(jià)系統(tǒng)性能。同時(shí)為了更貼近用戶的真實(shí)操作行為，加入了以下指標(biāo)對(duì)用戶使用特征進(jìn)行模擬。

(一)思考時(shí)間

思考時(shí)間是指用戶在使用系統(tǒng)過(guò)程中，兩次操作或兩個(gè)事務(wù)之間等待的時(shí)間間隔。由于不同用戶的思考時(shí)間是不一樣的，所以在性能測(cè)試時(shí)，不同的思考時(shí)間會(huì)對(duì)系統(tǒng)的性能造成不一樣的影響，較短的思考時(shí)間一般會(huì)造成較大的系統(tǒng)壓力，從而使得系統(tǒng)性能指標(biāo)下降。

(二)請(qǐng)求放棄率

請(qǐng)求放棄率是針對(duì)放棄瀏覽這個(gè)用戶特征的，它是請(qǐng)求放棄的次數(shù)與總的請(qǐng)求次數(shù)之間的比值。請(qǐng)求放棄分為主動(dòng)放棄與被動(dòng)放棄兩種情況。主動(dòng)放棄指用戶提交一個(gè)請(qǐng)求后不等服務(wù)器返回響應(yīng)，而直接去提交其它請(qǐng)求；被動(dòng)放棄常常由于請(qǐng)求超時(shí)而產(chǎn)生。請(qǐng)求放棄是多個(gè)性能指標(biāo)共同作用的結(jié)果，包括響應(yīng)時(shí)間、CPU和內(nèi)存的利用率、并發(fā)用戶數(shù)等。例如，當(dāng)服務(wù)器可利用資源過(guò)少或網(wǎng)絡(luò)帶寬不足時(shí)，繼續(xù)提交大量用戶請(qǐng)求，使系統(tǒng)不堪重負(fù)，從而處理速度變慢，此時(shí)用戶或失去耐性主動(dòng)放棄請(qǐng)求，或服務(wù)器響應(yīng)超時(shí)造成用戶被迫放棄請(qǐng)求，最終導(dǎo)致Web系統(tǒng)的請(qǐng)求放棄率提高[9]。

在性能測(cè)試PV模型中，還引入了項(xiàng)目管理的概念，不僅對(duì)測(cè)試過(guò)程中各個(gè)階段的工作進(jìn)行明確劃分，而且對(duì)于每個(gè)階段產(chǎn)生的中間結(jié)果進(jìn)行評(píng)審，驗(yàn)證其正確性，并加入控制庫(kù)作為基線進(jìn)行嚴(yán)格控制，以對(duì)測(cè)試過(guò)程提供質(zhì)量保障。

三、Web 2.0系統(tǒng)性能測(cè)試實(shí)例

本文將采用上文中描述的性能測(cè)試PV模型制定測(cè)試流程，對(duì)中國(guó)合格評(píng)定國(guó)家認(rèn)可委員會(huì)(CNAS)于2014年11月份組織的性能測(cè)試實(shí)驗(yàn)室能力驗(yàn)證樣品“信息報(bào)送平臺(tái)”，進(jìn)行性能測(cè)試，以驗(yàn)證該模型的可靠性和有效性?！靶畔?bào)送平臺(tái)”是一個(gè)用于信息報(bào)送的Web 2.0系統(tǒng)，不同權(quán)限的用戶可通過(guò)本系統(tǒng)執(zhí)行創(chuàng)建信息、報(bào)送至其它部門、審核等功能操作。

(一)測(cè)試需求分析

測(cè)試需求分析一般包含三個(gè)過(guò)程：測(cè)試需求采集、測(cè)試需求分析、測(cè)試需求評(píng)審。測(cè)試需求分析主要解決“測(cè)什么”的問(wèn)題，即細(xì)化測(cè)試對(duì)象，它通常以軟件開(kāi)發(fā)需求為基礎(chǔ)進(jìn)行分析，通過(guò)對(duì)開(kāi)發(fā)需求的細(xì)化和分解，形成可測(cè)試的內(nèi)容。在本次測(cè)試中，確定了事務(wù)平均響應(yīng)時(shí)間、并發(fā)用戶數(shù)、吞吐量、資源利用率等性能指標(biāo)，同時(shí)綜合考慮用戶思考時(shí)間、請(qǐng)求放棄率等用戶特征。

(二)測(cè)試計(jì)劃

測(cè)試計(jì)劃從組織管理的角度對(duì)測(cè)試活動(dòng)進(jìn)行規(guī)劃，對(duì)整個(gè)測(cè)試過(guò)程的組織、資源等進(jìn)行規(guī)定和約束，并制訂測(cè)試全過(guò)程各個(gè)階段的任務(wù)以及時(shí)間進(jìn)度安排，提出對(duì)各項(xiàng)任務(wù)的評(píng)估、風(fēng)險(xiǎn)分析和需求管理。本過(guò)程中，核心是明確測(cè)試工作任務(wù)，包括進(jìn)行測(cè)試工作量估計(jì)、測(cè)試任務(wù)的劃分、人員和物質(zhì)資源分配、明確任務(wù)時(shí)間進(jìn)度和安排、以及測(cè)試應(yīng)交付的工作產(chǎn)品等。測(cè)試計(jì)劃制定完成后需經(jīng)評(píng)審加入控制庫(kù)，以指導(dǎo)測(cè)試方案的制定等后續(xù)環(huán)節(jié)的有序進(jìn)行。

(三)測(cè)試方案

測(cè)試方案是測(cè)試過(guò)程的根本，是測(cè)試設(shè)計(jì)、測(cè)試執(zhí)行階段的指導(dǎo)性文件[10]。測(cè)試方案從技術(shù)的角度對(duì)測(cè)試活動(dòng)進(jìn)行規(guī)劃，描述測(cè)試方法、測(cè)試策略、測(cè)試環(huán)境的規(guī)劃、測(cè)試工具設(shè)計(jì)和選擇原則、測(cè)試用例的設(shè)計(jì)方法、測(cè)試代碼的設(shè)計(jì)方案等。本過(guò)程要形成最終的測(cè)試方案，并經(jīng)過(guò)評(píng)審后加入控制庫(kù)形成基線。

(四)測(cè)試設(shè)計(jì)

在性能測(cè)試PV模型中，測(cè)試設(shè)計(jì)特指測(cè)試用例的設(shè)計(jì)。測(cè)試用例需要描述所測(cè)功能的執(zhí)行步驟、需要參數(shù)化的參數(shù)項(xiàng)、并發(fā)時(shí)集合點(diǎn)的位置及策略、測(cè)試執(zhí)行過(guò)程中的運(yùn)行時(shí)設(shè)置、需要監(jiān)控的性能指標(biāo)及其預(yù)期結(jié)果等。本次測(cè)試中，將設(shè)計(jì)多個(gè)測(cè)試用例，包括單功能場(chǎng)景、混合功能場(chǎng)景、單用戶場(chǎng)景、并發(fā)場(chǎng)景等，對(duì)“信息報(bào)送平臺(tái)”的性能進(jìn)行綜合評(píng)估。用例設(shè)計(jì)完成后，必須經(jīng)過(guò)評(píng)審后才能作為后續(xù)測(cè)試執(zhí)行過(guò)程的依據(jù)。

(五)測(cè)試環(huán)境準(zhǔn)備及工具選擇

本過(guò)程主要是根據(jù)軟件需求中的運(yùn)行環(huán)境準(zhǔn)備測(cè)試環(huán)境，測(cè)試環(huán)境應(yīng)完全符合需求，以保證性能測(cè)試結(jié)果的有效性。

由于被測(cè)軟件為Web 2.0系統(tǒng)，Web 2.0對(duì)軟件測(cè)試帶來(lái)的挑戰(zhàn)之一是將不同的中間件技術(shù)結(jié)合應(yīng)用在一個(gè)獨(dú)立的客戶端上，因此需要測(cè)試工具提供“多種協(xié)議”的錄制方式，此外結(jié)合測(cè)試需求中對(duì)并發(fā)用戶數(shù)等的要求，本次測(cè)試采用HP LoadRunner作為測(cè)試工具。

(六)測(cè)試執(zhí)行

測(cè)試執(zhí)行是執(zhí)行測(cè)試用例的過(guò)程，與功能測(cè)試不同，性能測(cè)試的用例執(zhí)行包括腳本錄制、腳本編輯、場(chǎng)景創(chuàng)建、場(chǎng)景運(yùn)行及結(jié)果分析等過(guò)程。首先根據(jù)測(cè)試用例錄制腳本，并對(duì)腳本進(jìn)行參數(shù)化、關(guān)聯(lián)等一系列的編輯，使腳本能夠模擬多用戶同時(shí)運(yùn)行，在編輯成功的基礎(chǔ)上，創(chuàng)建運(yùn)行場(chǎng)景，并根據(jù)測(cè)試方案中的測(cè)試策略進(jìn)行并發(fā)用戶數(shù)設(shè)定、運(yùn)行時(shí)設(shè)置、選取監(jiān)控指標(biāo)等操作，最終得到運(yùn)行完成之后的結(jié)果分析。

在本次測(cè)試中，為了模擬用戶特征，需要錄制前一個(gè)請(qǐng)求尚未返回結(jié)果之前，又提交另一請(qǐng)求的操作，所得到的腳本與執(zhí)行其它功能的腳本組成混合功能場(chǎng)景；同時(shí)在運(yùn)行時(shí)設(shè)置中，設(shè)置思考時(shí)間為錄制時(shí)思考時(shí)間值的50%-150%之間的隨機(jī)數(shù)，并在一次執(zhí)行過(guò)程中同時(shí)考察事務(wù)平均響應(yīng)時(shí)間、并發(fā)用戶數(shù)、資源利用率、吞吐量等多項(xiàng)指標(biāo)。

(七)測(cè)試結(jié)果評(píng)估

測(cè)試執(zhí)行完成后，需要對(duì)測(cè)試結(jié)果進(jìn)行評(píng)估、分析、回溯，以驗(yàn)證測(cè)試結(jié)果的合理性，為軟件性能的評(píng)價(jià)提供客觀依據(jù)。結(jié)果評(píng)估時(shí)，要綜合考慮各項(xiàng)性能指標(biāo)的表現(xiàn)，找出各個(gè)指標(biāo)間的相應(yīng)關(guān)系，對(duì)軟件性能進(jìn)行正確合理的評(píng)價(jià)。評(píng)估完成后，要填寫(xiě)結(jié)果評(píng)估審核表，并加入控制庫(kù)進(jìn)行統(tǒng)一管理。下圖為本次測(cè)試中，多用戶并發(fā)操作某功能點(diǎn)時(shí)，數(shù)據(jù)庫(kù)服務(wù)器CPU資源利用率、內(nèi)存占用情況、并發(fā)用戶數(shù)、事務(wù)平均響應(yīng)時(shí)間等的性能指標(biāo)。

圖2　功能點(diǎn)多用戶并發(fā)時(shí)各性能指標(biāo)

Fig.2 Performance metrics of multiple users concurrency operation

本次測(cè)試結(jié)果表明，在模仿用戶實(shí)際使用特征的情況下，被測(cè)軟件能夠滿足至少100用戶并發(fā)進(jìn)行功能操作，事務(wù)平均響應(yīng)時(shí)間在100用戶并發(fā)時(shí)不超過(guò)10s，CPU資源利用率、內(nèi)存占用率均不超過(guò)35%，能夠符合系統(tǒng)需求。

(八)回歸測(cè)試

經(jīng)結(jié)果評(píng)審及回溯后，在確認(rèn)測(cè)試過(guò)程及方法不存在問(wèn)題的情況下，對(duì)于需要修改的軟件錯(cuò)誤或缺陷，需反饋開(kāi)發(fā)方進(jìn)行修改。修改完成之后，對(duì)修改模塊及相關(guān)聯(lián)模塊進(jìn)行回歸測(cè)試。本次測(cè)試由于為實(shí)驗(yàn)室能力驗(yàn)證項(xiàng)目，不存在修改軟件并回歸測(cè)試的問(wèn)題，所以本步驟在本次測(cè)試中可省略。在此也說(shuō)明，本文提出的性能測(cè)試PV模型，是一個(gè)靈活的測(cè)試過(guò)程，每一個(gè)環(huán)節(jié)并不是要必須存在的。如除了回歸測(cè)試外，對(duì)于一些比較小的測(cè)試項(xiàng)目，也可將測(cè)試方案合并到測(cè)試計(jì)劃中，以提高測(cè)試效率。

(九)測(cè)試報(bào)告

測(cè)試結(jié)果評(píng)估完成后，進(jìn)入測(cè)試報(bào)告編制階段。測(cè)試報(bào)告要包括被測(cè)軟件介紹、測(cè)試需求、測(cè)試方法與策略的簡(jiǎn)要介紹、測(cè)試環(huán)境與工具、測(cè)試結(jié)果評(píng)價(jià)原則、測(cè)試評(píng)價(jià)最終結(jié)論等各個(gè)方面，確保測(cè)試報(bào)告的說(shuō)服力。測(cè)試報(bào)告經(jīng)評(píng)審后，分發(fā)給測(cè)試委托方，并在控制庫(kù)中保留副本。

四、結(jié)語(yǔ)

Web 2.0系統(tǒng)性能已經(jīng)受到了越來(lái)越多的關(guān)注。本文根據(jù)原有的性能測(cè)試模型，提出了改進(jìn)的性能測(cè)試PV模型，并將該模型應(yīng)用到了實(shí)際項(xiàng)目中。經(jīng)過(guò)與實(shí)驗(yàn)室能力驗(yàn)證組織方提供的被測(cè)軟件性能指標(biāo)參考值進(jìn)行比較，本次測(cè)試所得結(jié)果完全在參考范圍之內(nèi)，并以滿分的成績(jī)通過(guò)了本次性能測(cè)試能力驗(yàn)證。說(shuō)明了本文提出的PV模型是可靠、有效的，通過(guò)該模型的應(yīng)用，能客觀、準(zhǔn)確地評(píng)價(jià)軟件性能。我們將在此后的性能測(cè)試項(xiàng)目中繼續(xù)應(yīng)用本文提出的PV模型，在實(shí)踐中不斷改進(jìn)，使之能夠更加完善。

參考文獻(xiàn)：

[1]杜香和. Web性能測(cè)試模型研究[D].重慶:西南大學(xué)，2008.

[2]Ian Molyneaux. The Art of Application Performance Testiong[M]. New York: O'Reilly Media, Inc.，2009：23-24.

[3]張熙. Web應(yīng)用性能優(yōu)化模型及測(cè)試框架的研究[D].南京:南京航空航天大學(xué)，2008.

[4]惠斌武，陳明銳，楊登攀.Web應(yīng)用系統(tǒng)性能測(cè)試研究與應(yīng)用[J]．計(jì)算機(jī)應(yīng)用，2011,31(7)：1769-1772.

[5]Menasce, D.A. Load testing of Web sites. Internet Computing,IEEE, 2005：70-74.

[6]Rahurm S. Thpuri，"Automatic Functional Test Generation- A Reality”. ITC’99, EEE1999.

[7]喬志杰，田劍.基于用戶訪問(wèn)特征的Web性能測(cè)試模型[J]．智能計(jì)算機(jī)與應(yīng)用，2015,5(4)：5-8.

[8]柳純錄. 軟件評(píng)測(cè)師教程[M].北京: 清華大學(xué)出版社，2005：13-15.

[9]鄧璐娟，范乃梅等．基于Web應(yīng)用的性能測(cè)試模型研究[J]．計(jì)算機(jī)工程與應(yīng)用，2013,49(1)：75-77.

[10]宋士濤．一種Web應(yīng)用系統(tǒng)性能測(cè)試流程及其應(yīng)用研究[J]．山東科學(xué)，2015,28(4)：94-100.

收稿日期：2016-04-22

基金項(xiàng)目：山東省質(zhì)量技術(shù)監(jiān)督局科技計(jì)劃項(xiàng)目(2013KY22)。

作者簡(jiǎn)介：宋士濤(1983-)，男，山東聊城人，工程師，碩士，主要從事軟件工程、軟件測(cè)試技術(shù)研究和應(yīng)用。

中圖分類號(hào)：：TP311

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1008—3340(2016)03—0086—04

張佳佳，女，工程師，碩士，研究方向：軟件測(cè)試。

張燕，女，工程師，碩士，研究方向：軟件測(cè)試及管理。

劉文杰，男，工程師，碩士，研究方向：軟件工程。