系統(tǒng)測試的外部質(zhì)量評價方法研究

陳奐昊　洪流

摘 要：隨著軟件行業(yè)的成熟，對軟件定量評價的必要性增大。作者借鑒功能點分析法[1]結(jié)合自身多年系統(tǒng)測試的經(jīng)驗，提出一套軟件外部質(zhì)量[2]的評價模型，簡便可行的解決了軟件質(zhì)量工程評價過程中因缺少實操性而難以量化的難題，為軟件工程質(zhì)量定量評價提供客觀可行的方案。

關(guān)鍵詞：功能點分析法；軟件質(zhì)量評價；軟件度量

中圖分類號：TP311.5 文獻標(biāo)識碼：A

1 引言（Introduction）

軟件質(zhì)量難以量化，尋找客觀、可量化的軟件評價方法是軟件工程研究的方向之一。軟件的定量研究難度大，被認(rèn)為是“尋找不可能的圣杯”[1]而測量學(xué)卻認(rèn)為“凡是不能測量的，便是不能對其進行控制的”[1]，所以軟件測量的標(biāo)尺只能采用折中、平衡和約定性的。Allan Albrecht提出了功能點分析法（Function Point Analysis，F(xiàn)PA）[1，3]被國際軟件行業(yè)逐漸認(rèn)可。本文提出基于FPA的軟件評價計算模型，該模型可用于軟件的外部質(zhì)量評價，對軟件質(zhì)量評價量化提供參考。

2 軟件度量（Software metrics）

2.1 軟件度量分類

在軟件生存周期中對軟件質(zhì)量的度量方式主要分為三種：內(nèi)部、外部和使用質(zhì)量度量[4]。內(nèi)部質(zhì)量度量是從設(shè)計和開發(fā)的角度進行，外部質(zhì)量基于規(guī)格說明，使用度量則是從真實世界的需求角度來考慮。本文僅對外部質(zhì)量度量進行討論。

2.2 軟件度量過程

軟件度量過程大體可以分為四步：需求分析、設(shè)計、執(zhí)行、分析結(jié)果。度量需求分析是有效構(gòu)造軟件質(zhì)量客觀評價的前提。度量需求分析的依據(jù)通常是需求規(guī)格說明。其次確定產(chǎn)品的類型，最后選擇相應(yīng)的軟件質(zhì)量模型。

設(shè)計包括：選擇度量類型、確定定量定級水平[5]、確定評價規(guī)則。軟件的質(zhì)量特性無法直接度量，因此需定義各質(zhì)量特性的等級、各質(zhì)量特性標(biāo)識，確定定量定級水平。

執(zhí)行過程是收集和分析測試數(shù)據(jù)的過程。采集的數(shù)據(jù)應(yīng)該基于正確定義的度量和模型，從而保證數(shù)據(jù)的正確性、準(zhǔn)確性和精度；因此，在收集數(shù)據(jù)之前，應(yīng)當(dāng)設(shè)定數(shù)據(jù)采集的目標(biāo)，并且定義有意義的問題。同時必須詳細(xì)規(guī)定使用的數(shù)據(jù)分類計劃，避免脫離度量采集無用信息。

收集到數(shù)據(jù)后，必須選擇合適的度量指標(biāo)，采用一種適當(dāng)?shù)姆绞綄?shù)據(jù)進行分析處理，得出度量結(jié)果[6]。

3 軟件外部質(zhì)量評價模型（Software evaluation

model of external quality）

根據(jù)ISO/IEC 14598的要求，定量測量的結(jié)果需映射到標(biāo)度上[4]，為了便于理解，我們采用百分制的標(biāo)度，根據(jù)計算結(jié)果，將評估結(jié)果分為不合格、合格、良好、優(yōu)秀四個等級。

3.1 確定軟件質(zhì)量特性權(quán)重

（1）軟件外部質(zhì)量特性分類

按照ISO/IEC 9126中對軟件外部質(zhì)量度量特性的要求，將軟件外部質(zhì)量特性分為功能性、可靠性、易用性、效率、維護性和可移植性[2]。

（2）軟件外部質(zhì)量特性權(quán)重

軟件外部質(zhì)量特性的權(quán)重是指軟件外部質(zhì)量特性占軟件整體質(zhì)量的比重，反映各質(zhì)量特性對軟件產(chǎn)品質(zhì)量的影響大小。權(quán)重的確定由項目的技術(shù)委員會確定，技術(shù)委員會成員由項目干系方及行業(yè)專家組成，由多方確定的結(jié)果保障了模型計算結(jié)果的合法、有效性。

一般情況下，功能是軟件的根本，非功能特性本質(zhì)是功能的延伸，因而功能在軟件質(zhì)量特性中權(quán)重最高，外部質(zhì)量的度量可將非功能性折算為FPA。權(quán)重矩Wi（其中∑Wi=1）[5]，Wi=（W1，W2，W3，W4，W5，W6）T=（功能性，可靠性，可靠性，易用性，維護性，可移植性）T。

3.2 軟件問題的量化

（1）軟件問題評分規(guī)則的確定

質(zhì)量評價中，軟件問題是重要的評分依據(jù)，通常對軟件問題進行分級，分別是致命、嚴(yán)重、一般、微小和其他[7]。

在該評價模型中，問題嚴(yán)重性的定義由高到低，1級問題為最嚴(yán)重問題，以此類推。為了使問題等級的劃分清晰、便于計算，我們將賦予問題等級相應(yīng)的計分值，形成問題等級矩陣Ki=（1，2，3，4，5）=（不合格，-3，-2，-1，-1）。

（2）軟件問題計分值的確定

在對軟件進行測試時，對各軟件特性設(shè)計測試用例，對相應(yīng)類型的軟件問題形成問題矩陣Tij（i：問題等級，j：軟件特性），形成如下的矩陣：

在問題等級矩陣Ki和問題矩陣Tij都明確后，我們可以計算得出計分值矩陣Fi=|Ki*Tij|。

3.3 綜合得分的計算

（1）計分比值的確定

在計算得出Fi后，定義用例矩陣Yi=（功能性用例數(shù)，效率用例數(shù)，可靠性用例數(shù)，易用性用例數(shù)，維護性用例數(shù)，可移植性用例數(shù)），為了把非功能質(zhì)量因素轉(zhuǎn)化為FPA，這里將效率用例的轉(zhuǎn)換系數(shù)設(shè)置為a，可靠性用例的轉(zhuǎn)換系數(shù)設(shè)置為b，易用性用例的轉(zhuǎn)換系數(shù)設(shè)置為c，維護性用例的轉(zhuǎn)換系數(shù)設(shè)置為d，可移植性用例的轉(zhuǎn)換系數(shù)設(shè)置為e。

Yi=（Y1，aY2，bY3，cY4，dY5，eY6）

通過矩陣Fi和Yi我們可以得出計分比值的矩陣Bi，矩陣Bi中的值為矩陣Y與矩陣F相減后除以矩陣Y相應(yīng)位置的值得到。

（2）綜合得分值的確定

獲取Bi后，我們就可以得出最終的綜合得分Z=Bi*Wi*100。

4 實例應(yīng)用（Example）

4.1 需求分析及采樣

某政府部門的業(yè)務(wù)系統(tǒng)，系統(tǒng)為本級及下級單位提供服務(wù)，這類業(yè)務(wù)具有極高的相似度，適合于本評價模型進行評價。在該項目實例中，設(shè)計的測試用例總數(shù)為355（個），其中功能性211，效率11，可靠性102，易用性15，維護性12，可移植性4。此外問題情況是（個）：功能性58，效率2，可靠性19，易用性3，維護性0，可移植性1。endprint

4.2 模型計算

（1）軟件外部質(zhì)量特性權(quán)重

按照技術(shù)委員會的確定，軟件外部質(zhì)量特性權(quán)重矩陣W=（0.4，0.25，0.15，0.1，0.05，0.05）T=（功能性，效率，可靠性，易用性，維護性，可移植性）T。

（2）軟件問題評分規(guī)則

軟件問題評分規(guī)則矩陣K=（不合格，-3，-2，-1，-1）。

（3）軟件問題計分值

對軟件問題個數(shù)進行確認(rèn)，則獲取到的軟件問題矩陣：

按照上面給出的計算模型，可以計算出結(jié)果并存放到矩陣中，F(xiàn)=|（-89，-4，-5，-2，-1，-1）|=（89，4，5，2，1，1）。

（4）計分比值

為計算方便，將a、b、c、d、e的值均取為1，Yi=（Y1，Y2，Y3，Y4，Y5，Y6），Y=（211，11，102，15，12，4），可計算出計分用例比，計算值存放到矩陣B中，則B=（0.58，

0.64，0.95，0.87，0.92，0.75）。

（5）綜合得分值

最終的綜合得分值Z=B*W*100=70.4，計算過程如下所示，系統(tǒng)的評價結(jié)論為合格。

Z=B*W*100=（0.58，0.64，0.95，0.87，0.92，0.75）*（0.4，

0.25，0.15，0.1，0.05，0.05）T*100=0.704*100=70.4

5 結(jié)論（Conclusion）

軟件評價結(jié)果的直觀性是軟件測試人員和用戶的追求，解決好軟件量化問題以及提供簡便易行的計算方法成為該領(lǐng)域重點研究方向之一，本文所提出的軟件質(zhì)量評估計算模型簡便易行，同時評估過程嚴(yán)謹(jǐn)，為工程實踐提供了高可靠、可行性強的評價解決方法。

參考文獻（References）

[1] Norman E.Fenton（英），Shari Lawrence Pfleeger（美）.Software

Metrics A Rigorous and Practical Approach 201-205.

[2] GB/T 16260.1-2006（ISO/IEC 9126-1：2001）軟件工程產(chǎn)品質(zhì)

量第1部分：質(zhì)量模型（Software engineering Product

quality）：3-5.

[3] 王穎，柳小軍.基于功能點的軟件度量在項目管理中的應(yīng)用

[J].中國電子科學(xué)研究院學(xué)報，2013，8（1）：82-83.

[4] GB/T18905.1-2002（ISO/IEC 14598-1：1999）軟件工程產(chǎn)品

評價第1部（Information technology-Software product

evaluation-Part 1）： 5-15.

[5] Roger S.Pressman（美）.Software Engineering A Practitioner's

Approach：333-344；483-492.

[6] 曹濟，溫麗.軟件項目功能點度量方法與應(yīng)用[M].北京：清華大

學(xué)出版社，2012：23-44.

[7] 尹平，許聚常，張慧穎.軟件測試與軟件質(zhì)量評價[M].北京：國

防工業(yè)出版社，2008：23-56.

作者簡介：

陳奐昊（1972-），男，本科，工程師.研究領(lǐng)域：第三方系統(tǒng)評

測，Web性能評測.

洪 流（1988-），男，碩士，助理工程師.研究領(lǐng)域：第三方系

統(tǒng)評測，軟件工程化.endprint

4.2 模型計算

（1）軟件外部質(zhì)量特性權(quán)重

按照技術(shù)委員會的確定，軟件外部質(zhì)量特性權(quán)重矩陣W=（0.4，0.25，0.15，0.1，0.05，0.05）T=（功能性，效率，可靠性，易用性，維護性，可移植性）T。

（2）軟件問題評分規(guī)則

軟件問題評分規(guī)則矩陣K=（不合格，-3，-2，-1，-1）。

（3）軟件問題計分值

對軟件問題個數(shù)進行確認(rèn)，則獲取到的軟件問題矩陣：

按照上面給出的計算模型，可以計算出結(jié)果并存放到矩陣中，F(xiàn)=|（-89，-4，-5，-2，-1，-1）|=（89，4，5，2，1，1）。

（4）計分比值

為計算方便，將a、b、c、d、e的值均取為1，Yi=（Y1，Y2，Y3，Y4，Y5，Y6），Y=（211，11，102，15，12，4），可計算出計分用例比，計算值存放到矩陣B中，則B=（0.58，

0.64，0.95，0.87，0.92，0.75）。

（5）綜合得分值

最終的綜合得分值Z=B*W*100=70.4，計算過程如下所示，系統(tǒng)的評價結(jié)論為合格。

Z=B*W*100=（0.58，0.64，0.95，0.87，0.92，0.75）*（0.4，

0.25，0.15，0.1，0.05，0.05）T*100=0.704*100=70.4

5 結(jié)論（Conclusion）

軟件評價結(jié)果的直觀性是軟件測試人員和用戶的追求，解決好軟件量化問題以及提供簡便易行的計算方法成為該領(lǐng)域重點研究方向之一，本文所提出的軟件質(zhì)量評估計算模型簡便易行，同時評估過程嚴(yán)謹(jǐn)，為工程實踐提供了高可靠、可行性強的評價解決方法。

參考文獻（References）

[1] Norman E.Fenton（英），Shari Lawrence Pfleeger（美）.Software

Metrics A Rigorous and Practical Approach 201-205.

[2] GB/T 16260.1-2006（ISO/IEC 9126-1：2001）軟件工程產(chǎn)品質(zhì)

量第1部分：質(zhì)量模型（Software engineering Product

quality）：3-5.

[3] 王穎，柳小軍.基于功能點的軟件度量在項目管理中的應(yīng)用

[J].中國電子科學(xué)研究院學(xué)報，2013，8（1）：82-83.

[4] GB/T18905.1-2002（ISO/IEC 14598-1：1999）軟件工程產(chǎn)品

評價第1部（Information technology-Software product

evaluation-Part 1）： 5-15.

[5] Roger S.Pressman（美）.Software Engineering A Practitioner's

Approach：333-344；483-492.

[6] 曹濟，溫麗.軟件項目功能點度量方法與應(yīng)用[M].北京：清華大

學(xué)出版社，2012：23-44.

[7] 尹平，許聚常，張慧穎.軟件測試與軟件質(zhì)量評價[M].北京：國

防工業(yè)出版社，2008：23-56.

作者簡介：

陳奐昊（1972-），男，本科，工程師.研究領(lǐng)域：第三方系統(tǒng)評

測，Web性能評測.

洪 流（1988-），男，碩士，助理工程師.研究領(lǐng)域：第三方系

統(tǒng)評測，軟件工程化.endprint

4.2 模型計算

（1）軟件外部質(zhì)量特性權(quán)重

按照技術(shù)委員會的確定，軟件外部質(zhì)量特性權(quán)重矩陣W=（0.4，0.25，0.15，0.1，0.05，0.05）T=（功能性，效率，可靠性，易用性，維護性，可移植性）T。

（2）軟件問題評分規(guī)則

軟件問題評分規(guī)則矩陣K=（不合格，-3，-2，-1，-1）。

（3）軟件問題計分值

對軟件問題個數(shù)進行確認(rèn)，則獲取到的軟件問題矩陣：

按照上面給出的計算模型，可以計算出結(jié)果并存放到矩陣中，F(xiàn)=|（-89，-4，-5，-2，-1，-1）|=（89，4，5，2，1，1）。

（4）計分比值

為計算方便，將a、b、c、d、e的值均取為1，Yi=（Y1，Y2，Y3，Y4，Y5，Y6），Y=（211，11，102，15，12，4），可計算出計分用例比，計算值存放到矩陣B中，則B=（0.58，

0.64，0.95，0.87，0.92，0.75）。

（5）綜合得分值

最終的綜合得分值Z=B*W*100=70.4，計算過程如下所示，系統(tǒng)的評價結(jié)論為合格。

Z=B*W*100=（0.58，0.64，0.95，0.87，0.92，0.75）*（0.4，

0.25，0.15，0.1，0.05，0.05）T*100=0.704*100=70.4

5 結(jié)論（Conclusion）

軟件評價結(jié)果的直觀性是軟件測試人員和用戶的追求，解決好軟件量化問題以及提供簡便易行的計算方法成為該領(lǐng)域重點研究方向之一，本文所提出的軟件質(zhì)量評估計算模型簡便易行，同時評估過程嚴(yán)謹(jǐn)，為工程實踐提供了高可靠、可行性強的評價解決方法。

參考文獻（References）

[1] Norman E.Fenton（英），Shari Lawrence Pfleeger（美）.Software

Metrics A Rigorous and Practical Approach 201-205.

[2] GB/T 16260.1-2006（ISO/IEC 9126-1：2001）軟件工程產(chǎn)品質(zhì)

量第1部分：質(zhì)量模型（Software engineering Product

quality）：3-5.

[3] 王穎，柳小軍.基于功能點的軟件度量在項目管理中的應(yīng)用

[J].中國電子科學(xué)研究院學(xué)報，2013，8（1）：82-83.

[4] GB/T18905.1-2002（ISO/IEC 14598-1：1999）軟件工程產(chǎn)品

評價第1部（Information technology-Software product

evaluation-Part 1）： 5-15.

[5] Roger S.Pressman（美）.Software Engineering A Practitioner's

Approach：333-344；483-492.

[6] 曹濟，溫麗.軟件項目功能點度量方法與應(yīng)用[M].北京：清華大

學(xué)出版社，2012：23-44.

[7] 尹平，許聚常，張慧穎.軟件測試與軟件質(zhì)量評價[M].北京：國

防工業(yè)出版社，2008：23-56.

作者簡介：

陳奐昊（1972-），男，本科，工程師.研究領(lǐng)域：第三方系統(tǒng)評

測，Web性能評測.

洪 流（1988-），男，碩士，助理工程師.研究領(lǐng)域：第三方系

統(tǒng)評測，軟件工程化.endprint