基于機(jī)器學(xué)習(xí)的軟件缺陷傾向性預(yù)測研究

摘要：為了能盡早發(fā)現(xiàn)軟件中存在的缺陷，使用傳統(tǒng)的機(jī)器學(xué)習(xí)方法來預(yù)測軟件模塊的缺陷傾向性，選取了NASA公開數(shù)據(jù)集中的部分?jǐn)?shù)據(jù)集，針對(duì)軟件缺陷預(yù)測中類不平衡的問題，分別采取了隨機(jī)欠采樣和隨機(jī)過采樣的方案，再使用邏輯回歸算法和隨機(jī)森林算法分別對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練和預(yù)測，使用了查準(zhǔn)率（Precision）、查全率（Recall）、ROC曲線下面積（AUC）作為模型的評(píng)價(jià)指標(biāo)，并給出了對(duì)比實(shí)驗(yàn)的結(jié)果。

關(guān)鍵詞：機(jī)器學(xué)習(xí);軟件缺陷預(yù)測;傾向性預(yù)測;邏輯回歸;隨機(jī)森林

中圖分類號(hào)：TP311.5? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）07-0067-04

1 引言

隨著軟件行業(yè)的快速發(fā)展，軟件數(shù)量劇增，軟件的形式趨于多樣化，而且軟件的復(fù)雜程度不斷提高、規(guī)模不斷增大，軟件開發(fā)人員人數(shù)增多，軟件質(zhì)量問題日益突出。軟件缺陷是影響軟件質(zhì)量的關(guān)鍵因素，而軟件質(zhì)量問題又是導(dǎo)致軟件危機(jī)的重要原因。軟件缺陷是指軟件中存在的錯(cuò)誤或故障，在軟件的開發(fā)過程中難免會(huì)在軟件產(chǎn)品中隱藏許多缺陷，這些缺陷有可能會(huì)導(dǎo)致軟件系統(tǒng)不能正常運(yùn)行，嚴(yán)重的甚至?xí)?dǎo)致財(cái)產(chǎn)、人身安全的重大損失。

如果能盡早發(fā)現(xiàn)軟件中存在的錯(cuò)誤并盡早修正這些錯(cuò)誤，就可以避免在實(shí)際運(yùn)行時(shí)發(fā)生錯(cuò)誤而導(dǎo)致的損失，而且能減少開發(fā)的成本和時(shí)間，提高軟件質(zhì)量，減少軟件危機(jī)帶來的影響。如何充分做好軟件的測試工作，保障軟件質(zhì)量，提高軟件的可靠性，是軟件工程中的一個(gè)重要研究課題。

隨著人工智能技術(shù)的發(fā)展，如果能在傳統(tǒng)的軟件工程方法學(xué)中結(jié)合機(jī)器學(xué)習(xí)及深度學(xué)習(xí)等先進(jìn)的技術(shù)來預(yù)測軟件缺陷，盡早地預(yù)測出軟件中哪些模塊可能存在缺陷、缺陷數(shù)量、缺陷的嚴(yán)重程度等，就可以提高軟件測試的智能化程度，給軟件質(zhì)量提供有力的保障，并在一定程度上緩解軟件危機(jī)。在企業(yè)的實(shí)際應(yīng)用中，通過機(jī)器學(xué)習(xí)技術(shù)來預(yù)測軟件缺陷，通過對(duì)軟件缺陷的嚴(yán)重程度進(jìn)行排序，優(yōu)先處理較嚴(yán)重的軟件缺陷，就可以在有限的時(shí)間、成本、人力等資源限制之內(nèi)，優(yōu)化資源的分配，提高軟件測試的效率及效果，提升軟件質(zhì)量，節(jié)約企業(yè)的成本，提高項(xiàng)目的成功率。

軟件缺陷預(yù)測是軟件工程領(lǐng)域的熱點(diǎn)問題，國內(nèi)外眾多學(xué)者對(duì)軟件缺陷的預(yù)測進(jìn)行了研究，提出了多種研究方法并取得了豐富的研究成果，比較常見的技術(shù)是使用統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)（包括深度學(xué)習(xí)）的技術(shù)來進(jìn)行軟件缺陷預(yù)測[1]。

預(yù)測軟件模塊缺陷的傾向性就是預(yù)測軟件模塊中是否存在軟件缺陷，這是一個(gè)二分類問題。在預(yù)測軟件模塊缺陷傾向性時(shí)，常用的算法有邏輯回歸、SVM（支持向量機(jī)）、貝葉斯網(wǎng)絡(luò)、決策樹、集成學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等有監(jiān)督學(xué)習(xí)算法，K-means、譜聚類等無監(jiān)督學(xué)習(xí)算法，基于圖、主動(dòng)半監(jiān)督學(xué)習(xí)、半監(jiān)督字典學(xué)習(xí)方法等半監(jiān)督學(xué)習(xí)算法[2]。

目前已經(jīng)有一些公開的軟件缺陷庫可供研究，但是這些數(shù)據(jù)集中普遍樣本數(shù)較少，且在數(shù)據(jù)集中存在嚴(yán)重的類不平衡問題，因此本文主要采用傳統(tǒng)的機(jī)器學(xué)習(xí)方法來研究軟件缺陷的傾向性預(yù)測的問題，并對(duì)比各機(jī)器學(xué)習(xí)算法的實(shí)驗(yàn)結(jié)果。

2 方案設(shè)計(jì)

方案設(shè)計(jì)的總體思路是先選取合適的數(shù)據(jù)集，在程序中讀取數(shù)據(jù)集中的數(shù)據(jù)，使用數(shù)據(jù)可視化等方法和手段去觀察和分析數(shù)據(jù)集中樣本的情況，例如樣本是否存在缺失值、異常值，是否存在類不平衡的問題等。根據(jù)觀察的結(jié)果對(duì)讀取的數(shù)據(jù)進(jìn)行預(yù)處理，如果存在缺失值和異常值的情況，則對(duì)缺失值進(jìn)行填充，異常值進(jìn)行刪除或者是根據(jù)一定的策略，用均值或上下樣本的值進(jìn)行替換;如果樣本中存在類不平衡的問題，則需要對(duì)樣本進(jìn)行上采樣或下采樣，使得數(shù)據(jù)集中的樣本基本達(dá)到類平衡。之后根據(jù)具體的問題選擇合適的機(jī)器學(xué)習(xí)模型及模型評(píng)價(jià)指標(biāo)，對(duì)數(shù)據(jù)集進(jìn)行劃分之后，使用訓(xùn)練集對(duì)機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練，使用驗(yàn)證集調(diào)整模型參數(shù)，最后使用測試集對(duì)模型的效果進(jìn)行評(píng)價(jià)。通過對(duì)比模型的評(píng)價(jià)指標(biāo)得分，從中選取最適合的機(jī)器學(xué)習(xí)模型來對(duì)實(shí)際應(yīng)用中軟件的缺陷傾向性進(jìn)行預(yù)測。

2.1 數(shù)據(jù)集

軟件缺陷數(shù)據(jù)集按來源可分為商業(yè)數(shù)據(jù)集和公共數(shù)據(jù)集這兩大類。因?yàn)樯虡I(yè)數(shù)據(jù)集一般不易獲得，因此研究人員常用的公共軟件缺陷數(shù)據(jù)集，包括NASA、PROMISE等軟件缺陷數(shù)據(jù)集。使用公共數(shù)據(jù)來進(jìn)行研究，有利于實(shí)驗(yàn)復(fù)現(xiàn)。

文中使用的數(shù)據(jù)集是NASA軟件缺陷數(shù)據(jù)集，從中選取了12個(gè)數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)。在NASA軟件缺陷數(shù)據(jù)集中，每個(gè)無缺陷的模塊對(duì)應(yīng)一條標(biāo)記為無缺陷的樣本，每個(gè)有缺陷的模塊對(duì)應(yīng)一條標(biāo)記為有缺陷樣本。通過對(duì)這些數(shù)據(jù)集中的樣本進(jìn)行統(tǒng)計(jì)分析，得到每個(gè)數(shù)據(jù)集中的樣本數(shù)、特征數(shù)、無缺陷模塊數(shù)、有缺陷模塊數(shù)以及缺陷率如表1所示。

根據(jù)帕累托法則，在軟件中，約有80%的錯(cuò)誤集中在20%的代碼中，因而在大部分的軟件缺陷數(shù)據(jù)集中，大部分模塊是無缺陷模塊，只有少部分模塊是有缺陷模塊，并且無缺陷模塊的數(shù)量要遠(yuǎn)大于有缺陷的模塊。從表1中的12個(gè)軟件缺陷數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)中也可以較直觀地看出，在NASA大部分的軟件缺陷數(shù)據(jù)集中，無缺陷樣本數(shù)要遠(yuǎn)大于有缺陷樣本數(shù)。因此，在軟件缺陷的預(yù)測問題中，類不平衡的問題格外突出。在數(shù)據(jù)集中存在類不平衡，就會(huì)產(chǎn)生誤報(bào)和漏報(bào)的問題。在進(jìn)行軟件缺陷預(yù)測時(shí)，將有缺陷樣本預(yù)測為無缺陷樣本，就會(huì)導(dǎo)致漏報(bào);而將無缺陷樣本預(yù)測為有缺陷樣本，就會(huì)產(chǎn)生誤報(bào)。而漏報(bào)和誤報(bào)的代價(jià)是不同的，誤報(bào)會(huì)導(dǎo)致在測試時(shí)增加測試人員、測試時(shí)間等成本，而漏報(bào)則會(huì)在軟件交付給客戶之后產(chǎn)生不可預(yù)計(jì)的后果。因此，需要在軟件缺陷預(yù)測的過程中處理類不平衡的問題。

2.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理部分主要包括異常值處理、降維處理、類不平衡處理、數(shù)據(jù)差異處理等。異常值處理又包括異常值的檢測和異常值處理。異常值的檢測可以通過可視化的方法來初步判斷哪些是異常值，常用的工具有散點(diǎn)圖、箱線圖等。異常值的處理有刪除、填充等方式，可以根據(jù)閾值將異常值刪除，或用上下樣本的正常值進(jìn)行填充。

文中首先對(duì)數(shù)據(jù)集中的樣本進(jìn)行缺失值、異常值、標(biāo)準(zhǔn)化等常規(guī)的預(yù)處理之后，再根據(jù)軟件缺陷預(yù)測問題中類不平衡的問題，在數(shù)據(jù)層面上再對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步的處理。

在處理類不平衡問題時(shí)，目前的研究主要從數(shù)據(jù)層面和算法層面來處理[3]。從數(shù)據(jù)層面處理類不平衡問題，主要有抽樣法和數(shù)據(jù)集劃分法等。在算法層面處理類不平衡問題，主要有代價(jià)敏感法、集成學(xué)習(xí)法、閾值移動(dòng)法等。本文采用隨機(jī)過采樣和隨機(jī)欠采樣的方法來處理軟件缺陷數(shù)據(jù)集中類的不平衡問題，分別通過隨機(jī)過采樣和隨機(jī)欠采樣的方式獲取兩個(gè)處理之后的數(shù)據(jù)集，再用相同的模型去進(jìn)行訓(xùn)練，然后比較兩種方案的實(shí)驗(yàn)結(jié)果。

在隨機(jī)欠采樣方案中，首先計(jì)算出數(shù)據(jù)集中標(biāo)記為有缺陷樣本的數(shù)量，然后在標(biāo)記為無缺陷的樣本中，隨機(jī)選取與有缺陷樣本同樣數(shù)量的樣本，再將有缺陷樣本和無缺陷樣本進(jìn)行組合得到下采樣之后的數(shù)據(jù)，在這個(gè)基礎(chǔ)上進(jìn)行模型的訓(xùn)練與預(yù)測。

在隨機(jī)過采樣方案中，采用的是SMOTE過采樣技術(shù)，使用SMOTE算法來生成新的標(biāo)記為有缺陷的樣本，與之前的樣本進(jìn)行合并，從而得到隨機(jī)上采樣之后的數(shù)據(jù)集，達(dá)到類之間的基本平衡。

2.3 選取評(píng)價(jià)指標(biāo)

預(yù)測軟件缺陷傾向性是一個(gè)二分類問題，在分類問題中評(píng)價(jià)模型預(yù)測性能時(shí)常用的評(píng)價(jià)指標(biāo)有Accuracy（準(zhǔn)確率）、Precision（查準(zhǔn)率）、Recall（查全率）、AUC（ROC曲線下面積）等[4]。本文選取Precision（查準(zhǔn)率）、Recall（查全率）、AUC（ROC曲線下面積）作為模型的評(píng)價(jià)指標(biāo)。

對(duì)于二分類問題，分類結(jié)果常用混淆矩陣來表示，如表2所示。

其中TP代表真正例的數(shù)量，F(xiàn)P代表假正例的數(shù)量，TN代表正反例的數(shù)量，F(xiàn)N代表假反例的數(shù)量。

查準(zhǔn)率Precision表示在所有預(yù)測為正例的樣本中，真正例的比例。其定義如式（1）所示：

查全率Recall表示在所有正樣本中，預(yù)測正確的比例。其定義如式（2）所示：

把數(shù)據(jù)集中標(biāo)記為無缺陷的軟件模塊作為正例，標(biāo)記為有缺陷的軟件模塊作為反例，則P表示在所有預(yù)測為無缺陷樣本中，標(biāo)記為無缺陷樣本的比例。R表示在所有標(biāo)記為無缺陷樣本中，將標(biāo)記為無缺陷樣本預(yù)測為無缺陷樣本的比例。

因?yàn)樵谶M(jìn)行軟件缺陷預(yù)測時(shí)，需要比較多個(gè)學(xué)習(xí)器的性能，因此選取了AUC作為模型的一個(gè)評(píng)價(jià)指標(biāo)。在進(jìn)行多個(gè)學(xué)習(xí)器性能的比較時(shí)，常用的指標(biāo)是AUC（ROC曲線下面積）。ROC曲線是以“真正例率”和“假正例率”作為坐標(biāo)系的縱軸和橫軸進(jìn)行繪制，AUC代表ROC曲線下的面積。AUC越大，則學(xué)習(xí)器的性能越好。

2.4 邏輯回歸模型

邏輯回歸（Logistic Regression）是做分類任務(wù)時(shí)一種比較基礎(chǔ)的機(jī)器學(xué)習(xí)算法，因?yàn)檐浖毕輧A向性問題是一個(gè)二分類問題，因此可以使用邏輯回歸模型去解決軟件傾向性預(yù)測的問題。

在線性回歸模型中，使用輸入樣本的特性的線性組合來產(chǎn)生預(yù)測值，如式（3）所示：

在二分類問題中，在線性回歸模型的基礎(chǔ)上，邏輯回歸模型中使用了Sigmoid函數(shù)將線性回歸模型中得到的預(yù)測值映射到[0，1]區(qū)間，完成了從預(yù)測值到概率值的轉(zhuǎn)化，從而可以得到相應(yīng)類別的預(yù)測概率值。Sigmoid函數(shù)如式（4）所示：

邏輯回歸模型可以直接對(duì)樣本屬于各類別的可能性進(jìn)行建模，并且得到各類別相應(yīng)的概率預(yù)測。

2.5 隨機(jī)森林模型

隨機(jī)森林（Random Forest）是一種集成學(xué)習(xí)算法，以決策樹作為基學(xué)習(xí)器，使用Bagging進(jìn)行集成，構(gòu)建出泛化能力更強(qiáng)的學(xué)習(xí)器。隨機(jī)森林由多棵決策樹組成，每棵決策樹從樣本的屬性集合中，隨機(jī)選擇一個(gè)包含k個(gè)屬性的子集，再從中選出最優(yōu)屬性用于劃分，最后在預(yù)測分類時(shí)，根據(jù)每棵樹的結(jié)果來投票決定樣本所屬的類別。隨機(jī)森林算法比較簡單，也有不錯(cuò)的性能表現(xiàn)。

文中選取了以上兩種傳統(tǒng)機(jī)器學(xué)習(xí)算法來建立軟件缺陷的預(yù)測模型，并對(duì)比兩種算法在兩種采樣方案中的性能。

3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)在Anaconda3環(huán)境下，采用Python語言編寫，完成程序的編寫和調(diào)試。首先對(duì)數(shù)據(jù)集按照上采樣和下采樣兩種方案進(jìn)行處理，在兩種方案下重新構(gòu)造類平衡的數(shù)據(jù)集，然后將新構(gòu)造的數(shù)據(jù)集劃分為訓(xùn)練集和測試集，分別使用了邏輯回歸算法和隨機(jī)森林算法使用訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練，使用測試集來進(jìn)行預(yù)測得到最終預(yù)測結(jié)果，對(duì)預(yù)測結(jié)果使用之前選定的Precision（查準(zhǔn)率）、Recall（查全率）、AUC（ROC曲線下面積）等指標(biāo)進(jìn)行評(píng)分，并對(duì)實(shí)驗(yàn)的結(jié)果進(jìn)行對(duì)比分析。

3.1 隨機(jī)欠采樣方案

在隨機(jī)欠采樣方案中，在標(biāo)記為無缺陷的樣本中，隨機(jī)選取與有缺陷樣本同樣數(shù)量的樣本，再將有缺陷樣本和無缺陷樣本進(jìn)行組合，得到新的類平衡的數(shù)據(jù)集[5]。由于軟件缺陷數(shù)據(jù)集中存在類不平衡問題，標(biāo)記為無缺陷樣本數(shù)要相對(duì)多于標(biāo)記為有缺陷樣本數(shù)，因此得到新數(shù)據(jù)集中的樣本數(shù)就會(huì)較少。

3.2 隨機(jī)過采樣方案

在隨機(jī)過采樣方案中，使用SMOTE算法[6]，對(duì)標(biāo)記為有缺陷的少數(shù)樣本進(jìn)行分析，生成新的標(biāo)記為有缺陷的樣本，與原先的標(biāo)記為無缺陷樣本合并為新的類平衡的數(shù)據(jù)集，在此基礎(chǔ)上進(jìn)行模型的訓(xùn)練。由于標(biāo)記為無缺陷樣本數(shù)量較多，因此合成之后的新數(shù)據(jù)集中的樣本數(shù)會(huì)增多。

3.3 實(shí)驗(yàn)結(jié)果分析

根據(jù)實(shí)驗(yàn)結(jié)果數(shù)據(jù)，繪制出Recall值對(duì)比的折線圖如圖1。

繪制出Precision值對(duì)比的折線圖如圖2所示。

從實(shí)驗(yàn)結(jié)果可以看出，隨機(jī)上采樣方案的總體性能優(yōu)于隨機(jī)下采樣方案。這是由于隨機(jī)欠采樣生成的新數(shù)據(jù)集樣本數(shù)量較少，模型訓(xùn)練不充分，存在欠擬合現(xiàn)象。而在隨機(jī)過采樣方案中，合成了新的標(biāo)記為有缺陷的樣本，新的樣本集數(shù)量增多，減少了模型欠擬合的風(fēng)險(xiǎn)。

從總體上看，隨機(jī)森林算法總體上優(yōu)于邏輯回歸算法。由于隨機(jī)森林算法采用的是集成學(xué)習(xí)算法，集成了多個(gè)基學(xué)習(xí)器，因此泛化能力更強(qiáng)，在查準(zhǔn)率Precision上比邏輯回歸算法表現(xiàn)更好。

4 結(jié)束語

軟件缺陷預(yù)測是軟件工程領(lǐng)域的熱點(diǎn)問題，主要從軟件模塊的缺陷傾向性、軟件模塊中缺陷數(shù)量、軟件模塊中缺陷的嚴(yán)重程度等方面來對(duì)軟件缺陷進(jìn)行預(yù)測。

文中主要研究了軟件缺陷傾向性預(yù)測的問題。針對(duì)目前常見的公開軟件缺陷數(shù)據(jù)集中數(shù)據(jù)樣本數(shù)量較少的現(xiàn)狀，采取了一些經(jīng)典的機(jī)器學(xué)習(xí)算法，如邏輯回歸算法、隨機(jī)森林算法來對(duì)軟件模塊的缺陷傾向性進(jìn)行預(yù)測。對(duì)于在軟件缺陷數(shù)據(jù)集中存在嚴(yán)重類不平衡的問題，分別采取了隨機(jī)上采樣和隨機(jī)下采樣的方案生成新的數(shù)據(jù)集，通過實(shí)驗(yàn)對(duì)比這兩種方案的性能表現(xiàn)。在選擇模型的評(píng)價(jià)指標(biāo)時(shí)，使用了分類問題中常用的一些指標(biāo)，如精確率（Precision）、召回率（Recall）、AUC（Area Under ROC Curve）等作為模型的評(píng)價(jià)指標(biāo)，并給出了不同的采樣方案、不同的算法對(duì)比實(shí)驗(yàn)的結(jié)果。

在后續(xù)的工作中，將繼續(xù)研究如何使用傳統(tǒng)的機(jī)器學(xué)習(xí)方法來預(yù)測軟件模塊中存在的缺陷數(shù)量，以及在有缺陷的模塊中缺陷的嚴(yán)重程度，并進(jìn)一步研究如何更好地解決軟件缺陷預(yù)測問題中存在的嚴(yán)重類不平衡問題。

參考文獻(xiàn)：

[1] 宮麗娜，姜淑娟，姜麗.軟件缺陷預(yù)測技術(shù)研究進(jìn)展[J].軟件學(xué)報(bào)，2019，30（10）：3090-3114.

[2] 吳方君.靜態(tài)軟件缺陷預(yù)測研究進(jìn)展[J].計(jì)算機(jī)科學(xué)與探索，2019，13（10）：1621-1637.

[3] 劉文英，林亞林，李克文，等.一種軟件缺陷不平衡數(shù)據(jù)分類新方法[J].山東科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，40（2）：84-94.

[4] 葛修婷，潘婭.機(jī)器學(xué)習(xí)技術(shù)在軟件測試領(lǐng)域的應(yīng)用[J].西南科技大學(xué)學(xué)報(bào)，2018，33（4）：90-97.

[5] 李冉，周麗娟，王華.面向類不平衡數(shù)據(jù)集的軟件缺陷預(yù)測模型[J].計(jì)算機(jī)應(yīng)用研究，2018，35（9）：2806-2810.

[6] 王海，江峰，杜軍威，等.過采樣與集成學(xué)習(xí)方法在軟件缺陷預(yù)測中的對(duì)比研究[J].計(jì)算機(jī)與現(xiàn)代化，2020（6）：83-88.

【通聯(lián)編輯：謝媛媛】

收稿日期：2021-12-08

基金項(xiàng)目：廣東白云學(xué)院2021年度校級(jí)科研項(xiàng)目：基于機(jī)器學(xué)習(xí)的軟件缺陷預(yù)測研究（項(xiàng)目編號(hào)：2021BYKY19）

作者簡介：顏慧（1979—），女，廣西橫州人，講師，碩士，研究方向?yàn)檐浖こ?、機(jī)器學(xué)習(xí)。