王 榮,白尚旺,黨偉超,潘理虎,2

1(太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,太原 030024)

2(中國(guó)科學(xué)院 地理科學(xué)與資源研究所,北京 100101)

軟件老化通常是由軟件故障激活的累積效應(yīng)造成的,從而導(dǎo)致內(nèi)存泄漏、操作系統(tǒng)資源耗盡等系統(tǒng)錯(cuò)誤,最終致使軟件失效或系統(tǒng)宕機(jī)的現(xiàn)象[1].隨著軟件系統(tǒng)的廣泛應(yīng)用,研究發(fā)現(xiàn)在Web服務(wù)器[2]、文件服務(wù)器、數(shù)據(jù)庫(kù)管理系統(tǒng)[3]、DNS服務(wù)器以及虛擬化環(huán)境[4]等,出現(xiàn)軟件老化現(xiàn)象的概率會(huì)更高.隨著云計(jì)算時(shí)代的到來(lái),提高系統(tǒng)可靠性的問(wèn)題顯得尤為重要.因此,對(duì)軟件老化趨勢(shì)進(jìn)行早期預(yù)測(cè),在系統(tǒng)發(fā)生故障之前采取相應(yīng)措施,能夠有效的提高軟件的可靠性與安全性.

軟件老化,受系統(tǒng)性能參數(shù)的相互影響和制約,呈現(xiàn)出一種非線性的特性.而BP神經(jīng)網(wǎng)絡(luò),是一種應(yīng)用較廣泛的多層前饋型神經(jīng)網(wǎng)絡(luò),能夠擬合任意的非線性映射,是一個(gè)復(fù)雜的非線性動(dòng)力學(xué)習(xí)系統(tǒng)[5].現(xiàn)有的基于BP神經(jīng)網(wǎng)絡(luò)的軟件老化預(yù)測(cè)模型雖然在一定程度上取得了很大的進(jìn)展,但仍存在一些不足之處,如BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值都是隨機(jī)設(shè)定的[6],而粒子群算法能夠很好的解決BP神經(jīng)網(wǎng)絡(luò)對(duì)初始參數(shù)選取比較敏感的問(wèn)題.因此本文通過(guò)構(gòu)建NPSOSABP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型,將NPSOSA算法得到的最優(yōu)解賦值給BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值,并實(shí)現(xiàn)對(duì)軟件老化趨勢(shì)進(jìn)行預(yù)測(cè),實(shí)驗(yàn)表明本文提出的NPSOSA-BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型,相比于傳統(tǒng)粒子群算法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)精度更高.

1 BP神經(jīng)網(wǎng)絡(luò)

BP (Back Propagation)神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用比較廣泛的神經(jīng)網(wǎng)絡(luò)算法,是一種誤差逆向推導(dǎo)的訓(xùn)練模型.由輸入層、隱含層和輸出層3層組成,每一層都有大量且數(shù)量不同的神經(jīng)元.BP神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)的過(guò)程中,由數(shù)據(jù)正向傳播和誤差的逆向推導(dǎo)兩部分構(gòu)成.正向傳播即在輸入層輸入訓(xùn)練樣本后,神經(jīng)元被激活,激活值由輸入層經(jīng)隱含層處理后最終由輸出層輸出網(wǎng)絡(luò)響應(yīng);逆向傳播的過(guò)程為:如果在正向傳播過(guò)程中訓(xùn)練輸出與期望輸出間存在誤差,則按照梯度下降法,經(jīng)輸出層和隱含層沿著誤差減小的方向進(jìn)行調(diào)整,不斷修改各個(gè)神經(jīng)元的連接權(quán)值和閾值,直至滿足網(wǎng)絡(luò)的輸出要求.

2 NPSOSA-BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的建立

2.1 基本粒子群算法

基本粒子群算法(Particle Swarm Optimization,PSO),具有良好的搜索機(jī)制,最早由Kennedy和Eberhart于1995年提出的.PSO算法起源于對(duì)鳥類捕食行為的研究,并將其與優(yōu)化問(wèn)題的求解過(guò)程進(jìn)行對(duì)比及研究.該算法中每個(gè)粒子都可以看作是搜索空間中的最優(yōu)解,在移動(dòng)與飛行的過(guò)程中,利用適應(yīng)度函數(shù)求得適應(yīng)度值,用適應(yīng)度值評(píng)價(jià)當(dāng)前解的優(yōu)劣.每個(gè)粒子由位置、速度和適應(yīng)度值三項(xiàng)特征值進(jìn)行表示.PSO算法隨機(jī)初始化一群粒子,接著在迭代搜索過(guò)程中,參照個(gè)體和群體極值的最優(yōu)解,不斷調(diào)整飛行的速度和位置,以搜索到全局最優(yōu)值.速度和位置更新公式如下[7]:

其中,m=1,2,···,M;i=1,2,···,N;Vim為第i個(gè)粒子在第m維的飛行速度;Xim為 粒子的位置;c1和c2為非負(fù)的常數(shù),稱為加速度因子;r1和r2為介于[0,1]之間的隨機(jī)變量;Pim為 個(gè)體粒子經(jīng)歷過(guò)自身最優(yōu)位置;Pgm為種群粒子集合中各個(gè)粒子進(jìn)行比較后所經(jīng)歷的全局最優(yōu)位置.

2.2 PSO算法的改進(jìn)

PSO算法從種群的多個(gè)個(gè)體出發(fā)并行處理,具有良好的全局收斂性.但是PSO算法應(yīng)用在高維復(fù)雜問(wèn)題上,往往會(huì)出現(xiàn)迭代期間搜索不平衡,極易陷入局部極值得不到全局最優(yōu)解、早熟收斂的問(wèn)題.針對(duì)PSO算法的缺陷,本文提出一種NPSOSA優(yōu)化算法,分別采用動(dòng)態(tài)變化慣性權(quán)重法,以及引入模擬退火算法(Simulated Annealing algorithm,SA),對(duì)PSO算法進(jìn)行改進(jìn).首先采用動(dòng)態(tài)變化慣性權(quán)重法,使得迭代初期較大的慣性權(quán)重能夠擁有較強(qiáng)的全局搜索能力,而迭代后期較小的慣性權(quán)重有利于進(jìn)行更精確的局部搜索,以此達(dá)到在整個(gè)迭代過(guò)程中平衡粒子的全局與局部搜索能力.其次針對(duì)粒子群算法易聚集到次優(yōu)解而陷入局部最優(yōu)發(fā)生早熟的情況,利用SA算法的概率突跳性來(lái)跳出局部極值,避免早熟問(wèn)題.

2.2.1 動(dòng)態(tài)變化慣性權(quán)重的設(shè)置

PSO算法是粒子在飛行過(guò)程中不斷尋找最優(yōu)值,但是當(dāng)粒子以較快速度飛向全局最優(yōu)解所在的區(qū)域時(shí),尤其是在靠近最優(yōu)解時(shí),由于飛行速度過(guò)快,缺乏有效控制與約束,粒子的移動(dòng)將會(huì)超過(guò)最優(yōu)解的位置,粒子只能在最優(yōu)解的附近來(lái)回移動(dòng),往前一步超過(guò)最優(yōu)解位置,后退一步錯(cuò)過(guò)最優(yōu)解位置,使得粒子陷入局部?jī)?yōu)化的狀態(tài).

為了使PSO算法在迭代周期內(nèi)達(dá)到局部與全局搜索的有效平衡,并實(shí)現(xiàn)對(duì)粒子飛行速度的有力控制,本文引入了“動(dòng)態(tài)變化慣性權(quán)重”參數(shù).實(shí)驗(yàn)表明,在慣性權(quán)重?不變的情況下PSO算法擁有較快的收斂速度,但容易出現(xiàn)在最優(yōu)解的位置來(lái)回反復(fù)移動(dòng),陷入局部最優(yōu)的問(wèn)題.而采用“動(dòng)態(tài)變化慣性權(quán)重法”優(yōu)化的PSO算法,具有比固定值更為良好的搜索結(jié)果,使得迭代初期較大的慣性權(quán)重能夠在全局搜索范圍內(nèi)得到較好的粒子,且搜索后期較小的慣性權(quán)重能夠在極值點(diǎn)的周圍做精細(xì)的搜索[8],有效提高了算法的求解精度.本文采用的動(dòng)態(tài)變化慣性權(quán)重法公式如下,對(duì)應(yīng)的曲線如圖1所示.

圖1 動(dòng)態(tài)變化慣性權(quán)重

其中,ωstart為 PSO算法迭代初期時(shí)的慣性權(quán)重值;ωend為最大迭代次數(shù)時(shí)的終止權(quán)重值;k為當(dāng)前迭代數(shù);Tmax為最大迭代數(shù).從圖1可以看出,迭代初期慣性權(quán)重變化較慢,粒子可以進(jìn)行較大范圍的搜索,隨著迭代次數(shù)的增加,慣性權(quán)重下降的速度也逐漸加快,較好的局部搜索能力展現(xiàn)出來(lái).該策略下的粒子速度更新公式如下:

2.2.2 模擬退火算法的引入

SA算法,主要源于熱力學(xué)的理論,通過(guò)研究熱平衡問(wèn)題,將其應(yīng)用在優(yōu)化問(wèn)題的求解過(guò)程中.在模擬高溫物體退火過(guò)程中尋找優(yōu)化問(wèn)題的全局或者近似全局最優(yōu)解[9].因此如何有效的調(diào)整溫度成為SA算法最重要的問(wèn)題,在算法中溫度是一個(gè)很重要的參數(shù),一方面,溫度可以限制SA的搜索范圍;另一方面,溫度決定了算法在運(yùn)行過(guò)程中以多大的概率接受劣于當(dāng)前解的新解.其中,SA算法采用Metepolis準(zhǔn)則作為接受新解的概率.公式如下:

其中,x為當(dāng)前解;x′為新解;f(·)代表解的目標(biāo)函數(shù)值;T為溫度.

本文提出的NPSOSA算法以NPSO算法為主要的流程,是在繼承NPSO算法優(yōu)點(diǎn)的基礎(chǔ)上,引入SA算法.該算法的思想是:在更新個(gè)體和種群極值時(shí)加入SA算法,對(duì)NPSO算法的適應(yīng)度值和位置按照Metropolis準(zhǔn)則接受最優(yōu)解的同時(shí)以一定的概率接受惡化值.該過(guò)程不斷迭代進(jìn)行,開始時(shí)溫度較高,接受劣解的概率相對(duì)較高,使得粒子有很高的機(jī)率跳出局部最優(yōu)解,隨著溫度的逐步下降,能量降低,粒子接受較差解的概率變小,最終收斂至全局最優(yōu)解,避免早熟問(wèn)題.pi存儲(chǔ)的是各個(gè)粒子的位置和適應(yīng)值,Pg存儲(chǔ)種群最優(yōu)粒子的位置和適應(yīng)值.計(jì)算各粒子接受概率公式如下:

2.3 構(gòu)建NPSOSA-BP神經(jīng)網(wǎng)絡(luò)

NPSOSA-BP神經(jīng)網(wǎng)絡(luò)其本質(zhì)是利用NPSOSA算法尋優(yōu)能力強(qiáng),收斂速度快的優(yōu)勢(shì),獲得最優(yōu)的初始權(quán)值和閾值,并將最優(yōu)值賦值給BP神經(jīng)網(wǎng)絡(luò),應(yīng)用在軟件老化預(yù)測(cè)趨勢(shì)上.實(shí)驗(yàn)表明,利用NPSOSA算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)能有效提高網(wǎng)絡(luò)的性能,預(yù)測(cè)精度也相對(duì)提升.

2.3.1 NPSOSA-BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的確定

本文實(shí)驗(yàn)的輸入層與輸出層節(jié)點(diǎn)數(shù)分別為3、10.隱含層節(jié)點(diǎn)數(shù)按照傳統(tǒng)的計(jì)算公式a∈(1,10),得出適宜的節(jié)點(diǎn)數(shù)值范圍為3～12.經(jīng)過(guò)仿真實(shí)驗(yàn),驗(yàn)證得出當(dāng)隱含層節(jié)點(diǎn)數(shù)為10的時(shí)候,模型能達(dá)到最佳軟件老化預(yù)測(cè)狀態(tài).于是本文搭建了具有3-10-1結(jié)構(gòu)的NPSOSA-BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型.實(shí)際上,除了選取最佳隱含層神經(jīng)元個(gè)數(shù)以外,也可以通過(guò)增加隱含層數(shù)來(lái)提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力,但后者方法使網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜化,訓(xùn)練時(shí)間增長(zhǎng),因此本文采用單隱含層BP神經(jīng)網(wǎng)絡(luò).

2.3.2 NPSOSA-BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的訓(xùn)練與預(yù)測(cè)

NPSOSA-BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的訓(xùn)練與預(yù)測(cè)流程如下:

① 數(shù)據(jù)預(yù)處理.由于原始數(shù)據(jù)數(shù)量級(jí)差別較大,對(duì)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程產(chǎn)生較大的影響,加大訓(xùn)練難度.因此為了提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率,在對(duì)數(shù)據(jù)進(jìn)行分析之前,需要對(duì)數(shù)據(jù)進(jìn)行歸一化處理,將輸入層數(shù)據(jù)和輸出層數(shù)據(jù)歸一化到[–1,1]之間.

② NPSOSA-BP算法參數(shù)的設(shè)定.本實(shí)驗(yàn)NPSO算法參數(shù)設(shè)定:加速度因子c1=c2=1.49445,ωstart=0.9,ωend=0.4,迭代次數(shù)為1000次,種群規(guī)模為60.SA算法參數(shù)設(shè)置:初始溫度為10 000,溫度下降速率采用公式:T=T0(0.9j?1),其中T0為 初始溫度,j為迭代次數(shù).BP算法初始參數(shù)設(shè)置:學(xué)習(xí)速率為0.05,期望誤差為1×10–6.

③ 初始化粒子群.NPSO算法需要對(duì)BP神經(jīng)網(wǎng)絡(luò)中所有權(quán)值和閾值的集合進(jìn)行優(yōu)化.粒子的速度和位置向量的維數(shù)等于BP神經(jīng)網(wǎng)絡(luò)中所有權(quán)值和閾值的數(shù)量之和,即3×10+10×1+10+1=51.采用算法開發(fā)與分析工具M(jìn)atlab 2016a,其內(nèi)部函數(shù)rands(1,51)隨機(jī)初始化粒子的位置和速度.

④ 更新粒子的速度和位置.將所有粒子放置在預(yù)測(cè)模型中進(jìn)行訓(xùn)練,通過(guò)適應(yīng)度函數(shù)式(7)計(jì)算適應(yīng)度值,以此作為評(píng)價(jià)粒子的優(yōu)劣,適應(yīng)值越小,表示適應(yīng)度越高.此外根據(jù)式(2)和式(4),更新粒子的速度和位置,本文采用BP神經(jīng)網(wǎng)絡(luò)的輸出均方根平均誤差和作為神經(jīng)網(wǎng)絡(luò)的適應(yīng)度值,公式如下:

⑤ 迭代輸出最優(yōu)值.粒子在每次更新時(shí),采用Metropolis準(zhǔn)則計(jì)算適應(yīng)度值,隨著溫度的降低,收斂得到全局最優(yōu)解.

⑥ NPSOSA-BP神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練.獲得最優(yōu)解并確定BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值,輸入訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練模型.用訓(xùn)練好的模型對(duì)軟件老化趨勢(shì)進(jìn)行預(yù)測(cè).

3 實(shí)驗(yàn)與結(jié)果分析

3.1 軟件老化加速壽命實(shí)驗(yàn)

為研究與內(nèi)存泄漏相關(guān)的軟件老化現(xiàn)象,本文以一個(gè)符合TPC-W基準(zhǔn)測(cè)試規(guī)范的Web應(yīng)用服務(wù)器為研究對(duì)象,在其后臺(tái)程序中注入關(guān)于內(nèi)存泄漏的代碼加速其老化,從而設(shè)計(jì)出加速壽命測(cè)試實(shí)驗(yàn)[10],并收集老化數(shù)據(jù)作為實(shí)驗(yàn)的訓(xùn)練集和測(cè)試集.TPC-W的組成在邏輯上分為3層:一個(gè)Web服務(wù)器,一個(gè)數(shù)據(jù)庫(kù),以及一定量的模擬瀏覽器.三者之間的流程為:數(shù)據(jù)庫(kù)存儲(chǔ)售書網(wǎng)站的數(shù)據(jù);模擬瀏覽器以會(huì)話的形式并發(fā)訪問(wèn)網(wǎng)站頁(yè)面;當(dāng)請(qǐng)求發(fā)送給Web服務(wù)器查詢相應(yīng)網(wǎng)頁(yè)和圖像時(shí),Web服務(wù)器緊接著與數(shù)據(jù)庫(kù)通信,傳輸數(shù)據(jù)并動(dòng)態(tài)生成響應(yīng)頁(yè).實(shí)驗(yàn)配置如表1所示,三者間的工作原理如圖2所示.

表1 實(shí)驗(yàn)配置

圖2 三者間工作原理

本文選取了內(nèi)存消耗速率作為加速壽命測(cè)試中的加速壓力,對(duì)Java虛擬機(jī)的內(nèi)存管理進(jìn)行研究.由于所有的Servlet運(yùn)行在同一個(gè)JVM中,因此所有對(duì)象的數(shù)據(jù)都存儲(chǔ)在JVM堆中[11].為了模擬軟件老化現(xiàn)象,實(shí)驗(yàn)修改了購(gòu)書網(wǎng)站中的Search Request Page這個(gè)頁(yè)面,對(duì)應(yīng)TPCW_search_request_servlet這個(gè)Servlet,為其注入一段內(nèi)存泄漏代碼.由于JVM有垃圾回收器(GC),程序在運(yùn)行時(shí),對(duì)象的堆內(nèi)存由GC的自動(dòng)內(nèi)存管理系統(tǒng)回收,當(dāng)JVM內(nèi)存使用量逐漸增加并達(dá)到最大值時(shí),GC將自動(dòng)啟動(dòng)并釋放內(nèi)存.GC回收任何不再被引用的對(duì)象,其占用的內(nèi)存也會(huì)被釋放.為了模擬軟件老化現(xiàn)象,本文增加一個(gè)HeapLeak類,使服務(wù)器整個(gè)生命周期都保持對(duì)該類對(duì)象的引用,且HeapLeak類對(duì)象在程序運(yùn)行期間不會(huì)被GC回收,當(dāng)創(chuàng)建的實(shí)例數(shù)量達(dá)到最大堆容量時(shí),會(huì)產(chǎn)生JVM堆溢出.運(yùn)行客戶端,每隔1 s采集一次JVM內(nèi)存使用量,共持續(xù)14 400 s,采集樣本14 281個(gè).每隔120 s取一次均值,實(shí)驗(yàn)數(shù)據(jù)圖如圖3所示.

3.2 實(shí)驗(yàn)分析

為了證明模型的有效性,使用Matlab 2016a編程實(shí)現(xiàn)了NPSOSA算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)模型,以及與其對(duì)比分析的傳統(tǒng)PSOSA-BP、PSO-BP,BP預(yù)測(cè)模型.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)采用3-10-1,每組實(shí)驗(yàn)的工作負(fù)載為100個(gè)客戶端.實(shí)驗(yàn)共收集到14 281個(gè)數(shù)據(jù),取前7000個(gè)作為訓(xùn)練集,后7281個(gè)作為預(yù)測(cè)集.不同的預(yù)測(cè)模型在實(shí)驗(yàn)訓(xùn)練過(guò)程中采用的是相同的老化數(shù)據(jù),實(shí)驗(yàn)結(jié)束后分別得到4個(gè)模型的預(yù)測(cè)與期望輸出的對(duì)比曲線,如圖4至圖7所示.本文選取MAE (平均絕對(duì)誤差),MSE (均方誤差)作為評(píng)價(jià)標(biāo)準(zhǔn),公式如下.4種不同預(yù)測(cè)模型的評(píng)價(jià)指標(biāo)對(duì)比如表2所示.

圖3 JVM在120 s內(nèi)平均使用內(nèi)存變化趨勢(shì)

圖4 BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)

從圖4到圖7可以看出本文提出的NPSOSA-BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型,經(jīng)引入動(dòng)態(tài)變化慣性權(quán)重法,SA算法的優(yōu)化后,預(yù)測(cè)輸出曲線與期望輸出曲線的擬合效果越來(lái)越好,預(yù)測(cè)精度也明顯提高.從表2可以得出NPSOSABP神經(jīng)網(wǎng)絡(luò)模型相比PSOSA-BP神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)精度提高了8%,相比PSOBP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型提高了10%,相比BP神經(jīng)網(wǎng)絡(luò)模型提高了30%.由此可以得出,本文提出的基于新型粒子群退火算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)模型相比于其他優(yōu)化算法在預(yù)測(cè)精度、擬合效果方面存在明顯的優(yōu)勢(shì).

圖5 PSO-BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)

圖6 PSOSA-BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)

圖7 NPSOSA-BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)

表2 神經(jīng)網(wǎng)絡(luò)模型誤差對(duì)比圖

4 結(jié)束語(yǔ)

軟件老化是影響軟件系統(tǒng)性能的重要因素,本文通過(guò)建立一個(gè)軟件老化測(cè)試平臺(tái),為其注入一段內(nèi)存泄漏代碼加速老化,收集系統(tǒng)老化數(shù)據(jù),根據(jù)獲取的老化數(shù)據(jù)構(gòu)造NPSOSA-BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型.NPSOSA算法不僅解決了BP神經(jīng)網(wǎng)絡(luò)對(duì)初始權(quán)值和閾值依賴性的問(wèn)題,而且克服了PSO算法全局與局部搜索不平衡、早熟收斂相關(guān)問(wèn)題,提高了神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)精度.使得BP神經(jīng)網(wǎng)絡(luò)擁有良好的學(xué)習(xí)能力和泛化能力,能夠很好的應(yīng)用在軟件老化趨勢(shì)預(yù)測(cè)方面.