李 波 , 張 琳, 張 搏, 張保山

(1. 空軍工程大學(xué)研究生院， 陜西 西安 710000； 2. 93748 部隊(duì)，內(nèi)蒙古 包頭 014000；3. 空軍工程大學(xué)防空反導(dǎo)學(xué)院， 陜西 西安 710000)

BP神經(jīng)網(wǎng)絡(luò)是一種誤差反向傳播的前饋神經(jīng)網(wǎng)絡(luò)[1]，通常用誤差梯度下降法更新網(wǎng)絡(luò)。由于具備并行分布處理、非線性映射和自學(xué)習(xí)等優(yōu)點(diǎn)，BP神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于智能故障診斷[2]、健康狀態(tài)預(yù)測(cè)[3]和自動(dòng)控制[4]等領(lǐng)域。但是，因其存在易形成局部極小、學(xué)習(xí)效率低和收斂速度慢等固有缺陷[5]，未經(jīng)改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)直接應(yīng)用時(shí)效果常不夠理想。目前，研究者對(duì)BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)研究通常集中在附加動(dòng)量項(xiàng)和學(xué)習(xí)率自適應(yīng)等方面,如：謝汝兵等[6]對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行了附加動(dòng)量項(xiàng)改進(jìn)并應(yīng)用于機(jī)械故障診斷；王莉莉等[7]對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行“動(dòng)量-學(xué)習(xí)率自適應(yīng)”改進(jìn)后應(yīng)用于電容層析成像(Electrical Gapacitance Tomography，ECT)流型辨識(shí)；陳華珍等[8]提出了附加動(dòng)量和學(xué)習(xí)率的自適應(yīng)算法，并將這種“雙自適應(yīng)”BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于智能手環(huán)體征檢測(cè)。然而，由于上述方法中動(dòng)量因子和學(xué)習(xí)率或固定不變,或僅在有限的固定點(diǎn)上變動(dòng)，自適應(yīng)功能較弱，網(wǎng)絡(luò)收斂性仍顯不足。筆者將C語(yǔ)言中的“指針”思想引入BP神經(jīng)網(wǎng)絡(luò)中，創(chuàng)建了網(wǎng)絡(luò)“誤差指針”。通過(guò)“誤差指針”對(duì)學(xué)習(xí)率和動(dòng)量因子進(jìn)行雙自適應(yīng)調(diào)整，進(jìn)一步擴(kuò)展了二者的取值空間，有利于網(wǎng)絡(luò)更深層次的自適應(yīng)調(diào)整，可提高網(wǎng)絡(luò)收斂速度和診斷精度。

1 典型BP神經(jīng)網(wǎng)絡(luò)及改進(jìn)

1.1 典型BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)通常有輸入層、隱含層和輸出層3部分，根據(jù)隱含層數(shù)量不同，BP神經(jīng)網(wǎng)絡(luò)可分為單隱層和多隱層。研究表明:單隱層即可實(shí)現(xiàn)任意非線性映射功能。典型的單隱層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

BP神經(jīng)網(wǎng)絡(luò)基本信號(hào)傳輸和調(diào)整原理如下：

輸入信號(hào)

(1)

輸出信號(hào)

(2)

式中：σ(·)為激活函數(shù)。

樣本誤差

e(n)=L(a[l](n),y)，

(3)

式中:y為期望的輸出;L(·)為損失函數(shù)。

輸出層梯度

(4)

式中：σ′(·)為激活函數(shù)的導(dǎo)數(shù)。

隱含層梯度

(5)

第n次迭代的偏置

(6)

式中：η為學(xué)習(xí)率(也稱步長(zhǎng))，通常取(0,1)區(qū)間內(nèi)的一個(gè)常數(shù)。

第n次迭代的權(quán)重

(7)

可見(jiàn)，標(biāo)準(zhǔn)BP算法屬于簡(jiǎn)單的最速下降尋優(yōu)法，其調(diào)整方向與梯度方向相反。

1.2 動(dòng)量-自適應(yīng)學(xué)習(xí)率BP神經(jīng)網(wǎng)絡(luò)

由于神經(jīng)網(wǎng)絡(luò)在修正權(quán)值和偏置過(guò)程中僅僅考慮了當(dāng)前時(shí)刻的梯度，未考慮前一時(shí)刻的變化方向，導(dǎo)致網(wǎng)絡(luò)在學(xué)習(xí)過(guò)程中容易發(fā)生振蕩，收斂速度緩慢。因此，有研究者提出通過(guò)附加動(dòng)量項(xiàng)的方式進(jìn)行改進(jìn)，改進(jìn)后偏置和權(quán)重修正公式如下：

第n次迭代的偏置為

(8)

式中：μ為動(dòng)量因子，通常取[0.1,0.8]區(qū)間內(nèi)的一個(gè)常數(shù)。

第n次迭代的權(quán)重為

(9)

為了進(jìn)一步加速網(wǎng)絡(luò)收斂，有研究者提出對(duì)學(xué)習(xí)率η進(jìn)行自適應(yīng)改進(jìn)，即η不再取固定值，而根據(jù)誤差大小進(jìn)行調(diào)整，通常取如下階梯函數(shù)[9]：

(10)

可見(jiàn)，這種學(xué)習(xí)率自適應(yīng)調(diào)整的基本思路是：誤差降低時(shí)說(shuō)明調(diào)整方向正確，此時(shí)增大學(xué)習(xí)率加速收斂；誤差增大時(shí)說(shuō)明調(diào)整方向錯(cuò)誤，此時(shí)降低學(xué)習(xí)率避免振蕩。使用批量訓(xùn)練方式的動(dòng)量-學(xué)習(xí)率自適應(yīng)BP算法流程如圖2所示，其中ep為誤差容限。

2 改進(jìn)的雙自適應(yīng)BP神經(jīng)網(wǎng)絡(luò)

前述方法中，雖然通過(guò)附加動(dòng)量項(xiàng)能有效抑制振蕩，促進(jìn)網(wǎng)絡(luò)收斂，但如何選取動(dòng)量因子μ一直沒(méi)有較好的方法。μ選取過(guò)小，慣性效果弱，對(duì)于網(wǎng)絡(luò)的振蕩抑制不夠明顯；μ選取過(guò)大，慣性效果過(guò)于顯著，又不易加速收斂。孫瑜[10]通過(guò)對(duì)比μ取不同值時(shí)神經(jīng)網(wǎng)絡(luò)收斂效果，得出了μ的最佳值與學(xué)習(xí)率η有關(guān)的結(jié)論，并給出了不同η下μ的一些取值范圍。但因神經(jīng)網(wǎng)絡(luò)初始權(quán)值的隨機(jī)性，其最佳值理論尚不具備一般性。同時(shí)，學(xué)習(xí)率自適應(yīng)方法僅考慮誤差的增大或減小，而未考慮誤差連續(xù)增大或減小的情況，自適應(yīng)能力仍顯不足。

于海寧等[11]在研究C語(yǔ)言程序設(shè)計(jì)時(shí)提出一種改進(jìn)的指針?lè)治龇椒?，提高了?duì)敏感量的控制能力。BP神經(jīng)網(wǎng)絡(luò)中動(dòng)量因子和學(xué)習(xí)率作為對(duì)誤差函數(shù)敏感的變量，同樣適用于上述方法。因此，筆者設(shè)計(jì)了計(jì)數(shù)器p1(p2)作為網(wǎng)絡(luò)誤差e(n)連續(xù)增大(減小)的標(biāo)志量，并將其作為“誤差指針”供動(dòng)量因子和學(xué)習(xí)率自適應(yīng)調(diào)節(jié)時(shí)引用，具體調(diào)整策略如下：

誤差指針p1和p2分別為

(11)

(12)

自適應(yīng)學(xué)習(xí)率η為

(13)

自適應(yīng)動(dòng)量因子μ為

(14)

如：誤差e(n)連續(xù)減小k次時(shí)，說(shuō)明調(diào)整方向正確并且搜索步長(zhǎng)不足，此時(shí)以k冪指數(shù)方式提高學(xué)習(xí)率η，并以k冪指數(shù)方式降低動(dòng)量因子μ，這樣就可以進(jìn)一步加速網(wǎng)絡(luò)收斂。使用批量訓(xùn)練方式，改進(jìn)的雙自適應(yīng)BP算法流程如圖3所示。

3 仿真實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)分析程序運(yùn)行于Windows10系統(tǒng)，處理器為Intel(R)Core(TM)i5-7200u，CPU 2.50 GHz 2.71 GHz，軟件版本為MATLAB R2016a。

3.1 樣本數(shù)據(jù)

絕緣柵雙極型晶體管(Insulated Gate Bipolar Transistor，IGBT)是一種常用的電力電子元件，廣泛應(yīng)用于整流、逆變、脈寬調(diào)制等電路。筆者以某型雷達(dá)的三相電壓型交-直-交變頻器逆變電路為研究對(duì)象，對(duì)其IGBT開(kāi)路故障進(jìn)行診斷，其電路如圖4所示。

統(tǒng)計(jì)表明：三相電壓型交-直-交變頻器逆變電路中1個(gè)IGBT開(kāi)路故障居多，2個(gè)IGBT同時(shí)開(kāi)路故障較少，3個(gè)以上IGBT同時(shí)故障的概率極小。因此，筆者以單IGBT開(kāi)路、雙IGBT開(kāi)路(以T3、T4為例)和無(wú)故障等狀態(tài)為診斷內(nèi)容，對(duì)不同狀態(tài)進(jìn)行二進(jìn)制編碼并設(shè)定了故障編號(hào)；通過(guò)Simulink獲取了IGBT在不同狀態(tài)下的電路輸出電壓值，共取得880組樣本[12](其中110組為正常值)；隨機(jī)選取其中的800組用于訓(xùn)練，另外80組用于測(cè)試。三相逆變電路IGBT開(kāi)路故障數(shù)據(jù)(歸一化后)如表1所示。

表1 三相逆變電路IGBT開(kāi)路故障數(shù)據(jù)(歸一化)

3.2 故障診斷方法對(duì)比

根據(jù)樣本特點(diǎn)，設(shè)計(jì)了3×5×6的BP神經(jīng)網(wǎng)絡(luò)，使用批量訓(xùn)練方式。其中隱層傳輸函數(shù)為L(zhǎng)og-sigmoid，輸出層傳輸函數(shù)為Purelin。最大迭代次數(shù)為300步，為了更好地對(duì)比各算法收斂性，誤差容限設(shè)為0。

當(dāng)使用典型BP神經(jīng)網(wǎng)絡(luò)進(jìn)行故障診斷時(shí)，選取的學(xué)習(xí)率和動(dòng)量因子不同，網(wǎng)絡(luò)收斂也不同。經(jīng)測(cè)試，學(xué)習(xí)率η和動(dòng)量因子μ分別選取0.8和0.7時(shí)，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)效果最理想，達(dá)到穩(wěn)定誤差的迭代次數(shù)132步。使用訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行測(cè)試，診斷正確率為75%，誤差曲線及診斷結(jié)果見(jiàn)圖5、6。

由式(3)、(7)，可得典型BP神經(jīng)網(wǎng)絡(luò)的誤差為

(15)

在使用動(dòng)量-自適應(yīng)學(xué)習(xí)率調(diào)整方法時(shí)，學(xué)習(xí)率初始值設(shè)置為0.8。經(jīng)驗(yàn)證，μ=0.6時(shí)，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)效果最理想，達(dá)到穩(wěn)定的迭代次數(shù)為38步，測(cè)試準(zhǔn)確率提高至76.25%，誤差曲線及診斷結(jié)果如圖7、8所示。

由式(3)、(9)，可得動(dòng)量-自適應(yīng)學(xué)習(xí)率的網(wǎng)絡(luò)誤差為

(16)

最后，使用基于誤差指針改進(jìn)的學(xué)習(xí)率和動(dòng)量因子雙自適應(yīng)性BP算法，學(xué)習(xí)率初始值同樣取0.8，動(dòng)量因子初始值取0.6。此時(shí)，網(wǎng)絡(luò)達(dá)到穩(wěn)定的迭代次數(shù)為46步，準(zhǔn)確率為82.5%。誤差曲線及診斷結(jié)果如圖9、10所示。

由式(3)、(13)、(14),可得改進(jìn)的雙自適應(yīng)神經(jīng)網(wǎng)絡(luò)誤差為

(17)

此時(shí)，誤差e(n)受η(n-1)和μ(n-1)雙重調(diào)節(jié)，在指針變量p1(p2)的控制下，誤差正常下降時(shí)，調(diào)節(jié)速度不斷加快，出現(xiàn)震蕩時(shí)，調(diào)節(jié)幅度時(shí)將得到抑制。因此，其誤差降低速度加快，并且振蕩效果得到了較好的抑制。

為了進(jìn)一步對(duì)比各種算法，取網(wǎng)絡(luò)最后100次迭代誤差進(jìn)行對(duì)比，結(jié)果如圖11所示。不同算法誤差均值分別為0.685、0.390、0.308，均方差分別為0.002 40、0.001 30、0.000 12，由此可知：經(jīng)改進(jìn)的雙自適應(yīng)BP算法收斂性和診斷精度均優(yōu)于典型BP算法和動(dòng)量-自適應(yīng)學(xué)習(xí)率BP算法。

4 結(jié)論

筆者通過(guò)建立誤差指針，設(shè)計(jì)了基于改進(jìn)雙自適應(yīng)的BP算法，并建立了相應(yīng)故障診斷模型。仿真實(shí)驗(yàn)證明該方法既增強(qiáng)了網(wǎng)絡(luò)的收斂性，又提高了故障診斷精度，可以改善現(xiàn)有方法收斂速度慢、不穩(wěn)定、診斷精度偏低等缺陷。但本文并未對(duì)動(dòng)量因子、學(xué)習(xí)率初始值和調(diào)整門限的選取進(jìn)行研究，而初始值和調(diào)整門限的取值在一定程度上影響B(tài)P神經(jīng)網(wǎng)絡(luò)的性能，因此，需對(duì)相關(guān)內(nèi)容做進(jìn)一步研究。