基于貝葉斯算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法研究

曾國斌 冉兆春 ?？诮?jīng)濟學(xué)院

基于貝葉斯算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法研究

曾國斌 冉兆春 海口經(jīng)濟學(xué)院

貝葉斯算法是一種近似建模的前饋網(wǎng)絡(luò)訓(xùn)練方法，這一算法可以對未知量的具體構(gòu)造進行分布驗證，從而得到對應(yīng)于后驗分布的最大值的權(quán)值向量，其建立的模型穩(wěn)定、精度高。對于人工神經(jīng)網(wǎng)絡(luò)而言，其具有很好的非線性逼近特點，具有良好的并行式分布結(jié)構(gòu)在很多領(lǐng)域都能應(yīng)用。下面就分析貝葉斯算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，該方法的成功使用可以有效提高網(wǎng)絡(luò)建設(shè)效率。

貝葉斯算法 神經(jīng)網(wǎng)絡(luò) 優(yōu)化方法

當前人工神經(jīng)網(wǎng)絡(luò)應(yīng)用范圍非常廣，在應(yīng)用中BP算法是前饋網(wǎng)絡(luò)的重要學(xué)習(xí)方法，操作簡單，計算量小，因此在實際使用中使用頻率最多。但是這一算法存在致命的缺點，例如其實際收斂速度非常慢，容易陷入局部極小掉等缺陷，為了解決這一問題，相關(guān)技術(shù)人員引入了貝葉斯算法，這一算法以BP算法為基礎(chǔ)，對其加以改進和優(yōu)化，下面就對其進行深入的分析。

1 分析神經(jīng)網(wǎng)絡(luò)

對于神經(jīng)網(wǎng)絡(luò)而言，其含有隱層前饋神經(jīng)網(wǎng)絡(luò)，因此能夠作為一個函數(shù)逼近器，當其具有足夠的隱層單元時，這一網(wǎng)絡(luò)就可以通過任何精度逼近所有的連續(xù)函數(shù)，當其隱層越多時，在網(wǎng)絡(luò)中需要的隱單元就越少，為了深入了解這方面的內(nèi)容，可以參考下圖進行分析。對于當前使用的前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法而言，反向傳播是是以最廣泛的一種算法，假設(shè)從n個輸入，m個輸出節(jié)點的BP網(wǎng)絡(luò)，其實際輸入和輸出的關(guān)系可以視為一個n維歐氏空間到m維歐氏空間的映射，具體關(guān)系是F：Y=f（x），在這一公式中，XY是輸出和輸入的向量。但是這種BP網(wǎng)絡(luò)算法有一定的缺點，收斂速度很慢，而且還存在局部極小點，相關(guān)人員對其進行了改進，但是只增加其收斂速度，導(dǎo)致網(wǎng)絡(luò)建模精度無法保證。下面就深入對網(wǎng)絡(luò)模型進行研究，分析不同算法的優(yōu)點和缺點，進而提出了一種貝葉斯模型算法。

圖1 ：含有兩個隱層的前饋網(wǎng)絡(luò)結(jié)構(gòu)模型權(quán)

2 深入分析貝葉斯算法

2.1 分析其理論要點

貝葉斯算法也是一種概率算法，是ThomasBayes創(chuàng)建的，其主要應(yīng)用到了自我學(xué)習(xí)的智能技術(shù)，使用貝葉斯算法時需要考慮權(quán)值，了解權(quán)值在權(quán)空間內(nèi)的具體分布情況，當沒有足夠的數(shù)據(jù)作為支撐時，這一分布屬于先驗分布P（w），當存在數(shù)據(jù)之后，分布就屬于后驗分布。通過下圖可以了解貝葉斯具體的學(xué)習(xí)過程，當沒有足夠的數(shù)據(jù)時，權(quán)分布情況只有很少的知識，由此可見，先驗分布時一個非常寬的分布，其表示在網(wǎng)絡(luò)中非?；A(chǔ)的性質(zhì)，但是當有了相關(guān)數(shù)據(jù)之后，就能夠?qū)⑵滢D(zhuǎn)化為后驗分布P（w|D），后驗分布是非常緊湊的，表明只能在很小的范圍內(nèi)的權(quán)值才能夠和網(wǎng)絡(luò)映射達成一致。

圖2 ：貝葉斯先驗分布和后驗分布情況

2.2 分析建立模型的方法

先建立一組模型，其可以是結(jié)構(gòu)大小不同的前饋網(wǎng)絡(luò)，或者是RBF網(wǎng)絡(luò)，通過貝葉斯定理就能夠?qū)懗鼋o定的數(shù)據(jù)后模型的后驗概率。P（Hi|D）=P（D/Hi）P（Hi），P（D|Hi）P（D|H2）P（D|H3）DD0，通過下圖可以了解貝葉斯模型的選擇情況。研究人員一定要清楚，P(Hi)屬于模型Hi的先驗概率，P(D Hi)則可以稱之為模型的顯著度，這一模型的選擇思路就是設(shè)H1、H2、H3分別表示越來越復(fù)雜的模型，其顯著度開始增加，當模型越復(fù)雜時，能夠描述的數(shù)據(jù)范圍就越廣泛,但具體的分布必須要歸一化．對于模型的顯著度而言，可以通過公式p(D| Hi)=∫p(D| w,Hi)p(w |Hi)dw．進行表示，需要考慮某一個權(quán)限制，當w．在一個權(quán)空間中時，這一權(quán)的后驗分布將會集中在最可能值WMP的附近，那么上述公式就可以寫成p(D |Hi)≈p(D|wMP,Hi)p(wMP |Hi)Δw后驗．當認為先驗分布存在一個較大的范圍內(nèi)，而且屬于均勻分布時，上述的公式就可以寫成p(D/Hi)≈p(D|WMP,Hi){Δw后驗/Δw先驗},在這一公式中，第一個因子在最可能權(quán)值位置的似然值，其中第二個因子稱之為“奧克姆因子”,這一數(shù)值總小于1，主要作用是對過于復(fù)雜的模型進行懲罰，如果一個模型包括很多個參數(shù)時，其中的每一個參數(shù)會包含很多參數(shù)，而其中的每個參數(shù)都會產(chǎn)生一個奧克姆因子,這樣使顯著度下降．因此模型應(yīng)在較大似然值和相對大的奧克姆因子間取合理折中，為了求解顯著度的最大值，可以將這一公式寫為：p(D |Hi)=p(D|α,β,Hi)p(α,β|Hi)dαdβ,在這一公式中，α和β屬于超參數(shù)，p(D|α,β,Hi)是α和β的顯著度，使用高斯分布近似為p(D|α,β,Hi)對β積分，同時可以認為Inβ在圍繞βMP并包含β的概率分布中主要區(qū)域的一個很廣區(qū)間。這些結(jié)論都可以應(yīng)用到不同的模型中，各個模型可以是結(jié)構(gòu)不同的網(wǎng)絡(luò)，輸出也是所有單個模型輸出的線性組合，還可以不使用各個模型輸出的組合，可以結(jié)合后驗概率的大小選擇一個最可能的輸出作為結(jié)果。

圖3：貝葉斯模型的選擇

2.3 分析實際應(yīng)用情況

對于貝葉斯算法在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用而言，主要是對模型當中的未知量構(gòu)造其后驗分布，實際操作中可以利用積分求取待求變量的邊際分布，這些待求變量可以是對變量的預(yù)測值，或者是模型中的參數(shù)θ，設(shè)模型為：P(θ|D)=P(D|θ)P(θ)/∫P(θ)P(D|θ)dθ．為了得到一般化，將x設(shè)置為某個隨機的向量，其具體分布是π(x),x是模型參數(shù)或要預(yù)測的變量,這樣就能夠?qū)栴}進行簡化，這樣就得到E[f(x)]=∫f(x)π(x)dx/∫π(x)dx,這種MCMC逼近原理中，在各態(tài)經(jīng)歷中馬爾可夫的性質(zhì)和初始狀態(tài)沒有關(guān)系，最后一個將會收斂在一個靜態(tài)的極限分布中，在這種情況下只要隨機給定一個初態(tài)，通過一段時間的跳轉(zhuǎn)之后，這一馬爾可夫鏈采到的樣本就一定服從于靜態(tài)分布π(x)，同時還滿足下面的平衡方程：P(x′|x)π(x)=P(x |x′)π(x),這一公式中x和x′分別是當前和下一時刻的狀態(tài)，因此絕大部分馬爾可夫蒙特卡羅方法都遵循上述平衡方程,這為選擇轉(zhuǎn)移概率提供了依據(jù)，傳統(tǒng)的分析問題轉(zhuǎn)化為概率模型,利用隨機模擬的計算方法得到概率意義下的近似最優(yōu)解。

2.4 仿真實驗分析

對一個兩輸入單輸出的非線性函數(shù)進行建摸，respo nse(p1,p2)=[c1r+c2sin(c3πr)][c4sin(c5θ)],在 這 一 公 式 中，r=(p1+p2)1/2，θ=arctan(p2/p1),c1= 0．8,c2= 0．35，c3= 1．2，c4=1．5，c5= 1．3。結(jié)合試驗設(shè)計25個樣本，將其作為訓(xùn)練樣本，使用BP算法和貝葉斯算法訓(xùn)練神經(jīng)網(wǎng)絡(luò),非線性神經(jīng)元數(shù)目可以設(shè)置為12，建立模型仿真圖如下，BP算法訓(xùn)練的過程中,將最大訓(xùn)練步數(shù)設(shè)置為500,在貝葉斯算法中，以50步作為訓(xùn)練過程，演化了1000代，對比分析發(fā)現(xiàn)貝葉斯算法需要的時間長，下圖近似模型顯然更接近于原始的非線性函數(shù)。

圖4：基于貝葉斯算法近似模型

3 總結(jié)

通過以上分析發(fā)現(xiàn)傳統(tǒng)的BP算法的神經(jīng)網(wǎng)絡(luò)具有收斂速度慢的缺陷，通過仿真試驗結(jié)果可以了解，當網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度相同時，貝葉斯算法的收斂速度快，改進之后神經(jīng)網(wǎng)絡(luò)收斂速度有了很大的提高。

[1]徐建偉,劉桂芬.基于貝葉斯正規(guī)化算法的BP神經(jīng)網(wǎng)絡(luò)泛化能力研究[J].數(shù)理醫(yī)藥學(xué)雜志,2017,20(3):293-295.

[2]徐剛,黃先玖.一種粒子群優(yōu)化的神經(jīng)網(wǎng)絡(luò)綜合訓(xùn)練算法研究[J]. 計算機工程與應(yīng)用,2011,47(11):37-38.

[3]楊春生,牛紅濤,隋良紅,等.基于貝葉斯正則化算法BP神經(jīng)網(wǎng)絡(luò)釩電池SOC預(yù)測[J].現(xiàn)代電子技術(shù),2016,39(8):158-161.

曾國斌（1980.9--），男，漢族，湖南平江，碩士研究生，副教授，研究方向：教學(xué)方法論與數(shù)學(xué)模型設(shè)計，工作單位：?？诮?jīng)濟學(xué)院；冉兆春（1970-），男，漢族，陜西西安，碩士研究生，副教授，研究方向：系統(tǒng)分析算法設(shè)計，工作單位：?？诮?jīng)濟學(xué)院。

海南省自然科學(xué)基金項目，項目編號：20156231。