李越男 徐振平 馬心池

摘要：BP神經(jīng)網(wǎng)絡(luò)由于其結(jié)構(gòu)簡(jiǎn)單、能夠自適應(yīng)、自己學(xué)習(xí)，有著優(yōu)越的非線性映射能力，使得它成為當(dāng)下神經(jīng)網(wǎng)絡(luò)應(yīng)用中最為面面俱到的一種。但從數(shù)學(xué)角度看，標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)采用最速梯度下降法，所以收斂的速度較為緩慢，輕易就會(huì)陷入局部極小得不到全局最優(yōu)、訓(xùn)練次數(shù)要達(dá)到一定的數(shù)量、學(xué)習(xí)效率不容樂(lè)觀等缺點(diǎn)。文章以BP神經(jīng)網(wǎng)絡(luò)作為研究對(duì)象，從四個(gè)方面來(lái)介紹BP神經(jīng)網(wǎng)絡(luò)的整體框架，首先對(duì)BP網(wǎng)絡(luò)的原理和實(shí)現(xiàn)步驟進(jìn)行了系統(tǒng)概述，其次針對(duì)其缺點(diǎn)提出了從增加動(dòng)量項(xiàng)、自適應(yīng)調(diào)節(jié)學(xué)習(xí)率和優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)方法，再次介紹BP算法相關(guān)的應(yīng)用領(lǐng)域，最后進(jìn)行總結(jié)。

關(guān)鍵詞：PB算法;學(xué)習(xí)率;誤差;梯度下降法

中圖分類號(hào)：TP311? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）11-0086-02

1 引言

BP（Back Propagation） 網(wǎng)絡(luò)[1]在1986年，由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP神經(jīng)網(wǎng)絡(luò)是一種按誤差反向傳播（簡(jiǎn)稱誤差反傳）訓(xùn)練的多層前饋網(wǎng)絡(luò)，把這個(gè)算法稱為BP算法。

BP算法包括信號(hào)的正向傳播和誤差的反向傳播兩個(gè)過(guò)程。信號(hào)的前向傳播從輸入層經(jīng)過(guò)隱含層到輸出層得到一個(gè)正向傳播的預(yù)測(cè)值。若預(yù)測(cè)值和實(shí)際值不相符合，則進(jìn)行反向傳播，誤差由輸出層經(jīng)過(guò)隱含層向輸入層反向傳播，根據(jù)誤差值修改權(quán)重，繼續(xù)迭代不斷修改權(quán)重，直到達(dá)到最優(yōu)。標(biāo)準(zhǔn)BP算法采用的是最速梯度下降，存在收斂數(shù)度慢，容易陷入局部極小、訓(xùn)練次數(shù)多、學(xué)習(xí)效率低等缺點(diǎn)。

由于BP算法自身存在的缺點(diǎn)，不少學(xué)者也對(duì)BP算法做出了大量的研究，如可以使BP神經(jīng)網(wǎng)絡(luò)進(jìn)行動(dòng)態(tài)的全參數(shù)自調(diào)整學(xué)習(xí)[2]，將動(dòng)量法和批處理方法結(jié)合對(duì)BP算法改進(jìn)[3]。本文主要針對(duì)標(biāo)準(zhǔn)反向傳播BP算法結(jié)構(gòu)原理、實(shí)現(xiàn)步驟、改進(jìn)方式及其應(yīng)用這四個(gè)方向進(jìn)行深入研究。對(duì)于BP算法所存在的缺點(diǎn)，討論從不同的方向上的改進(jìn)措施。旨在讓讀者更好地了解與應(yīng)用BP算法，并能做出進(jìn)一步的深入研究。

2 反向傳播BP算法的原理與實(shí)現(xiàn)步驟

反向傳播的BP算法的基本思想就是通過(guò)計(jì)算輸出層與期望值之間的誤差來(lái)調(diào)整網(wǎng)絡(luò)參數(shù)，從而使得誤差變小。它的基本原理是梯度最速下降法，它的中心思想是調(diào)整權(quán)值使網(wǎng)絡(luò)總誤差最小。

多層網(wǎng)絡(luò)運(yùn)用BP學(xué)習(xí)算法時(shí)，實(shí)際上包含了正向和反向傳播兩個(gè)階段。將誤差信號(hào)沿原來(lái)的連接通道返回，通過(guò)修改各層神經(jīng)元的權(quán)值，使誤差信號(hào)最小。也就是說(shuō)神經(jīng)網(wǎng)絡(luò)是一種求解權(quán)重w的算法，分為信號(hào)“正向傳播（EP） ”求損失，也就是求得預(yù)測(cè)值和實(shí)際值之間的差值?！胺聪騻鞑ィ˙P） ”傳回誤差，根據(jù)誤差值修改每層的權(quán)重w，繼續(xù)迭代。其中每一個(gè)神經(jīng)元都經(jīng)過(guò)了線性變化和激活函數(shù)的變換。

BP網(wǎng)絡(luò)由輸入層、隱藏層、輸出層組成。以三層感知器為例，其結(jié)構(gòu)如圖1。

BP算法-EP過(guò)程：

在正向傳播過(guò)程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望輸出，則轉(zhuǎn)入反向傳播。

其中輸出層A1～An是特征屬性，也可以進(jìn)行多項(xiàng)式的擴(kuò)展，如A2。隱層中每一個(gè)節(jié)點(diǎn)都是一個(gè)神經(jīng)元，神經(jīng)元M-P模型包含兩個(gè)部分如圖2所示，神經(jīng)元包含[w]x+b的線性變換和f（wx+b）的激活函數(shù)轉(zhuǎn)換兩個(gè)部分。激活函數(shù)的變化乘以其對(duì)應(yīng)的權(quán)重作為，下一層神經(jīng)元的輸入。輸出層的節(jié)點(diǎn)也是包含這兩部分。最后Z1～Zk就是經(jīng)過(guò)正向傳播函數(shù)變換后輸出的預(yù)測(cè)值。

① s是實(shí)際值;Z為預(yù)測(cè)值;則s-Z為誤差;[w]為某個(gè)節(jié)點(diǎn)的權(quán)重;y表示某個(gè)節(jié)點(diǎn)的輸出;m個(gè)神經(jīng)元

② 1～l個(gè)輸出層節(jié)點(diǎn)的誤差之和，也就是神經(jīng)網(wǎng)絡(luò)輸出層的整體誤差。

③ 輸出層誤差向前進(jìn)行回傳，輸出層節(jié)點(diǎn)進(jìn)行[fnetk]激活函數(shù)的變換，則將[Z]=[fnetk]帶入（1） 式后得到（2） 式。

④ 反向傳播過(guò)程中，根據(jù)神經(jīng)元的線性變化和激活函數(shù)的變換可以得出：

[Zk]=[fnetk]=[fj=1mwjkyj]=[fj=0mwjkfnetj]=[fj=0mwjkfi=1nvijxi]?（4）

⑤ 為了使誤差E越來(lái)越小，可以采用隨機(jī)梯度下降算法進(jìn)行[w]和[v]的求解，即讓求出的w和[v]使誤差E最小，[η]是初始化時(shí)給定的固定學(xué)習(xí)率。

[Δwjk=-η?E?wjk? j=0，1，2，…，m;k=1，2，…，l]? （5）

[Δvij=-η?E?viji=0，1，2，…，n;j=1，2，…，m]? （6）

3 BP算法的改進(jìn)方向

由于標(biāo)準(zhǔn)BP算法采用的是最速梯度下降，因此存在收斂數(shù)度慢，容易陷入局部極小得不到全局最優(yōu)、訓(xùn)練次數(shù)多、學(xué)習(xí)效率低等缺點(diǎn)。查看相關(guān)文獻(xiàn)，國(guó)內(nèi)外已經(jīng)提出了不少改進(jìn)算法，針對(duì)其缺點(diǎn)，比較具有代表性的改進(jìn)方法有增加動(dòng)量項(xiàng)、自適應(yīng)調(diào)節(jié)學(xué)習(xí)率和優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)等。

增加動(dòng)量項(xiàng)改進(jìn)BP算法，主要是針對(duì)誤差曲面可能會(huì)出現(xiàn)又窄又深曲線引起訓(xùn)練中的誤差來(lái)回震動(dòng)。增加動(dòng)量項(xiàng)公式如下：

[Δwt=ηδX+aΔwt-1] （7）

[α]為動(dòng)量系數(shù)，一般有[α∈0，1]

權(quán)值[w]的修正由兩部分組成，第一，是由當(dāng)前的梯度所決定，權(quán)值修正量[Δwt]和誤差信號(hào)成正比和某層的輸入X成正比。第二，是與上一次的修正量[wt-1]確定，而上一次的修正量取多少呢？取[α∈0，1]，公式后面一項(xiàng)叫作動(dòng)量項(xiàng)，其阻力作用，可以減少訓(xùn)練中震蕩次數(shù)，增加收斂速度。

自適應(yīng)調(diào)節(jié)率改進(jìn)BP算法，針對(duì)初始化時(shí)給定的學(xué)習(xí)率[η]在整個(gè)實(shí)驗(yàn)過(guò)程中不變，但誤差曲面較為平坦時(shí)，希望權(quán)值W調(diào)節(jié)得更快一些，對(duì)學(xué)習(xí)率[η]進(jìn)行調(diào)節(jié)。由于[η]和梯度成正比，所以設(shè)一初始學(xué)習(xí)率，若經(jīng)過(guò)一批次權(quán)值調(diào)整后使總誤差增大，則本次調(diào)整無(wú)效，且[η=ηββ<1];若經(jīng)過(guò)一批次權(quán)值調(diào)整后使總誤差減小，則本次調(diào)整有效，且[η=θηθ>1]。

優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)BP算法，是針對(duì)隱含層的層數(shù)與隱節(jié)點(diǎn)的個(gè)數(shù)。實(shí)際求解問(wèn)題時(shí)，網(wǎng)絡(luò)輸入層和輸出層節(jié)點(diǎn)個(gè)數(shù)一般根據(jù)問(wèn)題的性質(zhì)設(shè)定好了，但是隱節(jié)點(diǎn)的個(gè)數(shù)如何選擇，還是缺乏理論指導(dǎo)，往往根據(jù)經(jīng)驗(yàn)的積累和試探的方法。實(shí)踐證明，對(duì)于簡(jiǎn)單的映射關(guān)系，在網(wǎng)絡(luò)精度達(dá)到要求的情況下，選擇少量的隱含層層數(shù);對(duì)于復(fù)雜的映射關(guān)系，可以通過(guò)增加隱含層層數(shù)來(lái)確保映射關(guān)系的正確實(shí)現(xiàn)。

查閱相關(guān)文獻(xiàn)，BP神經(jīng)網(wǎng)絡(luò)與遺傳算法、進(jìn)化計(jì)算、人工免疫算法、模擬退火算法等新的算法進(jìn)行結(jié)合，提出了一些新的混合算法，還有將BP算法和模糊數(shù)學(xué)相結(jié)合突出模糊神經(jīng)網(wǎng)絡(luò)。這些結(jié)合使得BP算法進(jìn)一步得到發(fā)展。

4 BP算法的應(yīng)用

近年來(lái)，BP算法在多個(gè)領(lǐng)域都獲得了較好的發(fā)展。與其他學(xué)科技術(shù)相融合，對(duì)二者都有非常好的良性循環(huán)，如在土木工程應(yīng)用中，對(duì)受損結(jié)構(gòu)進(jìn)行受損與否和受損部位定位與檢測(cè)等;在電力工業(yè)應(yīng)用中，對(duì)光伏發(fā)電系統(tǒng)輸出功率短期預(yù)測(cè)模型[4];在化工學(xué)科中，在牽扯到非線性因素建模時(shí)的表現(xiàn)優(yōu)異;在預(yù)測(cè)模型中，對(duì)多種情況的數(shù)據(jù)預(yù)測(cè)都體現(xiàn)了它的優(yōu)勢(shì)所在，對(duì)不動(dòng)產(chǎn)業(yè)售價(jià)與熱度評(píng)估，對(duì)影響因素與售價(jià)和熱度之間進(jìn)行分析，如基于BP神經(jīng)網(wǎng)絡(luò)對(duì)上市公司財(cái)務(wù)預(yù)警建立模型[5];同時(shí)在風(fēng)險(xiǎn)預(yù)警預(yù)測(cè)方面也有著非常廣泛的應(yīng)用，如地震、海嘯檢測(cè)等，為以后的自然災(zāi)害檢測(cè)方面提供了新方法新思路。

雖然BP算法目前應(yīng)用面較為廣泛，但并不是一成不變的，BP網(wǎng)絡(luò)自身還存在著缺陷和需要改進(jìn)之處，如學(xué)習(xí)收斂的速度并不理想、學(xué)習(xí)效率不夠穩(wěn)定、可能會(huì)有局部極小的出現(xiàn)等。目前對(duì)于BP神經(jīng)網(wǎng)絡(luò)，國(guó)內(nèi)外的許多研究人員也提出了各種對(duì)BP算法進(jìn)行的改進(jìn)，如啟發(fā)式和與新理論相結(jié)合的方法，隨著技術(shù)的日益進(jìn)步，算法會(huì)不斷得到優(yōu)化，BP神經(jīng)網(wǎng)絡(luò)也會(huì)有更好更廣泛的未來(lái)。

5 總結(jié)

本文系統(tǒng)地介紹了反向傳播BP算法的原理與實(shí)現(xiàn)步驟，針對(duì)標(biāo)準(zhǔn)BP算法目前存在的缺點(diǎn)對(duì)BP算法的常見(jiàn)改進(jìn)方向做了詳細(xì)闡述。通過(guò)增加動(dòng)量項(xiàng)、調(diào)整自適應(yīng)學(xué)習(xí)率和優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)等方向來(lái)對(duì)BP算法做進(jìn)一步的改進(jìn)。由于BP神經(jīng)網(wǎng)絡(luò)算法還存在許多問(wèn)題，傳統(tǒng)的改進(jìn)方法大多是對(duì)數(shù)值的優(yōu)化進(jìn)行改進(jìn)。在未來(lái)的深入學(xué)習(xí)研究中，有望深入研究，提出新的改進(jìn)方法或應(yīng)用于新的領(lǐng)域。

參考文獻(xiàn)：

[1] David E. Rumelhart， Geoffrey E. Hinton & Ronald J. Williams Learning representations by back-propagating errors[J].Nature，1986.

[2] 李曉峰，劉光中.人工神經(jīng)網(wǎng)絡(luò)BP算法的改進(jìn)及其應(yīng)用[J].四川大學(xué)學(xué)報(bào)（工程科學(xué)版），2000，32（2）：105-109.

[3] 陳樺，程云艷.BP神經(jīng)網(wǎng)絡(luò)算法的改進(jìn)及在Matlab中的實(shí)現(xiàn)[J].陜西科技大學(xué)學(xué)報(bào)，2004，22（2）：45-47.

[4] 丁明，王磊，畢銳.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的光伏發(fā)電系統(tǒng)輸出功率短期預(yù)測(cè)模型[J].電力系統(tǒng)保護(hù)與控制，2012，40（11）：93-99，148.

[5] 楊淑娥，黃禮.基于BP神經(jīng)網(wǎng)絡(luò)的上市公司財(cái)務(wù)預(yù)警模型[J].系統(tǒng)工程理論與實(shí)踐，2005，25（1）：12-18，26.

收稿日期：2022-01-12

作者簡(jiǎn)介：李越男（1996—） ，女，湖北荊州人，研究生在讀;通信作者：徐振平，男，副教授，博士;馬心池，男，研究生在讀。