前饋型神經(jīng)網(wǎng)絡(luò)算法優(yōu)化分析

許洋

摘 要 文章介紹了人工神經(jīng)網(wǎng)絡(luò)的模型，分別以BP神經(jīng)網(wǎng)絡(luò)為例介紹了前饋神經(jīng)網(wǎng)絡(luò)，并用三種方法對(duì)BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行優(yōu)化改進(jìn)。

關(guān)鍵詞 神經(jīng)網(wǎng)絡(luò)；BP；優(yōu)化算法

中圖分類號(hào)：TP183 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1671-7597（2014）13-0066-01

1 人工神經(jīng)網(wǎng)絡(luò)模型

人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)稱ANN，它是一種將人類大腦的組織結(jié)構(gòu)和運(yùn)行機(jī)制作為其研究基礎(chǔ)來(lái)模擬人類大腦內(nèi)部結(jié)構(gòu)和其智能行為的處理系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元細(xì)胞將其接收到的所有信號(hào)進(jìn)行處理，如加權(quán)求和等操作，進(jìn)行操作后經(jīng)軸突輸出。

2 人工神經(jīng)網(wǎng)絡(luò)的分類

2.1 前饋型神經(jīng)網(wǎng)絡(luò)

前饋型神經(jīng)網(wǎng)絡(luò)通過(guò)對(duì)其網(wǎng)絡(luò)中的神經(jīng)元之間的連接關(guān)系進(jìn)行復(fù)合映射，因此這種網(wǎng)絡(luò)模型具有非常強(qiáng)的非線性處理的能力。如圖1所示，在這里前饋型神經(jīng)網(wǎng)絡(luò)模型被分為三層，分別為輸入層、輸出層和隱含層，一般常用的前饋型神經(jīng)網(wǎng)絡(luò)有BP神經(jīng)網(wǎng)絡(luò)、RBF神經(jīng)網(wǎng)絡(luò)、自組織神經(jīng)網(wǎng)絡(luò)等。

圖1 前向神經(jīng)網(wǎng)絡(luò)模型

2.2 反饋型神經(jīng)網(wǎng)絡(luò)

反饋型神經(jīng)網(wǎng)絡(luò)其結(jié)構(gòu)，在這個(gè)模型中我們假設(shè)網(wǎng)絡(luò)總的神經(jīng)元個(gè)數(shù)為N，則每個(gè)神經(jīng)元節(jié)點(diǎn)都有N個(gè)輸入值及一個(gè)輸出值，每個(gè)神經(jīng)元節(jié)點(diǎn)都如此，節(jié)點(diǎn)之間相互聯(lián)系?，F(xiàn)在被大量使用的反饋型神經(jīng)網(wǎng)絡(luò)一般有離散Hopfield神經(jīng)網(wǎng)絡(luò)模型、Elman神經(jīng)網(wǎng)絡(luò)模型等等。

3 BP神經(jīng)網(wǎng)絡(luò)

3.1 BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

1986年，Rumelhant和McCelland提出了BP神經(jīng)網(wǎng)絡(luò)的一般模型，BP神經(jīng)網(wǎng)絡(luò)是一種具有多層網(wǎng)絡(luò)的反向傳播學(xué)習(xí)算法。BP神經(jīng)網(wǎng)絡(luò)模型的基本思想是：整個(gè)過(guò)程主要由信號(hào)的正向傳播和誤差的反向傳播兩個(gè)過(guò)程組成。目前，BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍為數(shù)據(jù)壓縮、數(shù)據(jù)分類、預(yù)測(cè)分析和模式識(shí)別等領(lǐng)域。

3.2 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

如圖2所示，這里是BP神經(jīng)網(wǎng)絡(luò)的一種模型結(jié)構(gòu)，在這種模型結(jié)構(gòu)中輸入信號(hào)量為m，具有隱含層的數(shù)量為j，輸出信號(hào)量為q的模型結(jié)構(gòu)。

BP神經(jīng)網(wǎng)絡(luò)一般具有一個(gè)或多個(gè)隱含層單元，其差別主要體現(xiàn)在激活函數(shù)的不同。針對(duì)BP神經(jīng)網(wǎng)絡(luò)所使用的激活函數(shù)一

圖2 BP神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

般采用S型對(duì)數(shù)函數(shù)或者采用正切激活函數(shù)，而輸出層則一般采用線性函數(shù)作為激活函數(shù)。

3.3 BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)方法

BP神經(jīng)網(wǎng)絡(luò)作為當(dāng)今對(duì)研究電力負(fù)荷預(yù)測(cè)應(yīng)用最多的一種神經(jīng)網(wǎng)絡(luò)，但標(biāo)準(zhǔn)的BP神經(jīng)網(wǎng)絡(luò)算法存在的一些缺陷，這里就對(duì)一些經(jīng)常使用的典型改進(jìn)方法進(jìn)行描述。

1）增加動(dòng)量項(xiàng)。在一般的BP神經(jīng)網(wǎng)絡(luò)算法中，其模型中的各層權(quán)值在進(jìn)行更新的過(guò)程中，是按照t時(shí)刻誤差曲線進(jìn)行梯度下降方式進(jìn)行調(diào)整的，在這里并沒(méi)有考慮其之間的梯度下降的方向，如果使用這種方式進(jìn)行調(diào)整則會(huì)造成訓(xùn)練的過(guò)程不穩(wěn)定，容易發(fā)生振蕩，導(dǎo)致收斂過(guò)程緩慢的結(jié)果。因此有些學(xué)者就為了使網(wǎng)絡(luò)訓(xùn)練的速度提高，收斂過(guò)程加快，就在一般網(wǎng)絡(luò)模型的權(quán)值更新環(huán)節(jié)添加了一個(gè)動(dòng)量項(xiàng)因子即：

（1）

在這個(gè)式子中，W表示BP神經(jīng)網(wǎng)絡(luò)中每一層的權(quán)值矩陣，O則表示神經(jīng)網(wǎng)絡(luò)中每一層的輸出向量矩陣，α則被稱為該神經(jīng)網(wǎng)絡(luò)的動(dòng)量系數(shù)因子，其取值范圍在0到1之間，在該網(wǎng)絡(luò)在進(jìn)行訓(xùn)練的過(guò)程中，如果其誤差梯度網(wǎng)線出現(xiàn)了局部極小值現(xiàn)象，雖然在這里的第一項(xiàng)會(huì)趨摟于零，但是這一項(xiàng)，

這樣就會(huì)使該訓(xùn)練過(guò)程避免了限入局部極小值區(qū)域的形勢(shì)，從而加快了其訓(xùn)練速度，使該神經(jīng)網(wǎng)絡(luò)收斂速度加快，因此這種帶有動(dòng)量項(xiàng)因子的BP神經(jīng)網(wǎng)絡(luò)算法應(yīng)用到了很多的BP網(wǎng)絡(luò)中。

2）學(xué)習(xí)速度的自適應(yīng)調(diào)節(jié)方法。學(xué)習(xí)速度η在一個(gè)標(biāo)準(zhǔn)的BP神經(jīng)網(wǎng)絡(luò)中是以一個(gè)常數(shù)出現(xiàn)的我們也稱為之步長(zhǎng)，而在實(shí)際的運(yùn)算過(guò)程中，很難找到一個(gè)數(shù)值作為最優(yōu)學(xué)習(xí)速度。我們從誤差曲面圖形中可以看出，當(dāng)曲面中區(qū)域處于一個(gè)平坦區(qū)域時(shí)，我們需要設(shè)置一個(gè)比較大的η值，使它能夠跳出這個(gè)平坦的區(qū)域；而當(dāng)曲面中的區(qū)域處于變化比較很大的區(qū)域時(shí)，這時(shí)的η的數(shù)值我們又需要將其進(jìn)行減小或者增大操作。自適應(yīng)調(diào)整學(xué)習(xí)速度η則可以根據(jù)網(wǎng)絡(luò)的總誤差來(lái)進(jìn)行自我調(diào)整，在網(wǎng)絡(luò)經(jīng)過(guò)多次調(diào)整后，如果E總繼續(xù)上升，則表明這里的調(diào)整是無(wú)效的，且η=βη， ；而經(jīng)常調(diào)整這里的E總下降了，則表明這里的調(diào)整是有效果的，且η=αη，。

3）引入陡度因子（防止飽和）。在網(wǎng)絡(luò)訓(xùn)練的過(guò)程中，由于其誤差曲面具有平坦區(qū)，當(dāng)處于這個(gè)區(qū)域時(shí)，由于S型激活函數(shù)有飽和特性，促使權(quán)值的調(diào)整速度放慢，從而影響了調(diào)整的速度。在訓(xùn)練的過(guò)程中，如果算法調(diào)整進(jìn)入了這個(gè)區(qū)域，我們可以減小神經(jīng)元的輸入量，使其輸出值迅速脫離激活函數(shù)的飽和區(qū)域，這里誤差函數(shù)的數(shù)值則會(huì)隨之發(fā)生改變，其權(quán)值的調(diào)整也就脫離了該平坦區(qū)。想要實(shí)現(xiàn)以上思路則需要在激活函數(shù)中引入一個(gè)陡度因子λ。

（2）

當(dāng)趨近于0時(shí)，而數(shù)值較大時(shí)，調(diào)整其進(jìn)入誤差曲面中的平坦區(qū)，此時(shí)λ的值應(yīng)選擇大于1的數(shù)值；而當(dāng)調(diào)整脫離平坦區(qū)域后，再設(shè)置λ大于1，使激活函數(shù)能夠恢復(fù)到原始數(shù)值。

4 總結(jié)

綜上所述，設(shè)計(jì)一個(gè)人工神經(jīng)網(wǎng)絡(luò)應(yīng)用到實(shí)際問(wèn)題中，可以歸結(jié)為網(wǎng)絡(luò)自身權(quán)值參數(shù)的學(xué)習(xí)與合理的設(shè)計(jì)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)這兩大類優(yōu)化問(wèn)題。由于人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是一個(gè)非常復(fù)雜的問(wèn)題，使用傳統(tǒng)的學(xué)習(xí)算法進(jìn)行訓(xùn)練則要花費(fèi)很長(zhǎng)的時(shí)間，BP算法用到了梯度下降法，才只能在一定范圍內(nèi)找到合適的參數(shù)值及其模型結(jié)構(gòu)。因此，為了更好的提高神經(jīng)網(wǎng)絡(luò)的泛化能力，及將網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)的更加合理，大量關(guān)于神經(jīng)網(wǎng)絡(luò)的優(yōu)化算法相繼產(chǎn)生。

參考文獻(xiàn)

[1]謝宏，陳志業(yè)，牛東曉.短期電力負(fù)荷預(yù)測(cè)的數(shù)據(jù)主成分分析[J].電網(wǎng)技術(shù)，2000，24（1）：43-46.

[2]顏七笙，游泳，楊志輝.BP網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)與算法探討[J].科技廣場(chǎng)，2005（3）：36-38.endprint

摘 要 文章介紹了人工神經(jīng)網(wǎng)絡(luò)的模型，分別以BP神經(jīng)網(wǎng)絡(luò)為例介紹了前饋神經(jīng)網(wǎng)絡(luò)，并用三種方法對(duì)BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行優(yōu)化改進(jìn)。

關(guān)鍵詞 神經(jīng)網(wǎng)絡(luò)；BP；優(yōu)化算法

中圖分類號(hào)：TP183 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1671-7597（2014）13-0066-01

1 人工神經(jīng)網(wǎng)絡(luò)模型

人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)稱ANN，它是一種將人類大腦的組織結(jié)構(gòu)和運(yùn)行機(jī)制作為其研究基礎(chǔ)來(lái)模擬人類大腦內(nèi)部結(jié)構(gòu)和其智能行為的處理系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元細(xì)胞將其接收到的所有信號(hào)進(jìn)行處理，如加權(quán)求和等操作，進(jìn)行操作后經(jīng)軸突輸出。

2 人工神經(jīng)網(wǎng)絡(luò)的分類

2.1 前饋型神經(jīng)網(wǎng)絡(luò)

前饋型神經(jīng)網(wǎng)絡(luò)通過(guò)對(duì)其網(wǎng)絡(luò)中的神經(jīng)元之間的連接關(guān)系進(jìn)行復(fù)合映射，因此這種網(wǎng)絡(luò)模型具有非常強(qiáng)的非線性處理的能力。如圖1所示，在這里前饋型神經(jīng)網(wǎng)絡(luò)模型被分為三層，分別為輸入層、輸出層和隱含層，一般常用的前饋型神經(jīng)網(wǎng)絡(luò)有BP神經(jīng)網(wǎng)絡(luò)、RBF神經(jīng)網(wǎng)絡(luò)、自組織神經(jīng)網(wǎng)絡(luò)等。

圖1 前向神經(jīng)網(wǎng)絡(luò)模型

2.2 反饋型神經(jīng)網(wǎng)絡(luò)

反饋型神經(jīng)網(wǎng)絡(luò)其結(jié)構(gòu)，在這個(gè)模型中我們假設(shè)網(wǎng)絡(luò)總的神經(jīng)元個(gè)數(shù)為N，則每個(gè)神經(jīng)元節(jié)點(diǎn)都有N個(gè)輸入值及一個(gè)輸出值，每個(gè)神經(jīng)元節(jié)點(diǎn)都如此，節(jié)點(diǎn)之間相互聯(lián)系。現(xiàn)在被大量使用的反饋型神經(jīng)網(wǎng)絡(luò)一般有離散Hopfield神經(jīng)網(wǎng)絡(luò)模型、Elman神經(jīng)網(wǎng)絡(luò)模型等等。

3 BP神經(jīng)網(wǎng)絡(luò)

3.1 BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

1986年，Rumelhant和McCelland提出了BP神經(jīng)網(wǎng)絡(luò)的一般模型，BP神經(jīng)網(wǎng)絡(luò)是一種具有多層網(wǎng)絡(luò)的反向傳播學(xué)習(xí)算法。BP神經(jīng)網(wǎng)絡(luò)模型的基本思想是：整個(gè)過(guò)程主要由信號(hào)的正向傳播和誤差的反向傳播兩個(gè)過(guò)程組成。目前，BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍為數(shù)據(jù)壓縮、數(shù)據(jù)分類、預(yù)測(cè)分析和模式識(shí)別等領(lǐng)域。

3.2 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

如圖2所示，這里是BP神經(jīng)網(wǎng)絡(luò)的一種模型結(jié)構(gòu)，在這種模型結(jié)構(gòu)中輸入信號(hào)量為m，具有隱含層的數(shù)量為j，輸出信號(hào)量為q的模型結(jié)構(gòu)。

BP神經(jīng)網(wǎng)絡(luò)一般具有一個(gè)或多個(gè)隱含層單元，其差別主要體現(xiàn)在激活函數(shù)的不同。針對(duì)BP神經(jīng)網(wǎng)絡(luò)所使用的激活函數(shù)一

圖2 BP神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

般采用S型對(duì)數(shù)函數(shù)或者采用正切激活函數(shù)，而輸出層則一般采用線性函數(shù)作為激活函數(shù)。

3.3 BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)方法

BP神經(jīng)網(wǎng)絡(luò)作為當(dāng)今對(duì)研究電力負(fù)荷預(yù)測(cè)應(yīng)用最多的一種神經(jīng)網(wǎng)絡(luò)，但標(biāo)準(zhǔn)的BP神經(jīng)網(wǎng)絡(luò)算法存在的一些缺陷，這里就對(duì)一些經(jīng)常使用的典型改進(jìn)方法進(jìn)行描述。

1）增加動(dòng)量項(xiàng)。在一般的BP神經(jīng)網(wǎng)絡(luò)算法中，其模型中的各層權(quán)值在進(jìn)行更新的過(guò)程中，是按照t時(shí)刻誤差曲線進(jìn)行梯度下降方式進(jìn)行調(diào)整的，在這里并沒(méi)有考慮其之間的梯度下降的方向，如果使用這種方式進(jìn)行調(diào)整則會(huì)造成訓(xùn)練的過(guò)程不穩(wěn)定，容易發(fā)生振蕩，導(dǎo)致收斂過(guò)程緩慢的結(jié)果。因此有些學(xué)者就為了使網(wǎng)絡(luò)訓(xùn)練的速度提高，收斂過(guò)程加快，就在一般網(wǎng)絡(luò)模型的權(quán)值更新環(huán)節(jié)添加了一個(gè)動(dòng)量項(xiàng)因子即：

（1）

在這個(gè)式子中，W表示BP神經(jīng)網(wǎng)絡(luò)中每一層的權(quán)值矩陣，O則表示神經(jīng)網(wǎng)絡(luò)中每一層的輸出向量矩陣，α則被稱為該神經(jīng)網(wǎng)絡(luò)的動(dòng)量系數(shù)因子，其取值范圍在0到1之間，在該網(wǎng)絡(luò)在進(jìn)行訓(xùn)練的過(guò)程中，如果其誤差梯度網(wǎng)線出現(xiàn)了局部極小值現(xiàn)象，雖然在這里的第一項(xiàng)會(huì)趨摟于零，但是這一項(xiàng)，

這樣就會(huì)使該訓(xùn)練過(guò)程避免了限入局部極小值區(qū)域的形勢(shì)，從而加快了其訓(xùn)練速度，使該神經(jīng)網(wǎng)絡(luò)收斂速度加快，因此這種帶有動(dòng)量項(xiàng)因子的BP神經(jīng)網(wǎng)絡(luò)算法應(yīng)用到了很多的BP網(wǎng)絡(luò)中。

2）學(xué)習(xí)速度的自適應(yīng)調(diào)節(jié)方法。學(xué)習(xí)速度η在一個(gè)標(biāo)準(zhǔn)的BP神經(jīng)網(wǎng)絡(luò)中是以一個(gè)常數(shù)出現(xiàn)的我們也稱為之步長(zhǎng)，而在實(shí)際的運(yùn)算過(guò)程中，很難找到一個(gè)數(shù)值作為最優(yōu)學(xué)習(xí)速度。我們從誤差曲面圖形中可以看出，當(dāng)曲面中區(qū)域處于一個(gè)平坦區(qū)域時(shí)，我們需要設(shè)置一個(gè)比較大的η值，使它能夠跳出這個(gè)平坦的區(qū)域；而當(dāng)曲面中的區(qū)域處于變化比較很大的區(qū)域時(shí)，這時(shí)的η的數(shù)值我們又需要將其進(jìn)行減小或者增大操作。自適應(yīng)調(diào)整學(xué)習(xí)速度η則可以根據(jù)網(wǎng)絡(luò)的總誤差來(lái)進(jìn)行自我調(diào)整，在網(wǎng)絡(luò)經(jīng)過(guò)多次調(diào)整后，如果E總繼續(xù)上升，則表明這里的調(diào)整是無(wú)效的，且η=βη， ；而經(jīng)常調(diào)整這里的E總下降了，則表明這里的調(diào)整是有效果的，且η=αη，。

3）引入陡度因子（防止飽和）。在網(wǎng)絡(luò)訓(xùn)練的過(guò)程中，由于其誤差曲面具有平坦區(qū)，當(dāng)處于這個(gè)區(qū)域時(shí)，由于S型激活函數(shù)有飽和特性，促使權(quán)值的調(diào)整速度放慢，從而影響了調(diào)整的速度。在訓(xùn)練的過(guò)程中，如果算法調(diào)整進(jìn)入了這個(gè)區(qū)域，我們可以減小神經(jīng)元的輸入量，使其輸出值迅速脫離激活函數(shù)的飽和區(qū)域，這里誤差函數(shù)的數(shù)值則會(huì)隨之發(fā)生改變，其權(quán)值的調(diào)整也就脫離了該平坦區(qū)。想要實(shí)現(xiàn)以上思路則需要在激活函數(shù)中引入一個(gè)陡度因子λ。

（2）

當(dāng)趨近于0時(shí)，而數(shù)值較大時(shí)，調(diào)整其進(jìn)入誤差曲面中的平坦區(qū)，此時(shí)λ的值應(yīng)選擇大于1的數(shù)值；而當(dāng)調(diào)整脫離平坦區(qū)域后，再設(shè)置λ大于1，使激活函數(shù)能夠恢復(fù)到原始數(shù)值。

4 總結(jié)

綜上所述，設(shè)計(jì)一個(gè)人工神經(jīng)網(wǎng)絡(luò)應(yīng)用到實(shí)際問(wèn)題中，可以歸結(jié)為網(wǎng)絡(luò)自身權(quán)值參數(shù)的學(xué)習(xí)與合理的設(shè)計(jì)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)這兩大類優(yōu)化問(wèn)題。由于人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是一個(gè)非常復(fù)雜的問(wèn)題，使用傳統(tǒng)的學(xué)習(xí)算法進(jìn)行訓(xùn)練則要花費(fèi)很長(zhǎng)的時(shí)間，BP算法用到了梯度下降法，才只能在一定范圍內(nèi)找到合適的參數(shù)值及其模型結(jié)構(gòu)。因此，為了更好的提高神經(jīng)網(wǎng)絡(luò)的泛化能力，及將網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)的更加合理，大量關(guān)于神經(jīng)網(wǎng)絡(luò)的優(yōu)化算法相繼產(chǎn)生。

參考文獻(xiàn)

[1]謝宏，陳志業(yè)，牛東曉.短期電力負(fù)荷預(yù)測(cè)的數(shù)據(jù)主成分分析[J].電網(wǎng)技術(shù)，2000，24（1）：43-46.

[2]顏七笙，游泳，楊志輝.BP網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)與算法探討[J].科技廣場(chǎng)，2005（3）：36-38.endprint

摘 要 文章介紹了人工神經(jīng)網(wǎng)絡(luò)的模型，分別以BP神經(jīng)網(wǎng)絡(luò)為例介紹了前饋神經(jīng)網(wǎng)絡(luò)，并用三種方法對(duì)BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行優(yōu)化改進(jìn)。

關(guān)鍵詞 神經(jīng)網(wǎng)絡(luò)；BP；優(yōu)化算法

中圖分類號(hào)：TP183 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1671-7597（2014）13-0066-01

1 人工神經(jīng)網(wǎng)絡(luò)模型

人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)稱ANN，它是一種將人類大腦的組織結(jié)構(gòu)和運(yùn)行機(jī)制作為其研究基礎(chǔ)來(lái)模擬人類大腦內(nèi)部結(jié)構(gòu)和其智能行為的處理系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元細(xì)胞將其接收到的所有信號(hào)進(jìn)行處理，如加權(quán)求和等操作，進(jìn)行操作后經(jīng)軸突輸出。

2 人工神經(jīng)網(wǎng)絡(luò)的分類

2.1 前饋型神經(jīng)網(wǎng)絡(luò)

前饋型神經(jīng)網(wǎng)絡(luò)通過(guò)對(duì)其網(wǎng)絡(luò)中的神經(jīng)元之間的連接關(guān)系進(jìn)行復(fù)合映射，因此這種網(wǎng)絡(luò)模型具有非常強(qiáng)的非線性處理的能力。如圖1所示，在這里前饋型神經(jīng)網(wǎng)絡(luò)模型被分為三層，分別為輸入層、輸出層和隱含層，一般常用的前饋型神經(jīng)網(wǎng)絡(luò)有BP神經(jīng)網(wǎng)絡(luò)、RBF神經(jīng)網(wǎng)絡(luò)、自組織神經(jīng)網(wǎng)絡(luò)等。

圖1 前向神經(jīng)網(wǎng)絡(luò)模型

2.2 反饋型神經(jīng)網(wǎng)絡(luò)

反饋型神經(jīng)網(wǎng)絡(luò)其結(jié)構(gòu)，在這個(gè)模型中我們假設(shè)網(wǎng)絡(luò)總的神經(jīng)元個(gè)數(shù)為N，則每個(gè)神經(jīng)元節(jié)點(diǎn)都有N個(gè)輸入值及一個(gè)輸出值，每個(gè)神經(jīng)元節(jié)點(diǎn)都如此，節(jié)點(diǎn)之間相互聯(lián)系?，F(xiàn)在被大量使用的反饋型神經(jīng)網(wǎng)絡(luò)一般有離散Hopfield神經(jīng)網(wǎng)絡(luò)模型、Elman神經(jīng)網(wǎng)絡(luò)模型等等。

3 BP神經(jīng)網(wǎng)絡(luò)

3.1 BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

1986年，Rumelhant和McCelland提出了BP神經(jīng)網(wǎng)絡(luò)的一般模型，BP神經(jīng)網(wǎng)絡(luò)是一種具有多層網(wǎng)絡(luò)的反向傳播學(xué)習(xí)算法。BP神經(jīng)網(wǎng)絡(luò)模型的基本思想是：整個(gè)過(guò)程主要由信號(hào)的正向傳播和誤差的反向傳播兩個(gè)過(guò)程組成。目前，BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍為數(shù)據(jù)壓縮、數(shù)據(jù)分類、預(yù)測(cè)分析和模式識(shí)別等領(lǐng)域。

3.2 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

如圖2所示，這里是BP神經(jīng)網(wǎng)絡(luò)的一種模型結(jié)構(gòu)，在這種模型結(jié)構(gòu)中輸入信號(hào)量為m，具有隱含層的數(shù)量為j，輸出信號(hào)量為q的模型結(jié)構(gòu)。

BP神經(jīng)網(wǎng)絡(luò)一般具有一個(gè)或多個(gè)隱含層單元，其差別主要體現(xiàn)在激活函數(shù)的不同。針對(duì)BP神經(jīng)網(wǎng)絡(luò)所使用的激活函數(shù)一

圖2 BP神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

般采用S型對(duì)數(shù)函數(shù)或者采用正切激活函數(shù)，而輸出層則一般采用線性函數(shù)作為激活函數(shù)。

3.3 BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)方法

BP神經(jīng)網(wǎng)絡(luò)作為當(dāng)今對(duì)研究電力負(fù)荷預(yù)測(cè)應(yīng)用最多的一種神經(jīng)網(wǎng)絡(luò)，但標(biāo)準(zhǔn)的BP神經(jīng)網(wǎng)絡(luò)算法存在的一些缺陷，這里就對(duì)一些經(jīng)常使用的典型改進(jìn)方法進(jìn)行描述。

1）增加動(dòng)量項(xiàng)。在一般的BP神經(jīng)網(wǎng)絡(luò)算法中，其模型中的各層權(quán)值在進(jìn)行更新的過(guò)程中，是按照t時(shí)刻誤差曲線進(jìn)行梯度下降方式進(jìn)行調(diào)整的，在這里并沒(méi)有考慮其之間的梯度下降的方向，如果使用這種方式進(jìn)行調(diào)整則會(huì)造成訓(xùn)練的過(guò)程不穩(wěn)定，容易發(fā)生振蕩，導(dǎo)致收斂過(guò)程緩慢的結(jié)果。因此有些學(xué)者就為了使網(wǎng)絡(luò)訓(xùn)練的速度提高，收斂過(guò)程加快，就在一般網(wǎng)絡(luò)模型的權(quán)值更新環(huán)節(jié)添加了一個(gè)動(dòng)量項(xiàng)因子即：

（1）

在這個(gè)式子中，W表示BP神經(jīng)網(wǎng)絡(luò)中每一層的權(quán)值矩陣，O則表示神經(jīng)網(wǎng)絡(luò)中每一層的輸出向量矩陣，α則被稱為該神經(jīng)網(wǎng)絡(luò)的動(dòng)量系數(shù)因子，其取值范圍在0到1之間，在該網(wǎng)絡(luò)在進(jìn)行訓(xùn)練的過(guò)程中，如果其誤差梯度網(wǎng)線出現(xiàn)了局部極小值現(xiàn)象，雖然在這里的第一項(xiàng)會(huì)趨摟于零，但是這一項(xiàng)，

這樣就會(huì)使該訓(xùn)練過(guò)程避免了限入局部極小值區(qū)域的形勢(shì)，從而加快了其訓(xùn)練速度，使該神經(jīng)網(wǎng)絡(luò)收斂速度加快，因此這種帶有動(dòng)量項(xiàng)因子的BP神經(jīng)網(wǎng)絡(luò)算法應(yīng)用到了很多的BP網(wǎng)絡(luò)中。

2）學(xué)習(xí)速度的自適應(yīng)調(diào)節(jié)方法。學(xué)習(xí)速度η在一個(gè)標(biāo)準(zhǔn)的BP神經(jīng)網(wǎng)絡(luò)中是以一個(gè)常數(shù)出現(xiàn)的我們也稱為之步長(zhǎng)，而在實(shí)際的運(yùn)算過(guò)程中，很難找到一個(gè)數(shù)值作為最優(yōu)學(xué)習(xí)速度。我們從誤差曲面圖形中可以看出，當(dāng)曲面中區(qū)域處于一個(gè)平坦區(qū)域時(shí)，我們需要設(shè)置一個(gè)比較大的η值，使它能夠跳出這個(gè)平坦的區(qū)域；而當(dāng)曲面中的區(qū)域處于變化比較很大的區(qū)域時(shí)，這時(shí)的η的數(shù)值我們又需要將其進(jìn)行減小或者增大操作。自適應(yīng)調(diào)整學(xué)習(xí)速度η則可以根據(jù)網(wǎng)絡(luò)的總誤差來(lái)進(jìn)行自我調(diào)整，在網(wǎng)絡(luò)經(jīng)過(guò)多次調(diào)整后，如果E總繼續(xù)上升，則表明這里的調(diào)整是無(wú)效的，且η=βη， ；而經(jīng)常調(diào)整這里的E總下降了，則表明這里的調(diào)整是有效果的，且η=αη，。

3）引入陡度因子（防止飽和）。在網(wǎng)絡(luò)訓(xùn)練的過(guò)程中，由于其誤差曲面具有平坦區(qū)，當(dāng)處于這個(gè)區(qū)域時(shí)，由于S型激活函數(shù)有飽和特性，促使權(quán)值的調(diào)整速度放慢，從而影響了調(diào)整的速度。在訓(xùn)練的過(guò)程中，如果算法調(diào)整進(jìn)入了這個(gè)區(qū)域，我們可以減小神經(jīng)元的輸入量，使其輸出值迅速脫離激活函數(shù)的飽和區(qū)域，這里誤差函數(shù)的數(shù)值則會(huì)隨之發(fā)生改變，其權(quán)值的調(diào)整也就脫離了該平坦區(qū)。想要實(shí)現(xiàn)以上思路則需要在激活函數(shù)中引入一個(gè)陡度因子λ。

（2）

當(dāng)趨近于0時(shí)，而數(shù)值較大時(shí)，調(diào)整其進(jìn)入誤差曲面中的平坦區(qū)，此時(shí)λ的值應(yīng)選擇大于1的數(shù)值；而當(dāng)調(diào)整脫離平坦區(qū)域后，再設(shè)置λ大于1，使激活函數(shù)能夠恢復(fù)到原始數(shù)值。

4 總結(jié)

綜上所述，設(shè)計(jì)一個(gè)人工神經(jīng)網(wǎng)絡(luò)應(yīng)用到實(shí)際問(wèn)題中，可以歸結(jié)為網(wǎng)絡(luò)自身權(quán)值參數(shù)的學(xué)習(xí)與合理的設(shè)計(jì)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)這兩大類優(yōu)化問(wèn)題。由于人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是一個(gè)非常復(fù)雜的問(wèn)題，使用傳統(tǒng)的學(xué)習(xí)算法進(jìn)行訓(xùn)練則要花費(fèi)很長(zhǎng)的時(shí)間，BP算法用到了梯度下降法，才只能在一定范圍內(nèi)找到合適的參數(shù)值及其模型結(jié)構(gòu)。因此，為了更好的提高神經(jīng)網(wǎng)絡(luò)的泛化能力，及將網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)的更加合理，大量關(guān)于神經(jīng)網(wǎng)絡(luò)的優(yōu)化算法相繼產(chǎn)生。

參考文獻(xiàn)

[1]謝宏，陳志業(yè)，牛東曉.短期電力負(fù)荷預(yù)測(cè)的數(shù)據(jù)主成分分析[J].電網(wǎng)技術(shù)，2000，24（1）：43-46.

[2]顏七笙，游泳，楊志輝.BP網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)與算法探討[J].科技廣場(chǎng)，2005（3）：36-38.endprint