基于群體劃分優(yōu)化的GAP-RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

包沁昕 宋 威

(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院 江蘇 無錫 214122)

?

基于群體劃分優(yōu)化的GAP-RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

包沁昕 宋 威

(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院 江蘇 無錫 214122)

針對傳統(tǒng)GAP-RBF算法學(xué)習(xí)精度不夠高的問題，提出一種基于群體劃分優(yōu)化的GAP-RBF網(wǎng)絡(luò)學(xué)習(xí)方法。首先，為了克服傳統(tǒng)GAP-RBF中存在的大型矩陣的計算問題，用DEKF(Decoupled EKF)方法調(diào)整網(wǎng)絡(luò)參數(shù)；其次，為了獲得學(xué)習(xí)精度更高的網(wǎng)絡(luò)模型，算法利用基于PSO和GA的群體劃分優(yōu)化方法來訓(xùn)練隱含層和輸出層的連接權(quán)值以及偏移項。實驗結(jié)果表明，與RAN、RANEKF、MRAN和GAP-RBF算法相比，提出的算法可獲得更精簡的網(wǎng)絡(luò)結(jié)構(gòu)，同時提高了學(xué)習(xí)精度。

徑向基函數(shù)神經(jīng)網(wǎng)絡(luò) 增長剪枝徑向基函數(shù)算法 粒子群優(yōu)化算法 遺傳算法

0 引 言

近年來，隨著人工智能、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等方面的發(fā)展，神經(jīng)網(wǎng)絡(luò)的研究受到了學(xué)者們的廣泛關(guān)注。在眾多的神經(jīng)網(wǎng)絡(luò)模型中，徑向基函數(shù)RBF神經(jīng)網(wǎng)絡(luò)能夠解決復(fù)雜非線性問題，在模式識別、回歸分析和動態(tài)建模等領(lǐng)域得到了廣泛的應(yīng)用[1-4]，并且具有推廣能力好，學(xué)習(xí)方法速度快，精度高，網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)簡單等特點。

針對RBF網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的問題，近年來相繼提出了一些動態(tài)的構(gòu)造方法。1991年，Platt提出了一個動態(tài)的資源分配網(wǎng)絡(luò)RAN[5]，它可以根據(jù)輸入數(shù)據(jù)的新穎性動態(tài)地增加隱層神經(jīng)元，在沒有新的神經(jīng)元增加時，使用LMS(Least Mean Squares)方法調(diào)整網(wǎng)絡(luò)參數(shù)，但是網(wǎng)絡(luò)存在收斂速度過慢的問題。文獻(xiàn)[6]中給出的RANEKF算法利用擴(kuò)展卡爾曼濾波器EKF(Extended Kalman Filter)代替原LMS方法更新網(wǎng)絡(luò)參數(shù)，算法的收斂速度和訓(xùn)練精度得到了提高，但也加大了網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜度和計算負(fù)擔(dān)，并且不能夠刪除冗余的神經(jīng)元。針對這一問題，Lu等人提出了一種最小資源分配網(wǎng)絡(luò)MRAN(Minimal RAN)算法[7]，它引入輸出誤差的RMS值和滑動窗口作為判斷增長和刪除隱層神經(jīng)元的條件。雖然MRAN算法得到了精簡的網(wǎng)絡(luò)，但需要太多的調(diào)整參數(shù)，參數(shù)值的選擇是非常困難的。文獻(xiàn)[8]提出的GAP-RBF(Growing and Pruning RBF networks)算法采用隱層神經(jīng)元重要性的概念作為增長和刪除神經(jīng)元的判斷準(zhǔn)則，減少了可調(diào)參數(shù)的個數(shù)，并且僅調(diào)整距離當(dāng)前輸入樣本最近的隱層神經(jīng)元的相關(guān)參數(shù)，大大降低了網(wǎng)絡(luò)計算的復(fù)雜性。但是對于一些實際問題，相比MRAN算法，GAP-RBF的學(xué)習(xí)精度不是很高。

本文在GAP-RBF網(wǎng)絡(luò)的基礎(chǔ)上，提出了基于PSO[9]和GA[10]的群體劃分優(yōu)化的GAP-RBF算法(OGAP-RBF)。通過優(yōu)化網(wǎng)絡(luò)隱含層和輸出層之間的連接權(quán)值以及偏移項來提高網(wǎng)絡(luò)的學(xué)習(xí)精度。不同于原始EKF算法，本文采用DEKF(Decoupled EKF)[11]方法調(diào)整網(wǎng)絡(luò)參數(shù)以降低網(wǎng)絡(luò)計算復(fù)雜度和訓(xùn)練時間。通過3個Benchmark問題，對本文提出的算法進(jìn)行計算機(jī)仿真并與其他算法做比較，結(jié)果表明此算法是一種穩(wěn)定并且有效的學(xué)習(xí)方法。

1 PSO算法和GA算法

1.1 PSO算法

PSO粒子群優(yōu)化算法是由Kennedy 博士于1995 年提出的一種新的基于群體智能的優(yōu)化算法[9]。它源于對鳥類捕食行為的模仿，在基本PSO算法中，搜索空間中的每一個粒子都是優(yōu)化問題的可選解[12]。

假設(shè)在一個n維的搜索空間，種群包括m個粒子P=(p1,p2,…,pm)，其中第i個粒子的位置為pi=(pi1,pi2,…,pin)，它的速度為vi=(vi1,vi2,…,vin)。粒子i目前最好的位置稱為個體最優(yōu)解Bi=(bi1,bi2,…,bin)，整個群體中最好個體的位置稱為全局最優(yōu)解Bg=(bg1,bg2,…,bgn)。在每次迭代中，每一個粒子搜索合適的解，以獲得更好的適應(yīng)值，根據(jù)以下公式來調(diào)整自己的速度和位置：

vid(t + 1)= ωvid(t)+ c1r1(bid(t)-pid(t)) + c2r2(bgd(t)-pid(t))

(1)

pid(t + 1)= pid(t)+ vid(t + 1)

(2)

其中，d=1,2,…,n,i=1,2,…，m，m為群體大小，pid(t)和vid(t)分別是時刻t時粒子i的位置和速度，pid(t + 1)和vid(t + 1)是下一時刻的更新。c1和c2稱為學(xué)習(xí)因子，通常取常數(shù)。r1和r2是取自(0,1)之間的相互獨立的隨機(jī)數(shù)，ω稱為慣性因子，可以隨著迭代次數(shù)線性地減小。

由于對一些具有潛在最優(yōu)解的問題PSO算法表現(xiàn)不佳，所以它的全局搜索能力可以進(jìn)一步提高[13]。由于遺傳算法獲得局部極小值的概率很小，因此，PSO算法可以與GA算法相結(jié)合，得到全局最優(yōu)解[14]。

1.2 GA算法

遺傳算法是一類基于自然選擇和遺傳理論的有效優(yōu)化方法，由美國Holland教授提出的[10]，它應(yīng)用在RBF網(wǎng)絡(luò)中具有全局的搜索和優(yōu)化能力[15]。它可以解決非線性問題，通過對全局空間的搜索，根據(jù)遺傳算法的選擇，交叉和變異操作，以獲得所需的解。

GA算法基于一個有染色體組成的群體，每個染色體都對應(yīng)于問題空間的一個解，問題的求解表示為染色體優(yōu)勝劣汰的過程。群體中的染色體并行的進(jìn)行進(jìn)化，在每一階段，隨機(jī)的選擇染色體來產(chǎn)生下一代的個體。GA算法是一種有效的方法，因為它的理論是計算編碼，而不是參數(shù)，每個染色體的適應(yīng)度直接關(guān)系到目標(biāo)函數(shù)。正是由于它相對的簡單性和魯棒性而變得越來越流行[16]。

算法開始時隨機(jī)地生成初始群體，每個染色體由適應(yīng)度函數(shù)來評價，之后每代群體根據(jù)適應(yīng)值來復(fù)制或者淘汰。GA算法每次迭代主要包括以下步驟：

第一步選擇操作 選擇操作也被稱為復(fù)制操作，是以一定的概率從父群體中選取下代個體，根據(jù)個體的適應(yīng)度函數(shù)值決定他的優(yōu)劣性。在本文中，使用最流行的轉(zhuǎn)輪法進(jìn)行選擇操作，個體的適應(yīng)度值越大，它被選取的概率越高。為了提高選擇的質(zhì)量和效率，最好的個體可以直接復(fù)制到下一代群體中。

第二步交叉操作 從群體中隨機(jī)選擇2條染色體，并在這2個父代染色體中隨機(jī)選擇一個位置，采用兩點交叉的方法對兩個染色體進(jìn)行交叉，產(chǎn)生兩個新的染色體。

第三步變異操作 每個染色體按照變異概率隨機(jī)選擇幾個點，取隨機(jī)值替換原有值，產(chǎn)生新的染色體，因此變異操作是一個隨機(jī)搜索的過程。

由于GA算法收斂速度相對較慢，與PSO算法結(jié)合可以提高其搜索效率[17]。

2 群體劃分優(yōu)化GAP-RBF算法

本文提出的群體劃分優(yōu)化GAP-RBF算法(OGAP-RBF)主要過程包括：先用基于DEKF的GAP-RBF方法構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)，獲得網(wǎng)絡(luò)的初始權(quán)值。在此基礎(chǔ)上，利用基于PSO和GA的群體劃分方法進(jìn)一步優(yōu)化GAP-RBF網(wǎng)絡(luò)的權(quán)值和偏移項，最終得到最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)。

2.1 基于DEKF的GAP-RBF算法

對于一個GAP-RBF網(wǎng)絡(luò)，具有K個隱層神經(jīng)元，給定輸入向量x∈Rl，則網(wǎng)絡(luò)輸出為：

(3)

其中φk(x)是第k個隱層神經(jīng)元的響應(yīng)：

(4)

其中，αk是連接隱含層與輸出層的權(quán)值，μk是第k個隱層神經(jīng)元的中心，σk為對應(yīng)高斯函數(shù)的寬度。GAP-RBF的學(xué)習(xí)過程包括對隱層神經(jīng)元的增加和刪除以及參數(shù)的調(diào)整。在開始學(xué)習(xí)之前，網(wǎng)絡(luò)沒有隱層神經(jīng)元，當(dāng)輸入樣本(xn,yn)到達(dá)網(wǎng)絡(luò)時，判斷是否滿足增加隱層神經(jīng)元的條件，增加準(zhǔn)則如下：

(5)

其中，en=yn-f(xn)為期望輸出和網(wǎng)絡(luò)輸出之間的誤差，μnr是距離輸入樣本xn最近的隱層神經(jīng)元的中心，emin為網(wǎng)絡(luò)輸出的期望誤差。εn為輸入空間的分辨率，開始時εn=εmax， εn隨著樣本的輸入按指數(shù)衰減：εn={εmaxγn,εmin}，εmax和 εmax分別為輸入數(shù)據(jù)之間的最大和最小距離，γ為衰減常數(shù)：0<γ<1。Esig(k)是第k個隱層神經(jīng)元的重要性，神經(jīng)元重要性的定義為在目前到達(dá)網(wǎng)絡(luò)的所有樣本中對網(wǎng)絡(luò)輸出的平均貢獻(xiàn)度，根據(jù)文獻(xiàn)[8]的推導(dǎo)，它可以近似地表示為如下公式：

(6)

其中S(X)是整個輸入空間的大小，l是輸入空間的維度。當(dāng)一個輸入樣本滿足式(5)的條件時，增加一個新的隱層神經(jīng)元，其相關(guān)參數(shù)為：

(7)

其中κ為重疊因子，用來確定隱層神經(jīng)元的相應(yīng)寬度。

當(dāng)輸入樣本不滿足增加準(zhǔn)則時，本文使用DEKF方法調(diào)整距離當(dāng)前樣本最近的神經(jīng)元的相關(guān)參數(shù)，相比原算法中的EKF方法，大大地降低了計算時間和計算復(fù)雜度[18]。在t時刻參數(shù)的調(diào)整過程如下：

K(t)=P(t)B(t)[R(t)+BT(t)P(t)B(t)]-1

(8)

w(t+1)=w(t)+K(t)e(t)

(9)

P(t+1)=[I-K(t)BT(t)]P(t)+Q(t)I

(10)

式中，R(t)為測量噪聲方差，B(t)是與輸出有關(guān)的參數(shù)的偏導(dǎo)數(shù)，P(t)是誤差協(xié)方差矩陣，K(t)是卡爾曼增益向量，w(t)是參數(shù)矩陣，e(t)是輸出誤差，Q(t)是為了避免局部最小值收斂的人造過程噪聲。

DEKF方法的關(guān)鍵在于它忽略互相排斥的神經(jīng)元組的相關(guān)性，即忽略誤差協(xié)方差矩陣P中的交互相關(guān)的元素。當(dāng)DEKF方法中一個神經(jīng)元的參數(shù)調(diào)整時，P中這個神經(jīng)元與其他神經(jīng)元交互相關(guān)的元素假設(shè)為0。此外，對于一個單獨的神經(jīng)元，其中心、寬度和權(quán)值也假定不相關(guān)的。

在參數(shù)調(diào)整之后，為了保證網(wǎng)絡(luò)的精簡需要刪除重要性較低的隱層神經(jīng)元。檢查距離當(dāng)前輸入樣本最近的神經(jīng)元，如果滿足刪除準(zhǔn)則：

(11)

即第nr個神經(jīng)元對網(wǎng)絡(luò)的輸出貢獻(xiàn)小于期望的精度，則刪除這個神經(jīng)元。

2.2 群體劃分優(yōu)化方法

群體劃分優(yōu)化方法是本文提出的一種融合了PSO算法和GA算法的新的優(yōu)化方法。為了使PSO的局部搜索和GA的全局搜索同時進(jìn)行，將群體進(jìn)行劃分。根據(jù)群體的適應(yīng)度值將群體進(jìn)行排序，劃分為相等的兩部分，PSO算法作用于適應(yīng)度值較好的一部分，GA算法作用于適應(yīng)度值較差的一部分，實現(xiàn)兩種算法的并行搜索。

在RBF網(wǎng)絡(luò)中，連接隱含層和輸出層的權(quán)值和偏移項對網(wǎng)絡(luò)至關(guān)重要，不合適的值直接影響網(wǎng)絡(luò)的有效性和精確度。原始GAP-RBF算法中網(wǎng)絡(luò)沒有設(shè)置偏移項，本文在群體劃分優(yōu)化時加入對偏移項的優(yōu)化以獲得更合適的網(wǎng)絡(luò)。由于GAP-RBF網(wǎng)絡(luò)對樣本只學(xué)習(xí)一次，之后用群體劃分方法進(jìn)行優(yōu)化可以使樣本得到充分地訓(xùn)練，提高網(wǎng)絡(luò)的學(xué)習(xí)精度。改進(jìn)的優(yōu)化GAP-RBF算法(OGAP-RBF)包括兩個學(xué)習(xí)階段：在順序?qū)W習(xí)階段當(dāng)所有新樣本輸入網(wǎng)絡(luò)后，網(wǎng)絡(luò)獲得一個初始的結(jié)構(gòu)；然后在優(yōu)化階段基于學(xué)習(xí)過的歷史樣本使用群體劃分方法對網(wǎng)絡(luò)的權(quán)值和偏移項進(jìn)行優(yōu)化以獲得最優(yōu)的網(wǎng)絡(luò)模型。

本文提出的群體劃分優(yōu)化方法結(jié)合了PSO算法和GA算法，群體由PSO中的粒子和GA中的染色體組成。群體中的每個個體表示一組權(quán)值和偏移項的可選值。經(jīng)過原始GAP-RBF網(wǎng)絡(luò)的學(xué)習(xí)，獲得權(quán)值的初始值，再通過群體劃分優(yōu)化的迭代計算逐步獲得最優(yōu)解。

在群體劃分優(yōu)化初始化群體時，其中一個個體由順序?qū)W習(xí)階段GAP-RBF獲得的權(quán)值和隨機(jī)偏移項構(gòu)成，其他個體在一定的范圍內(nèi)隨機(jī)產(chǎn)生。本文定義網(wǎng)絡(luò)實際輸出和期望輸出之間的均方誤差函數(shù)作為適應(yīng)度函數(shù)，搜索最合適的權(quán)值和偏移項以獲得最小的均方誤差。適應(yīng)度函數(shù)定義如下：

(12)

其中，ei是第i個樣本實際輸出與預(yù)期輸出之間的誤差。

群體包含m個個體，將群體劃分為大小相等的兩部分, 如圖1所示。pm代表第m個個體，所有個體按照適應(yīng)度排序如下：

fit(p1)≤fit(p2)≤…≤fit(pm/2)≤fit(pm/2+1)≤…≤fit(pm)

(13)

圖1 群體劃分優(yōu)化方法的群體排序

PSO算法擁有較好的局部尋優(yōu)特性以及較快的收斂速度，排序前半部分的個體在整個群體中獲得了較好的適應(yīng)度值，所以局部最優(yōu)算法PSO作用于這一部分；相反，后半部分的個體適用度較差，只有較小的可能達(dá)到好的適應(yīng)度值，所以為了獲得更好的解，使用全局最優(yōu)算法GA作用于這一部分。

群體劃分優(yōu)化過程如下：

步驟1算法開始時，迭代計數(shù)器記為0。初始化群體。

步驟2根據(jù)適應(yīng)度值將群體進(jìn)行排序。

步驟3目前為止本次迭代和上次迭代中適應(yīng)度最小的個體作為最優(yōu)解。

步驟4使用PSO算法作用于圖1前半部分的群體，迭代規(guī)定的次數(shù)。

步驟5使用GA算法作用于圖1后半部分的群體，迭代規(guī)定的次數(shù)。

步驟6迭代計數(shù)器加1，如果沒有達(dá)到終止條件，返回步驟2；否則，算法結(jié)束。目前為止具有最好適應(yīng)度值的個體為所求最優(yōu)解。

在GAP-RBF算法的基礎(chǔ)上，結(jié)合本文提出的群體劃分優(yōu)化方法，完整的OGAP-RBF網(wǎng)絡(luò)學(xué)習(xí)算法流程見算法1。

算法1基于群體劃分優(yōu)化的GAP-RBF算法

給定網(wǎng)絡(luò)輸入矩陣xn∈Xl和輸出矩陣yn∈Y。

1) 計算網(wǎng)絡(luò)輸出f(xn)。

2) 計算增加準(zhǔn)則中的相關(guān)量εn,en。

3) 應(yīng)用增加準(zhǔn)則判斷是否增加隱層神經(jīng)元：如果增加，設(shè)置相應(yīng)參數(shù)αK+1,μK+1,σK+1；否則，用DEKF方法調(diào)整距離當(dāng)前輸入最近神經(jīng)元的參數(shù)αnr,μnr,σnr。

4) 檢查隱層神經(jīng)元的刪除準(zhǔn)則是否滿足，如果滿足，刪除神經(jīng)元。

5) 重復(fù)步驟1到步驟4直到所有新樣本順序地進(jìn)入網(wǎng)絡(luò)。

6) 使用已獲得的網(wǎng)絡(luò)權(quán)值以及隨機(jī)值初始化群體。

7) 根據(jù)歷史樣本得到網(wǎng)絡(luò)輸出，根據(jù)適應(yīng)度公式計算個體的適應(yīng)度值，再對群體進(jìn)行排序。

8) PSO算法和GA算法分別作用于群體的兩部分，得到當(dāng)前的最優(yōu)解。

9) 重復(fù)步驟7和步驟8直到達(dá)到終止條件，獲得最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)。

3 計算機(jī)仿真及結(jié)果分析

本文采用MATLAB 7.7開發(fā)環(huán)境，在配置為Intel(R)，Core(TM)i3-3240，CPU 3.40 GHz的Windows 7操作系統(tǒng)上運行。對函數(shù)逼近方面的3個Benchmark問題進(jìn)行實驗，將本文提出的算法與其他經(jīng)典順序?qū)W習(xí)算法RAN、RANEKF、MRAN和GAP-RBF在性能上做了比較。這三個問題分別為：(1)波士頓房價預(yù)測問題；(2)鮑魚年齡預(yù)測問題；(3)汽車燃油消耗量預(yù)測問題。這些數(shù)據(jù)來自于UCI標(biāo)準(zhǔn)數(shù)據(jù)庫，并具有高維、非均勻分布的特點。通過在三個數(shù)據(jù)集上的對比實驗分析，驗證了本文所提算法的有效性和可操作性。

本文用均方根誤差RMSE來衡量算法的學(xué)習(xí)精度，其定義形式為：

(14)

其中n是所求均方根誤差的元素個數(shù)。訓(xùn)練后的網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度通過算法訓(xùn)練網(wǎng)絡(luò)結(jié)束后所確定的隱層神經(jīng)元個數(shù)來衡量，算法的計算速度通過算法學(xué)習(xí)過程所需要的CPU時間來衡量。

為了實現(xiàn)一個緊湊的RBF網(wǎng)絡(luò)，各種順序?qū)W習(xí)算法都需要一些固定的參數(shù)，例如MRAN算法中神經(jīng)元的增長、剪枝閾值和滑動窗口大小等，但是并沒有標(biāo)準(zhǔn)如何正確選擇這些參數(shù)的值，并且這些值嚴(yán)格依賴于實際的應(yīng)用。然而，GAP-RBF唯一需要確定的參數(shù)只有S(X)，其余參數(shù)在大多數(shù)情況下是固定的。本文中所需參數(shù)的值以及訓(xùn)練測試樣本個數(shù)都參考文獻(xiàn)[8]進(jìn)行選擇。所有算法在三個問題中的通用參數(shù)設(shè)置如下： εmax=1.15,εmin=0.04,κ=0.10,γ=0.999,emin=0.0001。

對于每個Benchmark問題，為了使輸入數(shù)據(jù)更好地適應(yīng)于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，防止系統(tǒng)訓(xùn)練過程震蕩，輸入值和輸出值進(jìn)行歸一化。在數(shù)據(jù)集中隨機(jī)選取訓(xùn)練集和測試集，每個算法運行50次，并分別計算CPU時間，訓(xùn)練誤差，測試誤差以及隱層神經(jīng)元個數(shù)的均值和標(biāo)準(zhǔn)偏差進(jìn)行比較分析。在實驗環(huán)境和設(shè)置參數(shù)都相同的條件下，算法RAN、RANEKF、MRAN和GAP-RBF的結(jié)果來自文獻(xiàn)[8]。實驗數(shù)據(jù)集匯總信息如表1所示。

表1 實驗數(shù)據(jù)集

3.1 波士頓房價預(yù)測問題

圖2給出了各種算法在順序?qū)W習(xí)過程中的均方根誤差變化曲線，以及OGAP-RBF的順序?qū)W習(xí)確定網(wǎng)絡(luò)結(jié)構(gòu)階段與其他算法的比較結(jié)果?？梢钥闯鯫GAP-RBF算法在GAP-DEKF構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)的順序?qū)W習(xí)階段，當(dāng)所有新樣本學(xué)習(xí)過后，可以達(dá)到與MRAN和GAP-RBF相當(dāng)?shù)挠?xùn)練誤差。為了進(jìn)一步提高OGAP-RBF網(wǎng)絡(luò)的精確度，在本算法中加入了群體劃分優(yōu)化過程，如圖3所示，在GAP-DEKF的基礎(chǔ)上，將網(wǎng)絡(luò)的訓(xùn)練誤差降低了13%左右。圖4給出各算法在訓(xùn)練過程中隱層神經(jīng)元的更新過程，可以看出，OGAP-RBF可以生成相對較少的隱層神經(jīng)元。這些圖示為在波士頓數(shù)據(jù)集上的一次典型實驗的結(jié)果圖，在其他數(shù)據(jù)集上的實驗同樣有類似的結(jié)果。

實驗結(jié)果如表2所示，將OGAP-RBF與RAN、RANEKF、MRAN和GAP-RBF在算法執(zhí)行時間、訓(xùn)練誤差、測試誤差和隱含層神經(jīng)元個數(shù)四個方面進(jìn)行了比較?？梢钥闯鯫GAP-RBF與GAP-RBF相比，在相差不多的運算時間和網(wǎng)絡(luò)結(jié)構(gòu)的前提下，具有更好的訓(xùn)練誤差和測試誤差。另外三個算法中RANEKF算法雖然訓(xùn)練誤差相對較低，但是這些算法所需時間和隱層神經(jīng)元個數(shù)都比較多。所以可以看出在本數(shù)據(jù)集上，改進(jìn)算法在學(xué)習(xí)精度、網(wǎng)絡(luò)復(fù)雜度和計算速度三個方面表現(xiàn)都較好。

圖2 誤差曲線

圖3 在波士頓數(shù)據(jù)集上的OGAP-RBF優(yōu)化過程曲線

圖4 不同算法隱層神經(jīng)元的更新曲線

表2 各算法在實際問題Boston Housing應(yīng)用中的性能比較

3.2 汽車燃油消耗量預(yù)測問題

汽車的燃耗問題是用來預(yù)測不同類型汽車燃油消耗量的數(shù)據(jù)庫。實驗中有398個樣本數(shù)據(jù)，這些樣本的輸入數(shù)據(jù)包括車輛的7個屬性，樣本的輸出為汽車的燃油消耗量。

從表3可以看出，OGAP-RBF與GAP-RBF相比，雖然運算時間略有增加，但是在隱層神經(jīng)元數(shù)量相差不多的情況下，訓(xùn)練誤差和測試誤差明顯降低，并且測試誤差相對比較穩(wěn)定。與RAN、RANEKF和MRAN相比，在運算時間基本相當(dāng)?shù)那闆r下，OGAP-RBF達(dá)到了最低的測試誤差和最少的隱層神經(jīng)元。所以可以看出在本數(shù)據(jù)集上，改進(jìn)算法的學(xué)習(xí)精度和網(wǎng)絡(luò)結(jié)構(gòu)都具有一定的優(yōu)越性。

表3 各算法在實際問題Auto-Mpg應(yīng)用中的性能比較

3.3 鮑魚年齡預(yù)測問題

鮑魚數(shù)據(jù)集共有4177個樣本數(shù)據(jù)，是關(guān)于鮑魚年齡預(yù)測的數(shù)據(jù)庫。該例中每個數(shù)據(jù)樣本包括9個屬性，分別屬于不同的年齡階段。

從表4可以看出， OGAP-RBF相比其他算法，運算時間明顯降低，這是由于對于數(shù)據(jù)量較大的數(shù)據(jù)集，DEKF方法大大降低了計算的復(fù)雜度，同時也彌補了群體劃分優(yōu)化帶來的額外運算時間。相比GAP-RBF算法，訓(xùn)練誤差、測試誤差和隱層神經(jīng)元個數(shù)都有一定程度的降低。在所有算法中RANEKF、MRAN和OGAP-RBF都達(dá)到了相對較低的測試誤差，但是OGAP-RBF算法的運算時間和網(wǎng)絡(luò)結(jié)構(gòu)都遠(yuǎn)遠(yuǎn)優(yōu)于另外兩個算法。所以可以看出在本數(shù)據(jù)集上，改進(jìn)算法在各方面都具有一定的優(yōu)越性。

表4 各算法在實際問題Abalone應(yīng)用中的性能比較

4 結(jié) 語

本文提出的基于群體劃分優(yōu)化的GAP-RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法，在原有的GAP-RBF做了兩點改進(jìn)：使用DEKF方法來降低網(wǎng)絡(luò)的計算復(fù)雜度和運算時間；利用群體劃分方法對網(wǎng)絡(luò)權(quán)值和偏移項進(jìn)行優(yōu)化進(jìn)一步提高網(wǎng)絡(luò)的學(xué)習(xí)精度。通過在3個Benchmark問題上與其他學(xué)習(xí)算法進(jìn)行比較分析可知，對于不均勻分布的實驗數(shù)據(jù)，OGAP-RBF仍能夠獲得較好的學(xué)習(xí)精度，并且在數(shù)據(jù)量較大的情況下，運算時間和網(wǎng)絡(luò)結(jié)構(gòu)都遠(yuǎn)遠(yuǎn)優(yōu)于其他算法?？梢?，改進(jìn)后的算法提高了網(wǎng)絡(luò)的泛化能力和處理問題的能力，并建立了性能良好的神經(jīng)網(wǎng)絡(luò)模型。

[2] Qiao J F, Han H G. Identification and modeling of nonlinear dynamical systems using a novel self-organizing RBF-based approach[J].Automatica, 2012,48(8):1729-1734.

[3] Chen H, Gong Y, Hong X. Online modeling with tunable RBF network[J].Cybernetics,IEEE Transactions on, 2013,43(3):935-947.

[4] Han H G, Qiao J F, Chen Q L. Model predictive control of dissolved oxygen concentration based on a self-organizing RBF neural network[J].Control Engineering Practice, 2012, 20(4):465-476.

[5] Platt J. A resource-allocating network for function interpolation[J].Neural computation, 1991, 3(2):213-225.

[6] Kadirkamanathan V, Niranjan M. A function estimation approach to sequential learning with neural networks[J].Neural Computation, 1993, 5(6):954-975.

[7] Yingwei L, Sundararajan N, Saratchandran P. A sequential learning scheme for function approximation using minimal radial basis function neural networks[J].Neural computation,1997,9(2):461-478.

[8] Huang G B, Saratchandran P, Sundararajan N. An efficient sequential learning algorithm for growing and pruning RBF (GAP-RBF) networks[J].Systems, Man, and Cybernetics, Part B: Cybernetics, IEEE Transactions on, 2004,34(6):2284-2292.

[9] Kennedy J, Eberhart R. Particle swarm optimization[C]//Proc IEEE International Conf on Neural Networks. Piscataway: IEEE, 1995:1942-1948.

[10] Holland J H. Adaptation in Natural and Artificial Systems: An Introductory Analysis with Applications to Biology, Control and Artificial Intelligence[M].MIT Press, 1992.

[11] Puskorius G V, Feldkamp L. Neurocontrol of nonlinear dynamical systems with Kalman filter trained recurrent networks[J].Neural Networks, IEEE Transactions on,1994,5(2):279-297.

[12] Chen Z, Qian P. Application of PSO-RBF neural network in network intrusion detection[C]//Intelligent Information Technology Application, 2009. IITA 2009. Third International Symposium on. IEEE,2009,1:362-364.

[13] Hendtlass T. Restarting Particle Swarm Optimisation for deceptive problems[C]//Evolutionary Computation (CEC), 2012 IEEE Congress on. IEEE, 2012:1-9.

[14] Yourdkhani S. Portfolio Management by using Value at Risk (VaR)(A Comparison between Particle Swarm Optimization and Genetic Algorithms)[J].Life Science Journal, 2014,11(S1):15-26.

[15] Pan Y, Xue W, Zhang Q, et al. A forecasting model of RBF neural network based on genetic algorithms optimization[C]//Natural Computation (ICNC), 2011 Seventh International Conference on. IEEE, 2011,1:48-51.

[16] 嚴(yán)宗光, 鄧宇豪. 遺傳算法的自適應(yīng)機(jī)制[J].科技資訊,2014(28):192-193.

[17] Yu-liang Q, Hao Z, Daogang P, et al. Fault diagnosis for generator unit based on RBF neural network optimized by GA-PSO[C]//Natural Computation (ICNC), 2012 Eighth International Conference on. IEEE, 2012:233-236.

[18] Zhang R, Huang G B, Sundararajan N, et al. Improved GAP-RBF network for classification problems[J].Neurocomputing, 2007,70(16):3011-3018.

GAP-RBF NEURAL NETWORK LEARNING ALGORITHM BASED ON POPULATION PARTITIONING OPTIMISATION

Bao Qinxin Song Wei

(School of IoT Engineering, Jiangnan University, Wuxi 214122,Jiangsu,China)

Aiming at the problem of traditional GAP-RBF algorithm that its learning accuracy is not high enough, we present in the paper a new GAP-RBF network learning algorithm which is based on population partitioning optimisation. First, for overcoming the large matrix computation problem in traditional GAP-RBF, the proposed algorithm adjusts network parameters with DEKF method; secondly, in order to obtain the network model with higher learning accuracy, the algorithm uses the PSO and GA-based population partitioning optimisation to train the connection weight values of hidden layers and output layers and the bias items. Experimental results indicate that compared with the algorithms such as RAN, RANEKF, MRAN and GAP-RBF, the presented algorithm can obtain a more concise network structure and improves the learning accuracy at the same time.

RBF neural network GAP-RBF algorithm PSO algorithm Genetic algorithm

2015-09-21。物聯(lián)網(wǎng)技術(shù)應(yīng)用教育部工程研究中心，中央高校基本科研業(yè)務(wù)費專項資金項目(JUSRP51510)。包沁昕，碩士生，主研領(lǐng)域：神經(jīng)網(wǎng)絡(luò)，機(jī)器學(xué)習(xí)。宋威，副教授。

TP183

A

10.3969/j.issn.1000-386x.2016.11.051