張彩霞

(佛山科學(xué)技術(shù)學(xué)院自動(dòng)化學(xué)院，廣東 佛山 528000)

模糊理論和神經(jīng)網(wǎng)絡(luò)技術(shù)是近幾年來人工智能研究較為活躍的兩個(gè)領(lǐng)域。從本質(zhì)上來說，模糊邏輯系統(tǒng)就是一個(gè)基于IF-THEN規(guī)則的系統(tǒng)，而此處的模糊規(guī)則實(shí)際上來自人類的學(xué)習(xí)。更準(zhǔn)確地說，設(shè)計(jì)一個(gè)模糊系統(tǒng)是采用主觀的方式來表達(dá)設(shè)計(jì)者的知識(shí)。由于在現(xiàn)實(shí)生活中不存在一種正式的和有效的知識(shí)獲取方式，因此對于設(shè)計(jì)者來說，即使他是領(lǐng)域?qū)＜?，要完成?fù)雜系統(tǒng)所有的輸入輸出數(shù)據(jù)的檢查以找到一組合適的規(guī)則也是很難的。而從神經(jīng)網(wǎng)絡(luò)的角度來看，由于神經(jīng)網(wǎng)絡(luò)是一個(gè)黑箱，不具有明確的物理意義，因此，專家對研究對象的部分知識(shí)無法應(yīng)用到神經(jīng)網(wǎng)絡(luò)中。訓(xùn)練時(shí)，只能任選初值，導(dǎo)致訓(xùn)練容易陷入局部極限小點(diǎn)。但是，一個(gè)模糊神經(jīng)網(wǎng)絡(luò)卻有明確的物理意義，專家知識(shí)很容易結(jié)合到模糊神經(jīng)網(wǎng)絡(luò)中，這對提高收斂速度、縮短訓(xùn)練時(shí)間是很有幫助的。因此，模糊神經(jīng)網(wǎng)絡(luò)不僅吸取了模糊邏輯和神經(jīng)網(wǎng)絡(luò)二者的優(yōu)點(diǎn)，還克服了各自具有的缺點(diǎn)。正因如此，模糊神經(jīng)網(wǎng)絡(luò)成為當(dāng)前研究的一個(gè)熱點(diǎn)，并形成了一個(gè)較為完善的體系[1]。

1 動(dòng)態(tài)模糊神經(jīng)網(wǎng)絡(luò)算法

1.1 徑向基(RBF)神經(jīng)網(wǎng)絡(luò)

我們提出的算法是D-FNN算法，它的激活函數(shù)是高斯函數(shù)。一個(gè)具有r個(gè)輸入和一個(gè)輸出的RBF神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以看成如下形式的映射f:Rr→Rs：

(1)

如果采用高斯函數(shù)而不考慮偏置量，則式(1)可以寫為如下的函數(shù)：

(2)

如果把各高斯函數(shù)的輸出歸一化，則RBF網(wǎng)絡(luò)可以產(chǎn)生如下歸一化的輸出響應(yīng)。

(3)

由于高斯函數(shù)具有各向同性，因此以高斯函數(shù)作為激活函數(shù)的神經(jīng)網(wǎng)絡(luò)稱為徑向基(RBF)神經(jīng)網(wǎng)絡(luò)。

1.2 總體最小二乘修剪技術(shù)

在學(xué)習(xí)進(jìn)行時(shí)，檢測到不活躍的模糊規(guī)則并加以剔除，則可獲得更為緊湊的D-FNN結(jié)構(gòu)。在本文中我們將采用TLS方法作為修剪技術(shù)來選擇重要的模糊規(guī)則[2]。

總體最小二乘(TLS)方法是用來補(bǔ)償線性參數(shù)估計(jì)問題中數(shù)據(jù)誤差的一種技術(shù)?？紤]如下形式的線性參數(shù)估計(jì)問題：

D=Hθ+E

(4)

在解決這個(gè)問題時(shí)，普通的最小二乘(LS)方法假定矩陣H(在參數(shù)估計(jì)問題中通常稱為測量矩陣)與誤差無關(guān)并且所有的誤差被限制在觀測向量D中?；赥LS的子集選擇方法由Van Huffel和Vandewalle在文獻(xiàn)[3]和文獻(xiàn)[4]中提出。這里借用該方法從一個(gè)給定的規(guī)則庫中提取最重要的模糊規(guī)則。把SVD(奇異值分解)應(yīng)用于一個(gè)定義為[H·D]擴(kuò)展的矩陣，即：

(5)

(6)

其中,b≤rank[HD]對應(yīng)于要選擇的模糊規(guī)則數(shù)。運(yùn)用QR列主元計(jì)算：

bv-b

(4)

bv-b

(7)

可以證明：

(8)

ITLS=[ITLS1,ITLS2,…,ITLSv]T=

(9)

b個(gè)最重要的模糊規(guī)則的結(jié)論部分可以通過如下的簡化方程得到：

(10)

(11)

1.3 D-FNN參數(shù)調(diào)整方法

EKF(擴(kuò)展的卡爾曼濾波)是基于梯度的在線學(xué)習(xí)算法，同其他基于梯度的在線算法相比，EKF可以加快收斂速度。作一種非線性更新算法，EKF方法可以用來調(diào)節(jié)D-FNN的所有參數(shù)。實(shí)驗(yàn)結(jié)果表明，高斯中心對系統(tǒng)性能影響不大，因此只對高斯寬度進(jìn)行更新。結(jié)果參數(shù)的更新是線性的，而高斯寬度的更新是非線性的，可以用EKF作如下優(yōu)化：

i=1,2,…,n

(12)

j∈{ 1,2,…,u}

(13)

其中，Cj和wj分別是中心和第j個(gè)RBF單元的權(quán)值，ψj是第j個(gè)歸一化層的輸出[8]。

需要強(qiáng)調(diào)的是，KF或EKF算法用于D-FNN，當(dāng)一條規(guī)則產(chǎn)生/去除或者寬度有任何的調(diào)整時(shí)，將產(chǎn)生額外的計(jì)算負(fù)擔(dān)，即在這些情況下，迭代將必須從第一個(gè)樣本開始。

2 實(shí)驗(yàn)結(jié)果與分析

我們用D-FNN來進(jìn)行Mackey-Glass混沌時(shí)間序列預(yù)測。以下的仿真在D-FNN中使用串-并行方法。

Mackey-Glass混沌時(shí)間序列[9]是Mackey等在1977年所提出的一個(gè)模型，用于描述白血病發(fā)病時(shí)，血液中白細(xì)胞的數(shù)量變化。其方程如下所示：

圖1 Mackey-Glass時(shí)間序列預(yù)測Fig.1 Mackey-Glass time series prediction

(14)

當(dāng)τ<17時(shí)，表現(xiàn)出周期性，而當(dāng)τ>17時(shí)，方程(14)表現(xiàn)出混沌行為，且τ值越大混沌現(xiàn)象越嚴(yán)重。對這種時(shí)間序列的預(yù)測是一個(gè)被許多研究者研究過的典型問題。為了能夠在相同的基礎(chǔ)上進(jìn)行比較，參數(shù)選擇為：a=0.1、b=0.2和τ=17。預(yù)測模型表示如下：

x(t+p)=

f[x(t),x(t-Δt),x(t-2Δt),x(t-3Δt)]

(15)

圖1描繪了從t=118到t=617的訓(xùn)練結(jié)果和前6步預(yù)測結(jié)果。選擇不同參數(shù)，將得到兩種不同的模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。選擇Δt=6以及p=50、80，為了方便比較，用歸一化的均方根誤差或無量綱指數(shù)(NDEI)來評估泛化能力。當(dāng)p分別等于85和50時(shí)，D-FNN、ANFIS[10]、RAN[11](資源分配網(wǎng)絡(luò))、RANEKF[12](擴(kuò)展卡爾曼濾波的資源分配網(wǎng)絡(luò))及M-RAN[7](最小資源分配網(wǎng)絡(luò))的結(jié)果比較列于表1和表2中。

表 1 p=85時(shí)，D-FNN與ANFIS的泛化能力比較Table 1 Comparison of generalization ability of D-FNN and ANFIS at p=85

表2 p=50時(shí)，D-FNN、RAN、RANEKF和M-RAN泛化能力比較Table 2 Comparison of generalization ability of D-FNN,RAN,RANEKF and M-RAN at p=50

比較結(jié)果顯示，即使D-FNN有更多的可調(diào)參數(shù)，它的性能也并沒有ANFIS好。原因是ANFIS通過迭代學(xué)習(xí)的方式訓(xùn)練，從而可以達(dá)到整體的最優(yōu)解。而D-FNN只能獲得次優(yōu)的結(jié)果。然而，與RAN、RANEKF及M-RAN(它們也只能得到次優(yōu)解)相比，D-FNN結(jié)構(gòu)小而泛化能力更強(qiáng)。

當(dāng)一個(gè)模糊系統(tǒng)、神經(jīng)網(wǎng)絡(luò)用于函數(shù)逼近問題時(shí)，一般的形式如下：

(16)

其中，wi是權(quán)值，Ri(X,wi)是基函數(shù)，u是基函數(shù)的個(gè)數(shù)。一旦Ri(X,wi)被選定，權(quán)值的選擇就可以用線性代數(shù)中的標(biāo)準(zhǔn)方法求解[13]。

顯然，我們所提出的D-FNN屬于選擇依賴于參數(shù)可變的自變適應(yīng)基函數(shù)，從而獲得最佳逼近和新的數(shù)據(jù)加入后，將相應(yīng)地補(bǔ)充新的基函數(shù)的結(jié)合，只是基函數(shù)的參數(shù)調(diào)整并沒有用到優(yōu)化方法尋找。從下面的仿真結(jié)果可以看到，逼近的性能不僅依賴基函數(shù)的選擇(參數(shù)和結(jié)構(gòu))，而且還依賴于所使用的學(xué)習(xí)算法[15]。

被逼近的函數(shù)為如下多項(xiàng)式：

為了學(xué)習(xí)這個(gè)被逼近的函數(shù)，使用區(qū)間[-4，4]內(nèi)的隨機(jī)樣本函數(shù)來產(chǎn)生200個(gè)輸入輸出數(shù)據(jù)作為訓(xùn)練集。預(yù)先確定的參數(shù)如下，且跟文獻(xiàn)[7]和文獻(xiàn)[12]所選一樣：

dmax=2，dmin=0.2，γ=0.977，β=0.9，σ0=2，

emax=1.1，emin=0.02，k=1.1，kerr=0.001 5

仿真結(jié)果如圖2所示。表3列出了用均方根誤差估計(jì)的結(jié)構(gòu)和性能方面的對比。

如圖2(a)所示，經(jīng)過54個(gè)訓(xùn)練數(shù)據(jù)，規(guī)則數(shù)保持穩(wěn)定。從圖2(b)來看訓(xùn)練時(shí)的實(shí)際輸出誤差很快達(dá)到穩(wěn)定，圖2(c)均方根誤差(RMSE)保持穩(wěn)定，圖2(d) 實(shí)現(xiàn)了非線性函數(shù)(+)與它的逼近(o)。

圖2 非線性函數(shù)逼近Fig.2 nonlinear function approximation

D-FNNOLS[14]M-RANRANEKF模糊規(guī)則數(shù)67813可調(diào)參數(shù)數(shù)量24222540訓(xùn)練次數(shù)2007200200均方根誤差0.005 20.008 00.043 60.026 0

表4 RBF單元的分布Table 4 Distribution of RBF elements

由圖2(d)及表4可以看出，由D-FNN產(chǎn)生的規(guī)則分布在輸出變化大的地方，并根據(jù)變化的大小和快慢，以不同的高斯寬度來實(shí)現(xiàn)，從而使得可容納的局部域達(dá)到最大。與之不同，OLS方法中，每個(gè)RBF的寬度是固定的，當(dāng)被逼近的函數(shù)在不同點(diǎn)出現(xiàn)緩慢不同變化時(shí)，基函數(shù)的自適應(yīng)性就差，在變化劇烈的地方，可能會(huì)要求有多個(gè)RBF產(chǎn)生。如本例中，由OLS產(chǎn)生的RBF節(jié)點(diǎn)就有兩個(gè)非常接近的，即C1=-1.022 8及C3=-1.019 2。所選高斯寬度越小，這個(gè)問題越突出。同時(shí)，也可以看到，OLS方法確定的規(guī)則在整個(gè)輸入變量空間中并不是均勻分布的，所以，所需規(guī)則數(shù)多，即使如此，精度還是不如D-FNN高。

3 結(jié) 論

在D-FNN中采用了修剪策略，可以檢測到不活躍的模糊規(guī)則并加以剔除，從而可獲得更為緊湊的結(jié)構(gòu)。在D-FNN中前提參數(shù)(高斯寬度)是在學(xué)習(xí)過程中自適應(yīng)地進(jìn)行調(diào)整。D-FNN線性參數(shù)在每一步由TLS或者KF方法決定的，而不像RAN、RANEKF及M-RAN是由預(yù)測誤差確定的。因此，這些最優(yōu)參數(shù)可以在學(xué)習(xí)的過程中立即得到。用這種方法得到的解是全局最優(yōu)的，因此，只需一步訓(xùn)練就可以達(dá)到目標(biāo)而不需要迭代學(xué)習(xí)。采用分級(jí)學(xué)習(xí)的思想能保證更簡潔的結(jié)構(gòu)和更短的學(xué)習(xí)時(shí)間。仿真結(jié)果表明，D-FNN具有以下明顯的優(yōu)點(diǎn)：快速的學(xué)習(xí)速度、緊湊的系統(tǒng)結(jié)構(gòu)、強(qiáng)大的泛化能力。