基于ELM 學習算法的混沌時間序列預測

李 彬，李貽斌

(1. 山東大學控制科學與工程學院，濟南 250061；2. 山東輕工業(yè)學院數(shù)理學院，濟南 250353)

混沌系統(tǒng)是一個確定的非線性動態(tài)系統(tǒng)，由這種系統(tǒng)產(chǎn)生的混沌信號對初始條件比較敏感，難以長期預測．混沌理論和混沌信號的處理是現(xiàn)階段的一個熱點研究問題，混沌時間序列(混沌信號)是對一個混沌系統(tǒng)采樣得到的單變量時間序列．為了更好地研究混沌系統(tǒng)，如何對這種高度復雜，強非線性的混沌信號進行建模和預測，是當前的一個難點和熱點問題．

神經(jīng)網(wǎng)絡作為一種數(shù)據(jù)驅(qū)動的結(jié)構(gòu)和算法，具有逼近任意非線性函數(shù)的能力，可以映射出數(shù)據(jù)之間的非線性關(guān)系．從而使得神經(jīng)網(wǎng)絡成為混沌時間序列預測的一個強有力的工具．文獻[1-3]中，分別探討了徑向基函數(shù)(radial basis function，RBF)神經(jīng)網(wǎng)絡、BP(back propagation)神經(jīng)網(wǎng)絡、模糊神經(jīng)網(wǎng)絡等對混沌時間序列問題的預測．現(xiàn)存的這些方法存在很多缺點，一般算法比較復雜，均為批處理學習算法，不能進行實時的在線學習，很多參數(shù)需要人工調(diào)整，預測精度不高，收斂速度慢或容易陷入局部極小點，算法運行的時間較長等．

2006 年，Huang 等[4]提出了一類性能優(yōu)良的單隱層前向神經(jīng)網(wǎng)絡(single-hidden layer feed forward neural networks，SLFNs)學習算法，稱為極端學習機(extreme learning machine，ELM)學習算法，與一般的BP 神經(jīng)網(wǎng)絡、RBF 神經(jīng)網(wǎng)絡相比，性能較好．該算法可以隨機地選擇網(wǎng)絡中隱層神經(jīng)元個數(shù)和類型，構(gòu)造不同的學習算法，且在隨機選擇輸入層權(quán)值和隱層神經(jīng)元偏差(閾值)前提下，可以解析獲得隱層輸出權(quán)值，該方法具有許多優(yōu)良的特性，如學習速度快，泛化能力好等．ELM 學習算法和理論[4-6]經(jīng)過許多學者的努力，已在函數(shù)逼近、模式分類、系統(tǒng)辨識等方面得到廣泛應用．本文將ELM 學習算法用于混沌時間序列預測，擴展了這種算法的應用范圍．仿真結(jié)果表明，ELM 學習算法所處理的混沌時間序列，預測精度較高，學習速度較快．并且針對同一問題，在網(wǎng)絡復雜度相同的前提下，選擇不同的激活函數(shù)，ELM 學習算法性能差異較大，即ELM 學習算法激活函數(shù)的選擇具有問題依賴性．

1 ELM學習算法簡介

式中：G(w i,bi,x)為與輸入x對應的第i個隱層神經(jīng)元的輸出；βi=[βi1,βi2,···,βim]T為第i個隱層神經(jīng)元與輸出神經(jīng)元之間的連接權(quán)向量．

當激活函數(shù)g(x)為加性神經(jīng)元時，第i 個隱層神經(jīng)元的輸出為

當激活函數(shù)g(x)為RBF 神經(jīng)元時，其相應的輸出為

式中：wi和bi分別為第i 個徑向基函數(shù)的中心和影響因子(寬度)；R+是一個正實數(shù)集合．

對于 N 個任意輸入樣本(xj,tj)，其中，給定個隱層神經(jīng)元和激活函數(shù)G(wi,bi,x)，則存在βi，wi和bi，使得SLFNs 能夠以零誤差逼近這N 個樣本點，即

式(4)可以寫成矩陣形式為

式中：H是該神經(jīng)網(wǎng)絡的隱層輸出矩陣，H的第i列是關(guān)于輸入x1,x2,…,xN的第i 個隱層神經(jīng)元的輸出．

對于單隱層前向神經(jīng)網(wǎng)絡，ELM 學習算法對于任意無限可微的激活函數(shù)都是可用的[4-5]，從而拓展了前向神經(jīng)網(wǎng)絡激活函數(shù)的選擇空間．與傳統(tǒng)的函數(shù)逼近理論不同，ELM 學習算法的輸入層權(quán)值w i和隱層的偏差bi可以隨機選擇[4]．從而，對于前向神經(jīng)網(wǎng)絡來說，在網(wǎng)絡的訓練過程中，無需對輸入層權(quán)值和隱層偏差進行調(diào)整，一旦這些參數(shù)隨機確定以后，隱層輸出矩陣H在網(wǎng)絡開始訓練時，保持不變．從而，SLFNs 的訓練過程，等價于尋找線性系統(tǒng)H β=T的最小二乘解，如果隱層神經(jīng)元的個數(shù)和網(wǎng)絡的輸入樣本個數(shù)N 相同，即=N，當輸入層權(quán)值和隱層偏差隨機確定以后，矩陣H是可逆方陣，則該SLFNs 能夠以零誤差逼近訓練樣本．但是，在大多數(shù)情況下?N，矩陣H不是方陣，從而不存在使得=Hβ=T．但是可以求這個線性系統(tǒng)的最小范數(shù)最小二乘解：=H+T，其中H +為矩陣H的Moore-Penrose 廣義逆．

步驟1隨機設定輸入層權(quán)值wi和偏差bi，i=1,…，,．

步驟 2計算隱層輸出矩陣H．

步驟3計算輸出層權(quán)值β：=H +T，其中T=

2 計算機仿真與結(jié)果分析

本文用Box and Jenkins gas furnace data[7]和Mackey-Glass[8]混沌時間序列預測問題來進行計算機仿真．ELM 學習算法的隱層神經(jīng)元個數(shù)和激活函數(shù)類型，根據(jù)所處理的問題進行選取，以期得到較好的逼近誤差和泛化能力．本文所有結(jié)果都是在Matlab 7.0 環(huán)境下，CPU 為1.7,GHz 的奔騰Ⅳ機器上運行得到的，為了使算法更有說服力，表中的結(jié)果為10 次仿真結(jié)果的平均值，算法性能用均方根誤差衡量．

在Box and Jenkins gas furnace data 基準問題中，原始數(shù)據(jù)點個數(shù)為296 個，其中u(t)為輸入氣體流速，y (t )為輸出CO2濃度，用{y(t? 1),y (t? 2),y(t?3),y(t? 4),u(t? 1)，u(t? 2)，u(t? 3)，u(t? 4)，u(t?5),u(t? 6)}時刻的值來預測 y (t )時刻的值．這里取的有效數(shù)據(jù)點個數(shù)為290 個，前200 個為訓練樣本，后90個作為測試樣本．

Mackey-Glass 微分延遲方程被認為是一個混沌時間序列基準問題．它由下面的微分延遲方程產(chǎn)生，

式中：a= 0.2；b= 0.1；τ= 17．用微分延遲方程生成的Mackey-Glass 時間序列個數(shù)為4,500，其中的前4,000 數(shù)據(jù)用來訓練網(wǎng)絡，后500 個作為網(wǎng)絡的測試數(shù)據(jù)，來測試網(wǎng)絡的泛化能力．

在同一激活函數(shù)下，神經(jīng)網(wǎng)絡中隱層激活函數(shù)個數(shù)越多，逼近能力越好，但是有可能出現(xiàn)過擬合現(xiàn)象，使得神經(jīng)網(wǎng)絡的泛化能力降低．因此，為了獲得較好的網(wǎng)絡性能，必須適當?shù)剡x擇合適的隱層神經(jīng)元個數(shù)．為了使得ELM 學習算法有比較好的性能，在Box and Jenkins gas furnace data 和Mackey-Glass 混沌時間序列預測中，隱層神經(jīng)元個數(shù)分別為15和200．

如表1 所示，對于Box and Jenkins gas furnace data 基準問題，在相同的網(wǎng)絡復雜度(隱層神經(jīng)元個數(shù)相同)前提下，線性(linear)激活函數(shù)性能表現(xiàn)良好，和其他激活函數(shù)相比，其訓練誤差和測試誤差都較小，2 種誤差的標準偏差為0，網(wǎng)絡的穩(wěn)定性較好．而對于Mackey-Glass 混沌時間序列問題來說，當激活函數(shù)為sigmoid時，網(wǎng)絡的性能表現(xiàn)較好．仿真結(jié)果表明對于相同的網(wǎng)絡復雜度，選擇不同的激活函數(shù)，同樣的問題性能表現(xiàn)有很大的不同，即ELM 學習算法中激活函數(shù)的選擇具有問題依賴性．因此，在同樣網(wǎng)絡復雜度前提下，根據(jù)實際問題選擇不同的激活函數(shù)對設計高性能的ELM 前向神經(jīng)網(wǎng)絡是重要的．

表1 不同激活函數(shù)條件下ELM學習算法關(guān)于混沌時間序列預測問題的性能比較Tab.1 Performance comparison of ELM learning algorithm with different activation functions for chaotic time series prediction problems

圖1和圖2 分別為2個混沌時間序列問題的預測曲線，從圖上可以看出，在適當?shù)倪x擇激活函數(shù)類型和隱層神經(jīng)元個數(shù)前提下，ELM 學習算法比較適合處理復雜的混沌時間序列預測問題，能嚴格地跟蹤擬合這些高度復雜、強非線性曲線．

圖1 ELM 學習算法關(guān)于Box and Jenkins 煤氣爐混沌時間序列預測問題的預測曲線(線性激活函數(shù))Fig.1 Prediction curve of ELM learning algorithm for Fig.1 Box and Jenkins gas furnace chaotic time series Fig.1 prediction problems (linear activation function)

圖2 ELM學習算法關(guān)于Mackey-Glass混沌時間序列預測問題的預測曲線(sigmoid 激活函數(shù))Fig.2 Prediction curve of ELM learning algorithm for Fig.2 Mackey-Glass chaotic time series prediction pro-Fig.2 blems(sigmoid activation function)

為了更好地體現(xiàn)ELM 學習算法的優(yōu)良性能，本文比較了ELM 和資源分配網(wǎng)絡(resource allocating network，RAN)[9]徑向基函數(shù)神經(jīng)網(wǎng)絡學習算法．除期望輸出誤差取值為0.001 之外，RAN 學習算法的其他參數(shù)選取和文獻[8]一樣．從表2 可以看出，在相同的網(wǎng)絡復雜度前提下，和RAN 學習算法相比，ELM 學習算法的訓練時間、訓練誤差和測試誤差都較小，更適合于混沌時間序列問題的預測．

表2 ELM和RAN學習算法在混沌時間序列預測問題的性能比較Tab.2 Performance comparison of ELM and RAN learning algorithms for chaotic time series prediction problems

3 結(jié) 語

本文將ELM 學習算法應用于混沌時間序列預測，與其他方法不同，ELM 學習方法在隨機選擇輸入層權(quán)值和隱層偏差的前提下，可以解析獲得隱層輸出權(quán)值，算法簡單，執(zhí)行速度很快．與RAN 學習算法相比，仿真表明對于混沌時間序列預測問題，ELM 學習算法具有較好的性能．同時也說明了對于同樣的問題，ELM 學習算法中，選擇不同激活函數(shù)，性能表現(xiàn)差異明顯，即ELM 激活函數(shù)的選擇具有問題依賴性．針對不同問題，激活函數(shù)的選擇一般有2 種方式：一種是把從所處理問題中提取的先驗知識耦合進神經(jīng)網(wǎng)絡算法當中[10]；另一種是選擇激活函數(shù)自適應可調(diào)的神經(jīng)網(wǎng)絡學習算法．因此，根據(jù)實際問題選擇不同的神經(jīng)網(wǎng)絡激活函數(shù)對設計高性能的極端學習機前向神經(jīng)網(wǎng)絡是重要的，也為將來設計激活函數(shù)自適應可調(diào)的ELM學習算法提供了一定的理論基礎．

［1］李冬梅，王正歐. 基于RBF 神經(jīng)網(wǎng)絡的混沌時間序列預測[J]. 模式識別與人工智能，2001，14(2)：231-234.Li Dongmei，Wang Zheng’ou. Prediction of chaotic time series based on RBF neural networks[J].Pattern Recognition and Artificial Intelligence，2001，14(2)：231-234(in Chinese).

［2］郁俊莉. 基于混沌時間序列的非線性動態(tài)系統(tǒng)神經(jīng)網(wǎng)絡建模與預測[J]. 武漢大學學報：理學版，2005，51(3)：286-290.Yu Junli. Modeling and forecasting of the nonlinear dynamic system neural network based on the chaotic time series[J].Journal of Wuhan University：Natural Science Edition，2005，51(3)：286-290(in Chinese).

［3］Maguire L P，Roche B，McGinnity T M，et al. Predicting a chaotic time series using a fuzzy neural network[J].Information Sciences，1998，112(1/2/3/4)：125-136.

［4］Huang G B，Zhu Q Y，Siew C K. Extreme learning machine ： Theory and applications[J].Neurocomputing，2006，70(1/2/3)：489-501.

［5］Huang G B，Siew C K. Extreme learning machine with randomly assigned RBF kernels[J].International Journal of Information Technology，2005，11(1)：16-24.

［6］Li M B，Er M J. Nonlinear system identification using extreme learning machine[C]//Ninth International Conference on Control，Automation，Robotics and Visio.Singapore，2006：1-4.

［7］Rojas I，Gonzalez J，Canas A，et al. Short-term prediction of chaotic time series by using RBF network with regression weights[J].International Journal of Neural Systems，2000，10(5)：353-364.

［8］李 彬，賴曉平. 改進的GGAP-RBF 算法及其在函數(shù)逼近中的應用[J]. 模式識別與人工智能，2007，20(2)：230-235.Li Bin，Lai Xiaoping. An improved GGAP-RBF algorithm and its application to function approximation[J].Pattern Recognition and Artificial Intelligence，2007，20(2)：230-235(in Chinese).

［9］Platt J. A resource-allocating network for function interpolation neural computation[J].Neural Computation，1991，3(2)：213-225.

［10］韓 飛. 基于先驗信息編碼的約束學習算法研究[D].合肥：中國科學技術(shù)大學自動化系，2006.Han Fei. A Study of Constrained Learning Algorithms Encoding the a Priori Information of Problem[D].Hefei：Department of Automation，University of Science and Technology of China，2006(in Chinese).