胡 率,肖治華,饒 強(qiáng),廖榮濤

(國網(wǎng)湖北省電力有限公司 信息通信公司,武漢 430077)

現(xiàn)實(shí)世界中存在各種各樣的時(shí)間序列數(shù)據(jù),分析挖掘數(shù)據(jù)的隱藏信息,基于合理的假設(shè)和推理,建立能夠擬合復(fù)雜系統(tǒng)行為的模型,并依據(jù)該模型對(duì)序列未來的發(fā)展規(guī)律做出估計(jì)和判斷符合科學(xué)規(guī)律[1].作為時(shí)間序列分析的一個(gè)研究分支,時(shí)間序列預(yù)測(cè)在實(shí)際中廣泛應(yīng)用.但是,進(jìn)行時(shí)間序列預(yù)測(cè)依然存在巨大的挑戰(zhàn),主要原因是時(shí)間序列數(shù)據(jù)往往表現(xiàn)出復(fù)雜的特性,比如時(shí)序性、高維性、非線性和非周期性等.

人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)是一種以數(shù)據(jù)為驅(qū)動(dòng)的、自適應(yīng)的人工智能模型,它具有非常良好的非線性映射能力.從理論角度來講,ANN可以以任意精度無限逼近任何動(dòng)態(tài)系統(tǒng)的行為[2].ANN幾乎能夠模擬任何線性和非線性的時(shí)間序列數(shù)據(jù)生成過程,因而成為準(zhǔn)確且應(yīng)用廣泛的預(yù)測(cè)模型[3].

2004年,Jaeger等[4]提出了一種全新的遞歸神經(jīng)網(wǎng)絡(luò)——回聲狀態(tài)網(wǎng)絡(luò)(Echo State Network,ESN).ESN最顯著特征是網(wǎng)絡(luò)訓(xùn)練過程簡單:只有儲(chǔ)備池(隱藏層)到輸出層的輸出連接權(quán)值矩陣需要計(jì)算,其他各層之間的連接權(quán)值矩陣在網(wǎng)絡(luò)初始化階段隨機(jī)生成并保持不變.ESN能夠克服傳統(tǒng)遞歸神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)難以確定、訓(xùn)練效率低下、收斂速度慢、容易陷入局部最優(yōu)等缺點(diǎn),因而應(yīng)用廣泛.例如網(wǎng)絡(luò)流量預(yù)測(cè)[5]、變風(fēng)量空調(diào)內(nèi)?？刂芠6]和非線性衛(wèi)星信道盲均衡[7]等.標(biāo)準(zhǔn)的ESN在計(jì)算輸出連接權(quán)值矩陣時(shí)會(huì)采用最小二乘估計(jì)或者嶺回歸等線性方法,這類方法在節(jié)約計(jì)算成本的同時(shí)會(huì)造成網(wǎng)絡(luò)過擬合.因此,對(duì)ESN的輸出連接權(quán)值矩陣進(jìn)行優(yōu)化以提升其性能具有現(xiàn)實(shí)意義.

本質(zhì)上,對(duì)ESN的輸出連接權(quán)值矩陣進(jìn)行優(yōu)化是一個(gè)離散、高維和強(qiáng)非線性的復(fù)雜問題.研究指出進(jìn)化算法(Evolutionary Algorithm,EA)在解決此類問題時(shí)性能卓著.宗宸生等[8]運(yùn)用改進(jìn)粒子群算法優(yōu)化 BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)重,建立糧食產(chǎn)量預(yù)測(cè)模型,該模型具有更高的預(yù)測(cè)精度和較大的適應(yīng)度.朱海龍等[9]利用GA優(yōu)化 BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值進(jìn)而建立胎兒體重預(yù)測(cè)模型,模型收斂速度和預(yù)測(cè)精度都得到提升.針對(duì)ESN的優(yōu)化,田中大等[5]利用經(jīng)典的GA對(duì)ESN儲(chǔ)備池參數(shù)進(jìn)行優(yōu)化,進(jìn)行網(wǎng)絡(luò)流量預(yù)測(cè)時(shí)獲得不錯(cuò)的精度.Chouikhi等[10]應(yīng)用PSO對(duì)ESN的固定權(quán)值矩陣進(jìn)行預(yù)訓(xùn)練,以降低連接權(quán)值矩陣在具體應(yīng)用問題上的隨機(jī)性.也有學(xué)者使用進(jìn)化算法對(duì)ESN的儲(chǔ)備池到輸出層之間的連接進(jìn)行優(yōu)化,例如Wang等[11]提出使用BPSO對(duì)ESN的儲(chǔ)備池到輸出層之間的連接進(jìn)行優(yōu)化,優(yōu)化模型在系統(tǒng)識(shí)別和時(shí)間序列預(yù)測(cè)問題上獲得更好的實(shí)驗(yàn)結(jié)果.本文將從提升ESN的預(yù)測(cè)精度出發(fā),提出使用自適應(yīng)回溯搜索算法(Adaptive Backtracking Search Optimization Algorithm,ABSA)對(duì)ESN的輸出連接權(quán)值矩陣進(jìn)行優(yōu)化.

1 相關(guān)知識(shí)

1.1 回聲狀態(tài)網(wǎng)絡(luò)

回聲狀態(tài)網(wǎng)絡(luò)因?yàn)槠湎鄬?duì)簡單的網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練算法和性能而廣受關(guān)注.ESN是儲(chǔ)備池計(jì)算方法之一,采用“儲(chǔ)備池”作為信息處理媒介,儲(chǔ)備池將網(wǎng)絡(luò)的輸入信號(hào)映射到高維的復(fù)雜動(dòng)態(tài)狀態(tài)空間.儲(chǔ)備池的神經(jīng)元之間的連接在網(wǎng)絡(luò)初始化階段隨機(jī)生成并在整個(gè)訓(xùn)練過程中保持不變[12].正是由于儲(chǔ)備池計(jì)算特征,ESN相對(duì)于傳統(tǒng)的RNN具有明顯的優(yōu)勢(shì).標(biāo)準(zhǔn)結(jié)構(gòu)的ESN如圖1所示,可以分為3個(gè)組成部分:一個(gè)輸入層(K個(gè)神經(jīng)元),一個(gè)儲(chǔ)備池(N個(gè)神經(jīng)元)和一個(gè)輸出 層(L個(gè)神經(jīng)元).

圖1 回聲狀態(tài)網(wǎng)絡(luò)的標(biāo)準(zhǔn)結(jié)構(gòu)

ESN在時(shí)刻n的輸入,儲(chǔ)備池神經(jīng)元的狀態(tài)和輸出層神經(jīng)元輸出分別表示如下:

如圖1所示,在標(biāo)準(zhǔn)結(jié)構(gòu)的ESN中,當(dāng)輸入信號(hào)u(n+1)輸 入到網(wǎng)絡(luò)時(shí),儲(chǔ)備池內(nèi)部神經(jīng)元在時(shí)刻n+1的狀態(tài)和網(wǎng)絡(luò)的輸出分別按照方程(4)和(5)進(jìn)行更新:

其中,Win(Win∈RN×K)、W (W∈RN×N)和Wout(Wout∈RL×N)分別代表網(wǎng)絡(luò)的輸入層到儲(chǔ)備池、儲(chǔ)備池內(nèi)部神經(jīng)元和儲(chǔ)備池到輸出層之間的連接權(quán)值矩陣.f=[f1,f2,···,fN]表示儲(chǔ)備池中神經(jīng)元的輸出函數(shù).一般來說,fi(i=1,2,···,N)采用“S-型”函數(shù),比如雙曲正切函數(shù) tanh .fout=[f1out,f2out,···,fLout]表示網(wǎng)絡(luò)輸出層神經(jīng)元的輸出函數(shù).通常情況下,fiout(i=1,2,···,L)會(huì)取恒等函數(shù).

1.2 回溯搜索算法及其改進(jìn)

回溯搜索算法(Backtracking Search optimization Algorithm,BSA)是由Civicioglu在2013年提出的一種屬于進(jìn)化算法范疇的新智能算法[13].BSA自從被提出就吸引了眾多學(xué)者進(jìn)行研究并應(yīng)用到不同的領(lǐng)域,比如數(shù)值優(yōu)化[13,14]、自動(dòng)發(fā)電控制[15]和功率流[16]等.標(biāo)準(zhǔn)的BSA主要包括5個(gè)基本算子:初始化(Initialization)、選擇I (Selection-I)、變異(Mutation)、交叉(Crossover)和選擇II (Selection-II),其算法流程如圖2所示.

圖2 標(biāo)準(zhǔn)BSA算法流程

在標(biāo)準(zhǔn)BSA中,變異因子F在初始化過程中隨機(jī)給定并在整個(gè)過程中保持不變,這種策略不能平衡BSA算法的搜索能力和收斂性之間的關(guān)系.如果變異因子F取值大,BSA的全局搜索能力會(huì)很強(qiáng)而獲得的全局最優(yōu)解可能展現(xiàn)出低精度.如果變異因子F取值小,BSA在迭代過程中會(huì)加速收斂而其全局搜索能力會(huì)減弱.可以說,變異因子F是平衡BSA的全局搜索能力和收斂性的關(guān)鍵參數(shù).為了充分考慮變異因子F對(duì)BSA性能的影響,本文提出自適應(yīng)回溯搜索算法(ABSA).ABSA使用自適應(yīng)變異因子策略去替換標(biāo)準(zhǔn)的隨機(jī)給定策略,其策略方程表達(dá)如式(6)所示:

其中,Fmax和Fmin分別代表變異因子F的最大值和最小值.GenM是BSA的最大迭代次數(shù),G是當(dāng)前迭代次數(shù).e是自然常數(shù).從式(6)可以得出:變異因子 的取值是隨算法迭代過程的進(jìn)行而不斷改變的.在開始迭代階段,F取值較大用于擴(kuò)大搜索范圍,保證搜索時(shí)種群的多樣性;在隨后的迭代過程中,變異因子F取值逐漸變小,種群的搜索范圍將縮小且種群中已經(jīng)獲得的優(yōu)秀個(gè)體將會(huì)以較大概率被保留.

2 預(yù)測(cè)模型

2.1 模型介紹

為了驗(yàn)證本文擬采用的自適應(yīng)回溯搜索算法優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)(ABSA_ESN)的性能,將設(shè)計(jì)其他的四種預(yù)測(cè)模型用于與ABSA_ESN進(jìn)行比較.具體而言,本文將設(shè)計(jì)以下5種預(yù)測(cè)模型:

(1)ESN.標(biāo)準(zhǔn)的ESN模型.

(2)GA_ESN.使用遺傳算法(Genetic Algorithm,GA)優(yōu)化ESN輸出連接權(quán)值矩陣.

(3)DE_ESN.使用差分進(jìn)化算法(Differential Evolution,DE)優(yōu)化ESN輸出連接權(quán)值矩陣.

(4)BSA_ESN.使用標(biāo)準(zhǔn)回溯搜索算法(BSA)優(yōu)化ESN輸出連接權(quán)值矩陣.

(5)ABSA_ESN.使用自適應(yīng)回溯搜索算法(ABSA)優(yōu)化ESN輸出連接權(quán)值矩陣.

以上5種預(yù)測(cè)模型中,GA_ESN、DE_ESN、BSA_ESN和ABSA_ESN是四個(gè)優(yōu)化的ESN模型.其中,GA、DE、BSA和ABSA都屬于進(jìn)化算法(Evolutionary Algorithm,EA)的范疇.

2.2 ESN的優(yōu)化流程

利用ABSA (GA,DE或者BSA)優(yōu)化ENS的輸出連接權(quán)值矩陣Wout的流程圖如圖3所示.

ESN的Wout優(yōu)化流程分為以下幾個(gè)步驟:

Step 1.設(shè)置ESN參數(shù)并收集網(wǎng)絡(luò)輸入產(chǎn)生的狀態(tài)矩陣.

Step 2.設(shè)置ABSA (GA,DE或BSA)的參數(shù)并生成初始化種群.設(shè)置ABSA的初始迭代代數(shù)G=0.

Step 3.判斷ABSA (GA,DE或BSA)的迭代是否達(dá)到最大迭代次數(shù).如果當(dāng)前迭代次數(shù)G等于最大迭代次數(shù)GenM,則ABSA (GA,DE或BSA)的迭代過程結(jié)束,獲得最優(yōu)種群和最優(yōu)個(gè)體;否則,流程繼續(xù)執(zhí)行.

Step 4.依次執(zhí)行ABSA (GA,DE或BSA)的選擇I (或沒有)、自適應(yīng)變異(或變異)、交叉和選擇II (或選擇)等幾個(gè)操作,獲得當(dāng)前迭代過程G的新種群.

Step 5.計(jì)算新種群中每個(gè)個(gè)體的適應(yīng)值,按照貪婪選擇原則更新當(dāng)前迭代過程的種群.比較當(dāng)前迭代過程獲得的最優(yōu)個(gè)體與當(dāng)前獲得的全局最優(yōu)個(gè)體的適應(yīng)值,適應(yīng)值較小的將作為新的全局最優(yōu)適應(yīng)值且相應(yīng)的個(gè)體更新為全局最優(yōu)個(gè)體.

Step 6.更新G=G+1.返回Step 3.

Step 7.將進(jìn)化算法獲得的最優(yōu)個(gè)體設(shè)置為ESN的最優(yōu)輸出連接權(quán)值矩陣Wout,ESN網(wǎng)絡(luò)訓(xùn)練完成.

Step 8.將測(cè)試集中樣本按順序輸入到訓(xùn)練好的E SN中,進(jìn)行預(yù)測(cè).

圖3 利用ABSA (GA,DE或BSA)優(yōu)化ESN的Wout的流程圖

2.3 模型合理性分析及模型比較

本文所采用的5種模型的建模方法在上述2.1和2.2小節(jié)已經(jīng)介紹.本小節(jié)將對(duì)5種模型進(jìn)行比較并討論選擇它們的合理性.

(1)ESN是最先進(jìn)的時(shí)間序列預(yù)測(cè)模型之一.ESN因?yàn)槠渚W(wǎng)絡(luò)結(jié)構(gòu)簡單、訓(xùn)練效率高且耦合“時(shí)間參數(shù)”,因而能夠有效地應(yīng)用于時(shí)間序列預(yù)測(cè)問題研究.然而,標(biāo)準(zhǔn)的ESN計(jì)算地輸出連接權(quán)值矩陣容易致使網(wǎng)絡(luò)陷入過擬合狀態(tài),影響ESN性能的發(fā)揮.

(2)GA_ESN,DE_ESN和BSA_ESN是優(yōu)化的ESN預(yù)測(cè)模型.GA、DE和BSA 3種智能算法的算法流程、算子和參數(shù)個(gè)數(shù)不盡相同.使用3種智能算法對(duì)ESN進(jìn)行優(yōu)化的目的是克服標(biāo)準(zhǔn)ESN容易陷入網(wǎng)絡(luò)過擬合狀態(tài)的缺陷,增加優(yōu)化方法的多樣性.相對(duì)于GA和DE,BSA在全局尋優(yōu)時(shí)只有一個(gè)參數(shù)需要設(shè)定,在很大程度上能夠簡化算法參數(shù)設(shè)置過程,進(jìn)而節(jié)約計(jì)算成本.

(3)ABSA_ESN是采用改進(jìn)BSA優(yōu)化的ESN預(yù)測(cè)模型.標(biāo)準(zhǔn)BSA的參數(shù)變異因子在算法初始化過程中隨機(jī)給定并在整個(gè)過程中保持不變,這種策略難以平衡BSA算法的搜索能力和收斂速率.ABSA是采用自適應(yīng)變異因子策略改進(jìn)的BSA,其能夠有效地克服上述缺陷.具體而言,ABSA在迭代初期變異因子取值較大,能夠擴(kuò)大搜索范圍從而保證種群的多樣性.此時(shí),ABSA的收斂速度較慢且收斂精度較低.隨著迭代過程的進(jìn)行,變異因子的取值將逐漸變小,種群的搜索范圍將圍繞已經(jīng)獲得的優(yōu)秀個(gè)體展開以保證優(yōu)秀個(gè)體將會(huì)以較大概率被保留.此時(shí),ABSA的收斂速度和收斂精度逐步加快和提高.總體而言,ABSA_ESN在算法的參數(shù)設(shè)置、收斂速度和收斂精度上較GA_ESN,DE_ESN和BSA_ESN等均有優(yōu)勢(shì).

3 數(shù)值實(shí)驗(yàn)和結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置

為了驗(yàn)證本文所提出的ABSA_ESN和其他四個(gè)用于對(duì)比的模型預(yù)測(cè)性能,兩個(gè)混沌時(shí)間序列將被采用作為實(shí)驗(yàn)數(shù)據(jù)集.完成所有實(shí)驗(yàn)的個(gè)人電腦配置如下:操作系統(tǒng)是64位Windows 10專業(yè)版、處理器是Intel(R)Core(TM)i7-7700 CPU @3.6 GHz和內(nèi)存為16 GB.運(yùn)行實(shí)驗(yàn)的軟件環(huán)境是Python 3.6和Matlab 2016b.

3.2 數(shù)據(jù)集及性能評(píng)估標(biāo)準(zhǔn)

本文將采用兩個(gè)混沌時(shí)間序列數(shù)據(jù)集用于驗(yàn)證所提出的五種預(yù)測(cè)模型的性能.第一個(gè)混沌時(shí)間序列是非線性自回歸滑動(dòng)模型(Nonlinear Autoregressive Moving Average,NARMA),這是一種有輸入的非線性自回歸移動(dòng)平均數(shù)數(shù)列,該模型已經(jīng)成功應(yīng)用于非線性系統(tǒng)[17].第二個(gè)混沌時(shí)間序列是Mackey-Glass時(shí)間序列[18].以上兩個(gè)時(shí)間序列模型經(jīng)常被使用作為測(cè)試時(shí)間序列預(yù)測(cè)算法的性能.

3.2.1 NARMA模型

NARMA模型方程式表示如下:

其中,e(t)為獨(dú)立分布在( 0,1)之 間的時(shí)刻t的模型輸入,y(t)是時(shí)刻t的模型輸出,δ 為時(shí)滯參數(shù).通常取δ =3.

在本實(shí)驗(yàn)中,我們?cè)O(shè)定NARMA模型的樣本大小為1000.訓(xùn)練集、驗(yàn)證集和測(cè)試集樣本的產(chǎn)生過程如下:首先,隨機(jī)產(chǎn)生1000個(gè)取值范圍在( 0,1)的樣本作為系統(tǒng)輸入e(t).根據(jù)式(7)計(jì)算出NARMA方程式相應(yīng)的期望輸出y(t).第二,分別取系統(tǒng)輸入樣本和期望輸出樣本的前80%(樣本編號(hào)1–800)樣本作為訓(xùn)練集樣本.第三,緊接著選取10%(樣本編號(hào)801–900)樣本作為確定回聲狀態(tài)網(wǎng)絡(luò)模型結(jié)構(gòu)的驗(yàn)證樣本.最后,選取剩余10%(樣本編號(hào)901–1000)樣本作為預(yù)測(cè)集樣本.本文設(shè)計(jì)驗(yàn)證集的主要目的是為了在訓(xùn)練階段選擇合適的ESN模型結(jié)構(gòu).含有1000個(gè)樣本的系統(tǒng)輸入如圖4及其對(duì)應(yīng)的系統(tǒng)輸出如圖5所示.

圖4 NARMA模型輸入序列

圖5 NARMA模型輸出序列

3.2.2 Mackey-Glass混沌系統(tǒng)

Mackey-Glass時(shí)間序列是從時(shí)延差分系統(tǒng)導(dǎo)出,其方程如式(8)所示:

其中,x(t)是時(shí)間序列在時(shí)刻t時(shí)的取值.a、b和c為參數(shù),通常取a=0.2、b=10 和c=0.1.Farmer對(duì)Mackey-Glass方程的行為特性做過深入研究,研究結(jié)果表明當(dāng)時(shí)滯參數(shù) τ>16.8 時(shí) 該方程呈現(xiàn)混沌性,并且τ 值越大,混沌程度越高[19].本文依照一般情況設(shè)置時(shí)滯參數(shù)取值為τ =17.

在本實(shí)驗(yàn)中,我們?cè)O(shè)定Mackey-Glass時(shí)間序列樣本大小為1000.訓(xùn)練集、驗(yàn)證集和測(cè)試集樣本的劃分同NARMA模型一樣,即編號(hào)1–800的樣本作為訓(xùn)練集,編號(hào)801–900的樣本作為驗(yàn)證集和編號(hào)901–1000的樣本作為測(cè)試集.使用二階Runge-Kutta方法以步長為0.1構(gòu)造的樣本長度為1000的時(shí)間序列如圖6所示.

圖6 Mackey-Glass時(shí)間序列

3.2.3 性能評(píng)估標(biāo)準(zhǔn)

用于測(cè)量時(shí)間序列預(yù)測(cè)模型性能的指標(biāo)多種多樣,本文將采用均方根誤差(Root Mean Square Error,RMSE)作為評(píng)估預(yù)測(cè)精度指標(biāo),其定義如式(9)所示:

3.3 參數(shù)設(shè)置與分析

3.3.1 參數(shù)設(shè)置

本文所提出的預(yù)測(cè)模型的性能受ESN結(jié)構(gòu)選擇和相應(yīng)參數(shù)設(shè)置的影響.結(jié)合本文所使用的兩個(gè)時(shí)間序列數(shù)據(jù)集的特點(diǎn),擬采用ESN的結(jié)構(gòu)參數(shù)如下:(1)輸入層單元的數(shù)目為2(在每個(gè)時(shí)刻t,ESN有一個(gè)常數(shù)輸入0.1);(2)儲(chǔ)備池的大小從集合{ 20,30,50}中選擇;(3)輸出層單元數(shù)目為1.ESN的其它的參數(shù),比如儲(chǔ)備池內(nèi)部連接權(quán)值矩陣譜半徑SR和儲(chǔ)備池稀疏性SP根據(jù)已有文獻(xiàn)的推薦進(jìn)行設(shè)置,即SR=0.8 和SP=5%[12].輸入單元尺度IC及位移尺度IS分別設(shè)置為IC=0.3和IS=?0.2.

關(guān)于BSA和ABSA的參數(shù)設(shè)置主要是基于一列實(shí)驗(yàn)和已有參考文獻(xiàn)的推薦.BSA和ABSA的具體參數(shù)設(shè)置如下:(1)種群大小均設(shè)置為100;(2)最大迭代次數(shù)均設(shè)置為100;(3)交叉概率mixrate均設(shè)置為1.0[13];(4)BSA的變異因子F設(shè)置為F=3?randn(randn∈N(0,1),N(0,1)是標(biāo)準(zhǔn)正太分布)[13],而ABSA的最大和最小的變異因子分別設(shè)置為0.9和0.1.另外,GA和DE的參數(shù)分別設(shè)置如下:(1)種群大小設(shè)置為100;(2)最大迭代次數(shù)設(shè)置為100;(3)交叉概率為0.6;(4)變異概率為0.01.

3.3.2 自適應(yīng)變異因子F取值分析

ABSA的變異因子F取值如圖7所示.從圖中可以看出,在算法迭代初期變異因子F取值較大(第一個(gè)迭代階段,F取值為最大設(shè)定值0.9).此時(shí),ABSA的種群中的個(gè)體以較大概率進(jìn)行變異,ABSA主要是在種群個(gè)體空間中進(jìn)行全局尋優(yōu),形成的新種群個(gè)體隨機(jī)分布在個(gè)體空間之中且個(gè)體之間的關(guān)聯(lián)性較小.可以說,ABSA在迭代初期的全局尋優(yōu)能力非常強(qiáng)而局部尋優(yōu)能力非常弱,種群個(gè)體的相似性很小.隨著迭代過程的更迭,變異因子F取值逐步減小,ABSA種群中的優(yōu)秀個(gè)體逐漸沉淀并且這些優(yōu)秀個(gè)體以逐漸減小的概率進(jìn)行變異.此時(shí),ABSA逐漸由全局尋優(yōu)轉(zhuǎn)變?yōu)榫植繉?yōu).新種群的形成主要是圍繞已經(jīng)獲得的優(yōu)秀個(gè)體進(jìn)行局部尋優(yōu).即隨著迭代的進(jìn)行,ABSA的局部尋優(yōu)能力逐漸加強(qiáng)而全局尋優(yōu)能力逐漸減弱,種群個(gè)體的相似性逐漸加強(qiáng).直到迭代進(jìn)行到后期(圖7中的迭代次數(shù)達(dá)到90次左右),變異因子F取值趨于穩(wěn)定(最小設(shè)定值0.1),ABSA已經(jīng)由全局尋優(yōu)過渡到局部尋優(yōu).此時(shí),ABSA全局尋優(yōu)能力非常弱而局部尋優(yōu)能力非常強(qiáng).所以,ABSA的自適應(yīng)變異因子取值策略能夠平衡算法的全局尋優(yōu)能力和局部尋優(yōu)能力.

圖7 ABSA的變異因子F取值曲線

3.4 參數(shù)設(shè)置與分析

對(duì)于本文所使用的5個(gè)預(yù)測(cè)模型中的每個(gè)預(yù)測(cè)模型,在訓(xùn)練階段由于ESN儲(chǔ)備池大小不同而會(huì)設(shè)計(jì)3個(gè)候選模型結(jié)構(gòu),并且根據(jù)驗(yàn)證集的結(jié)果選擇一個(gè)最優(yōu)模型結(jié)構(gòu)作為該預(yù)測(cè)模型的最優(yōu)結(jié)構(gòu).表1給出所有5種預(yù)測(cè)模型的最優(yōu)模型結(jié)構(gòu).5種預(yù)測(cè)模型在兩個(gè)時(shí)間序列數(shù)據(jù)集上的性能分別如圖8 (NARMA模型)和圖9 (Mackey-Glass混沌系統(tǒng))所示,其中“Actual”代表時(shí)間序列數(shù)據(jù)集的期望值.在以RMSE為誤差度量評(píng)價(jià)標(biāo)準(zhǔn)的前提下,5種預(yù)測(cè)模型在兩個(gè)時(shí)間序列數(shù)據(jù)集上的誤差如表2所示(最優(yōu)的預(yù)測(cè)結(jié)果用黑體特別標(biāo)注).

表1 5種預(yù)測(cè)模型的最優(yōu)模型結(jié)構(gòu)

圖8 NARMA上5種模型的預(yù)測(cè)值和期望值

圖9 Mackey-Glass上5種模型的預(yù)測(cè)值和期望值

表2 5種預(yù)測(cè)模型的最優(yōu)結(jié)果(以RMSE為度量方式)

為了評(píng)估兩個(gè)相比較模型之間的性能差異,相對(duì)誤差將被采用作為度量方法.相對(duì)誤差是一種流行的用于比較兩個(gè)方法之間的性能的度量方法[20].對(duì)于兩種方法A(基本方法)和B(對(duì)比方法),其誤差分別記為δA和 δB,則相對(duì)誤差為相對(duì)誤差小于0,說明對(duì)比方法B比基本方法A性能更優(yōu).另外,相對(duì)誤差的平均指兩種比較方法在兩個(gè)或兩個(gè)以上數(shù)據(jù)集上的相對(duì)誤差的平均值.相對(duì)誤差的均值小于0說明對(duì)比方法B相對(duì)于基本方法A在所有數(shù)據(jù)集上預(yù)測(cè)性能有改進(jìn).

3.4.1 優(yōu)化的ESN與標(biāo)準(zhǔn)的ESN

在本文中,為了驗(yàn)證所提出的使用進(jìn)化算法優(yōu)化的ESN (GA_ESN、DE_ESN、BSA_ESN和ABSA_ESN)與標(biāo)準(zhǔn)的ESN之間的預(yù)測(cè)性能差異,將使用標(biāo)準(zhǔn)的ESN作為基本方法,使用GA_ESN、DE_ESN、BSA_ESN和ABSA_ESN作為對(duì)比方法進(jìn)行預(yù)測(cè)性能比較.表3給出了兩兩比較模型之間的相對(duì)誤差.

表3 兩種比較模型之間相對(duì)誤差(以ESN為基本方法)

從表3可以得出:標(biāo)準(zhǔn)的ESN預(yù)測(cè)模型無論是在單個(gè)數(shù)據(jù)集還是在兩個(gè)數(shù)據(jù)集作為整體的性能評(píng)估中,其性能都只比GA_ESN優(yōu)越而比DE_ESN、BSA_ESN和ABSA_ESN等預(yù)測(cè)模型差.具體而言,GA_ESN相對(duì)于ESN的性能單獨(dú)在NARMA和Mackey-Glass上分別下降34.29%和2.02%,在兩個(gè)數(shù)據(jù)集的整體性能上平均下降18.15%(如表3最后一列“MEAN”所示).而DE_ESN、BSA_ESN和ABSA_ESN相對(duì)于ESN單獨(dú)在兩個(gè)數(shù)據(jù)集上的性能分別提升7.62%/11.62%、8.57%/18.18%和16.19%/36.36%,在兩個(gè)數(shù)據(jù)集的整體性能上平均提升9.62%,13.38%和26.28%(如表3最后一列“MEAN”所示).總體來說,使用進(jìn)化算法對(duì)ESN的輸出連接權(quán)值矩陣Wout進(jìn)行優(yōu)化能夠提升ESN的預(yù)測(cè)性能.

3.4.2 ABSA_ESN與其他4種模型

由3.4.1小節(jié)可知,使用進(jìn)化算法對(duì)ESN的輸出連接權(quán)值矩陣Wout進(jìn)行優(yōu)化相對(duì)于標(biāo)準(zhǔn)的ESN具有一定的性能優(yōu)勢(shì).本節(jié)將具體討論本文所提出的ABSAESN相對(duì)于標(biāo)準(zhǔn)的ESN和其他3種優(yōu)化的ESN的優(yōu)勢(shì)體現(xiàn).具體而言,將ABSA-ESN作為對(duì)比方法,而ESN、GA-ESN、DE-ESN和BSA-ESN等分別作為基本方法,然后比較它們兩兩之間的模型性能.表4列出了兩兩相比較模型之間的相對(duì)誤差.

表4 兩種比較模型之間相對(duì)誤差(以ABSA_ESN為對(duì)比方法)

從表4可以得出:ABSA_ESN預(yù)測(cè)模型比所提出的其他4種預(yù)測(cè)模型ESN、GA_ESN、DE_ESN和BSA_ESN的預(yù)測(cè)精度大幅提升,具體體現(xiàn)在以下兩個(gè)方面:

(1)當(dāng)單獨(dú)關(guān)注NARMA或者M(jìn)ackey-Glass數(shù)據(jù)集時(shí),ABSA_ESN能夠比ESN、GA_ESN、DE_ESN和BSA_ESN等模型在兩個(gè)數(shù)據(jù)集上都能獲得更好的預(yù)測(cè)結(jié)果,主要表現(xiàn)在ABSA_ESN在兩個(gè)數(shù)據(jù)集上的預(yù)測(cè)精度提升比例分別為16.19%/36.36%、37.59%/37.62%、9.23%/28%和8.33%/22.22%.

(2)當(dāng)關(guān)注所有5種預(yù)測(cè)模型在兩個(gè)數(shù)據(jù)集上的總體性能時(shí),ABSA_ESN模型比其他4個(gè)模型在預(yù)測(cè)精度上也有大幅提升.ABSA_ESN模型相對(duì)于ESN、GA_ESN、DE_ESN和BSA_ESN等模型的平均相對(duì)誤差提升比例分別為26.28%、37.61%、18.64%和15.28%.這個(gè)信息如表4中最后一列“MEAN”所示.

由此可見,本文提出的使用自適應(yīng)回溯搜索算法優(yōu)化的回聲狀態(tài)網(wǎng)絡(luò)模型(ABSA_ESN)能夠比未優(yōu)化的回聲狀態(tài)網(wǎng)絡(luò)模型(ESN)和采用其他進(jìn)化算法優(yōu)化的回聲狀態(tài)網(wǎng)絡(luò)模型(GA_ESN、DE_ESN和BSA_ESN)在兩個(gè)混沌時(shí)間序列數(shù)據(jù)集上獲得更好的預(yù)測(cè)精度.

4 結(jié)束語

本文提出使用自適應(yīng)回溯搜索算法優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)的時(shí)間序列預(yù)測(cè)模型(ABSA_ESN),以解決標(biāo)準(zhǔn)回聲狀態(tài)網(wǎng)絡(luò)中使用的線性方法求解輸出連接權(quán)值矩陣容易陷入過擬合的問題,從而提升回聲狀態(tài)網(wǎng)絡(luò)的預(yù)測(cè)性能.為了驗(yàn)證本文所提出ABSA_ESN在時(shí)間序列預(yù)測(cè)問題上的可行性和有效性,本文還設(shè)計(jì)了4種預(yù)測(cè)模型用于比較,它們分別是標(biāo)準(zhǔn)的回聲狀態(tài)網(wǎng)絡(luò)(ESN)、遺傳算法的優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)(GA_ESN)、差分進(jìn)化算法優(yōu)化的回聲狀態(tài)網(wǎng)絡(luò)(DE_ESN)和標(biāo)準(zhǔn)回溯搜索算法優(yōu)化的回聲狀態(tài)網(wǎng)絡(luò)(BSA_ESN).通過對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析可以得出如下結(jié)論:(1)使用進(jìn)化算法優(yōu)化的ESN (GA_ESN、DE_ESN、BSA_ESN和ABSA_ESN)相對(duì)于標(biāo)準(zhǔn)的ESN在預(yù)測(cè)性能上具有一定的優(yōu)勢(shì);(2)ABSA_ESN相對(duì)于4種對(duì)比模型能夠獲得更好的預(yù)測(cè)精度.值得注意的是本文使用的是基本結(jié)構(gòu)的回聲狀態(tài)網(wǎng)絡(luò),其自身性能可能會(huì)受到一定的限制.在未來,可以研究使用其他更加有效的進(jìn)化算法優(yōu)化具有復(fù)雜結(jié)構(gòu)的回聲狀態(tài)網(wǎng)絡(luò)的輸出連接權(quán)值矩陣,進(jìn)一步提升回聲狀態(tài)網(wǎng)絡(luò)的性能.