基于壓縮感知的回聲狀態(tài)神經網(wǎng)絡在時間序列預測中的應用

李莉 於志勇 黃日方菀

摘要：數(shù)據(jù)預測作為城市計算的一部分，在幫助理解各種城市現(xiàn)象本質及預測城市未來中有著舉足輕重的作用?；芈暊顟B(tài)神經網(wǎng)絡作為一種新型的循環(huán)神經網(wǎng)絡模型，廣泛應用于數(shù)據(jù)預測領域。傳統(tǒng)的回聲狀態(tài)神經網(wǎng)絡由輸入層、儲備池和輸出層3個部分組成，其儲備池中具有大量稀疏連接的神經元，對輸入數(shù)據(jù)進行非線性變換可輸出高維的內部狀態(tài)。針對高維變換在求解輸出權值矩陣時的耗時問題，提出一種基于壓縮感知方法的回聲狀態(tài)神經網(wǎng)絡，利用測量矩陣，將高維的內部狀態(tài)壓縮成低維后再求解輸出權值矩陣。混沌時間序列預測實驗結果表明，相對于傳統(tǒng)模型，該方法能在誤差損失允許范圍內，將計算時間最大程度降低到40%左右。

關鍵詞：數(shù)據(jù)預測;回聲狀態(tài)神經網(wǎng)絡;儲備池計算;壓縮感知;時間序列預測

DOI： 10.11907/rjdk.192786

開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP306

文獻標識碼：A

文章編號：1672-7800（2020）004-0009-05

Echo State Networks Based on Compressed Sensing Applied to

Time Series Prediction

1.2

LI Li'.2 ， YU 2hi-yong"2 ， HUANG Fang-wan（1.College of Math.enzatic.s and Computer Science . Fuzhou Urziver.sity; 2. Fujian Provirzcial Kev Laboratory of lVetworking Conzputing

and Intelligent Information Proce.s.sing ， Fuzhou Univer.sity . Fuzhou 350116 . China ）Abstract ： As a part of' urban compu ting， data prediction play s an important role in understanding the natu re of various urban phenome-na and predicting the future of cities. As a new ty pe of' circular neural network model. echo state network （ ESN） has heen widely usedin the field of data prediction in recent years. The traditional ESN consists of three parts ： input layer， reservoir and output layer. Thereservoir has a large nuruber of sparsely connected neurons and outputs high-dimensional internal states through nonlinear transforina-tion of input data. It is time-consuming to solve the output weight matrix by high-dimensional transformation. To solve this problem，this paper proposes an ESN based on corupressed sensing method， ，，-hich corupresses the high-diruensional internal state into thelow-dirnensional by using a discrete cosine transf'orru matrix . and then solves the output weight matrix. The experimental results of cha-otic time series prediction show that corupared with the traditional model. this method can reduce the computation time to about 35% inthe allowable range of error loss.Key Words： data prediction; echo state networks; reservoir computing; compressed sensing; time series prediction

O 引言

時間序列預測指基于先前獲取的一段時間內的某個系統(tǒng)相關變量的值，借助一定的方法對該變量的未來值進行預測…。其在交通流、空氣質量、電力負荷等領域，對幫助理解各種城市現(xiàn)象的本質，更好地服務城市居民生活起著舉足輕重的作用。

收稿日期：2019-12-22

基金項目：國家自然科學基金項目（61772136）

作者簡介：李莉（1995-），女，福州大學數(shù)學與計算機科學學院碩士研究生，研究方向為數(shù)據(jù)預測;於志勇（1982-），男，博士，福州大學

數(shù)學與計算機科學學院副教授，博士生導師，研究方向為普適計算;黃防菀（1980-），女，碩士，福州大學數(shù)學與計算機科學

學院講師，研究方向為智能計算、數(shù)據(jù)挖掘。本文通訊作者：黃防菀。

在眾多時間序列預測方法中，循環(huán)神經網(wǎng)絡（Recur-rent Neural Network.RNN）利用隱藏層的白連接，能夠有效保留輸入信息，以發(fā)現(xiàn)數(shù)據(jù)中可能相距很遠的事件之間的時間相關性，逐漸成為時間序列預測研究熱點[2]。從理論上來說，RNN能夠適用于任意步長的時間序列預測，但是由于傳統(tǒng)RNN采用隨時間的反向梯度傳播算法（BackPropagation Through Time，BPTT）進行參數(shù)訓練，隨著RNN在時間維度上層數(shù)的加深，會帶來梯度消失或梯度爆炸等問題，從而造成網(wǎng)絡性能下降[3]。

針對這些問題，Jaeger[4]提出了回聲狀態(tài)神經網(wǎng)絡（]Echo State Neural Network.ESN），為解決RNN的梯度問題開辟了新途徑。作為一種新型的RNN，ESN引入了儲備池計算概念。當外部數(shù)據(jù)輸入時，會在儲備池內部形成復雜、非線性映射關系。ESN用一個巨大的、隨機生成且保持不變的儲備池替代傳統(tǒng)RNN的中間隱層。由于ESN的輸入權值和儲備池白連接權值都是隨機生成的，因此在學習訓練過程中，ESN只需要學習輸出連接權值，這大大降低了訓練階段的計算復雜度，同時也避免了BPTT算法帶來的梯度問題。

ESN儲備池在具備上述優(yōu)點的同時也帶來了一個新問題：為了得到輸入信息的高維表示，儲備池通常設計的非常龐大，其產生的高維內部狀態(tài)在求解儲備池到輸出層的連接權值時要耗費許多時間。因此，本文提出一種基于壓縮感知（ Compressed Sensing，CS）的回聲狀態(tài)神經網(wǎng)絡CS-ESN，在高維的內部狀態(tài)投入到計算輸出連接權值之前，先用一個測量矩陣對其進行壓縮，在誤差損失允許范圍內甚至減少誤差的情況下，明顯降低計算輸出連接權值的運行時間，提高模型計算效率。

1 相關工作

ESN憑借儲備池計算這一特點，廣泛應用于強化學習”1、非線性系統(tǒng)識別[6]、認知建模[7]等領域，其最成熟的應用集中在時間序列預測上[8-9]。

ESN儲備池計算的基本思想是生成一個足夠大的復雜動態(tài)空間，當這個動態(tài)空間達到一定的復雜度時，就可利用內部狀態(tài)線性地組合出所需要的對應輸出[10]。儲備池規(guī)模在前人的經驗結論中為節(jié)點越多，能表現(xiàn)的系統(tǒng)就越復雜，所以ESN需要遠大于一般神經網(wǎng)絡的節(jié)點規(guī)模，這就導致儲備池計算往往建立在高維變換基礎上。計算復雜度的提高與計算效率的降低成為不得不考慮的問題。因此，如何生成一個合適的儲備池一直是ESN的研究重點。

ESN的另一研究重點是如何得到儲備池與輸出層之間的輸出連接權值矩陣。常見的求解方法包括偽逆法、嶺回歸法、奇異值分解法等，但在求解輸出連接權值矩陣時，因為儲備池規(guī)模較大，通常容易出現(xiàn)求解復雜的問題。為解決儲備池對輸入數(shù)據(jù)進行高維變換后帶來的這一問題，Vladimir等[11]提出了4種稀疏線性回歸算法，如Lasso、Elastic Net等，在訓練ESN的輸出連接權值時減少矩陣中至少80%的權重個數(shù)，從而達到降維效果;Sigu-d LCikse等[12]在其論文中，將主成分分析法（Principal ComponentAnalvsis，PCA）與ESN相結合，即儲備池輸出高維的內部狀態(tài)后，先通過PCA方法映射到一個低維子空間，得到低維的內部狀態(tài)，再投入到計算輸出連接權值中。在時間序列預測的實驗中，兩種方法都能夠很好地對高維數(shù)據(jù)進行降維處理，從而減少ESN的計算復雜度，且對模型精度有所提升。近年來利用壓縮感知技術進行數(shù)據(jù)壓縮逐漸成為代替PCA的主流方法。壓縮感知利用高維數(shù)據(jù)潛在的稀疏特性，相較于奈奎斯特采樣理論，可從較少的測量值中還原出原始數(shù)據(jù)。

2 CS-ESN

2.1 ESN模型簡介

ESN是利用儲備池計算進行訓練的循環(huán)神經網(wǎng)絡模型，由輸入層、儲備池和輸出層3部分組成。儲備池中包含大量神經元（數(shù)量為幾百個甚至上千個），神經元之間采用隨機稀疏連接。ESN結構如圖l所示。

圖1中，ESN除必不可少的輸入層一儲備池、儲備池一儲備池和儲備池一輸出層之間的連接（實線箭頭）外，還加入了輸入層一輸出層（虛線箭頭）的直接連接。K、N和L分別表示輸入層、儲備池和輸出層的神經元個數(shù)。和分別表示輸入層一儲備池、儲備池一儲備池、儲備池一輸出和輸入層一輸出層的連接權值矩陣。和以下統(tǒng)稱為輸出連接權值矩陣，需要通過訓練得到，其它矩陣在網(wǎng)絡中為隨機初始化生成。

在t時刻，ESN的輸入向量為X（t）∈RK，儲備池內部狀態(tài)向量為u（t）∈RN，輸出向量為y（t）∈RL。儲備池內部狀態(tài)更新和輸出公式定義如下：

其中，通常為非線性激活函數(shù)tanh，通常為線性函數(shù)， 為一個很小的噪聲項。

李莉，於志勇，黃昉菀：基于壓縮感知的回聲狀態(tài)神經網(wǎng)絡在時間序列預測中的應用

為了更好地訓練 ，本文采用長度為s的訓練序列S（輸入一輸出對）：

在網(wǎng)絡初始階段，先隨機初始化生成 和 ，投入序列S的輸人 運行網(wǎng)絡進行訓練，根據(jù)公式（1）得到內部狀態(tài)序列 ，… 。初始階段的內部狀態(tài)一般需要丟棄，可從某個時刻h開始記錄內部狀態(tài)，將相應的輸入向量和內部狀態(tài)向量一起構成矩陣M，將對應的目標輸出向量構成矩陣Z：

本文采用偽逆法，即采用線性回歸的矩陣偽逆計算，通過將M的偽逆與Z相乘計算輸出連接權值：

2.2 結合測量矩陣的CS-ESN模型

壓縮感知理論指出，只要信號是可壓縮的或在某個變換域是稀疏的，那么就可用一個測量矩陣將變換所得高維信號投影到一個低維空間上，然后通過求解一個優(yōu)化問題，就可從這些少量的投影中以高概率重構出原信號[13]。。在壓縮感知問題中，測量矩陣經常為隨機矩陣，比如均值為0，有一定的高斯分布矩陣等，其行數(shù)遠小于列數(shù)。目前比較常見的測量矩陣包括高斯隨機矩陣、隨機伯努利矩陣、特普利茨矩陣和結構隨機矩陣等。利用測量矩陣進行壓縮處理的結構如圖2所示。

如圖2所示，g為n維的向量，D為mxn大小的測量矩陣。向量g與測量矩陣D相乘后，從n維降到m維，得到向量 ，從而達到壓縮效果。

本文的CS-ESN根據(jù)實際需求生成一個測量矩陣，在利用高維的內部狀態(tài)計算輸出連接權值 .之前，增加一個壓縮處理步驟，即儲備池輸出高維的內部狀態(tài)后，通過測量矩陣映射到一個低維的子空間，得到低維的內部狀態(tài)再用于輸出連接權值 的計算。結合測量矩陣的CS-ESN結構如圖3所示。

從圖3可以看出，在ESN訓練階段，訓練序列的輸人x（t）投入到儲備池中得到高維的內部狀態(tài)u（t），觀測矩陣與其相乘進行壓縮得到低維的內部狀態(tài) （t）后，將其投入到輸出層求解輸出連接權值 。假設ESN的儲備池大小為1000維，輸人x（t）為10維，輸出 為1維。當輸入被投入到儲備池中時，便會由儲備池進行一個非線性的1000維變換，得到的內部狀態(tài)u（t）為1000維。此時直接將內部狀態(tài)u（t）投入輸出層進行連接權值矩陣 的計算，要耗費的時間即為1000維的內部狀態(tài)與10維的輸入l維堆疊后得到的矩陣，以及輸出y（t）訓練得到連接權值矩陣 。如果在內部狀態(tài)u（t）投入到輸出層之前，先將其壓縮到400維，即利用一個400×l000大小的測量矩陣，將測量矩陣與內部狀態(tài)相乘得到400維的內部狀態(tài) （f），再根據(jù)上述步驟去訓練連接權值矩陣 ，所要耗費的時間便可隨著內部狀態(tài)u（t）的壓縮而降低，ESN的計算效率隨之提高。

測量矩陣包含隨機測量矩陣和確定性測量矩陣。隨機矩陣中的高斯矩陣和伯努利矩陣都能以很大概率滿足RIP，即約束等距條件[4]。（RIP條件從理論上看是實現(xiàn)壓縮感知的測量矩陣的最佳約束條件）。隨機測量矩陣優(yōu)點是所需測量數(shù)較少，但其具有不確定性、存儲量大等缺點。確定性測量矩陣包括循環(huán)測量矩陣、Chirp測量矩陣等，是另一種常用的壓縮感知測量矩陣，計算復雜度低，相對于隨機測量矩陣有優(yōu)勢，實際應用能力較強。

本文選擇的測量矩陣為高斯隨機矩陣GRM（ GaussianRandom Matrix）與確定性測量矩陣中的離散余弦變換DCT（Discrete Cosine Transfonn）矩陣。

GRM構造形式為：對于一個rnxn的矩陣 ，其矩陣中的元素 ，是獨立的隨機變量且服從如下分布：

即服從期望為0，方差為1/m的高斯分布[15]。該測量矩陣具有很強的隨機性，具有較大概率滿足RIP條件，在壓縮感知過程中廣泛使用。

DCT矩陣是與傅里葉變換相關的一種變換，它類似于離散傅里葉變換，但是字典的元素均為實數(shù)[16]。在對確定的變換矩陣的正交變換中，DCT被認為是一種最佳變換。對于一個長度為n的一維離散時間序列信號，其離散余弦變換序列為。DCT矩陣用數(shù)學表示如下：

3 實驗

3.1數(shù)據(jù)集簡介

本文選用時間序列預測中常用的兩個基準任務，即Mackev-Glass時間序列預測和NARMA信號。

Mackev-Glass（MG）時間序列中的輸入信號由MG時滯微分系統(tǒng)生成，公式如下：

其中， 通常設為0.1，參數(shù)r=17，初始值x（01=1.2。時間序列一共生成4994個觀測點，前70%作為訓練集，用來學習輸出連接權值 ，后30%作為測試集，用來評估回聲狀態(tài)神經網(wǎng)絡模型的學習效果。

Non-Linear Auto-Regres sive

Moving（ NARMA）數(shù)據(jù)集最初由Jaeger[17]提出，包含對下列r階系統(tǒng)輸出建模：

系統(tǒng)的輸入x（n）為[O，1]間隨機分布的噪聲。NAR-MA任務需要至少r個過去時間步的記憶，因為系統(tǒng)的輸出 由輸入和第r個時間步的輸出決定，通常設定r=10。數(shù)據(jù)集一共包含10000個點，訓練集與測試集的劃分與作用同MG數(shù)據(jù)集一樣。圖4分別展示兩個數(shù)據(jù)集前200個輸入的復雜情況。

3.2評價指標

為了對比ESN與CS-ESN兩種模型效果，本文選用標準化均方根誤差NRMSE（Normalized Root Mean Squared Er-ror）與運行時間RT（Running Time）作為評價指標。NRMSE公式定義如下：

其中 表示求平均，y為ESN網(wǎng)絡輸出 ，為目標輸出。

RT為計算內部狀態(tài)和輸出連接矩陣的總時間，以秒為單位。

3.3實驗設置

儲備池是ESN的核心結構，ESN的最終性能由儲備池的各個參數(shù)決定。儲備池參數(shù)有儲備池大小N、儲備池譜半徑，）和儲備池稀疏度 。從圖4可以明顯看出，同樣數(shù)量的輸人數(shù)據(jù)，NARMA相對于MG而言更無規(guī)律性，復雜度更高。因此，ESN模型參數(shù)對于兩個數(shù)據(jù)集的設置情況也有所不同，主要體現(xiàn)在儲備池規(guī)模上。

根據(jù)前期工作，本文將ESN模型參數(shù)設置如表l所示。

表1中 ，為噪聲項，即為ESN加入一個偏置。ESN在求解輸出連接權值時使用偽逆法，容易導致病態(tài)解問題，文獻[18]建議在內部狀態(tài)上加入噪聲項以改變矩陣性質，從而改善解的性能。根據(jù)ESN定義，要使儲備池保持“回聲狀態(tài)屬性”譜半徑應滿足p

3.4實驗結果與分析

考慮到實驗中運行時間RT略有浮動，實驗結果取10次運行的平均。GRM中CS-ESN的NRMSE值受隨機生成影響，取其最好結果，DCT中CS-ESN的NRMSE值不變且唯一。實驗結果對比如表3和表4所示，其中維數(shù)指參與計算輸出連接權重的內部狀態(tài)維數(shù)。

李莉，於志勇，黃昉菀：基于壓縮感知的回聲狀態(tài)神經網(wǎng)絡在時間序列預測中的應用

從表3和表4可得出以下結論：①CS-ESN通過將儲備池的內部狀態(tài)進行壓縮降維操作，可有效降低網(wǎng)絡訓練的運行時間。對于MG數(shù)據(jù)集而言，當結合GRM的CS-ESN將儲備池從原來的800維壓縮到400維時，NRMSE僅比原始模型略大一點，RT已能夠降低到原始模型的52%左右;壓縮到200維時，RT最高降到原始模型的40%左右。對于NAMRA數(shù)據(jù)集而言，也有類似結論;②不可否認的是，在對內部狀態(tài)進行壓縮降維的同時，會丟失部分信息，從而造成預測精度下降。對于MG數(shù)據(jù)集而言，由于數(shù)據(jù)集的復雜度不高，CS-ESN可以把內部狀態(tài)從800維壓縮到200維，且精度仍保持在較好范圍內。但是對于復雜度較高的NARMA數(shù)據(jù)集而言，當內部狀態(tài)壓縮超過原有維度的50%（500維）后，其預測精度將出現(xiàn)明顯下降，這意味著在今后T作中必須考慮在不同數(shù)據(jù)集上，CS-ESN針對預測精度和網(wǎng)絡訓練時間的平衡問題;③從測量矩陣的選擇來看，結合GRM的CS-ESN相對于結合DCT的CS-ESN在NRMSE和RT上普遍要好，其原因是本文對GRM進行了10次隨機，并選取了最好的結果。有可能存在一個測量矩陣使CS-ESN壓縮后的精度與原始模型相同，甚至比原始更高，這是本文后續(xù)研究工作的重點;④儲備池的參數(shù)配置也是一個有待研究的問題。本文實驗中CS-ESN與ESN所處條件相同，即參數(shù)配置都一樣，適合ESN模型的參數(shù)可使其達到很好的精度，卻不一定適用于CS-ESN模型。在未來研究中可考慮對壓縮后的ESN模型進行參數(shù)調整，以進一步提高CS-ESN的預測精度。

綜上所述可得出如下結論：如果精度損失在允許范圍內，基于壓縮感知的ESN模型能夠明顯降低原始ESN的運行時間，在一定程度上提高ESN的計算效率。

4 結語

本文結合壓縮感知理論提出一種改進的回聲狀態(tài)神經網(wǎng)絡CS-ESN。在時間序列預測的基準數(shù)據(jù)集上進行實驗，證明在與ESN處于相同的配置條件下，CS-ESN使用測量矩陣將高維的內部狀態(tài)壓縮到一定維度時，能夠明顯降低計算時間，且損失精度仍在擬合效果較好范圍內。在壓縮感知理論中，測量矩陣設計很關鍵，后續(xù)工作可以采用字典學習或參數(shù)設計方法得到一個性能較好的測量矩陣，并通過真實數(shù)據(jù)集驗證其有效性。這樣不僅能提升ESN的計算效率，還能增強ESN的預測能力，并且對動態(tài)儲備池分析也有價值。

參考文獻：

[1]史志偉，韓敏.ESN嶺回歸學習算法及混沌時間序列預測[J].控制與決策，2007，22（3）：258-261.

[2]BIANCHI F M. MAIORINO E. KAMPFFMEYER M C，et al. An orer-view and comparative analvsis of recurrent neural networks for shortterm

load forecasting [EB/OL].http：//www.doc88.corn/p-3773567817998.html 2017.

[3]JUN WAMIKAWA. JUN TANI. Building rec：urrent neural networks toimplement multiple attractor dYnamics using the gradient descentmethodFJl. Advances in Artificial Neural Svstems. 2009（8）：1-1 1

[4]JAECER H. The "echo state" approach to analysing and training re-current neural networks[M].uhervachtes lernen， 2001

[5]BLSH K， ANDERSON C.Modeliiig reward functinns for incompletestate representations via echo state networks[C]. IEEE InternationalJoint Conference on Neural Networks， 2005： 2995-3000.

[6]PALL G PLO'CER. ARCHIR A， TOBIAS CU"NTHER， et al. Echostate networks for mobile rohot modeling and contrr）l[C].Robot Soc-cer World Cup，2003： 157-168.

[7]RAO Y N， KIM S P.SANCHEZ J C. et al. Learnig mappings in brainmachine interfaces with echo state networks[Cl. IEEE InternatirinalConference on Acoustics， Speech， and Signal Processing， 2005：233-236.

[8]JAEGER H，HASS H. Harnessing nonlinearity： predicting chaotic sys-tems and saving energy in wireless communication[J]Scienc.e， 2004，304（ 5667）：78-86.

[9]韓敏，史志偉，郭偉.儲備池狀態(tài)空間重構與混沌時間序列預測[J]物理學報，2007.56（1）：43-49

[10]]羅熊，黎江，孫增圻.回聲狀態(tài)網(wǎng)絡的研究進展[j].工程科學學 報，2012， 34（2）： 217-222.

[11]CEPERIC V. BARIC A. Reducing complexity of echo state netwnrkswith sparse linear regression algorithms[C]. 2014 UKSim-AMSS16th International Conference on Computer Modelling and Simula-tion， Camhridge， 2014： 26-31.

[12]LKSE S，BIAhrCHI F M， JEhrSSEN R. Training echo state net-works with regularization thrr）ugh dimensionality reduction[J] Cr，g-nitive Cnmputation， 2017，9（3）：364-378.

[13]李峰，郭毅壓縮感知淺析[M]北京：科學出版社，2015.

[14]陳善雄.壓縮感知理論在異常檢測中的應用研究[M].北京：科學出版社.2017.

[15]黨駿，馬林華，田雨，等.m序列壓縮感知測量矩陣構[J]西安電子科技大學學報，2015（2）：186-192

[16]JAECER H. Adapti，'e nonlinear svstem identification .vith echo statenetworksF M]. Nips， 2002： 609-616.

[17]魯業(yè)頻，李鳳亭，陳兆龍，等.離散余弦變換編碼的現(xiàn)狀與發(fā)展研究[J]通信學報，2004. 25（2）：106-118

[18]黃標兵回聲狀態(tài)網(wǎng)絡時間序列預測方法及應用研究[D].長春：吉林大學，2017.

[19] JAEGER H. Long shorL-term memorv in echo statenetworks： Details of a simulation stu dv[R]Technical repnrt， Technical. Jacohs Univer- sitv Bremen.

[20]IAN GOODFELLOW， YOSHLiA BENCIO. AARON COLRVILLE.Deep LearningEM]Beij ing： Posts and Telecorn Press， 2017

（責任編輯：杜能鋼）