王 堃，鄭 晨，張立中，陳志剛

(1．中南大學(xué)計(jì)算機(jī)學(xué)院，湖南 長(zhǎng)沙 410083；2．國(guó)網(wǎng)寧夏電力有限信息通信公司，寧夏 銀川 753000)

1 引言

隨著人民生活水平的日益提高，電力企業(yè)的業(yè)務(wù)規(guī)模在不斷增長(zhǎng)，目前的系統(tǒng)運(yùn)維水平已難以支撐多變的業(yè)務(wù)場(chǎng)景和問(wèn)題。為了提高運(yùn)維效率，許多研究人員開(kāi)始致力于電力企業(yè)智能化運(yùn)維研究[1]。時(shí)間序列的預(yù)測(cè)分析是其中重要的一環(huán)。目前，時(shí)間序列預(yù)測(cè)已經(jīng)在工業(yè)環(huán)境中有了諸多經(jīng)典的應(yīng)用案例，如運(yùn)用自回歸AR(Auto Regressive)模型[2]、滑動(dòng)平均MA(Moving Average)模型[3]或自回歸滑動(dòng)平均ARMA(Auto Regressive Moving Average)[4]模型進(jìn)行負(fù)載預(yù)測(cè)。它融合了趨勢(shì)性、季節(jié)性等時(shí)間序列結(jié)構(gòu)的先驗(yàn)知識(shí)，對(duì)單一線性時(shí)間序列具有良好的預(yù)測(cè)性能。但是在現(xiàn)實(shí)場(chǎng)景中，內(nèi)存等性能指標(biāo)有著毛刺多、陡升陡降的特點(diǎn)。在預(yù)測(cè)這類(lèi)復(fù)雜的時(shí)間序列數(shù)據(jù)方面,傳統(tǒng)方法無(wú)法利用時(shí)間相關(guān)的特征，難以捕捉數(shù)據(jù)間的復(fù)雜模式。

近年來(lái)，在主機(jī)負(fù)載預(yù)測(cè)方面，國(guó)內(nèi)外的研究人員已經(jīng)開(kāi)展了廣泛的研究,并提出了一些行之有效的預(yù)測(cè)方案。文獻(xiàn)[5]將ARIMA(Auto Regressive Integrated Moving Average)模型與分類(lèi)回歸樹(shù)CART(Classification And Regression Tree)[6]相結(jié)合，采用了加權(quán)最小二乘法[7]和邊界判定[8]進(jìn)行優(yōu)化，模型組合的方式彌補(bǔ)了自回歸模型無(wú)法擬合非線性信息的缺陷，大大提高了預(yù)測(cè)精度。這些方法反映出自回歸預(yù)測(cè)模型不斷完善、融合和創(chuàng)新的過(guò)程。

然而，這些方法的一個(gè)關(guān)鍵問(wèn)題是誤差積累。在常見(jiàn)的統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)方法中，大多數(shù)模型采用了滾動(dòng)預(yù)測(cè)的策略。在預(yù)測(cè)過(guò)程中，將上一步的預(yù)測(cè)結(jié)果作為下一步預(yù)測(cè)模型的輸入，這種誤差的累積效應(yīng)造成了數(shù)據(jù)的預(yù)測(cè)性能隨著預(yù)測(cè)距離的增加而急劇下降。因此，在優(yōu)化時(shí)間序列預(yù)測(cè)模型結(jié)構(gòu)中，如何在減少誤差積累的同時(shí)提高預(yù)測(cè)性能已成為當(dāng)前研究的重要課題之一。文獻(xiàn)[9]在多步預(yù)測(cè)的基礎(chǔ)上，通過(guò)徑向基函數(shù)RBF(Radial Basis Functoin)神經(jīng)網(wǎng)絡(luò)利用歷史預(yù)測(cè)誤差對(duì)未來(lái)時(shí)刻預(yù)測(cè)值進(jìn)行修正，既解決了誤差累積問(wèn)題，也提高了預(yù)測(cè)準(zhǔn)確性。文獻(xiàn)[10]中的殘差遞歸神經(jīng)網(wǎng)絡(luò)R2N2(Residual RNN)將傳統(tǒng)的AR模型視為初始預(yù)測(cè)變量，并使用遞歸神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Network)估計(jì)殘差，從其實(shí)驗(yàn)結(jié)論可以看出，對(duì)殘差的補(bǔ)償大大提高了時(shí)間序列預(yù)測(cè)的準(zhǔn)確性。這2個(gè)方法為本文提供了研究思路。

在上述工作的基礎(chǔ)上，本文提出了基于誤差補(bǔ)償?shù)闹芷谛訟RIMA——SARIMA-LSTM(Seasonal Auto Regressive Integrated Moving Average-Long Short-Term Memory)預(yù)測(cè)模型。首先,建立周期性ARIMA模型SARIMA將時(shí)間序列進(jìn)行周期性分解，然后分開(kāi)預(yù)測(cè)。周期預(yù)測(cè)采用解離出的周期波動(dòng)值，趨勢(shì)預(yù)測(cè)使用ARIMA模型。對(duì)于SARIMA模型的預(yù)測(cè)誤差，本文采取了誤差自回歸預(yù)測(cè)的方法分析歷史誤差與未來(lái)誤差的關(guān)聯(lián)性。最終周期分量、ARIMA趨勢(shì)預(yù)測(cè)分量及誤差補(bǔ)償預(yù)測(cè)分量集成后得到預(yù)測(cè)結(jié)果。

2 方法與模型

對(duì)于給定的時(shí)間序列X={x1,x2,…,xn}，xi(1≤j≤n)表示n時(shí)刻時(shí)間序列的觀測(cè)值。本文建立的誤差補(bǔ)償負(fù)載預(yù)測(cè)模型主要是以時(shí)間序列X為輸入預(yù)測(cè)出n～n+v時(shí)刻數(shù)據(jù)值，并在一定程度上克服誤差累積效應(yīng),其中v表示預(yù)測(cè)時(shí)間步長(zhǎng)。具體技術(shù)原理將在2.1節(jié)和2.2節(jié)詳細(xì)闡述。

2.1 SARIMA模型

ARIMA模型[11]是一種基于時(shí)間序列的預(yù)測(cè)方法,它由ARMA模型發(fā)展而來(lái)，用于解決實(shí)際生產(chǎn)環(huán)境中非平穩(wěn)數(shù)據(jù)的預(yù)測(cè)問(wèn)題[12],例如經(jīng)濟(jì)領(lǐng)域內(nèi)的GDP和進(jìn)出口額等數(shù)據(jù)[13]。ARIMA模型的主要思想是通過(guò)差分方法消去序列的局部水平或者趨勢(shì)，再將差分后的序列應(yīng)用到ARMA模型中，借此來(lái)實(shí)現(xiàn)非平穩(wěn)時(shí)間序列的預(yù)測(cè)。ARIMA的建模公式如式(1)所示：

(1)

其中,yt代表時(shí)間序列X差分后在當(dāng)前時(shí)刻t的值；μ表示常數(shù)值;p和q分別表示AR模型和MA模型的階數(shù);et表示誤差值;γi表示自相關(guān)系數(shù);θi表示相關(guān)系數(shù)[14]。

在此基礎(chǔ)上的SARIMA模型考慮了周期性因素的影響，是指一種預(yù)測(cè)周期性時(shí)間序列的模型。為了消除時(shí)間序列中的周期變動(dòng)因素，一般采用STL(Seasonal and Trend decomposition using Loess)分解等方法進(jìn)行趨勢(shì)解離、預(yù)測(cè)[15]。其變化周期用s表示。周期為s的乘積SARIMA模型建模公式如式(2)和式(3)所示:

(2)

(3)

SARIMA的建模流程包括：數(shù)據(jù)預(yù)處理、周期性檢驗(yàn)、平穩(wěn)性檢驗(yàn)、差分、BIC(Bayesian Information Criterion)準(zhǔn)則[16]定階、建模求參和殘差檢驗(yàn)。其中，周期性檢驗(yàn)是SARIMA建模的重中之重，通過(guò)時(shí)序圖觀測(cè)法獲得周期值s，如圖1所示，橫坐標(biāo)為1天的24小時(shí)，多條線段代表不同日期內(nèi)每天的負(fù)載值變化趨勢(shì)。觀察發(fā)現(xiàn),9點(diǎn)到18點(diǎn)存在2個(gè)明顯的波峰曲線，即存在明顯周期變化趨勢(shì)，周期值為12小時(shí)。本文采取ADF(Augmeted Dickey-Fuller)檢驗(yàn)[17]，實(shí)驗(yàn)數(shù)據(jù)經(jīng)過(guò)一階差分就滿足了平穩(wěn)性要求。

Figure 1 Daily periodogram of memory load time series圖1 內(nèi)存負(fù)載時(shí)間序列的日周期圖

2.2 LSTM模型

LSTM網(wǎng)絡(luò)[18]，又叫長(zhǎng)短期記憶網(wǎng)絡(luò)，是遞歸神經(jīng)網(wǎng)絡(luò)RNN的一種變體，主要是為了解決在訓(xùn)練RNN網(wǎng)絡(luò)時(shí)存在的梯度爆炸和梯度消失問(wèn)題。這些問(wèn)題會(huì)造成特征輸入RNN時(shí),較早時(shí)間步的信息無(wú)法傳遞到較遠(yuǎn)的時(shí)間步中，使得整個(gè)網(wǎng)絡(luò)可能遺漏掉極為重要的信息。

LSTM的核心在于它建立了一條貫穿所有時(shí)間步的信息流，通過(guò)門(mén)控機(jī)制控制每個(gè)時(shí)間步信息在信息流中的保留與刪除。整體的模型結(jié)構(gòu)如圖2所示。LSTM在循環(huán)單元中采用了復(fù)雜的計(jì)算公式，其中最重要的核心結(jié)構(gòu)被稱為細(xì)胞狀態(tài)(Cell State)。細(xì)胞狀態(tài)是貫穿LSTM單元的信息流，在圖2中用Ct-1到Ct的直線箭頭流表示。

Figure 2 Structure of LSTM model圖2 LSTM模型結(jié)構(gòu)

下面詳細(xì)介紹LSTM單元的具體結(jié)構(gòu)：

(1)遺忘門(mén)(Forget Gate)。

在LSTM單元中，首先決定細(xì)胞要遺忘哪些信息。將上一單元的隱藏狀態(tài)ht-1和當(dāng)前單元的輸入序列xt輸入遺忘門(mén)，經(jīng)過(guò)sigmoid函數(shù)后生成輸出向量ft,其分量取值在[0,1]。向量中分量的值為0時(shí)，表示Ct-1的信息完全不保留；為1時(shí)，表示Ct-1的信息完全保留,具體如式(4)所示：

ft=σ(Wf·[ht-1,xt]+bf)

(4)

其中,σ(·)為神經(jīng)網(wǎng)絡(luò)中的sigmoid激活函數(shù)，Wf表示權(quán)重參數(shù)。

(2)輸入門(mén)(Input Gate)。

(5)

it=σ(Wi·[ht-1,xt]+bi)

(6)

其中,tanh表示神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)，WC和Wi表示權(quán)重參數(shù)，bC和bi表示偏置參數(shù)。

(3)更新門(mén)(Update Gate)。

經(jīng)過(guò)遺忘門(mén)和輸入門(mén)后，確定了丟棄和更新的信息。接著對(duì)細(xì)胞狀態(tài)進(jìn)行更新操作，得到Ct,具體如式(7)所示：

(7)

(4)輸出門(mén)(Output Gate)。

更新細(xì)胞狀態(tài)后，首先通過(guò)sigmoid函數(shù)處理輸入的ht-1和xt，得到判斷條件向量ot。然后，使細(xì)胞狀態(tài)Ct經(jīng)過(guò)tanh函數(shù)，得到每個(gè)分量取值為[-1,1]的向量值，該向量與ot相乘，得到LSTM單元的輸出ht，具體如式(8)和式(9)所示：

ot=σ(Wo[ht-1,xt]+bo)

(8)

ht=ot*tanh(Ct)

(9)

其中，Wo表示權(quán)重系數(shù)，bo表示偏置系數(shù)。

綜上所述，LSTM通過(guò)其內(nèi)部門(mén)控機(jī)制和模型循環(huán)結(jié)構(gòu)，實(shí)現(xiàn)了具有長(zhǎng)短期記憶的時(shí)間序列數(shù)據(jù)處理模型。

2.3 SARIMA-LSTM模型

ARIMA模型被廣泛應(yīng)用于設(shè)備狀態(tài)預(yù)測(cè)中，通過(guò)差分方法處理非平穩(wěn)數(shù)據(jù)，挖掘出歷史數(shù)據(jù)與預(yù)測(cè)數(shù)據(jù)的函數(shù)關(guān)系，實(shí)現(xiàn)數(shù)據(jù)預(yù)測(cè)并推測(cè)出置信區(qū)間。但是，傳統(tǒng)的ARIMA在進(jìn)行多步預(yù)測(cè)時(shí)，存在誤差累積現(xiàn)象，難以滿足預(yù)測(cè)精度的要求。為此，本文提出了SARIMA-LSTM模型，首先，通過(guò)STL分解建立SARIMA模型;然后,對(duì)其進(jìn)行誤差補(bǔ)償分析，利用誤差數(shù)據(jù)訓(xùn)練LSTM神經(jīng)網(wǎng)絡(luò)；訓(xùn)練完成后，利用現(xiàn)有歷史誤差數(shù)據(jù)預(yù)測(cè)未來(lái)誤差；最后，結(jié)合SARIMA模型的預(yù)測(cè)值和LSTM的誤差補(bǔ)償值得到指標(biāo)值未來(lái)12小時(shí)的預(yù)測(cè)值。

SARIMA-LSTM模型的建模流程如圖3所示。首先，進(jìn)行數(shù)據(jù)預(yù)處理，刪除無(wú)關(guān)指標(biāo)項(xiàng)后，取內(nèi)存值每小時(shí)的均值作為該小時(shí)的指標(biāo)值；然后，依據(jù)數(shù)據(jù)缺失狀況，采用K最近鄰插值法對(duì)數(shù)據(jù)進(jìn)行補(bǔ)全；最后，輸出SARIMA-LSTM模型預(yù)測(cè)結(jié)果。

Figure 3 Flow chart of SARIMA-LSTM modeling圖3 SARIMA-LSTM建模流程圖

2.4 模型評(píng)價(jià)指標(biāo)

本文的評(píng)價(jià)指標(biāo)采用相對(duì)均方誤差RMSE(Root Mean Square Error)[19]和決定系數(shù)R2[20]。均方根誤差RMSE對(duì)一組預(yù)測(cè)結(jié)果中的極大或極小誤差比較敏感，它可以反映出預(yù)測(cè)的精密度和整體偏差大小。RMSE值越小，代表模型預(yù)測(cè)越準(zhǔn)確。決定系數(shù)是用來(lái)衡量預(yù)測(cè)結(jié)果與真實(shí)樣本之間的相似程度，正常值處于[0,1]，結(jié)果越接近于1說(shuō)明預(yù)測(cè)模型的擬合效果越好。2個(gè)指標(biāo)的計(jì)算公式分別如式(10)和式(11)所示：

(10)

(11)

3 實(shí)驗(yàn)與分析

本文將提出的SARIMA-LSTM模型應(yīng)用于寧夏電力公司財(cái)務(wù)應(yīng)用服務(wù)器的內(nèi)存負(fù)載數(shù)據(jù)，采樣間隔為5 min。本文的所有方法基于Python3.8實(shí)現(xiàn)，實(shí)驗(yàn)環(huán)境采用Windows10，AMD Ryzen 5 3550H with Radeon Vega Mobile Gfx 2.10 GHz，16 GB內(nèi)存。神經(jīng)網(wǎng)絡(luò)使用PyTorch 1.4.0+cu92實(shí)現(xiàn)。

3.1 實(shí)驗(yàn)數(shù)據(jù)與參數(shù)

建模過(guò)程的數(shù)據(jù)信息如表1所示。

首先對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行周期性檢驗(yàn)，根據(jù)周期情況進(jìn)行STL分解，得到周期分量和趨勢(shì)分量(包含隨機(jī)部分)。周期分量作為周期預(yù)測(cè)部分加入模型預(yù)測(cè)值中。在趨勢(shì)分量上，建立ARIMA模型預(yù)測(cè)趨勢(shì)部分，通過(guò)StateModels方法得到歷史數(shù)據(jù)預(yù)測(cè)誤差。在其基礎(chǔ)上，建立LSTM訓(xùn)練集及測(cè)試集。輸入LSTM模型進(jìn)行訓(xùn)練。最后將周期預(yù)測(cè)值、趨勢(shì)預(yù)測(cè)值和誤差預(yù)測(cè)值累加在一起，得到多步預(yù)測(cè)結(jié)果。最終的預(yù)測(cè)公式如式(12)所示：

Table 1 Information of modeling data表1 建模數(shù)據(jù)信息

(12)

Table 2 Parameters of LSTM model表2 LSTM模型參數(shù)

3.2 數(shù)據(jù)預(yù)處理

圖4所示是2020年3月1日內(nèi)存負(fù)載的波動(dòng)變化圖。圖4a采樣間隔為5 min，數(shù)據(jù)上下波動(dòng)劇烈;圖4b時(shí)間間隔為1 h，數(shù)值取每小時(shí)均值，數(shù)據(jù)波動(dòng)平穩(wěn)。對(duì)比可以發(fā)現(xiàn),數(shù)據(jù)經(jīng)過(guò)歸并后，消除了影響預(yù)測(cè)的數(shù)據(jù)抖動(dòng)，又保留了大體趨勢(shì)。

Figure 4 Memory load time series of 5-minute and 1-hour intervals圖4 5 min間隔和1 h間隔內(nèi)存負(fù)載時(shí)間序列

3.3 實(shí)驗(yàn)及結(jié)果分析

使用SARIMA-LSTM模型對(duì)預(yù)處理后的內(nèi)存負(fù)載時(shí)間序列進(jìn)行訓(xùn)練和預(yù)測(cè)，預(yù)測(cè)誤差絕對(duì)值變化如圖5所示。

Figure 5 Variation of absolute prediction error圖5 絕對(duì)預(yù)測(cè)誤差變化

從圖5可以發(fā)現(xiàn)，ARIMA在進(jìn)行前1～6步預(yù)測(cè)時(shí)，誤差較小，在6～12步時(shí)誤差值急劇上升，絕對(duì)誤差最大值為0.332 97，其預(yù)測(cè)效果需進(jìn)一步提高。對(duì)ARIMA進(jìn)行周期補(bǔ)償后，SARIMA模型前半段誤差增大，后半段的誤差顯著減小，整體多步預(yù)測(cè)效果相對(duì)于ARIMA提升不大。因此得出結(jié)論:SARIMA可以有效減少誤差累積，但周期變化會(huì)影響短期預(yù)測(cè)精度。而從圖像上看，SARIMA-LSTM模型前12步的絕對(duì)誤差值都小于0.2，整體預(yù)測(cè)性能高于其他模型。由此可見(jiàn)，SARIMA-LSTM能夠較好地權(quán)衡長(zhǎng)期和短期預(yù)測(cè)效果，使得一段時(shí)間內(nèi)的整體預(yù)測(cè)結(jié)果有顯著提升。

如表3所示，本文采用不同評(píng)價(jià)指標(biāo)綜合比較不同模型的預(yù)測(cè)性能。在RMSE值上，ARIMA模型、SARIMA模型和SARIMA-LSTM模型的RMSE值分別為0.170 7,0.162 0和0.117 6，ARIMA的多步預(yù)測(cè)誤差最大，相比之下SARIMA-LSTM誤差下降了0.0531，這說(shuō)明SARIMA-LSTM模型的誤差補(bǔ)償方法顯著提升了模型的預(yù)測(cè)效果。在R2值上，SARIMA-LSTM模型的R2值為0.564 6，在3種預(yù)測(cè)模型中數(shù)值最接近1，這反映出SARIMA-LSTM模型的擬合效果最好，優(yōu)于其他模型。

Table 3 Comparison of indicators of different models

除了模型預(yù)測(cè)性能的比較以外，本文還利用SARIMA-LSTM模型的預(yù)測(cè)結(jié)果生成了內(nèi)存負(fù)載的動(dòng)態(tài)閾值區(qū)間。如圖6所示，本文利用置信理論生成陰影區(qū)間，表示未來(lái)這一預(yù)測(cè)時(shí)間段的指標(biāo)值有95%的可能性處于該區(qū)域內(nèi)。首先，從真實(shí)值和預(yù)測(cè)值之間的對(duì)比效果來(lái)看，本文模型可以準(zhǔn)確地預(yù)測(cè)內(nèi)存負(fù)載在白天業(yè)務(wù)高峰期7點(diǎn)～18點(diǎn)的波動(dòng)變化。其次，將95%置信區(qū)間作為閾值區(qū)間后，可以發(fā)現(xiàn)正常的指標(biāo)值波動(dòng)處于閾值區(qū)間內(nèi)時(shí)不會(huì)觸發(fā)報(bào)警。而實(shí)際內(nèi)存負(fù)載超出了該區(qū)間，說(shuō)明發(fā)生了概率為5%的內(nèi)存異常事件，系統(tǒng)通知運(yùn)維人員進(jìn)行設(shè)備運(yùn)行狀態(tài)檢查。這種利用服務(wù)器內(nèi)存歷史數(shù)據(jù)預(yù)測(cè)并估算設(shè)備運(yùn)行指標(biāo)動(dòng)態(tài)閾值的方法，可以提高設(shè)備故障的預(yù)知能力，充分提升運(yùn)維監(jiān)控和故障搶修工作的主動(dòng)性，提高了運(yùn)維效率。

Figure 6 Prediction results of SARIMA-LSTM圖6 SARIMA-LSTM預(yù)測(cè)結(jié)果

4 結(jié)束語(yǔ)

本文借鑒了時(shí)間序列預(yù)測(cè)方向應(yīng)用廣泛的預(yù)測(cè)模型以及誤差補(bǔ)償?shù)那把厮惴夹g(shù)，提出了一種基于LSTM誤差補(bǔ)償?shù)碾娋W(wǎng)主機(jī)負(fù)載預(yù)測(cè)模型——SARIMA-LSTM模型。在綜合分析了電網(wǎng)主機(jī)負(fù)載數(shù)據(jù)的波動(dòng)性和周期性后，建立SARIMA模型對(duì)時(shí)間序列趨勢(shì)、周期進(jìn)行分開(kāi)預(yù)測(cè)，再利用 LSTM誤差補(bǔ)償模型對(duì)SARIMA預(yù)測(cè)誤差進(jìn)行自回歸分析。實(shí)驗(yàn)數(shù)據(jù)中，以內(nèi)存負(fù)載數(shù)據(jù)為例，驗(yàn)證了本文所提出的模型在電網(wǎng)運(yùn)維場(chǎng)景中的準(zhǔn)確性和有效性。本文的未來(lái)研究工作如下：

(1)預(yù)測(cè)指標(biāo)項(xiàng)。值得注意的是，本文的預(yù)測(cè)指標(biāo)項(xiàng)為主機(jī)內(nèi)存負(fù)載數(shù)據(jù)。業(yè)界常用的設(shè)備運(yùn)行狀態(tài)指標(biāo)還有CPU負(fù)載數(shù)據(jù)。下一步可以考慮進(jìn)行多元時(shí)間序列預(yù)測(cè)，提高預(yù)測(cè)模型的穩(wěn)定性和準(zhǔn)確性。

(2)實(shí)時(shí)性。智能電網(wǎng)建立在集成、高速的雙向網(wǎng)絡(luò)上，需要運(yùn)維人員能夠及時(shí)地發(fā)現(xiàn)問(wèn)題甚至是預(yù)測(cè)問(wèn)題。所以，需要在保證預(yù)測(cè)精度的情況下，降低預(yù)測(cè)模型的計(jì)算消耗，提高運(yùn)算速度。

(3)自動(dòng)化。電力運(yùn)維系統(tǒng)逐步向高集成化、高智能化發(fā)展，先進(jìn)的自動(dòng)化系統(tǒng)可以實(shí)時(shí)調(diào)取歷史資料信息，建立信息分析平臺(tái)，防范未知風(fēng)險(xiǎn)。未來(lái)，先進(jìn)的設(shè)備監(jiān)控技術(shù)、信息決策技術(shù)、智能調(diào)度技術(shù)將在智能電網(wǎng)領(lǐng)域發(fā)揮巨大作用。