何利健,張銳?,林曉冬

(1 中國科學(xué)院微小衛(wèi)星創(chuàng)新研究院, 上海 201203; 2 中國科學(xué)院大學(xué), 北京 100049)

太陽能電池陣作為衛(wèi)星的能源供應(yīng)系統(tǒng),其性能好壞直接決定了在軌衛(wèi)星能否正常穩(wěn)定運(yùn)行。據(jù)文獻(xiàn)統(tǒng)計[1],近50年來公開發(fā)布的國內(nèi)外航天器發(fā)射與在軌故障的發(fā)生原因中,有21%是由于電源分系統(tǒng)故障導(dǎo)致,因此對太陽能電池陣進(jìn)行異常檢測具有重大意義。衛(wèi)星遙測數(shù)據(jù)是地面工作站對衛(wèi)星運(yùn)行狀態(tài)進(jìn)行判斷的唯一依據(jù)[2],因此根據(jù)歷史遙測數(shù)據(jù)的變化規(guī)律對衛(wèi)星未來工作狀態(tài)趨勢進(jìn)行預(yù)測,并根據(jù)預(yù)測結(jié)果對衛(wèi)星性能狀態(tài)進(jìn)行評估,對確保衛(wèi)星健康穩(wěn)定運(yùn)行具有重大意義。目前,對遙測數(shù)據(jù)進(jìn)行異常檢測,工程上一直采用傳統(tǒng)的人工數(shù)據(jù)判讀、閾值自動判讀以及專家經(jīng)驗(yàn)手段進(jìn)行[3]。針對基于預(yù)測模型的異常檢測方法,由于傳統(tǒng)的閾值自動判讀方法具有方法簡單且易實(shí)施、擁有較好的效果等優(yōu)點(diǎn),被廣泛應(yīng)用于實(shí)際場景中,因而預(yù)測模型的精確度決定了遙測數(shù)據(jù)異常檢測的準(zhǔn)確性。

在時序數(shù)據(jù)預(yù)測領(lǐng)域,傳統(tǒng)的模型,如卡爾曼濾波[4-5]、自回歸移動平均模型(ARMA)[6]、自回歸差分移動平均模型(ARIMA)[7]等都具有廣泛的應(yīng)用。近年來,隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的不斷發(fā)展,該領(lǐng)域的相關(guān)方法被成功應(yīng)用到了時序預(yù)測領(lǐng)域,如:人工神經(jīng)網(wǎng)絡(luò)(ANN)[8-10]、支持向量機(jī)(SVM)[11],其中,長短期記憶網(wǎng)絡(luò)(long short-term memory,LSTM)由于具有較好的時序特征提取能力,在時序數(shù)據(jù)預(yù)測領(lǐng)域得到了廣泛關(guān)注。文獻(xiàn)[12-14]使用LSTM對時間序列進(jìn)行預(yù)測,但傳統(tǒng)預(yù)測模型僅通過LSTM對具有高頻動態(tài)波動時序數(shù)據(jù)進(jìn)行建模,存在預(yù)測精度不足問題,難以對平穩(wěn)變化數(shù)據(jù)和高頻動態(tài)波動數(shù)據(jù)同時進(jìn)行良好建模。文獻(xiàn)[15-17]在LSTM的基礎(chǔ)上引入小波變換,以增強(qiáng)數(shù)據(jù)特征,提高LSTM模型的預(yù)測精度,但單通道LSTM模型對序列特征表達(dá)能力有限,難以對特征進(jìn)行全面表達(dá),而雙通道LSTM模型可以提高特征表達(dá)能力,最終提高預(yù)測精度。

衛(wèi)星太陽能電池陣輸入電流數(shù)據(jù)是時序數(shù)據(jù),因此具有較強(qiáng)的時序特征,同時由于衛(wèi)星電池陣所處的環(huán)境惡劣,受外界影響較多,會造成電流的波動起伏。鑒于小波變換的多尺度分析特性以及LSTM的時序特征提取能力,同時雙通道能夠更加有效地提取出時序特征信息。本文提出一種基于離散小波變換的雙通道LSTM預(yù)測模型,不直接預(yù)測信號本身,而是預(yù)測信號的小波系數(shù),再對小波系數(shù)進(jìn)行信號重構(gòu),最終獲得預(yù)測信號。在某衛(wèi)星上的真實(shí)遙測數(shù)據(jù)上進(jìn)行模型性能驗(yàn)證,結(jié)果表明,相較于傳統(tǒng)的LSTM預(yù)測模型,本文所提方法具有更好的預(yù)測性能。

1 基礎(chǔ)理論

1.1 LSTM原理結(jié)構(gòu)

LSTM是RNN的一種特殊類型,可以解決傳統(tǒng)RNN存在的梯度消失或梯度爆炸問題。這意味著LSTM在處理較長時序數(shù)據(jù)時,尤其在捕獲長期依賴關(guān)系和進(jìn)行非線性變換方面具有更強(qiáng)的優(yōu)勢,因此其在時序數(shù)據(jù)預(yù)測領(lǐng)域具有廣泛的應(yīng)用。具體模型如圖1所示。

LSTM通過使用精心設(shè)計的結(jié)構(gòu)來解決RNN存在的梯度問題。在LSTM單元中,ht可以認(rèn)為是一個短期狀態(tài),Ct可以認(rèn)為是一個長期狀態(tài)。LSTM的獨(dú)特之處在于可以通過“門”結(jié)構(gòu)對信息進(jìn)行控制,決定哪些信息需要被存儲,哪些信息可以被遺忘,哪些信息需要添加更新。LSTM工作原理表達(dá)式如下所示:

ft=σ(Wf·[ht-1,xt]+bf),

(1)

it=σ(Wi·[ht-1,xt]+bi),

(2)

(3)

(4)

ot=σ(Wo·[ht-1,xt]+bo),

(5)

ht=ot*tanh(Ct).

(6)

圖1 LSTM單元結(jié)構(gòu)示意圖Fig.1 Schematic diagram of LSTM unit structure

ft表示遺忘門輸出,決定了上一時刻長期記憶單元狀態(tài)Ct-1信息的遺忘程度;it為輸入門輸出,決定了當(dāng)前輸入xt的情況下信息更新到Ct的情況;ot表示輸出門輸出,控制單元狀態(tài)Ct到LSTM的當(dāng)前輸出值ht。

1.2 離散小波變換

小波變換相較于傅里葉變換,不同之處在于基函數(shù)的不同,小波變換將傅里葉變換的基函數(shù)替換成了有限長會衰減的小波基。小波變換的優(yōu)勢在于既可以提取時域特征,也可以提取頻域特征,具有較強(qiáng)的時頻特征表達(dá)能力,對于非平穩(wěn)信號具有較強(qiáng)的分析能力,不同的低頻小波系數(shù)表征了對應(yīng)尺度的數(shù)據(jù)偏差,因而小波分解可以提高一維數(shù)據(jù)特征。

離散小波變換(discrete wavelet transform,DWT)采用Mallat快速算法實(shí)現(xiàn),該算法是一個采用小波濾波器對離散信號進(jìn)行多次低通和高通濾波的過程,每次濾波獲得一個低頻分量和一個高頻分量。設(shè)第i尺度上的低頻分量為ai,高頻分量為di,正交小波濾波器分別為h(低通)和g(高通),則某一尺度上的小波分解和合成的Mallat算法可表示為:

(7)

(8)

(9)

2 電流數(shù)據(jù)分析及預(yù)測模型

2.1 太陽能電池陣電流數(shù)據(jù)分析

衛(wèi)星太陽能電池陣電流受外在因素以及內(nèi)在因素兩方面影響。內(nèi)在因素一般包括電池陣電池片的轉(zhuǎn)化效率、溫度變化特性以及因太空環(huán)境而造成的衰減和突變等因素。外在因素一般包括太陽光強(qiáng)度、太陽光入射角、衛(wèi)星姿態(tài)變化以及遮擋和反照等因素。這些因素都會對太陽能電池陣電流數(shù)據(jù)變化產(chǎn)生影響,且具有一定的疊加效果,因此太陽能電池陣電流數(shù)據(jù)可能存在較多的波動。

對本文采用的太陽能電池陣電流數(shù)據(jù)取部分長度序列進(jìn)行3層小波分解,分解結(jié)果如圖2所示。

圖2 原始電流信號及小波分解結(jié)果Fig.2 Original current signal and wavelet decomposition results

從圖2(a)可以看出,原始電流信號具有很多高頻的微小動態(tài),由于LSTM對擾動比較敏感,若直接通過LSTM對其進(jìn)行特征提取并建模,則較難對信號趨勢以及高頻動態(tài)同時進(jìn)行建模,因此會造成預(yù)測精度不足的問題。對信號進(jìn)行3層小波分解后,得到不同的小波系數(shù),如圖2(b)所示。低頻小波系數(shù)CA3很好地反映了信號的總體趨勢且無擾動,因此易對其進(jìn)行建模,具有較高的可預(yù)測性。小波分解得到的不同層高頻小波系數(shù)CD1、CD2和CD3分別反映了不同尺度上的動態(tài)信息,且高頻小波系數(shù)相互正交,對每層高頻系數(shù)使用LSTM單獨(dú)進(jìn)行建模,可以降低單個LSTM模型復(fù)雜度,降低擾動對模型建模精度的影響,從而提高模型對信號的適應(yīng)度以及提高模型的預(yù)測精度。

2.2 預(yù)測模型

LSTM具有較好的時序特征提取能力,因此在時序數(shù)據(jù)預(yù)測領(lǐng)域上具有較強(qiáng)優(yōu)勢。而雙通道LSTM模型通過對不同隱藏層設(shè)置不同數(shù)量的神經(jīng)元,可以捕捉不同信息特征,從而加強(qiáng)對特征的提取能力。但對于變化頻率較高且較復(fù)雜的信號而言,LSTM存在特征表達(dá)能力不足問題。小波分解可以根據(jù)信號的時頻特性,以多層小波系數(shù)對數(shù)據(jù)時頻特征進(jìn)行表征,加強(qiáng)數(shù)據(jù)特征,降低數(shù)據(jù)復(fù)雜度。本文結(jié)合LSTM和小波分解的優(yōu)點(diǎn),在LSTM的基礎(chǔ)上引入小波分解來提高數(shù)據(jù)特征,降低單個模型的建模復(fù)雜度,解決傳統(tǒng)單通道LSTM對變化頻率較高的復(fù)雜信號預(yù)測精度不足的問題。

本文所提出的預(yù)測模型如圖3所示。模型主要包含以下3部分:1)對單通道遙測數(shù)據(jù)進(jìn)行歸一化操作后再進(jìn)行3階小波分解,從而獲取不同尺度的小波系數(shù);2)對小波分解得到的多層小波系數(shù)分別通過雙通道LSTM網(wǎng)絡(luò)進(jìn)行時序特征提取并進(jìn)行預(yù)測;3)對預(yù)測出來的各層小波系數(shù)進(jìn)行逆小波變換得到重構(gòu)信號,之后對重構(gòu)信號進(jìn)行反歸一化,從而獲得最終的預(yù)測值。

圖3 預(yù)測模型流程圖Fig.3 Flow chart of prediction model

3 仿真實(shí)驗(yàn)與結(jié)果分析

本實(shí)驗(yàn)是基于Windows操作系統(tǒng),深度學(xué)習(xí)框架選用TensorFlow計算框架,CPU為Intel I5-4200H, 2.80 GHz, tensorflow為1.13.1版本,keras為2.3.1版本,numpy為1.15.4版本,pandas為0.23.4版本,pywavelets為1.1.1版本。本實(shí)驗(yàn)采用CPU進(jìn)行模型訓(xùn)練和測試。

3.1 數(shù)據(jù)集介紹及模型參數(shù)設(shè)置

實(shí)驗(yàn)采用某衛(wèi)星型號的+y軸電池陣電流遙測數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)集,數(shù)據(jù)點(diǎn)采樣頻率為0.125 Hz,共134 773個數(shù)據(jù)點(diǎn),采用滑窗法按固定窗口大小獲取實(shí)驗(yàn)所需數(shù)據(jù)集。取步長lp為LSTM模型輸出數(shù)據(jù)的時間長度,預(yù)測時間步長越長,預(yù)測精度越差,為保證模型的預(yù)測精度,本文選取lp=1。將數(shù)據(jù)集按照比例0.7∶0.1∶0.2劃分為訓(xùn)練集、驗(yàn)證集和測試集。網(wǎng)絡(luò)模型部分參數(shù)如表1所示。

3.2 評價指標(biāo)

為評價模型的性能,引入回歸任務(wù)中常用評價指標(biāo),分別為平均絕對誤差MAE,均方根誤差RMSE和相關(guān)系數(shù)R。

(10)

(11)

(12)

3.3 實(shí)驗(yàn)結(jié)果分析

表2為隱藏層具有不同大小units設(shè)置的LSTM預(yù)測模型的性能比較,隱藏層units設(shè)置分別為80-80和64-32,其中80-80表示第1層隱藏層和第2層隱藏層的units數(shù)量設(shè)置。如表2所示,對于單通道模型,不同units設(shè)置的LSTM預(yù)測模型在評價指標(biāo)上具有不同結(jié)果,反映了不同units設(shè)置的LSTM模型對信號特征具有不同的關(guān)注點(diǎn)和提取能力。表中實(shí)驗(yàn)結(jié)果數(shù)據(jù)顯示,結(jié)合具有不同units數(shù)量設(shè)置的雙通道模型在RMSE和R的性能指標(biāo)上較2個單通道模型都有明顯提升,而在MAE上表現(xiàn)與較好的模型一致。由于RMSE對異常值的敏感度更高,RMSE降低說明雙通道模型預(yù)測值和實(shí)際值的偏離程度降低,因而預(yù)測精度更高,而R指標(biāo)提高說明雙通道模型對數(shù)據(jù)的擬合度更高。該結(jié)果表明在雙通道模型中,能夠綜合具有不同units的預(yù)測模型的優(yōu)點(diǎn),提高模型的特征提取能力,從而提高模型的預(yù)測性能。

表1 模型參數(shù)Table 1 Model parameters

表2 不同units設(shè)置的LSTM預(yù)測模型性能比較Table 2 Performance comparison of LSTM prediction models with different units

表3為不同模型的網(wǎng)絡(luò)結(jié)構(gòu)配置和預(yù)測性能比較。從表3可以看出,本文提出的DWT-DoubleLSTM預(yù)測模型獲得了最好的預(yù)測結(jié)果,各性能評價指標(biāo)具有不同程度的提升。對于單通道模型,基于小波變換的DWT-LSTM相較于傳統(tǒng)LSTM,其MAE減少5.7%,RMSE減少15.4%,R提高1.8%;基于小波變換的DWT-DoubleLSTM模型相較于傳統(tǒng)LSTM模型,其MAE減少16.4%,RMSE減少29.9%,R提高3.2%。該結(jié)果表明,通過對信號進(jìn)行小波分解,得到多層小波系數(shù),并對每層系數(shù)單獨(dú)建模,將單個預(yù)測任務(wù)分解為多個預(yù)測任務(wù),可以有效降低模型復(fù)雜度,從而有效提高最終的預(yù)測精度。而基于小波變換的DWT-LSTM的預(yù)測效果沒有Double-LSTM好,但比傳統(tǒng)單通道LSTM預(yù)測效果好,說明使用雙通道融合可以加強(qiáng)模型對特征的提取能力,提高模型的預(yù)測能力。

圖4為部分時間的各層小波系數(shù)預(yù)測結(jié)果圖。從圖4中結(jié)果可以看出,圖4(a)第3層低頻系數(shù)上的預(yù)測效果較好,低頻系數(shù)反映了信號的總體趨勢,且無小動態(tài),因而神經(jīng)網(wǎng)絡(luò)模型對其建模預(yù)測較為簡單。其他3層高頻系數(shù)預(yù)測值和真實(shí)值不能完全一一對應(yīng),但總體趨勢一致以及誤差范圍能限定在一個較小的值。由于低頻系數(shù)預(yù)測準(zhǔn)確率較高,而高頻系數(shù)預(yù)測模型將預(yù)測誤差限定在了一個很小的范圍內(nèi),因此對預(yù)測小波系數(shù)做小波重構(gòu)時,能夠恢復(fù)出良好的信號而不具有大誤差。

表3 不同預(yù)測模型的網(wǎng)絡(luò)結(jié)構(gòu)Table 3 Network structure of different prediction models

圖4 各層小波系數(shù)預(yù)測值Fig.4 Prediction results of different wavelet coefficients

圖5為局部時間各種預(yù)測模型的預(yù)測結(jié)果圖。從圖5的各種模型預(yù)測結(jié)果可以看出,基于小波變換的DWT-DoubleLSTM預(yù)測模型,無論是總體趨勢還是細(xì)節(jié)預(yù)測精度,都比其他模型高,反映了使用小波分解方法獲得多層小波系數(shù),并對多層小波系數(shù)分別建模預(yù)測的方法能夠降低信號復(fù)雜度和單個模型建模復(fù)雜度的正確性。

圖5 不同預(yù)測模型的預(yù)測結(jié)果圖Fig.5 The prediction results of different prediction models

4 結(jié)論

為解決衛(wèi)星太陽能電池陣電流預(yù)測精度不足問題,本文提出基于DWT和雙通道LSTM的數(shù)據(jù)預(yù)測模型,并通過使用某衛(wèi)星型號的真實(shí)遙測數(shù)據(jù)對模型進(jìn)行實(shí)驗(yàn)驗(yàn)證。結(jié)果表明,雙通道LSTM在數(shù)據(jù)預(yù)測效果上相較于單通道LSTM有一定的提升;通過離散小波變換對時間序列進(jìn)行小波分解之后,再對小波系數(shù)進(jìn)行預(yù)測,最后使用預(yù)測小波系數(shù)重構(gòu)出預(yù)測值。該方法相較于傳統(tǒng)的直接使用LSTM預(yù)測信號取得了更好的預(yù)測效果。最終結(jié)果表明本文所提出的方法相較于傳統(tǒng)使用LSTM直接對信號進(jìn)行預(yù)測具有更高的預(yù)測性能,其MAE減少16.4%,RMSE減少29.9%,R提高3.2%。但本文未考慮特征之間的相關(guān)性以及時序數(shù)據(jù)的時間相關(guān)性對信號預(yù)測的影響,因此后續(xù)研究將對多信號輸入下的遙測數(shù)據(jù)預(yù)測工作展開研究,同時對LSTM引入attention機(jī)制加強(qiáng)模型的特征提取能力,提高模型的預(yù)測精度。