張晟斐，李天梅，胡昌華，杜黨波，司小勝

火箭軍工程大學(xué) 導(dǎo)彈工程學(xué)院，西安 710025

預(yù)測(cè)與健康管理(Prognostics and Health Management, PHM)技術(shù)的提出實(shí)現(xiàn)了從計(jì)劃性維修到視情維修的轉(zhuǎn)變，可以在維修成本、資源損耗與生產(chǎn)效益之間決策出最優(yōu)平衡點(diǎn)，已廣泛應(yīng)用于電子、航空航天和軍事應(yīng)用等多種領(lǐng)域。其中，剩余壽命(Remaining Useful Life, RUL)預(yù)測(cè)作為PHM的基礎(chǔ)與核心，對(duì)于掌握設(shè)備健康狀態(tài)從而保障設(shè)備安全可靠運(yùn)行具有重要意義。Lei等將現(xiàn)有的RUL預(yù)測(cè)方法分為：基于機(jī)理模型的方法、基于統(tǒng)計(jì)模型的方法、人工智能的方法以及混合方法?；诮y(tǒng)計(jì)模型的方法主要通過(guò)監(jiān)測(cè)設(shè)備性能退化變量，建立其退化模型，進(jìn)而實(shí)現(xiàn)剩余壽命預(yù)測(cè)，能夠刻畫(huà)出設(shè)備運(yùn)行過(guò)程中的隨機(jī)波動(dòng)、觀測(cè)噪聲等多重不確定性，已取得了豐碩的成果?；谌斯ぶ悄艿姆椒ú捎帽O(jiān)測(cè)數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，通過(guò)最小化網(wǎng)絡(luò)輸出與真實(shí)值之間的偏差以?xún)?yōu)化網(wǎng)絡(luò)參數(shù)，從而實(shí)現(xiàn)退化過(guò)程建模。

上述2種方法都屬于數(shù)據(jù)驅(qū)動(dòng)的剩余壽命預(yù)測(cè)方法，這類(lèi)方法需要獲得充足且完整的監(jiān)測(cè)數(shù)據(jù)，但隨著設(shè)計(jì)水平與制造工藝的進(jìn)步，諸如航空發(fā)動(dòng)機(jī)之類(lèi)的高可靠性設(shè)備存在著故障樣本少、觀測(cè)噪聲、傳感器失效導(dǎo)致數(shù)據(jù)缺失等問(wèn)題，從而導(dǎo)致在此數(shù)據(jù)基礎(chǔ)上進(jìn)行的相關(guān)分析等工作得到的結(jié)果可靠性難以保證。在上述問(wèn)題中，數(shù)據(jù)缺失會(huì)同時(shí)造成數(shù)據(jù)量變少、數(shù)據(jù)分布出現(xiàn)偏差等影響，且造成數(shù)據(jù)缺失的原因是多方面的，因此需要采取合理有效的方法對(duì)缺失數(shù)據(jù)進(jìn)行處理。

傳統(tǒng)的缺失數(shù)據(jù)處理方法主要分為刪除法與填充法。刪除法即通過(guò)直接刪除缺失項(xiàng)得到“完整”的數(shù)據(jù)集，優(yōu)點(diǎn)在于簡(jiǎn)單易行，但會(huì)造成信息丟失并導(dǎo)致數(shù)據(jù)分布出現(xiàn)偏離，僅適用于缺失比例小的情況。填充法可分為基于統(tǒng)計(jì)學(xué)的填充方法與建模填充的方法，前者包括均值填充、隨機(jī)填充、前(后)向插補(bǔ)、加權(quán)填充等方法，主要思想是利用未缺失數(shù)據(jù)的統(tǒng)計(jì)特性對(duì)缺失數(shù)據(jù)進(jìn)行填充，這類(lèi)方法得到的填充結(jié)果穩(wěn)定，適用于缺失序列分布特性簡(jiǎn)單明確且變量相關(guān)性強(qiáng)的情況。建模填充的方法如回歸模型填充、K近鄰插補(bǔ)、EM(Expectation Maximization)算法填充等，基本思路是選取不同的模型或算法來(lái)度量缺失數(shù)據(jù)與觀測(cè)到的數(shù)據(jù)之間的距離，調(diào)整參數(shù)使這一偏差最小從而實(shí)現(xiàn)對(duì)缺失數(shù)據(jù)的估計(jì)。建模填充的方法可以充分利用現(xiàn)有數(shù)據(jù)包含的信息，但對(duì)數(shù)據(jù)集本身存在要求，如：數(shù)據(jù)集中數(shù)據(jù)存在較強(qiáng)的關(guān)聯(lián)、數(shù)據(jù)服從某種特定分布等。

隨著大數(shù)據(jù)時(shí)代的到來(lái)，工程設(shè)備獲取的監(jiān)測(cè)數(shù)據(jù)呈現(xiàn)出海量化、非線性、高維化等特征，傳統(tǒng)的缺失數(shù)據(jù)處理方法難以有效利用時(shí)序數(shù)據(jù)的前后依賴(lài)關(guān)系對(duì)歷史信息與未來(lái)趨勢(shì)之間的關(guān)聯(lián)關(guān)系進(jìn)行充分挖掘。此外，設(shè)備的退化分布屬于時(shí)變分布，傳統(tǒng)的處理方法在進(jìn)行數(shù)據(jù)填充時(shí)容易扭曲原數(shù)據(jù)集的分布特性。考慮到深度神經(jīng)網(wǎng)絡(luò)能以任意精度擬合任意復(fù)雜度的函數(shù)，且能夠有效處理大樣本、高維度的數(shù)據(jù)集，因此可以借助于深度學(xué)習(xí)進(jìn)行缺失數(shù)據(jù)填充。Fedus等基于自編碼器進(jìn)行時(shí)序數(shù)據(jù)生成，但該算法的訓(xùn)練過(guò)程需要完整的時(shí)序數(shù)據(jù)，因此難以保證訓(xùn)練數(shù)據(jù)存在缺失時(shí)的生成效果。Gondara和Wang基于去噪自編碼器實(shí)現(xiàn)缺失數(shù)據(jù)的多重插補(bǔ)，該算法將缺失數(shù)據(jù)視為一種特殊的噪聲，通過(guò)去噪解決多種缺失模式下的填充問(wèn)題。該方法的局限性在于初始化網(wǎng)絡(luò)時(shí)使用平均值或最常用的標(biāo)簽來(lái)代替缺失數(shù)據(jù)，可能導(dǎo)致多變量關(guān)系的扭曲。Che等開(kāi)發(fā)了GRU-D模型，不僅利用門(mén)控循環(huán)單元 (Gate Recurrent Unit, GRU)捕獲時(shí)間序列的前后依賴(lài)性，還利用缺失模式實(shí)現(xiàn)更好的預(yù)測(cè)結(jié)果，但該方法不能直接用于缺乏預(yù)測(cè)標(biāo)簽的無(wú)監(jiān)督學(xué)習(xí)。Yoon等首次將生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network, GAN)應(yīng)用于缺失數(shù)據(jù)生成，通過(guò)增加掩模矩陣與提示矩陣向判別器提供附加信息，從而確保生成器準(zhǔn)確估算缺失位置與缺失值，但該方法未考慮時(shí)序數(shù)據(jù)的前后依賴(lài)關(guān)系。Zheng等提出一種基于雙重GAN的故障預(yù)測(cè)方法，首先采用infoGAN生成逼近真實(shí)分布的故障樣本與非故障樣本，同時(shí)將判別器的部分網(wǎng)絡(luò)結(jié)構(gòu)作為推理網(wǎng)絡(luò)的組成部分以獲得生成樣本所對(duì)應(yīng)的標(biāo)簽，將生成樣本與標(biāo)簽送入第2個(gè)生成對(duì)抗網(wǎng)絡(luò)進(jìn)一步加強(qiáng)樣本與對(duì)于標(biāo)簽的一致性。該方法主要針對(duì)訓(xùn)練樣本較少但數(shù)據(jù)集連續(xù)且完整的情況，難以保證當(dāng)真實(shí)數(shù)據(jù)存在缺失時(shí)生成樣本的可靠性。Luo等采用GRU構(gòu)成GAN實(shí)現(xiàn)了時(shí)序數(shù)據(jù)的生成，該方法通過(guò)非缺失數(shù)據(jù)與生成數(shù)據(jù)之間的平方誤差來(lái)保證生成個(gè)體的可靠性，但是無(wú)法保證缺失數(shù)據(jù)的填充結(jié)果符合整體分布。

現(xiàn)有的研究大都借助已有的網(wǎng)絡(luò)結(jié)構(gòu)(如自編碼器、GRU等)構(gòu)成GAN，從而實(shí)現(xiàn)故障樣本的擴(kuò)充、時(shí)序數(shù)據(jù)的生成等。其中，在進(jìn)行樣本擴(kuò)充時(shí)通常以完整的時(shí)序數(shù)據(jù)作為訓(xùn)練基礎(chǔ)，在進(jìn)行缺失數(shù)據(jù)生成時(shí)又往往忽略前后依賴(lài)關(guān)系。此外，GAN的訓(xùn)練過(guò)程屬于無(wú)監(jiān)督學(xué)習(xí)，僅依賴(lài)生成器與判別器的對(duì)抗博弈來(lái)保證生成數(shù)據(jù)的可靠性，而缺乏一種能夠量化生成數(shù)據(jù)與真實(shí)數(shù)據(jù)一致性的評(píng)估指標(biāo)。因此，面對(duì)存在缺失的時(shí)間序列，如何保證生成數(shù)據(jù)的同時(shí)滿(mǎn)足：① 以缺失數(shù)據(jù)作為訓(xùn)練基礎(chǔ)；② 學(xué)習(xí)時(shí)間序列的前后依賴(lài)性；③ 與真實(shí)樣本分布保持一致，仍然是一個(gè)尚未解決的問(wèn)題。為解決以上問(wèn)題，本文針對(duì)數(shù)據(jù)驅(qū)動(dòng)的剩余壽命預(yù)測(cè)過(guò)程中面臨的數(shù)據(jù)缺失的問(wèn)題，提出了一種基于深度卷積生成對(duì)抗網(wǎng)絡(luò)(Deep Convolutional Generative Adversarial Network, DCGAN)的缺失數(shù)據(jù)生成方法。該方法充分利用GAN強(qiáng)大的學(xué)習(xí)能力，將生成序列與真實(shí)序列之間的分布偏差融入DCGAN的損失函數(shù)中，在改善DCGAN訓(xùn)練穩(wěn)定性的同時(shí)保證生成序列與真實(shí)序列的一致性。在此基礎(chǔ)上，本文利用雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Bi-directional Long Short-Term Memory, Bi-LSTM)建立了設(shè)備退化趨勢(shì)預(yù)測(cè)模型，通過(guò)預(yù)測(cè)退化量超過(guò)失效閾值的時(shí)間實(shí)現(xiàn)了剩余壽命的預(yù)測(cè)。最后，基于鋰電池的退化數(shù)據(jù)對(duì)所提方法生成數(shù)據(jù)的可靠性進(jìn)行了應(yīng)用驗(yàn)證。此外，在應(yīng)用于剩余壽命預(yù)測(cè)時(shí)，通過(guò)完整數(shù)據(jù)、生成數(shù)據(jù)以及缺失數(shù)據(jù)下剩余壽命預(yù)測(cè)的對(duì)比結(jié)果，發(fā)現(xiàn)本文所提方法可有效解決數(shù)據(jù)缺失問(wèn)題，提升剩余壽命預(yù)測(cè)對(duì)數(shù)據(jù)缺失的魯棒性。

1 預(yù)備知識(shí)

1.1 深度卷積生成對(duì)抗網(wǎng)絡(luò)

自Goodfellow等提出生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks, GAN)以來(lái)，該方法已成功應(yīng)用于圖像超分辨率重建、目標(biāo)檢測(cè)、文本生成等多個(gè)領(lǐng)域，各種衍生模型相繼被提出。DCGAN從工程的角度利用卷積運(yùn)算對(duì)GAN進(jìn)行改進(jìn)：① 生成器和判別器分別使用微步幅卷積和步幅卷積代替池化操作；② 使用批量標(biāo)準(zhǔn)化(Batch Normalization, BN)操作加速訓(xùn)練；③ 去掉全連接層，使其變?yōu)槿矸e網(wǎng)絡(luò)；④ 生成器除最后一層采用Tanh外其余層激活函數(shù)均采用ReLU，判別器激活函數(shù)采用LeakyReLU。DCGAN訓(xùn)練速度快，內(nèi)存占用量小，是快速實(shí)驗(yàn)最常用的結(jié)構(gòu)。

1.2 K-S檢驗(yàn)

非參數(shù)統(tǒng)計(jì)檢驗(yàn)無(wú)需假定特定的總體分布，僅需要做出一般性的假設(shè)。Kolmogorov-Smirnov(K-S)檢驗(yàn)是基于累積分布函數(shù)來(lái)檢驗(yàn)?zāi)骋粏螛颖痉植际欠穹夏撤N理論分布，或用于檢驗(yàn)2個(gè)樣本分布是否具有顯著差異性。相較于其他雙樣本非參數(shù)檢驗(yàn)方法，K-S檢驗(yàn)具有不依賴(lài)均值的位置、對(duì)樣本位置參數(shù)和形狀參數(shù)都很敏感、無(wú)需假設(shè)樣本分布等優(yōu)點(diǎn)。

1.3 雙向長(zhǎng)短期記憶網(wǎng)絡(luò)

雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(Bi-LSTM)能夠同時(shí)學(xué)習(xí)輸入數(shù)據(jù)的前向和后向時(shí)序信息，能夠更加深入地挖掘退化數(shù)據(jù)包含的時(shí)序信息，解決了梯度消失、梯度爆炸與長(zhǎng)期依賴(lài)問(wèn)題，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,上標(biāo)L表示最后一層。相比于傳統(tǒng)長(zhǎng)短期記憶網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過(guò)網(wǎng)絡(luò)與后向?qū)泳W(wǎng)絡(luò)完成輸入序列的處理后，在提取出序列深度特征的同時(shí)實(shí)現(xiàn)短期依賴(lài)性的表征，能夠充分利用過(guò)去與未來(lái)數(shù)據(jù)所蘊(yùn)含的信息。

圖1 Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Structure of Bi-LSTM

Bi-LSTM的實(shí)現(xiàn)過(guò)程如式(1)所示：

(1)

式中：→與←分別表示前向與后向傳遞；、、分別代表遺忘門(mén)(Forget Gate)、輸入門(mén)(Input Gate)和輸出門(mén)(Output Gate)；、分別表示細(xì)胞狀態(tài)(Cell State)和隱藏層狀態(tài)(Hidden State);、tanh分別表示Sigmoid激活函數(shù)與雙曲正切激活函數(shù);、為權(quán)值矩陣;為偏置;下標(biāo)f、i、o、c分別表示遺忘門(mén)、輸入門(mén)、輸出門(mén)和候選層;*表示向量?jī)?nèi)積。將最后一個(gè)前向?qū)拥妮敵鰻顟B(tài)與最后一個(gè)后向?qū)拥妮敵鰻顟B(tài)拼接起來(lái)，通過(guò)全連接層映射可得到Bi-LSTM在時(shí)刻的網(wǎng)絡(luò)輸出結(jié)果，即

(2)

式中:、分別表示全連接層的權(quán)重與偏置。

2 缺失數(shù)據(jù)下的剩余壽命預(yù)測(cè)方法

針對(duì)缺失數(shù)據(jù)下的剩余壽命預(yù)測(cè)問(wèn)題，本文提出了一種基于DCGAN的缺失數(shù)據(jù)生成方法，并將該方法用于剩余壽命預(yù)測(cè)，其主要思路如圖2所示。

圖2 基于DCGAN-KS的缺失數(shù)據(jù)生成方法及其在剩余壽命預(yù)測(cè)中的應(yīng)用Fig.2 Generation method of missing data based on DCGAN-KS and its application in RUL prediction

為解決真實(shí)數(shù)據(jù)集存在缺失的問(wèn)題，基于DCGAN學(xué)習(xí)真實(shí)數(shù)據(jù)分布并對(duì)缺失數(shù)據(jù)進(jìn)行填充；針對(duì)DCGAN建模過(guò)于自由、訓(xùn)練不穩(wěn)定的問(wèn)題，通過(guò)K-S參數(shù)檢驗(yàn)判別生成數(shù)據(jù)與真實(shí)數(shù)據(jù)的一致性并優(yōu)化生成結(jié)果；最后，利用Bi-LSTM能有效應(yīng)對(duì)時(shí)序數(shù)據(jù)前后依賴(lài)性的優(yōu)點(diǎn)，基于生成數(shù)據(jù)得到設(shè)備性能退化預(yù)測(cè)結(jié)果。針對(duì)圖2所示的本文方法的主要思路，下面給出具體的實(shí)現(xiàn)過(guò)程。

2.1 歸一化處理

為方便問(wèn)題描述及后續(xù)的建模分析，可對(duì)監(jiān)測(cè)數(shù)據(jù)進(jìn)行如下定義：具體而言，監(jiān)測(cè)得到的設(shè)備歷史性能數(shù)據(jù)可記為=[,,…,]，=[,1,,2,…,,]，其中，(1≤≤)表示第個(gè)設(shè)備的監(jiān)測(cè)數(shù)據(jù)，,(1≤≤)表示屬于第個(gè)設(shè)備的第組監(jiān)測(cè)數(shù)據(jù)。由于傳感器個(gè)數(shù)不同，,可以是一元或多元數(shù)據(jù)，與此對(duì)應(yīng)的監(jiān)測(cè)點(diǎn)記為=[,,…,],=[,1,,2,…,,]。

考慮到不同監(jiān)測(cè)量具有不同的量綱，且激活函數(shù)敏感區(qū)間有限，因此需要對(duì)原始數(shù)據(jù)進(jìn)行歸一化處理，歸一化公式如式(3)：

(3)

(4)

2.2 缺失數(shù)據(jù)生成

對(duì)于存在缺失的數(shù)據(jù)集，將監(jiān)測(cè)數(shù)據(jù)與所對(duì)應(yīng)的監(jiān)測(cè)時(shí)刻同時(shí)送入DCGAN學(xué)習(xí)其真實(shí)時(shí)序分布，其原理如圖3所示。

生成器從隨機(jī)噪聲分布()中采樣并向真實(shí)數(shù)據(jù)分布映射，其輸出結(jié)果為

()=(·+)

(5)

對(duì)于判別器而言，當(dāng)輸入為真實(shí)數(shù)據(jù)時(shí)網(wǎng)絡(luò)判別結(jié)果為1，當(dāng)輸入為來(lái)自生成器的偽樣本時(shí)網(wǎng)絡(luò)判別結(jié)果為0。即

()=(·+)=1

(6)

(())=(·()+)=0

(7)

圖3 DCGAN網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of DCGAN

式中：、表示激活函數(shù)；、分別表示來(lái)自真實(shí)數(shù)據(jù)和隨機(jī)噪聲的樣本；、、、分別表示生成器網(wǎng)絡(luò)與判別器網(wǎng)絡(luò)中的權(quán)值和偏置。

生成器的優(yōu)化目標(biāo)是盡可能欺騙判別器使其對(duì)應(yīng)偽樣本的輸出結(jié)果為1，判別器的優(yōu)化目標(biāo)是正確區(qū)分?jǐn)?shù)據(jù)來(lái)自真實(shí)樣本還是來(lái)自生成器的偽樣本，可將整個(gè)過(guò)程視為一個(gè)二元極大極小博弈問(wèn)題，表示為

～()[lg(1-(()))]

(8)

式中：()表示真實(shí)數(shù)據(jù)分布；()表示采樣噪聲的先驗(yàn)分布；(·)表示計(jì)算期望值。當(dāng)且僅當(dāng)生成數(shù)據(jù)分布()與真實(shí)數(shù)據(jù)分布()達(dá)成一致，即()=()時(shí)，意味著對(duì)抗訓(xùn)練達(dá)到納什均衡。

2.3 基于K-S檢驗(yàn)改進(jìn)的DCGAN生成方法

在DCGAN的訓(xùn)練過(guò)程中，生成器和判別器的優(yōu)化交替進(jìn)行，因此，式(8)所表示的優(yōu)化目標(biāo)可拆分為如下2部分：

～[lg(1-())]

(9)

(10)

從式(10)可以看出生成器的梯度更新信息來(lái)自于判別器的輸出結(jié)果，真實(shí)數(shù)據(jù)則不直接參與生成器的參數(shù)更新過(guò)程，雖然回避了似然函數(shù)求解的難題，但也埋下了訓(xùn)練發(fā)散的隱患。根據(jù)文獻(xiàn)[36]中的推導(dǎo)可知，在訓(xùn)練過(guò)程中，首先優(yōu)化判別器，將生成器的目標(biāo)函數(shù)帶入最優(yōu)判別器表達(dá)式中，可以得到:

()=2(|)-2lg2

(11)

可知，優(yōu)化生成器相當(dāng)于最小化真實(shí)分布和生成分布之間的Jensen-Shannon(JS)散度，當(dāng)2個(gè)分布交集很少或判別器很容易將兩者分開(kāi)時(shí)，JS散度固定為常值lg2。此時(shí)，產(chǎn)生梯度消失現(xiàn)象，生成器無(wú)法獲取有效的信息繼續(xù)更新，模型訓(xùn)練中止，得到的生成結(jié)果表現(xiàn)出模式崩潰或訓(xùn)練發(fā)散的問(wèn)題。因此，如果能保證生成器始終能獲得有效的梯度信息，將有效地避免訓(xùn)練不穩(wěn)定的問(wèn)題。K-S檢驗(yàn)是比較雙樣本分布最常用的非參數(shù)方法之一，對(duì)樣本的經(jīng)驗(yàn)累積分布函數(shù)的位置和形狀差異具有敏感性。K-S檢驗(yàn)首先繪制生成2個(gè)樣本分布的累積概率曲線，隨后計(jì)算同一值對(duì)應(yīng)的2條曲線之間沿軸的距離，搜索此距離的最大值并帶入K-S概率函數(shù)以計(jì)算相似概率。當(dāng)2個(gè)分布差異較大時(shí)，K-S檢驗(yàn)仍然可計(jì)算得到相似概率，從而保證判別器始終可以提供有效的梯度更新信息。此外，基于K-S檢驗(yàn)判別雙樣本分布的相似性時(shí)，無(wú)需假設(shè)樣本所屬分布類(lèi)型，該優(yōu)點(diǎn)與設(shè)備退化過(guò)程的時(shí)變特性相適應(yīng)。因此可考慮結(jié)合K-S檢驗(yàn)的思想來(lái)修改優(yōu)化目標(biāo)，在解決網(wǎng)絡(luò)訓(xùn)練不穩(wěn)定問(wèn)題的同時(shí)，提供一個(gè)與生成樣本質(zhì)量相關(guān)的訓(xùn)練進(jìn)程指標(biāo)，從而量化判斷生成效果。

=·

(12)

(13)

(14)

相似概率可以通過(guò)可靠性分布函數(shù)表示：

(15)

(16)

比較值與給定的置信度的大小，若>則可認(rèn)為2個(gè)樣本分布之間無(wú)明顯差異。最大取1，因此，相似概率越接近1說(shuō)明兩樣本一致性越強(qiáng)，因此，在訓(xùn)練時(shí)可沿著使值盡可能大的方向進(jìn)行梯度優(yōu)化。式(8)表示的目標(biāo)函數(shù)可修改為

z～()[lg(1-(()))]+()

(17)

此時(shí)，生成器與判別器的優(yōu)化目標(biāo)修改為

=～[lg(1-())]-()

(18)

=～[lg()]+

～[lg(1-())]+()

(19)

Adam優(yōu)化器具有實(shí)現(xiàn)簡(jiǎn)單、計(jì)算高效、參數(shù)的更新不受梯度的伸縮變化影響等優(yōu)點(diǎn)，適用于目標(biāo)函數(shù)不穩(wěn)定或梯度稀疏的情況，因此本文采用Adam算法對(duì)參數(shù)進(jìn)行優(yōu)化。將待優(yōu)化參數(shù)記為=[,]、=[,]，則網(wǎng)絡(luò)參數(shù)可以在同一訓(xùn)練步驟中更新：

(20)

式中：表示學(xué)習(xí)率;表示Adam函數(shù)。DCGAN-KS網(wǎng)絡(luò)的訓(xùn)練過(guò)程可總結(jié)如算法1所示。

算法1 DCGAN-KS的訓(xùn)練過(guò)程Algorithm 1 Training process of DCGAN-KS

考慮到Wasserstein距離(又稱(chēng)Earth-Mover, EM)在2個(gè)分布重疊度很低甚至沒(méi)有重疊時(shí)仍能夠有效衡量生成數(shù)據(jù)分布與真實(shí)數(shù)據(jù)分布之間的距離，因此采用Wasserstein距離衡量所提方法以及對(duì)比方法在缺失數(shù)據(jù)填充方面的性能，相應(yīng)的數(shù)學(xué)模型定義為

(21)

2.4 基于Bi-LSTM網(wǎng)絡(luò)的RUL預(yù)測(cè)

生成數(shù)據(jù)能夠補(bǔ)全真實(shí)數(shù)據(jù)集中缺失的信息，從而獲得完整的設(shè)備性能退化數(shù)據(jù)。在采用退化數(shù)據(jù)進(jìn)行RUL預(yù)測(cè)時(shí)，需要把退化數(shù)據(jù)送入滑動(dòng)時(shí)間窗處理以獲得對(duì)應(yīng)的標(biāo)簽。滑動(dòng)時(shí)間窗可以在保留原始數(shù)據(jù)局部依賴(lài)性的前提下，將原始序列轉(zhuǎn)換為所需格式。具體地，選擇長(zhǎng)度為的時(shí)間窗每次沿時(shí)間方向移動(dòng)一個(gè)單位，時(shí)間窗內(nèi)的數(shù)據(jù)被視為訓(xùn)練樣本，對(duì)應(yīng)的標(biāo)簽是步之后的退化數(shù)據(jù)。處理過(guò)程如圖4所示。

對(duì)于個(gè)訓(xùn)練數(shù)據(jù)，經(jīng)滑動(dòng)時(shí)間窗處理所得的訓(xùn)練集數(shù)據(jù)如下：

(22)

矩陣中每一行為一個(gè)訓(xùn)練樣本，最后一列為該樣本對(duì)應(yīng)的標(biāo)簽。對(duì)于每一個(gè)訓(xùn)練樣本，遺忘門(mén)首先對(duì)上一個(gè)節(jié)點(diǎn)的輸入進(jìn)行選擇性忘記：

=(+-1+)

(23)

圖4 滑動(dòng)時(shí)間窗處理過(guò)程Fig.4 Process of sliding time window

式中：表示當(dāng)前時(shí)刻的輸入；-1表示上一時(shí)刻的隱藏層狀態(tài)；、、為待更新參數(shù)。

輸入門(mén)有選擇的記憶當(dāng)前輸入并更新細(xì)胞狀態(tài)：

(24)

式中：、-1分別表示當(dāng)前時(shí)刻與上一時(shí)刻的細(xì)胞狀態(tài)；、、、、、為待更新參數(shù)。

輸出門(mén)控制更新?tīng)顟B(tài)的輸出：

(25)

式中：、、為待更新參數(shù)。

Bi-LSTM預(yù)測(cè)網(wǎng)絡(luò)的輸出為輸入樣本步之后的退化水平預(yù)測(cè)值，即

[(,,…,)+]

(26)

式中：表示Bi-LSTM網(wǎng)絡(luò)所表征的非線性函數(shù)。

訓(xùn)練過(guò)程中，反向調(diào)節(jié)網(wǎng)絡(luò)參數(shù)，使得預(yù)測(cè)值與真實(shí)值之間的誤差最小,損失函數(shù)表示為

(27)

同樣采取Adam算法對(duì)參數(shù)進(jìn)行優(yōu)化。訓(xùn)練完成后，模型可得到測(cè)試集對(duì)應(yīng)的設(shè)備性能退化水平預(yù)測(cè)值，當(dāng)該值首次達(dá)到預(yù)先設(shè)定的失效閾值時(shí)，認(rèn)為設(shè)備已失效。當(dāng)前時(shí)刻到失效時(shí)刻的時(shí)間間隔即為設(shè)備剩余使用壽命預(yù)測(cè)值RUL。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

采用馬里蘭大學(xué)先進(jìn)壽命周期工程中心提供的CS2電池退化數(shù)據(jù)集，分別從生成效果和預(yù)測(cè)效果2方面來(lái)論證所提方法的有效性。該數(shù)據(jù)集包括4組電池退化數(shù)據(jù)，每塊電池先以1 C恒定電流率充電，當(dāng)電壓達(dá)到4.2 V后維持電壓不變，當(dāng)充電電流下降至0.05 A時(shí)重復(fù)此前的充放電過(guò)程，當(dāng)電池的放電電壓只能達(dá)到2.7 V時(shí)認(rèn)為已達(dá)到失效閾值。容量可以有效反映電池健康狀況，實(shí)際應(yīng)用中通常采用在一定充放電條件下電池容量衰減到失效閾值時(shí)所經(jīng)歷的充放電周期次數(shù)來(lái)描述電池的剩余使用壽命，因此選擇該指標(biāo)進(jìn)行鋰電池RUL預(yù)測(cè)，本文中的剩余使用壽命是指從當(dāng)前時(shí)刻開(kāi)始至鋰離子電池容量不能維持設(shè)備正常工作所經(jīng)歷的充放電周期次數(shù)。上述4組電池容量變化曲線如圖5所示。

由于設(shè)備退化是一個(gè)量變到質(zhì)變的累積過(guò)程，因此在設(shè)備運(yùn)行后期進(jìn)行RUL預(yù)測(cè)尤為必要。故而將編號(hào)為CS2-35、CS2-36、CS2-38電池的完整數(shù)據(jù)和CS2-37截止到600個(gè)循環(huán)周期的容量數(shù)據(jù)作為訓(xùn)練樣本，將CS2-37的600個(gè)循環(huán)周期之后的樣本作為測(cè)試樣本來(lái)評(píng)估預(yù)測(cè)性能，失效閾值選擇文獻(xiàn)[42]中的0.5 Ah。其中，CS2-37電池可視為現(xiàn)場(chǎng)設(shè)備，將10%、30%、50%、70%的4種缺失率下的缺失數(shù)據(jù)送入生成網(wǎng)絡(luò)得到連續(xù)完整的生成數(shù)據(jù)，隨后將存在缺失的原始數(shù)據(jù)和生成數(shù)據(jù)分別送入預(yù)測(cè)網(wǎng)絡(luò)，從而評(píng)估生成數(shù)據(jù)的有效性。

圖5 CS2電池組容量變化軌跡Fig.5 Capacity trajectory of CS2 battery

本文工作主要面向設(shè)備RUL預(yù)測(cè)中的數(shù)據(jù)缺失問(wèn)題，因此主要就生成效果進(jìn)行對(duì)比，各對(duì)比方法描述如下：

1) 生成對(duì)抗網(wǎng)絡(luò)。網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。輸入樣本與輸入噪聲的尺寸均為850，生成器和判別器的學(xué)習(xí)率均設(shè)置為0.000 1，迭代次數(shù)為6 000。

2) 刪除法。直接把存在缺失的樣本刪除。

3) 前向插值。利用前一個(gè)非缺失值填充。

4) 后向插值。利用后一個(gè)非缺失值填充。

5) 線性插值。利用相鄰的未缺失值建立線性函數(shù)()，缺失值由對(duì)應(yīng)的()替代。

6) 樣條插值。保形分段三次樣條插值，將缺失數(shù)據(jù)前后序列均表示為一個(gè)三次函數(shù)，使得在缺失值處具有光滑銜接的性質(zhì)。

7) 移動(dòng)均值插值。取缺失值前后10個(gè)長(zhǎng)度的數(shù)據(jù)的均值代替缺失值。

8) 移動(dòng)中位數(shù)插值。取缺失值前后10個(gè)長(zhǎng)度的數(shù)據(jù)的中位數(shù)代替缺失值。

將對(duì)缺失數(shù)據(jù)處理后得到的數(shù)據(jù)送入Bi-LSTM進(jìn)行預(yù)測(cè)，采用的網(wǎng)絡(luò)架構(gòu)見(jiàn)表1，學(xué)習(xí)率為0.000 5，迭代次數(shù)為200。

表1 網(wǎng)絡(luò)超參數(shù)Table 1 Network hyperparameters

3.2 缺失數(shù)據(jù)生成結(jié)果

本節(jié)展示了在不同缺失率下各方法的缺失數(shù)據(jù)處理效果。首先分別按照10%、30%、50%、70%4種缺失率對(duì)編號(hào)為CS2-37的電池?cái)?shù)據(jù)進(jìn)行隨機(jī)缺失處理，然后將不同缺失率下的真實(shí)數(shù)據(jù)送入DCGAN-KS進(jìn)行訓(xùn)練，學(xué)習(xí)真實(shí)分布并生成樣本。具體地，采用MATLAB讀取電池?cái)?shù)據(jù)并確定數(shù)據(jù)容量，人為設(shè)定缺失率并計(jì)算得到需要?jiǎng)h去原始數(shù)據(jù)的數(shù)量。在當(dāng)前循環(huán)次數(shù)低于需要?jiǎng)h去的數(shù)量時(shí)，基于floor函數(shù)產(chǎn)生數(shù)據(jù)容量范圍內(nèi)的隨機(jī)數(shù)，將該隨機(jī)數(shù)對(duì)應(yīng)位置的數(shù)據(jù)刪去，從而得到存在缺失的數(shù)據(jù)集。本文所提方法與刪除法等對(duì)比方法在不同缺失率下的處理結(jié)果如圖6～圖9所示。

從圖6～圖9中可以直觀地看出，不論缺失率高低，生成數(shù)據(jù)均能與真實(shí)數(shù)據(jù)趨勢(shì)保持高度一致，說(shuō)明所提方法在面對(duì)缺失率較高的情況時(shí)仍能夠生成足夠可靠的樣本，對(duì)于缺失率這一指標(biāo)保持較強(qiáng)的魯棒性。此外，所提方法并不是通過(guò)簡(jiǎn)單地復(fù)制或替換原始數(shù)據(jù)來(lái)完成對(duì)缺失數(shù)據(jù)的處理，而是在充分考慮噪聲等外部因素的干擾下逼近真實(shí)的分布特性，所得到的生成數(shù)據(jù)具有較高的應(yīng)用意義。與其傳統(tǒng)方法的細(xì)節(jié)比較圖論

圖6 缺失率為10%時(shí)的生成結(jié)果Fig.6 Generated results at missing rate of 10%

圖7 缺失率為30%時(shí)的生成結(jié)果Fig.7 Generated result at missing rate of 30%

圖8 缺失率為50%時(shí)的生成結(jié)果Fig.8 Generated result at missing rate of 50%

圖9 缺失率為70%時(shí)的生成結(jié)果Fig.9 Generated result at missing rate of 70%

證了所提方法的優(yōu)越性，由DCGAN-KS模型得到的生成數(shù)據(jù)在不同缺失率下均更加接近真實(shí)數(shù)據(jù)，說(shuō)明模型在輸入存在缺失情況下仍可以學(xué)習(xí)到真實(shí)分布。

表2展示了不同缺失率下各方法的生成數(shù)據(jù)以及缺失數(shù)據(jù)與真實(shí)數(shù)據(jù)之間的EM距離，量化評(píng)估了各方法的生成效果，最優(yōu)結(jié)果已加粗表示。橫向比較可以看出所提方法幾乎均取得最優(yōu)結(jié)果，說(shuō)明得到的結(jié)果更加接近真實(shí)分布。縱向比較則表現(xiàn)出隨缺失率提高，各方法得到的結(jié)果均有所增大，但所提方法增幅最小，故而本方法在面臨高缺失率的數(shù)據(jù)時(shí)仍表現(xiàn)出較高的魯棒性。

表2 不同缺失率下各方法生成樣本與完整樣本的EM距離Table 2 EM distances between generation sample and complete sample at different missing rates

圖10為訓(xùn)練過(guò)程中的K-S檢驗(yàn)統(tǒng)計(jì)值(K-S)、相似概率以及網(wǎng)絡(luò)損失值(，)的變化軌跡，可以看出隨迭代次數(shù)增加，相似概率逐漸趨向于1，生成器與判別器的損失也不斷靠近并保持穩(wěn)定。圖10(a)和圖10(b)中的存在多處沖擊，但是在波動(dòng)后并沒(méi)有發(fā)散到無(wú)窮大，而是又收斂于區(qū)間[4,6]內(nèi)的某一數(shù)值。出現(xiàn)波動(dòng)的原因主要是在訓(xùn)練過(guò)程中生成器生成的數(shù)據(jù)具有多樣性，因此K-S檢驗(yàn)的結(jié)果也存在著較大變化。而沖擊可以理解為設(shè)備實(shí)際工作中由于受到外界環(huán)境作用或噪聲影響下導(dǎo)致的設(shè)備性能不平穩(wěn)波動(dòng)，這也是通過(guò)GAN網(wǎng)絡(luò)得到的生成數(shù)據(jù)的優(yōu)勢(shì)之一：生成數(shù)據(jù)不是對(duì)已有數(shù)據(jù)進(jìn)行簡(jiǎn)單的復(fù)制或數(shù)學(xué)運(yùn)算得到，而是在學(xué)習(xí)真實(shí)數(shù)據(jù)分布的基礎(chǔ)上充分考慮外界環(huán)境可能帶來(lái)的影響。訓(xùn)練過(guò)程中各參數(shù)的變化說(shuō)明修改后的損失函數(shù)可有效指導(dǎo)生成器優(yōu)化過(guò)程，還可改善DCGAN訓(xùn)練不穩(wěn)定的問(wèn)題。

圖10 訓(xùn)練過(guò)程中各指標(biāo)變化軌跡Fig.10 Track of each indicator during training

3.3 剩余壽命預(yù)測(cè)結(jié)果

在本節(jié)中，首先將缺失數(shù)據(jù)與生成數(shù)據(jù)經(jīng)由窗口長(zhǎng)度和步長(zhǎng)分別為50和10的時(shí)間窗處理，從而得到滿(mǎn)足預(yù)測(cè)網(wǎng)絡(luò)需求的樣本。相應(yīng)的，預(yù)測(cè)結(jié)果為輸入樣本10步之后對(duì)應(yīng)的電池容量。比較不同缺失率下缺失數(shù)據(jù)和生成數(shù)據(jù)的預(yù)測(cè)效果，從而驗(yàn)證生成數(shù)據(jù)在后續(xù)RUL預(yù)測(cè)應(yīng)用中的作用。

由于在工程實(shí)際中，預(yù)測(cè)滯后更可能導(dǎo)致嚴(yán)重的安全事故，因此認(rèn)為在預(yù)測(cè)偏差絕對(duì)值相同的情況下，預(yù)測(cè)滯后劣于預(yù)測(cè)提前。這一思想在所選取的評(píng)價(jià)指標(biāo)中得以體現(xiàn)：均方根誤差(Root Mean Square Error, RMSE)對(duì)模型預(yù)測(cè)滯后和預(yù)測(cè)提前給予了相同的懲罰，而評(píng)分函數(shù)(Scoring Function, SF)則給予預(yù)測(cè)滯后更大的懲罰系數(shù)。

圖11展示了在4種缺失率下的訓(xùn)練數(shù)據(jù)、缺失數(shù)據(jù)、生成數(shù)據(jù)預(yù)測(cè)結(jié)果以及真實(shí)壽命曲線，可以直觀地看出生成數(shù)據(jù)的預(yù)測(cè)結(jié)果均比缺失數(shù)據(jù)的預(yù)測(cè)結(jié)果更加接近真實(shí)壽命。且隨著缺失率增大，缺失數(shù)據(jù)下的預(yù)測(cè)效果明顯變差，但生成數(shù)據(jù)下的預(yù)測(cè)效果幾乎沒(méi)有變化，說(shuō)明不同缺失率下的生成數(shù)據(jù)均能與真實(shí)數(shù)據(jù)保持較高的一致性，生成算法具有較高的可靠性。

圖11 不同缺失率下的預(yù)測(cè)效果Fig.11 Prediction results at different missing rates

根據(jù)文獻(xiàn)[43]，采用RMSE和SF這2個(gè)評(píng)估指標(biāo)對(duì)預(yù)測(cè)結(jié)果進(jìn)入深入研究，2個(gè)指標(biāo)的公式分別為

(28)

(29)

式中：表示測(cè)試集中采樣的總數(shù)目；=RUL-RUL表示每個(gè)采樣點(diǎn)的真實(shí)值與預(yù)測(cè)之間的偏差。

表3給出了不同缺失率下預(yù)測(cè)效果的量化評(píng)估結(jié)果。在相同的缺失率下比較缺失數(shù)據(jù)和生成數(shù)據(jù)的預(yù)測(cè)效果，數(shù)據(jù)表明生成數(shù)據(jù)的RMSE和SF值均小于缺失數(shù)據(jù)，說(shuō)明利用生成數(shù)據(jù)得到的預(yù)測(cè)結(jié)果更加準(zhǔn)確。結(jié)合預(yù)測(cè)效果圖可以發(fā)現(xiàn)，生成數(shù)據(jù)從未出現(xiàn)預(yù)測(cè)滯后情況，說(shuō)明利用生成數(shù)據(jù)得到的預(yù)測(cè)結(jié)果在實(shí)際應(yīng)用中安全性更高。最后比較在不同缺失率下的預(yù)測(cè)效果：隨缺失率提高，缺失數(shù)據(jù)的RMSE和SF值呈明顯增大趨勢(shì)，生成數(shù)據(jù)的變化相對(duì)較小，說(shuō)明生成數(shù)據(jù)可以很好地改善缺失率提高造成的不良影響。

表3 不同缺失率下預(yù)測(cè)效果Table 3 Prediction effect at different missing rates

4 結(jié) 論

大數(shù)據(jù)背景下，針對(duì)數(shù)據(jù)缺失下的RUL預(yù)測(cè)問(wèn)題，本文提出一種基于改進(jìn)的DCGAN的數(shù)據(jù)生成方法，通過(guò)實(shí)驗(yàn)論證本文方法可有效解決數(shù)據(jù)缺失問(wèn)題從而改善后續(xù)RUL預(yù)測(cè)的效果。本文工作內(nèi)容如下：

1) 由于傳統(tǒng)的缺失數(shù)據(jù)處理方法在解決大數(shù)據(jù)時(shí)存在計(jì)算能力不足、學(xué)習(xí)能力弱的問(wèn)題，提出了一種以缺失數(shù)據(jù)作為訓(xùn)練基礎(chǔ)，并可以充分學(xué)習(xí)時(shí)間序列前后依賴(lài)特性的生成方法。該方法以DCGAN為基礎(chǔ)網(wǎng)絡(luò)，以存在缺失的監(jiān)測(cè)數(shù)據(jù)為訓(xùn)練樣本，充分挖掘數(shù)據(jù)中蘊(yùn)含的信息，自動(dòng)學(xué)習(xí)真實(shí)分布并生成數(shù)據(jù)。

2) 利用K-S檢驗(yàn)的思想改進(jìn)DCGAN網(wǎng)絡(luò)，通過(guò)在網(wǎng)絡(luò)損失函數(shù)中加入檢驗(yàn)結(jié)果保證生成數(shù)據(jù)與原始數(shù)據(jù)的一致性。此外，將網(wǎng)絡(luò)修改為有監(jiān)督的學(xué)習(xí)，提供了判斷網(wǎng)絡(luò)訓(xùn)練程度的指標(biāo)。

3) 考慮到設(shè)備退化數(shù)據(jù)在時(shí)間維度上具有前后依賴(lài)性，采用Bi-LSTM構(gòu)建設(shè)備退化趨勢(shì)預(yù)測(cè)模型，在提取序列深度特征的同時(shí)充分利用過(guò)去與未來(lái)數(shù)據(jù)所蘊(yùn)含的信息，從而獲得高精度的預(yù)測(cè)結(jié)果。

本文方法可以得到缺失數(shù)據(jù)的點(diǎn)估計(jì)，在后續(xù)的工作中，可考慮通過(guò)多重插補(bǔ)獲取估計(jì)值的不確定性，從而向后續(xù)的RUL預(yù)測(cè)提供更多有價(jià)值的信息。此外，可考慮根據(jù)預(yù)測(cè)結(jié)果對(duì)生成網(wǎng)絡(luò)進(jìn)行優(yōu)化，實(shí)現(xiàn)缺失數(shù)據(jù)下RUL預(yù)測(cè)的閉環(huán)建模與訓(xùn)練。