徐 碩，侯貴生

(山東科技大學(xué) 經(jīng)濟(jì)管理學(xué)院，山東 青島 266590)

0 引言

預(yù)測(cè)和健康管理(Prognostic and Health Management，PHM)由于能夠幫助改善系統(tǒng)設(shè)備的健康狀態(tài)，確保系統(tǒng)按照其最優(yōu)的運(yùn)行條件正常工作,近年來在工業(yè)領(lǐng)域被重點(diǎn)關(guān)注[1]。與傳統(tǒng)的設(shè)備故障檢修相比，PHM通過預(yù)測(cè)系統(tǒng)的健康狀態(tài)，提前安排維修活動(dòng)，在保證設(shè)備可靠性的同時(shí)降低了維修成本。剩余使用壽命(Remaining Useful Life，RUL)預(yù)測(cè)是PHM研究領(lǐng)域中的關(guān)鍵任務(wù)，其目標(biāo)是提供系統(tǒng)設(shè)備健康狀態(tài)的有效信息，并估計(jì)設(shè)備到達(dá)安全操作限制的剩余時(shí)間。對(duì)于飛機(jī)渦扇發(fā)動(dòng)機(jī)這類高安全性和高可靠性要求的設(shè)備，PHM是降低設(shè)備維護(hù)成本、確保運(yùn)行安全，從而提升企業(yè)核心競(jìng)爭(zhēng)力的有效方法。準(zhǔn)確預(yù)測(cè)渦扇發(fā)動(dòng)機(jī)的RUL可以及時(shí)采取合適的維修活動(dòng)(替換、維修)，降低人力、物力成本，提高企業(yè)經(jīng)濟(jì)效益。

目前，預(yù)測(cè)方法可以被分為基于模型的預(yù)測(cè)方法、基于數(shù)據(jù)的預(yù)測(cè)方法與混合預(yù)測(cè)方法3類[2]?；谀Ｐ偷念A(yù)測(cè)方法是通過建立明確的數(shù)學(xué)模型來分析設(shè)備的退化過程，該方法通常需要精準(zhǔn)、明確的系統(tǒng)退化方面的知識(shí)，然而渦扇發(fā)動(dòng)機(jī)系統(tǒng)非常復(fù)雜，建立精準(zhǔn)的數(shù)學(xué)模型難度太大?；跀?shù)據(jù)的預(yù)測(cè)方法通過收集到的設(shè)備運(yùn)行數(shù)據(jù)學(xué)習(xí)設(shè)備退化行為趨勢(shì)，提取關(guān)鍵信息，再通過機(jī)器學(xué)習(xí)、數(shù)理統(tǒng)計(jì)學(xué)習(xí)等方法構(gòu)建設(shè)備運(yùn)行數(shù)據(jù)與RUL之間的映射關(guān)系，更容易處理復(fù)雜建模問題，近年來由于傳感器使用普遍，設(shè)備監(jiān)測(cè)數(shù)據(jù)更易獲得，該方法受到越來越多的關(guān)注。BABU等[3]提出新的學(xué)習(xí)結(jié)構(gòu)，通過在多通道傳感器數(shù)據(jù)的時(shí)間維度上應(yīng)用卷積層和池化層學(xué)習(xí)原數(shù)據(jù)隱藏特征來提高預(yù)測(cè)精度；LI等[4]將深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)結(jié)合時(shí)間窗口，通過多個(gè)堆疊的卷積層學(xué)習(xí)深層表征來預(yù)測(cè)RUL，并通過和其他流行方法相比證明了所提方法的優(yōu)越性。混合預(yù)測(cè)方法將前兩種方法結(jié)合，可以克服兩種方法的缺點(diǎn)，然而至今沒有很好地發(fā)展，相關(guān)研究較少。因此，本文選擇基于數(shù)據(jù)的預(yù)測(cè)方法。

傳感器數(shù)據(jù)可以視為時(shí)序數(shù)據(jù)，在深度學(xué)習(xí)中處理此類數(shù)據(jù)常用的方法是長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory, LSTM)[5]。LSTM通過在循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)加入“門”結(jié)構(gòu)而形成長期依賴特征，該方法因在機(jī)器翻譯、語音識(shí)別、自然語言處理等領(lǐng)域取得很大成功[6]而被應(yīng)用到RUL預(yù)測(cè)中。ZHENG等[7]結(jié)合多層LSTM和標(biāo)準(zhǔn)的前饋網(wǎng)絡(luò)揭示傳感器數(shù)據(jù)的隱藏模式，通過與其他機(jī)器學(xué)習(xí)算法相比證明方法的高效性；MALHOTRA等[8]提出基于自編碼器(Autoencoder，AE)的LSTM模型，從原數(shù)據(jù)中估計(jì)系統(tǒng)的健康指數(shù)，通過重構(gòu)系統(tǒng)時(shí)間序列健康信息獲得的重構(gòu)誤差計(jì)算健康索引，據(jù)此估計(jì)系統(tǒng)的RUL，以更好地進(jìn)行預(yù)測(cè)；YU等[2]也采用構(gòu)建健康指數(shù)的方式，不同的是在通過雙向循環(huán)神經(jīng)網(wǎng)絡(luò)(bidirectional recurrent neural network)計(jì)算出健康指數(shù)后，采用曲線相似性匹配的方法估計(jì)系統(tǒng)的RUL；WU等[9]應(yīng)用vanilla LSTM(LSTM的一種變體)解決復(fù)雜工程系統(tǒng)中的RUL估計(jì)問題。另外，動(dòng)態(tài)差分技術(shù)也被用于從原數(shù)據(jù)中提取新特征。

目前，設(shè)備監(jiān)測(cè)數(shù)據(jù)量大，而且由于多種工況和故障模式的影響，增加了數(shù)據(jù)固有的退化復(fù)雜性，使得預(yù)測(cè)算法很難直接發(fā)現(xiàn)原始數(shù)據(jù)中的退化趨勢(shì)，特征提取是解決該問題的關(guān)鍵。ELLEFSEN等[10]提出一種半監(jiān)督結(jié)構(gòu)預(yù)測(cè)RUL，其中作為預(yù)訓(xùn)練模型，受限玻爾茲曼機(jī)(Restricted Boltzmann Machines，RBM)從無標(biāo)簽數(shù)據(jù)中提取退化信息，用多層LSTM與全連接網(wǎng)絡(luò)估計(jì)目標(biāo)RUL，并采用遺傳算法對(duì)訓(xùn)練過程中不同數(shù)量的超參數(shù)進(jìn)行優(yōu)化，從而達(dá)到更高的預(yù)測(cè)精度。YOON等[11]提出一個(gè)半監(jiān)督模型解決有限標(biāo)簽數(shù)據(jù)下的RUL預(yù)測(cè)問題，通過基于變分自編碼器(Variational Autoencoder，VAE)非線性映射學(xué)習(xí)原數(shù)據(jù)的隱含特征，進(jìn)行更精準(zhǔn)地預(yù)測(cè)；宋亞等[12]首先利用自編碼器對(duì)發(fā)動(dòng)機(jī)數(shù)據(jù)進(jìn)行抽象特征提取，然后借助BLSTM(bidirectional LSTM)捕捉特征雙向時(shí)序退化趨勢(shì)，從而預(yù)測(cè)發(fā)動(dòng)機(jī)RUL，提高算法預(yù)測(cè)精度。

為了提高對(duì)監(jiān)測(cè)數(shù)據(jù)有效信息的挖掘提取能力，本文提出一種基于VAE-D2GAN的預(yù)訓(xùn)練模型。通過將VAE嵌套為雙判別式對(duì)抗式生成網(wǎng)絡(luò)(Dual Discriminator Generative Adversarial Nets，D2GAN)的生成器，形成雙生成模型嵌套結(jié)構(gòu)，新生成的數(shù)據(jù)不僅參與VAE的誤差重構(gòu)訓(xùn)練，還作為生成器的生成數(shù)據(jù)參與D2GAN的誤差重構(gòu)。雙重生成模型的組合使所生成的數(shù)據(jù)更接近原數(shù)據(jù)，能夠保證在生成過程中提取到的中間特征含有更多更重要的原始信息。最后，將提取到的特征傳入多層LSTM預(yù)測(cè)模型，以提取其中的時(shí)間序列退化信息，揭示與RUL之間的映射關(guān)系。通過與最新研究結(jié)果比較發(fā)現(xiàn)，本文所提模型顯著提高了渦扇發(fā)動(dòng)機(jī)RUL的預(yù)測(cè)精度。

1 問題描述

本文提出新的渦扇發(fā)動(dòng)機(jī)RUL預(yù)測(cè)模型，原始傳感器數(shù)據(jù)在標(biāo)準(zhǔn)化后被直接用作模型輸入數(shù)據(jù)。由于多種工況和故障模式的影響，模型很難直接捕獲數(shù)據(jù)中隱藏的退化趨勢(shì)，影響了模型的預(yù)測(cè)精度，有必要對(duì)數(shù)據(jù)進(jìn)行高質(zhì)量的特征提取工作。商用模塊化航空推進(jìn)系統(tǒng)仿真(Commercial Modular Aero-Propulsion System Simulation，C-MAPSS)是一款模擬大型商用渦扇發(fā)動(dòng)機(jī)五大旋轉(zhuǎn)部件(風(fēng)機(jī)、低壓壓氣機(jī)、高壓壓氣機(jī)、高壓渦輪、低壓渦輪)在不同工況下的故障及劣化影響的軟件[13]。C-MAPSS數(shù)據(jù)集共有4個(gè)子集，每個(gè)子集分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，包括26個(gè)列，即引擎號(hào)、操作周期、3個(gè)傳感器操作設(shè)置和21個(gè)傳感器測(cè)量值。3個(gè)傳感器操作模式指標(biāo)分別為飛行高度、馬赫數(shù)、節(jié)流解析器角度，它們決定了渦扇發(fā)動(dòng)機(jī)不同的飛行條件；21種測(cè)量值來自21個(gè)傳感器。詳細(xì)的傳感器變量描述如表1所示。

表1 傳感器檢測(cè)數(shù)據(jù)描述

2 理論方法

2.1 變分自編碼器

自編碼器是提取中間特征的有效方法，其由編碼器和解碼器組成。給定輸入數(shù)據(jù)x，通過編碼器henc(x)進(jìn)行編碼，提取隱藏特征z，然后交由解碼器hdec(z)解碼，得到重構(gòu)數(shù)據(jù)。通過盡可能地最小化重構(gòu)數(shù)據(jù)與原數(shù)據(jù)之間的誤差實(shí)現(xiàn)參數(shù)優(yōu)化，提取原數(shù)據(jù)中的隱藏信息形式為

H(x,x′)=‖x-henc(hdec(x))‖。

(1)

VAE是自編碼器的變體，其根源是貝葉斯推理[14]。VAE繼承了自編碼器的編碼器—解碼器結(jié)構(gòu)，能夠?qū)τ^測(cè)值P(z)的潛在分布進(jìn)行建模，并通過引入一組潛在的隨機(jī)變量z生成新的數(shù)據(jù)，將這一過程表示為

(2)

因?yàn)閦為連續(xù)域，積分很難處理，所以將單個(gè)數(shù)據(jù)點(diǎn)進(jìn)行邊際對(duì)數(shù)似然表示為

logP(x)=DKL(qφ(z|x)‖
pθ(z))+Lvae(φ,θ;x)。

(3)

(4)

第一項(xiàng)通過最小化潛在變量近似后驗(yàn)與先驗(yàn)之間的KL散度，對(duì)潛在變量z進(jìn)行正則化；第二項(xiàng)通過最大化從qφ(z|x)采樣得到的對(duì)數(shù)似然log (pθ(x|z))來重構(gòu)x。

分布類型的選擇很重要，因?yàn)閂AE根據(jù)先驗(yàn)分布pθ(z)和似然pθ(x|z)對(duì)近似后驗(yàn)分布qφ(z|x)進(jìn)行建模。后驗(yàn)分布的典型選擇為高斯分布N(μz,Σz)，先驗(yàn)分布采用標(biāo)準(zhǔn)正態(tài)分布N(0,1)。對(duì)于似然性，經(jīng)常將伯努利分布或多元高斯分布分別用于二進(jìn)制或連續(xù)數(shù)據(jù)。

2.2 雙判別式對(duì)抗式生成網(wǎng)絡(luò)

D2GAN來源于對(duì)抗式生成網(wǎng)絡(luò)(Generative Adversarial Nets，GAN)。GAN[15]的核心思想是由生成器模型和判別器模型形成對(duì)抗性損失，生成器用于從隨機(jī)噪聲中生成數(shù)據(jù)，并努力覆蓋真實(shí)的數(shù)據(jù)分布，判別器用于區(qū)分?jǐn)?shù)據(jù)來自真實(shí)數(shù)據(jù)集還是由生成器生成。

生成器G和判別器D形成二元極小極大值博弈，其中G努力學(xué)習(xí)真實(shí)數(shù)據(jù)分布來欺騙D，D被訓(xùn)練來檢測(cè)G的輸出是否為真。為了實(shí)現(xiàn)上述目標(biāo)，訓(xùn)練D使log(D(x))最大化，調(diào)整G的參數(shù)使log(l-D(G(z))最小化?？倢?duì)抗損失可描述為

(5)

D2GAN為GAN的變體，是一個(gè)三元博弈，包括兩個(gè)不同的判別器D1，D2和一個(gè)生成器G。給定數(shù)據(jù)空間中的樣本x，如果x從真實(shí)數(shù)據(jù)分布pdata中獲取，則D1(x)將獲得高分；如果x從模型分布PG中生成，則D1(x)獲得低分[16]。相反，對(duì)于從PG中生成的x，D2(x)返回高分，而從pdata中提取的樣本則給出低分。與GAN不同的是，判別器返回的分?jǐn)?shù)是正實(shí)數(shù)而不是在[0,1]之間的概率。生成器G從噪聲空間映射合成數(shù)據(jù)來欺騙兩個(gè)判別器D1，D2，這3個(gè)參與者均由神經(jīng)網(wǎng)絡(luò)參數(shù)化，其中D1，D2不共享參數(shù)，如圖1所示。

D1，D2和G三者構(gòu)成三元極小極大值優(yōu)化博弈：

(6)

引入超參數(shù)0<α,β≤1來穩(wěn)定模型的學(xué)習(xí)，并控制KL和反向KL散度對(duì)優(yōu)化問題的影響。

3 VAE-D2GAN半監(jiān)督預(yù)測(cè)模型

本文提出的半監(jiān)督深度學(xué)習(xí)預(yù)測(cè)模型的構(gòu)建思想是，將VAE作為D2GAN的生成器構(gòu)成雙生成模型嵌套結(jié)構(gòu)，使VAE中提取到的中間特征含有更多有用的原始信息；然后將提取到的特征輸入到雙層LSTM，進(jìn)一步提取時(shí)序退化信息；最后通過全連接神經(jīng)網(wǎng)絡(luò)(Fully-connected Neural Network，F(xiàn)NN)輸出目標(biāo)RUL。模型的整體框架如圖2所示。

本文所提模型的最大特點(diǎn)是VAE-D2GAN形成的雙生成嵌套預(yù)訓(xùn)練模型，為了突出所提取中間特征的高效性，在監(jiān)督學(xué)習(xí)階段，本文采用最簡(jiǎn)單的雙層LSTM進(jìn)一步提取特征中的時(shí)序信息，而不是BLSTM。從雙層LSTM得到的時(shí)序退化信息被傳入第一層全連接層，為了使模型更好地?cái)M合訓(xùn)練數(shù)據(jù)并加快收斂，選用ReLU[17]作為激活函數(shù)，同時(shí)對(duì)此全連接層進(jìn)行參數(shù)正則化以減輕過擬合。最后，在第二層全連接層輸出預(yù)測(cè)的RUL，由于為最后的輸出層，輸出節(jié)點(diǎn)設(shè)置為1，使預(yù)測(cè)RUL與標(biāo)簽RUL的數(shù)量保持相同。

在所提模型的核心結(jié)構(gòu)——預(yù)訓(xùn)練模型中，VAE作為生成器參與到D2GAN的訓(xùn)練中，VAE的生成數(shù)據(jù)不僅參與其本身的誤差重構(gòu)，還要作為D2GAN的生成數(shù)據(jù)來欺騙D2GAN的兩個(gè)判別器。通過雙重生成模型嵌套使生成數(shù)據(jù)更接近原數(shù)據(jù)，編碼器可提取到更高質(zhì)量的中間特征，這對(duì)后續(xù)預(yù)測(cè)至關(guān)重要。預(yù)訓(xùn)練模型的結(jié)構(gòu)如圖3所示。

考慮到輸入數(shù)據(jù)來自于不同的傳感器，在VAE的編碼器部分首先使用4個(gè)步長為1的一維卷積核(16×1)提取每個(gè)傳感器數(shù)據(jù)內(nèi)在的退化信息，然后通過緊隨其后的三層步長為2的二維卷積核(18×4)提取數(shù)據(jù)樣本中空間相鄰要素之間的關(guān)系。對(duì)每個(gè)卷積層都用ReLu作為激活函數(shù)，然后通過7層CNN進(jìn)行特征提取。將提取到的特征通過Flatten層轉(zhuǎn)換維度后，送入FNN輸出均值和方差，構(gòu)建正態(tài)分布，用于隨后的解碼器采樣。詳細(xì)的編碼器結(jié)構(gòu)如圖4所示。

編碼器結(jié)構(gòu)對(duì)所提取特征的質(zhì)量有重要影響，本文提出的4層一維卷積結(jié)合3層二維卷積的編碼結(jié)構(gòu)通過實(shí)驗(yàn)逐一尋優(yōu)得到，不同結(jié)構(gòu)的特征提取能力不同，預(yù)測(cè)精度也不同，實(shí)驗(yàn)結(jié)果如圖5所示，其中RMSE表示均方根誤差。無論減少一維卷積層數(shù)或二維卷積層，都會(huì)增大預(yù)測(cè)誤差，因?yàn)闇p少卷積層會(huì)減弱模型的特征提取能力，降低對(duì)原始數(shù)據(jù)有效信息的挖掘程度，從而降低預(yù)測(cè)精度。而在7層結(jié)構(gòu)已經(jīng)取得優(yōu)秀預(yù)測(cè)結(jié)果的情況下，如果繼續(xù)增加卷積層，則會(huì)導(dǎo)致編碼器結(jié)構(gòu)過于復(fù)雜，增加運(yùn)算資源消耗，從而延長訓(xùn)練時(shí)間。

為了進(jìn)一步減輕過擬合，在解碼器的第一個(gè)卷積層以及監(jiān)督階段中的雙層LSTM和第一層FNN中采用Dropout技術(shù)，通過在訓(xùn)練過程中隨機(jī)丟棄部分神經(jīng)元，相當(dāng)于在多個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上訓(xùn)練，來提高模型的泛化能力[18]。另外，本文還采用提前終止訓(xùn)練的方法，在訓(xùn)練集上訓(xùn)練模型后，在驗(yàn)證集檢測(cè)模型的表現(xiàn)，如果發(fā)現(xiàn)驗(yàn)證集的誤差連續(xù)在多個(gè)時(shí)期內(nèi)沒有下降，則提前停止訓(xùn)練，并將停止之后的參數(shù)作為神經(jīng)網(wǎng)絡(luò)的最終參數(shù)。

為了加速模型收斂，生成器與判別器中的卷積操作都采用CNN-BatchNorm-ReLu的形式 (除了輸出層)，即在卷積操作之后先進(jìn)行批標(biāo)準(zhǔn)化(Batch normalization，Batchnorm)，再傳入激活函數(shù)。Batchnorm對(duì)每一層神經(jīng)網(wǎng)絡(luò)的激活輸入值進(jìn)行規(guī)范，使其保持相同的分布，從而減少梯度消失問題，加快模型訓(xùn)練速度[19]。對(duì)權(quán)重初始化采用xavier標(biāo)準(zhǔn)初始化器；無監(jiān)督訓(xùn)練模型中用RMSprop[20]對(duì)損失進(jìn)行優(yōu)化，微調(diào)階段采用Adam[21]算法對(duì)參數(shù)進(jìn)行優(yōu)化；所有訓(xùn)練過程的初始學(xué)習(xí)率均設(shè)為0.000 2。

整體訓(xùn)練算法如算法1所示。首先訓(xùn)練VAE-D2GAN模型，獲得高質(zhì)量的中間特征，然后通過監(jiān)督學(xué)習(xí)進(jìn)行RUL預(yù)測(cè)。

算法1基于VAE-D2GAN的預(yù)測(cè)模型訓(xùn)練算法。

輸入：渦扇發(fā)動(dòng)機(jī)退化監(jiān)測(cè)數(shù)據(jù)集。

初始化參數(shù)：時(shí)間窗口長度、批尺寸、訓(xùn)練次數(shù)、神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)、初始學(xué)習(xí)率(Adam)。

輸出：權(quán)值確定的基于VAE-D2GAN的預(yù)測(cè)模型。

訓(xùn)練過程如下：

(1)數(shù)據(jù)選擇及標(biāo)準(zhǔn)化。

(2)滑動(dòng)窗口準(zhǔn)備數(shù)據(jù)。

(3)當(dāng)VAE-D2GAN 模型訓(xùn)練時(shí)期數(shù)小于設(shè)定值時(shí)：①將數(shù)據(jù)輸入VAE-D2GAN模型向前傳播獲得輸出x′；②計(jì)算生成誤差(包括生成器誤差和重構(gòu)誤差)；③計(jì)算判別誤差(雙判別器誤差之和)；④應(yīng)用RMSprop分別最小化生成誤差和判別誤差，更新模型權(quán)值。

(4)獲得訓(xùn)練好的VAE-D2GAN模型。

(5)獲得提取到的特征。

(6)當(dāng) LSTM-FNN階段訓(xùn)練時(shí)期數(shù)小于設(shè)定值或未達(dá)到EarlyStopping條件時(shí)：①將提取到的特征輸入LSTM-FNN向前傳播得輸出預(yù)測(cè)值yi；②計(jì)算預(yù)測(cè)值與真實(shí)值之間的誤差；③應(yīng)用Adam更新LSTM-FNN的權(quán)值。

(7)獲得訓(xùn)練好的預(yù)測(cè)模型。

4 實(shí)驗(yàn)研究

將所提模型在預(yù)測(cè)基準(zhǔn)問題(美國國家航空航天局渦扇發(fā)動(dòng)機(jī)退化問題)上進(jìn)行實(shí)驗(yàn)，并將結(jié)果與最近的研究進(jìn)行比較，以證明模型的高效性。該流行數(shù)據(jù)集是由美國國家航空航天局開發(fā)的C-MAPSS生成的仿真數(shù)據(jù)，其發(fā)動(dòng)機(jī)模擬器可以在5個(gè)旋轉(zhuǎn)組件中的任何一個(gè)上模擬故障，并為感測(cè)到的發(fā)動(dòng)機(jī)變量提供輸出響應(yīng)。在該實(shí)驗(yàn)中，4個(gè)不同情況的數(shù)據(jù)子集包括3個(gè)操作條件指標(biāo)和輸出變量中的21個(gè)傳感器測(cè)量值，4個(gè)不同情況的數(shù)據(jù)子集包括第1章中提到的3個(gè)操作條件指標(biāo)和輸出變量中的21個(gè)傳感器測(cè)量值。

4.1 數(shù)據(jù)集介紹

C-MAPSS數(shù)據(jù)集被廣泛用于在設(shè)備RUL預(yù)測(cè)實(shí)驗(yàn)中驗(yàn)證預(yù)測(cè)方法的有效性，其4個(gè)子集包括不同數(shù)量的渦扇發(fā)動(dòng)機(jī)，而且每個(gè)發(fā)動(dòng)機(jī)的運(yùn)行周期也不同。為了與所選研究進(jìn)行比較，本文參考文獻(xiàn)[12]，只選取第一個(gè)數(shù)據(jù)集FD001來驗(yàn)證模型。FD001訓(xùn)練集中記錄了100臺(tái)發(fā)動(dòng)機(jī)從正常運(yùn)行到發(fā)生故障的過程，測(cè)試集樣本中的100個(gè)發(fā)動(dòng)機(jī)在故障發(fā)生前停止運(yùn)行，預(yù)測(cè)100個(gè)發(fā)動(dòng)機(jī)的RUL，其中真實(shí)的RUL值已經(jīng)在另一個(gè)文件中給出，用于計(jì)算模型預(yù)測(cè)精度。

4.2 訓(xùn)練流程

詳細(xì)的訓(xùn)練流程如圖6所示。在傳入模型之前，首先對(duì)發(fā)動(dòng)機(jī)數(shù)據(jù)進(jìn)行預(yù)處理，包括數(shù)據(jù)選擇和標(biāo)準(zhǔn)化。在數(shù)據(jù)集FD001的21個(gè)傳感器監(jiān)測(cè)數(shù)據(jù)中，傳感器1,5,6,10,16,18,19在整個(gè)發(fā)動(dòng)機(jī)運(yùn)行周期中是常數(shù)，意味著這些數(shù)據(jù)對(duì)發(fā)動(dòng)機(jī)RUL預(yù)測(cè)的貢獻(xiàn)不大。另外，因?yàn)镕D001服從單一操作條件，所以可以從輸入數(shù)據(jù)中排除3個(gè)操作指標(biāo)參數(shù)。然而，為了能使VAE的輸出數(shù)據(jù)與輸入數(shù)據(jù)保持相同的尺寸，需要用一個(gè)常數(shù)監(jiān)測(cè)數(shù)據(jù)組成16個(gè)輸入變量，可以采用任意一個(gè)常數(shù)傳感器數(shù)據(jù)，因此本文選擇傳感器19。

因?yàn)楦鱾鞲衅鞣祷氐奈锢硖卣髦挡煌孕枰獙?duì)所選擇的輸入變量進(jìn)行歸一化處理，以消除不同量綱對(duì)預(yù)測(cè)結(jié)果的影響。本文選擇最小最大值標(biāo)準(zhǔn)化方法，將輸入數(shù)據(jù)規(guī)范到[-1,1]之內(nèi)，具體公式為

(7)

與在單個(gè)時(shí)間步長采樣的多變量數(shù)據(jù)點(diǎn)相比，時(shí)間序列數(shù)據(jù)可以提供更多信息。因此，本文采用滑動(dòng)窗口策略來有效使用多元時(shí)序信息。模型的輸入為二維矩陣[xtw,xf],其中xtw表示滑動(dòng)窗口的尺寸，xf表示選擇的輸入特征數(shù)。為了在提高數(shù)據(jù)利用率的同時(shí)保證VAE生成數(shù)據(jù)的尺寸不變，將滑動(dòng)窗口尺寸設(shè)為32，即xtw=32；因?yàn)楣策x定16個(gè)輸入變量，所以xf=16。為了盡可能利用數(shù)據(jù)，將滑動(dòng)窗口的步長設(shè)為1。

訓(xùn)練集中并未提供真實(shí)RUL標(biāo)簽，因此本文采用分段線性退化模型為渦扇發(fā)動(dòng)機(jī)的每個(gè)運(yùn)行周期構(gòu)建訓(xùn)練標(biāo)簽，如圖7所示。通常設(shè)備在使用初期正常運(yùn)行，其退化可忽略不計(jì)，將這時(shí)的RUL視為常數(shù)。隨著設(shè)備的運(yùn)行，發(fā)動(dòng)機(jī)開始線性退化，即當(dāng)超過一個(gè)臨界值時(shí)，RUL開始隨運(yùn)行周期的增加而線性減少。前期研究表明，RUL的設(shè)定主要為115，120，125，130四種，為了更直觀地顯示該超參數(shù)對(duì)預(yù)測(cè)精度的影響，本文通過實(shí)驗(yàn)逐一尋優(yōu)，結(jié)果如圖8所示。實(shí)驗(yàn)表明，RUL的突變臨界值設(shè)定為120時(shí)的預(yù)測(cè)精度最高。

將FD001數(shù)據(jù)集經(jīng)過預(yù)處理步驟后獲得的標(biāo)準(zhǔn)化數(shù)據(jù)傳入VAE-D2GAN預(yù)訓(xùn)練模型中提取抽象特征。完成模型預(yù)訓(xùn)練后進(jìn)入微調(diào)階段，通過最小化輸出預(yù)測(cè)RUL與標(biāo)簽RUL之間的誤差，反傳更新模型參數(shù)。

為了方便與其他算法進(jìn)行比較，本文選用與文獻(xiàn)[12]相同的評(píng)估標(biāo)準(zhǔn)衡量算法的優(yōu)劣，即評(píng)分函數(shù)S和均方根誤差RMSE：

(8)

(9)

式中：n為測(cè)試集中真實(shí)的RUL標(biāo)簽數(shù)；di=Rpre-Rtrue，Rpre為RUL預(yù)測(cè)值，Rtrue為RUL真實(shí)值。提前預(yù)測(cè)和延后預(yù)測(cè)對(duì)RMSE的影響權(quán)重相同，延后預(yù)測(cè)對(duì)評(píng)分函數(shù)的影響權(quán)重大于提前預(yù)測(cè)。原因是延遲預(yù)測(cè)會(huì)因預(yù)測(cè)不及時(shí)而產(chǎn)生更嚴(yán)重的后果，而提前預(yù)測(cè)相對(duì)只是增加維修成本。預(yù)測(cè)算法的主要目標(biāo)是在評(píng)分函數(shù)與RMSE兩者盡可能小的情況下，使預(yù)測(cè)誤差di=0。

4.3 模型參數(shù)設(shè)置

在訓(xùn)練時(shí)，將FD001數(shù)據(jù)集分為訓(xùn)練集和驗(yàn)證集，其中驗(yàn)證集占總數(shù)據(jù)的15%，剩余的85%屬于訓(xùn)練集。采用小批次方法訓(xùn)練，為了選取最合適的批尺寸，對(duì)常用的超參數(shù)(取值為128，256，512，1 024)進(jìn)行逐一實(shí)驗(yàn)，結(jié)果如圖9所示。因?yàn)榕叽缛? 024時(shí)效果最好，所以每個(gè)批次設(shè)置1 024個(gè)滑動(dòng)窗口樣本，共3 000個(gè)批次用于訓(xùn)練模型。另外，由兩個(gè)LSTM和兩個(gè)FNN層組成的監(jiān)督訓(xùn)練階段中，二者的隱藏節(jié)點(diǎn)數(shù)對(duì)RUL預(yù)測(cè)精度有重要影響。為了探求合適的參數(shù)(取值為(32，32)，(64，32)，(128，64)，(256，128))，對(duì)常用的4種設(shè)置進(jìn)行實(shí)驗(yàn)驗(yàn)證，結(jié)果如圖10所示。可見，當(dāng)LSTM和FNN的隱藏節(jié)點(diǎn)分別為64和32時(shí)，預(yù)測(cè)誤差最??；對(duì)于Dropout技術(shù)的超參數(shù)p，本文選擇最通用的0.5。監(jiān)督階段的詳細(xì)參數(shù)如表2所示。

表2 監(jiān)督模型參數(shù)

4.4 預(yù)測(cè)結(jié)果及比較

模型完成訓(xùn)練后，對(duì)預(yù)測(cè)準(zhǔn)確性進(jìn)行測(cè)試。將測(cè)試集輸入模型得到測(cè)試結(jié)果如圖11所示?？梢姡A(yù)測(cè)的RUL值與實(shí)際的RUL標(biāo)簽相差不大，說明所提模型表現(xiàn)優(yōu)秀。為了更精確地衡量模型預(yù)測(cè)表現(xiàn)，分別計(jì)算評(píng)分函數(shù)與RMSE。

將本文模型與在相同訓(xùn)練集上測(cè)試的算法進(jìn)行誤差比較，結(jié)果如表3所示。通過對(duì)比可知，無論RMSE還是評(píng)分函數(shù)，本文所提VAE-D2GAN深度學(xué)習(xí)預(yù)測(cè)模型的預(yù)測(cè)誤差均為最低水平。其中預(yù)測(cè)誤差RMSE比之前最優(yōu)的深度CNN[4]降低了8%，評(píng)分函數(shù)比之前全部算法中最優(yōu)的Autoencoder-BLSTM[12]降低了15.3%，原因是雙重嵌套生成模型提取到了更高層次的抽象特征，其中包含更多有用的原始數(shù)據(jù)退化信息，為之后的監(jiān)督模型預(yù)測(cè)RUL打下了堅(jiān)實(shí)的基礎(chǔ)。本文所提VAE-D2GAN深度學(xué)習(xí)預(yù)測(cè)模型的預(yù)測(cè)精度高，且無需專家知識(shí)和物理建模知識(shí)，具有較強(qiáng)的推廣性，可以指導(dǎo)渦扇發(fā)動(dòng)機(jī)預(yù)測(cè)維修活動(dòng)，能夠在保證安全性和可靠性的同時(shí)降低人力物力成本。

表3 不同預(yù)測(cè)方法實(shí)驗(yàn)結(jié)果對(duì)比

5 結(jié)束語

為了解決渦扇發(fā)動(dòng)機(jī)數(shù)據(jù)難以提取有效抽象特征的問題，本文提出一種基于D2GAN-VAE的預(yù)訓(xùn)練特征提取模型，模型通過雙重嵌套生成結(jié)構(gòu)使生成的數(shù)據(jù)更接近原數(shù)據(jù)，能夠保證提取到的特征含有更多原始信息，隨后通過微調(diào)階段進(jìn)一步提取時(shí)序退化信息來預(yù)測(cè)RUL。通過將所構(gòu)建的模型在C-MAPSS數(shù)據(jù)集上測(cè)試，并與最近的預(yù)測(cè)算法進(jìn)行比較，證明了本文模型可有力保障設(shè)備安全。未來將進(jìn)一步提高模型的穩(wěn)定性，并縮短模型訓(xùn)練時(shí)間。