章浩偉 周琪馨 任筱倩

摘 要：為了保障風(fēng)機(jī)的正常運(yùn)行，提出基于自編碼（Autoencoder，AE）的風(fēng)機(jī)故障檢測(cè)方法。依據(jù)法國風(fēng)機(jī)ENGIE公開的風(fēng)速傳感器數(shù)據(jù)，建立欠完備自編碼模型（UAE）、去噪自編碼模型（DAE）與收縮編碼器（CAE）模型，對(duì)風(fēng)機(jī)風(fēng)速傳感器數(shù)據(jù)進(jìn)行編碼和解碼，計(jì)算重構(gòu)誤差并設(shè)定閾值進(jìn)行故障檢測(cè)。用多風(fēng)機(jī)風(fēng)速傳感器數(shù)據(jù)建立PCA模型并與去噪編碼器模型對(duì)比。根據(jù)ROC曲線與AUC值對(duì)比，得出欠完備自編碼模型、去噪自編碼模型、收縮編碼器模型均可用于風(fēng)機(jī)異常檢測(cè)，且收縮編碼器效果最好的結(jié)論。PCA模型也可用于故障檢測(cè)，同時(shí)多風(fēng)機(jī)故障檢測(cè)效果高于單一風(fēng)機(jī)。

關(guān)鍵詞：風(fēng)機(jī)故障;自編碼;去噪自編碼;收縮編碼器

DOI：10. 11907/rjdk. 182849 開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP319文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2019）009-0158-05

Anomaly Detection for Wind Turbines Based on Autoencoder Model

ZHANG Hao-wei，ZHOU Qi-xin，REN Xiao-qian

（College of Biomedical Engineering， University of Shanghai for Science and？Technology， Shanghai 200093， China）

Abstract：In order to achieve anomaly detection for wind turbines and keep the running of wind turbines，an anomaly detection method based on autoencoder is proposed. We obtained the ENGIE open data of the wind speed sensor on the French wind turbines and built the under-complete autoencoder model， the denoising autoencoder network model and the contractive autoencoder model. The power reconstruction error by encoding and decoding the power of wind turbines was calculated and the appropriate threshold value was selected as the decision criteria for anomaly detection. The PCA was built to be compared with denoising autoencoder model with four wind speed sensor data. According to the ROC curve and the AUC value， the under-complete autoencoder model， the denoising autoencoder model and the contractive autoencoder model can all be used for ?anomaly detection for wind turbines， and the contractive autoencoder model is better than the other two models. The PCA model can also be used for fault detection and the wind speed sensor data of four wind turbines is better than one single sensor data.

Key Words： anomalies of wind turbines; autoencoder; denoising autoencoder; contractive autoencoder

0 引言

風(fēng)能年代久遠(yuǎn)，是最重要的能源之一，具有儲(chǔ)藏量大、可再生、無污染、分布范圍廣的特點(diǎn)。目前，世界上已有82個(gè)國家把風(fēng)電列入國家戰(zhàn)略性新興產(chǎn)業(yè)，積極開發(fā)利用風(fēng)能。風(fēng)電數(shù)據(jù)[1]具有變量多、數(shù)據(jù)量大、類型復(fù)雜的特點(diǎn)。深度學(xué)習(xí)算法與傳統(tǒng)故障診斷方法相比，克服了傳統(tǒng)方法對(duì)診斷經(jīng)驗(yàn)的依賴性和大數(shù)據(jù)下模型診斷能力與泛化能力的不足。

自編碼器（Autoencoder，AE）是神經(jīng)網(wǎng)絡(luò)的一種，經(jīng)過訓(xùn)練后能嘗試將輸入復(fù)制到輸出，主要包括欠完備編碼器（Undercomplete Autoencoder，UAE）、去噪編碼器（Denoising Autoencoder，DAE）、收縮編碼器（Contractive Autoencoder，CAE）與稀疏編碼器（Sparse Autoencoder，SAE），其中欠完備編碼器（UAE）又稱為深度自編碼器。自編碼模型利用風(fēng)速傳感器數(shù)據(jù)作為輸入進(jìn)行多層深度學(xué)習(xí)[2]，訓(xùn)練過程中對(duì)原始數(shù)據(jù)進(jìn)行編碼和解碼，并以非監(jiān)督方式學(xué)習(xí)數(shù)據(jù)的固有結(jié)構(gòu)和特征。在訓(xùn)練過程中能使信息損失最小，且能夠準(zhǔn)確保留抽象和深層的特征信息。

Meik Schlechtingen[3]使用數(shù)據(jù)挖掘方法成功對(duì)風(fēng)機(jī)功率曲線進(jìn)行了監(jiān)測(cè);石鑫，朱永利[4]等提出了基于深度自編碼網(wǎng)絡(luò)的電力變壓器故障診斷方法，與基于反向傳播神經(jīng)網(wǎng)絡(luò)（BPNN）、支持向量機(jī)（SVM）故障診斷方法相比，提高了診斷正確率;劉輝海[5]等提出了基于風(fēng)電機(jī)組齒輪箱數(shù)據(jù)的深度自編碼網(wǎng)絡(luò)模型，驗(yàn)證了深度自編碼網(wǎng)絡(luò)學(xué)習(xí)方法對(duì)齒輪箱數(shù)據(jù)故障檢測(cè)的有效性;Long Wang[6]則利用深度自編碼網(wǎng)絡(luò)（UAE）對(duì)風(fēng)機(jī)葉片成功進(jìn)行了故障檢測(cè);Guoqian Jiang[7]利用去噪編碼器模型（DAE）對(duì)風(fēng)機(jī)實(shí)現(xiàn)了故障檢測(cè);Pingping Wen[8]建立了稀疏編碼器（SAE）模型成功對(duì)船舶葉片實(shí)現(xiàn)了故障檢測(cè)。本文首次建立收縮編碼器模型（CAE）用于風(fēng)機(jī)故障檢測(cè)，并且與欠完備自編碼模型（UAE）、去噪編碼器模型（DAE）與PCA模型（Principal Component Analysis，PCA）進(jìn)行對(duì)比，利用單一風(fēng)機(jī)的風(fēng)速傳感器數(shù)據(jù)對(duì)UAE、DAE與CAE三種模型進(jìn)行實(shí)驗(yàn)，利用4個(gè)風(fēng)機(jī)風(fēng)速傳感器數(shù)據(jù)進(jìn)行PCA與DAE模型實(shí)驗(yàn)。得知4種模型均可以用于風(fēng)機(jī)故障檢測(cè)，收縮編碼器（CAE）故障檢測(cè)率最高，欠完備編碼器模型（UAE）最低，多風(fēng)機(jī)傳感器數(shù)據(jù)可提高故障檢測(cè)率。

1 自編碼器與PCA

深度自編碼網(wǎng)絡(luò)也是欠完備自編碼網(wǎng)絡(luò)，由多層自編碼器AE堆疊成神經(jīng)網(wǎng)絡(luò)，結(jié)構(gòu)上與傳統(tǒng)多層神經(jīng)網(wǎng)絡(luò)沒有區(qū)別。訓(xùn)練時(shí)采用逐層訓(xùn)練方法，即將前一層的輸出作為下一層的輸入依次訓(xùn)練，有效解決了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)[9]訓(xùn)練方法不適用于多層網(wǎng)絡(luò)訓(xùn)練的問題。

1.1 欠完備編碼器

以一層自編碼AE為例，一個(gè)基本的AE可視為一個(gè)三層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，即輸入層、隱藏層和輸出層。其中輸出層與輸入層規(guī)模相同。從輸入層到隱含層是編碼過程，從隱含層到輸出層是解碼過程。設(shè)[f（x）]和[g（h）]分別表示編碼和解碼函數(shù)，則2個(gè)過程可分別表示為式（1）和式（2）。

其中，[Sf]和[Sg]通常為Sigmoid函數(shù)[10]，[W]為輸入層與隱含層之間的權(quán)值矩陣，[W]為隱含層與輸出層之間的權(quán)值矩陣[11]，通常為[WT];[p]和[q]分別為隱含層和輸出層上的偏置向量。為了下文表示方便，將AE的參數(shù)記為[θ]，即[θ=W，p，q]。假設(shè)訓(xùn)練樣本集[S=x（1），x（2），？，xN]，預(yù)訓(xùn)練AE的過程實(shí)質(zhì)上就是利用[S]對(duì)參數(shù)[θ]進(jìn)行訓(xùn)練的過程。為此，首先定義1個(gè)訓(xùn)練目標(biāo)，即解碼后的[y]應(yīng)與輸入[x]盡可能地接近，接近程度可表述為重構(gòu)誤差函數(shù)[L（x，y）]：

基于重構(gòu)誤差函數(shù)，針對(duì)訓(xùn)練數(shù)據(jù)集[S]，損失函數(shù)[12]如式（4）所示。然后利用梯度下降法對(duì)損失函數(shù)進(jìn)行極小化，得到該層AE參數(shù)：

一層AE訓(xùn)練完成之后，將其隱含層[13]單元的輸出向量作為下一層輸入。對(duì)下一層AE進(jìn)行訓(xùn)練，依次迭代，直至最終完成整個(gè)深度自編碼網(wǎng)絡(luò)訓(xùn)練。

1.2 去噪自編碼器

去噪自編碼器[14]與欠完備編碼器的區(qū)別是輸入數(shù)據(jù)添加了噪聲。給定一個(gè)輸入[x]，編碼器會(huì)用已經(jīng)損壞的數(shù)據(jù)[x]代替原始數(shù)據(jù)[x]傳輸給隱藏層：

[f]是一個(gè)非線性的激活函數(shù)，[W1∈Rd*m]是權(quán)重矩陣，[b∈Rd]在隱藏層中有d個(gè)節(jié)點(diǎn)，也是在編碼中要進(jìn)行最優(yōu)化的偏置矢量。同理，變量[W2∈Rd*m]和[c∈Rm]，解碼器利用一個(gè)非線性的轉(zhuǎn)換[x]映射生成重建矢量[15][x]，輸出表達(dá)式如下：

[g（.）]也是一個(gè)非線性激活函數(shù)，權(quán)重矩陣[W2]被選作為[W2=W1T]，綁定權(quán)重學(xué)習(xí)效果更好。

給定輸入訓(xùn)練集[xini=1]，可通過[i=1nxi-xi2]計(jì)算重構(gòu)誤差。去噪自編碼器訓(xùn)練目標(biāo)是通過最小化重構(gòu)誤差[16]找到編碼和解碼過程中的最優(yōu)化參數(shù)[θ=W1，b，c]，進(jìn)而進(jìn)行參數(shù)優(yōu)化得到最小化[θ]。

式（7）中的重建誤差計(jì)算是解碼器輸出結(jié)果（損壞的輸入重建后的結(jié)果）與原始輸入之間的差異，而不是與被破壞的輸入差異，即自動(dòng)編碼器從有噪聲的輸入[x]再現(xiàn)原始輸入[x]，使自動(dòng)編碼器對(duì)具有噪聲的數(shù)據(jù)具有魯棒性。重構(gòu)誤差[E∈RM*N]，其為訓(xùn)練輸入[X]與重建數(shù)據(jù)[X]間差異為：[E=X-X]。

1.3 收縮自編碼器

壓縮編碼器（CAE）與自動(dòng)編碼器（AE）不同的是增加了額外的懲罰項(xiàng)，用以最小化與輸入有關(guān)的雅可比行列式的平方范數(shù)[17]。一個(gè)標(biāo)準(zhǔn)的自編碼器包括編碼器與解碼器，編碼器對(duì)輸入數(shù)據(jù)進(jìn)行編碼到隱藏層，解碼器對(duì)隱藏層數(shù)據(jù)進(jìn)行解碼到輸出。通常給定輸入[x∈Rdx]，隱藏層表示為[h∈Rdh]，編碼器通過[dh×dx]大小的矩陣[We]和偏置矢量[bh∈Rdh]進(jìn)行參數(shù)化，解碼器通過[dx×dh]大小的矩陣[Wd]和偏置矢量[by∈Rdh]進(jìn)行參數(shù)化，解碼器輸出[y∈Rdx]則為：

1.4 主成分分析（PCA）模型

主成分分析（PCA）是迄今為止最流行的降維算法[19]，也是最經(jīng)典的基于線性分類的分類系統(tǒng)，其最大特點(diǎn)是利用線性擬合的方法把分布在多個(gè)維度的高維數(shù)據(jù)投射到幾個(gè)軸上。如果每個(gè)樣本只有兩個(gè)數(shù)據(jù)變量，這種擬合就是[a1x+a2x2=P]，其中[x1]和[x2]分別是樣本的兩個(gè)變量，而[a1]和[a2]被稱為載荷[20]，P值叫作主成份。當(dāng)一個(gè)樣本只包含兩個(gè)變量，主成份分析本質(zhì)上就是做一個(gè)線性回歸[21]。如果一個(gè)樣本有n個(gè)變量，則主成份就變?yōu)椋?/p>

A稱為主成分的載荷，P則為得分。如果自動(dòng)編碼器僅使用線性激活函數(shù)且損失函數(shù)是均方誤差（MSE），則它最終執(zhí)行主成分分析。

2 分析步驟

風(fēng)機(jī)正常工作狀態(tài)下，風(fēng)速傳感器數(shù)據(jù)間的特征規(guī)則保持相對(duì)穩(wěn)定。風(fēng)機(jī)故障時(shí)規(guī)則改變，重構(gòu)誤差Re（Reconstruction Error，Re）的趨勢(shì)也改變。正常狀態(tài)下，Re維持在閾值[22]范圍內(nèi)變化，當(dāng)Re 變化越過閾值并保持在閾值之上，則判定風(fēng)機(jī)發(fā)生故障。利用建立的自編碼模型計(jì)算數(shù)據(jù)集的重構(gòu)誤差Re，將其作為風(fēng)機(jī)的檢測(cè)量。通過分析Re變化趨勢(shì)[23]或突變程度，實(shí)現(xiàn)對(duì)風(fēng)機(jī)的故障檢測(cè)。根據(jù)“受試者工作特征”（Receiver Operating Characteristic，ROC）曲線與ROC曲線下的面積AUC（Area Under Curve，AUC）[24]，對(duì)比3種編碼器與PCA模型故障檢測(cè)效果。

基于自編碼模型的風(fēng)機(jī)故障檢測(cè)步驟：①獲取法國Engie公開的風(fēng)速傳感器數(shù)據(jù)建立變量數(shù)據(jù)集，對(duì)數(shù)據(jù)進(jìn)行歸一化處理并分為訓(xùn)練集和測(cè)試集;②建立欠完備自編碼網(wǎng)絡(luò)模型、去噪自編碼模型、收縮編碼器模型與PCA模型;③通過模型得到重構(gòu)誤差，設(shè)定閾值并運(yùn)用測(cè)試數(shù)據(jù)集實(shí)驗(yàn)，檢測(cè)風(fēng)機(jī)是否發(fā)生故障;④對(duì)比欠完備自編碼、去噪自編碼與收縮編碼器模型的故障檢測(cè)結(jié)果;⑤對(duì)比多風(fēng)機(jī)風(fēng)速傳感器數(shù)據(jù)與去噪自編碼模型故障檢測(cè)結(jié)果。

3 算例分析

選取法國ENGIE公司2017-2018年R80711、R80721、R80736、R80790四種公開數(shù)據(jù)的風(fēng)機(jī)，每批次數(shù)據(jù)量均為8 125 × 7，時(shí)間為一天。DA 模型設(shè)定4 個(gè)隱含層，隱含層單元數(shù)分別為1 000、500、250、50，數(shù)據(jù)集按 ? 8∶2 分為訓(xùn)練集和測(cè)試集。在訓(xùn)練過程中，用訓(xùn)練集學(xué)習(xí)每個(gè)隱含層的權(quán)值和偏置值，然后利用AE模型計(jì)算測(cè)試集的Re。AE模型的參數(shù)w、a、b 初始化為服從高斯分布的隨機(jī)較小值，初始學(xué)習(xí)率設(shè)為0.1，網(wǎng)絡(luò)更新速率設(shè)為0.001。

由圖1可以看出，自編碼模型可以學(xué)習(xí)到原始數(shù)據(jù)并能很好地預(yù)測(cè)原始數(shù)據(jù)趨勢(shì)，根據(jù)自編碼輸出與原始數(shù)據(jù)作差可以得到重構(gòu)誤差Re。

由圖2可知欠完備自編碼[6]可用于故障檢測(cè)，神經(jīng)元數(shù)目為25時(shí)故障檢測(cè)效果較好，AUC是0.831 2。

根據(jù)ROC 曲線可知，去噪自編碼網(wǎng)絡(luò)[7]可用于風(fēng)機(jī)故障檢測(cè)，sigma為0.1、神經(jīng)元數(shù)目為25時(shí)故障檢測(cè)效果較好，AUC是0.852 8，如圖3所示。

由表1可知欠完備自編碼模型、去噪自編碼模型、收縮編碼器模型與PCA模型均可以用于風(fēng)機(jī)的故障檢測(cè)，且3種編碼器中收縮編碼器故障檢測(cè)效果最好，選取多風(fēng)機(jī)數(shù)據(jù)可提高風(fēng)機(jī)故障檢測(cè)率。

4 結(jié)語

本文建立了收縮自編碼模型（CAE）并成功用于風(fēng)機(jī)故障檢測(cè)，提高了故障預(yù)測(cè)準(zhǔn)確率，收縮自編碼網(wǎng)絡(luò)（CAE）與欠完備自編碼（UAE）、去噪自編碼（DAE）與PCA模型對(duì)比，收縮編碼器（CAE）模型故障檢測(cè)效果最好，AUC值為0.878 4，去噪編碼器（DAE）次之，AUC值為0.852 8。選取多風(fēng)機(jī)數(shù)據(jù)可以提高故障檢測(cè)率，選取4個(gè)風(fēng)機(jī)數(shù)據(jù)可以將去噪自編碼模型的故障準(zhǔn)確率由0.852 8提高到0.864 7。今后可研究其它類型編碼器或綜合編碼器用于風(fēng)機(jī)的故障檢測(cè)，提高風(fēng)機(jī)故障檢測(cè)率。

參考文獻(xiàn)：

[1] 杭俊，張建忠，程明，等. 風(fēng)力發(fā)電系統(tǒng)狀態(tài)監(jiān)測(cè)和故障診斷技術(shù)綜述[J]. 電工技術(shù)學(xué)報(bào)，2013，28（4）： 262-271.

[2] 楊明，董傳洋，徐殿國. 基于電機(jī)驅(qū)動(dòng)系統(tǒng)的齒輪故障診斷方法研究綜述[J]. 電工技術(shù)學(xué)報(bào)，2016，31（4）： 58-63.

[3] SCHLECHTINGEN M，SANTOS I F，ACHICHE S. Using data-mining approaches for wind turbine power curve monitoring： a comparative study[J]. IEEE Transactions on Sustainable Energy，2016（4）：671- 679.

[4] 石鑫，朱永利. 基于深度自編碼網(wǎng)絡(luò)的電力變壓器故障診斷[J]. 電力自動(dòng)化設(shè)備，2016（5）：122-126.

[5] 劉輝海. 基于深度自編碼網(wǎng)絡(luò)模型的風(fēng)電機(jī)組齒輪箱故障檢測(cè)[J]. 電工技術(shù)學(xué)報(bào)，2017，32（17）： 58-63.

[6] WANG L， ZHANG Z， XU J， et al. Wind turbine blade breakage monitoring with deep autoencoders[J]. IEEE TRANSACTIONS ON SMART GRID， 2018，9（7）：4-9.

[7] JIANG G Q， XIE P. Wind turbine fault detection using a denoising autoencoder with temporal information[J]. IEEE/Asme transactions on mechatronics，2018，26（2）：100-108.

[8] WEN P P，WANG T Z. Blade imbalanced fault diagnosis for marine current turbine based on sparse autoencoder and Softmax regression[C]. Nanjing：2018 33rd Youth Academic Annual Conference of Chinese Association of Automation （YAC），2018.

[9] 趙光權(quán)，葛強(qiáng)強(qiáng)，劉小勇，等. 基于DBN 的故障特征提取及診斷方法研究[J]. 儀器儀表學(xué)報(bào)，2016，39（7）： 1946-1953.

[10] 雷亞國， 賈峰， 周昕， 等. 基于深度學(xué)習(xí)理論的機(jī)械裝備大數(shù)據(jù)健康監(jiān)測(cè)方法[J]. 機(jī)械工程學(xué)報(bào)，2015， 51（21）： 49-56.

[11] WANG X C， GUO P， HUANG X B. A Review of wind power forecasting models[C]. The Proceedings of International Conference on Smart Grid and Clean Energy Technologies，2011：770-778.

[12] HONG Y Y， CHANG H L， CHIU C S. Hour-ahead wind power and forecasting using simultaneous perturbation stochastic approximation（SPSA） algorithm and neural network with fuzzy inputs[J]. Energy，2010，35（9）：3870-3876.

[13] 胡昭華，宋耀良. 基于Autoencoder網(wǎng)絡(luò)的數(shù)據(jù)降維和重構(gòu)[J]. 電子與信息學(xué)報(bào)，2009，31（5）：1189-1192.

[14] VINCENT P， LAROCHELLE H， BENGIO Y， et al. Extracting and composing robust features with denoising autoencoders[C]. 25th International Conference on Machine Learning， 2008： 1096-1103.

[15] JIANG G， HE H， XIE P， et al. Stacked multilevel-denoising autoencoders： a new representation learning approach for wind turbine gearbox fault diagnosis[J]. ?IEEE Transactions on Instrument and Measurement， 2017，66（12）：2391-2402.

[16] VINCENT P， LAROCHELLE H， LAJOIE I，et al. Stacked denoising autoencoders： learning useful representations in a deep network with a local denoising criterion[J]. Journal of Machine Learning Research， 2010（11）：3371-3408.

[17] RIFAI， SALAH， MESNIL， et al. Higher order contractive autoencoder[J]. Machine Learning and Knowledge Discovery in Databases，2011（1）：645-660.

[18] RIFAI， SALAH， VINCENT，et al. Contractive autoencoders： explicit invariance during feature extraction[C]. Proceedings of the 28th International Conference on Machine Learning （ICML-11），2011：833-840.

[19] 方健，李自品，袁輝，等. 基于主成分分析的 BP 神經(jīng)網(wǎng)絡(luò)的應(yīng)用[J]. 變壓器，2011，48（1）：47-51.

[20] 葉永偉，劉志浩，黃利群. 基于PCA 的汽車涂裝線設(shè)備信號(hào)特征提取[J]. ?儀器儀表學(xué)報(bào)，2011，32（10）：2363-2370.

[21] 唐勇波，桂衛(wèi)華，彭濤，等. PCA 和KICA 特征提取的變壓器故障診斷模型[J]. 高電壓技術(shù)，2014，40（2）：557-563.

[22] ALCALA C F，QIN S J. Reconstruction-based contribution for process monitoring[J]. ?Automatica， 2009，45（7）：1593-1600.

[23] MA L，LUAN S Y. A review on the forecasting of wind speed and generated power[J]. Renewable and Sustainable Energy Reviews，2009，13（4）：915-920.

[24] ZHANG W ?Y，WU J，WANG Z J，et al. Performance analysis of four modified approaches for wind speed forecasting[J]. Applied Energy，2012（99）：324-333.

（責(zé)任編輯：杜能鋼）