基于深層長短期記憶網(wǎng)絡(luò)與批規(guī)范化的間歇過程故障檢測方法

王碩 王培良

摘 要：傳統(tǒng)的基于數(shù)據(jù)驅(qū)動的間歇過程故障診斷方法往往需要對過程數(shù)據(jù)的分布進(jìn)行假設(shè)，而且對非線性等復(fù)雜數(shù)據(jù)的監(jiān)控往往會出現(xiàn)誤報和漏報，為此提出一種基于長短期記憶網(wǎng)絡(luò)（LSTM）與批規(guī)范化（BN）結(jié)合的監(jiān)督學(xué)習(xí)方法，不需要對原始數(shù)據(jù)的分布進(jìn)行假設(shè)。首先，對間歇過程原始數(shù)據(jù)運(yùn)用一種按變量展開并連續(xù)采樣的預(yù)處理方式，使處理后的數(shù)據(jù)可以向LSTM單元輸入;然后，利用改進(jìn)的深層LSTM網(wǎng)絡(luò)進(jìn)行特征學(xué)習(xí)，該網(wǎng)絡(luò)通過添加BN層，結(jié)合交叉熵?fù)p失的表示方法，可以有效提取間歇過程數(shù)據(jù)的特征并進(jìn)行快速學(xué)習(xí);最后，在一類半導(dǎo)體蝕刻過程上進(jìn)行仿真實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，所提方法比多元線性主成分分析（MPCA）方法故障識別的種類更多，可以有效地識別各類故障，對故障的整體檢測率達(dá)到95%以上;比傳統(tǒng)單層LSTM模型建模速度更快，且對故障的整體檢測率提高了8個百分點(diǎn)以上，比較適合處理間歇過程中具有非線性、多工況等特征的故障檢測問題。

關(guān)鍵詞：數(shù)據(jù)驅(qū)動;深度學(xué)習(xí);長短期記憶網(wǎng)絡(luò);間歇過程;故障檢測

中圖分類號： TP277

文獻(xiàn)標(biāo)志碼：A

Abstract： Traditional fault detection methods for batch process based on data-driven often need to make assumptions about the distribution of process data， and often lead to false positives and false negatives when dealing with non-linear data and other complex data. To solve this problem， a supervised learning algorithm based on Long Short-Term Memory （LSTM） network and Batch Normalization （BN） was proposed， which does not need to make assumptions about the distribution of original data. Firstly， a preprocessing method based on variable-wise unfolding and continuous sampling was applied to the batch process raw data， so that the processed data could be input to the LSTM unit. Then， the improved deep LSTM network was used for feature learning. By adding the BN layer and the representation method of cross entropy loss， the network was able to effectively extract the characteristics of the batch process data and learned quickly. Finally， a simulation experiment was performed on a semiconductor etching process. The experimental results show that compared with Multilinear Principal Component Analysis （MPCA） method， the proposed method can identify more faults types， which can effectively identify various faults， and the overall detection rate of faults reaches more than 95%. Compared with the traditional single-LSTM model， it has higher recognition speed， and its overall detection rate of faults is increased by more than 8%， and it is suitable for dealing with fault detection problems with non-linear and multi-case characteristics in the batch process.

Key words： data driven; deep learning; Long Short-Term Memory （LSTM） network; batch process; fault detection

0 引言

隨著工業(yè)系統(tǒng)向大型化、復(fù)雜化方向發(fā)展，傳統(tǒng)數(shù)據(jù)驅(qū)動的故障診斷方法無法適應(yīng)新時期這種工業(yè)大數(shù)據(jù)特性的故障診斷需求，具體表現(xiàn)在過程數(shù)據(jù)量大、種類多，且價值密度低。雖然數(shù)據(jù)維數(shù)多，但對監(jiān)測診斷任務(wù)來說不一定都是有用、有價值的[1]。間歇生產(chǎn)過程[2]是一類復(fù)雜工業(yè)過程，指生產(chǎn)過程在同一位置但在不同的時間分批進(jìn)行，操作狀態(tài)不穩(wěn)定，過程參數(shù)隨時間而變，由于不同的操作階段具有不同的過程特性，使得監(jiān)測變量會受到時間維度上的影響。傳統(tǒng)的故障診斷方法依據(jù)多元統(tǒng)計(jì)分析如主元分析（Principal Component Analysis， PCA）和偏最小二乘（Partial Least Square， PLS），在故障診斷中有著廣泛的應(yīng)用[3-5]，但是在具有多工序、非線性、非高斯等特點(diǎn)的間歇過程故障檢測中應(yīng)用效果不理想;例如傳統(tǒng)PCA方法假定過程是線性的，特別是在確定霍特林T平方（Hotellings T-squared， T2）統(tǒng)計(jì)量和平方預(yù)測誤差（Squared Prediction Error， SPE）統(tǒng)計(jì)量的控制限時需要進(jìn)行變量服從多元高斯分布的假設(shè)[6]，這些假設(shè)在實(shí)際生產(chǎn)中通常難以滿足。文獻(xiàn)[7]中提出的基于支持向量數(shù)據(jù)描述（Support Vector Data Description， SVDD）的多時段間歇過程故障檢測，利用時間片數(shù)據(jù)樣本集構(gòu)建的SVDD超球體半徑值與支持向量個數(shù)的變化劃分間歇過程的多時段，不需要假設(shè)過程數(shù)據(jù)服從正態(tài)分布及變量間線性相關(guān)，同時實(shí)現(xiàn)了多時段間歇過程的時段劃分和故障檢測;但在面對數(shù)據(jù)量大、種類多的間歇過程時，該方法建模速度較慢，易于過擬合。文獻(xiàn)[8]提出一種基于K近鄰規(guī)則的故障檢測方法，該方法在故障檢測過程中適應(yīng)數(shù)據(jù)非線性和多工況的特點(diǎn)，在應(yīng)用中取得較好的效果;但仍需要依據(jù)統(tǒng)計(jì)學(xué)中顯著性水平設(shè)置控制限，并假設(shè)原始數(shù)據(jù)為高斯分布，實(shí)驗(yàn)結(jié)果顯示，對于非高斯分布等特征的復(fù)雜數(shù)據(jù)檢測存在一定的誤差。而利用深度學(xué)習(xí)中的長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）單元[9]，可以很好地學(xué)習(xí)并提取具有非線性、多時段或多工況的間歇過程的特征，并且不需要對原始數(shù)據(jù)分布進(jìn)行假設(shè)，完全從過程數(shù)據(jù)中學(xué)習(xí)特征。

深度學(xué)習(xí)的概念起源于神經(jīng)網(wǎng)絡(luò)的研究[10]，有多個隱含層的多層感知器是深度學(xué)習(xí)模型的顯著特征。相對于普通人工神經(jīng)網(wǎng)絡(luò)而言，深度學(xué)習(xí)算法具有更好地逼近復(fù)雜非線性函數(shù)的能力，并有許多方法來解決普通多層神經(jīng)網(wǎng)絡(luò)存在的梯度消失、過擬合等問題，比起淺層神經(jīng)網(wǎng)絡(luò)所需參數(shù)更少，且收斂速度和分類準(zhǔn)確率都有所提升[10]。深度學(xué)習(xí)的基本模型是深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN），在故障診斷領(lǐng)域，在此基礎(chǔ)上改進(jìn)并出現(xiàn)了許多框架模型，包括深度置信網(wǎng)絡(luò)（Deep Belief Network， DBN）[11]、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）[12]、堆疊自動編碼器（Stacked Autoencoder， SAE）[13]、遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）[14]等。其中，RNN是一種帶有記憶單元的神經(jīng)網(wǎng)絡(luò)，其特點(diǎn)是充分考慮了樣本批次之間的關(guān)聯(lián)關(guān)系，可用于處理時序數(shù)據(jù)或者前后關(guān)聯(lián)數(shù)據(jù)，適用于復(fù)雜設(shè)備或系統(tǒng)的實(shí)時故障診斷;如文獻(xiàn)[15]使用遞歸深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對風(fēng)力發(fā)電系統(tǒng)的運(yùn)行行為建模，構(gòu)造了一種動態(tài)的神經(jīng)網(wǎng)絡(luò)模型去模擬正常系統(tǒng)的行為，并通過比較真實(shí)系統(tǒng)和模型得出殘差，仿真表明該方法可在很短時間內(nèi)實(shí)現(xiàn)故障檢測且誤報率非常低，也說明了RNN非常適用于處理與時間序列高度相關(guān)的問題。LSTM是對RNN的一種改進(jìn)，可以有效改善RNN在疊加多層時的梯度消失問題[16]。

4 結(jié)語

本文針對間歇過程的故障檢測問題，建立了基于LSTM-BN的深度學(xué)習(xí)網(wǎng)絡(luò)，用于監(jiān)測間歇過程的故障，并對一類半導(dǎo)體蝕刻過程進(jìn)行仿真實(shí)驗(yàn)，結(jié)果表明，基于LSTM-BN的深度學(xué)習(xí)網(wǎng)絡(luò)對于間歇過程的故障檢測是有效的，且具有很高的準(zhǔn)確率。相比通用的MPCA方法和DNN-BN方法，LSTM-BN模型非常適用于處理與時間序列高度相關(guān)的問題，其優(yōu)勢體現(xiàn)在不需要對原始數(shù)據(jù)的分布進(jìn)行假設(shè)，而且可以很好地記憶時間序列的信息，比傳統(tǒng)的單層LSTM模型建模更快。

本文實(shí)驗(yàn)中，由于故障集明顯少于正常集，對于有監(jiān)督學(xué)習(xí)來說易于過擬合，而LSTM網(wǎng)絡(luò)模型可以不斷學(xué)習(xí)更新，在得到某個新樣本為故障而又無法檢測時，可以將此樣本再次通過損失函數(shù)進(jìn)行參數(shù)更新，即在有更多數(shù)據(jù)時可以繼續(xù)學(xué)習(xí)新數(shù)據(jù)的特性來提高模型的檢測率和泛化能力，這是傳統(tǒng)的MPCA模型無法做到的。

參考文獻(xiàn)：

[1] 任浩，屈劍鋒，柴毅，等.深度學(xué)習(xí)在故障診斷領(lǐng)域中的研究現(xiàn)狀與挑戰(zhàn)[J].控制與決策，2017，32（8）：1345-1358. （REN H， QU J F， CHAI Y， et al. Deep learning for fault diagnosis： The state of the art and challenge[J]. Control and Decision， 2017， 32（8）：1345-1358.）

[2] 趙春暉，王福利，姚遠(yuǎn)，等.基于時段的間歇過程統(tǒng)計(jì)建模、在線監(jiān)測及質(zhì)量預(yù)報[J].自動化學(xué)報，2010，36（3）：366-374. （ZHAO C H， WANG F L， YAO Y， et al. Phase-based statistical modeling， online monitoring and quality prediction for batch processes [J]. Acta Automatica Sinica， 2010， 36（3）： 366-374.）

[3] HUNG H， WU P， TU I， et al. On multilinear principal component analysis of order-two tensors [J]. Biometrika， 2012， 99（3）： 569-583.

[4] WANG J， HE Q P， QIN S J， et al. Recursive least squares estimation for run-to-run control with metrology delay and its application to STI etch process [J]. IEEE Transactions on Semiconductor Manufacturing， 2005， 18（2）： 309-319.

[5] YU J. Fault detection using principal components-based Gaussian mixture model for semiconductor manufacturing processes [J]. IEEE Transactions on Semiconductor Manufacturing， 2011， 24（3）： 432-444.

[6] JACKSON J E， MUDHOLKAR G S. Control procedures for residuals associated with principal component analysis [J]. Technometrics， 2012， 21（3）： 341-349.

[7] 王建林，馬琳鈺，邱科鵬，等.基于SVDD的多時段間歇過程故障檢測[J].儀器儀表學(xué)報，2017，38（11）：2752-2761. （WANG J L， MA L Y， QIU K P， et al. Multi-phase batch processes fault detection based on support vector data description[J]. Chinese Journal of Scientific Instrument， 2017， 38（11）： 2752-2761.）

[8] HE Q P， WANG J. Fault detection using the k-nearest neighbor rule for semiconductor manufacturing processes[J]. IEEE Transactions on Semiconductor Manufacturing， 2007， 20（4）： 345-354.

[9] GRAVES A. Supervised Sequence Labelling with Recurrent Neural Networks[M]. Berlin： Springer， 2012： 37-45.

[10] HINTON G E， SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks [J]. Science， 2006， 313（5786）： 504-507.

[11] WU S， ZHANG L， ZHENG W， et al. A DBN-based risk assessment model for prediction and diagnosis of offshore drilling incidents [J]. Journal of Natural Gas Science and Engineering， 2016， 34： 139-158.

[12] SUN J， XIAO Z， XIE Y. Automatic multi-fault recognition in TFDS based on convolutional neural network [J]. Neurocomputing， 2017， 222： 127-136.

[13] LU C， WANG -Y， QIN W-L， et al. Fault diagnosis of rotary machinery components using a stacked denoising autoencoder-based health state identification [J]. Signal Processing， 2017， 130： 377-388.

[14] de TIM B， VERBERT K， BABUSKA R. Railway track circuit fault diagnosis using recurrent neural networks[J]. IEEE Transactions on Neural Networks and Learning Systems， 2017， 28（3）： 523-533.

[15] TALEBI N， SADRNIA M A， DARABI A. Robust fault detection of wind energy conversion systems based on dynamic neural networks [J]. Computational Intelligence and Neuroscience， 2014， 4（7）： 580972

[16] PASCANU R， MIKOLOV T， BENGIO Y. On the difficulty of training recurrent neural networks [C]// Proceedings of the 30th International Conference on Machine Learning： Vol. 28. Atlanta， GA： JMLR， 2013， 28： 1310-1318.https：//arxiv.org/pdf/1211.5063.pdf

[17] IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift [C]// Proceedings of the 32nd International Conference on Machine Learning： Vol. 37. Atlanta， GA： JMLR， 2015： 448-456.https：//arxiv.org/pdf/1502.03167.pdf

[18] GOODFELLOW I， BENGIO Y， COURVILLE A， et al. Deep learning [M]. Cambridge， UK： MIT Press， 2016：172-187.

[19] DUCHI J， HAZAN E， SINGER Y. Adaptive subgradient methods for online learning and stochastic optimization [J]. Journal of Machine Learning Research， 2011， 12： 2121-2159.

[20] WISE B M， GALLAGHER N B， BUTLER S W， et al. A comparison of principal component analysis， multiway principal component analysis， trilinear decomposition and parallel factor analysis for fault detection in a semiconductor etch process [J]. Journal of Chemometrics， 1999， 13（3/4）： 379-396.

[21] 常玉清，王姝，譚帥，等.基于多時段MPCA模型的間歇過程監(jiān)測方法研究[J].自動化學(xué)報，2010，36（9）：1312-1320. （CHANG Y Q， WANG S， TAN S， et al. Research on multistage-based MPCA modeling and monitoring method for batch processes[J]. Acta Automatica Sinica， 2010， 36（9）：1312-1320.）

[22] 陶棟琦，薄翠梅，易輝.基于多時段MPCA的半導(dǎo)體蝕刻過程監(jiān)測方法[J].傳感技術(shù)學(xué)報，2015，28（6）：798-802. （TAO D Q， BO C M， YI H. Semiconductor etch process monitoring based on multi-stage MPCA [J]. Chinese Journal of Sensors and Actuators， 2015， 28（6）： 798-802.）

[23] GLOROT X， BORDES A， BENGIO Y. Deep sparse rectifier neural networks [C]//Proceedings of the 2011 Fourteenth International Conference on Artificial Intelligence and Statistics： Vol. 15. Atlanta， GA： JMLR， 2011： 315-323.