基于CAE-DNN 的多工序質(zhì)量預(yù)測方法

楊 靜，董寶力

（浙江理工大學(xué)機(jī)械與自動控制學(xué)院，浙江杭州 310018）

0 引言

傳統(tǒng)產(chǎn)品過程質(zhì)量管控以抽樣檢查和統(tǒng)計(jì)方法為主，存在管控滯后問題，無法根據(jù)監(jiān)測到的過程質(zhì)量數(shù)據(jù)及時反饋產(chǎn)品信息［1］。隨著產(chǎn)品復(fù)雜度提高，過程質(zhì)量數(shù)據(jù)急劇增多且存在噪聲數(shù)據(jù)［2］。針對多工序生產(chǎn)過程質(zhì)量數(shù)據(jù)的多特征、多噪聲特性［3］，建立產(chǎn)品質(zhì)量預(yù)測模型，可以更好地利用產(chǎn)品過程質(zhì)量數(shù)據(jù)對生產(chǎn)過程進(jìn)行實(shí)時監(jiān)控與分析，對保證產(chǎn)品生產(chǎn)質(zhì)量具有重要意義。

多工序質(zhì)量預(yù)測研究較多，梳理出以下研究內(nèi)容：針對加工樣本數(shù)據(jù)不足和加工誤差難監(jiān)測等問題，研究賦值型誤差傳遞網(wǎng)絡(luò)多工序加工質(zhì)量預(yù)測方法［4］；采用PSO 算法優(yōu)化支持向量機(jī)參數(shù)，用于質(zhì)量預(yù)測模型的尋優(yōu)［5］，但該方法未考慮數(shù)據(jù)本身對模型性能的影響；在多工序質(zhì)量預(yù)測中采用尺寸關(guān)聯(lián)和偏最小二乘算法提取關(guān)鍵特征［6］，但未考慮數(shù)據(jù)噪聲和小樣本問題；針對數(shù)據(jù)特征復(fù)雜、高維、多噪聲和異常值等問題，采用PCA 與改進(jìn)的RNN 構(gòu)建產(chǎn)品質(zhì)量預(yù)測模型［7］；考慮數(shù)據(jù)類型的不同，在質(zhì)量預(yù)測模型訓(xùn)練階段采用半監(jiān)督堆疊自編碼器（SS-SAE），自適應(yīng)調(diào)整訓(xùn)練策略［8］。多工序質(zhì)量預(yù)測需要綜合考慮過程質(zhì)量數(shù)據(jù)，但針對多特征、多噪聲的研究較少。

深度學(xué)習(xí)是產(chǎn)品質(zhì)量預(yù)測的一種機(jī)器學(xué)習(xí)方法，利用深度置信網(wǎng)絡(luò)（DBN）進(jìn)行無監(jiān)督特征學(xué)習(xí)，將學(xué)習(xí)到的特征輸入質(zhì)量預(yù)測模型［9］；采用DFAEs 進(jìn)行無監(jiān)督學(xué)習(xí)，完成軸承故障模式識別［10］；采用Autoencoder-BLSTM 混合模型，對航空發(fā)動機(jī)壽命進(jìn)行預(yù)測［11］。以上研究中未考慮數(shù)據(jù)噪聲問題，不適于多工序過程質(zhì)量預(yù)測。

本文以多工序制造為研究對象，針對多工序制造過程質(zhì)量數(shù)據(jù)多特征、多噪聲特性，提出一種基于收縮自編碼器—深度神經(jīng)網(wǎng)絡(luò)CAE-DNN 的質(zhì)量預(yù)測模型。通過訓(xùn)練CAE 特征提取原始數(shù)據(jù)中存在的噪聲，提升DNN 預(yù)測模型的魯棒性，增加BN 層、Dropout 和L2 正則化。以天池TFTLCD（薄膜晶體管液晶顯示器）的生產(chǎn)過程質(zhì)量數(shù)據(jù)為例，研究建立多工序質(zhì)量預(yù)測模型。TFT-LCD 生產(chǎn)及工序復(fù)雜，產(chǎn)品關(guān)鍵工序影響因素眾多。同時，由于過程質(zhì)量數(shù)據(jù)測量、采集精度、設(shè)備工況漂移等因素，不可避免地產(chǎn)生大量噪聲數(shù)據(jù)。由于生產(chǎn)過程相對穩(wěn)定，采集到的過程質(zhì)量數(shù)據(jù)較為相似，有效樣本少。因此，在多工序的過程質(zhì)量預(yù)測研究中，需要重點(diǎn)研究過程質(zhì)量數(shù)據(jù)的多特征、多噪聲等問題。

1 收縮自編碼器

自編碼器［12］是一種基于無監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，可將高維數(shù)據(jù)映射為低維數(shù)據(jù)，相關(guān)研究表明自編碼器亦可用于數(shù)據(jù)降噪［13-14］。自編碼器主要由編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)構(gòu)成，層級結(jié)構(gòu)包括輸入層、隱藏層和輸出層，隱藏層輸出即為壓縮后的特征，其拓?fù)浣Y(jié)構(gòu)如圖1 所示。

Fig.1 Autoencoder network structure圖1 自編碼器網(wǎng)絡(luò)結(jié)構(gòu)

編碼網(wǎng)絡(luò)對輸入的過程質(zhì)量數(shù)據(jù)X進(jìn)行編碼，得到編碼特征h，解碼網(wǎng)絡(luò)將h解碼為X'，期望重構(gòu)出原始輸入X，公式如下：

其中：f 和g 為激活函數(shù)。

收縮自編碼器（CAE）由Rifai 等［15］提出，它在普通自編碼器的損失函數(shù)上添加了一個正則懲罰項(xiàng)。相較于其它類型的自編碼器［16-17］，CAE 不僅可以很好地重建輸入信息，而且對一定程度下的擾動具有不變性［18］，即能夠減少模型對噪聲數(shù)據(jù)的敏感性，使得模型具有更強(qiáng)的魯棒性。CAE 主要是通過懲罰隱藏層表達(dá)式的Jacobian 矩陣的F 范數(shù)來達(dá)到抑制數(shù)據(jù)噪聲的目的，公式如下：

收縮自編碼器目標(biāo)函數(shù)如下：

其中：L為均方差損失函數(shù)，λ為控制懲罰力度的超參數(shù)。

2 CAE-DNN 混合質(zhì)量預(yù)測模型

CAE 的預(yù)訓(xùn)練是一個不斷學(xué)習(xí)數(shù)據(jù)特征、進(jìn)行特征提取的過程，同時也為DNN 提供合理的初始參數(shù)。如圖2 所示，在CAE 完成預(yù)訓(xùn)練后，對CAE 的權(quán)重和偏置初始化，最后一層網(wǎng)絡(luò)參數(shù)隨機(jī)初始化，利用特征提取層提取的特征完成過程質(zhì)量預(yù)測。在過程質(zhì)量預(yù)測模型訓(xùn)練中采用反向傳播算法微調(diào)網(wǎng)絡(luò)參數(shù)，提高預(yù)測模型性能。本文在預(yù)測模型訓(xùn)練階段對整個網(wǎng)絡(luò)的參數(shù)進(jìn)行優(yōu)化，加快網(wǎng)絡(luò)訓(xùn)練速度，避免只對最后一層網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整而陷入局部最優(yōu)解。

Fig.2 CAE-DNN hybrid model structure圖2 CAE-DNN 混合模型結(jié)構(gòu)

由于神經(jīng)網(wǎng)絡(luò)的復(fù)雜性以及數(shù)據(jù)集中存在噪聲數(shù)據(jù)，在訓(xùn)練過程中經(jīng)常會發(fā)生過擬合現(xiàn)象，導(dǎo)致網(wǎng)絡(luò)模型在訓(xùn)練集上的精度遠(yuǎn)遠(yuǎn)高于測試集，且網(wǎng)絡(luò)模型越復(fù)雜越容易發(fā)生過擬合現(xiàn)象。為降低DNN 的復(fù)雜度，改善DNN 的過擬合現(xiàn)象，本文加入BN（Batch Normalization）層、Dropout 和L2 正則化。

（1）BN 層也是網(wǎng)絡(luò)中的一層，能夠?qū)㈦[藏層輸出分布強(qiáng)制轉(zhuǎn)換為均值為0、方差為1 的標(biāo)準(zhǔn)正態(tài)分布，使得非線性激活函數(shù)的輸出值處于輸入比較敏感的區(qū)域，從而避免發(fā)生梯度消失問題［19］。

（2）Dropout 在深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練過程中，將神經(jīng)網(wǎng)絡(luò)的神經(jīng)元按照一定概率從網(wǎng)絡(luò)中丟失［20-21］。Dropout 一方面簡化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，減少訓(xùn)練時間，另一方面每個神經(jīng)元都以一定的概率出現(xiàn)，使兩個相同的神經(jīng)元不能保證同時出現(xiàn)，權(quán)值更新不再依賴于固定神經(jīng)元的共同作用，改善了DNN 的過擬合現(xiàn)象。

（3）L2 正則化是在原始損失函數(shù)基礎(chǔ)上添加一個正則項(xiàng)，即各層權(quán)重Wj的平方和，使顯著減少目標(biāo)值方向上的參數(shù)相對保留完好，對無助于目標(biāo)值方向上的參數(shù)在訓(xùn)練過程中因正則項(xiàng)而衰減。

由于特征參數(shù)的量綱各不相同，為了消除不同量綱對模型性能的影響，在數(shù)據(jù)輸入模型前要對數(shù)據(jù)作歸一化處理，將數(shù)據(jù)映射到0～1 之間，公式如下：

其中，xi，j為第i個輸入樣本的第j個特征值分別為樣本數(shù)據(jù)中第j個特征的最大值和最小值，xnorm為歸一化后的特征。

3 實(shí)例分析

3.1 數(shù)據(jù)集說明

本文選取天池工業(yè)AI 大賽—智能制造質(zhì)量預(yù)測中關(guān)于TFT-LCD 的過程質(zhì)量數(shù)據(jù)。數(shù)據(jù)包含各工序的機(jī)臺溫度、氣體、液體流量、功率、制成時間等因子。過程質(zhì)量數(shù)據(jù)總共500 樣本，合計(jì)8 029 個字段，表1 是其中部分質(zhì)量預(yù)測數(shù)據(jù)。第1 個字段為ID 號碼，TOOL_ID 字段表示使用的機(jī)臺種類，剩余字段的名字用于區(qū)分不同工序，字母X 前的數(shù)字表示工序編號，X 后的數(shù)字表示該工序中的參數(shù)編號，如210X1 表示210 工序中的第1 個參數(shù)。

Table 1 Example of experimental data表1 實(shí)驗(yàn)數(shù)據(jù)示例

3.2 數(shù)據(jù)集處理

數(shù)據(jù)處理使用Python3.7、Sklearn 和TensorFlow2.2 等工具。對樣本數(shù)據(jù)整理發(fā)現(xiàn)，過程質(zhì)量數(shù)據(jù)集存在大量的重復(fù)數(shù)據(jù)、單一值以及大量缺失值，需對數(shù)據(jù)進(jìn)行一定的預(yù)處理。

在Python3.7 環(huán)境下，借助Pandas 模塊處理異常值、去除重復(fù)字段、單一值字段和缺失值字段。如對數(shù)據(jù)中存在突然增大和較小的值采用均值進(jìn)行填充和替換，如圖3（a）所示，處理后的數(shù)據(jù)分布如圖3（b）所示。此外，用來表示機(jī)臺的字段采用One-hot 編碼數(shù)值化。上述預(yù)處理后的有效特征變量為3 353 個。

Fig.3 Feature data distribution圖3 特征數(shù)據(jù)分布

3.3 參數(shù)設(shè)置

經(jīng)預(yù)處理后的有效特征為3 353，隨機(jī)選取400 條數(shù)據(jù)作為訓(xùn)練集，剩余數(shù)據(jù)作為測試集。對劃分后的數(shù)據(jù)集進(jìn)行反復(fù)試驗(yàn)，最終選擇CAE 網(wǎng)絡(luò)結(jié)構(gòu)為｛3 353，1 600，500，64，500，1 600，3 353｝，學(xué)習(xí)率lr=1×10-4，懲罰力度參數(shù)λ為0.05，批尺寸bach_size=50，迭代次數(shù)epochs=5 000，DNN 的網(wǎng)絡(luò)結(jié)構(gòu)為｛3 353，1 600，500，64，16，1｝，學(xué)習(xí)率lr=1×10-4，Droptout 數(shù)據(jù)特征保留率keep_prob=0.9，批尺寸bach_size=50，迭代次數(shù)5 000。本文采用激活函數(shù)Relu，評價指標(biāo)采用均方誤差（Mean Square Error，MSE），公式如下：

未添加BN 層和全局平均池化層的預(yù)測模型為FCAE-DNN，圖4 為本文所用模型與CAE-DNN 模型在相同參數(shù)條件下的訓(xùn)練過程。實(shí)線為訓(xùn)練過程曲線，虛線為測試過程曲線。根據(jù)收斂速度，F(xiàn)-CAE-DNN 更具優(yōu)勢，但隨著訓(xùn)練次數(shù)的增加，F(xiàn)-CAE-DNN 在測試集上的誤差有緩慢增加趨勢，而CAE-DNN 則趨向于一個穩(wěn)定值；根據(jù)模型的泛化性能指標(biāo)，CAE-DNN 在訓(xùn)練集與測試集上的MSE值分別為0.015 5 和0.018 3，F(xiàn)-CAE-DNN 的MSE 值分別為0.014 9 和0.027 8，CAE-DNN 在測試 集上的MSE 值小于后者，具有更好的泛化性能。

Fig.4 Training process comparison圖4 訓(xùn)練過程比較

預(yù)測模型訓(xùn)練完成后，將測試數(shù)據(jù)集輸入模型進(jìn)行驗(yàn)證。預(yù)測結(jié)果如圖5 所示，其中實(shí)線表示測試樣本的實(shí)際值，虛線表示測試樣本的預(yù)測值，從圖中可以看出預(yù)測值與實(shí)際值非常接近，模型預(yù)測精度較高。

3.4 結(jié)果比較

為了定量分析模型性能，本文采用均方誤差（MSE）和每百個樣本的預(yù)測速度（每百個樣本預(yù)測耗時）進(jìn)行模型對比。將上述實(shí)驗(yàn)結(jié)果分別與自編碼器—深度神經(jīng)網(wǎng)絡(luò)（AE-DNN）、深度神經(jīng)網(wǎng)絡(luò)（DNN）、PCA-BP 神經(jīng)網(wǎng)絡(luò)、PCA-SVR 進(jìn)行比較驗(yàn)證。

Fig.5 Comparison of CAE-DNN quality prediction results圖5 CAE-DNN 質(zhì)量預(yù)測結(jié)果比較

（1）在AE-DNN 中，AE 的損失函數(shù)中無正則懲罰項(xiàng)，其它層與CAE 對應(yīng)層相同，隱藏層采用Relu 作為激活函數(shù)。

（2）在DNN 中，無預(yù)訓(xùn)練，隱藏層采用Relu 作為激活函數(shù)。

（3）在PCA-BP 中，降維后的數(shù)據(jù)維度設(shè)置為64，BP 網(wǎng)絡(luò)全連接層數(shù)設(shè)置為3 隱層，激活函數(shù)使用Relu，各層節(jié)點(diǎn)數(shù)為｛64，16，1｝。

（4）PCA-SVR 中，降維后的數(shù)據(jù)維度設(shè)置為64，選用高斯核函數(shù)，采用網(wǎng)格搜索尋找最優(yōu)參數(shù)并使用5 折交叉驗(yàn)證，超參數(shù)設(shè)置為｛C=0.1，gamma=1｝。

不同模型預(yù)測結(jié)果分別如圖6—圖9 所示，不同實(shí)驗(yàn)方法結(jié)果對比如表2 所示。

從圖6—圖9 可知，與其它4 種預(yù)測模型相比，CAEDNN 的樣本實(shí)際值（實(shí)線）與預(yù)測值（虛線）擬合程度最好，表明其預(yù)測精度最高，PCA-SVR 實(shí)際值與預(yù)測值偏差最大；由于噪聲數(shù)據(jù)影響，與CAE-DNN 對比的4 種模型存在部分實(shí)際值與預(yù)測值有較大誤差情況，而CAE-DNN 每個樣本預(yù)測結(jié)果都比較精確，抗噪聲能力較強(qiáng)。表2 的模型預(yù)測性能評價指標(biāo)反映出CAE-DNN 與其它4 種模型對比具有較好的預(yù)測精度。

Fig.6 Comparison of AE-DNN quality prediction results圖6 AE-DNN 實(shí)際值與預(yù)測值對比

Fig.7 Comparison of DNN quality prediction results圖7 DNN 實(shí)際值與預(yù)測值對比

Fig.8 Comparison of PCA-BP quality prediction results圖8 PCA-BP 實(shí)際值與預(yù)測值對比

Fig.9 Comparison of PCA-SVR quality prediction results圖9 PCA-SVR 實(shí)際值與預(yù)測值對比

Table 2 Comparison of results of different experimental methods表2 不同實(shí)驗(yàn)方法結(jié)果比較

通過比較實(shí)驗(yàn)得出本文的M1DC-CAE 模型具有以下優(yōu)點(diǎn)：

（1）CAE-DNN 與AE-DNN 相比，加入正則懲罰項(xiàng)使模型對輸入數(shù)據(jù)在一定程度下的擾動具有不變性，可以減少模型對噪聲數(shù)據(jù)的敏感性，使預(yù)測精度提升27.68%。

（2）AE-DNN 與DNN 相比，通過AE 的預(yù)訓(xùn)練可以為DNN 提供一個較為合理的初始參數(shù)，從而提升預(yù)測精度。

（3）與F-CAE-DNN 相比，BN 層、Dropout 和L2 正則化的加入共同改善了CAE-DNN 的過擬合問題，提高了模型的泛化能力。

（4）與PCA-BP 和PCA-SVR 相比，CAE-DNN 特征提取和邏輯推理能力強(qiáng)，更適合處理多工序生產(chǎn)過程質(zhì)量數(shù)據(jù)。

結(jié)論：本文實(shí)驗(yàn)所涉及的質(zhì)量預(yù)測模型中，CAE-DNN的預(yù)測精度和性能相對最好，擬合復(fù)雜工序過程質(zhì)量數(shù)據(jù)非線性程度最高。

4 結(jié)語

針對多工序制造數(shù)據(jù)多特征、多噪聲特性，本文提出一種基于CAE-DNN 的多工序產(chǎn)品質(zhì)量預(yù)測方法，并在天池智能制造數(shù)據(jù)上展開實(shí)驗(yàn)。CAE 的預(yù)訓(xùn)練為DNN 提供了一個合理的初始化參數(shù)，同時抑制了噪聲數(shù)據(jù)，提高了預(yù)測精度。經(jīng)算例驗(yàn)證，相比AE-DNN、DNN、PCA-BP、PCA-SVR 等方法，本文的質(zhì)量預(yù)測模型具有更好的預(yù)測精度，對實(shí)現(xiàn)生產(chǎn)過程質(zhì)量的實(shí)時預(yù)測具有重要意義。但本文方法效率不佳，不適用于實(shí)時性要求很高的場合。后續(xù)將繼續(xù)優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，提高神經(jīng)網(wǎng)絡(luò)計(jì)算效率。