郭小萍 種佳林 李元

收稿日期：2023-07-18；修回日期：2023-08-21? 基金項目：國家自然科學(xué)基金資助項目（62273242）；遼寧省教育廳科學(xué)研究一般項目（LJ2020021）

作者簡介：郭小萍（1972—），女，山西大同人，教授，碩導(dǎo)，博士，主要研究方向為基于數(shù)據(jù)驅(qū)動的復(fù)雜過程故障診斷和軟測量；種佳林（1998—），女，遼寧朝陽人，碩士研究生，主要研究方向為基于數(shù)據(jù)驅(qū)動的復(fù)雜過程軟測量；李元（1964—），女（通信作者），遼寧沈陽人，教授，博導(dǎo)，博士，主要研究方向為基于數(shù)據(jù)驅(qū)動的復(fù)雜過程故障診斷（li-yuan@mail.tsinghua.edu.cn）.

摘? 要：半監(jiān)督深度神經(jīng)網(wǎng)絡(luò)建模方法已被廣泛應(yīng)用于軟測量，但基于分層訓(xùn)練的網(wǎng)絡(luò)在特征提取過程局限于挖掘每層輸入的有效信息，忽略了原始輸入有效信息的丟失，逐層累積，從而導(dǎo)致原始輸入的特征表示準(zhǔn)確率低下；另外，缺乏挖掘過程時空相關(guān)性，也會導(dǎo)致模型性能退化。提出一種半監(jiān)督動態(tài)深度融合神經(jīng)網(wǎng)絡(luò)（semi-supervised dynamics deep fusion neural network，SS-DDFNN）方法。該方法在特征提取網(wǎng)絡(luò)的每層都重構(gòu)原始輸入數(shù)據(jù)并預(yù)測質(zhì)量變量，通過在預(yù)訓(xùn)練損失中使用重構(gòu)原始輸入誤差，減小原始輸入有效信息的丟失；同時融入注意力機(jī)制和t分布隨機(jī)鄰域嵌入提取時空相關(guān)信息，應(yīng)用提取的特征建立門控神經(jīng)網(wǎng)絡(luò)質(zhì)量預(yù)測模型。實驗結(jié)果顯示，相較于SAE、GSTAE和SIAE模型，所提方法在脫丁烷塔案例中的預(yù)測精度分別提升了2.8%、1.1%和0.9%；在工業(yè)聚乙烯生產(chǎn)案例中，分別提升了2.7%、1.0%和0.7%。實驗結(jié)果驗證了所提方法的有效性。

關(guān)鍵詞：自編碼器；軟測量；半監(jiān)督特征提??；時空相關(guān)信息；門控神經(jīng)元

中圖分類號：TP273.1??? 文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695（2024）02-030-0521-06

doi：10.19734/j.issn.1001-3695.2023.07.0276

Semi-supervised dynamic deep fusion neural network based soft sensor

Guo Xiaoping，Chong Jialin，Li Yuan

（College of Information Engineering，Shenyang University of Chemical Technology，Shenyang 110142，China）

Abstract：The semi-supervised deep neural network modeling method has been widely applied in soft sensor，but the network based on hierarchical training only excavates the effective information of each input layer in the feature extraction process，ignoring the loss of effective information of the original input and accumulating it layer by layer，resulting in low accuracy of feature representation of the original input.In addition，the lack of spatiotemporal information related to the mining process can also lead to model performance degradation.This paper proposed a semi-supervised dynamics deep fusion neural network（SS-DDFNN） method.This method reconstructed the original input data and predicted quality variables at each layer of the feature extraction network.By using the reconstructed original input error in pre-training loss，it reduced the loss of effective information from the original input.Simultaneously it incorporated attention mechanism and t-distribution random neighborhood embedding to extract spatiotemporal related information，and established a gated neural network quality prediction model using extracted features.The experimental results show that compared to the SAE，GSTAE，and SIAE models，the proposed method has improved prediction accuracy by 2.8%，1.1%，and 0.9% in the case of a debutanizer，respectively.In the industrial polyethylene production case，it has increased by 2.7%，1.0%，and 0.7% respectively.The experimental results show that the proposed method is effective.

Key words：AutoEncoder；soft sensor；semi-supervised feature extraction；spatiotemporal information；gating neuron

0? 引言

現(xiàn)代工業(yè)過程復(fù)雜度不斷提高，準(zhǔn)確測量關(guān)鍵質(zhì)量變量能有效地在過程中實施控制策略。然而，受測量技術(shù)、環(huán)境及成本等因素的制約，一些關(guān)鍵質(zhì)量變量不能在線獲得。通過對易于測量的過程變量進(jìn)行質(zhì)量預(yù)測成為了一種比較有效的方法［1］。目前，在許多實際生產(chǎn)過程中，質(zhì)量變量通常由人工采樣，需要通過化驗室化驗，間隔幾小時得到具體數(shù)據(jù)，而過程變量可以在線獲得，能夠做到毫秒級一次的采樣，這產(chǎn)生了大量無標(biāo)簽過程數(shù)據(jù)。過程數(shù)據(jù)蘊(yùn)涵著過程中大量的有用信息，軟測量模型的性能很大程度上取決于對過程數(shù)據(jù)的特征表示［2］。傳統(tǒng)基于深度神經(jīng)網(wǎng)絡(luò)的軟測量建模方法采用無標(biāo)簽的過程數(shù)據(jù)進(jìn)行特征提取，這樣提取的特征不能確保與質(zhì)量變量真正相關(guān)［3］。

半監(jiān)督學(xué)習(xí)策略能夠同時利用標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)構(gòu)建模型解決了這一問題，其實質(zhì)是利用大量的無標(biāo)簽數(shù)據(jù)以及少量的標(biāo)簽數(shù)據(jù)進(jìn)行模型的訓(xùn)練，用質(zhì)量變量指導(dǎo)特征學(xué)習(xí)過程，通過最小化重構(gòu)誤差與質(zhì)量預(yù)測誤差捕獲無標(biāo)簽數(shù)據(jù)中的有效信息，提升模型學(xué)習(xí)性能［4］。半監(jiān)督學(xué)習(xí)策略與深度神經(jīng)網(wǎng)絡(luò)的結(jié)合已被廣泛應(yīng)用于工業(yè)過程軟測量。Yuan等人［5］提出了一種半監(jiān)督預(yù)訓(xùn)練策略的軟測量方法，將標(biāo)簽數(shù)據(jù)及未標(biāo)簽數(shù)據(jù)經(jīng)過堆疊自編碼器逐層預(yù)訓(xùn)練提取每層輸入的有效特征，再通過標(biāo)簽數(shù)據(jù)進(jìn)行微調(diào)實現(xiàn)質(zhì)量預(yù)測，提高了模型預(yù)測精度。孫慶強(qiáng)［6］提出了集成半監(jiān)督門控堆疊自編碼器軟測量建模方法。將數(shù)據(jù)劃分為不同的子集，分別通過堆疊自編碼器的逐層預(yù)訓(xùn)練，最大限度地利用標(biāo)簽過程數(shù)據(jù)和無標(biāo)簽過程數(shù)據(jù)挖掘各輸入層與質(zhì)量變量相關(guān)的特征表示。

在采用深度堆疊自編碼網(wǎng)絡(luò)逐層預(yù)訓(xùn)練的訓(xùn)練方式時，解碼層重構(gòu)每層輸入數(shù)據(jù)并直接預(yù)測質(zhì)量變量，預(yù)訓(xùn)練損失通常大于零，導(dǎo)致每一層中都存在輸入數(shù)據(jù)的信息丟失，造成了原始輸入數(shù)據(jù)丟失的有效信息逐層累積［7］。因此，上述半監(jiān)督軟測量模型未考慮丟失的原始輸入數(shù)據(jù)有效信息累積的問題，將會對原始數(shù)據(jù)的特征表示存在偏差，影響模型預(yù)測能力。

此外，工業(yè)生產(chǎn)過程在時間上是連續(xù)的，這使得當(dāng)前質(zhì)量變量不僅與當(dāng)前過程數(shù)據(jù)有關(guān)，還與歷史過程數(shù)據(jù)有關(guān)，產(chǎn)生了較強(qiáng)的時序相關(guān)性［8］。在這種條件下，如何提高模型的特征表示也成為了軟測量模型的關(guān)鍵問題。目前許多學(xué)者采用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）［9］、循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）［10］、長短期記憶網(wǎng)絡(luò)（long short-term memory network，LSTM）［11］、自注意力機(jī)制［12］等特定的網(wǎng)絡(luò)結(jié)構(gòu)提取時間序列數(shù)據(jù)中的動態(tài)特征。為了方便地學(xué)習(xí)歷史數(shù)據(jù)與當(dāng)前數(shù)據(jù)的時序相關(guān)信息，Ren等人［13］應(yīng)用了LSTM建立軟測量模型，提高了模型預(yù)測精度。由于LSTM相較注意力機(jī)制網(wǎng)絡(luò)結(jié)構(gòu)很難提取樣本的長期歷史特征，Wang等人［14］提出了一種基于注意力的動態(tài)堆疊自編碼器網(wǎng)絡(luò)（attention-based dynamic stacked autoencoder network，AD-SAE）。其結(jié)合了注意力機(jī)制卓越的長距離歷史信息提取能力和堆疊自編碼網(wǎng)絡(luò)，在工業(yè)過程軟測量領(lǐng)域得到了廣泛應(yīng)用。

由于過程數(shù)據(jù)在空間中處于同一過程反映的不同位置，會存在相互影響的空間關(guān)系［15］。未考慮空間結(jié)構(gòu)關(guān)系，會導(dǎo)致對過程信息的挖掘不夠充分。曹文彬［16］提出了應(yīng)用t分布隨機(jī)鄰域嵌入（t-distributed stochastic neighbor embedding，t-SNE）方法，將高維空間內(nèi)的數(shù)據(jù)映射到低維空間時保持其概率分布，引導(dǎo)自編碼器挖掘過程空間信息。常樹超等人［8］構(gòu)建了一種時空協(xié)同的圖卷積長短期記憶網(wǎng)絡(luò)，充分挖掘過程的時空特性，在燃煤電廠磨煤過程驗證了模型的有效性。黃成等人［17］提出了一種基于時空局部學(xué)習(xí)的集成自適應(yīng)軟測量建模方法，分別通過滑動窗口和即時學(xué)習(xí)提取過程的時序關(guān)系和空間關(guān)系，提高了模型性能。在軟測量建模過程中同時考慮時空關(guān)系，則能夠在描述過程動態(tài)性的同時，將過程數(shù)據(jù)空間結(jié)構(gòu)信息與質(zhì)量變量關(guān)聯(lián)，提升軟測量模型的性能。

無論是深層自編碼網(wǎng)絡(luò)還是長短期記憶網(wǎng)絡(luò)等都存在只考慮單一過程特性的特點(diǎn)，使其在復(fù)雜的工業(yè)過程中難以保持準(zhǔn)確的質(zhì)量預(yù)測精度。近來，駱釗等人［18］提出了一種將深層自編碼網(wǎng)絡(luò)與多頭注意力機(jī)制結(jié)合，同時對時空數(shù)據(jù)進(jìn)行半監(jiān)督映射的方法，完成半監(jiān)督時序自回歸質(zhì)量預(yù)測。其通過深層自編碼網(wǎng)絡(luò)與半監(jiān)督方法以及注意力策略的融合，綜合考慮了復(fù)雜的過程特性，提高了模型的性能。

因此，針對半監(jiān)督特征提取過程中丟失的原始輸入數(shù)據(jù)有效信息逐層累積以及過程數(shù)據(jù)中時序關(guān)系和空間關(guān)系未被充分挖掘等問題，本文提出一種具有序列特征動態(tài)融合和改進(jìn)半監(jiān)督預(yù)訓(xùn)練策略的軟測量方法。該方法首先應(yīng)用注意力機(jī)制和t-SNE算法融合不同歷史時刻標(biāo)簽過程數(shù)據(jù)和無標(biāo)簽過程數(shù)據(jù)，并最小化其空間分布差異，從而提取時空相關(guān)信息；然后，通過逐層重構(gòu)原始輸入數(shù)據(jù)并預(yù)測質(zhì)量變量的訓(xùn)練策略，將半監(jiān)督預(yù)訓(xùn)練損失函數(shù)中重構(gòu)誤差改進(jìn)為重構(gòu)原始輸入誤差，再引入質(zhì)量預(yù)測誤差，從而減小原始輸入數(shù)據(jù)丟失有效信息的累積；同時最小化t-SNE損失，減小空間結(jié)構(gòu)信息的丟失，提高特征表示的準(zhǔn)確率；最后特征回歸網(wǎng)絡(luò)通過門控神經(jīng)元確定標(biāo)簽特征在最終輸出中所占的權(quán)重，以綜合特征進(jìn)行質(zhì)量預(yù)測。

1? 理論背景

1.1? 自編碼器

自編碼器（autoencoder，AE）是包括一個輸入層、一個隱藏層和一個輸出層的三層神經(jīng)網(wǎng)絡(luò)，其目的是重構(gòu)輸入數(shù)據(jù)，以獲得輸入的特征表示［19］。輸入層和隱藏層組成編碼器，將輸入數(shù)據(jù)x轉(zhuǎn)換成擁有高級特征的隱藏層數(shù)據(jù)h，如式（1）所示；隱藏層和輸出層組成解碼器，其將隱藏層數(shù)據(jù)h重構(gòu)為輸出數(shù)據(jù)如式（2）所示。

h=encoder（x）=f（Wex+be）（1）

=decoder（h）=g（Wdh+bd）（2）

其中：x=［x（1），x（2），…，x（dx）］∈Rdx；dx是輸入數(shù)據(jù)的維度；h=［h（1），h（2），…，h（dh）］∈Rdh為隱藏層變量；dh為隱藏層變量維度；重構(gòu)數(shù)據(jù)為=［（1），（2），…，（dx）］；We和Wd為權(quán)重矩陣；be和bd為偏差矩陣。f（·）和g（·）分別為編碼過程和解碼過程激活函數(shù)，本文選擇sigmoid非線性激活函數(shù)。自編碼器重構(gòu)誤差損失函數(shù)設(shè)計為

J（θ）=∑Ni=1‖i-xi‖22N（3）

其中：N為訓(xùn)練樣本總數(shù)；xi為第i個訓(xùn)練樣本。多個AE疊加在一起以增加網(wǎng)絡(luò)深度形成堆疊自編碼器（stacked autoencoder，SAE）。以堆疊兩層AE為例，如圖1所示。SAE可以直接預(yù)測質(zhì)量變量，=f（Wph+bp），通過最小化標(biāo)記樣本的質(zhì)量預(yù)測誤差函數(shù)式（4）更新整個網(wǎng)絡(luò)參數(shù)。

J（θ）=12N∑Ni=1‖i-yi‖2（4）

1.2? 注意力機(jī)制

目前，注意力機(jī)制已經(jīng)成為神經(jīng)網(wǎng)絡(luò)領(lǐng)域的一個重要概念，其原理如圖2所示［14］。通過計算當(dāng)前查詢樣本和不同元素之間的鍵值相似度來確定有多少來自不同樣本的信息用于當(dāng)前計算，融合了大量歷史樣本信息，計算過程如式（5）～（7）所示。

式（5）為不同樣本之間的相似度計算：

si=qcurrent·ki（5）

式（6）為注意力權(quán)重因子計算：

ci=softmax（si）=exp（xi）∑Nj=1exp（sj）（6）

式（7）為注意力關(guān)注值計算：

ai=attention（（k，v），qcurrent）=∑Ni=1civi（7）

其中：qi、ki和vi表示第i個查詢值、第i個關(guān)鍵字值和第i個值；k=［k1，k2，…，kN］和v=［v1，v2，…，vN］分別表示由所有N個關(guān)鍵值和值組成的矩陣。

2? SS-DDFNN模型的軟測量方法

2.1? SS-DDFNN模型的構(gòu)建

半監(jiān)督動態(tài)深度融合神經(jīng)網(wǎng)絡(luò)（SS-DDFNN）包含兩部分，如圖3所示。半監(jiān)督的訓(xùn)練思想是在特征提取過程進(jìn)行半監(jiān)督預(yù)訓(xùn)練，標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)以4：6的比例均用于SS-DDFNN模型預(yù)訓(xùn)練。對于無標(biāo)簽的樣本，逐層學(xué)習(xí)輸入分布的形狀；對于標(biāo)簽樣本，在質(zhì)量信息的指導(dǎo)下額外學(xué)習(xí)與質(zhì)量相關(guān)的特征。對于標(biāo)簽的訓(xùn)練樣本，損失函數(shù)是最小化其輸入和質(zhì)量輸出變量的重建誤差。而對于無標(biāo)簽的訓(xùn)練樣本，損失函數(shù)僅使輸入部分的重建誤差最小化。網(wǎng)絡(luò)參數(shù)由標(biāo)簽和無標(biāo)簽的訓(xùn)練樣本確定。

SS-DDFNN網(wǎng)絡(luò)第一部分是特征提取網(wǎng)絡(luò)，該網(wǎng)絡(luò)將不同時間序列數(shù)據(jù)映射到一組隱藏特征。首先原始標(biāo)簽過程數(shù)據(jù)及無標(biāo)簽過程數(shù)據(jù)經(jīng)過長度為k的滑動窗口序列化，則t時刻序列化后的數(shù)據(jù)為［xt，xt-1，xt-k+1，…，xt-k］，k=1，2，…，N，包含了t時刻以及t時刻之前k個時刻的過程數(shù)據(jù)。將其經(jīng)過式（8）（9）的位置編碼，將位置向量Pt添加到原始向量，識別歷史過程數(shù)據(jù)位置［14］。

Pti，2j=sin （i/100002j/d）+sin （t/100002j/d）（8）

Pti，2j+1=cos （i/100002j/d）+cos （t/100002j/d）（9）

位置向量每個維度對應(yīng)正弦信號，1≤i≤k表示位置，1≤j≤d表示維度。位置編碼后應(yīng)用式（6）計算不同歷史過程數(shù)據(jù)的注意力權(quán)重因子，根據(jù)式（7）為其分配不同的注意力關(guān)注值，最大限度地保持時序相關(guān)信息，融合為注意力數(shù)據(jù)xv。xv和xt是包含了標(biāo)簽過程數(shù)據(jù)xl和無標(biāo)簽將過程數(shù)據(jù)xu的輸入數(shù)據(jù)。將其應(yīng)用t-SNE空間相似性分析，將距離轉(zhuǎn)換為條件概率分布，在高維輸入空間采取高斯分布，低維隱層空間采取t分布［16］。最小化輸入與隱層特征的距離分布差異，即最小化t-SNE損失，提取空間結(jié)構(gòu)信息。式（10）為t-SNE的損失函數(shù)。式（11）（12）分別為高維空間和低維空間的概率分布，σ2為高斯分布的方差。

L=∑m∑npmnlogpmnqmn（10）

pmn=exp（-‖xm-xn‖2/2σ2）∑k≠lexp（-‖xk-xl‖2/2σ2）（11）

qmn=（1+‖ym-yn‖2）-1∑k≠l（1+‖yk-yl‖2）-1（12）

然后經(jīng)過堆疊自編碼器的逐層編碼過程得到第一隱層特征h1、第二隱層特征h2，直到獲得編碼網(wǎng)絡(luò)的第n隱層動態(tài)特征hn。hn通過逐層解碼過程，每一層都重建原始輸入數(shù)據(jù)l和u并直接預(yù)測質(zhì)量變量。最小化改進(jìn)的預(yù)訓(xùn)練損失減小原始輸入數(shù)據(jù)丟失的有效信息逐層累積，并對參數(shù)集θ={We，be；Wd，bd；Wp，bp}進(jìn)行更新。改進(jìn)的預(yù)訓(xùn)練損失函數(shù)包含重構(gòu)原始輸入誤差項、預(yù)測誤差項和t-SNE的損失函數(shù)項，如式（13）所示。

J（θ）=1Nu∑Nui=1‖ui-xui‖2+1Nl∑Nlj=1‖lj-xlj‖2+1Nl∑Nlj=1‖lj-ylj‖2+∑m∑npmnlogpmnqmn（13）

其中：Nu和Nl分別為無標(biāo)簽過程數(shù)據(jù)和有標(biāo)簽數(shù)據(jù)的數(shù)量；ui、lj 和lj分別為重構(gòu)數(shù)據(jù)和預(yù)測數(shù)據(jù)。

SS-DDFNN網(wǎng)絡(luò)第二部分是由門控神經(jīng)元組成的特征回歸網(wǎng)絡(luò)，該網(wǎng)絡(luò)采用隱層有標(biāo)簽的特征來預(yù)測輸出，作用機(jī)理如式（14）～（16）所示。對于第i個標(biāo)簽特征，首先根據(jù)式（14）使用標(biāo)簽特征hli生成門控值gi，門控值為特征在最終輸出中所占的權(quán)重。

gi=σ（Wgi·hli+bgi）（14）

其中：σ為sigmoid激活函數(shù)。hli再根據(jù)式（15）映射生成候補(bǔ)預(yù)測值yi。

yi=tanh（Woi·hli+boi）（15）

各門值作用于候補(bǔ)預(yù)測值，并加和得到最后質(zhì)量預(yù)測值為

=∑mi=1gi⊙yi=∑mi=1σ（Wgi·hli+bgi）⊙tanh（Woi·hli+boi）（16）

整個網(wǎng)絡(luò)的參數(shù)通過最小化式（4）的預(yù)測誤差進(jìn)行微調(diào)。

2.2? SS-DDFNN軟測量方法

基于SS-DDFNN模型的軟測量建模流程分為訓(xùn)練階段和測試階段兩部分，如圖4所示。

在訓(xùn)練階段，首先根據(jù)理論分析和操作經(jīng)驗選擇模型的輸入變量，采集并劃分?jǐn)?shù)據(jù)集（包括過程變量和質(zhì)量變量）。然后預(yù)處理訓(xùn)練數(shù)據(jù)集，訓(xùn)練SS-DDFNN模型。當(dāng)損失函數(shù)最小即模型訓(xùn)練完成，保存模型參數(shù)。測試階段，預(yù)處理測試數(shù)據(jù)集，然后將其輸入訓(xùn)練好的模型獲得關(guān)鍵質(zhì)量變量預(yù)測值?；赟S-DDFNN的軟測量建模具體步驟如下所示。

輸入：工業(yè)過程的無標(biāo)簽過程數(shù)據(jù)Xu={xu1，xu2，…，xum}；標(biāo)簽過程數(shù)據(jù)Xl={xl1，xl2，…，xln}；質(zhì)量數(shù)據(jù)Y={yl1，yl2，…，yln}組成訓(xùn)練集和測試集；時間窗口長度k。

訓(xùn)練：

數(shù)據(jù)歸一化預(yù)處理。

初始化SS-DDFNN網(wǎng)絡(luò)結(jié)構(gòu)、連接權(quán)重及偏置等參數(shù)。

經(jīng)滑動窗口和注意力機(jī)制計算不同歷史過程數(shù)據(jù)［xt，xt-1，…，xt-k］對當(dāng)前過程數(shù)據(jù)xt的貢獻(xiàn)，融合為注意力數(shù)據(jù)xv，再將xt及xv經(jīng)過t-SNE計算概率分布，提取過程數(shù)據(jù)的空間結(jié)構(gòu)關(guān)系。

經(jīng)過SS-DDFNN網(wǎng)絡(luò)的第一層編碼過程獲得其編碼網(wǎng)絡(luò)參數(shù){We1，be1}和第一隱層特征h1={h11，h12，…，h1N}，通過最小化預(yù)訓(xùn)練損失函數(shù)更新其編碼網(wǎng)絡(luò)參數(shù){We1，be1}，完成SS-DDFNN第一層網(wǎng)絡(luò)的預(yù)訓(xùn)練；第一隱層特征作為SS-DDFNN網(wǎng)絡(luò)第二層的輸入。

令k＝2；主循環(huán)：

當(dāng)k＜L，使用hk-1和Y來訓(xùn)練SS-DDFNN網(wǎng)絡(luò)的第k層，從而獲得其編碼參數(shù)和第k隱層特征hk。

令k＝n，SS-DDFNN網(wǎng)絡(luò)逐層預(yù)訓(xùn)練提取特征完成。

經(jīng)前向編碼過程得到的第n隱層特征hn通過解碼過程，每層都重構(gòu)原始輸入數(shù)據(jù)并直接預(yù)測質(zhì)量變量。

將hn中有標(biāo)簽特征hli分別傳遞到相應(yīng)的門值網(wǎng)絡(luò)和tanh函數(shù)得到對應(yīng)的門控值gi和候補(bǔ)預(yù)測值yi。

融合不同標(biāo)簽特征的預(yù)測值，得到最終的目標(biāo)輸出值。

通過最小化預(yù)測誤差損失來微調(diào)整個網(wǎng)絡(luò)參數(shù)。

保存網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)。

測試：

將歸一化預(yù)處理過的測試數(shù)據(jù)作為網(wǎng)絡(luò)輸入，經(jīng)過半監(jiān)督特征提取和有監(jiān)督特征回歸獲得對應(yīng)的質(zhì)量變量預(yù)測值。計算RMSE、MAE、MAPE和R2四個性能評估指標(biāo)，評估模型預(yù)測性能。

為了直觀地評價模型的性能，本文使用均方根誤差（RMSE）、擬合優(yōu)度系數(shù)（R2）、平均絕對誤差（MAE）和平均絕對百分比誤差（MAPE）四個指標(biāo)來量化模型預(yù)測效果［20］。

RMSE=1N∑Ni=1（yi-i）2，R2=1-∑Ni=1（yi-i）2∑Ni=1（yi-i）2（17）

MAE=1N∑Ni=1|i-i|，MAPE=100%N∑Ni=1|i-yiyi|（18）

其中：N是樣本個數(shù)；yi是第i個樣本的真實值；i是第i個樣本的模型預(yù)測值；i是所有樣本真實值的平均值。

3? 案例研究

分別通過脫丁烷塔［21］和工業(yè)聚乙烯［22］生產(chǎn)過程數(shù)據(jù)詳細(xì)的進(jìn)行所提SS-DDFNN軟測量方法的有效性實驗驗證，并與堆疊自編碼器（SAE）［23］、門控堆疊目標(biāo)相關(guān)自編碼器（GSTAE）［24］ 和堆疊同構(gòu)自編碼器（SIAE）［7］模型進(jìn)行比較。

3.1? 脫丁烷塔案例

脫丁烷塔是工業(yè)煉油工藝的重要組成部分，主要用于脫硫和石腦油的分離。脫丁烷塔裝置如圖5所示。其中涉及的變量之間存在復(fù)雜的關(guān)系，為了保持穩(wěn)定生產(chǎn)和保證產(chǎn)品質(zhì)量，需要最大限度地提高汽油（C5）含量并最小化脫丁烷塔底部的丁烷（C4）含量。因此，為了提高C4的控制質(zhì)量，需要進(jìn)行軟測量建模對C4含量進(jìn)行實時估計。

本文選擇七個常規(guī)測量的過程變量進(jìn)行數(shù)據(jù)建模，表1詳細(xì)介紹了過程變量信息。選取2 300個樣本，其中前1 600個樣本作為訓(xùn)練集，用于訓(xùn)練模型參數(shù)，后700個作為測試集，用于評價模型預(yù)測性能。

為了獲得SS-DDFNN模型，需要初始化網(wǎng)絡(luò)結(jié)構(gòu)和超參數(shù)，主要是通過試錯法獲得的。初始學(xué)習(xí)率設(shè)置為0.002，批量大小設(shè)置為20。為了更有說服力，對比模型的結(jié)構(gòu)參數(shù)與SS-DDFNN模型的參數(shù)保持一致。所提SS-DDFNN方法與三種對比方法SAE、GSTAE、SIAE的質(zhì)量預(yù)測結(jié)果如圖6所示。圖6中可以清晰地看出本文方法的預(yù)測結(jié)果很好地追蹤到了真實值的變化趨勢。尤其是在第400測試樣本附近其預(yù)測值曲線與真實值曲線擬合度最高，質(zhì)量預(yù)測能力最優(yōu)，而三種對比方法質(zhì)量預(yù)測曲線偏離真實值曲線明顯，質(zhì)量預(yù)測誤差較大。

表2詳細(xì)給出了SS-DDFNN與SAE、GSTAE、SIAE方法的性能評估指標(biāo)值?？梢钥闯鯯S-DDFNN方法在四個指標(biāo)上都取得了最佳性能，說明其模型性能最優(yōu)，質(zhì)量預(yù)測最精確。受無標(biāo)簽數(shù)據(jù)的影響，SAE方法的性能評估指標(biāo)最差；GSTAE方法利用門控神經(jīng)元融合特征以綜合預(yù)測質(zhì)量變量，其評估指標(biāo)優(yōu)于SAE；SIAE方法的性能評估指標(biāo)也優(yōu)于SAE，表明通過減小原始輸入數(shù)據(jù)丟失的有效信息逐層積累會提高模型預(yù)測性能。

所提SS-DDFNN方法與SAE、GSTAE、SIAE三種對比方法的訓(xùn)練損失收斂曲線如圖7所示?？梢悦黠@看出四種方法的訓(xùn)練損失收斂曲線的收斂值最終都接近于0，但是所提SS-DDFNN方法的初始損失值明顯低于三種對比方法，并且SS-DDFNN方法的訓(xùn)練損失收斂曲線更趨近于收斂值。這表明改進(jìn)后的損失函數(shù)優(yōu)化了模型的性能。

構(gòu)建消融實驗，SIAE方法只考慮了特征提取過程中原始輸入數(shù)據(jù)中有效信息的逐層丟失。建立一種半監(jiān)督堆疊同構(gòu)自編碼網(wǎng)絡(luò)（semi-supervised stacked isomorphic autoencoder，SS-SIAE）方法，將標(biāo)簽樣本和無標(biāo)簽樣本同時用于模型訓(xùn)練，并減少原始輸入數(shù)據(jù)中有效信息的丟失。所提SS-DDFNN方法在SS-SIAE方法基礎(chǔ)上提取時空相關(guān)信息。這三種模型質(zhì)量預(yù)測結(jié)果對比如圖8所示，性能評估指標(biāo)值如表3所示。

在圖8和表3中都可以直觀地看出，所提SS-DDFNN方法具有最高的質(zhì)量預(yù)測精度和最優(yōu)的性能評估指標(biāo)值，也表明所提方法的有效性被提高。

3.2? 工業(yè)聚乙烯案例

該工業(yè)聚乙烯生產(chǎn)過程有三級反應(yīng)過程，如圖9所示［22］。本文取第一級過程數(shù)據(jù)進(jìn)行方法驗證，共有12個易于測量的過程變量，關(guān)鍵質(zhì)量變量為熔體指數(shù)（MI）。選用文獻(xiàn)［22］中的315個樣本，其中前250個樣本作為訓(xùn)練集，其余作為測試集。

圖10～12為SS-DDFNN與SAE、GSTAE、SIAE方法的預(yù)測結(jié)果、絕對預(yù)測誤差和預(yù)測誤差箱線圖。在圖10中可以看出，SS-DDFNN方法的預(yù)測結(jié)果和真實值具有最高的一致性，尤其在第50～60測試樣本中預(yù)測誤差小于三種對比方法，提高了對MI的預(yù)測精度。盡管三種對比方法在分層預(yù)訓(xùn)練過程中實現(xiàn)了深層特征提取，但它們未充分挖掘和利用過程有效信息。

為了更加明確地顯示四種模型的預(yù)測性能，圖11給出了測試數(shù)據(jù)集上的絕對預(yù)測誤差曲線，可以看出SS-DDFNN方法的絕對誤差曲線最平穩(wěn)，在大多數(shù)樣本的絕對預(yù)測誤差最小，誤差波動明顯小于SAE、GSTAE、SIAE方法，具有更加穩(wěn)定和準(zhǔn)確的預(yù)測能力，驗證了所提方法的有效性。

圖12預(yù)測誤差箱線圖更直觀地反映了模型的性能，可以看出，SS-DDFNN在四種方法中顯示出最窄的誤差分布范圍，誤差更加集中地分布在零值附近，說明其具有最高的預(yù)測精度。

將四種方法應(yīng)用于測試數(shù)據(jù)集，表4給出了詳細(xì)的模型預(yù)測性能評估指標(biāo)值?？梢灾庇^地看出SS-DDFNN方法的RMSE、MAE和MAPE值最小，R2值最大，表明其是性能評估指標(biāo)最優(yōu)的模型。另外，SAE方法的RMSE最大，表明其預(yù)測精度最差，主要是因為其無監(jiān)督提取特征可能丟失了輸入的有效信息；GSTAE方法雖然融合特征進(jìn)行質(zhì)量預(yù)測，優(yōu)化了模型性能評估指標(biāo)，但是沒有提取過程時間及空間相關(guān)信息；SIAE方法從低級到高級逐層訓(xùn)練網(wǎng)絡(luò)，僅改進(jìn)損失函數(shù)避免原始輸入數(shù)據(jù)丟失的信息逐層積累，使模型性能評估指標(biāo)略有改善。因此對比模型不能保證最佳的預(yù)測精度。SS-DDFNN方法提取標(biāo)簽及無標(biāo)簽輸入數(shù)據(jù)的時空相關(guān)信息，并在解碼層重構(gòu)原始輸入數(shù)據(jù)，更準(zhǔn)確地捕獲原始輸入數(shù)據(jù)的有效信息，提供了四種方法中最好的預(yù)測性能。

圖13為所提SS-DDFNN方法與SAE、GSTAE和SIAE三種對比方法的訓(xùn)練損失收斂曲線。可以更加清晰地看出SS-DDFNN方法在四種方法中具有最低的初始損失值，在0.07附近，并且所提方法的訓(xùn)練損失收斂曲線收斂速度最快。這表明改進(jìn)后的損失函數(shù)優(yōu)化了模型的性能，減小了有效信息的損失。

4? 結(jié)束語

本文提出了一種SS-DDFNN建模方法，用于預(yù)測工業(yè)產(chǎn)品質(zhì)量。一方面，重構(gòu)原始輸入數(shù)據(jù)而不是每層輸入數(shù)據(jù)，并直接預(yù)測質(zhì)量變量。通過最小化包含重構(gòu)原始輸入誤差、質(zhì)量預(yù)測誤差以及t-SNE損失的預(yù)訓(xùn)練損失，從而減小了逐層特征提取時原始輸入數(shù)據(jù)中有效信息的丟失，使提取的特征對原始輸入數(shù)據(jù)的表達(dá)更準(zhǔn)確。另一方面，應(yīng)用注意力機(jī)制計算不同時刻過程數(shù)據(jù)對當(dāng)前時刻過程數(shù)據(jù)的貢獻(xiàn)，融合了時序相關(guān)信息；采用t-SNE空間相似性分析提取了空間結(jié)構(gòu)信息。最后，應(yīng)用門控神經(jīng)元為不同標(biāo)簽特征分配權(quán)重進(jìn)行質(zhì)量預(yù)測，提高了模型預(yù)測的準(zhǔn)確率。因此，學(xué)習(xí)到的特征表示不但保持了原始輸入數(shù)據(jù)的真實性，而且捕獲了過程數(shù)據(jù)的時間及空間相關(guān)信息。比較了SAE、GSTAE、SIAE和SS-DDFNN方法在脫丁烷塔和工業(yè)聚乙烯一級爐中的預(yù)測性能，驗證了所提方法的有效性。該方法能夠有效提取復(fù)雜工業(yè)過程特性，具有較好的擴(kuò)展性和良好的應(yīng)用前景。但目前方法存在質(zhì)量預(yù)測耗時長的現(xiàn)象，在下一步的研究中，將嘗試加入稀疏策略和自適應(yīng)策略，以保證更加快速地進(jìn)行質(zhì)量預(yù)測。

參考文獻(xiàn)：

［1］崔琳琳，沈冰冰，葛志強(qiáng).基于混合變分自編碼器回歸模型的軟測量建模方法［J］.自動化學(xué)報，2022，48（2）：398-407.（Cui Linlin，Shen Bingbing，Ge Zhiqing.A soft sensor modeling method based on hybrid variational autoencoder regression model［J］.Acta Automation Sinica，2022，48（2）：398-407.）

［2］彭程.基于預(yù)訓(xùn)練的工業(yè)數(shù)據(jù)軟測量［D］.杭州：浙江大學(xué)，2022.（Peng Cheng.Soft sensor of industrial data based on pre-training［D］.Hangzhou：Zhejiang University，2022.）

［3］包震偉，劉丹，米金鵬.弱監(jiān)督與少樣本學(xué)習(xí)場景下視頻行為識別綜述［J］.計算機(jī)應(yīng)用研究，2023，40（6）：1629-1635.（Bao Zhenwei，Liu Dan，Mi Jinpeng.A review of video behavior recognition in weak supervision and small sample learning scenarios［J］.Application Research of Computers，2023，40（6）：1629-1635.）

［4］De Lima J M M，De Araujo F M U.Ensemble deep relevant learning framework for semi-supervised soft sensor modeling of industrial processes［J］.Neurocomputing，2021，462：154-168.

［5］Yuan Xiaofeng，Ou Chen，Wang Yalin，et al.A novel semi-supervised pre-training strategy for deep networks and its application for quality variable prediction in industrial processes［J］.Chemical Enginee-ring Science，2020，217：115509.

［6］孫慶強(qiáng).基于自編碼器的工業(yè)過程軟測量建模方法研究［D］.杭州：浙江大學(xué)，2021.（Sun Qingqiang.Autoencoder based soft sensor modeling methods for industrial process application［D］.Hangzhou：Zhejiang University，2021.）

［7］Yuan Xiaofeng，Wang Yalin，Yang Chunhua，et al.Stacked isomorphic autoencoder based soft analyzer and its application to sulfur recovery unit［J］.Information Sciences，2020，534：72-84.

［8］常樹超，趙春暉.一種時空協(xié)同的圖卷積長短期記憶網(wǎng)絡(luò)及其工業(yè)軟測量應(yīng)用［J］.控制與決策，2022，37（1）：77-86.（Chang Shuchao，Zhao Chunhui.A spatiotemporal collaborative graph convolution long short-term memory network and its industrial soft sensor application［J］.Control and Decision，2022，37（1）：77-86.）

［9］Wang Kangcheng，Shang Chao，Liu Lei，et al.Dynamic soft sensor development based on convolutional neural networks［J］.Industrial & Engineering Chemistry Research，2019，58（26）：11521-11531.

［10］Curreri F，Patanè L，Xibilia M G.RNN-and LSTM-based soft sensors transferability for an industrial process［J］.Sensors，2021，21：823.

［11］Yuan Xiaofeng，Li Lin，Shardt Y A W，et al.Deep learning with spatiotemporal attention-based LSTM for industrial soft sensor model development［J］.IEEE Trans on Industrial Electronics，2020，68（5）：4404-4414.

［12］周樂，沈程凱，吳超，等.深度融合特征提取網(wǎng)絡(luò)及其在化工過程軟測量中的應(yīng)用［J］.化工學(xué)報，2022，73（7）：3156-3165.（Zhou Le，Shen Chengkai，Wu Chao，et al.Deep fusion feature extraction network and its application in soft sensing of chemical processes［J］.Journal of Chemical Industry and Engineering，2022，73（7）：3156-3165.）

［13］Ren Lei，Wang Tao，Laili Yuanjun，et al.A data-driven self-supervised LSTM-DeepFM model for industrial soft sensor［J］.IEEE Trans on Industrial Informatics，2021，18（9）：5859-5869.

［14］Wang Yalin，Liu Diju，Liu Chenliang，et al.Dynamic historical information incorporated attention deep learning model for industrial soft sensor modeling［J］.Advanced Engineering Informatics，2022，52：101590.

［15］張馳野，陳智超，江肖禹，等.基于時空圖注意力模型的動態(tài)軟測量建模方法［J］.中國科學(xué)：技術(shù)科學(xué)，2023，53（7）：1163-1174.（Zhang Chiye，Chen Zhichao，Jiang Xiaoyu，et al.A dynamic soft sensor modeling method mased on spatiotemporal graph attention model［J］.Science China Technologica，2023，53（7）：1163-1174.）

［16］曹文彬.基于改進(jìn)自編碼器的火電廠煙氣NOx濃度軟測量與應(yīng)用［D］.杭州：浙江大學(xué)，2022.（Cao Wenbin.Soft measurement and application of NOx concentration in flue gas of thermal power plants based on improved autoencoder［D］.Hangzhou：Zhejiang University，2022.）

［17］黃成，金懷平，王彬，等.基于時空局部學(xué)習(xí)的集成自適應(yīng)軟測量方法［J］.儀器儀表學(xué)報，2023，44（1）：231-241.（Huang Cheng，Jin Huaiping，Wang Bin，et al.Integrated adaptive soft sensor method based on spatiotemporal local learning［J］.Journal of Instrumentation，2023，44（1）：231-241.）

［18］駱釗，吳諭侯，朱家祥，等.基于多尺度時間序列塊自編碼Transformer神經(jīng)網(wǎng)絡(luò)模型的風(fēng)電超短期功率預(yù)測［J］.電網(wǎng)技術(shù)，2023，47（9）：3527-3537.（Luo Zhao，Wu Yuhou，Zhu Jiaxiang，et al.Wind power ultra short term power prediction based on multi-scale time series block self coding Transformer neural network model［J］.Power System Technology，2023，47（9）：3527-3537.）

［19］Yao Le，Ge Zhiqiang.Dynamic features incorporated locally weighted deep learning model for soft sensor development［J］.IEEE Trans on Instrumentation and Measurement，2021，70：1-11.

［20］Wang Yalin，Liu Chenliang，Yuan Xiaofeng.Stacked locality preserving autoencoder for feature extraction and its application for industrial process data modeling［J］.Chemometrics and Intelligent Laboratory Systems，2020，203：104086.

［21］Fortuna L，Graziani S，Xibilia M G.Soft sensors for product quality monitoring in debutanizer distillation columns［J］.Control Enginee-ring Practice，2005，13（4）：499-508.

［22］Liu Yi，Gao Zengliang，Chen Junghui.Development of soft-sensors for online quality prediction of sequential-reactor-multi-grade industrial processes［J］.Chemical Engineering Science，2013，102：602-612.

［23］Yuan Xiaofeng，Zhou Jiao，Huang Biao，et al.Hierarchical quality-relevant feature representation for soft sensor modeling：a novel deep learning strategy［J］.IEEE Trans on Industrial Informatics，2019，16（6）：3721-3730.

［24］Sun Qiangqiang，Ge Zhiqiang.Gated stacked target related autoen-coder：a novel deep feature extraction and layerwise ensemble method for industrial soft sensor application［J］.IEEE Trans on Cyberne-tics，2020，52（5）：3457-3468.

計算機(jī)應(yīng)用研究 ??第41卷? 第41卷第2期2024年2月? 計算機(jī)應(yīng)用研究Application Research of ComputersVol.41 No.2Feb.2024