基于雙向門(mén)控循環(huán)單元神經(jīng)網(wǎng)絡(luò)的間歇過(guò)程最終產(chǎn)品質(zhì)量預(yù)測(cè)

駱 楠， 祁佳康， 羅 娜

（華東理工大學(xué)化工過(guò)程先進(jìn)控制和優(yōu)化技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，上海 200237）

間歇過(guò)程作為一種重要的生產(chǎn)方式，多用于生產(chǎn)低產(chǎn)量、高附加值的產(chǎn)品。然而，由于原材料成分的不確定性、產(chǎn)品品種的頻繁改變及復(fù)雜的工藝過(guò)程，間歇過(guò)程的產(chǎn)品質(zhì)量波動(dòng)較大[1-2]。一方面，大多數(shù)間歇生產(chǎn)過(guò)程由于產(chǎn)品質(zhì)量指標(biāo)的檢測(cè)缺乏在線(xiàn)傳感器或難以在線(xiàn)測(cè)量，只能通過(guò)實(shí)驗(yàn)室化驗(yàn)分析得到分析值，難以滿(mǎn)足質(zhì)量指標(biāo)實(shí)時(shí)在線(xiàn)控制的需要。另一方面，間歇過(guò)程的機(jī)理模型很難得到，因而基于數(shù)據(jù)的模型就成為了研究熱點(diǎn)[3-4]。

與連續(xù)過(guò)程相比，間歇過(guò)程數(shù)據(jù)除變量和時(shí)間兩個(gè)維度以外，還包括批次的維度。針對(duì)這種特殊性，Nomikos 等[5]提出了多向偏最小二乘法（MPLS），將作為自變量的三維數(shù)據(jù)按批次展開(kāi)為二維數(shù)據(jù)，建立偏最小二乘模型，從而實(shí)現(xiàn)了產(chǎn)品質(zhì)量預(yù)測(cè)。支持向量機(jī)方法較好地解決了小樣本、非線(xiàn)性、高維數(shù)、局部極小等實(shí)際問(wèn)題，具有很強(qiáng)的泛化能力，因而被用于復(fù)雜非線(xiàn)性間歇過(guò)程，特別是生化過(guò)程的質(zhì)量預(yù)測(cè)問(wèn)題[6-7]，并在青霉素發(fā)酵過(guò)程中驗(yàn)證了該算法的有效性。對(duì)于間歇過(guò)程產(chǎn)生的數(shù)據(jù)，簡(jiǎn)單的非線(xiàn)性特征可以使用傳統(tǒng)的算法進(jìn)行提取，但其批次間隱含的時(shí)序特征[8]仍難以提取。

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)通過(guò)將時(shí)序的概念引入到網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)中，在時(shí)序數(shù)據(jù)分析中表現(xiàn)出更強(qiáng)的適應(yīng)性，為提取時(shí)間序列特征提供了更好的解決方案。隨著處理時(shí)間序列長(zhǎng)度的增加，使用常規(guī)激活函數(shù)會(huì)使得網(wǎng)絡(luò)訓(xùn)練期間容易產(chǎn)生梯度消失等問(wèn)題，從而導(dǎo)致RNN 網(wǎng)絡(luò)預(yù)測(cè)精度不足。而其變體，如長(zhǎng)短期記憶(Long Short-Term Memory，LSTM)、門(mén)控循環(huán)單元(GRU)以及模型的雙向操作等，通過(guò)添加一些閾值門(mén)彌補(bǔ)了RNN 的缺陷，這些方法已被廣泛應(yīng)用于多個(gè)序列學(xué)習(xí)問(wèn)題中。在工業(yè)上，Wang 等[9]提出了深度異構(gòu)GRU 模型的框架，用于刀具磨損預(yù)測(cè)；Yu 等[10]利用基于雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的自動(dòng)編碼器方法對(duì)渦輪風(fēng)扇發(fā)動(dòng)機(jī)進(jìn)行了壽命預(yù)測(cè)；Wang 等[11]采用LSTM 對(duì)間歇過(guò)程中每個(gè)階段的長(zhǎng)時(shí)間序列進(jìn)行特征提取，從而得到與質(zhì)量相關(guān)的綜合隱藏特征。來(lái)自于不同階段的隱藏特征通過(guò)堆疊自動(dòng)編碼器進(jìn)一步集成和壓縮，進(jìn)而實(shí)現(xiàn)了間歇過(guò)程的質(zhì)量預(yù)測(cè)，但該建模方法只考慮批次內(nèi)數(shù)據(jù)，并沒(méi)有考慮原料的不確定性對(duì)不同批次產(chǎn)品質(zhì)量的影響，因而對(duì)于某些復(fù)雜的間歇過(guò)程難以實(shí)現(xiàn)準(zhǔn)確的質(zhì)量預(yù)測(cè)。

在實(shí)際生產(chǎn)中，一方面原料存在一定的不確定性，如作為混合物的原料難以保證所有批次都完全一樣；另一方面為防止產(chǎn)品出現(xiàn)不可挽回的質(zhì)量損失，通常要求模型的預(yù)測(cè)值盡可能低于或者高于目標(biāo)值，從而降低由于模型預(yù)測(cè)誤差所帶來(lái)的生產(chǎn)損失。針對(duì)以上問(wèn)題，本文對(duì)雙向門(mén)控循環(huán)單元(BiGRU)的損失函數(shù)進(jìn)行了改進(jìn)，并將其用于間歇過(guò)程質(zhì)量指標(biāo)的預(yù)測(cè)。雙向循環(huán)神經(jīng)網(wǎng)絡(luò)可以整合前后批次數(shù)據(jù)時(shí)序信息，充分挖掘原料不確定性帶來(lái)的批次間時(shí)序特征。改進(jìn)的損失函數(shù)通過(guò)對(duì)不同的預(yù)測(cè)值施加不同的懲罰，使得預(yù)測(cè)值滿(mǎn)足實(shí)際生產(chǎn)中的要求，提高算法的實(shí)用性。

1 基于BiGRU 的間歇過(guò)程最終產(chǎn)品質(zhì)量預(yù)測(cè)

1.1 間歇過(guò)程的數(shù)據(jù)表示

間歇過(guò)程為多次重復(fù)生產(chǎn)[12]，與單純的時(shí)序數(shù)據(jù)相比，其數(shù)據(jù)中還包含了間歇過(guò)程的批次，因而一般以三維數(shù)據(jù) X(I×J×K)表示，矩陣 Y(I×1)表示最終產(chǎn)品質(zhì)量變量，其中I 表示間歇過(guò)程的批次，J 表示過(guò)程變量的維數(shù)，K 表示每一次間歇過(guò)程的采樣數(shù)，如圖1 所示。

圖 1 間歇過(guò)程中的數(shù)據(jù)Fig. 1 Data in batch processes

在實(shí)際生產(chǎn)過(guò)程中，常常存在外購(gòu)原料產(chǎn)品質(zhì)量不確定或自產(chǎn)原料生產(chǎn)過(guò)程不穩(wěn)定而導(dǎo)致的原料供應(yīng)波動(dòng)頻繁問(wèn)題，造成模型輸入變量的不確定，對(duì)采用傳統(tǒng)算法進(jìn)行系統(tǒng)建模與分析造成嚴(yán)重困擾[13]。然而這種不確定性最終在各批次生產(chǎn)過(guò)程變量中得以表現(xiàn)，即各種不確定性的隱藏信息能夠通過(guò)圖1 所示的三維數(shù)據(jù)間接得到。本文采用雙向門(mén)控循環(huán)單元神經(jīng)網(wǎng)絡(luò)對(duì)序列數(shù)據(jù)進(jìn)行特征提取，以期得到足以反映不確定性的隱藏特征，改善模型的預(yù)測(cè)精度。

1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)在于處理時(shí)序數(shù)據(jù)，具體表現(xiàn)為網(wǎng)絡(luò)中當(dāng)前時(shí)刻的輸出依賴(lài)于網(wǎng)絡(luò)對(duì)之前信息的記憶，即隱藏層的輸入不再是單純的當(dāng)前時(shí)刻輸入層的輸出，還包括前一時(shí)刻的隱藏層的輸出。常見(jiàn)的循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)主要有3 種，包括兩種多對(duì)多結(jié)構(gòu)以及一種多對(duì)一結(jié)構(gòu)，如圖2 所示。

圖 2 RNN 結(jié)構(gòu)Fig. 2 RNN structure

圖2 中多對(duì)多的結(jié)構(gòu)有兩種，第1 種要求輸入序列與輸出序列等長(zhǎng)，因此該結(jié)構(gòu)應(yīng)用范圍較窄；第2 種結(jié)構(gòu)中輸入、輸出為不等長(zhǎng)的序列，是一種Encoder-Decoder 結(jié)構(gòu)，常用于機(jī)器翻譯、語(yǔ)音識(shí)別等領(lǐng)域[14-15]。而多對(duì)一的結(jié)構(gòu)則常用于處理序列分類(lèi)或者回歸問(wèn)題，最終只需給定一個(gè)輸出結(jié)果，因而本文選取多對(duì)一的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，具體的網(wǎng)絡(luò)預(yù)測(cè)結(jié)構(gòu)如圖3 所示。

圖 3 RNN 網(wǎng)絡(luò)預(yù)測(cè)結(jié)構(gòu)圖Fig. 3 RNN network prediction structure diagram

對(duì)于給定序列 x =(x1, x2, ···, xn)，RNN 通過(guò)對(duì)輸入空間和內(nèi)部狀態(tài)空間分別進(jìn)行操作，計(jì)算出隱含層序列 h =(h0, h1, h2, ···, hn)，并由 RNN 的終端輸出計(jì)算得到最終的預(yù)測(cè)值，如式(1)、式(2)所示。

其中：xt、ht分別為t 時(shí)刻的網(wǎng)絡(luò)輸入、網(wǎng)絡(luò)輸出；Whh為隱含層到隱含層的權(quán)重；Wxh為輸入層到隱含層的權(quán)重；bh為隱藏層的偏置；fa為激活函數(shù)；g 為預(yù)測(cè)問(wèn)題的仿射函數(shù)。

RNN 的單層網(wǎng)絡(luò)結(jié)構(gòu)以及基于BPTT（Back Propagation Through Time）的網(wǎng)絡(luò)參數(shù)求解算法決定了RNN 在訓(xùn)練過(guò)程中會(huì)存在梯度消失或者梯度爆炸的情況，網(wǎng)絡(luò)參數(shù)學(xué)習(xí)困難，很難學(xué)到長(zhǎng)期的依賴(lài)[16]。

1.3 門(mén)控循環(huán)單元

由Hochreiter 等[17]提出的LSTM 神經(jīng)網(wǎng)絡(luò)是在RNN 的基礎(chǔ)上發(fā)展而來(lái)，相對(duì)于RNN 的網(wǎng)絡(luò)結(jié)構(gòu)更為復(fù)雜，在RNN 的基礎(chǔ)上增加了3 個(gè)門(mén)結(jié)構(gòu)，即3 種不同的網(wǎng)絡(luò)結(jié)構(gòu)。每種網(wǎng)絡(luò)結(jié)構(gòu)的神經(jīng)元數(shù)目是一致的，通過(guò)控制門(mén)的開(kāi)關(guān)進(jìn)而控制信息流的傳遞，在一定程度上緩解了RNN 存在的梯度消失或者梯度爆炸問(wèn)題。LSTM 的結(jié)構(gòu)單元如圖4 所示。其中sigmoid、tanh 分別為神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，具體公式如式(3)、式(4)所示。

圖 4 LSTM 單元結(jié)構(gòu)圖Fig. 4 Structure of LSTM

門(mén)控循環(huán)單元由Cho 等[15]于2014 年提出，并將其用于機(jī)器翻譯領(lǐng)域。GRU 與LSTM 相仿，都是通過(guò)引入特殊的門(mén)結(jié)構(gòu)來(lái)減少梯度彌散，使得誤差得以長(zhǎng)距離地傳播，從而有了長(zhǎng)期記憶的能力。不同的是，GRU 將LSTM 的門(mén)結(jié)構(gòu)減少為更新門(mén)和重置門(mén)，模型更加簡(jiǎn)單，網(wǎng)絡(luò)參數(shù)更少，收斂更快。GRU 的具體結(jié)構(gòu)如圖5 所示。其中GRU 中的更新門(mén)替換了LSTM 中的遺忘門(mén)和輸出門(mén)，用于控制當(dāng)前信息中哪些信息需要流入候選狀態(tài)。更新門(mén)的具體公式如式(5)所示。

門(mén)控循環(huán)單元

重置門(mén)決定了前一時(shí)刻隱藏層單元輸出ht-1對(duì)候選狀態(tài)的影響。具體公式如式(7)所示：

其中：Wr為重置門(mén)的權(quán)重參數(shù)；br為重置門(mén)的偏置。

最后GRU 的輸出單元由上一時(shí)刻隱藏層輸出、更新門(mén)狀態(tài)以及當(dāng)前候選狀態(tài)共同決定，如式(8)所示：

圖 5 門(mén)控循環(huán)單元結(jié)構(gòu)圖Fig. 5 Structure of GRU

1.4 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)

Schuster 等[18]于1997 年提出了雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（BiRNN）。相較于普通的單向RNN 信息只能在正時(shí)間方向上進(jìn)行傳播，BiRNN 擁有兩組隱藏層信息，一個(gè)是用于正時(shí)間方向上的輸入序列，另一個(gè)是在負(fù)時(shí)間方向上的輸入序列。因此BiRNN 可以更好地捕獲時(shí)間序列中的信息，在語(yǔ)音識(shí)別、機(jī)器翻譯、情感分類(lèi)等方面得到廣泛應(yīng)用[19-20]。具體結(jié)構(gòu)如圖6 所示。

圖 6 BiRNN 結(jié)構(gòu)圖Fig. 6 Structure of BiRNN

BiRNN 的輸出由正向?qū)拥碾[藏層輸出與反向?qū)拥碾[藏層輸出構(gòu)成，如式(9)所示：

其中： ⊕ 為連接運(yùn)算符； ht表示 t 時(shí)刻 BiRNN 的輸出狀態(tài)。

傳統(tǒng)算法被廣泛應(yīng)用于批次內(nèi)模型的建立，同時(shí)傳統(tǒng)的批次間的模型無(wú)法充分挖掘到批次間的時(shí)序特征信息，而RNN 在時(shí)序數(shù)據(jù)建模中表現(xiàn)優(yōu)秀?？紤]到 RNN 存在長(zhǎng)期依賴(lài)的問(wèn)題，而 LSTM 和GRU 可以彌補(bǔ)此問(wèn)題，同時(shí)GRU 相較于LSTM 網(wǎng)絡(luò)參數(shù)少，便于模型的訓(xùn)練，因此本文采用BiGRU 作為預(yù)測(cè)模型的主要部分，從而可以提取到豐富的特征信息，提高模型的精度。

1.5 損失函數(shù)的改進(jìn)

神經(jīng)網(wǎng)絡(luò)中的損失函數(shù)，又叫誤差函數(shù)，用于刻畫(huà)神經(jīng)網(wǎng)絡(luò)中輸出值與真實(shí)值之間的誤差程度，損失函數(shù)越小，模型的魯棒性越好。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是經(jīng)過(guò)前向傳播計(jì)算損失函數(shù)值，并通過(guò)反向傳播不斷更新網(wǎng)絡(luò)的權(quán)重和偏置，從而使損失函數(shù)不斷減小至最低值。均方誤差（Mean Square Error，MSE）是神經(jīng)網(wǎng)絡(luò)中最常見(jiàn)的損失函數(shù)之一，用于表征預(yù)測(cè)值與目標(biāo)值之間誤差平方的均值，如式(10)所示：

由于MSE 對(duì)預(yù)測(cè)值與目標(biāo)值的差進(jìn)行平方操作，僅僅考慮了預(yù)測(cè)值偏離真實(shí)值的程度，當(dāng)預(yù)測(cè)值偏高于或者偏低于目標(biāo)值同一程度時(shí)，MSE 給予相同懲罰。

雖然可以使用損失函數(shù)評(píng)估模型性能，并能提供優(yōu)化的方向，但沒(méi)有哪一種損失函數(shù)能滿(mǎn)足所有預(yù)測(cè)需求。損失函數(shù)的選取依賴(lài)于選取的算法、參數(shù)數(shù)量、異常值、導(dǎo)數(shù)求取的難易和預(yù)測(cè)的置信度等若干方面，因此需要根據(jù)要處理的實(shí)際問(wèn)題來(lái)確定相應(yīng)的損失函數(shù)[21]。

在實(shí)際模型預(yù)測(cè)中，往往期望在滿(mǎn)足預(yù)測(cè)精度的前提下，預(yù)測(cè)值盡可能低于或者高于目標(biāo)值。例如Zhao 等[21]考慮到發(fā)動(dòng)機(jī)的維護(hù)與更換的實(shí)際情況，在利用神經(jīng)網(wǎng)絡(luò)對(duì)發(fā)動(dòng)機(jī)的壽命進(jìn)行預(yù)測(cè)時(shí)指出，模型預(yù)測(cè)的原則是在預(yù)測(cè)值應(yīng)該處于發(fā)動(dòng)機(jī)即將報(bào)廢時(shí)，即在保證模型預(yù)測(cè)精度的同時(shí)，預(yù)測(cè)值應(yīng)該盡可能低于真實(shí)值。而在某些間歇過(guò)程中，為了保證效益的最大化，對(duì)于最終產(chǎn)品質(zhì)量的預(yù)測(cè)有時(shí)也會(huì)要求預(yù)測(cè)值高于或者低于真實(shí)值，不同的產(chǎn)品要求不同，需要就具體問(wèn)題而言。本文針對(duì)間歇過(guò)程最終質(zhì)量預(yù)測(cè)的特點(diǎn)，提出了不對(duì)稱(chēng)損失函數(shù)（Asymmetric Loss Function，ALF），如式 (11)、式 (12)所示。

式中：ypredict,i為第 i 個(gè)樣本的預(yù)測(cè)值；yactual,i為第 i 個(gè)樣本的真實(shí)值；di為第i 個(gè)樣本的預(yù)測(cè)值與真實(shí)值的差；a 和 b 均為自定義系數(shù)。當(dāng) a＞b 時(shí)，期望預(yù)測(cè)值大于真實(shí)值；當(dāng)a＜b 時(shí)，期望預(yù)測(cè)值小于真實(shí)值。

為了更好地說(shuō)明該損失函數(shù)的優(yōu)點(diǎn)，選取a＞b 的情況，將其與MSE 進(jìn)行對(duì)比。針對(duì)單一樣本，兩個(gè)損失函數(shù)的對(duì)比結(jié)果如圖7 所示。

圖 7 損失函數(shù)對(duì)比圖Fig. 7 Comparison of loss functions

由圖7 可看出，當(dāng)預(yù)測(cè)值大于真實(shí)值時(shí)，ALF 相對(duì)于MSE 變化更為平緩，給予的懲罰較??；當(dāng)預(yù)測(cè)值小于真實(shí)值時(shí)，ALF 相較于MSE 增長(zhǎng)趨勢(shì)明顯加快，給予的懲罰較大。以ALF 作為神經(jīng)網(wǎng)絡(luò)的損失函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可以有效地調(diào)整懲罰值的大小，使預(yù)測(cè)值盡可能偏高于真實(shí)值，滿(mǎn)足期望的預(yù)測(cè)原則。

2 實(shí)例分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

樹(shù)脂生產(chǎn)是一個(gè)多階段間歇過(guò)程，其生產(chǎn)過(guò)程主要包括縮聚和干燥脫水兩個(gè)階段，每個(gè)階段都有特定的控制目標(biāo)、不同的主導(dǎo)變量以及過(guò)程特性[22]。在縮聚階段，首先將酚類(lèi)、醛、催化劑依次加入反應(yīng)釜中進(jìn)行縮聚反應(yīng)，一段時(shí)間后切換至干燥脫水階段；在干燥脫水階段，反應(yīng)釜抽真空，在一定的真空度下樹(shù)脂脫水，維持一定時(shí)間后，破真空取料，生產(chǎn)過(guò)程結(jié)束[23]。其中作為反應(yīng)物的酚類(lèi)本身為一種混合物，存放于中間罐中，隨著時(shí)間的推移，里面的成分也隨之緩慢發(fā)生變化，具體可通過(guò)色譜分析其組成，但一般情況下不分析，即使分析，也難以分析出所有物質(zhì)。因而，原料成分的不確定性為準(zhǔn)確預(yù)測(cè)過(guò)程最終產(chǎn)品的質(zhì)量帶來(lái)很大難度，同時(shí)這種不確定性伴隨著時(shí)間的變化，即過(guò)程批次本身存在一定的時(shí)序性。本文以某類(lèi)樹(shù)脂的生產(chǎn)過(guò)程為研究對(duì)象，對(duì)樹(shù)脂的軟化點(diǎn)進(jìn)行預(yù)測(cè)。

2.2 數(shù)據(jù)采集與處理

采集400 批生產(chǎn)過(guò)程中的過(guò)程變量數(shù)據(jù)，包括酚類(lèi)和醛的流量以及反應(yīng)釜的壓力、溫度和質(zhì)量，實(shí)驗(yàn)室離線(xiàn)測(cè)得的樹(shù)脂軟化點(diǎn)作為預(yù)測(cè)變量。由于樹(shù)脂的操作流程通常是固定的，根據(jù)生產(chǎn)過(guò)程中的操作條件獲取不同操作階段反應(yīng)釜溫度、質(zhì)量和壓力的起始值和終止值，將原有的不等長(zhǎng)過(guò)程數(shù)據(jù)提取為各批次等長(zhǎng)的過(guò)程數(shù)據(jù)，并根據(jù)原料的流量得到各批次反應(yīng)物的質(zhì)量。根據(jù)最大信息系數(shù)對(duì)過(guò)程數(shù)據(jù)和反應(yīng)物質(zhì)量進(jìn)行特征選擇，選擇出與樹(shù)脂軟化點(diǎn)相關(guān)性最強(qiáng)的4 個(gè)變量，分別為醛的加入量、反應(yīng)起始的溫度值、反應(yīng)終止的溫度值以及真空度，得到模型的輸入變量X400×4。為避免各變量的量綱對(duì)模型預(yù)測(cè)結(jié)果的影響，利用最大最小值法對(duì)樣本進(jìn)行歸一化處理。

2.3 模型評(píng)價(jià)指標(biāo)

選取均方根誤差(RMSE)、R2來(lái)評(píng)估模型擬合結(jié)果的好壞。其中RMSE 體現(xiàn)模型預(yù)測(cè)值偏離真實(shí)值的平均程度，R2用來(lái)評(píng)估模型的可靠性。此外，為了更直觀地表示改進(jìn)損失函數(shù)后的優(yōu)越性，采用可達(dá)率（Reachable Ratio，RR）來(lái)表征預(yù)測(cè)值高出真實(shí)值的個(gè)數(shù)。3 個(gè)指標(biāo)的定義如式(13)～ 式(15)所示。

2.4 模型的建立

利用樹(shù)脂生產(chǎn)過(guò)程數(shù)據(jù)，通過(guò)程序自循環(huán)尋優(yōu)的方法進(jìn)行模型參數(shù)設(shè)定，主要調(diào)節(jié)的參數(shù)包括時(shí)間窗口大小、網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練次數(shù)等。通過(guò)限定變量法，每次改變一個(gè)參數(shù)并監(jiān)測(cè)RMSE 值，比較分析確定最優(yōu)參數(shù)，為減小模型訓(xùn)練中隨機(jī)性的影響，重復(fù)操作10 次取平均值。

由于BiGRU 神經(jīng)網(wǎng)絡(luò)需要輸入時(shí)間序列數(shù)據(jù)，對(duì)400 個(gè)批次數(shù)據(jù)以滑動(dòng)窗口為5 進(jìn)行連續(xù)采樣，將各滑動(dòng)窗口的最后一個(gè)批次數(shù)據(jù)對(duì)應(yīng)的質(zhì)量指標(biāo)作為模型預(yù)測(cè)值，得到396 個(gè)樣本。為更好地挖掘數(shù)據(jù)中存在的不確定性，將其中前350 個(gè)樣本為訓(xùn)練數(shù)據(jù)集，后46 個(gè)樣本為測(cè)試數(shù)據(jù)集。最終本文的預(yù)測(cè)模型結(jié)構(gòu)如圖8 所示，設(shè)置BiGRU 神經(jīng)網(wǎng)絡(luò)的隱藏層神經(jīng)元個(gè)數(shù)為80，采用Adam 優(yōu)化器對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練，epoch 為 100，batch_size 為 20。

圖 8 模型結(jié)構(gòu)Fig. 8 Model structure

為了證明所提出的損失函數(shù)的優(yōu)越性，分別選取MSE 和ALF 作為神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，對(duì)模型進(jìn)行訓(xùn)練。在樹(shù)脂生產(chǎn)過(guò)程中，當(dāng)樹(shù)脂的軟化點(diǎn)低于期望值時(shí)，可以通過(guò)補(bǔ)加醛提升樹(shù)脂的軟化點(diǎn)，而樹(shù)脂的軟化點(diǎn)高于期望值時(shí)，會(huì)導(dǎo)致該批次產(chǎn)品價(jià)值降低。為了保證生產(chǎn)效益，樹(shù)脂軟化點(diǎn)的預(yù)測(cè)原則與發(fā)動(dòng)機(jī)壽命的預(yù)測(cè)原則恰恰相反，軟化點(diǎn)模型預(yù)測(cè)的結(jié)果應(yīng)該高于真實(shí)軟化點(diǎn)值。針對(duì)樹(shù)脂軟化點(diǎn)預(yù)測(cè)模型，ALF 中參數(shù) a、b 分別設(shè)為 1.7、0.8。

2.5 結(jié)果分析

為了說(shuō)明本文模型在樹(shù)脂質(zhì)量預(yù)測(cè)中的有效性，將 MPLS[5]、SVR[6]、NN[24]、損失函數(shù)為 MSE 的GRU 模 型[9]（ GRU-MSE） 、 損 失 函 數(shù) 為 MSE 的BiGRU 模型（BiGRU-MSE）[18]與損失函數(shù)為 ALF 的BiGRU 模 型 （ BiGRU-ALF） 進(jìn) 行 性 能 比 較 。 在SVR 中，利用網(wǎng)絡(luò)搜索進(jìn)行尋優(yōu)，最終核函數(shù)選擇高斯核函數(shù)，C 為 3.1，σ 為 0.1；在 NN 中，全連接神經(jīng)網(wǎng)絡(luò)層數(shù)設(shè)置為3，隱藏層使用sigmoid 激活函數(shù)，各層的神經(jīng)元個(gè)數(shù)為{80，40，1}；GRU-MSE 則由 GRU 以及全連接層構(gòu)成，神經(jīng)元個(gè)數(shù)分別為70 和1，全連接層使用 sigmoid 激活函數(shù)；BiGRU-MSE 由 BiGRU 以及全連接層構(gòu)成，神經(jīng)元個(gè)數(shù)為65 和1，全連接層使用sigmoid 激活函數(shù)。圖9 為6 個(gè)模型對(duì)43 個(gè)生產(chǎn)批次數(shù)據(jù)的預(yù)測(cè)結(jié)果對(duì)比圖。

由圖9 可以看出，MPLS 的預(yù)測(cè)效果最差，而SVR 與NN 的預(yù)測(cè)結(jié)果相似，部分批次預(yù)測(cè)結(jié)果偏差較大，都略差于GRU 模型。GRU 模型的預(yù)測(cè)效果比傳統(tǒng)算法有了極大的提升，說(shuō)明在對(duì)存在原料不確定性的間歇過(guò)程進(jìn)行特征提取時(shí)，GRU 憑借著更強(qiáng)的記憶能力，挖掘到時(shí)序方面的特征，同時(shí)也說(shuō)明間歇過(guò)程最終產(chǎn)品質(zhì)量指標(biāo)與原材料成分的變化有著密切關(guān)聯(lián)。GRU 的擬合程度總體上較優(yōu)，但是個(gè)別批次表現(xiàn)不夠理想。而B(niǎo)iGRU 綜合考慮了正向時(shí)序特征與反向時(shí)序特征，得到更為深層次的全局特征，預(yù)測(cè)結(jié)果較優(yōu)于GRU。圖10 為各GRU 預(yù)測(cè)結(jié)果的絕對(duì)誤差對(duì)比分析圖。

圖 9 6 種算法的軟化點(diǎn)預(yù)測(cè)結(jié)果Fig. 9 Softening point prediction results of six algorithms

圖 10 3 種算法預(yù)測(cè)結(jié)果的絕對(duì)誤差對(duì)比圖Fig. 10 Absolute error comparison of three algorithm prediction results

從圖 10 可看出，相較于 BiGRU-MSE，BiGRUALF 的絕對(duì)誤差（真實(shí)值減去預(yù)測(cè)值）大部分在0 刻度線(xiàn)以上，即BiGRU-ALF 預(yù)測(cè)結(jié)果普遍有所提升，表明改進(jìn)后的BiGRU-ALF 在滿(mǎn)足預(yù)測(cè)精度、確保效益最大化方面的效果符合實(shí)際需要，進(jìn)一步說(shuō)明了改進(jìn)后的算法具有更好的工業(yè)實(shí)用性。因?yàn)镹N 與GRU 這類(lèi)機(jī)器學(xué)習(xí)算法在預(yù)測(cè)結(jié)果上存在小范圍的波動(dòng)性，將20 次訓(xùn)練結(jié)果的平均值進(jìn)行算法性能比較，用于更清晰地說(shuō)明該網(wǎng)絡(luò)結(jié)構(gòu)的有效性。

表1 列出了針對(duì)測(cè)試樣本計(jì)算出的評(píng)價(jià)指標(biāo)結(jié)果，從表中可看出BiGRU-MSE 模型的預(yù)測(cè)精度相較于其他模型有了明顯的提高，說(shuō)明BiGRU 可以獲得原料不確定性帶給批次生產(chǎn)過(guò)程的更為準(zhǔn)確的時(shí)序規(guī)律。雖然BiGRU-ALF 的預(yù)測(cè)精度低于BiGRUMSE，但是其可達(dá)率較高，同時(shí)BiGRU-ALF 的預(yù)測(cè)精度也略高于GRU-MSE 的預(yù)測(cè)結(jié)果，即BiGRUALF 模型能夠在保證模型精度的情況下，更好地滿(mǎn)足工業(yè)生產(chǎn)中關(guān)于最大化經(jīng)濟(jì)效益的要求，也表明改進(jìn)后的雙向門(mén)控循環(huán)單元神經(jīng)網(wǎng)絡(luò)更適合用于樹(shù)脂軟化點(diǎn)的預(yù)測(cè)。

表 1 算法性能對(duì)比Table 1 Performance comparison of different algorithms

3 結(jié) 論

針對(duì)傳統(tǒng)算法難以解決原料不確定下間歇過(guò)程的建模問(wèn)題，本文提出了基于BiGRU 模型的間歇過(guò)程產(chǎn)品質(zhì)量預(yù)測(cè)方法，并在某類(lèi)樹(shù)脂的軟化點(diǎn)質(zhì)量預(yù)測(cè)中進(jìn)行了方法驗(yàn)證。與MPLS、NN、SVR 以及GRU 算法相比，基于BiGRU 模型的間歇過(guò)程產(chǎn)品質(zhì)量預(yù)測(cè)方法獲得了比傳統(tǒng)算法更好的預(yù)測(cè)結(jié)果，驗(yàn)證了雙向門(mén)控循環(huán)單元神經(jīng)網(wǎng)絡(luò)對(duì)工業(yè)間歇過(guò)程數(shù)據(jù)有著更好的預(yù)測(cè)能力。為了提高系統(tǒng)的容差率和預(yù)測(cè)結(jié)果的實(shí)用性，本文采用BiGRU-ALF 模型，通過(guò)對(duì)預(yù)測(cè)結(jié)果的不同偏差，給予不同的懲罰，使得預(yù)測(cè)結(jié)果擁有更大的安全裕度，為間歇過(guò)程的建模研究提供了新的思路，也對(duì)深度學(xué)習(xí)在間歇過(guò)程中的現(xiàn)場(chǎng)應(yīng)用提供了一定的指導(dǎo)。