工業(yè)場(chǎng)景下基于深度學(xué)習(xí)的時(shí)序預(yù)測(cè)方法及應(yīng)用

李瀟睿，班曉娟?，袁兆麟，喬浩然

1) 北京科技大學(xué)北京材料基因工程高精尖創(chuàng)新中心，北京 100083 2) 北京科技大學(xué)計(jì)算機(jī)與通信工程學(xué)院，北京 100083 3) 北京科技大學(xué)材料領(lǐng)域知識(shí)工程北京市重點(diǎn)實(shí)驗(yàn)室，北京 100083 4) 北京科技大學(xué)人工智能研究院，北京 100083

從工業(yè)生產(chǎn)過程提取數(shù)據(jù)特征及領(lǐng)域知識(shí)，對(duì)復(fù)雜系統(tǒng)的運(yùn)行規(guī)律實(shí)現(xiàn)可靠建模和狀態(tài)估計(jì)，是提升工業(yè)自動(dòng)化水平的必由之路.在大數(shù)據(jù)技術(shù)、深度學(xué)習(xí)方法普及前，研究人員常通過機(jī)理分析方法、基于物理模型的數(shù)值模擬等方法實(shí)現(xiàn)數(shù)據(jù)分析.該類方法雖有良好的可解釋性，但需要的理論研究和實(shí)驗(yàn)數(shù)據(jù)較多，當(dāng)相關(guān)變量間存在錯(cuò)綜復(fù)雜的非線性耦合關(guān)系時(shí)，工業(yè)過程的可靠分析是一項(xiàng)頗具挑戰(zhàn)性的任務(wù).從學(xué)術(shù)和工業(yè)的角度來看，了解基礎(chǔ)理論和典型工業(yè)應(yīng)用，在利用大數(shù)據(jù)技術(shù)解決工業(yè)落地問題中缺一不可，本文將在其余部分進(jìn)一步介紹.

本文從工業(yè)中的時(shí)序預(yù)測(cè)問題出發(fā)，針對(duì)如何利用深度學(xué)習(xí)時(shí)間序列預(yù)測(cè)方法促進(jìn)工業(yè)決策水平這一基本動(dòng)機(jī)，介紹了一些經(jīng)典的和新興的時(shí)間序列預(yù)測(cè)算法和評(píng)估指標(biāo)，并對(duì)工業(yè)時(shí)序公共數(shù)據(jù)集、熱點(diǎn)工業(yè)預(yù)測(cè)問題進(jìn)行了綜述，最后指出了當(dāng)前時(shí)序預(yù)測(cè)算法在工業(yè)領(lǐng)域所面臨的穩(wěn)健性和可解釋性挑戰(zhàn)，并探討了未來的研究方向.

1 時(shí)間序列預(yù)測(cè)算法

隨著傳感器、過程控制系統(tǒng)等大數(shù)據(jù)技術(shù)的發(fā)展，存儲(chǔ)、分析海量生產(chǎn)數(shù)據(jù)成為了可能，基于統(tǒng)計(jì)學(xué)的傳統(tǒng)機(jī)理建模方法難以處理工業(yè)環(huán)境下參數(shù)復(fù)雜、耦合度高、變化頻繁的問題，而深度神經(jīng)網(wǎng)絡(luò)面對(duì)海量數(shù)據(jù)時(shí)因其絕佳的非線性擬合能力、強(qiáng)大的多模態(tài)融合能力，被廣泛應(yīng)用于流程工業(yè)中[1]，解決工業(yè)時(shí)間序列中廣泛存在的長時(shí)延、高噪音、采樣不均勻問題.圖1 展示了大數(shù)據(jù)時(shí)代工業(yè)決策、生產(chǎn)優(yōu)化的典型路徑，也是本文的核心路線.

圖1 工業(yè)生產(chǎn)優(yōu)化的技術(shù)路線Fig.1 Technical route of industrial production optimization

離散時(shí)間步下的時(shí)間序列預(yù)測(cè)問題通常給定過去一段時(shí)間的目標(biāo)量與外因輸入變量的觀測(cè)值以及靜態(tài)環(huán)境參數(shù)，預(yù)測(cè)未來一段時(shí)間的目標(biāo)值，可用如式(1)表示：

時(shí)序預(yù)測(cè)算法可分為經(jīng)典統(tǒng)計(jì)學(xué)算法、集成學(xué)習(xí)算法和深度學(xué)習(xí)算法.經(jīng)典統(tǒng)計(jì)學(xué)算法采用序列分解或微分思想，使用加性、積分或頻域模型將原序列分解為多個(gè)子序列，線性構(gòu)建形如Y=βX+ε的函數(shù)，其中 ε為隨機(jī)噪聲.該方法擬合求得的數(shù)學(xué)函數(shù)含義清晰，可解釋性強(qiáng)，但忽視了協(xié)變量與被預(yù)測(cè)變量之間可能存在的復(fù)雜非線性關(guān)系，對(duì)復(fù)雜過程的表征能力很弱.這類方法被廣泛運(yùn)用于平穩(wěn)線性時(shí)間序列的建模[2]，如轉(zhuǎn)爐煉鋼中的碳含量預(yù)測(cè)[3].集成學(xué)習(xí)算法結(jié)合了統(tǒng)計(jì)方法與決策樹的優(yōu)點(diǎn)，串行使用多個(gè)弱分類器逼近預(yù)測(cè)目標(biāo).相較于統(tǒng)計(jì)學(xué)算法，集成學(xué)習(xí)算法在具有豐富的專家特征選擇經(jīng)驗(yàn)時(shí)，使用較少的參數(shù)量即可在稠密的多元時(shí)序數(shù)據(jù)上表現(xiàn)出良好的泛化能力.但當(dāng)數(shù)據(jù)集具有稀疏、維度較高等特性時(shí)，學(xué)習(xí)效果不如神經(jīng)網(wǎng)絡(luò)模型.深度學(xué)習(xí)方法依托于神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性表達(dá)能力，能夠建模復(fù)雜系統(tǒng)中預(yù)測(cè)輸出的條件概率分布，更適用于處理大數(shù)據(jù)量以及多模態(tài)輸入，在很多場(chǎng)景下獲得了更好的預(yù)測(cè)精度和泛化性能.因此，近年來成為時(shí)序預(yù)測(cè)領(lǐng)域的研究熱點(diǎn).實(shí)踐中應(yīng)根據(jù)應(yīng)用場(chǎng)景選擇合適的預(yù)測(cè)算法，具體算法特性對(duì)比如表1所示.

表1 時(shí)間序列預(yù)測(cè)算法對(duì)比Table 1 Comparison of time series forecasting algorithms

1.1 基于深度學(xué)習(xí)的時(shí)序預(yù)測(cè)方法

1.1.1 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的時(shí)序預(yù)測(cè)

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network, RNN)方法被廣泛地應(yīng)用于序列特征提取上，特別是自然語言處理和時(shí)間序列任務(wù).從信號(hào)處理的角度，RNN單元可以等效為IIR(Infinite impulse response)濾波器的非線性版本，RNN模型的基本形式如式(2)所示：

其中,γz(.)、γy(.)表示激活函數(shù)，W、b代表參數(shù)矩陣和參數(shù)向量，z代表隱藏層向量，xt和yt+1代表模型的輸入和輸出.但由于 RNN存在梯度消失問題，可利用的歷史數(shù)據(jù)非常有限，因此一般采用長短時(shí)記憶單元(Long short-term memory, LSTM)處理長時(shí)依賴問題.2014年Chung等[4]設(shè)計(jì)了GRU單元，其在參數(shù)量少于LSTM的情況下獲得了相似的性能表現(xiàn)，常作為基礎(chǔ)網(wǎng)絡(luò)單元嵌入更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)中，實(shí)現(xiàn)對(duì)序列信息的有效提取.

一些復(fù)雜系統(tǒng)的觀測(cè)空間和系統(tǒng)的先驗(yàn)知識(shí)經(jīng)常是不完備的，許多時(shí)間序列不僅包含了可觀測(cè)變量，還包括一些潛在的不可觀測(cè)變量.同時(shí)某些時(shí)間序列本身就服從某一隨機(jī)過程.在預(yù)測(cè)不完備觀測(cè)空間或帶有系統(tǒng)隨機(jī)性的時(shí)間序列時(shí)，為了對(duì)被預(yù)測(cè)序列的不確定性進(jìn)行度量，許多研究者將神經(jīng)網(wǎng)絡(luò)的“點(diǎn)預(yù)測(cè)”替換為“概率分布預(yù)測(cè)”或“分位數(shù)預(yù)測(cè)”.如2019年Amazon的Salinas等[5]設(shè)計(jì)了一種基于自回歸循環(huán)神經(jīng)網(wǎng)絡(luò)的方法(DeepAR)，假設(shè)待預(yù)測(cè)的隨機(jī)變量服從高斯分布，將RNN的每個(gè)時(shí)間步輸出用全連接層投影為兩個(gè)參數(shù)，代表均值和方差，進(jìn)而支持采樣預(yù)測(cè)以及計(jì)算目標(biāo)值的分位數(shù)、期望.但DeepAR方法存在兩個(gè)缺陷：首先，由于預(yù)測(cè)時(shí)采用了自回歸的RNN網(wǎng)絡(luò)，預(yù)測(cè)時(shí)迭代地對(duì)預(yù)測(cè)值進(jìn)行祖先采樣，使得預(yù)測(cè)誤差存在累積效應(yīng)，并且無法處理系統(tǒng)的外部觀測(cè)變量僅在訓(xùn)練時(shí)可用、預(yù)測(cè)時(shí)未知的情況.因此也有研究者基于Encoder-Decoder模型，使用非自回歸的多步生成方法改進(jìn)模型的預(yù)測(cè)效果[6].

1.1.2 基于卷積神經(jīng)網(wǎng)絡(luò)的時(shí)序預(yù)測(cè)

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)因良好的局部特征提取能力而被廣泛地應(yīng)用于圖像分析領(lǐng)域.與之相對(duì)的，一般認(rèn)為由于語音、文本等任務(wù)的信息密度遠(yuǎn)大于圖像且長度不定，RNN類方法針對(duì)序列內(nèi)部的時(shí)序特性進(jìn)行設(shè)計(jì)，且具有變長序列信息捕捉能力，因此循環(huán)架構(gòu)是大多數(shù)序列建模任務(wù)的通用選擇.DeepMind團(tuán)隊(duì)的Oord等提出的WaveNet[7]改變了這一觀點(diǎn)，其使用因果卷積、逐層跳連等方法，將CNN網(wǎng)絡(luò)用于語音信號(hào)的生成.Bai等[8]提出的TCN(Temporal convolutional network)通過使用殘差結(jié)構(gòu)和去除門控機(jī)制等手段進(jìn)一步拓寬了WaveNet的使用領(lǐng)域，表現(xiàn)出了比循環(huán)神經(jīng)網(wǎng)絡(luò)更長的記憶路徑，在較少的網(wǎng)絡(luò)層數(shù)下就可獲得較大的感受野，對(duì)于周期信息具有更強(qiáng)的提取能力.此類方法被廣泛應(yīng)用于有時(shí)空特性和圖結(jié)構(gòu)的問題中，例如交通流量預(yù)測(cè)[9-11]，視頻動(dòng)作分割和檢測(cè)[12-13]等，也有方法將CNN和LSTM結(jié)合，利用一維CNN提取特征，LSTM記憶數(shù)據(jù)相關(guān)性，提高預(yù)測(cè)精度[14].

1.1.3 基于Encoder-Decoder的時(shí)序預(yù)測(cè)

RNN方法的輸入輸出長度相同，且由于第t時(shí)刻的序列輸出需要借助t-1時(shí)刻的隱狀態(tài)計(jì)算，因此只能使用單步迭代的方法串行完成整個(gè)序列的生成，這導(dǎo)致了較高的時(shí)間成本和誤差累計(jì)問題.現(xiàn)實(shí)場(chǎng)景中的許多時(shí)間序列預(yù)測(cè)存在要求的輸入和輸出長度不相等的問題，而RNN的網(wǎng)絡(luò)結(jié)構(gòu)限制了模型的輸入輸出長度必須相等.seq2seq(Sequence-to-Sequence)模型具有比RNN模型更強(qiáng)的靈活性，可以實(shí)現(xiàn)任意長度的端到端序列預(yù)測(cè)，是當(dāng)前工業(yè)領(lǐng)域應(yīng)用中最為廣泛的方法[15-16].seq2seq模型將編碼器-解碼器(Encoder-Decoder)框架應(yīng)用于序列建模中，包括編碼器、隱變量向量、解碼器三部分結(jié)構(gòu)，將輸入編碼為隱變量后再使用解碼器生成輸出，這種結(jié)構(gòu)使得輸入輸出均可為任意長度.對(duì)于時(shí)序問題來說，輸入序列往往是歷史序列，此時(shí)編碼器中不存在因果性問題，可以提取所有輸入信息后再進(jìn)行預(yù)測(cè)，解決了經(jīng)典RNN網(wǎng)絡(luò)串行編碼使其難以利用完整歷史序列信息的問題，但基于RNN的seq2seq僅有一個(gè)編碼向量，難以包含原始序列中的所有信息，且由于RNN類網(wǎng)絡(luò)設(shè)計(jì)導(dǎo)致其對(duì)于更近的輸入有更高的權(quán)重，難以靈活提取不同位置的特征，因此也有很多工作中將seq2seq模型與自注意力機(jī)制(Attention mechanisms)結(jié)合，進(jìn)一步增加網(wǎng)絡(luò)靈活性.

循環(huán)神經(jīng)網(wǎng)絡(luò)雖具有較強(qiáng)的長時(shí)信息處理能力，但對(duì)于序列長度在100以上的預(yù)測(cè)任務(wù)來說仍存在傳播路徑過長、難以學(xué)習(xí)的問題.自2017年Vaswani等[17]提出Transformer模型以來，此類模型在計(jì)算視覺、自然語言處理等多個(gè)深度學(xué)習(xí)領(lǐng)域大放異彩.在編碼器和解碼器結(jié)構(gòu)中采用Transformer替代循環(huán)神經(jīng)網(wǎng)絡(luò)，能夠在長時(shí)預(yù)測(cè)問題中獲得更優(yōu)的預(yù)測(cè)精度[18].Transformer的編解碼器完全由自注意力機(jī)制組成.如圖所示，自注意力機(jī)制可由式(3)表示：

基于全連接網(wǎng)絡(luò)的自注意力機(jī)制使得Transformer有更多的參數(shù)和更大的感受野，比CNN網(wǎng)絡(luò)更靈活，同時(shí)解決了RNN、LSTM等序列網(wǎng)絡(luò)結(jié)構(gòu)存在的難以學(xué)習(xí)長期依賴的問題，被預(yù)測(cè)序列中的任意兩個(gè)位置是等價(jià)的.但同時(shí)帶來了兩個(gè)問題，一是由于參數(shù)量更大，因此需要更大的數(shù)據(jù)集才能獲得較好的訓(xùn)練效果[19]；二是其計(jì)算的時(shí)間和空間復(fù)雜度均為O(L2)，即預(yù)測(cè)序列長度的平方，因此模型對(duì)算力和顯存的需求較大，難以解決長序列時(shí)序預(yù)測(cè)問題.

許多圍繞通用Transformer的研究工作[20-22]聚焦于使用attention矩陣稀疏化、全局Token等方法降低自注意力所需的計(jì)算開銷.實(shí)現(xiàn)在降低計(jì)算復(fù)雜度、提升訓(xùn)練速度的同時(shí)，提高模型在小數(shù)據(jù)集下的性能表現(xiàn).在時(shí)序領(lǐng)域許多研究者進(jìn)行了類似的探索，如Li等[18]借鑒TCN的思路使用因果卷積增強(qiáng)Transformer對(duì)局部信息的關(guān)注，并設(shè)計(jì)LogSparse-Attention層將計(jì)算復(fù)雜度降低到O(L(logL)2)；Zhou等[23]發(fā)現(xiàn)使用Transformer學(xué)習(xí)時(shí)序預(yù)測(cè)任務(wù)時(shí)，經(jīng)過softmax之后的權(quán)重存在長尾分布特性，因此針對(duì)Q矩陣的分布設(shè)計(jì)了ProbAttention層，將計(jì)算復(fù)雜度降低到O(LlogL)，有效降低了長序列預(yù)測(cè)時(shí)的顯存消耗，并提升了預(yù)測(cè)性能；Wu等[24]進(jìn)一步關(guān)注到現(xiàn)有端到端的方法未考慮傳統(tǒng)時(shí)序數(shù)據(jù)預(yù)處理方法中的經(jīng)典時(shí)序分解理論，將序列分解模塊嵌入到Transformer中，并使用基于快速傅立葉變換(FFT)的自相關(guān)算法，在O(LlogL)復(fù)雜度下，實(shí)現(xiàn)了序列級(jí)的自相關(guān)性連接，提升了模型學(xué)習(xí)序列級(jí)特征的能力.

1.2 預(yù)測(cè)效果評(píng)估指標(biāo)

誤差評(píng)估指標(biāo)是預(yù)測(cè)效果的直觀表現(xiàn)，每個(gè)統(tǒng)計(jì)量只強(qiáng)調(diào)了預(yù)測(cè)序列的某一方面特性，沒有某個(gè)指標(biāo)是最佳的.實(shí)際任務(wù)中應(yīng)根據(jù)數(shù)據(jù)特性和預(yù)測(cè)目標(biāo)選擇合適的評(píng)估指標(biāo)[25].對(duì)于多元時(shí)間序列預(yù)測(cè)問題，在評(píng)價(jià)階段一般針對(duì)每一預(yù)測(cè)變量分別評(píng)估，因此本節(jié)針對(duì)一維預(yù)測(cè)向量介紹.本文所述的評(píng)估指標(biāo)公式如表2所示，其中Ai表示真實(shí)值，表示真實(shí)值的平均值，Pi表示預(yù)測(cè)值，表示預(yù)測(cè)值的平均值；ei=AiPi表示單點(diǎn)預(yù)測(cè)誤差，n表示序列長度.歸一化分位數(shù)誤差中ρ2(0,1)表示要計(jì)算的分位數(shù)條件，KL散度中P(.)和Q(.)表示概率分布函數(shù).

表2 指標(biāo)定義Table 2 Definitions of the mathematical metrics

在深度學(xué)習(xí)領(lǐng)域的回歸模型中，最常見的誤差評(píng)估方法是均方誤差函數(shù)(MSE)，由于其計(jì)算簡便、數(shù)學(xué)性質(zhì)良好的特點(diǎn)，也被廣泛用于回歸任務(wù)的網(wǎng)絡(luò)損失函數(shù)中.但MSE 的量綱與原數(shù)值不同，且單點(diǎn)誤差對(duì)MSE的影響較大.平均絕對(duì)誤差(MAE)與預(yù)測(cè)值量綱相同，且降低了對(duì)離群點(diǎn)的敏感性，更直觀反映預(yù)測(cè)精度.被預(yù)測(cè)數(shù)據(jù)滿足標(biāo)準(zhǔn)正態(tài)分布時(shí)，MSE≥MAE 說明模型預(yù)測(cè)效果不如均值預(yù)測(cè).相比于MSE，RRSE對(duì)誤差進(jìn)行了方差歸一化，適用于波動(dòng)劇烈的數(shù)據(jù).

當(dāng)數(shù)據(jù)不滿足標(biāo)準(zhǔn)正態(tài)分布時(shí)，上述方法不能比較不同數(shù)據(jù)集的模型預(yù)測(cè)效果.因此常使用MMAPE、R2和MASE等量綱一的百分比指標(biāo)比較數(shù)據(jù)集預(yù)測(cè)性能.MAPE將預(yù)測(cè)誤差占真實(shí)值的百分比作為評(píng)估指標(biāo)；但當(dāng)真實(shí)數(shù)據(jù)中存在很多0或趨近0的數(shù)據(jù)時(shí)，MAPE的結(jié)果可能被嚴(yán)重影響.R2類似于RRSE，取值數(shù)據(jù)范圍為[ -1,100%]，越高代表預(yù)測(cè)模型的近似效果越好，R2=0為均值預(yù)測(cè)模型的精度.很多工業(yè)問題存在周期性顯著，數(shù)據(jù)變化緩慢的特性，直接使用系統(tǒng)的上一時(shí)刻或上一周期的狀態(tài)作為預(yù)測(cè)值，即可獲得較好的預(yù)測(cè)性能[26]，此時(shí)可使用MASE指標(biāo)代替R2指標(biāo)，從對(duì)模型絕對(duì)誤差的評(píng)估轉(zhuǎn)變?yōu)閷?duì)數(shù)據(jù)變化的評(píng)估.一些方法將預(yù)測(cè)目標(biāo)值問題轉(zhuǎn)換為預(yù)測(cè)分布及分位數(shù)(詳見第1.1.1節(jié))，此時(shí)可用分位數(shù)誤差評(píng)估預(yù)測(cè)分布的分位數(shù)的準(zhǔn)確度.

上述指標(biāo)僅聚焦于被序列點(diǎn)的預(yù)測(cè)準(zhǔn)確度，未對(duì)形狀、趨勢(shì)、周期等序列模式的預(yù)測(cè)性能進(jìn)行分析.因此在分析預(yù)測(cè)結(jié)果時(shí)，也可以使用Pearson相關(guān)系數(shù)(PPMCC)、歐氏距離、動(dòng)態(tài)時(shí)間歸整(Dynamic time warping, DTW)等算法從序列特征的角度量化解釋預(yù)測(cè)效果.

2 工業(yè)應(yīng)用

2.1 工業(yè)時(shí)序數(shù)據(jù)集

工業(yè)應(yīng)用生產(chǎn)實(shí)驗(yàn)危險(xiǎn)度高、監(jiān)測(cè)控制指標(biāo)多，優(yōu)秀的工業(yè)時(shí)序數(shù)據(jù)集可顯著降低算法實(shí)驗(yàn)成本，加快算法設(shè)計(jì)速度.如經(jīng)典的工業(yè)系統(tǒng)辨識(shí)領(lǐng)域的數(shù)據(jù)集DaiSy[27]，該數(shù)據(jù)庫中提供了11種工業(yè)過程，包括受控?cái)嚢璨壑谢旌蟽煞N物質(zhì)產(chǎn)生的工藝參數(shù)變化，柔性機(jī)械臂中加速度與力矩間的關(guān)系，鋼副車架柔性結(jié)構(gòu)懸掛振動(dòng)測(cè)量等.

近幾年的數(shù)據(jù)集涵蓋了更多、更先進(jìn)的傳感器數(shù)據(jù)，如加利福尼亞大學(xué)貢獻(xiàn)的機(jī)器學(xué)習(xí)時(shí)序數(shù)據(jù)集[28]，其中包括不同組分的混凝土抗壓強(qiáng)度隨存放天數(shù)變化、氣體傳感器的零點(diǎn)漂移校準(zhǔn)和溫度控制、機(jī)器故障的預(yù)測(cè)性維護(hù)數(shù)據(jù)等，并依據(jù)數(shù)據(jù)類型(單變量、多變量)、序列長度及問題類型進(jìn)行了歸類.莫納什大學(xué)對(duì)20個(gè)熱點(diǎn)時(shí)間序列數(shù)據(jù)集做了進(jìn)一步的整理[29]，包括321戶家庭在2012～2014年的小時(shí)級(jí)用電情況，澳大利亞風(fēng)力發(fā)電廠的產(chǎn)能情況等，使用4種誤差指標(biāo)評(píng)估了13種基線方法在所有數(shù)據(jù)集上的預(yù)測(cè)效果.

2.2 過程工業(yè)

過程工業(yè)指以石油化工、冶金采礦、能源電力等原材料為代表的基礎(chǔ)加工工業(yè)，相較于離散工業(yè)，過程工業(yè)具有生產(chǎn)連續(xù)性高、原材料變化頻繁、涉及機(jī)理變化復(fù)雜、難以使用數(shù)學(xué)模型精準(zhǔn)表達(dá)等問題.工藝流程中的存在諸多難以準(zhǔn)確測(cè)量或?qū)崟r(shí)測(cè)量的物料屬性、工藝參數(shù)等，充分利用大數(shù)據(jù)和人工智能等信息技術(shù)，可以顯著提高這些場(chǎng)景下的建模、控制、決策水平.

在工業(yè)場(chǎng)景下，已有很多工作使用時(shí)間序列分析模型及算法，建模、預(yù)測(cè)系統(tǒng)的運(yùn)行過程以解決實(shí)際生產(chǎn)問題.本章將以采礦、冶金為例，介紹工業(yè)時(shí)序預(yù)測(cè)技術(shù)的典型應(yīng)用案例.

2.2.1 采礦工程領(lǐng)域

大量的深度學(xué)習(xí)技術(shù)已經(jīng)被用于礦物加工領(lǐng)域，其中最多的是機(jī)器視覺技術(shù)，因?yàn)閺膱D像上提取特征分析礦物關(guān)鍵參數(shù)(品位、回收率、磨礦粒度、礦物成分等)的成本顯著低于采樣或化學(xué)分析方法，神經(jīng)網(wǎng)絡(luò)技術(shù)的成熟也大大提升了此類無接觸式分析方法的準(zhǔn)確度.另一個(gè)重要的領(lǐng)域就是基于工業(yè)數(shù)據(jù)的建模，雖然復(fù)雜工業(yè)領(lǐng)域往往部署了大量的傳感器，但這些傳感器更多面對(duì)的是容易簡單、實(shí)時(shí)測(cè)量的物理量，比如表面流速、壓力、溫度、密度、功率等，而對(duì)于物理化學(xué)變化中其他一些關(guān)鍵參數(shù)則難以有效的獲得，如大型設(shè)備內(nèi)部的難以觀測(cè)的流量場(chǎng)、溫度場(chǎng)、壓力場(chǎng)，以及混合物的組分、微粒尺寸分布、材料應(yīng)力等，一般需要通過實(shí)驗(yàn)室實(shí)驗(yàn)、半工業(yè)實(shí)驗(yàn)等手段逐步加深認(rèn)識(shí)[30].在理論研究的基礎(chǔ)上，設(shè)計(jì)深度學(xué)習(xí)算法建模非線性變量，實(shí)現(xiàn)智能監(jiān)測(cè)、智能預(yù)警等，此類模型常被稱為軟測(cè)量模型(Soft-sensor model)[31-32].近年來，已有很多基于數(shù)據(jù)的建模技術(shù)[33]應(yīng)用于工業(yè)數(shù)據(jù)或在工業(yè)環(huán)境部署.

在采礦領(lǐng)域中，很多工作使用時(shí)序預(yù)測(cè)方法建模生產(chǎn)中使用的工業(yè)設(shè)備.Nú?ez等[34]提出了一種基于神經(jīng)網(wǎng)絡(luò)的模型預(yù)測(cè)控制方法，使用RNN網(wǎng)絡(luò)建模膏體濃密機(jī)泥床壓力、高度、泥層底流濃度等參數(shù)，并依賴于預(yù)測(cè)結(jié)果使用粒子群算法對(duì)濃密系統(tǒng)進(jìn)行控制.Zhang等[35]針對(duì)浮游選礦場(chǎng)景下，泡沫視頻和鋅品位測(cè)定的采樣頻率不同且存在時(shí)滯的問題，設(shè)計(jì)了一種結(jié)合多層感知器(MultiLayer perceptron, MLP)和RNN的特征重建回歸網(wǎng)絡(luò)，以充分利用時(shí)間不匹配的泡沫視頻特征，預(yù)測(cè)當(dāng)前浮選品位.Yuan等[36]針對(duì)工業(yè)過程具備的連續(xù)時(shí)間特性，提出了以常微分方程網(wǎng)絡(luò)(ODE-Net) 作為網(wǎng)絡(luò)骨架的序列預(yù)測(cè)模型，并有效應(yīng)用于工業(yè)膏體濃密機(jī)底流濃度的預(yù)測(cè)中，在不同預(yù)測(cè)長度的實(shí)驗(yàn)中均獲得較好效果.有效的油井產(chǎn)量預(yù)測(cè)可以延長油井生命周期、提高油品采收率，但傳統(tǒng)數(shù)值模擬方法需要許多難以獲取和計(jì)算的地層和流體數(shù)據(jù).Fan等[37]嘗試使用自回歸綜合移動(dòng)平均模型-長短時(shí)記憶網(wǎng)絡(luò)混合模型(ARIMA-LSTM)預(yù)測(cè)油井生產(chǎn)情況，發(fā)現(xiàn)當(dāng)人工操作較少，序列中的非線性特征不明顯時(shí)，ARIMA模型對(duì)于整體運(yùn)行趨勢(shì)有更好的擬合效果，LSTM對(duì)非線性波動(dòng)的學(xué)習(xí)效果更好，兩者結(jié)合可以更好地適應(yīng)生產(chǎn)狀況.

2.2.2 冶金工程領(lǐng)域

對(duì)于鋼鐵冶煉等流程制造工業(yè)，生產(chǎn)加工過程中涉及多個(gè)連續(xù)耦合的非線性工序，為保證最終成品的質(zhì)量，需將各階段產(chǎn)物的工藝參數(shù)限制在規(guī)定閾值內(nèi)，因此需要實(shí)時(shí)掌握部分關(guān)鍵參數(shù)的變化趨勢(shì).Zhang等[38]針對(duì)高溫熔鋁回轉(zhuǎn)爐中溫度控制不精確、難以保證優(yōu)品率的問題，設(shè)計(jì)了一種基于CNN和RNN結(jié)合的DCGNet網(wǎng)絡(luò)，以預(yù)測(cè)回轉(zhuǎn)爐燒結(jié)溫度；Li等[39]結(jié)合因果卷積與基于GRU的注意力機(jī)制實(shí)現(xiàn)了對(duì)高爐中鐵水硅元素含量的預(yù)測(cè).

由于工業(yè)系統(tǒng)廣泛存在的非線性、高時(shí)延等特性，利用傳統(tǒng)控制技術(shù)難以獲得精準(zhǔn)控制效果，因此部分研究工作將時(shí)序預(yù)測(cè)算法應(yīng)用于系統(tǒng)控制信號(hào)的求解中.如Du等[40]針對(duì)貧鐵礦燒結(jié)過程中的智能控制問題，將時(shí)間序列分析方法和模糊控制相結(jié)合，使用Hurst指數(shù)及Mann-Kendall方法提取燒結(jié)過程趨勢(shì)，根據(jù)置信水平劃分時(shí)間序列階段，結(jié)合專家經(jīng)驗(yàn)設(shè)計(jì)模糊控制方法實(shí)現(xiàn)了對(duì)燒穿點(diǎn)的精確控制.除此之外，該預(yù)測(cè)控制思想還被應(yīng)用于濃密機(jī)底流濃度控制[41]，煉鋼-連鑄過程中工件釋放時(shí)間調(diào)度[42]等場(chǎng)景.

2.2.3 其他

許多時(shí)序預(yù)測(cè)研究工作聚焦于解決設(shè)備參數(shù)預(yù)測(cè)、產(chǎn)量預(yù)測(cè)、能耗預(yù)測(cè)等問題上，以優(yōu)化排產(chǎn)管理水平，提升經(jīng)濟(jì)效益.如Han等[43]使用雙向LSTM網(wǎng)絡(luò)分析預(yù)測(cè)乙烯產(chǎn)量.Wang等[44]針對(duì)離散過程工業(yè)中存在的特征序列具有多個(gè)相位難以對(duì)齊和復(fù)雜動(dòng)力學(xué)過程變化頻繁的問題，使用LSTM提取每個(gè)產(chǎn)品批次中與質(zhì)量相關(guān)的隱藏特征，預(yù)測(cè)各階段化學(xué)產(chǎn)物質(zhì)量.Essien等[45]設(shè)計(jì)了基于ConvLSTM的自編碼器，模型使用一維CNN網(wǎng)絡(luò)提取特征，并輸入至LSTM學(xué)習(xí)序列信息，以實(shí)現(xiàn)對(duì)高速鋁制罐機(jī)運(yùn)行速度的單變量預(yù)測(cè)，改進(jìn)生產(chǎn)線上下游設(shè)備的調(diào)度計(jì)劃.Antonopoulos等[46]、Zhou等[23]通過預(yù)測(cè)電網(wǎng)使用率調(diào)節(jié)發(fā)電機(jī)組運(yùn)行功率，以提高能源利用率等.

3 工業(yè)應(yīng)用中的挑戰(zhàn)

相較于天氣、經(jīng)濟(jì)等預(yù)測(cè)任務(wù)來說，工業(yè)上的時(shí)間序列預(yù)測(cè)的精度要求相對(duì)略低，但對(duì)模型的穩(wěn)健性和可解釋性提出了更高的要求.

穩(wěn)健性表示預(yù)測(cè)模型在遇到外部擾動(dòng)或者內(nèi)部故障時(shí)，確保系統(tǒng)表現(xiàn)穩(wěn)定的能力.對(duì)工控系統(tǒng)來說，當(dāng)預(yù)測(cè)模型面對(duì)未曾學(xué)習(xí)過的數(shù)據(jù)分布(如設(shè)備故障或物理性質(zhì)改變)時(shí)，模型應(yīng)仍有良好的泛化性能，可以正確給出預(yù)測(cè)；即使沒有，至少應(yīng)該能夠發(fā)出警告，表明因?yàn)榍闆r的不尋常導(dǎo)致當(dāng)前的預(yù)測(cè)是不可靠的，需要其他系統(tǒng)或人工介入.

從關(guān)注者的角度，可解釋性可分為對(duì)開發(fā)者和對(duì)使用者的可解釋方法[47].工業(yè)中的可解釋性更側(cè)重對(duì)使用者有意義.開發(fā)者更希望借助可解釋性關(guān)注某結(jié)構(gòu)對(duì)模型預(yù)測(cè)結(jié)果的影響，以及模型預(yù)測(cè)正確或錯(cuò)誤的原因.而使用者不看重模型的具體構(gòu)成元素，更側(cè)重模型從系統(tǒng)輸入到輸出的數(shù)學(xué)映射，了解系統(tǒng)對(duì)于不同的輸入可能做出的反應(yīng)；他們不是深度學(xué)習(xí)的專家，但需要保證融合了深度學(xué)習(xí)的系統(tǒng)可以正常工作.

3.1 穩(wěn)健性

工業(yè)系統(tǒng)中，數(shù)據(jù)量通常較為充足，但時(shí)常質(zhì)量不佳.首先，受限于網(wǎng)絡(luò)通信質(zhì)量和不同設(shè)備動(dòng)作時(shí)刻差異，傳感器采集的數(shù)據(jù)大多存在缺失或非均勻采樣的情況.在實(shí)際使用時(shí)，須預(yù)先對(duì)數(shù)據(jù)進(jìn)行采樣或插值工作.其次，過程工業(yè)中的多個(gè)傳感器可能擁有不同的采樣頻率，此時(shí)使用線性插值方法可能帶來較大信息損失，因此應(yīng)預(yù)先確定好統(tǒng)一的采樣周期，或使用生成式的方法實(shí)現(xiàn)多采樣率的生成.Demeester[48]提出采用具有時(shí)間感知的連續(xù)時(shí)間模型ODE網(wǎng)絡(luò)學(xué)習(xí)常微分方程，從而實(shí)現(xiàn)對(duì)非均勻時(shí)間序列進(jìn)行的直接建模，也有研究者使用Kalman濾波方法在線融合多采樣率數(shù)據(jù)[49]等.

將模型預(yù)測(cè)結(jié)果展現(xiàn)給決策者時(shí)，需要考慮模型的穩(wěn)健性.傳感器和工業(yè)設(shè)備都可能出現(xiàn)設(shè)備老化、零點(diǎn)漂移等問題，模型應(yīng)及時(shí)發(fā)現(xiàn)并給出提示，通知技術(shù)人員按時(shí)校準(zhǔn)或更換，因此很多工作研究了如何在線檢測(cè)數(shù)據(jù)的異常波動(dòng).例如，Martí等[50]使用支持向量機(jī)算法檢測(cè)不符合有效傳感器信號(hào)模型的數(shù)據(jù)；Malhotra等[51]使用基于LSTM的自編碼器模型檢測(cè)序列異常，對(duì)無周期性的或存在高隨機(jī)性的復(fù)雜長序列，該方法仍具有較好的魯棒性.

3.2 可解釋性

深度學(xué)習(xí)的可解釋性可分為局部和全局可解釋，局部是基于樣本的解釋，通過數(shù)據(jù)集的部分樣本解釋模型行為；全局是基于結(jié)構(gòu)的解釋，對(duì)于整體方法或數(shù)據(jù)集均成立；在關(guān)注點(diǎn)上，可分為時(shí)間和空間的可解釋性，前者即某變量過去每個(gè)時(shí)刻對(duì)于預(yù)測(cè)的重要性程度，后者即每個(gè)輸入變量對(duì)預(yù)測(cè)影響的重要性程度.

為提高模型設(shè)計(jì)者對(duì)模型性能的了解，研究者針對(duì)各種深度時(shí)序預(yù)測(cè)算法的可解釋性進(jìn)行研究，以分析模型參數(shù)與輸出間的聯(lián)系.Siddiqui等[52]通過計(jì)算每一層CNN網(wǎng)絡(luò)對(duì)輸入的偏導(dǎo)獲得神經(jīng)元對(duì)于輸入的激活程度，激活值越高反映出該位置對(duì)預(yù)測(cè)的影響更顯著；Schockaert等[53]針對(duì)使用LSTM模型預(yù)測(cè)高爐鐵水溫度的可解釋性進(jìn)行分析，將Attention機(jī)制嵌入LSTM中并對(duì)其參數(shù)可視化實(shí)現(xiàn)了對(duì)預(yù)測(cè)的全局時(shí)間可解釋，并在輸入層加入CNN使用導(dǎo)向反向傳播(Guidedbackpropagation)方法獲得輸入變量對(duì)全局空間可解釋性，提升了鐵水溫度建模的準(zhǔn)確度和解釋性水平.

除對(duì)模型內(nèi)部的可解釋分析外，另一類可解釋方法稱為外部協(xié)同的解釋(External co-explanation)，其將神經(jīng)網(wǎng)絡(luò)視為黑箱模型，直接分析特征輸入和輸出間的聯(lián)系.LIME(Local interpretable modelagnostic explanations) 模型[54]假設(shè)特征分布是連續(xù)且線性的，此時(shí)通過對(duì)某樣本施加擾動(dòng)，可獲得該樣本附近的特征分界，進(jìn)而了解不同特征對(duì)該樣本預(yù)測(cè)的貢獻(xiàn).Lundberg等[55]利用Shapley值法從博弈論角度建立加性模型框架，避免了LIME中對(duì)局部精度和一致性的破壞.以上方法已被廣泛地應(yīng)用到工業(yè)場(chǎng)景下模型的特征解釋與分析中，如在套管試驗(yàn)臺(tái)的疲勞實(shí)驗(yàn)中篩選特征以提高使用壽命[56]，建模家庭特征與電力使用情況[46]等.

4 結(jié)論與未來的工作

未來的研究方向包括以下幾個(gè)方面：

（1）傳統(tǒng)統(tǒng)計(jì)學(xué)方法具有良好的可解釋性和抗噪性，深度學(xué)習(xí)方法對(duì)高維和非線性問題有強(qiáng)大的擬合能力，將兩者結(jié)合有可能增強(qiáng)模型預(yù)測(cè)效果和可解釋性.

（2）Transformer在短期和周期性預(yù)測(cè)問題上取得了良好效果，但是受限于復(fù)雜度，該方法在長序列預(yù)測(cè)問題中仍有較大應(yīng)用瓶頸.目前存在使用局部敏感哈希、概率注意力降低時(shí)空復(fù)雜度的方法，但利用周期、趨勢(shì)等時(shí)間序列獨(dú)有的特征，借鑒頻域處理等方法設(shè)計(jì)網(wǎng)絡(luò)，以增強(qiáng)網(wǎng)絡(luò)的歸納偏置進(jìn)而提高性能的工作較少，尚待進(jìn)一步探索.

（3）相比于零售業(yè)、天氣預(yù)測(cè)問題，工業(yè)數(shù)據(jù)廣泛存在著時(shí)延長、周期性弱、變量數(shù)量多、采樣不均勻、傳感器高噪音等問題，目前也涌現(xiàn)出了可學(xué)習(xí)的位置編碼、表示學(xué)習(xí)、基于微分方程網(wǎng)絡(luò)的模型等相關(guān)理論研究，如何將此類研究與實(shí)際結(jié)合，是未來的熱點(diǎn)問題.

（4）工業(yè)環(huán)境下，時(shí)間序列數(shù)據(jù)往往來源于已經(jīng)具有理論研究的工業(yè)設(shè)備或系統(tǒng)，如何有效地利用專家知識(shí)，將已知的系統(tǒng)特性嵌入網(wǎng)絡(luò)設(shè)計(jì)環(huán)節(jié)，仍是一個(gè)值得深入研究的問題.

大數(shù)據(jù)技術(shù)的普及使得數(shù)據(jù)驅(qū)動(dòng)方法在新一代智慧工廠建設(shè)中發(fā)揮著舉足輕重的作用，而深度學(xué)習(xí)技術(shù)憑借強(qiáng)大的非線性表示和特征學(xué)習(xí)能力，在流程工業(yè)建模和數(shù)字化過程中得到了廣泛的應(yīng)用.本文針對(duì)深度學(xué)習(xí)技術(shù)在復(fù)雜流程工業(yè)，特別是采礦冶金行業(yè)中的時(shí)間序列預(yù)測(cè)問題，圍繞模型算法、評(píng)估指標(biāo)、應(yīng)用現(xiàn)狀、未來挑戰(zhàn)四個(gè)方面進(jìn)行了概述，總結(jié)了深度學(xué)習(xí)方法的發(fā)展脈絡(luò)，指明了近期的發(fā)展熱點(diǎn)，并結(jié)合工業(yè)需要對(duì)評(píng)估指標(biāo)和方法的穩(wěn)健性和解釋性要求做了進(jìn)一步說明，助力深度學(xué)習(xí)方法落地于更多的工業(yè)場(chǎng)景，進(jìn)一步提升工業(yè)生產(chǎn)的智能化水平.