，　，

(浙江理工大學(xué)機(jī)械與自動(dòng)控制學(xué)院，杭州 310018)

0　引　言

隨著社會(huì)經(jīng)濟(jì)的快速發(fā)展，工業(yè)過程更加注重生產(chǎn)的安全、效益和環(huán)保，對(duì)過程關(guān)鍵參數(shù)的監(jiān)測(cè)要求也愈加嚴(yán)格，僅僅依靠傳統(tǒng)的檢測(cè)技術(shù)已無法滿足工業(yè)生產(chǎn)的多樣化需求，在此背景下人們提出了軟測(cè)量技術(shù)(軟測(cè)量)。軟測(cè)量通過建立過程輔助變量與主導(dǎo)變量之間的數(shù)學(xué)模型[1]實(shí)現(xiàn)對(duì)主導(dǎo)變量的預(yù)測(cè)，其中輔助變量是指那些易測(cè)且與主導(dǎo)變量有直接或間接聯(lián)系的過程變量。軟測(cè)量模型一般可分為模型驅(qū)動(dòng)型和數(shù)據(jù)驅(qū)動(dòng)型兩大類[2-3]，在動(dòng)態(tài)變化的工業(yè)生產(chǎn)過程中，數(shù)據(jù)驅(qū)動(dòng)軟測(cè)量建模優(yōu)勢(shì)明顯[4]。數(shù)據(jù)驅(qū)動(dòng)型模型又可細(xì)分為線性模型和非線性模型兩類，在軟測(cè)量中常采用線性模型[5]，偏最小二乘法(Partial least square,PLS)[6]是其中一種應(yīng)用廣泛的建模方法。相比于最小二乘法，PLS在處理多輸入多輸出數(shù)據(jù)時(shí)更具有優(yōu)勢(shì)，原因在于PLS中包含主成分提取的思想，可以在減小噪聲干擾的同時(shí)，使有效信息更加集中，從而避免“維數(shù)災(zāi)難”的問題。

在實(shí)際工業(yè)生產(chǎn)中，時(shí)序數(shù)據(jù)會(huì)往往會(huì)呈現(xiàn)較強(qiáng)的非線性，將PLS非線性優(yōu)化是當(dāng)今研究的一個(gè)熱點(diǎn)。根據(jù)非線性系統(tǒng)理論，如果系統(tǒng)的輸出面光滑，那么任何非線性系統(tǒng)都可以通過多個(gè)線性模型進(jìn)行逼近[7]，Kaneko等[8]由此提出了基于局部加權(quán)的偏最小二乘法算法(Locally weighted partial least square,LWPLS)。該算法首先將數(shù)據(jù)集劃分成若干個(gè)子數(shù)據(jù)集并建立對(duì)應(yīng)的局部子模型，然后利用集成學(xué)習(xí)的思想[9]給每個(gè)子模型匹配適當(dāng)權(quán)值從而構(gòu)成全局模型。與單個(gè)學(xué)習(xí)器相比，集成學(xué)習(xí)可以顯著提高模型的泛化能力[10]。

本文針對(duì)工業(yè)過程中具有時(shí)序性、非線性、易突變等特性的數(shù)據(jù)，提出了以局部加權(quán)為主體框架的PLS建模方法。首先通過移動(dòng)窗口(Moving-windows,MW)[11]對(duì)數(shù)據(jù)集進(jìn)行劃分，建立子模型；然后引入模型剪枝技術(shù)減少子模型間的冗余，進(jìn)一步提高模型的效率；最后根據(jù)貝葉斯定理實(shí)現(xiàn)模型集成預(yù)測(cè)。由于模型性能受算法內(nèi)部自定參數(shù)影響，本文引入粒子群算法(Particle swarm optimization,PSO)[12]進(jìn)行參數(shù)自動(dòng)尋優(yōu)，確保模型性能最優(yōu)，由此本文提出基于移動(dòng)窗口和粒子群尋優(yōu)的集成偏最小二乘改進(jìn)算法EMWPLS_PSO。PSO是處理非線性連續(xù)優(yōu)化問題、組合優(yōu)化問題和混合整數(shù)非線性優(yōu)化問題的有效優(yōu)化工具，擁有算法簡(jiǎn)潔、易于實(shí)現(xiàn)、參數(shù)少且不需要梯度信息等優(yōu)勢(shì)[13]。PSO的適應(yīng)度函數(shù)選擇是參數(shù)尋優(yōu)的關(guān)鍵，本文對(duì)此進(jìn)行了研究。EMWPLS_PSO算法充分考慮時(shí)序數(shù)據(jù)的自身特性，利用移動(dòng)窗口對(duì)數(shù)據(jù)集進(jìn)行劃分，辨識(shí)出各狀態(tài)突變時(shí)刻。權(quán)值計(jì)算過程中結(jié)合TIM(Just-in-time)思想，得到的權(quán)值更加合理。冗余模型檢查和PSO參數(shù)優(yōu)化使最后的集成模型結(jié)構(gòu)最優(yōu)化，降低運(yùn)算量，提高計(jì)算效率。

1　EMWPLS算法實(shí)現(xiàn)

EMWPLS算法的建模步驟為：首先采用移動(dòng)窗口法對(duì)數(shù)據(jù)集進(jìn)行移動(dòng)分割，根據(jù)分割結(jié)果對(duì)各子數(shù)據(jù)集單獨(dú)建模；然后引入模型冗余檢測(cè)技術(shù)對(duì)建立的子模型進(jìn)行剪枝；最后根據(jù)貝葉斯理論進(jìn)行模型的集成。

本文使用以下三個(gè)指標(biāo)進(jìn)行模型性能評(píng)價(jià)[14]，以衡量預(yù)測(cè)值與真實(shí)值的契合度：誤差平方根(The root mean square error,RMSE)、相對(duì)誤差平方根(the relative RMSE,RE)和最大絕對(duì)誤差(The maximum absolute error,MAE)，具體公式可以表示為：

(1)

(2)

MAE=max{|ypre,t-ytrue,t|,t=1,2,…,Nt}

(3)

其中：ypre,t和ytrue,t分別代表第t組測(cè)試集的模型預(yù)測(cè)值和真實(shí)輸出值；Nt表示樣本數(shù)。

1.1　基于移動(dòng)窗口法建立局部模型

建立局部模型首先確定寬度為W的原始窗口，原始窗口中數(shù)據(jù)集記為Wini={Xini,Yini}，其中Xini∈RW*m,Yini∈RW*1分別表示輸入變量和輸出變量。利用PLS對(duì)Wini建模，得到模型fini。然后將窗口下移一步，新得到的數(shù)據(jù)集記為Wsft={Xsft,Ysft}。通過判定條件1判斷模型fini是否適用于Wsft，若適用，則窗口繼續(xù)下移直至條件不再滿足為止。最后得到第一個(gè)子數(shù)據(jù)集{X1，Y1}，利用PLS對(duì)其建模可得到第一個(gè)子模型f1。

判決條件1可以表述為：

Eini=fini(Xini)-Yini

(4)

Esft=fini(Xsft)-Ysft

(5)

(6)

(7)

1.2　冗余模型刪除

依照1.1小節(jié)介紹的方法繼續(xù)建立f2，f3，…，至遍歷所有數(shù)據(jù)。為了解決子模型建立過程中的模型冗余問題，本文引入一個(gè)刪除冗余模型的步驟：當(dāng)子模型個(gè)數(shù)大于2個(gè)時(shí)，通過判決條件2判定模型間是否存在冗余，若冗余則用新模型取代舊模型，并將舊模型刪除。

判決條件2可以表述為：

將當(dāng)前數(shù)據(jù)集分別代入新模型和舊模型，并計(jì)算其誤差、誤差的均值與方差，并利用t-分布和χ2-分布判定預(yù)測(cè)誤差是否近似，用公式表示為：

Enew=fnew(Xnew)-Ynew

(8)

El=fl(Xnew)-Ynew

(9)

(10)

(11)

子模型的建立與冗余檢驗(yàn)交替進(jìn)行，直到遍歷全部數(shù)據(jù)集，最終可得到L個(gè)子模型。整個(gè)算法的流程如圖1所示。

圖1　局部子模型構(gòu)建算法流程

1.3　集成PLS算法實(shí)現(xiàn)

得到L個(gè)子模型后利用集成學(xué)習(xí)法對(duì)新樣本進(jìn)行預(yù)測(cè)，具體步驟為：a) 計(jì)算新樣本在每個(gè)子模型中的估計(jì)值；b) 賦予每個(gè)子模型權(quán)值；c) 加權(quán)得到最終的集成學(xué)習(xí)預(yù)測(cè)值。這一部分算法的關(guān)鍵是如何定義步驟b)中的權(quán)值。本文使用Shao等[15]提出的方法定義權(quán)值。對(duì)輸入xq，定義指標(biāo)J(l)評(píng)價(jià)每個(gè)子模型的預(yù)測(cè)能力，J(l)越大表示第l個(gè)模型的預(yù)測(cè)誤差越大，可用公式表示為：

(12)

(13)

(14)

其中：(x0,y0)表示歷史數(shù)據(jù)中最新的一組數(shù)，γ是連接系數(shù)，且0<γ<1，γ的大小和x0與xq之間的距離有關(guān)，可表示為：

γ=exp (-ρd(xq·x0))

(15)

其中：ρ為可調(diào)參數(shù)。

類似地，sk和xq與xk之間的距離有關(guān)，計(jì)算公式為：

sk=exp (-d(xq·xk)/σd)

(16)

其中：d(·)表示兩點(diǎn)間的歐氏距離，σd表示xq與歷史數(shù)據(jù)的距離的方差。

由于J(l)代表模型的預(yù)測(cè)誤差，J(l)越大則表示分配給第l個(gè)模型的權(quán)值應(yīng)當(dāng)越小，本文用g(l)表示：

g(l)=exp (-ψJ(l))

(17)

其中:ψ為可調(diào)參數(shù)。

最后對(duì)所有子模型集成：

(18)

其中：fl(xq)是xq在第l個(gè)子模型中的預(yù)測(cè)值，P(fl|xq) 是由貝葉斯推理得到的后驗(yàn)概率。

(19)

其中：P(fl)和P(xq|fl)分別代表先驗(yàn)概率和第l個(gè)模型能準(zhǔn)確預(yù)測(cè)xq的可能性。

(20)

P(fl|xq)=g(l)

(21)

其中：Nl表示建立第l個(gè)模型所用到的樣本數(shù)量。

綜合式(18)—(21)，可以得到

(22)

2　基于PSO的參數(shù)優(yōu)化

2.1　模型參數(shù)對(duì)預(yù)測(cè)效果的影響

在利用EMWPLS算法建模的過程中會(huì)涉及4個(gè)關(guān)鍵的可調(diào)參數(shù)：移動(dòng)窗口初始大小W、鄰近點(diǎn)數(shù)量K以及模型集成時(shí)的參數(shù)ρ和ψ。移動(dòng)窗口初始大小W與最終構(gòu)建的子模型數(shù)量密切相關(guān)，若W較大，則可能導(dǎo)致不同狀態(tài)的數(shù)據(jù)被歸為一類，從而會(huì)影響子模型預(yù)測(cè)效果；反之若W太小，子模型數(shù)量過多，則會(huì)增加模型的復(fù)雜度、降低運(yùn)行效率。類似地，如果K太小，可能導(dǎo)致模型過擬合，增大模型的預(yù)測(cè)誤差；反之若K太大，則會(huì)影響相連時(shí)刻的數(shù)據(jù)對(duì)各子模型預(yù)測(cè)能力的判斷。在對(duì)子模型進(jìn)行集成時(shí)，ρ和ψ大小也同樣關(guān)鍵。由式(15)可知，如果ρ的值較大，則相應(yīng)的γ很小(ρ無窮大時(shí)，γ趨向于0)，導(dǎo)致式(12)中J1在J中所占的比例較小。同理，式(7)中的ψ不宜過大，因?yàn)楫?dāng)ψ無窮大時(shí)，g趨向于0，而在式(22)中可以看出g(l)不能都為零(分母不能為零)。

本文以標(biāo)準(zhǔn)數(shù)據(jù)集中的abalone數(shù)據(jù)集[17]為例，分析四個(gè)參數(shù)對(duì)模型預(yù)測(cè)精度的影響。圖2—圖4分別給出了四個(gè)參數(shù)與模型預(yù)測(cè)誤差指標(biāo)RMSE、RE以及MAE的對(duì)應(yīng)關(guān)系曲線，從圖中可以觀察得到：四個(gè)參數(shù)對(duì)預(yù)測(cè)效果均有較大影響，且它們之間呈現(xiàn)出較復(fù)雜的非線性關(guān)系。對(duì)于不同數(shù)據(jù)集，其影響關(guān)系也不同。因此本文提出一種基于PSO進(jìn)行參數(shù)自動(dòng)尋優(yōu)的解決思路。

圖2　W,K,ρ,ψ四個(gè)參數(shù)與RMSE的關(guān)系曲線

圖3　W,K,ρ,ψ四個(gè)參數(shù)與RE的關(guān)系曲線

圖4　W,K,ρ,ψ四個(gè)參數(shù)與MAE的關(guān)系曲線

2.2　粒子群參數(shù)尋優(yōu)

2.2.1適應(yīng)度函數(shù)選擇

圖5　誤差變化與RMSE、RE、MAE之間的關(guān)系圖

在使用粒子群算法時(shí)適應(yīng)度函數(shù)的選擇是一個(gè)關(guān)鍵的步驟，本文選用RMSE、RE、MAE來評(píng)價(jià)模型的性能，所以將其作為備選適應(yīng)度函數(shù),由于MAE受單個(gè)樣本影響較大，故不考慮其作為適應(yīng)度函數(shù)。分析式(1)—(2)可以得到結(jié)論：對(duì)于同一個(gè)模型而言，預(yù)測(cè)結(jié)果的RMSE、RE的變化趨勢(shì)并非一直保持一致，它受誤差統(tǒng)計(jì)分析時(shí)|(Ypre,t-Ytrue,t)/Ytrue,t|>1 的樣本數(shù)在所有樣本中所占比例影響，當(dāng)其比例高時(shí)RE的值可能會(huì)隨著RMSE的減小反而增大。圖5顯示了abalone數(shù)據(jù)集在16組不同參數(shù)下得到的對(duì)應(yīng)EMWPLS模型的RMSE、RE、MAE指標(biāo)曲線，從中觀察發(fā)現(xiàn)RMSE和RE的變化趨勢(shì)并不一致(為對(duì)比二者趨勢(shì)，圖中RMSE的數(shù)值已放大10倍，RE數(shù)值放大5倍)。圖5中曲線對(duì)應(yīng)的具體數(shù)值詳見表1。在這16組數(shù)中第10組的RMSE最小，第14組的RE最小。這表明分別用RMSE和RE作為適應(yīng)度值進(jìn)行參數(shù)尋優(yōu)會(huì)得到不同的結(jié)論。

表1　不同參數(shù)下abalone數(shù)據(jù)集的RMSE、RE、MAE數(shù)值

可見適應(yīng)度函數(shù)的選擇會(huì)直接影響參數(shù)的尋優(yōu)結(jié)果。選取幾組不同參數(shù)對(duì)abalone數(shù)據(jù)集進(jìn)行EMWPLS_PSO建模，并依照式(1)—(3)計(jì)算出各組的RMSE、RE、MAE，選出RMSE相同RE不同、RMSE不同RE相同、RMSE和RE都不相同的兩兩對(duì)應(yīng)的幾組數(shù)據(jù)，記錄于表2，并繪制圖6—圖8的曲線。通過比較可發(fā)現(xiàn)若單獨(dú)選其中一個(gè)值作為適應(yīng)度值RMSE比RE更合適。當(dāng)RMSE值相同時(shí)，RE值越小則模型效果越好。根據(jù)上述結(jié)果筆者認(rèn)為將RMSE和RE相結(jié)合效果更佳。本文提出Z=p*RMSE+(1-p)*RE作為適應(yīng)度函數(shù)，其中p為連接系數(shù)，且在Z中RMSE應(yīng)該占更大的比重。

表2　不同參數(shù)下模型的RMSE、RE、MAE值對(duì)比

圖6　RMSE相同RE不同時(shí)實(shí)際輸出與預(yù)測(cè)輸出

圖7　RMSE不同RE相同時(shí)實(shí)際輸出與預(yù)測(cè)輸出

圖8　RMSE、RE均不同時(shí)實(shí)際輸出與預(yù)測(cè)輸出

2.2.2尋優(yōu)過程

本文選擇粒子群算法的適應(yīng)度函數(shù)為：Z=p*RMSE+(1-p)*RE，優(yōu)化目標(biāo)為W,K,ρ,ψ四個(gè)關(guān)鍵參數(shù)。基于粒子群算法的參數(shù)尋優(yōu)過程如下：

a) 參數(shù)隨機(jī)初始化(種群粒子數(shù)設(shè)為20，迭代次數(shù)設(shè)為50次，各參數(shù)設(shè)置合理上下限，初始位置與速度在參數(shù)上下限范圍內(nèi)隨機(jī)給定);

b) 計(jì)算適應(yīng)度值，更新粒子的歷史最優(yōu)和全局最優(yōu)位置；

c) 根據(jù)迭代公式更新粒子的位置和速度,如果超出邊界值，則賦予其邊界值;

d) 判斷是否達(dá)到最大迭代次數(shù)和全局最優(yōu)位置滿足最小界限，若不滿足則返回步驟b)，反之結(jié)束尋優(yōu)。

3　工業(yè)數(shù)據(jù)集測(cè)試

本文使用工業(yè)數(shù)據(jù)集Debutanizer_data[18]驗(yàn)證模型效果，該數(shù)據(jù)集共700組樣本，7個(gè)輸入1個(gè)輸出，將前500組樣本作為訓(xùn)練集，后100組樣本作為驗(yàn)證集，最后100組樣本作為測(cè)試集。表3、表4記錄了其中6次粒子群尋優(yōu)得到的參數(shù)及其誤差分析，選取結(jié)果最好的第一組參數(shù)作為EMWPLS_PSO的最終參數(shù)，并與常規(guī)PLS以及BP算法進(jìn)行對(duì)比。

表3　Debutanizer_data數(shù)據(jù)集重復(fù)6次尋優(yōu)參數(shù)記錄表

表4　Debutanizer_data數(shù)據(jù)集重復(fù)6次尋優(yōu)誤差分析表

圖9給出了EMWPLS_PSO算法與常規(guī)PLS、BP算法預(yù)測(cè)結(jié)果的對(duì)比曲線。圖9中點(diǎn)越接近中間的Y=X直線說明模型的預(yù)測(cè)值與真實(shí)值越吻合，模型預(yù)測(cè)效果越好。將真實(shí)值記為Yreal，預(yù)測(cè)值記為Ypre。記diff0.1=P(|Yreal-Ypre|≤0.1)，常規(guī)的PLS得到的diff0.1為0.75，EMWPLS_PSO對(duì)應(yīng)的diff0.1為0.93。記diff0.05=P(|Yreal-Ypre|≤0.05)，常規(guī)的PLS得到的diff0.05為0.45，EMWPLS_PSO對(duì)應(yīng)的diff0.05為0.785。可以得到結(jié)論：集成移動(dòng)窗口技術(shù)對(duì)常規(guī)PLS的預(yù)測(cè)精度有很大的提高。圖9(b)是PLS模型、EMWPLS_PSO模型的預(yù)測(cè)值與真實(shí)值的對(duì)比圖，通過對(duì)比可發(fā)現(xiàn)相對(duì)于PLS，EMWPLS_PSO的預(yù)測(cè)趨勢(shì)更準(zhǔn)確，與真實(shí)值更吻合。圖9(c)—(d)是同作為非線性算法的BP與EMWPLS_PSO的預(yù)測(cè)結(jié)果對(duì)比圖。其中BP的diff0.05為0.47，diff0.1為0.68。由對(duì)比曲線可以看出，EMWPLS_PSO的預(yù)測(cè)效果也優(yōu)于BP。表5記錄了PLS、EMWPLS_PSO和BP算法的RMSE、RE、MAE值，從中可以得出結(jié)論，較之常規(guī)PLS和BP算法，EMWPLS_PSO的預(yù)測(cè)誤差最小。

圖9　EMWPLS_PSO與常規(guī)PLS、BP算法的預(yù)測(cè)結(jié)果對(duì)比

EMWPLS_PSORMSEREMAEPLSRMSEREMAEBPRMSEREMAE0.050.240.180.090.410.250.080.540.25

本文將EMWPLS_PSO與改進(jìn)前的PLS算法作縱向比較，同時(shí)橫向比較了非線性的BP算法。EMWPLS_PSO算法在PLS基礎(chǔ)上性能有極大的改善，較好地克服了PLS對(duì)非線性數(shù)據(jù)擬合能力差的問題。同時(shí)，相比于純數(shù)據(jù)驅(qū)動(dòng)的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)建模方法，在小樣本建模方面EMWPLS_PSO擁有更高的預(yù)測(cè)精度。

4　結(jié)　論

本文將移動(dòng)窗口技術(shù)與集成學(xué)習(xí)的思想相結(jié)合，提出一種EMWPLS_PSO軟測(cè)量算法。在利用移動(dòng)窗口法建立局部模型時(shí)，增添了局部模型的冗余檢查及刪除的步驟，更好地提高了模型的效率和性能。此外，該模型同時(shí)應(yīng)用時(shí)域和空間域上的歷史數(shù)據(jù)對(duì)動(dòng)態(tài)數(shù)據(jù)變化趨勢(shì)進(jìn)行預(yù)測(cè)，在避免過度擬合的同時(shí)進(jìn)一步提高了模型的準(zhǔn)確性。最后，為了保證模型在處理不同數(shù)據(jù)時(shí)擁有最佳預(yù)測(cè)精度，本文采用粒子群算法對(duì)參數(shù)進(jìn)行自動(dòng)尋優(yōu)。通過以上技術(shù)的結(jié)合，很好地改善了PLS對(duì)線性相關(guān)性較差的時(shí)序數(shù)據(jù)的建模效果。