基于蝙蝠算法的半監(jiān)督極限學(xué)習(xí)機(jī)在工業(yè)檢測中的應(yīng)用*

孫順遠(yuǎn) 周 乾

（1.輕工過程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室 無錫 214122）（2.江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院 無錫 214122）

1 引言

在復(fù)雜工業(yè)中為了獲得較好的產(chǎn)品質(zhì)量，通常需要對(duì)關(guān)鍵質(zhì)量變量進(jìn)行準(zhǔn)確實(shí)時(shí)的監(jiān)測，然而這些質(zhì)量變量大多不易直接測量，如：脫丁烷塔塔底丁烷濃度［1］、青霉素發(fā)酵過程產(chǎn)物濃度［2］、水質(zhì)中微生物濃度［3］等。軟測量技術(shù)根據(jù)易測量到的過程變量信息建立數(shù)學(xué)模型以實(shí)現(xiàn)關(guān)鍵質(zhì)量變量的實(shí)時(shí)估計(jì)，從而解決上述問題。常用的軟測量建模方法有主元回歸［4］（Principal Component Regression，PCR）、高斯過程回歸［5］（Gaussian Process Regression，GPR）、支持向量機(jī)［6］（Support Vector Machine，SVM）、偏最小二乘（Partial Least Squares，PLS［7］）等。

極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）是由Huang［8~9］等提出的一種單隱層前饋神經(jīng)網(wǎng)絡(luò)（Single-hidden Layer Feedforward Network，SFLN）訓(xùn)練算法，該算法首先隨機(jī)賦值給輸入權(quán)值和偏置，通過激活函數(shù)實(shí)現(xiàn)非線性轉(zhuǎn)換，再根據(jù)最小二乘法求得輸出權(quán)值矩陣。在極限學(xué)習(xí)機(jī)中，激活函數(shù)中的速率參數(shù)a和位移參數(shù)b以及目標(biāo)函數(shù)中的懲罰系數(shù)C對(duì)模型精度影響很大。

由于工業(yè)過程中確定關(guān)鍵質(zhì)量變量的值需要花費(fèi)大量的時(shí)間和經(jīng)濟(jì)，收集到的大部分?jǐn)?shù)據(jù)樣本通常只含輸入數(shù)據(jù)、僅有少量數(shù)據(jù)樣本同時(shí)包含輸入輸出數(shù)據(jù)。一般地，將僅包含輸入而缺失輸出數(shù)據(jù)的樣本稱為未標(biāo)記樣本，將同時(shí)包含輸入輸出數(shù)據(jù)的樣本稱為標(biāo)記樣本。若僅采用少量有標(biāo)記樣本對(duì)模型進(jìn)行訓(xùn)練，則軟測量模型的預(yù)測精度和泛化能力將很難令人滿意，并且丟棄大量的未標(biāo)記樣本造成了嚴(yán)重的數(shù)據(jù)浪費(fèi)。為此有必要引進(jìn)半監(jiān)督學(xué)習(xí)［10~12］方法，利用大量未標(biāo)記樣本輔以少量標(biāo)記樣本來提高模型的學(xué)習(xí)性能。常用的半監(jiān)督學(xué)習(xí)范式包括分歧式方法、圖方法、半監(jiān)督支持向量機(jī)和生成式模型。圖方法將數(shù)據(jù)集之間的聯(lián)系映射為一個(gè)無向圖［13~15］，利用流形正則化將未標(biāo)記數(shù)據(jù)和目標(biāo)函數(shù)聯(lián)系起來，是一種廣泛采用的半監(jiān)督學(xué)習(xí)方法。因此，本文將流形正則化框架引入極限學(xué)習(xí)機(jī)，在充分利用無標(biāo)記樣本信息的同時(shí)提高模型的泛化能力。

雖然半監(jiān)督極限學(xué)習(xí)機(jī)能夠在大量無標(biāo)記樣本的情況下有效提升模型精度，但較多的模型參數(shù)為優(yōu)化帶來了困難。除傳統(tǒng)有監(jiān)督極限學(xué)習(xí)機(jī)包含a，b，C外，半監(jiān)督極限學(xué)習(xí)機(jī)又新增了相似度矩陣核寬參數(shù)σ和流形正則項(xiàng)的系數(shù)λ兩個(gè)參數(shù)。參數(shù)對(duì)模型精度起關(guān)鍵作用，參數(shù)選擇不當(dāng)會(huì)造成模型學(xué)習(xí)性能下降，泛化能力差。為了確定模型參數(shù)，可以采用群智能優(yōu)化算法對(duì)模型中的多個(gè)參數(shù)進(jìn)行優(yōu)化。群智能優(yōu)化算法是一種模擬自然界生態(tài)系統(tǒng)機(jī)制的優(yōu)化算法，常見的群智能優(yōu)化算法有［16~18］蟻群算法、粒子群算法、遺傳算法、頭腦風(fēng)暴算法、魚群算法等。自然界中，蝙蝠生活在黑暗環(huán)境中，無法靠視覺識(shí)別周圍環(huán)境，其利用回聲定位器發(fā)出脈沖，根據(jù)反彈回來的回聲判斷物體的位置、距離、特征。蝙蝠算法［19~20］正是基于此基礎(chǔ)上產(chǎn)生的，利用回聲定位的原理不斷調(diào)整脈沖發(fā)射度和響度從而尋找到食物，該算法具有結(jié)構(gòu)簡單、搜索能力強(qiáng)等特點(diǎn)。

綜上所述，本文通過半監(jiān)督學(xué)習(xí)方法將少量有標(biāo)記樣本和大量無標(biāo)記樣本結(jié)合，并應(yīng)用于極限學(xué)習(xí)機(jī)模型中；利用蝙蝠算法對(duì)模型中的參數(shù)(a，b，σ，C，λ)進(jìn)行全局搜索尋優(yōu)，得到最優(yōu)參數(shù)的半監(jiān)督極限學(xué)習(xí)機(jī)軟測量模型。此模型不僅解決了極限學(xué)習(xí)機(jī)收斂性差的問題，同時(shí)也克服了隨機(jī)選取參數(shù)導(dǎo)致精度不穩(wěn)定的問題，提高了模型的預(yù)測精度。最后，將本文方法應(yīng)用于污水處理中生物需氧量含量和脫丁烷塔塔底丁烷濃度的仿真實(shí)驗(yàn)研究，與不同的建模方法比較后，驗(yàn)證了該方法的有效性和適用性。

2 半監(jiān)督極限學(xué)習(xí)機(jī)

2.1 極限學(xué)習(xí)機(jī)原理

極限學(xué)習(xí)機(jī)是由Huang 提出的一種單隱層前饋神經(jīng)網(wǎng)絡(luò)（Single-hidden Layer Feedforward Networks，SLFNs）學(xué)習(xí)算法，該算法首先確定隱含層神經(jīng)元節(jié)點(diǎn)個(gè)數(shù)，再隨機(jī)賦值給輸入層的輸入權(quán)值和偏置，通過最小二乘方法求解得隱含層和輸出層之間的輸出權(quán)值。該算法不僅克服了傳統(tǒng)梯度算法的復(fù)雜迭代問題，而且其訓(xùn)練速度快、泛化能力強(qiáng)。極限學(xué)習(xí)機(jī)用于回歸問題時(shí)，訓(xùn)練的步驟分為隨機(jī)學(xué)習(xí)和計(jì)算輸出權(quán)值。

極限學(xué)習(xí)機(jī)的訓(xùn)練目標(biāo)為最小化預(yù)測誤差，其目標(biāo)函數(shù)為

其中ei∈Rm為第i個(gè)輸出樣本的訓(xùn)練誤差，C為懲罰系數(shù)。

將約束條件帶入目標(biāo)函數(shù)后，可轉(zhuǎn)換為無約束優(yōu)化問題：

上述函數(shù)可認(rèn)為是嶺回歸的問題，將LELM相對(duì)于β的梯度設(shè)為0，得到：

于是可將輸出權(quán)值β表為

2.2 流形正則化框架

流形正則化的本質(zhì)是將原特征空間的數(shù)據(jù)映射到新的空間［21~22］，并保留原特征空間中數(shù)據(jù)的局部幾何關(guān)系，旨在充分挖掘數(shù)據(jù)的非線性幾何特性。需最小化的目標(biāo)函數(shù)如下：

其中f(xi)和f(xj)分別是輸入樣本xi和xj的模型預(yù)測輸出，wij是xi和xj間的相似度。采用高斯函數(shù)計(jì)算相似度，可得相似度矩陣W：

其中kNN(xj)表示樣本xj的近鄰。

通過數(shù)學(xué)計(jì)算將目標(biāo)函數(shù)展開：

其中，tr(·) 表示矩陣的跡，nl為標(biāo)記樣本個(gè)數(shù)，nu為未標(biāo)記樣本個(gè)數(shù)，為 模 型 預(yù) 測輸出，矩陣L=D-W是拉普拉斯矩陣。

2.3 流形正則化框架與半監(jiān)督極限學(xué)習(xí)機(jī)結(jié)合

半監(jiān)督極限學(xué)習(xí)機(jī)采用流形學(xué)習(xí)，通過樣本間的幾何關(guān)系讓未標(biāo)記樣本輔以標(biāo)記樣本學(xué)習(xí)。利用流形正則化將幾何關(guān)系與預(yù)測誤差聯(lián)系起來，提升模型的預(yù)測精度。

在半監(jiān)督極限學(xué)習(xí)機(jī)訓(xùn)練過程中，不同類的數(shù)據(jù)對(duì)訓(xùn)練效果的影響不同。模型傾向于訓(xùn)練所含樣本個(gè)數(shù)較多的類，為了提高模型的預(yù)測精度，在預(yù)測誤差前各加不同的懲罰系數(shù)因子，以此平衡各個(gè)類中數(shù)據(jù)對(duì)模型的影響程度。假設(shè)訓(xùn)練樣本中xi屬于類ti，類ti中含Nti個(gè)訓(xùn)練樣本，對(duì)每個(gè)樣本的預(yù)測誤差乘以一個(gè)懲罰參數(shù)Ci：

其中C為懲罰系數(shù)。由此將半監(jiān)督極限學(xué)習(xí)機(jī)約束問題轉(zhuǎn)換為無約束問題：

其中，Y′為根據(jù)實(shí)際輸出樣本擴(kuò)展得到的，前s 行為標(biāo)記的輸出樣本，其余行均為0 ；C=diag(C1，…，Cnl)為懲罰系數(shù)組成對(duì)角矩陣。通對(duì)式（12）求β的梯度，可得

求解可得：

3 蝙蝠算法

蝙蝠對(duì)自身發(fā)出超聲波及接收到回聲的時(shí)差建立周圍環(huán)境的映像，利用回聲定位原理感知食物的距離、大小及運(yùn)動(dòng)方向。蝙蝠算法是模仿蝙蝠搜尋食物的過程而演化出的一種優(yōu)化算法，首先初始化每只蝙蝠的位置和速度，把蝙蝠的位置看成待尋優(yōu)問題的解，在每次迭代后對(duì)每只蝙蝠相對(duì)應(yīng)的適應(yīng)度函數(shù)值進(jìn)行排序，找出位置最佳的蝙蝠xb。每次迭代中，利用回聲定位原理進(jìn)行位置和速度的更新，其中頻率決定了蝙蝠搜索的范圍，如下：

其中，θ均勻分布在[0 ，1] 中，fi表示第i只蝙蝠的當(dāng)前頻率值，fmax和fmin分別代表蝙蝠搜索頻率的最大值和最小值表示第i只蝙蝠在t 時(shí)刻時(shí)的速度，表示第i只蝙蝠在t時(shí)刻時(shí)的位置。

在迭代時(shí)，對(duì)當(dāng)次迭代的最優(yōu)位置進(jìn)行局部尋優(yōu)，探索最優(yōu)解的附近區(qū)域。在最優(yōu)位置附近隨機(jī)生成一個(gè)新的解：

其中，ε是[- 1，1] 中的隨機(jī)數(shù)，A(t)為t 時(shí)刻所有蝙蝠的平均響度，xold為當(dāng)前最優(yōu)位置。

在蝙蝠靠近食物時(shí)，會(huì)加快脈沖發(fā)射速率并減小響度，直至吃到食物。在蝙蝠算法的尋優(yōu)過程中，沒找到一個(gè)最優(yōu)位置時(shí)，頻度r和響度A均會(huì)進(jìn)行相應(yīng)的更新：

其中α∈( 0，1) ，γ＞0，通常?。害?0.9，γ=0.9。脈沖頻度和響度的變化一定程度上反映著距離目標(biāo)的遠(yuǎn)近程度。

綜上所述以上分析，蝙蝠算法步驟為

1）初始化蝙蝠個(gè)數(shù)n1、迭代次數(shù)N1、維數(shù)d、位置xi、速度vi、頻率范圍[fmin，fmax] 、頻率fi、初始脈沖頻度Ai和響度ri；

2）定義適應(yīng)度函數(shù)q(x)；

3）根據(jù)頻率fi對(duì)每只蝙蝠的位置和速度進(jìn)行更新；

4）若滿足(rand＞ri)，在最佳位置處隨機(jī)產(chǎn)生一個(gè)新的位置x′；

5）根據(jù)新的位置求出qnew，若滿足(rand＞Aiq(x′)＜q(xb))，接收新值并對(duì)頻度和響度進(jìn)行更新；

6）根據(jù)各只蝙蝠的適應(yīng)度函數(shù)值重新排列選出當(dāng)前時(shí)刻的最佳位置；

7）迭代次數(shù)未達(dá)到設(shè)定次數(shù)，返回至3）；

8）輸出迭代N1次后的最佳位置xb。

蝙蝠算法中的位置和速度更新方式類似于標(biāo)準(zhǔn)粒子群算法中的更新方式。不過，在蝙蝠算法中，通過調(diào)節(jié)頻率fi大小進(jìn)而控制每只蝙蝠的搜索范圍。所以，蝙蝠算法的突出特點(diǎn)是使用頻率和參數(shù)調(diào)整進(jìn)行全局尋優(yōu)。

4 基于蝙蝠算法的流形正則化半監(jiān)督極限學(xué)習(xí)機(jī)

基于流形正則化的半監(jiān)督極限學(xué)習(xí)機(jī)的性能受多個(gè)參數(shù)影響：激活函數(shù)中的速率參數(shù)a與位移參數(shù)b、核寬σ、懲罰系數(shù)C和權(quán)重λ。參數(shù)選擇不當(dāng)時(shí)，會(huì)大大影響模型的預(yù)測輸出。為提高模型的預(yù)測精度，利用蝙蝠算法對(duì)基于流形正則化的半監(jiān)督極限學(xué)習(xí)機(jī)進(jìn)行參數(shù)尋優(yōu)，每只蝙蝠的位置相當(dāng)于待尋優(yōu)的最優(yōu)解組合(a，b，σ，C0，λ)。

圖1 為蝙蝠算法優(yōu)化半監(jiān)督極限學(xué)習(xí)機(jī)的流程。

圖1 BA優(yōu)化SS-ELM參數(shù)的流程圖

基于蝙蝠算法的半監(jiān)督極限學(xué)習(xí)機(jī)的訓(xùn)練步驟為

Step1：根據(jù)收集到的訓(xùn)練樣本，構(gòu)建半監(jiān)督極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)結(jié)構(gòu)；

Step2：初始化蝙蝠算法相關(guān)參數(shù)：蝙蝠個(gè)數(shù)n1、迭代次數(shù)N1、維數(shù)d、速度vi、頻率范圍[fmin，fmax] 、頻率fi、初始脈沖頻度Ai和響度ri；

Step3：隨機(jī)產(chǎn)生一組數(shù)據(jù)(a，b，σ，C0，λ)作為蝙蝠的初始位置xi；通過比較每只蝙蝠對(duì)應(yīng)的適應(yīng)度值更新各自的速度和位置；

Step4：判斷迭代次數(shù)是否達(dá)到設(shè)定次數(shù)，若達(dá)到，得到蝙蝠的最佳位置xb，即模型的最優(yōu)參數(shù)；否則繼續(xù)對(duì)模型參數(shù)進(jìn)行迭代尋優(yōu)；

5 仿真研究

脫丁烷塔過程是工業(yè)石油煉制中脫硫和石油腦分離的組成部分［23］，塔底丁烷濃度對(duì)煉制出的石油品質(zhì)影響很大且不易通過在線儀器直接測量。在工業(yè)生產(chǎn)中需要對(duì)其嚴(yán)格監(jiān)測和控制，為此采用軟測量技術(shù)對(duì)丁烷濃度進(jìn)行預(yù)測。圖2 為脫丁烷塔過程示意圖。

圖2 脫丁烷塔過程示意圖

選取脫丁烷塔過程中易測得的7 個(gè)變量為輔導(dǎo)變量，作為軟測量模型的輸入，各輔助變量的說明如表1 所示，相應(yīng)的輔助變量測試儀器安裝位置標(biāo)注在圖2 圈出部分；主導(dǎo)變量為脫丁烷塔塔底丁烷濃度。

表1 脫丁烷塔的輸入變量及其描述

共收集到2000 組過程數(shù)據(jù)，其中1000 組作為訓(xùn)練樣本，剩下1000 組作為測試樣本，接著對(duì)訓(xùn)練樣本作歸一化處理?；谝陨蠑?shù)據(jù)集分別建立三種軟測量模型：有監(jiān)督ELM 模型、半監(jiān)督ELM 模型和蝙蝠算法優(yōu)化的半監(jiān)督ELM 模型，進(jìn)行實(shí)驗(yàn)仿真并比較各模型效果。采用均方根誤差RMSE和相關(guān)系數(shù)COR作為模型的性能指標(biāo)：

其中ntest是樣本個(gè)數(shù)，ytest，i和ypred，i分別表示第i個(gè)測試樣本的真實(shí)值和預(yù)測值，而- ---ytest和- -----ypred分別為測試樣本真實(shí)值和預(yù)測值的平均值。

表2 所示為三種軟測量模型的預(yù)測結(jié)果，分析可得：在有標(biāo)記樣本數(shù)量較少時(shí)，有監(jiān)督的ELM 并不能較好地預(yù)測丁烷濃度；為利用大量無標(biāo)記樣本，引入半監(jiān)督學(xué)習(xí)后一定程度上能夠提高模型的預(yù)測精度；由于半監(jiān)督ELM 模型中含5 個(gè)參數(shù)：a，b，σ，C0，λ，這些參數(shù)選擇的不同，會(huì)造成模型的預(yù)測精度不穩(wěn)定，故利用優(yōu)化算法找到模型的最優(yōu)參數(shù)。在半監(jiān)督ELM 中引入蝙蝠算法，利用其回聲定位原理快速找到模型的最優(yōu)參數(shù)，能夠提高模型的預(yù)測精度。由此可見，本文方法能夠有效預(yù)測脫丁烷塔塔底丁烷的濃度。

表2 三種建模方法的預(yù)測結(jié)果比較

圖3 所示為三種模型的仿真結(jié)果，由圖比較分析可得：BA-SSELM 模型對(duì)脫丁烷塔塔底丁烷濃度的預(yù)測值與真實(shí)值較為接近，利用蝙蝠算法較好的全局尋優(yōu)性能，能夠快速找到適合模型的全局最優(yōu)參數(shù)，使得模型的輸出緊湊地跟隨實(shí)際值的變化，說明BA-SSELM模型的預(yù)測結(jié)果較準(zhǔn)確，對(duì)丁烷濃度的預(yù)測效果更佳。相比于有監(jiān)督極限學(xué)習(xí)機(jī)，本文所提方法對(duì)丁烷濃度的擬合效果更好，預(yù)測精度也更高。

圖3 ELM、SSELM、BA-SSELM的仿真結(jié)果

6 結(jié)語

為充分利用訓(xùn)練樣本集中的無標(biāo)記數(shù)據(jù)，通過流形正則化框架，在極限學(xué)習(xí)機(jī)中采用半監(jiān)督學(xué)習(xí)方法。并利用蝙蝠算法對(duì)半監(jiān)督極限學(xué)習(xí)機(jī)模型中的a，b，σ，C0，λ這五個(gè)參數(shù)優(yōu)化以獲得模型的最優(yōu)參數(shù)，從而提高模型的泛化能力。通過污水處理中BOD 含量和脫丁烷塔塔底丁烷（C4）濃度的仿真實(shí)驗(yàn)，驗(yàn)證了本文方法能夠提高對(duì)工業(yè)過程中關(guān)鍵質(zhì)量變量的預(yù)測精度并具有較好的泛化性能。