基于OBE-ELM的球磨機料位軟測量

程瑞輝， 閻高偉

(太原理工大學 信息工程學院， 山西 太原 030600)

基于OBE-ELM的球磨機料位軟測量

程瑞輝， 閻高偉

(太原理工大學 信息工程學院， 山西 太原 030600)

針對采用傳統(tǒng)極限學習機在球磨機料位軟測量建模過程中， 存在魯棒性差， 預測精度不高等缺點， 提出一種基于最優(yōu)定界橢球(Optimal Bounding Ellipsoid, OBE)改進極限學習機(Extreme Learning Machine, ELM)的建模方法. 該方法以球磨機振動信號為觀測變量， 采用偏最小二乘法提取有效特征， 將提取到的有效特征輸入到ELM中進行模型訓練， 并利用OBE在模型誤差未知但有界的條件下， 對網(wǎng)絡(luò)權(quán)值進行約束優(yōu)化. 通過小型球磨機實驗表明， 在對球磨機料位進行回歸預測時， 該方法的評價指標與其它方法相比有所提高， 測量結(jié)果的箱線圖也直觀展示該方法具有更好的魯棒性.

球磨機料位； 軟測量； 最優(yōu)定界橢球； 極限學習機

0 引 言

球磨機作為一種基礎(chǔ)破磨設(shè)備， 廣泛應(yīng)用于冶金、 電力及化工等行業(yè). 其經(jīng)濟性與內(nèi)部料位相關(guān)， 料位過低導致當前工作效率低， 能源利用率不高， 料位過高容易造成球磨機堵磨， 存在安全隱患. 因此， 準確地測量料位對球磨機的優(yōu)化控制具有重要意義.

近年來， 科研人員針對球磨機料位的測量提出了多種軟測量模型. 文獻[1]對球磨機振聲信號進行希爾伯特變換(Hilbert Transformation, HT)， 并提取有效特征訓練BP神經(jīng)網(wǎng)絡(luò). 文獻[2] 采用傅里葉變換(Fast Fourier Transform, FFT)將振動信號從時域轉(zhuǎn)換成頻域， 并利用深度信念網(wǎng)絡(luò)(Deep Belief Network, DBN)提取特征訓練極限學習機(Extreme Learning Machine, ELM)， 建立料位與振動信號相對應(yīng)的關(guān)系模型. 文獻[3]提出一種基于筒體振動的選擇性極限學習機集成方法， 利用核主元分析算法(Kernel Principal Component Analysis, KPCA)提取信號的頻譜特征， 最后采用ELM建立軟測量模型.

作為神經(jīng)網(wǎng)絡(luò)中的一種， 極限學習機本質(zhì)上是單隱含層前饋神經(jīng)網(wǎng)絡(luò)[4]. 在訓練過程中只需要設(shè)置隱含層的節(jié)點個數(shù)， 對輸入層和隱含層之間的輸入權(quán)值以及隱含層的偏置隨機初始化， 便可通過計算隱含層輸出矩陣的廣義逆得到唯一的最優(yōu)解. 相對于BP神經(jīng)網(wǎng)絡(luò)， 具有訓練速度快和泛化性好的優(yōu)點. 但是， 由于缺乏有效的訓練方法， 使得其在預測過程中隨機性較大， 預測結(jié)果不穩(wěn)定[5]. 針對該問題， 文獻[6]采用遺傳算法(Genetic Algorithm, GA)優(yōu)化輸入層和隱含層的連接權(quán)值、 隱含層的偏置、 輸入變量以及隱含層的結(jié)構(gòu)， 從而達到優(yōu)化ELM的目的. 文獻[7]首先初始化一個極限學習機模型， 在訓練過程中， 逐步增加隱含層神經(jīng)元的個數(shù)， 并調(diào)整輸出權(quán)值， 直到模型的訓練誤差小于誤差閾值為止. 文獻[8]采用主成分分析(Principal Component Analysis, PCA)對ELM隱含層進行降維得到列滿秩的新矩陣， 從而解決模型中多重共線性的問題， 進而優(yōu)化模型.

集員估計是在給定數(shù)據(jù)集， 模型結(jié)構(gòu)以及噪聲邊界的條件下， 描述模型的可行參數(shù)集合. 該集合內(nèi)的參數(shù)可看作是對模型參數(shù)辨識時的有效參數(shù)[9]. 在集員估計理論中， 最優(yōu)定界橢球(Optimal Bounding Ellipsoid, OBE)是其中的經(jīng)典算法之一. 文獻[10]采用OBE訓練傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的權(quán)值， 實現(xiàn)非線性系統(tǒng)參數(shù)辨識. 文獻[11]采用具有時變因子的指數(shù)加權(quán)(Recursive Least-Squares， RLS)對OBE算法進行改進， 使其具有更好的收斂性和跟蹤性能. 基于此， 本文將OBE應(yīng)用到ELM中， 對其參數(shù)進行優(yōu)化.

綜上， 本文將最優(yōu)定界橢球優(yōu)化算法引入極限學習機， 建立軟測量模型. 通過UCI數(shù)據(jù)集及實驗室球磨機進行實驗， 表明建立的軟測量模型具有較好的測量精度. 該方法成本低， 且不受水質(zhì)及彈丸空泡影響， 但其不能測量著靶姿態(tài)， 并且速度測量精度易受線圈纏繞一致性、 著靶偏移量以及過靶姿態(tài)等因素影響.

為滿足野外惡劣水質(zhì)環(huán)境下同時測量彈丸著靶位置、 姿態(tài)和速度的工程需要， 本文運用磁偶極子理論提出了基于磁梯度靶的水下彈道測試原理， 在此基礎(chǔ)上， 結(jié)合PSO-Newton混合算法設(shè)計了彈道著靶參數(shù)解算方法. 最后， 以某型水下槍彈為例進行仿真射擊實驗， 并對其測量誤差進行討論， 分析結(jié)果驗證了該解算方法的有效性.

1 理論與算法

1.1 極限學習機

式中：Wl×n表示隱含層與輸入層的權(quán)值矩陣；βm×l表示輸出層與隱含層的權(quán)值矩陣；bl×q表示q個樣本的隱含層偏置；φ(·)表示隱含層的激活函數(shù)， 一般選擇Sigmoid函數(shù). 在模型訓練過程中總存在一組β，W和b， 使得SLFN的輸出無限逼近于期望輸出， 即

通過求式(3)的最小二乘解可以獲得

1.2 最有定界橢球算法

非線性系統(tǒng)的狀態(tài)方程和量測方程分別為

式中：x(t)∈Rn表示第t時刻的狀態(tài)向量；A(t)∈Rn×n為狀態(tài)轉(zhuǎn)移矩陣；a(t)∈Rn為狀態(tài)噪聲向量；H(t)∈Rm×n為測量矩陣；y(t)∈Rm表示觀測向量；b(t)∈Rm為測量噪聲向量. 假設(shè)噪聲未知但有界， 包含噪聲a(t)和b(t)的橢球集合分別為D(t) 和V(t)， 具體表達式為

式中：M為狀態(tài)噪聲橢球集合的半正定矩陣.

1.2.1 狀態(tài)更新

根據(jù)橢球?qū)W習算法[12]，t時刻的狀態(tài)可行集為

E(t)=

A(t-1)x(t-1)⊕a(t-1).

圖 1 橢球模型圖Fig.1 Ellipsoid model diagram

此時外定界橢球為

按照最小跡橢球定理[13]， 外定界橢球E(t|t-1)的半正定矩陣P(t|t-1)滿足非線性方程

P(t|t-1)=

(1+1/p(t-1))A(t-1)P(t-1)AT(t-1)+

1.2.2 量測更新

測量集合為

而此時遞推算法[14]為

K(t)=λ(t)p(t)HT(t)=P(t|t-1)HT(t)·

σ2(t)=

1.3 OBE-ELM模型

傳統(tǒng)的極限學習機在訓練網(wǎng)絡(luò)時， 輸入權(quán)值是隨機的初始化， 然后再根據(jù)隱含層的輸出矩陣， 利用最小二乘法計算網(wǎng)絡(luò)的輸出權(quán)值. 因此， 網(wǎng)絡(luò)預測的準確性在一定的程度上也取決于輸入層權(quán)值的初始化， 從而造成傳統(tǒng)的極限學習機在預測的時候存在很大的隨機性和預測結(jié)果的不穩(wěn)定性. 而最優(yōu)橢球定界算法能夠在給定誤差邊界的條件下， 不斷地優(yōu)化模型參數(shù). 所以， 將橢球定界算法用在傳統(tǒng)的極限學習機中可以在給定誤差邊界的條件下， 適當?shù)貙O限學習機的輸入權(quán)值進行約束， 使得其降低模型的隨機性， 提高預測結(jié)果的穩(wěn)定性.

此外， 在文獻[8-12]中， 辨識的系統(tǒng)均為離散的非線性方程， 即在模型預測時通過k時刻的x預測同一時刻的y. 因此， 利用OBE優(yōu)化非線性系統(tǒng)時， 是逐個輸入訓練樣本. 而在實際的工業(yè)過程中， 樣本數(shù)據(jù)都是成批的， 這就要求在訓練模型過程中實現(xiàn)批處理. 所以， 在本文的OBE-ELM模型中， 將求出成批樣本標簽與當前網(wǎng)絡(luò)權(quán)值的函數(shù)關(guān)系， 從而實現(xiàn)批處理， 來滿足實際工業(yè)過程的需求.

對于多輸入單輸出的ELM模型， 式(1)可以改寫為

在網(wǎng)絡(luò)模型訓練過程中， 網(wǎng)絡(luò)權(quán)值隨著樣本輸入的變化而變化. 基于此， 可以將網(wǎng)絡(luò)權(quán)值放在一維向量中作為自變量， 對應(yīng)的網(wǎng)絡(luò)輸出為因變量， 具體的原理如圖 2 所示， 而式(19)通過線性化可以表示為

考慮到在進行網(wǎng)絡(luò)模型訓練時， 批處理樣本的個數(shù)為q， 所以， 在對權(quán)值向量θ求偏導時， 采用雅可比行列式

式中：n表示網(wǎng)絡(luò)模型權(quán)值的個數(shù). 這樣可以得到關(guān)于ELM模型的量測方程.

圖 2 OBE-ELM原理圖Fig.2 The principle diagram of OBE-ELM

OBE-ELM算法程序如下：

輸出： 修正后的權(quán)值θ.

Step1： 設(shè)置隱含層節(jié)點數(shù)：l=l(0).

Step2： 隨機生成權(quán)值和偏置：W(0)和b(0).

Step3： 輸出權(quán)值為β(0)=[φ(W(0)x+b(0))]+y.

Step4： 初始化權(quán)值向量θ(0)=[W(0),b(0),β(0)].

Step5： 初始化P(0)=diag(lenth(θ(0))).

Step6： 設(shè)置轉(zhuǎn)移矩陣A(0)=ones(length(θ(0))).

Step7： fort=1 tom.

根據(jù)式(11)計算： (P(t-1),A(t-1))?P(t|t-1)，

H(t)=， G(t)=H(t)P(t|t-1)HT(t)， g(t)=max(SVD(G(t)))，

if：δ(t)>γ

λ(t)=(1/g(t))×‖δ(t)‖/(γ-1)

根據(jù)式(14)～式(18)計算

(P(t|t-1),λ(t),H(t))?K(t)

(K(t),δ(t),θ(t-1)?θ(t|t-1)

(P(t-1),K(t-1),H(t-1))?P(t)
(θ(t|t-1),λ(t),H(t),P(t),δ(t))?θ(t)
s(t)=1+λ(t)g(t)
(s(t),λ(t),σ(t|t-1)?σ(t)

End if

End for

2 實驗結(jié)果及分析

2.1 UCI數(shù)據(jù)集

本文利用來自University of California at Irvine (UCI) Machine Learning Repository的標準數(shù)據(jù)集對OBE-ELM模型進行測試， 分別是Housing， Concrete Compressive Strength (CCS)和Energy Efficiency (EE). 輔助設(shè)備精確標定. 其具體的數(shù)據(jù)集描述如表 1 所示.

表 1 UCI數(shù)據(jù)集描述Tab.1 UCI datasets description

為了驗證所建立的OBE-ELM軟測量模型的有效性， 將其與傳統(tǒng)的極限學習機ELM及最優(yōu)剪枝極限學習機(Optimally Pruned Extreme Learning Machine, OPELM)[15]、 在線序列極限學習機(Online Sequential Extreme Learning Machine, OSELM)[16]、 PELM(PCA-ELM)[17]進行對比. 采用如下測量結(jié)果評價模型性能： 均方根誤差(Root Mean Square Error, RMSE)和平均絕對誤差(Mean Absolute Error, MAE)

UCI數(shù)據(jù)集的測量結(jié)果如表 2 所示， 其中y1和y2表示ENB 數(shù)據(jù)集的兩個輸出. 從表 2 中可以看出OBE-ELM在UCI數(shù)據(jù)集中的RMSE值和MAE值比傳統(tǒng)的ELM及其改進算法的預測誤差都小， 由此可見， 利用OBE算法訓練ELM 神經(jīng)網(wǎng)絡(luò)的權(quán)值有顯著的效果， 預測精度也得到明顯的提升.

表 2 不同數(shù)據(jù)實驗結(jié)果對比表Tab.2 Different datasets’ result comparison

2.2 球磨機實驗

球磨機實驗中， 在鋼球裝載量和電機轉(zhuǎn)速保持不變的情況下， 每增加1 L料位， 采集該料位對應(yīng)的60 s振動信號直到達到20 L料位. 實驗結(jié)束時， 一共采集了20組實驗數(shù)據(jù)， 將每組實驗數(shù)據(jù)分成22個樣本， 其中15個樣本用來做訓練， 7個樣本用來做測試， 所以最后得到訓練集樣本數(shù)為20×15=300個， 測試集樣本數(shù)為20×7=140個. 實驗采集的球磨機振動信號經(jīng)過Welch方法求取功率譜， 分析發(fā)現(xiàn)振動信號的有效范圍為60～6 000 Hz， 以20 Hz 為單位進行分割并求平均值， 得到每個樣本的維度為(6 000-600)÷20=270. 然后通過PLS 算法提取有效特征， 使樣本維度從270維降低到10維. 最終球磨機數(shù)據(jù)訓練集為300×10， 測試集為140×10.

圖 3 給出了PLS, OBE, ELM相互結(jié)合的軟測量模型. 模型輸入是傳感器采集的球磨機振動信號. 首先利用Welch方法求取功率譜， 然后利用PLS提取頻譜特征的有效特征值， 最后將提取的有效特征值送入到OBE-ELM進行建模并預測. 在對模型性能進行驗證時， 采用與UCI數(shù)據(jù)集相同的評價函數(shù)RMSE和MAE， 如式(22)和式(23).

在網(wǎng)絡(luò)模型中， 隱含層節(jié)點個數(shù)是一個重要參數(shù)， 因此球磨機實驗中采用網(wǎng)格搜索算法對ELM, OPELM, OSELM, PELM以及OBE-ELM模型參數(shù)進行尋優(yōu). 通過網(wǎng)格尋優(yōu)得到的最優(yōu)參數(shù)以及10次測量結(jié)果的平均值如表 3 所示.

圖 3 軟測量模型圖Fig.3 Soft measurement model diagram表 3 模型參數(shù)Tab.3 Model parameters

模型參數(shù)測量結(jié)果MAERMSEELMNhidden=500.58420.7703OPELMNhidden=900.46150.5838OSELMNhidden=60,Ndata=1500.50970.7096PELMNhidden=2500.59910.7648OBE-ELMNhidden=20,γ=1.70.37710.5017

圖 4 給出10次測量結(jié)果的RMSE和MAE的箱線圖. 圖 5 中給出了ELM, OPELM, OSELM, PELM以及OBE-ELM等不同方法最優(yōu)預測的結(jié)果.

圖 4 測量結(jié)果的箱線圖Fig.4 Box-plot of measurement result

圖 5 不同測量方法的最優(yōu)結(jié)果Fig.5 Optimal results of different measuring methods

表 3 中Nhidden表示隱含層神經(jīng)元的個數(shù)；Ndata表示初始化OSELM模型時輸入樣本的個數(shù)；γ為OBE-ELM模型中誤差閾值. 從表中可以看出， 除PELM外， 其他ELM改進算法的平均RMSE和平均MAE比傳統(tǒng)ELM都明顯降低. 而基于OBE的ELM 模型則優(yōu)于傳統(tǒng)的ELM及其他改進算法的模型， 其預測結(jié)果是最好的.

由圖 4 可以看出， ELM, OP-ELM, OS-ELM, PELM的穩(wěn)定性不好， 且測量精度不高. 而采用OBE-ELM模型的方法， 不僅具有較高的測量精度， 而且其穩(wěn)定性也得到很好的改善， 說明在OBE-ELM模型中， OBE對權(quán)值的初始化起到一定的約束能力， 從而降低模型的隨機性， 達到穩(wěn)定的效果.

從圖 5 可以看出， ELM, OS-ELM, PELM方法的測量曲線在中、 低料位段的跟蹤性較差,從而造成最終的預測精度不高； 與它們相比， OP-ELM方法測量曲線的跟蹤性在低料位段有所改善， 但是中料位段的跟蹤性依舊較差， 因此預測精度相對前三種方法有所提高； OBE-ELM方法在低料位段和中料位段的跟蹤效果與其它方法相比優(yōu)勢比較明顯， 且測量精度也是最高的， 驗證了OBE-ELM 模型具有良好的預測能力.

3 結(jié) 論

針對極限學習機在軟測量建模中， 存在的精度不高、 預測結(jié)果不穩(wěn)定等缺點， 本文提出了基于集員估計的極限學習機軟測量建模方法， 采用橢球定界算法優(yōu)化網(wǎng)絡(luò)模型參數(shù)， 并給出了算法理論推導以及程序流程， 最后應(yīng)用于UCI數(shù)據(jù)集和小型球磨機的建模預測中. 實驗結(jié)果表明， 本文提出的算法在誤差未知但有界的條件下， 能使模型參數(shù)隨著迭代次數(shù)的增加而得到優(yōu)化， 有效解決了預測結(jié)果具有一定隨機性的缺點， 提高了模型預測準確度. 在下一步工作中， 考慮將其應(yīng)用在多輸出模型中， 并實現(xiàn)在線軟測量.

[1] 沙毅， 曹英禹， 郭玉剛. 磨煤機振動信號分析及基于BP網(wǎng)的料位識別[J]. 東北大學學報(自然科學版)， 2006， 27(12)： 1319-1323.

Sha Yi， Cao Yingyu， Guo Yugang. Analysis of acoustic signal and BP neural network-based recognition of level of coal in ball mill [J]. Journal of Northeastern University (Natural Science)， 2006， 27(12)： 1319-1323. (in Chinese)

[2] 康巖， 盧慕超. 基于DBN-ELM的球磨機料位軟測量方法研究[J]. 儀表技術(shù)與傳感器， 2015， 27(4)： 73-75.

Kang Yan， Lu Muchao. Soft sensor for ball mill fiil level based on DBN-ELM model [J]. Instrument Technique and Sensor， 2015， 27(4)： 73-75. (in Chinese)[3] 趙立杰， 湯健， 柴天佑. 基于選擇性極限學習機集成的磨機負荷軟測量[J]. 浙江大學學報， 2011， 45(12)： 2088-2092.

Zhao Lijie， Tang Jian， Chai Tianyou. Soft sensor of mill load based on selective extreme learning machine ensemble[J]. Journal of Zhejiang University， 2011， 45(12)： 2088-2092. (in Chinese)

[4] Huang G B， Wang D H， Lan Y. Extreme learning machines： a survey[J]. International Journal of Machine Learning and Cybernetics， 2011， 2(2)： 107-122.

[5] Pacifico L D S， Ludermir T B. Evolutionary extreme learning machine based on particle swarm optimization and clustering strategies[C]∥Neural Networks (IJCNN)， The 2013 International Joint Conference， 2013： 1-6.

[6] Tiago Matias， Rui Araújo. Genetically optimized extreme learning machine[C]∥Emerging Technologies and Factory Automation (ETFA)， Cagliari， 2013： 1-8.

[7] Feng G， Huang G B， Lin Q， et al. Error minimized extreme learning machine with growth of hidden nodes and incremental learning[J]. IEEE Transactions on Neural Networks， 2009， 20(8)： 1352-1357.

[8] Zhang H G， Yin Y X， Zhang S. An improved ELM algorithm for the measurement of hot metal temperature in blast furnace[J]. Neurocomputing， 2016， 22(6)： 232-237.

[9] Rubio J D J， Yu W， Ferreyra A. Neural networks training with optimal bounded ellipsoid algorithm[J]. Neural Computing and Applications， 2009， 18(6)： 623-631.

[10] 王魏， 鄧長輝， 趙立杰. 橢球定界算法在混合建模中的應(yīng)用研究[J]. 自動化學報， 2014， 40(9)： 1875-1881.

Wang Wei， Deng Changhui， Zhao Lijie. Research of ellipsoid bounded algorithm in hybrid modeling[J]. Acta Automatica Sinica， 2014， 40(9)： 1875-1881. (in Chinese)

[11] Arablouei R， Doanay K. Modified quasi-OBE algorithm with improved numerical properties[J]. Signal Processing， 2013， 93(4)： 797-803.

[12] Yu W， Joséde Jesús Rubio. Recurrent neural networks training with stable bounding ellipsoid algorithm[C]∥2007 American Control Conference. New York， 2007： 4768-4773.

[13] 何青， 王賢明. 基于集員估計理論的神經(jīng)網(wǎng)絡(luò)學習算法[J]. 中國水運， 2009， 12： 96-97.

He Qing， Wang Xianming. A neural network learning algorithm based on the theory of set membership estimation [J]. China Water Transport， 2009， 12： 96-97. (in Chinese)

[14] 姜燕， 何青. 集員估計理論在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用研究[J]. 電子測量與儀器學報， 2004(z2)： 636-640.

Jiang Yan， He Qing. Application of set membership estimation theory to neural networks[J]. Journal of Electronic Measurement and Instrument， 2004(z2)： 636-640. (in Chinese)

[15] Heddam S. Use of optimally pruned extreme learning machine(OP-ELM) in forecasting dissolved oxygen concentration(DO) several hours in advance： a case study from the Klamath river， oregon， USA[J]. Environmental Processes， 2016， 7(6)： 1-29.

[16] 王焱， 汪震， 黃民翔. 基于OS-ELM 和Bootstrap 方法的超短期風電功率預測[J]. 電力系統(tǒng)自動化， 2014， 38(6)： 14-19.

Wang Yan， Wang Zhen， Huang Minxiang. Ultra- short-term wind power prediction based on OS-ELM and bootstrap method[J]. Automation of electric power system， 2014， 38(6)： 14-19. (in Chinese)

[17] Zhang H G， Yin Y X， Zhang S. An improved ELM algorithm for the measurement of hot metal temperature in blast furnace[J]. Neurocomputing， 2016， 22(1)： 232-237.

SoftSensorforBallMillFillLevelBasedonOBE-ELMModel

CHENG Rui-hui, YAN Gao-wei

(College of Information Engineering, Taiyuan University of Technology, Taiyuan 030600, China)

In the process of soft sensor modeling of ball mill fill level using traditional extreme learning machine, existing the issue of poor robustness and low accuracy. To solve the problem, an improved extreme learning machine (ELM) soft sensor method based on optimal bounding ellipsoid (OBE) was proposed. The ball mill vibration signal was viewed as observed variables, and the features were extracted by partial least squares (PLS). Then, extracted features were put into ELM for model training. OBE was used to optimize the weights of the network under the condition that the model error was unknown but bounded. The experiment tested on a dataset of the lab-scale ball mill illustrate that the evaluation index is improved in the prediction of the ball mill fill level, and the box-plot shows that the proposed method has better robustness.

fill level of ball mill； soft sensor； optimal bounding ellipsoid； extreme learning machine

1673-3193(2017)05-0574-06

2017-04-19

國家自然科學基金資助項目(61450011)； 山西省煤基重點科技攻關(guān)項目(MD2014-07)； 山西省自然科學基金資助項目(20150110052)

程瑞輝(1992-)， 男， 碩士， 主要從事人工神經(jīng)網(wǎng)絡(luò)及算法優(yōu)化的研究.

TP29

A

10.3969/j.issn.1673-3193.2017.05.012