基于極限學(xué)習(xí)機的非線性內(nèi)?？刂?/h1>
2016-04-05 10:29:20唐賢倫周家林重慶郵電大學(xué)工業(yè)物聯(lián)網(wǎng)與網(wǎng)絡(luò)化控制教育部重點實驗室重慶南岸區(qū)400065
電子科技大學(xué)學(xué)報 2016年1期
唐賢倫，周家林，張 娜，劉 慶(重慶郵電大學(xué)工業(yè)物聯(lián)網(wǎng)與網(wǎng)絡(luò)化控制教育部重點實驗室 重慶 南岸區(qū) 400065)
?
基于極限學(xué)習(xí)機的非線性內(nèi)?？刂?/p>
唐賢倫，周家林，張 娜，劉 慶
(重慶郵電大學(xué)工業(yè)物聯(lián)網(wǎng)與網(wǎng)絡(luò)化控制教育部重點實驗室 重慶 南岸區(qū) 400065)
【摘要】針對非線性的內(nèi)?？刂频哪婺ｋy以求解的問題，該文提出一種基于改進(jìn)極限學(xué)習(xí)機(MELM)的非線性內(nèi)?？刂品椒?。在基本的極限學(xué)習(xí)機模型中加入L1和L2范數(shù)罰函數(shù)，然后將改進(jìn)極限學(xué)習(xí)機算法用于建立非線性系統(tǒng)的內(nèi)模型和逆模型。仿真實驗中，選取4種典型信號進(jìn)行跟蹤，并檢驗了系統(tǒng)的抗干擾能力和系統(tǒng)參數(shù)發(fā)生變化時的魯棒性，通過將MELM和最小二乘支持向量機(SVM)以及極限學(xué)習(xí)機算法進(jìn)行對比，表明基于MELM的內(nèi)?？刂品椒▽Ψ蔷€性系統(tǒng)具有更好的控制性能、較強的抗干擾能力和魯棒性能。
關(guān) 鍵 詞極限學(xué)習(xí)機; 內(nèi)模控制; L1范數(shù)罰函數(shù); L2范數(shù)罰函數(shù)
Nonlinear Internal Model Control System Based on Weighted Regularized Extreme Learning Machine
TANG Xian-lun, ZHOU Jia-lin, ZHANG Na, and LIU Qing
(Key Laboratory of Industrial Wireless Network and Networked Control of the Ministry of Education, Chongqing University of Posts and Telecommunications Nan’an Chongqing 400065)
Abstract A nonlinear internal model control system based on the modified extreme learning machine algorithm is proposed. L1norm penalty and L2norm penalty are used to modify the model of ordinary extreme learning machine, then the modified extreme learning machine (MELM) is employed to establish the internal model and inverse model of nonlinear systems. In the simulation experiment, four typical signals are selected for tracking, and then the system’s anti-interference ability and the robustness when the system parameters change are verified. The results show that, compared with least-squared support vector machine and extreme learning machine algorithm, the proposed internal model control has better control performance, anti-interference ability and robustness for nonlinear system.
Key words exteme learning machine; internal model control; L1norm penalty ; L2norm penalty
內(nèi)?？刂剖怯晌墨I(xiàn)[1]提出的一種性能優(yōu)越的控制方法，它具有設(shè)計簡單、調(diào)節(jié)性能好、魯棒性強以及消除不可測干擾的影響等優(yōu)點[2-3]。由于實際系統(tǒng)大多是非線性的，需要設(shè)計非線性的內(nèi)模控制方法，目前應(yīng)用最廣泛的是神經(jīng)網(wǎng)絡(luò)和支持向量機兩種方法?；谏窠?jīng)網(wǎng)絡(luò)[2,4]的內(nèi)模控制系統(tǒng)，利用輸入輸出數(shù)據(jù)可以獲得未知非線性系統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型，但是神經(jīng)網(wǎng)絡(luò)的訓(xùn)練一般采用梯度算法，收斂慢且容易陷入局部最小，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)難以選擇?；诮Y(jié)構(gòu)風(fēng)險最小化的支持向量機[5-6]，在一定程度上克服了傳統(tǒng)非線性建模的近似線性，能有效克服局部極小點、過學(xué)習(xí)等缺陷，但是對大規(guī)模訓(xùn)練樣本難以實施，訓(xùn)練速度也較慢。ELM[7-8]是一種網(wǎng)絡(luò)結(jié)構(gòu)簡單、學(xué)習(xí)速度快的前饋神經(jīng)網(wǎng)絡(luò)。利用Moore-Penrose廣義逆求解網(wǎng)絡(luò)輸出層權(quán)重，可獲得較小的權(quán)重范數(shù)和泛化性能。但是基本的極限學(xué)習(xí)機卻存在模型參數(shù)不穩(wěn)定的缺點，輸入權(quán)值和閾值的隨機設(shè)定容易造成過擬合或訓(xùn)練不充分的問題。
本文將L1和L2范數(shù)罰函數(shù)引入極限學(xué)習(xí)機模型，并提出MELM算法。將這種改進(jìn)的極限學(xué)習(xí)機用于構(gòu)造內(nèi)?？刂葡到y(tǒng)，并用于典型的非線性系統(tǒng)中。通過與極限學(xué)習(xí)機和最小二乘支持向量機兩種方法的對比，分析基于改進(jìn)極限學(xué)習(xí)機的內(nèi)?？刂葡到y(tǒng)在控制性能、抗干擾能力和魯棒性能方面的優(yōu)勢。
1 極限學(xué)習(xí)機的算法描述
1.1 極限學(xué)習(xí)機的基本原理
ELM是由文獻(xiàn)[9]提出的一種新型單隱含層前饋神經(jīng)網(wǎng)絡(luò)，由于其具有全局逼近能力，參數(shù)學(xué)習(xí)不需迭代以及速度明顯快于現(xiàn)有的神經(jīng)網(wǎng)絡(luò)和支持向量機等特點，其改進(jìn)算法和實際應(yīng)用引起了廣泛的關(guān)注[10]。極限學(xué)習(xí)機的模型可以描述為：
式中，y為輸出；x為輸入向量；wi為連接輸入節(jié)點和隱層節(jié)點的輸入權(quán)值；bi為隱含層偏置；βi為連接隱含層與輸出層的輸出權(quán)值；g為隱含層的激活函數(shù)；L為隱層節(jié)點數(shù)。每一個隱層節(jié)點的激活函數(shù)模型為：
若采用RBF形式的隱層節(jié)點，那么激活函數(shù)模型可描述為：
ELM中除了βi其他參數(shù)都是隨機產(chǎn)生的。對于給定的N個樣本代入式(1)有：
式中，H表示隱層節(jié)點的輸出矩陣；Y表示極限學(xué)習(xí)機的輸出矩陣。且有：
ELM的最小二乘模型可以描述為：
故極限學(xué)習(xí)機的訓(xùn)練過程等價于式(7)的最小二乘解：
1.2 正則極限學(xué)習(xí)機
極限學(xué)習(xí)機具有強大的回歸性能，能夠獲得全局最優(yōu)解，且模型訓(xùn)練時間很短。然而在ELM求解的過程中，存在由于特征矩陣奇異化造成模型參數(shù)不穩(wěn)定的問題。因此，為了增強ELM的穩(wěn)定性，可以在ELM中加入L2范數(shù)的罰函數(shù)，構(gòu)成正則極限學(xué)習(xí)機[11]。其模型為：
式中，2λ表示正則化參數(shù)。輸出權(quán)值為：
式中，I為單位矩陣。
正則極限學(xué)習(xí)機本質(zhì)上是一種結(jié)構(gòu)風(fēng)險最小化模型，能夠較好的權(quán)衡經(jīng)驗風(fēng)險和結(jié)構(gòu)風(fēng)險，因而相比基本的極限學(xué)習(xí)機，具有更好的泛化性能。
2 改進(jìn)的極限學(xué)習(xí)機
基本的ELM算法的隱層節(jié)點數(shù)、輸入權(quán)值和閾值都是隨機生成的，這樣使得矩陣H中產(chǎn)生冗余特征和無關(guān)特征。隱層節(jié)點數(shù)設(shè)置過多，容易造成過擬合，設(shè)置過少，又會使得ELM的訓(xùn)練不充分。這些問題都使得ELM對數(shù)據(jù)的回歸效果欠佳。本文MELM算法在正則極限學(xué)習(xí)機的模型中加入L1范數(shù)的罰函數(shù)，形式為：
式(11)稱為na?ve elastic net模型[12]。在特征矩陣的初始化過程中，先隨機生成充分多的隱藏節(jié)點，并利用L1范數(shù)的罰函數(shù)對重要的隱藏節(jié)點進(jìn)行篩選。同時，利用L2范數(shù)的罰函數(shù)解決特征矩陣的奇異化問題。該模型使得選出的隱藏節(jié)點的信息量相對充分且干擾小，相當(dāng)于從多次隨機初始化的含有較少的隱藏節(jié)點的特征矩陣中選出了一個最優(yōu)特征矩陣，因而使ELM算法的性能得到提高。
式(11)的模型可以改寫成：
它是一個典型的Lasso模型，其中：
式(11)等價于式(12)求得參數(shù)β的稀疏解，從而實現(xiàn)了隱藏節(jié)點的篩選功能。式(12)的解可以采用最小角回歸(LARS)算法[15]求得，且解為：
na?ve elastic net模型通過引入兩個罰函數(shù)，減少了模型的方差，但同時對回歸系數(shù)造成了過多收縮，引入過多的偏倚。為了修正偏倚，需要對回歸系數(shù)進(jìn)行調(diào)整，即將na?ve elastic net模型修正為elastic net模型[13]：
elastic net模型中的非零參數(shù)βi對應(yīng)的隱藏節(jié)點就是關(guān)鍵節(jié)點。
3 基于極限學(xué)習(xí)機的內(nèi)?？刂?/h2>
3.1 內(nèi)模控制的系統(tǒng)結(jié)構(gòu)
在本文采用的內(nèi)?？刂圃O(shè)計方案中需要建立兩個極限學(xué)習(xí)機模型，一個用于構(gòu)造內(nèi)部模型，另一個用來構(gòu)造逆模型?；诟倪M(jìn)極限學(xué)習(xí)機的內(nèi)部模型如圖1所示，圖中GP表示被控對象，GM為改進(jìn)極限學(xué)習(xí)機的內(nèi)部模型，GIMC是改進(jìn)極限學(xué)習(xí)機的內(nèi)?？刂破?，d為干擾，1F是濾波器，yr是系統(tǒng)的輸入，yk是系統(tǒng)的輸出。
圖1 改進(jìn)極限學(xué)習(xí)機內(nèi)?？刂瓶驁D
內(nèi)?？刂葡到y(tǒng)的輸出為：
3.2 極限學(xué)習(xí)機建立的內(nèi)部模型
假如有如下單輸入單輸出非線性系統(tǒng)模型：
式中，y為系統(tǒng)輸出；u為系統(tǒng)輸入；n為系統(tǒng)階次；m為輸入延遲；f為一非線性函數(shù)。設(shè)：
3.3 極限學(xué)習(xí)機建立的逆模型
極限學(xué)習(xí)機建立起的被控對象的逆模型被用作內(nèi)?？刂破鳎⑶乙紤]到過程的可逆性問題。式(15)所描述的非線性系統(tǒng)，如果存在一個集合的子集A，當(dāng)時，對于任意兩個不同輸入u1( k )和都有：
假設(shè)系統(tǒng)是可逆的，則用極限學(xué)習(xí)機方法建立的內(nèi)部模型的逆模型就是所設(shè)計的控制器，即：
對于非線性控制，過程的逆模型往往很難得到，由于過程是可逆的，因此模型一定存在。本文采用極限學(xué)習(xí)機方法估計過程的逆模型。設(shè)：
3.4 極限學(xué)習(xí)機模型參數(shù)的作用及設(shè)置方法
內(nèi)?？刂葡到y(tǒng)中，兩個基于改進(jìn)極限學(xué)習(xí)機的模型(即內(nèi)部模型和外部模型)均是回歸模型。改進(jìn)的極限學(xué)習(xí)機模型，在訓(xùn)練前有兩個參數(shù)需要提前設(shè)定，分別是懲罰系數(shù)1λ和2λ。系數(shù)1λ的作用是通過控制所選擇的隱藏層節(jié)點的數(shù)目，實現(xiàn)特征的自動選擇；系數(shù)2λ的作用是防止系統(tǒng)過擬合，提升系統(tǒng)模型的泛化能力。參數(shù)1λ和2λ通過交叉驗證法確定。
4 內(nèi)模控制器仿真分析
4.1 信號跟蹤研究
采用如下的非線性系統(tǒng)：
容易證得該系統(tǒng)是單調(diào)的，故而該系統(tǒng)可逆。辨識信號采用幅值為2的隨機信號，得到200組非線性系統(tǒng)的輸入輸出數(shù)據(jù)對。用極限學(xué)習(xí)機離線辨識該非線性系統(tǒng)的內(nèi)部模型和逆模型。
將訓(xùn)練好的改進(jìn)極限學(xué)習(xí)機的內(nèi)部模型和逆模型與原系統(tǒng)復(fù)合構(gòu)成內(nèi)?？刂葡到y(tǒng)，對復(fù)合系統(tǒng)的輸入段分別施加各典型信號，檢驗其跟蹤效果。
圖2 正弦波信號跟蹤結(jié)果
圖3 方波信號跟蹤結(jié)果
從圖2和圖3可以看出，改進(jìn)極限學(xué)習(xí)機對給定輸入信號的跟蹤精度高，響應(yīng)速度快，動態(tài)性能好。表1表明改進(jìn)極限學(xué)習(xí)機的跟蹤誤差小于最小二乘支持向量機和基本的極限學(xué)習(xí)機，穩(wěn)態(tài)性能更優(yōu)。MELM的響應(yīng)時間慢于ELM，略小于LS-SVM，但總的來說響應(yīng)時間較快。
表1 典型信號跟蹤誤差(響應(yīng)時間)
4.2 控制系統(tǒng)對外部不確定干擾的抑制能力
非線性系統(tǒng)不可避免的存在測量噪聲和外部干擾，為了檢驗內(nèi)?？刂频目垢蓴_特性，對輸入信號施加干擾。假設(shè)在0.8s(k=80)時施加幅值為0.2的階躍擾動，在1.3s(k=130)時施加幅值為?0.2的階躍擾動，即：
依然采用4種典型信號作為輸入信號。本文實驗選取均方根誤差(RMSE)和系統(tǒng)響應(yīng)時間作為衡量指標(biāo)，其多次試驗結(jié)果如表2所示。跟蹤結(jié)果選取兩種如圖4和圖5所示。
表2 典型信號抗干擾均方根誤差(響應(yīng)時間)
圖4 正弦波信號抗擾跟蹤結(jié)果
圖5 方波信號抗擾跟蹤結(jié)果
從圖4和圖5可以看出，在0.8 s(k=80) 和1.3 s(k=130)時，系統(tǒng)輸出的誤差增大。從表2可以看出，所提出的基于改進(jìn)極限學(xué)習(xí)機的內(nèi)?？刂葡到y(tǒng)，在有干擾信號情況下的均方根誤差是最小的，LS-SVM其次，而ELM最大。但是在響應(yīng)時間上，ELM最短，MELM其次，LS-SVM最長。表明改進(jìn)極限學(xué)習(xí)機的內(nèi)模控制系統(tǒng)有良好的魯棒性，系統(tǒng)響應(yīng)較快，對測量噪聲和外部干擾等擾動有較強的抑制作用，使得控制系統(tǒng)能夠較好地跟蹤輸入信號。
4.3 非線性系統(tǒng)參數(shù)發(fā)生變化時的魯棒性
為研究非線性系統(tǒng)的參數(shù)發(fā)生變化時，內(nèi)模控制器的魯棒性，假設(shè)時，原系統(tǒng)的參數(shù)發(fā)生變化，原系統(tǒng)變?yōu)椋?/p>
選取4種信號中跟蹤難度最大的方波信號作為系統(tǒng)的輸入信號，其跟蹤結(jié)果和跟蹤誤差如圖6和圖7所示。
圖6 方波信號參數(shù)變化的跟蹤結(jié)果
從圖6和圖7可以看出，基于MELM的內(nèi)?？刂葡到y(tǒng)對系統(tǒng)參數(shù)的擾動具有較強的魯棒性，跟蹤精度優(yōu)于極限學(xué)習(xí)機算法和最小二乘支持向量機。
圖7 方波信號參數(shù)變化的跟蹤誤差
5 結(jié) 束 語
本文利用一種極限學(xué)習(xí)機算法用于逼近非線性系統(tǒng)的內(nèi)部模型和逆模型，將內(nèi)?？刂坪湍婵刂品椒ㄏ嘟Y(jié)合，提出一種基于改進(jìn)極限學(xué)習(xí)機算法的內(nèi)?？刂葡到y(tǒng)。在該系統(tǒng)中，不需要依賴控制對象太多的先驗知識，只需要知道被控對象的輸入輸出數(shù)據(jù)就可以對非線性系統(tǒng)進(jìn)行控制。通過一個典型的非線性系統(tǒng)進(jìn)行控制仿真，對四種典型信號進(jìn)行跟蹤。在正常情況、系統(tǒng)存在干擾和系統(tǒng)參數(shù)發(fā)生變化3種情況下，基于改進(jìn)極限學(xué)習(xí)機算法的內(nèi)?？刂葡到y(tǒng)具有更高的跟蹤精度，系統(tǒng)的跟蹤性能和魯棒性能明顯優(yōu)于極限學(xué)習(xí)機算法和最小二乘支持向量機算法。因此，基于改進(jìn)極限學(xué)習(xí)機的內(nèi)?？刂剖且环N有效的非線性系統(tǒng)的控制方法。
參 考 文 獻(xiàn)
[1] ECONOMOU C G, MORARI E, PALSSON B O. Internal model control: Extension to nonlinear systems[J]. Industrial & Engineering Chemistry Process Design and Development, 1986, 25(25): 403-411.
[2] ISABELLE R, LEON P. Nonlinear internal model control using neural networks: Application to processes with delay and design issues[J]. IEEE Transactions on Neural Networks, 2000, 11(1): 80-90.
[3] DENG H, XU Z, LI H. A novel neural internal model control for multi-input multi-output nonlinear discrete-time processes[J]. Journal of Process Control, 2009, 19(8): 1392-1400.
[4] LI H, DENG H. An Approximate internal model-based neural control for unknown nonlinear discrete processes[J]. IEEE Transactions on Neural Networks, 2006, 17(3): 659-670.
[5] LIU G, CHEN L, ZHAO Wen-xiang, et al. Internal model control of permanent magnet synchronous motor using support vector machine generalized inverse[J]. IEEE Transactions on Industrial Informatics, 2013, 9(2): 890-898.
[6] WANG Y, YUAN X. SVM approximate-based internal model control strategy[J]. ACTA Automatic Sinica, 2008, 34(2): 172-179.
[7] HUANG G, ZHU Q, SIEW C K. Extreme learning machine: a new learning scheme of feed forward neural networks[C]// IEEE International Joint Conference on Neural Networks. [S.L.]: IEEE, 2004.
[8] HONG J, WANG X. Training extreme learning machine via regularized correntropy criterion[J]. Neural Computing and Applications, 2013, 23(1): 1977-1986.
[9] HUANG G, CHEN L, SIEW C K. Universal approximation using incremental constructive feed forward networks with random hidden nodes[J]. IEEE Transactions on Neural networks, 2006, 17(4): 879-892.
[10] HUANG G, ZHU Q, SIEW C K. Extreme learning machine: Theory and applications[J]. Neurocomputing, 2006, 70(1): 489-501.
[11] HUANG G, WANG D, LAN Y. Extreme learning machine: a survey[J]. International Journal of Machine Learning and Cybernetics, 2011(2): 107-122.
[12] ZOU H, HASTIE T. Regularization and variable selection via the elastic net[J]. Journal of Computational and Graphical Statistics, 2006(15): 265-286.
[13] SHI L, LU L. EEG-based vigilance estimation using extreme learning machines[J]. Neurocomputing, 2013(102): 135-143.
[14] ZHANG W，MAO J. Internal model control for nonlinear system based on fuzzy-free method[J]. Control Theory & Applications, 2013, 30(4): 463-468.
[15] EFRON B, HASTIE T, JOHNSTONE I, et al. Least angle regression[J]. Annals of Statistics, 2004, 32(2): 407-499.
編 輯 葉 芳
作者簡介：唐賢倫(1977 ? )，男，博士，教授，主要從事計算機智能方面的研究.
基金項目：國家自然科學(xué)基金(60905066)
收稿日期：2014 ? 06 ? 17；修回日期：2015 ? 10 ? 02
中圖分類號TP273
文獻(xiàn)標(biāo)志碼A
doi:10.3969/j.issn.1001-0548.2016.01.016
猜你喜歡
極限學(xué)習(xí)機綜述測控技術(shù)(2018年10期)2018-11-25 09:35:26 基于極限學(xué)習(xí)機參數(shù)遷移的域適應(yīng)算法自動化學(xué)報(2018年2期)2018-04-12 05:46:21 基于加權(quán)核范數(shù)與范數(shù)的魯棒主成分分析中國校外教育(下旬)(2017年8期)2017-10-30 17:32:36 矩陣酉不變范數(shù)H?lder不等式及其應(yīng)用數(shù)學(xué)物理學(xué)報(2017年3期)2017-07-01 16:18:48 分層極限學(xué)習(xí)機在滾動軸承故障診斷中的應(yīng)用制造技術(shù)與機床(2017年4期)2017-06-22 11:17:32 基于內(nèi)?？刂频腟SSC前饋解耦控制策略研究四川電力技術(shù)(2015年5期)2015-12-19 11:04:52 基于三自由度內(nèi)模解耦控制的VSC-MTDC性能分析電測與儀表(2015年16期)2015-04-12 00:44:32 電測與儀表(2015年20期)2015-04-09 11:53:56 高頻開關(guān)電源模糊內(nèi)模PID控制器設(shè)計電測與儀表(2015年21期)2015-04-09 11:52:12 一類具有準(zhǔn)齊次核的Hilbert型奇異重積分算子的范數(shù)及應(yīng)用數(shù)學(xué)年刊A輯(中文版)(2014年1期)2014-10-30 01:48:06
唐賢倫，周家林，張 娜，劉 慶(重慶郵電大學(xué)工業(yè)物聯(lián)網(wǎng)與網(wǎng)絡(luò)化控制教育部重點實驗室 重慶 南岸區(qū) 400065)
?
基于極限學(xué)習(xí)機的非線性內(nèi)?？刂?/p>
唐賢倫，周家林，張 娜，劉 慶
(重慶郵電大學(xué)工業(yè)物聯(lián)網(wǎng)與網(wǎng)絡(luò)化控制教育部重點實驗室 重慶 南岸區(qū) 400065)
【摘要】針對非線性的內(nèi)?？刂频哪婺ｋy以求解的問題，該文提出一種基于改進(jìn)極限學(xué)習(xí)機(MELM)的非線性內(nèi)?？刂品椒?。在基本的極限學(xué)習(xí)機模型中加入L1和L2范數(shù)罰函數(shù)，然后將改進(jìn)極限學(xué)習(xí)機算法用于建立非線性系統(tǒng)的內(nèi)模型和逆模型。仿真實驗中，選取4種典型信號進(jìn)行跟蹤，并檢驗了系統(tǒng)的抗干擾能力和系統(tǒng)參數(shù)發(fā)生變化時的魯棒性，通過將MELM和最小二乘支持向量機(SVM)以及極限學(xué)習(xí)機算法進(jìn)行對比，表明基于MELM的內(nèi)?？刂品椒▽Ψ蔷€性系統(tǒng)具有更好的控制性能、較強的抗干擾能力和魯棒性能。
關(guān) 鍵 詞極限學(xué)習(xí)機; 內(nèi)模控制; L1范數(shù)罰函數(shù); L2范數(shù)罰函數(shù)
Nonlinear Internal Model Control System Based on Weighted Regularized Extreme Learning Machine
TANG Xian-lun, ZHOU Jia-lin, ZHANG Na, and LIU Qing
(Key Laboratory of Industrial Wireless Network and Networked Control of the Ministry of Education, Chongqing University of Posts and Telecommunications Nan’an Chongqing 400065)
Abstract A nonlinear internal model control system based on the modified extreme learning machine algorithm is proposed. L1norm penalty and L2norm penalty are used to modify the model of ordinary extreme learning machine, then the modified extreme learning machine (MELM) is employed to establish the internal model and inverse model of nonlinear systems. In the simulation experiment, four typical signals are selected for tracking, and then the system’s anti-interference ability and the robustness when the system parameters change are verified. The results show that, compared with least-squared support vector machine and extreme learning machine algorithm, the proposed internal model control has better control performance, anti-interference ability and robustness for nonlinear system.
Key words exteme learning machine; internal model control; L1norm penalty ; L2norm penalty
內(nèi)?？刂剖怯晌墨I(xiàn)[1]提出的一種性能優(yōu)越的控制方法，它具有設(shè)計簡單、調(diào)節(jié)性能好、魯棒性強以及消除不可測干擾的影響等優(yōu)點[2-3]。由于實際系統(tǒng)大多是非線性的，需要設(shè)計非線性的內(nèi)模控制方法，目前應(yīng)用最廣泛的是神經(jīng)網(wǎng)絡(luò)和支持向量機兩種方法?；谏窠?jīng)網(wǎng)絡(luò)[2,4]的內(nèi)模控制系統(tǒng)，利用輸入輸出數(shù)據(jù)可以獲得未知非線性系統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型，但是神經(jīng)網(wǎng)絡(luò)的訓(xùn)練一般采用梯度算法，收斂慢且容易陷入局部最小，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)難以選擇?；诮Y(jié)構(gòu)風(fēng)險最小化的支持向量機[5-6]，在一定程度上克服了傳統(tǒng)非線性建模的近似線性，能有效克服局部極小點、過學(xué)習(xí)等缺陷，但是對大規(guī)模訓(xùn)練樣本難以實施，訓(xùn)練速度也較慢。ELM[7-8]是一種網(wǎng)絡(luò)結(jié)構(gòu)簡單、學(xué)習(xí)速度快的前饋神經(jīng)網(wǎng)絡(luò)。利用Moore-Penrose廣義逆求解網(wǎng)絡(luò)輸出層權(quán)重，可獲得較小的權(quán)重范數(shù)和泛化性能。但是基本的極限學(xué)習(xí)機卻存在模型參數(shù)不穩(wěn)定的缺點，輸入權(quán)值和閾值的隨機設(shè)定容易造成過擬合或訓(xùn)練不充分的問題。
本文將L1和L2范數(shù)罰函數(shù)引入極限學(xué)習(xí)機模型，并提出MELM算法。將這種改進(jìn)的極限學(xué)習(xí)機用于構(gòu)造內(nèi)?？刂葡到y(tǒng)，并用于典型的非線性系統(tǒng)中。通過與極限學(xué)習(xí)機和最小二乘支持向量機兩種方法的對比，分析基于改進(jìn)極限學(xué)習(xí)機的內(nèi)?？刂葡到y(tǒng)在控制性能、抗干擾能力和魯棒性能方面的優(yōu)勢。
1 極限學(xué)習(xí)機的算法描述
1.1 極限學(xué)習(xí)機的基本原理
ELM是由文獻(xiàn)[9]提出的一種新型單隱含層前饋神經(jīng)網(wǎng)絡(luò)，由于其具有全局逼近能力，參數(shù)學(xué)習(xí)不需迭代以及速度明顯快于現(xiàn)有的神經(jīng)網(wǎng)絡(luò)和支持向量機等特點，其改進(jìn)算法和實際應(yīng)用引起了廣泛的關(guān)注[10]。極限學(xué)習(xí)機的模型可以描述為：
式中，y為輸出；x為輸入向量；wi為連接輸入節(jié)點和隱層節(jié)點的輸入權(quán)值；bi為隱含層偏置；βi為連接隱含層與輸出層的輸出權(quán)值；g為隱含層的激活函數(shù)；L為隱層節(jié)點數(shù)。每一個隱層節(jié)點的激活函數(shù)模型為：
若采用RBF形式的隱層節(jié)點，那么激活函數(shù)模型可描述為：
ELM中除了βi其他參數(shù)都是隨機產(chǎn)生的。對于給定的N個樣本代入式(1)有：
式中，H表示隱層節(jié)點的輸出矩陣；Y表示極限學(xué)習(xí)機的輸出矩陣。且有：
ELM的最小二乘模型可以描述為：
故極限學(xué)習(xí)機的訓(xùn)練過程等價于式(7)的最小二乘解：
1.2 正則極限學(xué)習(xí)機
極限學(xué)習(xí)機具有強大的回歸性能，能夠獲得全局最優(yōu)解，且模型訓(xùn)練時間很短。然而在ELM求解的過程中，存在由于特征矩陣奇異化造成模型參數(shù)不穩(wěn)定的問題。因此，為了增強ELM的穩(wěn)定性，可以在ELM中加入L2范數(shù)的罰函數(shù)，構(gòu)成正則極限學(xué)習(xí)機[11]。其模型為：
式中，2λ表示正則化參數(shù)。輸出權(quán)值為：
式中，I為單位矩陣。
正則極限學(xué)習(xí)機本質(zhì)上是一種結(jié)構(gòu)風(fēng)險最小化模型，能夠較好的權(quán)衡經(jīng)驗風(fēng)險和結(jié)構(gòu)風(fēng)險，因而相比基本的極限學(xué)習(xí)機，具有更好的泛化性能。
2 改進(jìn)的極限學(xué)習(xí)機
基本的ELM算法的隱層節(jié)點數(shù)、輸入權(quán)值和閾值都是隨機生成的，這樣使得矩陣H中產(chǎn)生冗余特征和無關(guān)特征。隱層節(jié)點數(shù)設(shè)置過多，容易造成過擬合，設(shè)置過少，又會使得ELM的訓(xùn)練不充分。這些問題都使得ELM對數(shù)據(jù)的回歸效果欠佳。本文MELM算法在正則極限學(xué)習(xí)機的模型中加入L1范數(shù)的罰函數(shù)，形式為：
式(11)稱為na?ve elastic net模型[12]。在特征矩陣的初始化過程中，先隨機生成充分多的隱藏節(jié)點，并利用L1范數(shù)的罰函數(shù)對重要的隱藏節(jié)點進(jìn)行篩選。同時，利用L2范數(shù)的罰函數(shù)解決特征矩陣的奇異化問題。該模型使得選出的隱藏節(jié)點的信息量相對充分且干擾小，相當(dāng)于從多次隨機初始化的含有較少的隱藏節(jié)點的特征矩陣中選出了一個最優(yōu)特征矩陣，因而使ELM算法的性能得到提高。
式(11)的模型可以改寫成：
它是一個典型的Lasso模型，其中：
式(11)等價于式(12)求得參數(shù)β的稀疏解，從而實現(xiàn)了隱藏節(jié)點的篩選功能。式(12)的解可以采用最小角回歸(LARS)算法[15]求得，且解為：
na?ve elastic net模型通過引入兩個罰函數(shù)，減少了模型的方差，但同時對回歸系數(shù)造成了過多收縮，引入過多的偏倚。為了修正偏倚，需要對回歸系數(shù)進(jìn)行調(diào)整，即將na?ve elastic net模型修正為elastic net模型[13]：
elastic net模型中的非零參數(shù)βi對應(yīng)的隱藏節(jié)點就是關(guān)鍵節(jié)點。
3 基于極限學(xué)習(xí)機的內(nèi)?？刂?/h2>
3.1 內(nèi)模控制的系統(tǒng)結(jié)構(gòu)
在本文采用的內(nèi)?？刂圃O(shè)計方案中需要建立兩個極限學(xué)習(xí)機模型，一個用于構(gòu)造內(nèi)部模型，另一個用來構(gòu)造逆模型?；诟倪M(jìn)極限學(xué)習(xí)機的內(nèi)部模型如圖1所示，圖中GP表示被控對象，GM為改進(jìn)極限學(xué)習(xí)機的內(nèi)部模型，GIMC是改進(jìn)極限學(xué)習(xí)機的內(nèi)?？刂破?，d為干擾，1F是濾波器，yr是系統(tǒng)的輸入，yk是系統(tǒng)的輸出。
圖1 改進(jìn)極限學(xué)習(xí)機內(nèi)?？刂瓶驁D
內(nèi)?？刂葡到y(tǒng)的輸出為：
3.2 極限學(xué)習(xí)機建立的內(nèi)部模型
假如有如下單輸入單輸出非線性系統(tǒng)模型：
式中，y為系統(tǒng)輸出；u為系統(tǒng)輸入；n為系統(tǒng)階次；m為輸入延遲；f為一非線性函數(shù)。設(shè)：
3.3 極限學(xué)習(xí)機建立的逆模型
極限學(xué)習(xí)機建立起的被控對象的逆模型被用作內(nèi)?？刂破鳎⑶乙紤]到過程的可逆性問題。式(15)所描述的非線性系統(tǒng)，如果存在一個集合的子集A，當(dāng)時，對于任意兩個不同輸入u1( k )和都有：
假設(shè)系統(tǒng)是可逆的，則用極限學(xué)習(xí)機方法建立的內(nèi)部模型的逆模型就是所設(shè)計的控制器，即：
對于非線性控制，過程的逆模型往往很難得到，由于過程是可逆的，因此模型一定存在。本文采用極限學(xué)習(xí)機方法估計過程的逆模型。設(shè)：
3.4 極限學(xué)習(xí)機模型參數(shù)的作用及設(shè)置方法
內(nèi)?？刂葡到y(tǒng)中，兩個基于改進(jìn)極限學(xué)習(xí)機的模型(即內(nèi)部模型和外部模型)均是回歸模型。改進(jìn)的極限學(xué)習(xí)機模型，在訓(xùn)練前有兩個參數(shù)需要提前設(shè)定，分別是懲罰系數(shù)1λ和2λ。系數(shù)1λ的作用是通過控制所選擇的隱藏層節(jié)點的數(shù)目，實現(xiàn)特征的自動選擇；系數(shù)2λ的作用是防止系統(tǒng)過擬合，提升系統(tǒng)模型的泛化能力。參數(shù)1λ和2λ通過交叉驗證法確定。
4 內(nèi)模控制器仿真分析
4.1 信號跟蹤研究
采用如下的非線性系統(tǒng)：
容易證得該系統(tǒng)是單調(diào)的，故而該系統(tǒng)可逆。辨識信號采用幅值為2的隨機信號，得到200組非線性系統(tǒng)的輸入輸出數(shù)據(jù)對。用極限學(xué)習(xí)機離線辨識該非線性系統(tǒng)的內(nèi)部模型和逆模型。
將訓(xùn)練好的改進(jìn)極限學(xué)習(xí)機的內(nèi)部模型和逆模型與原系統(tǒng)復(fù)合構(gòu)成內(nèi)?？刂葡到y(tǒng)，對復(fù)合系統(tǒng)的輸入段分別施加各典型信號，檢驗其跟蹤效果。
圖2 正弦波信號跟蹤結(jié)果
圖3 方波信號跟蹤結(jié)果
從圖2和圖3可以看出，改進(jìn)極限學(xué)習(xí)機對給定輸入信號的跟蹤精度高，響應(yīng)速度快，動態(tài)性能好。表1表明改進(jìn)極限學(xué)習(xí)機的跟蹤誤差小于最小二乘支持向量機和基本的極限學(xué)習(xí)機，穩(wěn)態(tài)性能更優(yōu)。MELM的響應(yīng)時間慢于ELM，略小于LS-SVM，但總的來說響應(yīng)時間較快。
表1 典型信號跟蹤誤差(響應(yīng)時間)
4.2 控制系統(tǒng)對外部不確定干擾的抑制能力
非線性系統(tǒng)不可避免的存在測量噪聲和外部干擾，為了檢驗內(nèi)?？刂频目垢蓴_特性，對輸入信號施加干擾。假設(shè)在0.8s(k=80)時施加幅值為0.2的階躍擾動，在1.3s(k=130)時施加幅值為?0.2的階躍擾動，即：
依然采用4種典型信號作為輸入信號。本文實驗選取均方根誤差(RMSE)和系統(tǒng)響應(yīng)時間作為衡量指標(biāo)，其多次試驗結(jié)果如表2所示。跟蹤結(jié)果選取兩種如圖4和圖5所示。
表2 典型信號抗干擾均方根誤差(響應(yīng)時間)
圖4 正弦波信號抗擾跟蹤結(jié)果
圖5 方波信號抗擾跟蹤結(jié)果
從圖4和圖5可以看出，在0.8 s(k=80) 和1.3 s(k=130)時，系統(tǒng)輸出的誤差增大。從表2可以看出，所提出的基于改進(jìn)極限學(xué)習(xí)機的內(nèi)?？刂葡到y(tǒng)，在有干擾信號情況下的均方根誤差是最小的，LS-SVM其次，而ELM最大。但是在響應(yīng)時間上，ELM最短，MELM其次，LS-SVM最長。表明改進(jìn)極限學(xué)習(xí)機的內(nèi)模控制系統(tǒng)有良好的魯棒性，系統(tǒng)響應(yīng)較快，對測量噪聲和外部干擾等擾動有較強的抑制作用，使得控制系統(tǒng)能夠較好地跟蹤輸入信號。
4.3 非線性系統(tǒng)參數(shù)發(fā)生變化時的魯棒性
為研究非線性系統(tǒng)的參數(shù)發(fā)生變化時，內(nèi)模控制器的魯棒性，假設(shè)時，原系統(tǒng)的參數(shù)發(fā)生變化，原系統(tǒng)變?yōu)椋?/p>
選取4種信號中跟蹤難度最大的方波信號作為系統(tǒng)的輸入信號，其跟蹤結(jié)果和跟蹤誤差如圖6和圖7所示。
圖6 方波信號參數(shù)變化的跟蹤結(jié)果
從圖6和圖7可以看出，基于MELM的內(nèi)?？刂葡到y(tǒng)對系統(tǒng)參數(shù)的擾動具有較強的魯棒性，跟蹤精度優(yōu)于極限學(xué)習(xí)機算法和最小二乘支持向量機。
圖7 方波信號參數(shù)變化的跟蹤誤差
5 結(jié) 束 語
本文利用一種極限學(xué)習(xí)機算法用于逼近非線性系統(tǒng)的內(nèi)部模型和逆模型，將內(nèi)?？刂坪湍婵刂品椒ㄏ嘟Y(jié)合，提出一種基于改進(jìn)極限學(xué)習(xí)機算法的內(nèi)?？刂葡到y(tǒng)。在該系統(tǒng)中，不需要依賴控制對象太多的先驗知識，只需要知道被控對象的輸入輸出數(shù)據(jù)就可以對非線性系統(tǒng)進(jìn)行控制。通過一個典型的非線性系統(tǒng)進(jìn)行控制仿真，對四種典型信號進(jìn)行跟蹤。在正常情況、系統(tǒng)存在干擾和系統(tǒng)參數(shù)發(fā)生變化3種情況下，基于改進(jìn)極限學(xué)習(xí)機算法的內(nèi)?？刂葡到y(tǒng)具有更高的跟蹤精度，系統(tǒng)的跟蹤性能和魯棒性能明顯優(yōu)于極限學(xué)習(xí)機算法和最小二乘支持向量機算法。因此，基于改進(jìn)極限學(xué)習(xí)機的內(nèi)?？刂剖且环N有效的非線性系統(tǒng)的控制方法。
參 考 文 獻(xiàn)
[1] ECONOMOU C G, MORARI E, PALSSON B O. Internal model control: Extension to nonlinear systems[J]. Industrial & Engineering Chemistry Process Design and Development, 1986, 25(25): 403-411.
[2] ISABELLE R, LEON P. Nonlinear internal model control using neural networks: Application to processes with delay and design issues[J]. IEEE Transactions on Neural Networks, 2000, 11(1): 80-90.
[3] DENG H, XU Z, LI H. A novel neural internal model control for multi-input multi-output nonlinear discrete-time processes[J]. Journal of Process Control, 2009, 19(8): 1392-1400.
[4] LI H, DENG H. An Approximate internal model-based neural control for unknown nonlinear discrete processes[J]. IEEE Transactions on Neural Networks, 2006, 17(3): 659-670.
[5] LIU G, CHEN L, ZHAO Wen-xiang, et al. Internal model control of permanent magnet synchronous motor using support vector machine generalized inverse[J]. IEEE Transactions on Industrial Informatics, 2013, 9(2): 890-898.
[6] WANG Y, YUAN X. SVM approximate-based internal model control strategy[J]. ACTA Automatic Sinica, 2008, 34(2): 172-179.
[7] HUANG G, ZHU Q, SIEW C K. Extreme learning machine: a new learning scheme of feed forward neural networks[C]// IEEE International Joint Conference on Neural Networks. [S.L.]: IEEE, 2004.
[8] HONG J, WANG X. Training extreme learning machine via regularized correntropy criterion[J]. Neural Computing and Applications, 2013, 23(1): 1977-1986.
[9] HUANG G, CHEN L, SIEW C K. Universal approximation using incremental constructive feed forward networks with random hidden nodes[J]. IEEE Transactions on Neural networks, 2006, 17(4): 879-892.
[10] HUANG G, ZHU Q, SIEW C K. Extreme learning machine: Theory and applications[J]. Neurocomputing, 2006, 70(1): 489-501.
[11] HUANG G, WANG D, LAN Y. Extreme learning machine: a survey[J]. International Journal of Machine Learning and Cybernetics, 2011(2): 107-122.
[12] ZOU H, HASTIE T. Regularization and variable selection via the elastic net[J]. Journal of Computational and Graphical Statistics, 2006(15): 265-286.
[13] SHI L, LU L. EEG-based vigilance estimation using extreme learning machines[J]. Neurocomputing, 2013(102): 135-143.
[14] ZHANG W，MAO J. Internal model control for nonlinear system based on fuzzy-free method[J]. Control Theory & Applications, 2013, 30(4): 463-468.
[15] EFRON B, HASTIE T, JOHNSTONE I, et al. Least angle regression[J]. Annals of Statistics, 2004, 32(2): 407-499.
編 輯 葉 芳
作者簡介：唐賢倫(1977 ? )，男，博士，教授，主要從事計算機智能方面的研究.
基金項目：國家自然科學(xué)基金(60905066)
收稿日期：2014 ? 06 ? 17；修回日期：2015 ? 10 ? 02
中圖分類號TP273
文獻(xiàn)標(biāo)志碼A
doi:10.3969/j.issn.1001-0548.2016.01.016
猜你喜歡
測控技術(shù)(2018年10期)2018-11-25 09:35:26
自動化學(xué)報(2018年2期)2018-04-12 05:46:21
中國校外教育(下旬)(2017年8期)2017-10-30 17:32:36
數(shù)學(xué)物理學(xué)報(2017年3期)2017-07-01 16:18:48
制造技術(shù)與機床(2017年4期)2017-06-22 11:17:32
四川電力技術(shù)(2015年5期)2015-12-19 11:04:52
電測與儀表(2015年16期)2015-04-12 00:44:32
電測與儀表(2015年21期)2015-04-09 11:52:12
數(shù)學(xué)年刊A輯(中文版)(2014年1期)2014-10-30 01:48:06
