基于時變神經(jīng)網(wǎng)絡的迭代學習辨識算法

戴　蓉，黃　成

(1.中國民用航空飛行學院 計算機學院,四川 廣漢 618307; 2.四川工程職業(yè)技術學院,四川 德陽 618000)

?

基于時變神經(jīng)網(wǎng)絡的迭代學習辨識算法

戴蓉1，黃成2

(1.中國民用航空飛行學院 計算機學院,四川 廣漢 618307; 2.四川工程職業(yè)技術學院,四川 德陽 618000)

摘要：為了實現(xiàn)在有限時間區(qū)間上可重復運行的離散時變非線性系統(tǒng)辨識，給出基于時變神經(jīng)網(wǎng)絡的迭代學習辨識算法。對于每一個固定時刻，以該時刻的神經(jīng)網(wǎng)絡逼近該時刻系統(tǒng)輸入輸出間的映射關系,提出了在同一時刻沿迭代軸訓練網(wǎng)絡權(quán)值的帶死區(qū)迭代學習最小二乘算法，為防止收斂速度下降過快，進一步提出了協(xié)方差陣可重調(diào)的改進算法。所提算法有較快的收斂速度，且時變神經(jīng)網(wǎng)絡對非線性時變系統(tǒng)的辨識精度也較高。

關鍵詞：系統(tǒng)辨識；非線性時變系統(tǒng)；時變神經(jīng)網(wǎng)絡；迭代學習；最小二乘

0引言

由于線性系統(tǒng)的特性關于參數(shù)是線性的，人們可以推廣已有線性系統(tǒng)辨識方法，給出可線性參數(shù)化的非線性動態(tài)系統(tǒng)的參數(shù)估計。這些參數(shù)估計算法往往只適合辨識定常或慢時變參數(shù)系統(tǒng)。已提出的針對時變參數(shù)系統(tǒng)的辨識方法如帶遺忘因子的最小二乘法[1]、卡爾曼濾波法[2]等，通常是沿時間軸對時變參數(shù)進行跟蹤，估計誤差能沿時間軸實現(xiàn)有界收斂。

迭代學習辨識方法適于解決在有限時間區(qū)間上可重復運行的動態(tài)系統(tǒng)的時變參數(shù)估計問題。在一定條件下，該方法可對系統(tǒng)實現(xiàn)完全辨識任務，使整個有限時間區(qū)間上的估計誤差沿迭代軸收斂到零。文獻[3]針對一類含有未知時變參數(shù)的離散時變系統(tǒng)，給出了迭代學習投影和迭代學習最小二乘2種算法。通過在同一時刻沿迭代軸估計系統(tǒng)的未知時變參數(shù)，此類辨識方法可使整個有限時間區(qū)間上的估計誤差沿迭代軸逐點收斂到零。對于系統(tǒng)存在未建模動態(tài)或存在外界擾動時的情形，需要進一步研究。

已證明神經(jīng)網(wǎng)絡對非線性連續(xù)函數(shù)具有良好的逼近能力[4-6]。近年來，以神經(jīng)網(wǎng)絡辨識非線性定常系統(tǒng)方面的研究成果很多[7-10]。 已有文獻中神經(jīng)網(wǎng)絡的權(quán)值大多是沿時間軸進行訓練，訓練完后網(wǎng)絡的輸入與輸出之間的映射關系是固定不變的，而時變系統(tǒng)的輸入輸出之間的映射關系會隨時間不斷變化，這要求神經(jīng)網(wǎng)絡的輸入輸出之間的映射關系也能隨時間變化。 文獻[11]將權(quán)值當作系統(tǒng)的未知時變參數(shù)，利用卡爾曼濾波算法對其進行估計，取得了較好的辨識效果。但該算法仍舊是沿時間軸估計權(quán)值，估計誤差能沿時間軸實現(xiàn)漸近收斂。本文所要研究的問題是如何在一有限時間區(qū)間上利用神經(jīng)網(wǎng)絡完全辨識非線性時變系統(tǒng)。

本文針對在有限時間區(qū)間上重復運行的非線性離散時變系統(tǒng)， 提出基于時變神經(jīng)網(wǎng)絡辨識的迭代學習辨識算法。其主要方法是：對于每一個固定時刻，以該時刻的神經(jīng)網(wǎng)絡逼近該時刻系統(tǒng)輸入輸出間的映射關系。本文提出在同一時刻沿迭代軸訓練網(wǎng)絡權(quán)值的帶死區(qū)迭代學習最小二乘算法。考慮算法收斂性能，本文進一步提出一種協(xié)方差陣可重調(diào)的改進算法。理論分析表明，所提算法可以保證整個有限時間區(qū)間上的估計誤差沿迭代軸逐點收斂到原點的鄰域內(nèi)，鄰域半徑取決于神經(jīng)網(wǎng)絡的建模精度。仿真結(jié)果進一步驗證了所提算法的有效性。

1時變神經(jīng)網(wǎng)絡

神經(jīng)網(wǎng)絡能以任意精度逼近緊集上的任意非線性連續(xù)函數(shù)，常用于非線性復雜系統(tǒng)的建模與控制。

本文考慮一類時變神經(jīng)網(wǎng)絡。與傳統(tǒng)的含定常權(quán)值的神經(jīng)網(wǎng)絡不同，該類網(wǎng)絡的輸入、輸出與權(quán)值均可隨時間變化。一類多輸入單輸出的時變神經(jīng)網(wǎng)絡可表示為

(1)

(1)式中：x(t)=[x1(t),x2(t),…,xn(t)]T∈Rn為網(wǎng)絡輸入向量；y(t)為網(wǎng)絡輸出標量；W(t)=[w1(t),…,wl(t)]T為可調(diào)的時變權(quán)值向量；φ(x(t))=[φ1(x(t)),φ2(x(t)),…,φl(x(t))]T為激勵函數(shù)向量組，l為神經(jīng)元節(jié)點數(shù)。

激勵函數(shù)φ(·)的選擇很多，如階躍函數(shù)，Logistic函數(shù)，高斯函數(shù)等。以高階神經(jīng)網(wǎng)絡為例，激勵函數(shù)可選為

(2)

(3)

假設對于有界的xj(t)可得有界的φ(xj(t))，事實上很多激勵函數(shù)均滿足此條件。因此，對于有界的x(t)，有

(4)

非線性時變系統(tǒng)廣泛存在于實際系統(tǒng)中，本文以上述時變神經(jīng)網(wǎng)絡逼近未知時變映射f(x(t),t)，從而達到辨識目的。事實上，對于每一個特定的時刻t=t*∈[0,T],f(x(t),t)是關于x的非線性函數(shù)。因此，對于每一確定的時刻t，時變神經(jīng)網(wǎng)絡就退化為傳統(tǒng)的神經(jīng)網(wǎng)絡。

2非線性離散時變系統(tǒng)辨識

考慮下述可重復運行的SISO非線性離散時變系統(tǒng)

(5)

(5)式中：n>0,m>0;f(·)為未知的光滑非線性時變函數(shù)；t∈{0,1,…,T}為一有限的時間區(qū)間；k∈{0,1,… }為迭代次數(shù)。

記

則系統(tǒng)(5)可重寫為

(6)

設系統(tǒng)(6)的時變神經(jīng)網(wǎng)絡模型為

(7)

(8)

(9)

定義估計誤差ek(t+1)為

(10)

我們的辨識目標是尋找時變權(quán)值W(t)的估計值Wk(t)，t∈{n-1,n,…,T-1}，使得當?shù)螖?shù)k足夠大時，整個辨識區(qū)間t∈{n,…,T}上的估計誤差ek(t)能盡可能小。

系統(tǒng)初值{yk(0),yk(1),…,yk(n-1)}是由初始條件確定，這里僅考慮有限辨識區(qū)間t∈{n,…,T}上的估計誤差。

2.1帶死區(qū)迭代學習最小二乘算法

為克服神經(jīng)網(wǎng)絡建模誤差項的影響，依據(jù)文獻[12]中的帶死區(qū)最小二乘算法，在設計權(quán)值更新律時，給出一種帶死區(qū)的迭代學習最小二乘算法。本算法中的神經(jīng)網(wǎng)絡權(quán)值是在同一時刻沿迭代軸進行訓練。該迭代算法為

(11)

(12)

(11)—(12)式中：初值W0(t)，t∈{n-1,n,…,T-1}給定有界；協(xié)方差陣P0(t)，t∈{n-1,n,…,T-1}取成對陣正定陣；ak(t)為

ak(t)=

(13)

迭代學習算法(11)—(13)中，權(quán)值是沿迭代軸k而非時間軸t進行估計。根據(jù)(11)式，當計算Wk+1(t)時，需要計算ek(t+1)，沿時間軸t看ek(t+1)是非因果的，而沿迭代軸k看它是可計算的。

2.2收斂性分析

對迭代學習算法(11)—(13)進行收斂性分析。

定理1對于系統(tǒng)(6)，學習算法(11)—(13)具有以下性質(zhì)。

證明根據(jù)(8)—(10)式可得

(14)

在(11)式兩邊減去W(t)可得

(15)

將(14)式代入(15)式可得

(16)

(17)

將(17)式代入(16)式整理得

另外，根據(jù)矩陣求逆引理[12]易得

(18)

Vk+1(t)-Vk(t)=

(19)

將(15)式、(18)式代入(19)式并整理得

Vk+1(t)-Vk(t)=

(20)

將

代入(20)式可得

(21)

(22)

下面根據(jù)(13)式分2種情況討論:

根據(jù)式(21)可得

(23)

由(18)式可知，Pk(t)為一對稱正定矩陣，又bk(t)>0，所以有

因此

(24)

又0

在上式兩邊對k進行累加得

因為V0(t)有界，bk(t)>0，所以

(25)

根據(jù)(12)式可得

(26)

(27)

記ck(t)=bk(t)φT(xk(t))Pk(t)φ(xk(t))，根據(jù)bk(t)的定義有

(28)

根據(jù)(25)式可得

(29)

又xk(t)∈S有界，根據(jù)(4)式可知(29)式的分母項有界，結(jié)合(28)式有

(30)

綜合以上2種情況可得

(31)

(32)

因此Vk(t)是非負的不增序列。

由(18)式可得

(33)

結(jié)合(32)式可得

(34)

即有

(35)

(36)

又根據(jù)(31)式直接可得

(37)

這就保證了估計誤差的一致有界收斂性，性質(zhì)(ii)得證。

3協(xié)方差陣可重調(diào)的改進算法

我們發(fā)現(xiàn)，隨著迭代次數(shù)的增加，(12)式中的協(xié)方差陣Pk(t)會變得很小，算法的收斂速度會急劇下降。為使算法始終保持較快的收斂速度，將(12)式中Pk(t)的更新律做如下改進[12]，即當Pk(t)的跡小于某個設定的值時應對其重調(diào)。設{Ks}={k1,k2,…}為重調(diào)Pk(t)的迭代序列。

當k?{Ks}時，就按(12)式的更新律來校正Pk(t)，即

(38)

當k=ki∈{Ks}時，Pki+1(t)應重調(diào)如下

(39)

定理2對于系統(tǒng)(6)，以上改進算法(11)，(13)，(38)，(39)具有以下性質(zhì)

證明對于k=0,1,…,k1，定義

(40)

Vk+1(t)-Vk(t)=ak(t)

Vk+1(t)

(41)

(42)

k=0,1,…,k1

(43)

又根據(jù)(32)式可得

(44)

又因為

(45)

將(44)式，(45)式代入(43)式可得

(46)

同理，當k1

(47)

(48)

依次類推，對所有的k，有以下不等式成立

(49)

(50)

性質(zhì)(II)得證。

因此，與第3部分中的帶死區(qū)迭代學習最小二乘算法一樣，該協(xié)方差重調(diào)算法仍能保證時變權(quán)值估值的有界性和估計誤差的一致有界收斂性。

4數(shù)值仿真

例1考慮如下可重復運行的非線性離散時變系統(tǒng)[10]

其中，t=0,1,…,100，初值yk(0)=0.1rand。

測試階段：當k=26時，在一個非訓練的測試序列[10]

uk(t)=0.15sin(2tπ/250)+

0.22sin(2tπ/35)+0.2

激勵下，得到的均方根誤差為4.08×10-5，圖3給出了網(wǎng)絡辨識結(jié)果。

圖1　估計誤差的收斂過程Fig.1　Convergence process of estimation error

圖(t)的收斂過程Fig.2　Convergence process of(t)

圖3　k=26時測試序列輸入下的辨識效果Fig.3　Identification results of test sequence input withk=26

例2考慮如下可重復運行的時變NARMAX模型[11]

其中，t=0,1,…,100，初值yk(0)=0.1rand。

圖4　估計誤差的收斂過程Fig.4　Convergence process of estimation error

圖5　k=25時神經(jīng)網(wǎng)絡獲得的權(quán)值Fig.5　Neural networks to get the weight with k=25

測試階段：當k=139時，在與例1相同的非訓練測試序列uk(t)激勵下，得到均方根誤差為1.74×10-4，圖6給出了網(wǎng)絡辨識結(jié)果。

圖6　k=139時測試序列輸入下的辨識效果Fig.6　Identification results of test sequenceinput with k=139

通過以上2個算例對本文所提方法進行了驗證。數(shù)值結(jié)果表明，本文所提的學習算法具有較快的收斂速度，且時變神經(jīng)網(wǎng)絡對非線性時變系統(tǒng)的辨識精度也較高。

5結(jié)論

本文通過構(gòu)造時變神經(jīng)網(wǎng)絡模型，給出在同一時刻沿迭代軸訓練網(wǎng)絡權(quán)值的帶死區(qū)迭代學習最小二乘算法及協(xié)方差陣可重調(diào)的改進算法，討論了一類非線性離散時變系統(tǒng)有限時間區(qū)間上的完全辨識問題。理論分析與仿真結(jié)果均表明，所述算法能保證整個有限時間區(qū)間上的估計誤差順著迭代軸逐步收斂到原點的鄰域空間中，建模精度則直接影響著該鄰域半徑的大小。本文所提的學習算法具有較快的收斂速度，且時變神經(jīng)網(wǎng)絡對非線性時變系統(tǒng)的辨識精度也較高。

參考文獻：

[1]DING F, CHEN T. Performance bounds of forgetting factor least-squares algorithms for time-varying systems with finite measurement data [J]. Circuits and Systems, 2012, 52(3): 555-566.

[2]李書進, 李文華. 基于自適應卡爾曼濾波的時變結(jié)構(gòu)參數(shù)估計[J].自動化學報, 2011, 29(2): 146-149.

LI Shujin, LI Wenhua. Adaptive Calman filter based on the parameter estimation of time-varying structures[J]. Acta Automatica Sinica, 2011, 29 (2): 146-149.

[3]SUN M,HE X.Iterative learning identification and control of discrete time-varying systems[J].Proceedings of the 26th Chinese Control Conference,2013,3(7):520-524.

[4]徐鳳霞, 朱全民, 趙東亞, 等. 基于 U 模型的非線性控制系統(tǒng)設計方法十年發(fā)展綜述[J]. 控制與決策, 2013, 28(7): 961-971.

XU Fengxia, ZHU Quanmin, ZHAO Dongya, et al. Nonlinear U model of the control system design method based on ten years of the development review[J]. Control and Decision, 2013, 28 (7): 961-971.

[5]吳龍庭, 曹順安, 胡家元, 等. 時滯系統(tǒng)的 LM-Smith 神經(jīng)網(wǎng)絡控制器[J]. 計算機應用研究, 2014, 31(4): 1042-1044.WU Longting,CAO Shunan,HU Jiayuan,et al.A LM-Smith neural network controller for time delay system[J].Application Research of Computer,2014,31 (4):1042-1044.

[6]嚴偉力, 孫明軒. 基于時變神經(jīng)網(wǎng)絡的非線性時變系統(tǒng)建模[J]. 小型微型計算機系統(tǒng), 2011, 32(6): 1228-1231.

YAN Weili, SUN Mingxuan. Nonlinear time-varying neural networks with time-varying system modeling [J]. Mini micro Systems, 2011, 32 (6): 1228-1231.

[7]ZHAO H, ZHANG J. Nonlinear dynamic system identification using pipelined functional link artificial recurrent neural network[J]. Neurocomputing, 2012, 72(13): 3046-3054.

[8]SCH?N T B, WILLS A, NINNESS B. System identification of nonlinear state-space models [J].Automatica, 2013, 47(1): 39-49.

[9]曹偉,叢望,李金,等.基于迭代學習的離散線性時變系統(tǒng)故障診斷[J].控制與決策,2013,28(1):137-140.

CAO Wei, CONG Wang, LI Jin, et al. The discrete linear iterative learning system based on the fault diagnosis of [J]. Control and Decision, 2013, 28 (1): 137-140.

[10] ZHANG D, ADELMAN D. An approximate dynamic programming approach to network revenue management with customer choice [J]. Transportation Science, 2014, 43(3): 381-394.

[11] 徐小平, 錢富才, 王峰. 非線性系統(tǒng)辨識方法研究[J]. 計算機工程與應用, 2012, 46(6): 19-24.

XU Xiaoping, QIAN Fucai, WANG Feng. Nonlinear system identification method on [J]. Computer Engineering and Applications, 2012, 46 (6): 19-24.

[12] GAO J, SULTAN H, HU J. Denoising nonlinear time series by adaptive filtering and wavelet shrinkage: a comparison[J]. Signal Processing Letters, 2013, 17(3): 237-240.

Iterative learning identification algorithm based on time-varying neural network

DAI Rong1，HUANG Cheng2

(1.Department of Computer Science, Civil Aviation Flight University of China, Guanghan 618307,P.R.China;2. Sichuan Engineering Technical College, Deyang 618000, P.R.China)

Abstract:In order to achieve that the discrete time-varying nonlinear system identification can run repeateadly on the finite time interval, an iterative learning identification algorithm based on time-varying neural networks is given.First, for each fixed time, the neural network of the moment which approachs the mapping relationship between input and output of the system,the iterative learning least squares algorithm with dead-zone for the weights updating along the iteration axis is proposed. To prevent the convergence rate from falling too fast, the improved algorithm whose covariance matrix can be retuned is proposed further. The proposed algorithm guarantees that the estimation error converges to a bound point wisely over the entire time interval, and the neighborhood radius depends on the modeling accuracy of the neural network. Experimental results show that the proposed algorithm has a faster convergence rate, and identification accuracy of the time-varying neural networks for nonlinear time-varying system is higher.

Keywords：system identification; discrete-time varying nonlinear systems; time-varying neural networks; iterative learning; least squares

DOI：10.3979/j.issn.1673-825X.2016.02.020

收稿日期：2014-12-19

修訂日期：2015-11-26通訊作者：黃成dair1977@163.com

基金項目：四川省教育廳科研項目(13ZA0135)

Foundation Item：The Sichuan Provincial Department of Education research (13ZA0135)

中圖分類號：TP273

文獻標志碼：A

文章編號：1673-825X(2016)02-0265-08

作者簡介：

戴蓉(1977-)，女，四川攀枝花人，副教授，碩士，主要研究方向為計算機仿真、數(shù)據(jù)庫技術、多媒體技術。

黃成，(1975-)，男，江蘇常州人，副教授，學士，主要研究方向為網(wǎng)絡工程、信息安全，網(wǎng)絡編程。E-mail: dair1977@163.com。

(編輯：張誠)