基于靈敏度計(jì)算和多維泰勒網(wǎng)的隨機(jī)時(shí)變非線性系統(tǒng)辨識(shí)

張 超，楊 曉，朱命冬

基于靈敏度計(jì)算和多維泰勒網(wǎng)的隨機(jī)時(shí)變非線性系統(tǒng)辨識(shí)

張 超1,2，楊 曉1,2，朱命冬3

（1.河南工學(xué)院 電氣工程與自動(dòng)化學(xué)院，河南 新鄉(xiāng) 453003；2.河南省新能源發(fā)電關(guān)鍵裝備工程研究中心，河南 新鄉(xiāng) 453003；3.河南工學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，河南 新鄉(xiāng) 453003）

針對(duì)隨機(jī)時(shí)變非線性系統(tǒng)的建模問題，提出一種基于最優(yōu)結(jié)構(gòu)多維泰勒網(wǎng)的辨識(shí)策略。首先將多維泰勒網(wǎng)權(quán)值作為時(shí)變參數(shù)，由尋求最優(yōu)步長(zhǎng)的增量梯度法進(jìn)行訓(xùn)練以響應(yīng)系統(tǒng)輸入-輸出的快速變化；然后為滿足高實(shí)時(shí)性要求，利用改進(jìn)的靈敏度計(jì)算方法剪除網(wǎng)絡(luò)冗余輸入變量和中間節(jié)點(diǎn)，實(shí)現(xiàn)最佳的泛化能力；最后用算例仿真結(jié)果驗(yàn)證了方案的有效性。

靈敏度計(jì)算；增量梯度法；多維泰勒網(wǎng)；非線性系統(tǒng)辨識(shí)

0 引言

在機(jī)械工程領(lǐng)域，如車橋系統(tǒng)振動(dòng)、柔性機(jī)械臂等問題中，存在大量復(fù)雜的非線性因素。此外，各種隨機(jī)因素的干擾以及系統(tǒng)的時(shí)變特殊性均會(huì)影響模型分析和建模精度。正是這些復(fù)雜多變的因素為系統(tǒng)分析和結(jié)構(gòu)設(shè)計(jì)帶來更多技術(shù)上的要求和挑戰(zhàn)。為了提高系統(tǒng)模型準(zhǔn)確性，尤其是針對(duì)結(jié)構(gòu)復(fù)雜多樣的系統(tǒng)建模，系統(tǒng)辨識(shí)成為解決上述技術(shù)難題的有效手段。系統(tǒng)辨識(shí)是通過輸入輸出數(shù)據(jù)對(duì)未知系統(tǒng)建模的過程[1]。目前辨識(shí)方法主要有：遞推最小二乘法(RLS)、最大似然法、階躍響應(yīng)法和神經(jīng)網(wǎng)絡(luò)法等。例如，文獻(xiàn)[2]將RLS算法與Kalman變量相結(jié)合構(gòu)成擴(kuò)展的RLS算法并應(yīng)用于系統(tǒng)辨識(shí)；文獻(xiàn)[3]提出一種快速的最大似然法，借助任意的未知輸入來估計(jì)脈沖響應(yīng)。然而以上方法都是以被控對(duì)象精確的數(shù)學(xué)模型為基礎(chǔ)，對(duì)于非線性系統(tǒng)來說應(yīng)用困難。非線性系統(tǒng)同線性系統(tǒng)相比更加復(fù)雜且難以建模，而神經(jīng)網(wǎng)絡(luò)因其自身并行分布、存儲(chǔ)和自適應(yīng)等優(yōu)勢(shì)，對(duì)這種復(fù)雜的、需考慮設(shè)計(jì)多樣性以及已知信息模糊的非線性系統(tǒng)處理尤其適用。例如，文獻(xiàn)[4]提出用一種動(dòng)態(tài)時(shí)滯模糊小波神經(jīng)網(wǎng)絡(luò)模型來辨識(shí)系統(tǒng)結(jié)構(gòu)；文獻(xiàn)[5]提出用延遲系統(tǒng)及延遲時(shí)間的神經(jīng)網(wǎng)絡(luò)辨識(shí)方法，實(shí)現(xiàn)時(shí)滯時(shí)變系統(tǒng)的有效辨識(shí)。但神經(jīng)網(wǎng)絡(luò)存在訓(xùn)練時(shí)間長(zhǎng)、易陷入局部最優(yōu)的問題。

多維泰勒網(wǎng)(MTN)由于采用多項(xiàng)式型的非線性自回歸滑動(dòng)平均模型，通過借助抽頭延遲映射表示動(dòng)態(tài)系統(tǒng)，已成為針對(duì)非線性系統(tǒng)動(dòng)力學(xué)建模的有效手段，尤其當(dāng)非線性系統(tǒng)機(jī)理不精確時(shí)更加適用。分析MTN模型的多項(xiàng)式函數(shù)構(gòu)成可發(fā)現(xiàn)，其多項(xiàng)式由線性項(xiàng)和非線性項(xiàng)兩部分組成，以表示一般動(dòng)力學(xué)狀態(tài)特性，進(jìn)而是對(duì)系統(tǒng)行為的顯性描述。MTN在模型預(yù)測(cè)[6]、系統(tǒng)辨識(shí)[7]、災(zāi)害預(yù)測(cè)[8]、電機(jī)控制[9]以及非線性控制[10]等領(lǐng)域的應(yīng)用研究已成為當(dāng)前熱點(diǎn)。

文獻(xiàn)[11]利用RLS算法通過遞推的方式進(jìn)行系統(tǒng)辨識(shí)并考慮如何消除外界環(huán)境的影響(噪聲干擾和時(shí)變特性)，但該算法存在自適應(yīng)跟蹤速度不快以及辨識(shí)精度不高的問題。文獻(xiàn)[12]將增量梯度法引入隨機(jī)時(shí)變非線性系統(tǒng)辨識(shí)，由于其在每步學(xué)習(xí)時(shí)都尋求最優(yōu)步長(zhǎng)，故可解決在采用步長(zhǎng)固定的梯度下降法時(shí)收斂速度慢的缺陷，進(jìn)而可以滿足時(shí)變系統(tǒng)建模要求。此外，由于實(shí)時(shí)性是辨識(shí)模型應(yīng)用的關(guān)鍵，MTN模型需要在相對(duì)少的節(jié)點(diǎn)數(shù)下收斂。同時(shí)，在實(shí)際建模時(shí)，系統(tǒng)模型階次一般情況下都是未知的，因此在確定中間節(jié)點(diǎn)規(guī)模的同時(shí)也要選擇好模型階次即確定合理的模型輸入個(gè)數(shù)，這在模型辨識(shí)領(lǐng)域也是極為重要的問題。因此本文采用改進(jìn)的靈敏度計(jì)算方法[13]來剪除網(wǎng)絡(luò)冗余輸入項(xiàng)和冗余中間層回歸項(xiàng)，以達(dá)到精簡(jiǎn)網(wǎng)絡(luò)結(jié)構(gòu)、減少迭代學(xué)習(xí)時(shí)間及改進(jìn)泛化的目的。

1 問題描述

本文基于MTN模型解決隨機(jī)時(shí)變非線性系統(tǒng)的辨識(shí)問題，利用MTN中間層權(quán)值作為時(shí)變參數(shù)，設(shè)計(jì)快速學(xué)習(xí)算法以實(shí)時(shí)響應(yīng)系統(tǒng)輸入-輸出的變化并實(shí)現(xiàn)MTN模型最佳的泛化能力。

考慮具有噪聲干擾的非線性時(shí)變離散系統(tǒng)：

2 基于MTN的隨機(jī)時(shí)變非線性系統(tǒng)辨識(shí)

引理1[15]任何定義于一個(gè)閉區(qū)間的連續(xù)函數(shù)可以用多項(xiàng)式函數(shù)任意準(zhǔn)確地逼近。

圖1 多維泰勒網(wǎng)模型

利用網(wǎng)絡(luò)學(xué)習(xí)策略，通過改進(jìn)的梯度下降學(xué)習(xí)算法實(shí)現(xiàn)MTN模型權(quán)值的快速更新。

目標(biāo)函數(shù)為：

更新方程為：

為追求更快的收斂速度，以滿足時(shí)變系統(tǒng)的建模要求，本部分設(shè)計(jì)增量梯度法用于隨機(jī)時(shí)變非線性系統(tǒng)辨識(shí)，在每步學(xué)習(xí)時(shí)都尋求最優(yōu)步長(zhǎng)。

由于

從而

將式(8)代入式(10)，有

最優(yōu)步長(zhǎng)為：

3 基于靈敏度計(jì)算的MTN泛化能力改進(jìn)

精簡(jiǎn)的MTN模型將大大減少迭代學(xué)習(xí)時(shí)間并簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)，這有助于工程實(shí)踐和硬件實(shí)現(xiàn)。

靈敏度計(jì)算方法是獲取最佳泛化能力和最小結(jié)構(gòu)的剪枝算法，可用于剪除冗余的中間節(jié)點(diǎn)和不重要的輸入變量[13]。在訓(xùn)練辨識(shí)網(wǎng)絡(luò)時(shí)，首先計(jì)算各輸入變量和各中間節(jié)點(diǎn)對(duì)于待辨識(shí)模型的貢獻(xiàn)大小，然后經(jīng)比較后去除靈敏度較小的節(jié)點(diǎn)和權(quán)值，從而在保證精度的前提下精簡(jiǎn)網(wǎng)絡(luò)結(jié)構(gòu)，提出以下測(cè)度：

步驟1 使用一階慣性濾波，即

步驟3 取穩(wěn)態(tài)時(shí)的靈敏度值。在某段時(shí)間內(nèi)一個(gè)節(jié)點(diǎn)的歸一化靈敏度的標(biāo)準(zhǔn)差和平均值為：

4 算例分析

本節(jié)通過對(duì)由式(22)表示的隨機(jī)時(shí)變非線性系統(tǒng)的仿真實(shí)驗(yàn)來驗(yàn)證所提方法的有效性。

圖2 輸入信號(hào)

圖3為剪枝過程中剪除冗余輸入變量和中間節(jié)點(diǎn)的學(xué)習(xí)曲線?？梢姡谠隽刻荻确ǖ腗TN辨識(shí)方案在辨識(shí)精度改善方面效果明顯。同時(shí)，當(dāng)使用靈敏度計(jì)算方法精簡(jiǎn)MTN網(wǎng)絡(luò)時(shí)訓(xùn)練誤差未發(fā)生較大波動(dòng)。

圖3 剪除輸入變量和中間節(jié)點(diǎn)的學(xué)習(xí)曲線(MSE)

通過式(6)、式(12)以及式(18)~式(21)的充分訓(xùn)練，最終獲得結(jié)構(gòu)為4-10-1的精簡(jiǎn)MTN。表1記錄了剪枝過程的辨識(shí)參數(shù)。算法在841、872、882、898、924、974、1032和1036步刪除了冗余中間節(jié)點(diǎn)，在875和927步刪除了冗余輸入變量，最后網(wǎng)絡(luò)中余下10個(gè)中間節(jié)點(diǎn)和4個(gè)輸入變量，這大大降低了計(jì)算量和網(wǎng)絡(luò)的復(fù)雜度。

圖4 剪枝過程中MTN權(quán)值系數(shù)的變化(以任意4個(gè)中間節(jié)點(diǎn)為例)

圖5 各輸入變量的靈敏度變化曲線

表1 辨識(shí)參數(shù)

此外，對(duì)于同樣的100個(gè)測(cè)試樣本，剪枝網(wǎng)絡(luò)(僅有10個(gè)有效節(jié)點(diǎn))的測(cè)試誤差為1.6013，原有網(wǎng)絡(luò)(84個(gè)中間節(jié)點(diǎn))的測(cè)試誤差為1.5534?；緹o差別的誤差對(duì)比結(jié)果驗(yàn)證了方案的有效性?？梢?，基于增量梯度法和靈敏度計(jì)算混合算法的MTN辨識(shí)方法實(shí)現(xiàn)了網(wǎng)絡(luò)最簡(jiǎn)結(jié)構(gòu)，簡(jiǎn)化了網(wǎng)絡(luò)系統(tǒng)動(dòng)態(tài)建模，有效推進(jìn)了MTN在實(shí)際工程中的進(jìn)一步運(yùn)用。

5 結(jié)束語

鑒于隨機(jī)時(shí)變非線性系統(tǒng)辨識(shí)問題的研究具有顯著的工程價(jià)值和理論意義，本文提出了一種以多維泰勒網(wǎng)的連接權(quán)值作為時(shí)變參數(shù)，由增量梯度法和靈敏度計(jì)算混合算法進(jìn)行訓(xùn)練，從而實(shí)現(xiàn)最優(yōu)結(jié)構(gòu)的MTN辨識(shí)方案。該方案在確保響應(yīng)系統(tǒng)輸入-輸出快速變化的前提下，可降低計(jì)算復(fù)雜度，滿足高實(shí)時(shí)性能，最終實(shí)現(xiàn)隨機(jī)時(shí)變非線性系統(tǒng)的有效辨識(shí)。仿真結(jié)果表明，所提方案能夠保證建模精度并可實(shí)現(xiàn)網(wǎng)絡(luò)最佳泛化能力，是可行和有效的。

[1] UGALDE H M R, CARMONA J C, REYES-REYES J, et al. Balanced simplicity-accuracy neural network model families for system identification[J]. Neural computing and applications,2015,26(1):171-186.

[2] 邱亞,李鑫,陳薇.基于RLS和EKF算法的全釩液流電池SOC估計(jì)[J].控制與決策,2018,33(1):37-44.

[3] 楊雅君,鄭宇昕,廖瑛.一類參數(shù)線性系統(tǒng)辨識(shí)的最優(yōu)輸入設(shè)計(jì)[J].控制理論與應(yīng)用,2016,33(7):889-896.

[4] JIANG X M, MAHADEVAN S, YUYAN Y. Fuzzy stochastic neural network model for structural system identification[J]. Mechanical systems and signal processing, 2017, 2: 394-411.

[5] 章心憶.下肢外骨骼機(jī)器人的建模和控制策略研究[D].南京: 南京理工大學(xué),2017.

[6] 周博,嚴(yán)洪森.一類具有羊群效應(yīng)的多重多維泰勒網(wǎng)動(dòng)力學(xué)模型[J].控制理論與應(yīng)用,2015,32(7):963-969.

[7] 張超,嚴(yán)洪森.基于最優(yōu)結(jié)構(gòu)多維泰勒網(wǎng)的含噪聲非線性時(shí)變系統(tǒng)辨識(shí)[J].東南大學(xué)學(xué)報(bào)(自然科學(xué)版),2017,47(6): 1086-1093.

[8] 林屹,嚴(yán)洪森.多尺度正負(fù)反饋交替論模型及其應(yīng)用[J]. 控制理論與應(yīng)用,2016,33(7): 879-888.

[9] ZHANG C, YAN H S. Inverse control of multi-dimensional Taylor network for permanent magnet synchronous motor[J]. COMPEL-The international journal for computation and mathematics in electrical and electronic engineering, 2017,36(6):1676-1689.

[10] YAN H S, KANG A M. Asymptotic tracking and dynamic regulation of SISO non-linear system based on discrete multi-dimensional Taylor network[J]. IET control theory and applications,2017,11(10):1619-1626.

[11] LI J, ZHENG Y, LIN Z. Recursive identification of time-varying systems: Self-tuning and matrix RLS algorithms[J]. Systems and control letters,2014,66: 104-110.

[12] VARAGNOLO D, ZANELLA F, CENEDESE A, et al. Newton-Raphson consensus for distributed convex optimization[J]. IEEE Transactions on Automatic Control, 2016, 61(4): 994-1009.

[13] ZHANG C, WEI H, XIE L, et al. Direct interval forecasting of wind speed using radial basis function neural networks in a multi-objective optimization framework[J]. Neurocomputing, 2016, 205: 53-63.

[14] 朱紅路. 熱工信號(hào)自適應(yīng)濾波及其在建模與控制中的應(yīng)用[D].北京:華北電力大學(xué),2010.

[15] KLAMBAUER G. Mathematical analysis[M]. New York: Marcel Dekker INC, 1975:236-237.

Identification of Stochastic Time-varying Nonlinear System based on Sensitivity Calculation and Multi-dimensional Taylor Network

ZHANG Chao1,2, YANG Xiao1,2, ZHU Ming-dong3

(1.School of Electrical Engineering and Automation, Henan Institute of Technology, Xinxiang 453003, China; 2.Henan Engineering Research Center of Key Equipment for New Energy Generation, Xinxiang 453003, China; 3.School of Computer Science and Technology, Henan Institute of Technology, Xinxiang 453003, China)

Aiming at the modeling problems of stochastic time-varying nonlinear system, an identification strategy based on the multi-dimensional Taylor network (MTN) with optimal structure is proposed. Firstly, the MTN’s weights are taken as the time-varying parameters, and the incremental gradient method for determining the optimal step size is adopted to train the MTN model to reflect the system’s input-output rapid change. Secondly, to meet the high real-time requirements, the improved sensitivity calculation method is developed to remove the network’s redundant input variables and middle nodes to realize the optimum generalization ability. Finally, the simulation results of an example verify the effectiveness of the scheme.

sensitivity calculation; incremental gradient method; multi-dimensional Taylor network; system identification

N945.14

A

2096–7772(2020)01–0033–06

2019-12-22

國家自然科學(xué)基金資助項(xiàng)目（61802116）；河南省重點(diǎn)研發(fā)與推廣專項(xiàng)（202102110274）；河南省高等學(xué)校重點(diǎn)科研項(xiàng)目（16A120011）；河南工學(xué)院高層次人才科研啟動(dòng)基金（KQ1863）

張超（1983―），男，河南新鄉(xiāng)人，講師，博士，主要從事智能控制理論與方法研究。

（責(zé)任編輯呂春紅）