濾波辨識(3):方程誤差自回歸系統(tǒng)的濾波遞推廣義參數(shù)估計

丁 鋒,劉海波,劉喜梅

(1.青島科技大學(xué) 自動化與電子工程學(xué)院,山東 青島 266061;2.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無錫 214122)

梯度方法和牛頓方法是研究優(yōu)化問題的基本方法。用于系統(tǒng)辨識就得到梯度辨識方法和牛頓辨識方法。對于線性參數(shù)系統(tǒng),牛頓辨識方法退化為最小二乘辨識方法。

梯度方法和牛頓方法與輔助模型辨識思想、多新息辨識理論、遞階辨識原理、耦合辨識概念等相結(jié)合[1-7],誕生出許多辨識方法,如輔助模型隨機梯度方法、輔助模型最小二乘方法、輔助模型牛頓辨識方法、多新息隨機梯度辨識方法、多新息最小二乘辨識方法、多新息牛頓辨識方法、遞階隨機梯度辨識方法、遞階最小二乘辨識方法、遞階牛頓辨識方法、耦合隨機梯度辨識方法、耦合最小二乘辨識方法、耦合牛頓辨識方法等。

梯度方法、最小二乘方法、牛頓方法與濾波辨識理念相結(jié)合,誕生出濾波梯度辨識方法、濾波最小二乘辨識方法、濾波牛頓辨識方法等?！肚鄭u科技大學(xué)學(xué)報(自然科學(xué)版)》的連載論文研究了線性回歸系統(tǒng)、方程誤差系統(tǒng)和輸出誤差系統(tǒng)的遞階遞推辨識方法和遞階迭代辨識方法[8-16]。

最近的連載論文研究了有限脈沖響應(yīng)滑動平均系統(tǒng) 的遞階遞推增廣參數(shù)辨識方法[9]和遞階增廣迭代參數(shù)辨識方法[10],以及濾波增廣遞推參數(shù)辨識方法[17]和濾波增廣迭代辨識方法[18]。本研究利用濾波辨識理念,研究方程誤差自回歸系統(tǒng),即受控自回歸自回歸系統(tǒng)的濾波遞推廣義辨識方法。

基于數(shù)據(jù)濾波的辨識方法一般是針對有色噪聲干擾的系統(tǒng)而言。其基本思想是,在系統(tǒng)方程兩邊同乘以一個濾波器(通常取為噪聲模型傳遞函數(shù)的逆),對輸入輸出數(shù)據(jù)進行濾波,濾波后的系統(tǒng)是一個白噪聲干擾的系統(tǒng),而原系統(tǒng)的傳遞函數(shù)不變,然后使用濾波后的輸入輸出數(shù)據(jù)等進行辨識。因為濾波器(噪聲模型的傳遞函數(shù))是未知的,濾波后的輸入輸出數(shù)據(jù)也是未知的,實際中通常采用噪聲模型傳遞函數(shù)的估計進行濾波,所以基于數(shù)據(jù)濾波的辨識方法只能以遞推方式或迭代方式實現(xiàn)。

如果知道系統(tǒng)先驗知識,濾波器也可以采用參數(shù)已知的固定模型,否則可采用動態(tài)變化模型,如即將討論的用噪聲傳遞函數(shù)的估計作為濾波器。

辨識中數(shù)據(jù)濾波與通信和信號處理中的濾波有本質(zhì)不同。后者濾波是剔除被污染信號中的噪聲,使得噪聲在信號中的比重降低,如低通濾波器和高通濾波器。而濾波辨識方法只是改變系統(tǒng)模型的結(jié)構(gòu),不改變系統(tǒng)的輸入-輸出關(guān)系?？傊?濾波辨識是將有色噪聲干擾的系統(tǒng)模型變換為白噪聲干擾的模型,即模型白色化(不是數(shù)據(jù)白色化),它能夠提高參數(shù)辨識精度。

1 系統(tǒng)描述與濾波辨識模型

方程誤差自回歸模型(EEAR模型)又稱為受控自回歸自回歸模型。考慮下列受控自回歸自回歸模型(controlled autoregressive autoregressive model,CARAR模型)描述的動態(tài)隨機系統(tǒng):

其中{u(t)}和{y(t)}分別是系統(tǒng)的輸入和輸出序列,{v(t)}是零均值、方差為σ2的隨機白噪聲序列,A(z),B(z)和C(z)是單位后移算子z－1的多項式:

設(shè)階次na,nb和nc已知。記n:＝na＋nb＋nc。且設(shè)t≤0時,所有變量的初值均為零,如y(t)＝0,u(t)＝0,v(t)＝0。

置有關(guān)參數(shù)向量和信息向量如下:

定義中間變量:

取濾波器L(z):＝C(z)。定義濾波輸入uf(t),濾波輸出yf(t)分別為

定義濾波輸出信息向量φaf(t)和濾波輸入信息向量φbf(t)如下:

式(1)兩邊乘以L(z)得到

或

這個濾波后的模型是一個方程誤差模型(即CAR模型)。將它寫為向量形式為

將式(6)代入式(10)得到

其中

在辨識模型(11)中,參數(shù)向量θ包含了系統(tǒng)的所有參數(shù)ai,bi和ci。目標(biāo)就是利用系統(tǒng)的輸入輸出數(shù)據(jù)u(t)和y(t),研究和提出估計參數(shù)向量θ的辨識方法。

對于辨識模型(11),由于多項式C(z)是未知的(即L(z)是未知的),故uf(t),yf(t),以及φaf(t)和φbf(t)都是未知的,且由它們構(gòu)成的信息向量φ(t)也是未知的,故需要采用估計值代替未知變量來推導(dǎo)基于數(shù)據(jù)濾波的辨識方法。

2 濾波廣義隨機梯度辨識算法

對于EEAR系統(tǒng)的辨識模型(11),定義梯度準(zhǔn)則函數(shù):

這些遞推關(guān)系式無法實現(xiàn),因為式(13)～(14)右邊信息向量φ(t)是未知的,所以需要先構(gòu)造它們的估計。由噪聲模型參數(shù)估計

構(gòu)造多項式C(z)的估計:

根據(jù)定義式(7)～(8)的結(jié)構(gòu),用yf(t－i)和uf(ti)的估計和構(gòu)造濾波輸出信息向量φaf(t)和濾波輸入信息向量φbf(t)的估計:

將式(13)～(14)中右邊未知信息向量φ(t)用其估計代替,得到式(20)～(22),聯(lián)立式(19),(17)～(18),(2)～(3),(15)～(16),可以得到估計EEAR系統(tǒng)參數(shù)向量θ的基于濾波的廣義隨機梯度辨識算法(filtering-based generalized stochastic gradient identification algorithm),簡稱為濾波廣義隨機梯度算法(filtered generalized stochastic gradient algorithm,F-GSG算法):

F-GSG算法(20)～(30)計算參數(shù)估計向量^θ(t)的步驟如下。

1)初始化:令t＝1。置初值,i)＝1/p0,i＝1,2,…,max[na,nb,nc],p0是一個大正數(shù),如p0＝106。給定數(shù)據(jù)長度Le。

2)采集輸入輸出數(shù)據(jù)u(t)和y(t),用式(24)～(27)構(gòu)造信息向量和φc(t),用式(23)構(gòu)造信息向量。

3)用式(22)計算r(t),用式(21)計算新息e(t)。

6)如果t＜Le,t就增加1,轉(zhuǎn)到步驟2);否則輸出參數(shù)估計,終止遞推計算過程。

在F-GSG辨識算法(20)～(30)中,e(t)＝為辨識新息。定義辨識殘差。

3 濾波多新息廣義隨機梯度算法

為改進F-GSG算法的收斂速度,一種方法是借助于多新息辨識理論,通過擴展新息維數(shù),推導(dǎo)出基于濾波的多新息廣義隨機梯度辨識算法。

設(shè)正整數(shù)p表示新息長度?；贔-GSG算法(20)～(30),將系統(tǒng)輸出y(t)和信息向量擴展為堆積輸出向量Y(p,t)和堆積信息矩陣(p,t):

將式(20)中標(biāo)量新息e(t)＝y(tǒng)(t)－^φT(t)^θ(t－1)∈?擴展為新息向量

這是新息長度p＝1的基于濾波的多新息廣義隨機梯度算法。將上式中和E(1,t)中的“1”換為p,得到式(34),聯(lián)立式(31)～(33)和(22)～(30),就得到新息長度為p的估計EEAR系統(tǒng)參數(shù)向量θ的基于濾波的多新息廣義隨機梯度辨識算法(filtering-based multi-innovation generalized stochastic gradient identification algorithm),簡稱為濾波多新息廣義隨機梯度算法(filtered multi-innovation generalized stochastic gradient algorithm,FMI-GSG算法):

1)初始化:令t＝1,給定新息長度p。置初值,p0是一個大正數(shù),如p0＝106。給定數(shù)據(jù)長度Le。

2)采集輸入輸出數(shù)據(jù)u(t)和y(t),用式(40)～(43)構(gòu)造信息向量和φc(t),用式(39)構(gòu)造信息向量。

3)用式(37)和(38)構(gòu)造堆積輸出向量Y(p,t)和堆積信息矩陣。

4)用式(35)計算新息向量E(p,t),用式(36)計算r(t)。

6)如果t＜Le,t就增加1,轉(zhuǎn)到步驟2);否則輸出參數(shù)估計,終止遞推計算過程。

引理1對于F-MI-GSG辨識算法(34)～(46),新息向量E(p,t)與殘差向量

滿足關(guān)系:

4 濾波多新息廣義投影辨識方法

下面利用最速下降法推導(dǎo)濾波多新息廣義投影辨識方法?？紤]從j＝t－p＋1到j(luò)＝t的數(shù)據(jù)窗里的p組數(shù)據(jù)。定義堆積輸出向量Y(p,t)和堆積信息矩陣Φ(p,t)如下:

基于EEAR系統(tǒng)的濾波辨識模型(11),定義滑動數(shù)據(jù)窗準(zhǔn)則函數(shù):

假設(shè)步長(step size)為μ(t)。使用最速下降法(負(fù)梯度搜索),極小化準(zhǔn)則函數(shù)J2(θ),可以得到梯度遞推關(guān)系:

其中

下面求最佳步長(best step-size)μ(t)。將代入準(zhǔn)則函數(shù)J2(θ)中,可得

由此可求得最佳步長為

由于堆積信息矩陣Φ(p,t)是未知的,所以算法(48)～(51)無法實現(xiàn)。解決的方法是用φ(t－i)的估計構(gòu)造堆積信息矩陣Φ(p,t)的估計

式(49)～(51)中未知Φ(p,t)用其估計代替,得到式(53)～(55),聯(lián)立式(48),(52)和(39)～(46),就得到辨識EEAR系統(tǒng)參數(shù)向量θ的基于濾波的多新息廣義投影辨識算法(filtering-based multi-innovation generalized projection identification algorithm),簡稱為濾波多新息廣義投影算法(filtered multi-innovation generalized projection algorithm,F-MI-GProj算法):

因為收斂因子的計算式比較復(fù)雜,故對其進行簡化。由于對于任意實向量x和非負(fù)定對稱矩陣Q,不等式成立,其中為矩陣Q的最大特征值,所以

于是,收斂因子可以保守取為

因為計算矩陣的跡(trace)比計算特征值簡單,所以收斂因子可以更保守取為

因此,將式(53)修改為

或

則式(54)和(56)～(67)構(gòu)成了簡化的濾波多新息廣義投影算法(F-MI-GProj算法)。

5 濾波遞推廣義梯度辨識算法

定義堆積輸出向量Y(t)和堆積輸入信息矩陣Φ(t)如下:

根據(jù)式(11),定義二次準(zhǔn)則函數(shù):

定義遞推關(guān)系:

遞推關(guān)系式(68)～(71)不可實現(xiàn),因為右邊包含了未知信息向量φ(t)。解決方案是用其估計代替,得到式(72)～(75),聯(lián)立式(23)～(30),便得到辨識EEAR系統(tǒng)參數(shù)向量θ的基于濾波的遞推廣義梯度辨識算法(filtering-based recursive generalized gradient identification algorithm),簡稱為濾波遞推廣義梯度算法(filtered recursive generalized gradient algorithm,F-RGG算法):

1)初始化:令t＝1,置初值,,…,max[na,nb,nc],p0是一個大正數(shù),如p0＝106。給定參數(shù)估計精度ε。

2)采集輸入輸出數(shù)據(jù)u(t)和y(t),用式(77)～(80)構(gòu)造信息向量和φc(t),用式(76)構(gòu)造信息向量。

3)用式(73)計算r(t),用式(74)計算向量ξ(t),用式(75)計算矩陣R(t)。用式(72)刷新參數(shù)估計向量)。

6 濾波多新息遞推廣義梯度算法

設(shè)正整數(shù)p表示新息長度。定義堆積輸出向量Y(p,t)和堆積輸入信息矩陣Φ(p,t)如下:

基于F-RGG算法(72)～(83),將式(73)～(75)中系統(tǒng)輸出y(t)和輸入信息向量擴展為堆積輸出向量Y(p,t)和堆積信息矩陣),得到式(87)～(89),聯(lián)立式(72),(84)～(85)和(76)～(83),便得到辨識EEAR系統(tǒng)參數(shù)向量θ的基于濾波的多新息遞推廣義梯度辨識算法(filtering-based multi-innovation recursive generalized gradient identification algorithm),簡稱為濾波多新息遞推廣義梯度算法(filtered multi-innovation recursive generalized gradient algorithm,F-MI-RGG算法):

1)初始化:令t＝1, 給定新息長度p和精度指標(biāo)ε。置初值,,p0是一個大正數(shù),如p0＝106。

2)采集輸入輸出數(shù)據(jù)u(t)和y(t),用式(93)～(96)構(gòu)造信息向量和φc(t),用式(92)構(gòu)造信息向量。

3)用式(90)和(91)構(gòu)造堆積輸出向量Y(p,t)和堆積信息矩陣。

4)用式(87)計算r(t),用式(88)計算向量ξ(t),用式(89)計算矩陣R(t)。用式(86)刷新參數(shù)估計向量。

7 濾波遞推廣義最小二乘算法

參照遞推最小二乘算法的推導(dǎo),極小化J3(θ),可以得到下列最小二乘遞推關(guān)系:

這些遞推關(guān)系無法實現(xiàn),因為式(100)～(102)右邊的信息向量φ(t)是未知的,在辨識算法中使用它的估計代替,得到式(103)～(106),聯(lián)立式(23)～(30),便得到辨識EEAR系統(tǒng)參數(shù)向量θ的基于濾波的遞推廣義最小二乘辨識算法(filteringbased recursive generalized least squares identification algorithm),簡稱為濾波遞推廣義最小二乘算法(filtered recursive generalized least squares algorithm,F-RGLS算法):

1)初始化:令t＝1。置初值,,,p0是一個大正數(shù),如p0＝106。給定參數(shù)估計精度ε。

2)采集輸入輸出數(shù)據(jù)u(t)和y(t),用式(108)～(111)構(gòu)造信息向量和φc(t),用式(107)構(gòu)造信息向量。

3)用式(104)計算新息e(t),用式(105)和(106)計算增益向量L(t)和協(xié)方差陣P(t)。根據(jù)式(103)刷新參數(shù)估計向量。

8 濾波多新息廣義最小二乘算法

基于F-RGLS算法(103)～(114),將系統(tǒng)輸出y(t)和信息向量分別擴展為堆積輸出向量Y(p,t)和堆積信息矩陣:

得到式(118)～(121),聯(lián)立式(115)～(117)和(107)～(114),便得到辨識EEAR系統(tǒng)參數(shù)向量θ的基于濾波的多新息遞推廣義最小二乘辨識算法(filtering-based multi-innovation recursive generalized least squares identification algorithm),簡稱為濾波多新息廣義最小二乘算法(filtered multi-innovation generalized least squares algorithm,F-MIGLS算法):

F-MI-GLS算法(118)～(131)計算參數(shù)估計向量的步驟如下。

1)初始化:令t＝1,給定新息長度p和精度指標(biāo)ε。置初值,…,max[na,nb,nc],p0是一個大正數(shù),如p0＝106。

2)采集輸入輸出數(shù)據(jù)u(t)和y(t),用式(125)～(128)構(gòu)造信息向量和φc(t),用式(124)構(gòu)造信息向量。

3)用式(122)和(123)構(gòu)造堆積輸出向量Y(p,t)和堆積信息矩陣。

4)用式(119)計算新息向量E(p,t),用式(120)和(121)計算增益矩陣L(t)和協(xié)方差陣P(t)。根據(jù)式(118)刷新參數(shù)估計向量。

多新息辨識方法包含多新息遞推辨識方法和多新息迭代辨識方法。對于多新息遞推辨識方法,常常省略遞推兩個字,將多新息遞推最小二乘辨識方法簡稱為多新息最小二乘辨識方法。如,濾波多新息遞推廣義最小二乘辨識算法簡稱為濾波多新息廣義最小二乘算法,濾波多新息遞推廣義最小二乘辨識算法簡稱為濾波多新息廣義最小二乘算法。

9 結(jié) 語

針對方程誤差自回歸(EEAR)系統(tǒng),研究和提出了濾波(多新息)廣義隨機梯度辨識方法、濾波多新息廣義投影辨識方法、濾波(多新息)遞推廣義梯度辨識方法、濾波(多新息)廣義最小二乘辨識方法。盡管這些濾波廣義辨識方法是針對自回歸噪聲干擾下的方程誤差自回歸隨機系統(tǒng)提出的,但是其思想可以推廣到有色噪聲干擾下的線性和非線性多變量隨機系統(tǒng)中[19-31]。