寧永成,侯代文
(91439 部隊(duì)460 所,遼寧 大連 116041)
概率推理,研究如何利用帶有噪聲的觀測(cè)信息,給出系統(tǒng)隱含的狀態(tài)或者參數(shù)的最優(yōu)一致估計(jì)的問題,是人工智能、自動(dòng)控制、信號(hào)處理等領(lǐng)域的核心內(nèi)容之一,在目標(biāo)跟蹤、語(yǔ)音識(shí)別、無(wú)線通信、慣性導(dǎo)航、神經(jīng)網(wǎng)絡(luò)訓(xùn)練以及經(jīng)濟(jì)預(yù)測(cè)等方面有著廣泛的應(yīng)用[1]。
遞推的貝葉斯估計(jì)方法給出了解決這一問題的最佳方案,該方法每接收到一個(gè)新的觀測(cè)量,就會(huì)遞歸地更新系統(tǒng)狀態(tài)的后驗(yàn)概率密度函數(shù)(posteriori density function,pdf),這一函數(shù)包含了概率推理問題的完整解決方案,能夠給出系統(tǒng)狀態(tài)的最優(yōu)估計(jì)。然而,貝葉斯估計(jì)方法僅僅提供了狀態(tài)估計(jì)的理論框架,在實(shí)際應(yīng)用中,具體算法的選擇依賴于系統(tǒng)狀態(tài)、系統(tǒng)模型以及描述后驗(yàn)概率密度函數(shù)方法的具體形式。本文在簡(jiǎn)要介紹貝葉斯估計(jì)理論的基礎(chǔ)上,在統(tǒng)一的框架之下,對(duì)各種狀態(tài)估計(jì)算法進(jìn)行歸納和總結(jié),并對(duì)各自的使用方法、使用范圍以及相互間的聯(lián)系與區(qū)別,作了較為詳細(xì)地闡述。
本文將主要討論離散時(shí)間的動(dòng)態(tài)隨機(jī)系統(tǒng)。用k=1,2,…,表示時(shí)間序列,k 時(shí)刻的系統(tǒng)狀態(tài)用xk表示,假定系統(tǒng)狀態(tài)是隱含的,無(wú)法直接得到,而只能在每個(gè)時(shí)刻得到含有噪聲的觀測(cè)值z(mì)k,目標(biāo)是從觀測(cè)序列中推導(dǎo)出系統(tǒng)狀態(tài)中所需要的信息。以下部分,將用xn:m表示變量序列xn,xn+1,…,xn+m。
在貝葉斯框架下,系統(tǒng)狀態(tài)及觀測(cè)量之間的關(guān)系被融入概率密度函數(shù)p(x1:k,z1:k)中,由于p(x1:k,z1:k)= p(x1:k)p(z1:k|x1:k),p(x1:k,z1:k)被進(jìn)一步簡(jiǎn)化為2 部分,其中p(x1:k)表示系統(tǒng)的內(nèi)部動(dòng)態(tài)特性,p(z1:k|x1:k)表示測(cè)量噪聲模型。這樣,在給定觀測(cè)序列z1:k后,利用系統(tǒng)的動(dòng)態(tài)特性及測(cè)量噪聲特性,就能夠計(jì)算出系統(tǒng)狀態(tài)的pdf p(x1:l|z1:k),從而得到關(guān)于系統(tǒng)狀態(tài)的有用信息。習(xí)慣上,當(dāng)l >k 時(shí),對(duì)應(yīng)的問題稱為預(yù)測(cè)問題;l=k 時(shí),對(duì)應(yīng)于濾波問題;l <k 時(shí),對(duì)應(yīng)于平滑問題。本文主要研究用于實(shí)時(shí)處理的濾波問題,對(duì)于平滑問題,可參閱文獻(xiàn)[2-4]。
對(duì)系統(tǒng)動(dòng)態(tài)特性的描述,最簡(jiǎn)單的情況是作馬爾科夫(Markov)假定,即系統(tǒng)狀態(tài)xk僅與狀態(tài)xk-1有關(guān),而與k-1時(shí)刻之前的狀態(tài)無(wú)關(guān)。此時(shí)
其中,p(x1)表示狀態(tài)的先驗(yàn)概率密度函數(shù)。通常情況下,p(xi|xi-1)用系統(tǒng)狀態(tài)方程來表示:
其中,vk-1表示k-1 時(shí)刻的過程噪聲。隱馬爾科夫模型(hidden markov model,HMM)[5-7]和卡爾曼濾波模型(kalman filter model,KFM)[8]是這一類模型的典型代表。
然而,有些系統(tǒng)并不遵循Markov 假定,即k 時(shí)刻的狀態(tài)xk不僅與xk-1有關(guān),還跟k-1 時(shí)刻前的狀態(tài)有關(guān)。Neal[9]對(duì)這種比較復(fù)雜的系統(tǒng)進(jìn)行了研究,這里不作詳細(xì)討論。
一般情況下,觀測(cè)量zk只跟當(dāng)前狀態(tài)xk有關(guān),即
對(duì)于zk依賴于過去的觀測(cè)序列z1:k-1的情況,從應(yīng)用的角度講,由于p(zk|xk)與p(zk|z1:k-1,xk)中都只有xk是自變量,二者沒有實(shí)質(zhì)性的差異[10],不失一般性,僅討論p(zk|xk)一種情況。
類似地,關(guān)系式p(zk|xk)用觀測(cè)方程來表示:
其中,wk表示測(cè)量噪聲。
貝葉斯估計(jì)是各種計(jì)算系統(tǒng)狀態(tài)pdf p(x1:k|z1:k)方法的總稱。p(x1:k|z1:k)描述了由觀測(cè)序列z1:k推導(dǎo)的系統(tǒng)狀態(tài)在狀態(tài)空間上的分布情況,通過它可以精確求解系統(tǒng)狀態(tài)在各種意義下的最優(yōu)估計(jì)。利用貝葉斯法則,易知
由于p(x1:k|z1:k)不能分解成更簡(jiǎn)單的形式,只能用非常復(fù)雜的模型來描述[11];另一方面,對(duì)于實(shí)時(shí)處理問題,往往希望基于當(dāng)前觀測(cè)序列,得到當(dāng)前狀態(tài)的估計(jì)值,因此,一般情況下,更多地關(guān)注概率密度函數(shù)p(xk|z1:k),而不是p(x1:k|z1:k)。
對(duì)滿足式(1)的Markov 動(dòng)態(tài)系統(tǒng),求解p(xk|z1:k)可以利用上一時(shí)刻的估計(jì)結(jié)果,分2 步遞歸進(jìn)行。首先,在獲得觀測(cè)量zk之前,利用k-1 時(shí)刻的觀測(cè)序列z1:k-1以及狀態(tài)估計(jì)值xk-1,預(yù)測(cè)狀態(tài)xk的分布函數(shù):
獲得觀測(cè)量以后,利用貝葉斯法則:
其中常數(shù)因子p(zk| z1:k-1)=∫p(zk| xk)p(xk| z1:k-1)dxk。當(dāng)k=1 時(shí),指定狀態(tài)的預(yù)測(cè)分布等于先驗(yàn)概率分布p(x1)。利用式(6)、式(7)可以實(shí)現(xiàn)遞推的貝葉斯估計(jì)。
然而,對(duì)大多數(shù)概率分布,式(6)、式(7)中的多維積分值都不能解析地求出,必須尋求pdf 的簡(jiǎn)單描述方式,才能使貝葉斯估計(jì)理論具有實(shí)際的應(yīng)用價(jià)值。以下將根據(jù)對(duì)pdf 描述方式的不同,把貝葉斯估計(jì)方法分為參數(shù)化估計(jì)方法和非參數(shù)化估計(jì)方法兩種類型,并分別介紹。
在理想條件下,pdf 可以用一組固定的參數(shù)集合λ 表示,即p(xk|z1:k)=p(xk,λk),這時(shí),濾波過程簡(jiǎn)化為由參數(shù)λk-1及觀測(cè)量zk估計(jì)參數(shù)λk,KFM、HMM 就是2 種典型的參數(shù)化估計(jì)方法。
由于均值和方差2 個(gè)參數(shù)概括了高斯分布的全部特性,如果濾波過程中,每一時(shí)刻的pdf 都是高斯型的,可以用參數(shù)集合λ={m,P}完整地表示該函數(shù)。這樣,對(duì)pdf 的描述大大簡(jiǎn)化,使貝葉斯估計(jì)成為可能,KF 就是這一類估計(jì)方法。可以證明,若p(xk-1|z1:k-1)服從高斯分布,如果系統(tǒng)方程(2)、(4)滿足以下條件,則p(xk|z1:k)也服從高斯分布:vk-1、wk也服從高斯分布,分別對(duì)應(yīng)于方差Qk-1、Rk-1;函數(shù)fk(xk-1,vk-1)是xk-1、vk-1的線性函數(shù);函數(shù)hk(xk,wk)是xk、wk的線性函數(shù)。
此時(shí),動(dòng)態(tài)方程(2)和觀測(cè)方程(4)簡(jiǎn)化為
KF 算法的遞推過程可描述為:
其中:
N(x;m,P)表示變量x 服從均值為m,方差為P 的高斯分布。
上述KF 方法對(duì)于滿足條件的系統(tǒng),能在最小均方誤差意義下得到系統(tǒng)狀態(tài)的最優(yōu)估計(jì)。但是,在實(shí)際情況下,狀態(tài)方程和觀測(cè)方程往往是非線性的。對(duì)于f 和h 為非線性函數(shù)的情況,式(2)、式(4)不能再由式(8)、式(9)簡(jiǎn)單表示,只能用一些近似的線性化方法,把非線性函數(shù)轉(zhuǎn)換為線型函數(shù),然后利用線型濾波理論來處理。根據(jù)線性化方法的不同,這一類方法大致可分為擴(kuò)展的卡爾曼濾波方法(extended KF,EKF)和sigma 點(diǎn)卡爾曼濾波(sigma-point KF,SPKF)方法2 種。
2.1.1 擴(kuò)展的卡爾曼濾波
EKF 方法利用多維泰勒級(jí)數(shù)展開的一階截短,對(duì)非線性函數(shù)圍繞狀態(tài)的當(dāng)前估計(jì)值進(jìn)行線性化,即對(duì)于非線性函數(shù)y=g(x),作如下處理:
對(duì)于式(2)、(4)中f 和h 為非線性函數(shù)的情況,應(yīng)用截短的泰勒級(jí)數(shù)展開,用代替KF 算法中的Fk,Hk,則非線性濾波問題轉(zhuǎn)化為線性濾波問題,對(duì)應(yīng)的算法就稱為EKF 算法。
顯然,式(18)中對(duì)高階項(xiàng)的忽略,只有在零階項(xiàng)、一階項(xiàng)之和遠(yuǎn)大于其他高階項(xiàng)時(shí)才能成立;而且,EKF 方法在線性化過程中,僅僅在狀態(tài)的當(dāng)前估計(jì)值這一點(diǎn)上作泰勒展開,而完全或略了隨機(jī)變量x 的概率分布特性,這會(huì)對(duì)估計(jì)結(jié)果的一致性與準(zhǔn)確性帶來很大的影響,甚至導(dǎo)致濾波發(fā)散[13]。
2.1.2 sigma 點(diǎn)卡爾曼濾波
針對(duì)EKF 存在的缺陷,最近出現(xiàn)了一系列新的非線性濾波算法[14-17],這些算法無(wú)論是理論基礎(chǔ)還是實(shí)現(xiàn)形式,都顯示出很大的優(yōu)越性。Merwe[1]在統(tǒng)一的加權(quán)統(tǒng)計(jì)線性回歸(weighted statistical linear regression,WSLR)[18]理論基礎(chǔ)上,把它們歸結(jié)為SPKF 方法。
WSLR 提供了一種對(duì)隨機(jī)變量的非線性函數(shù)作線性化處理的有效方法,它通過在隨機(jī)變量的先驗(yàn)分布上抽取r 個(gè)采樣點(diǎn),對(duì)每一個(gè)采樣點(diǎn)作非線性轉(zhuǎn)換,再對(duì)r 個(gè)轉(zhuǎn)換值作線性回歸,從而求得所需的均值和方差。由于WSLR 考慮了隨機(jī)變量的概率分布特性,因而比泰勒展開方法誤差更小。
對(duì)非線性函數(shù)y=g(x),WSLR 需要在變量x 的分布上抽取r 個(gè)采樣點(diǎn)χi,i=1,…,r,并作變換γi=g(χi),定義:其中{wi}是r 個(gè)回歸權(quán)值,滿足
對(duì)應(yīng)一個(gè)非線性函數(shù),如何在隨機(jī)變量的先驗(yàn)分布上選取采樣點(diǎn),也稱sigma 點(diǎn),以及如何確定各點(diǎn)對(duì)應(yīng)的權(quán)值,成為一個(gè)關(guān)鍵問題。正是對(duì)這一問題的不同回答,導(dǎo)致產(chǎn)生無(wú)軌跡卡爾曼濾波(unscented kalman filter,UKF)[14]和中心差分卡爾曼濾波(central difference kalman filter,CDKF)[15,16]兩種不同的濾波方法。
UKF 方法對(duì)sigma 點(diǎn)及對(duì)應(yīng)權(quán)值的選取遵循以下原則:選取的sigma 點(diǎn)能夠捕獲隨機(jī)變量x 最重要的統(tǒng)計(jì)特性,并把sigma 點(diǎn)的選取問題轉(zhuǎn)化為以下的優(yōu)化問題:
其中〈χi,wi〉是全部的sigma 點(diǎn)及其權(quán)值集合。函數(shù)ξ(·)表示約束條件,C(·)是代價(jià)函數(shù),代價(jià)函數(shù)包含期望的統(tǒng)計(jì)特性,ξ(·)是必須滿足的條件。在UKF 中,由于一階、二階矩是必須捕獲得統(tǒng)計(jì)特性,約束條件可表示為
代價(jià)函數(shù)C(·)的確定視需要而定。如果要降低高階矩的估計(jì)誤差,則C(·)可選為ξ3(·)或ξ4(·);如果要盡可能減少sigma 點(diǎn)的數(shù)目,則C(·)=r。
基本的UKF 濾波方法常選取以下的sigma 點(diǎn)及其對(duì)應(yīng)權(quán)值:
其中λ=α2( L+K)-L 是標(biāo)度因子。α 決定sigma 點(diǎn)在周圍的散布情況,β 為表明狀態(tài)x 概率分布先驗(yàn)知識(shí)的參數(shù)。詳細(xì)說明可參閱文獻(xiàn)[19]。
由Ito 等提出的CDKF 方法,基于斯特靈(stirling)內(nèi)插公式,利用中心插分代替式(18)中泰勒展開中的一階、二階級(jí)數(shù)。即令
當(dāng)狀態(tài)x 是多維向量時(shí),通過線性變換作隨機(jī)解耦,使各狀態(tài)分量之間互不相關(guān),從而把式(30),式(31)擴(kuò)展到多維的情況。
利用中心差分方法進(jìn)行線性化時(shí),sigma 點(diǎn)集及對(duì)應(yīng)權(quán)值為
其中h 為區(qū)間長(zhǎng)度參數(shù),選擇合適的h 能減少非線性變換后均值與方差的估計(jì)誤差??梢宰C明[16],當(dāng)狀態(tài)x 服從高斯分布時(shí),
確 定 了 sigma 點(diǎn) 集 及 其 對(duì) 應(yīng) 權(quán) 值 S ={( χi,wi),i=1,…,r }以后,就得到SPKF 算法,由式(10)~式(12)及以下各式構(gòu)成:
除非特殊情況,如高斯分布、泊松分布,一般的概率密度函數(shù)難以用一組簡(jiǎn)單的參數(shù)準(zhǔn)確表達(dá)。這時(shí),常把真正的pdf p(xk|z1:k)投影到易于處理的概率分布q(x)上,即令p(xk|z1:k)=q(xk,λk),其中λk為函數(shù)q(x)的參數(shù),λk的選取應(yīng)該使兩函數(shù)p(x)、q(x)之間的Kullback-Leibler 距離最小,即
函數(shù)q(x)一般選作指數(shù)分布函數(shù)或者高斯分布函數(shù),當(dāng)q(x)選作一簇高斯分布函數(shù)的和,即選取λk= {(ai,mxk,i,Pxk,i)|i=1,…,M}時(shí),對(duì)應(yīng)的分布擬合算法就是高斯求和算法。此時(shí)
參數(shù)ai、mxk,i和Pxk,i確定以后,就可以通過M 個(gè)基本的卡爾曼濾波器并行濾波,對(duì)各自的狀態(tài)估計(jì)加權(quán)求和,得到所需的狀態(tài)估計(jì)值。在高斯求和濾波方法中,一個(gè)重要的問題是濾波過程中高斯混合項(xiàng)的個(gè)數(shù)隨時(shí)間呈指數(shù)增長(zhǎng),如何有效地減少混合項(xiàng)的個(gè)數(shù),使之保持在合理的數(shù)目?jī)?nèi),成為該濾波方法的核心內(nèi)容?;痉椒òㄉ釛壔旌享?xiàng)中權(quán)值較小的項(xiàng);合并相似項(xiàng)等[3,23]。
當(dāng)系統(tǒng)狀態(tài)變量是離散值時(shí),觀測(cè)量與狀態(tài)并不總是一一對(duì)應(yīng),而是通過一組概率分布相聯(lián)系,這時(shí)需要用HMM 來描述該系統(tǒng)。HMM 是一個(gè)雙重隨機(jī)過程,包括描述狀態(tài)轉(zhuǎn)移的基本的Markov 鏈隨機(jī)過程以及描述狀態(tài)和觀測(cè)量之間統(tǒng)計(jì)關(guān)系的隨機(jī)過程。它可以由以下參數(shù)描述:N 為Markov鏈中狀態(tài)的數(shù)目;M 為每個(gè)狀態(tài)所對(duì)應(yīng)的可能的觀測(cè)量的數(shù)目;π 為初始狀態(tài)概率向量,其中πi=P(x1=i),1≤i≤N;A為狀態(tài)轉(zhuǎn)移概率矩陣,A = (aij)N×N,其中a ij = P(xi+1=j|xi=i),1≤i,j≤N;B 為觀測(cè)值概率矩陣,B=(bjk)N×M,其中bjl=P(zk=l|xk=j),1≤j≤N,1≤k≤M。這樣,可以記一個(gè)HMM 為η={N,M,π,A,B}。
同樣,HMM 對(duì)pdf 的求解也可以進(jìn)行參數(shù)化處理,即令p(x1:k|z1:k)=p(x1:k,λk),其中λk=P(x1:k|z1:k,η)為隨機(jī)向量,表示狀態(tài)的離散分布。對(duì)HMM,在使用中需要解決以下3 個(gè)問題:
1)給定一個(gè)觀測(cè)序列z1:k和模型η,在最佳意義上確定一個(gè)狀態(tài)序列x1:k的問題,一般由遞推的Viterbi 算法[27]解決。
2)給定一個(gè)觀測(cè)序列z1:k和模型η,計(jì)算由模型η 產(chǎn)生出z1:k的概率,一般由前向—后向算法[28]求得。
3)給定一個(gè)觀測(cè)序列z1:k時(shí),確定模型參數(shù)η,使得P(z1:k|η)最大的問題。Baum-Welch 算法[26]利用遞歸的思想,使P(z1:k|η)局部最大,最后得到模型參數(shù)η。另外,用梯度方法也能達(dá)到類似目的。
實(shí)際應(yīng)用中,不是所有的pdf 都能用一組參數(shù)近似表示[24];在某些情況下,特別是當(dāng)狀態(tài)x 維數(shù)較高時(shí),難以得到積分式(5)的閉式解,這時(shí)需要尋求pdf 的其他表示方法。以SMC 為代表的新方法,不再尋求參數(shù)集合λ,而是用狀態(tài)空間中的一組隨機(jī)采樣點(diǎn),又稱粒子,逼近pdf,這一類方法被稱為非參數(shù)化方法。
SMC 基于隨機(jī)模擬技術(shù)近似Markov 過程中難以處理的概率分布,尤其適用于狀態(tài)連續(xù)且維數(shù)較高的系統(tǒng)。其核心思想是在任一時(shí)刻k,用N 個(gè)粒子及其相應(yīng)重要性權(quán)值表示連續(xù)的pdf p(xk|z1:k),并通過粒子及其權(quán)值計(jì)算狀態(tài)估計(jì)值。當(dāng)粒子個(gè)數(shù)趨于無(wú)窮大時(shí),Monte Carlo 模擬的概率密度函數(shù)等價(jià)于pdf,相應(yīng)的狀態(tài)估計(jì)值接近于最優(yōu)的貝葉斯估計(jì)。
設(shè)在k-1 時(shí)刻,pdf 近似為
其中δ(·)為沖激響應(yīng)函數(shù)。利用上面的表達(dá)式,積分式(5)可以表示為
這樣,貝葉斯估計(jì)中所有的連續(xù)函數(shù)的積分運(yùn)算都由容易處理的離散求和形式代替,從而得到pdf 的估計(jì)為
SMC 方法在濾波過程中,粒子重要性權(quán)值的方差隨時(shí)間持續(xù)增加,這使得濾波性能降低。經(jīng)過幾次遞推后,將導(dǎo)致粒子集合中只有一個(gè)狀態(tài)粒子的重要性權(quán)值較大,其余粒子權(quán)值為零,這種現(xiàn)象稱為粒子多樣性的喪失[1]。當(dāng)有效粒子數(shù)目太小時(shí),對(duì)pdf 的描述就不準(zhǔn)確,甚至導(dǎo)致濾波發(fā)散。選取合適的重要性概率密度函數(shù)(importance density)或重采樣方法,都能夠降低由于粒子多樣性喪失產(chǎn)生的粒子匱乏現(xiàn)象所造成的影響。
實(shí)際應(yīng)用中,先驗(yàn)性概率密度函數(shù)p(xk|xk-1)是使用最多的重要性概率密度函數(shù),但它沒有融入最新的觀測(cè)量所包含的信息,導(dǎo)致重要性權(quán)值方差太大,從而不能準(zhǔn)確描述pdf。Doucet 等[29]證明了最優(yōu)的重要性概率密度函數(shù)能使重要性權(quán)值的方差最小,并指出其形式為
但是,在實(shí)際應(yīng)用中,p(xk|xk-1,zk)的獲取與直接從pdf 中抽取樣本具有同樣的難度,因而只能尋求次優(yōu)的重要性概率密度函數(shù)。
擴(kuò)展的卡爾曼粒子濾波器[30](extended kalman particle filter,EKPF),在k 時(shí)刻的觀測(cè)量到達(dá)后,利用EKF 計(jì)算k-1時(shí)刻每一個(gè)粒子的在k 時(shí)刻對(duì)應(yīng)的均值和方差,然后,以此均值和方差為基礎(chǔ),構(gòu)造高斯分布函數(shù)作為新的重要性概率密度函數(shù),并從這一函數(shù)中抽取相應(yīng)的粒子。大量的應(yīng)用[31]顯示,該方法能改善粒子濾波器的性能。由于前面所述EKF 的缺陷,用SPKF 代替EKF 形成的新算法sigma 點(diǎn)粒子濾波器[17,32](sigma-point particle filter,SPPF)具有更好的性能。
重采樣方法提供了解決SMC 中,狀態(tài)估計(jì)性能急劇下降問題的另外一種途徑。它通過對(duì)粒子及其相應(yīng)權(quán)值表示的概率密度函數(shù)選擇性地重新采樣,消除權(quán)值較低的粒子,增加權(quán)值較高的粒子個(gè)數(shù)。經(jīng)常使用的重采樣方法包括殘差重采樣(residual resampling)、系統(tǒng)重采樣(systematic resampling)等[33,2]。
雖然重采樣過程能在一定程度上降低濾波性能退化的問題,它同時(shí)也帶來粒子來源路徑的多樣性降低,高權(quán)值粒子過分聚集的問題。平滑采樣方法[34](sampling smoothing method)通過給重采樣后的粒子附加獨(dú)立的偏差,以及增加采樣前粒子的個(gè)數(shù)來緩解這一問題。其他的采樣方法,也能改善濾波性能降低的問題,這些技術(shù)包括局部線性化方法、拒絕采樣方法、輔助粒子濾波、內(nèi)核平滑以及采用MCMC 等[30,33-37]。
SMC 的另外一個(gè)缺陷是當(dāng)系統(tǒng)狀態(tài)維數(shù)較高時(shí),所需采樣的粒子個(gè)數(shù)迅速增加,加大了濾波代價(jià),同時(shí)降低了粒子的采樣效率[38]。在有些情況下,狀態(tài)變量可以分割為兩部分,即xk=),其中可以被解析地邊緣化。這時(shí),可以使用普通的濾波方法,如KF、HMM,對(duì)濾波,同時(shí)利用PF 對(duì)濾波,這一技術(shù)稱為Rao-Blackwellisation[39],它能夠降低采樣空間的維數(shù),同時(shí)減少所需采樣粒子的個(gè)數(shù)。
自適應(yīng)粒子濾波器(adaptive particle filter,APF)[40]通過適時(shí)調(diào)整濾波中的粒子個(gè)數(shù),也達(dá)到降低計(jì)算量的目的。APF 在濾波中,適時(shí)地計(jì)算粒子集合所表示的pdf 與真實(shí)的pdf 之間的Kullback-Leibler 距離,自適應(yīng)地調(diào)整用于逼近pdf的粒子個(gè)數(shù),在同樣的濾波效果下,能夠降低計(jì)算代價(jià)。
無(wú)論是Rao-Blackwellisation 方法還是APF 方法,在減少計(jì)算量的同時(shí),都能夠改善PF 中粒子枯竭的現(xiàn)象。
本文介紹了一系列概率推理方法的理論基礎(chǔ)、應(yīng)用條件及特點(diǎn),并把它們統(tǒng)一于貝葉斯估計(jì)的框架之下。概括地講,對(duì)于Markov 條件下的濾波問題,HMM 是離散狀態(tài)估計(jì)的有效方法,KF 對(duì)線性、高斯條件下的連續(xù)狀態(tài)估計(jì)提供了最優(yōu)的解決方案,SMC 對(duì)非線性、非高斯問題的處理,顯示出良好的應(yīng)用前景。由于SMC 對(duì)問題的描述更接近問題的本源,它代表了貝葉斯估計(jì)未來的發(fā)展方向。
由于在認(rèn)識(shí)、改造自然的過程中,經(jīng)常會(huì)遇到隱含的、不確定性的問題,而概率推理方法,尤其是貝葉斯估計(jì),提供了一部分問題的解決方案,貝葉斯估計(jì)方法正受到越來越廣泛地關(guān)注,一系列重要的研究成果也在最近幾年涌現(xiàn)出來。關(guān)于貝葉斯估計(jì)方法近期內(nèi)可能的發(fā)展,主要有以下幾個(gè)方向:
1)KF 框架在非線性較弱的條件下,仍不失為處理非線性問題的一種簡(jiǎn)潔、有效的方法。在線性化方法的選擇上,除了傳統(tǒng)的泰勒展開,最近發(fā)展的斯特靈插值,也可以考慮巴德(Padé)逼近方法,形成基于巴德逼近的新的SPKF 方法,因?yàn)閷?duì)于相同階數(shù)的多項(xiàng)式,巴德逼近具有更高的精度。
2)粒子濾波方法是當(dāng)前研究的熱點(diǎn),結(jié)合其他濾波方法,提供更優(yōu)的重要性概率密度函數(shù);設(shè)計(jì)更優(yōu)的重采樣方法,減少重要性權(quán)值的方差,將繼續(xù)成為今后的研究重點(diǎn)。
3)基于隨機(jī)集合(Random set)理論的有限集合統(tǒng)計(jì)理論(finite set statistics,F(xiàn)ISST)[41-44],是貝葉斯估計(jì)理論的自然擴(kuò)展,能夠處理系統(tǒng)狀態(tài)的維數(shù)隨時(shí)間發(fā)生變化的貝葉斯估計(jì)問題,適用于處理多目標(biāo)跟蹤、定位與識(shí)別問題。特別是FISST 與SMC 方法的結(jié)合,是一個(gè)值得注意的研究方向。
[1]Merwe R V.Sigma-Point Kalman filters for probabilistic inference in dynamic state-space models[D].USA:School of Science & Engineering at Oregon Health & Science University,2004.
[2]Kitagawa G.Monte Carlo filter and smoother for non-Gaussian nonlinear state space models[J]. Journal of Computational and Graphical Statistics,1996(5):1-25.
[3]Kitagawa G.The two-filter formula for smoothing and an implementation of the Gaussian-sum smoother[J].Annals Institute of Statistical Mathematics,1994,46(4):605-623.
[4]Fong W,Doucet A,West M. Monte Carlo smoothing with application to audio signal enhancement[J].IEEE Transactions on Signal Processing,2001.
[5]Martinerie F and Forster P.Data association and tracking using hidden Markov models and dynamic programming[C]//Proceedings of IEEE International Conference on Acoustic,Speech and Signal Processing.San Francisco,USA:IEEE,1992.
[6]Rabiner L R.A tutorial on hidden Markov models and selected applications in speech recognition[J]. Proc. IEEE,1989,77(2):257-285.
[7]Rabiner L R,Juang B H.An introduction to hidden Markov models[J].IEEE Acoustic,Speech,Signal Processing Magazine,1986:4-16.
[8]Kalman R E.A new approach to linear filtering and prediction problems[J]. Transactions of the ASME-Journal of Basic Engineering,1960:82(D):35-45.
[9]Neal R. Markov chain sampling methods for Dirichlet process mixture models[J]. Journal of Computational and Graphical Statistics,2000:249-265.
[10]Saul L K,Jordan M I.Mixed memory Markov models: Decomposing complex stochastic processes as mixtures of simpler ones[J].Machine Learning,1999,37(1):75-87.
[11]Lerner U,Parr R.Inference in hybrid networks:Theoretical limits and practical algorithms[C]//Proc.of Uncertainty in Artificial Intelligence(UAI).[S.l.]:[s.n.],2001:310-318.
[12]Arulampalam M S,Maskell S.A tutorial on particle filters for online nonlinear/non-Gaussian Bayesian tracking[J].IEEE Transactions on Signal Processing,2002,50(2):174-188.
[13]Wan E A,Merwe R.The unscented Kalman filter for nonlinear estimation[C]//In Proceedings of IEEE Symposium on Adaptive Systems for Signal Processing Communications and Control.Lake Louise Canada:IEEE,2000:153-158.
[14]Julier S J,Uhlmann J K.Unscented filtering and nonlinear estimation[J]. Proceeding of the IEEE,2004,92(3):401-422.
[15]Ito K,Xiong K.Gaussian filters for nonlinear filtering problems[J].IEEE Transactions on Automatic Control,2000,45(5):910-927.
[16]N?rgaard M,Poulsen N,Ravn O.New developments in state estimation for nonlinear systems[J]. Automatica,2000(36):1627-1638.
[17]Merwe R,Wan E A.Sigma-point Kalman filters for probabilistic inference in dynamic state-space models[C]//Proceedings of the Workshop on Advances in Machine Learning.Montreal,Canada,2003.
[18]Schei T S. A Finite-difference method for linearization in nonlinear estimation algorithms[J]. Automatica,1997,33(11):2051-2058.
[19]西蒙·赫金.自適應(yīng)濾波器原理[M].鄭寶玉,譯.北京:電子工業(yè)出版社,2003:613-617.
[20]Minka T. A family of algorithms for approximate Bayesian inference[D].USA:MIT Media Lab,MIT,2001.
[21]Alspach D L,Sorenson H W.Nonlinear Bayesian estimation using Gaussian sum approximations[J].IEEE Transactions on Automatic Control,1972,17(4):439-448.
[22]Sorenson H W,Alspach D L.Recursive Bayesian estimation using Gaussian sums[J].Automatica,1971(7):465-479.
[23]Cowell R G,Dawid A P,Sebastiani P.A comparison of sequential learning methods for incomplete data[J].Bayesian Statistics,1996(5):581-588.
[24]Murphy K.Dynamic Bayesian networks:Representation,inference and learning[D]. USA: University of California,Berkeley,CA,July 2002.
[25]Streit R L and Barrett R F. Frequency line tracking using hidden Markov models[J].IEEE Transactions on Acoustic,Speech and Signal Processing,1990(38):586-598.
[26]楊行峻 遲惠生.語(yǔ)音信號(hào)數(shù)字處理[M].北京:電子工業(yè)出版社,1995:129-162.
[27]Forney G D. The Viterbi algorithm[J]. Proceeding IEEE,1973(61):268-278.
[28]Baum L E,Egon J A.An inequality with applications to statistical estimation for probabilistic functions of a Markov process and to a model for ecology[J].Bull.America Meteorol.Society,1967,73:360-363.
[29]Doucet A,Godsill S,Andrieu C.On sequential Monte Carlo sampling methods for Bayesian filtering[J].Statistical Computation,2000,10(3):197-208.
[30]de Freitas N,Niranjan M.Sequential Monte Carlo methods for optimization of neural network models[R].CUED/F-INFENG/TR328,Department of Engineering,University of Cambridge,1998.
[31]Doucet A,F(xiàn)reitas N,Gordon N. Sequential Monte-Carlo methods in practice[M].Springer-Verlag,2001.
[32]Liu J S,Chen R. Sequential Monte Carlo methods for dynamical systems[J].Journal of American Statistics Association,1998(93):1032-1044.
[33]Oudjane N,Musso C.Progressive correction for regularized particle filters information fusion[C]//Proceedings of the Third International Conference. FUSION 2000. Page(s):THB2/10-THB2/17.
[34]Gordon N,Salmond D,Smith A F M. Novel approach to nonlinear and non-Gaussian Bayesian state estimation[C]//IEE Proceedings on Radar and Signal Processing.UK:IEE,1993,140:107-113.
[35]Doucet A,Gordon N. Efficient particle filters for tracking manoeuvering targets in clutter target tracking: Algorithms and applications[J].IEE Colloquium,1999,11:4/1-4/5.
[36]Pitt M,Shephard Neil. Filtering via simulation: Auxiliary particle filters[J].Journal of the American statistical Association,1999,94(446):590-599.
[37]Andrieu Cand,Doucet A. Joint Bayesian model selection and estimation of noisy sinusoids via reversible jump MCMC Signal Processing[J]. IEEE Transactions on Acoustics,Speech,and Signal Processing,1999,47(10):2667-2676.
[38]Arnaud Doucet_ Murphy N.Rao-Blackwellised particle filtering for dynamic Bayesian networks[C]//Proceedings of the 16th Conference on Uncertainty in Artificial Intelligence.[S.l.]:[s.n.],176-183.
[39]Casella G. Rao-Blackwellisation of sampling schemes[J].Biometrica,1996,83(1):81-94.
[40]Fox D.KLD-sampling:Adaptive particle filters[J].In Advances in Neural Information Processing Systems,2001(14):713-720.
[41]Mahler R.Random sets:Unification and computation for information fusion—a retrospective assessment[C]//7th International Conference on Information Fusion. Stockholm,Sweden:FUSION,2004.
[42]Ba-Ngu Vo,Singh S,Doucet A. Sequential Monte Carlo methods for multi-target filtering with random finite sets[J].IEEE Transactions on Aerospace and Electronic Systems,2005.
[43]Mahler R. Multitarget Bayes filtering via first-order multitarget moments[J].IEEE Transactions on Aerospace and Electronic Systems,2003,39(4):1152-1178.
[44]Vihola M.Random Set Particle Filter for Bearings-only multitarget tracking[C]//Proceedings of SPIE in Signal Processing,Sensor Fusion,and Target Recognition XIV.Orlando,F(xiàn)lorida:Ivan Kadar,2005,301-312.