一種基于指令預測的目標跟蹤方法*

尤小泉，彭映杰

（1.成都電子機械高等專科學校 通信工程系，四川 成都 610031；2.成都信息工程學院 科技處，四川 成都 610225）

1 引言

運動目標的跟蹤在許多領域有著廣泛的應用，如國防安全、航空航天、安防監(jiān)視都有廣泛的應用價值。而視覺監(jiān)視系統(tǒng)中的運動目標跟蹤又有其自身的特點，最大的不同是：傳統(tǒng)的視覺系統(tǒng)都是二維系統(tǒng)，目標的空間位置只能在攝影機的二維平面（圖像平面坐標系）中得到反應，導致目標的世界坐標系（地平面坐標系）和圖像平面坐標系存在差異。而下一代智能視覺監(jiān)視系統(tǒng)是由協(xié)同工作的多攝像機所組成的，其最基本的特征是多攝像機的協(xié)同[1]，其工作原理是：一臺攝像機捕獲目標并實施跟蹤，與此同時，將該目標的位置信息通知監(jiān)視系統(tǒng)中的其他攝像機參與針對該目標的跟蹤、識別、行為分析等[2-3]。

2 相關工作分析

現(xiàn)有的視覺運動目標跟蹤的核心思想可以簡單描述為：檢測運動目標在圖像平面坐標系中的位置（如圖1），通過圖像平面坐標系和世界坐標系的關系估計運動目標在世界坐標系中的位置，通過預測的方法估計運動目標的軌跡。具體步驟為：

1）檢測運動目標，這一步驟一般采用幀差法、背景減法、光流場法和模板匹配等，其目的是檢測出運動目標在圖像平面坐標系中的位置[1，4]。

2）根據(jù)攝影幾何原理、攝像機坐標系、地平面坐標系（世界坐標系R）和圖像平面坐標系之間的關系，如圖1所示，將運動目標從二維空間向三維空間進行映射，其目的是得到運動目標的真實三維坐標[1，4-6]。

3）跟蹤、預測運動目標在世界坐標系中的運動軌跡[1-4]，然后調(diào)整攝像機傳動部件（云臺），使運動目標處于攝像機的中心附近[5-6]。

上述方法存在以下3個問題較難解決：

1）在步驟2）中，運動目標從二維平面向三維空間的映射存在一定困難，且計算量較大，如果在這過程中運動目標的三維坐標出現(xiàn)計算偏差將會影響系統(tǒng)跟蹤精度。

2）在步驟3）中，假設已經(jīng)得到運動目標的精確軌跡，那么需要調(diào)整攝像機的傳動部件，使運動目標處于攝像機的中心附近，但攝像機傳動部件的響應時間（主要表現(xiàn)為轉(zhuǎn)動速度）存在離散性，不同廠家的產(chǎn)品其轉(zhuǎn)動速度存在極大的差異，這就要求基于這種方案的智能系統(tǒng)需要預先知道傳動部件的響應時間，也就是該算法是依賴與攝像機傳動部件的響應時間的，這樣就影響了該智能算法的應用推廣。

3）在步驟3）中，調(diào)整攝像機位置的過程中需要根據(jù)目標與攝像機的相對位置計算攝像機的轉(zhuǎn)動角，當目標距離攝像機較遠時轉(zhuǎn)動角較小，反之較大。但是攝像機和目標之間的測量距離直接依賴于二維平面和三維空間的映射的精度。

問題1）和問題3）實質(zhì)在于二維平面到三維空間映射帶來的困難，即這種映射本身就存在解的多樣性，這就要求建立一種不依賴于該映射方法的新方法。另一方面，針對問題2），需要設計一種自適應算法，以降低算法對傳動部件響應時間的依賴性，進而提高算法的普適性。為解決以上問題，筆者提出一種基于指令預測的運動目標跟蹤的思想方法。

3 基于Kalman指令預測的自適應跟蹤系統(tǒng)

3.1 算法思想

文算法的核心思想是：在跟蹤的過程中不去直接預測目標在下一時刻出現(xiàn)的位置（x′，y′，z′），而是去預測攝像機在下一時刻可能的最佳狀態(tài)（r，θ，φ），其中r為攝像機捕獲目標的最佳焦距，φ為水平轉(zhuǎn)角，θ為垂直仰角，如圖2所示。

其中P點為運動目標，顯然攝像機的狀態(tài)和運動目標位置是一一映射的，并遵循以下映射關系

圖2 攝像機狀態(tài)示意圖

將所有攝像機狀態(tài)構成的空間記為攝像機的狀態(tài)空間Θ，顯然有以下性質(zhì)：

1）攝像機的任意狀態(tài)都滿足：（r，θ，φ）∈Θ，根據(jù)式（1），運動目標的P總可以映射到狀態(tài)空間Θ。

2）設Ω是世界坐標系R中的一條軌跡，Ω可以映射到狀態(tài)空間Θ，記為Ψ。

3）如果Ω在世界空間R是連續(xù)的，那么Ψ在狀態(tài)空間Θ也是連續(xù)的。

以預測狀態(tài)曲線Ψ來代替預測世界坐標系中軌跡Ω，可以通過向攝像機的傳動部件發(fā)出相應的指令，讓其處于這個預測的狀態(tài)，并且可以避免步驟2）中的坐標系轉(zhuǎn)換步驟，可以極大地降低算法的復雜度。

常用預測方法有兩點外推法、Kalman預測、擴展Kalman預測及粒子濾波器預測方法等。在測量噪聲和運動噪聲都滿足高斯分布且狀態(tài)更新表達式是線性的情況下，Kalman濾波是一種最優(yōu)的運動預測算法。它在導彈、飛機等機動目標的測量、控制等領域的應用已經(jīng)超過30年，近年來被應用于視覺圖像中運動目標的跟蹤[6-11]。運動目標跟蹤是一個典型的離散控制過程的系統(tǒng)，該系統(tǒng)可用線性隨機微分方程來描述，即

再加上系統(tǒng)的測量值

式（2）、式（3）中，X（k）是 k 時刻的攝像機狀態(tài)向量，即

其中攝像機的焦距r，水平轉(zhuǎn)角φ，垂直仰角θ，U（k）是k時刻對攝像機的控制量，即

A和B是系統(tǒng)參數(shù)，對于本模型取單位陣。Z（k）是k時刻的測量值，H是測量系統(tǒng)的參數(shù)，取單位陣。W（k）和V（k）分別表示過程和測量的噪聲，被假設成高斯白噪聲，它們的協(xié)方差矩陣分別是Q，R。

Kalman預測的迭代過程如下：

1）首先利用系統(tǒng)的過程模型來預測下一狀態(tài)的系統(tǒng)。假設現(xiàn)在的系統(tǒng)狀態(tài)是k，根據(jù)系統(tǒng)的模型，可以基于系統(tǒng)的上一狀態(tài)而預測出現(xiàn)在狀態(tài)

式中：X（k|k-1）是利用上一狀態(tài)預測的結(jié)果，X（k-1|k-1）是上一狀態(tài)最優(yōu)的結(jié)果，U（k）為現(xiàn)在狀態(tài)的控制量。

2）更新控制系統(tǒng)的協(xié)方差矩陣P

式中：P（k|k-1）是 X（k|k-1）對應的協(xié)方差矩陣，P（k-1|k-1）是 X（k-1|k-1）對應的協(xié)方差矩陣。

3）估算值 X（k|k）

其中，Kg為卡爾曼增益，表示為

4）更新k狀態(tài)下X（k|k）的協(xié)方差矩陣

式中：I為單位陣。

當系統(tǒng)進入 k+1 狀態(tài)時，P（k|k）就是式（5）的 P（k-1|k-1）。這樣，算法就可以自回歸的運算下去?？梢愿鶕?jù)預測得到 X（k|k），求得 U（k）=X（k|k）-X（k-1|k-1），由于 U（k）=[Δr Δθ Δφ]-1，就可以根據(jù) U（k）形成控制指令，使當前攝像機的狀態(tài)向最優(yōu)狀態(tài)逼近。

由式（1）可以發(fā)現(xiàn)，目標的空間坐標和攝像機的狀態(tài)是一一對應的，這就解決了運動目標跟蹤和三維重構問題。

對于初值的選取問題，由于Kalman預測有自回歸特性，一般X（0|0）取初始時刻攝像機的狀態(tài)。對于P，一般不要取[0]，因為這樣可能會令卡爾曼預測完全相信給定的X（0|0）是系統(tǒng)最優(yōu)的，從而使算法不能收斂，為了方便計算，P（0|0）取任意對角陣。

3.2 實驗結(jié)果及分析

本文實驗平臺是一個基于H.264壓縮標準的網(wǎng)絡攝像機，該網(wǎng)絡攝像機可以工作在多種模式下，實驗采用的分辨力為 352×288、幀率為 20 幀/秒（f/s）的模式，網(wǎng)絡攝像機可以通過一個RS-485串口控制云臺，云臺采用的是PELCO控制協(xié)議。網(wǎng)絡攝像機需要完成運動目標提取，預測云臺指令，發(fā)出云臺控制指令，從而控制云臺的狀態(tài)，即實現(xiàn)了運動目標的跟蹤。

在實際跟蹤過程中，由于調(diào)整攝像機焦距會顯著的影響目標在攝像機平面的位置，實驗中，目標在攝像機中心位置附近時才調(diào)整焦距。實驗結(jié)果如圖3所示（從左到右，從上到下，按時間先后順序排列，每幀圖像相差1 s）。

從圖3可以看出，隨著時間的推移，攝像機能夠很好地調(diào)整自身狀態(tài)，使其狀態(tài)逐漸逼近理想狀態(tài)，實驗證明了采用本文方法對運動目標的跟蹤是有效的。筆者對本文方法捕獲目標的速度做了統(tǒng)計，實驗結(jié)果如圖4所示。

4 多攝像機協(xié)同跟蹤

理論分析和實驗結(jié)果均表明，本文方法能夠有效地對運動目標實施跟蹤，而且能夠得到該目標在攝像機狀態(tài)空間Θ的軌跡Ψ，為多攝像機協(xié)同跟蹤中目標的位置信息交互提供了一種便捷的方法。

一般地，同一個目標在不同攝像機的狀態(tài)空間中具有不同坐標，這就需要將各攝像機的狀態(tài)空間Θ1，Θ2，…，Θn等建立起關聯(lián)，一種最簡單的辦法就是在系統(tǒng)部署的時候?qū)ο到y(tǒng)進行訓練，方式如下：

圖3 跟蹤實驗結(jié)果

1）安排一個典型目標進入多攝像機場景，讓所有攝像機記錄目標在其狀態(tài)空間參數(shù)（r1，θ1，φ1），（r2，θ2，φ2）， …，（rn，θn，φn），建立該點在各攝像機的關聯(lián)關系表；

2）重復步驟1），使得盡可能多的特征位置出現(xiàn)目標；

3）訓練完成，各個攝像機進入正常工作模式。

在正常工作模式中，一旦A攝像機捕獲目標，就將該目標在狀態(tài)空間ΘA中的坐標廣播到系統(tǒng)中去，系統(tǒng)中的B攝像機接到該消息后查找和A攝像機的關聯(lián)關系表就可以判斷是否需要協(xié)同跟蹤，而且初始坐標也可以根據(jù)關聯(lián)關系表估計得到。

5 結(jié)論

筆者提出了一種基于指令預測的運動目標跟蹤方法，在攝像機的狀態(tài)空間中求解運動目標的軌跡，解決了傳統(tǒng)算法難以解決的坐標系映射問題，通過直接對指令的預測可以很好地適應系統(tǒng)的響應時間。理論分析和實驗結(jié)果表明，在攝像機的狀態(tài)空間中對運動目標的跟蹤是一種可行的方法，具有一定的實用價值。

[1]COLLINS R T，LIPTON A J.Introduction to the special section on video surveillance[J].IEEE Trans.Pattern Analysis and Machine Intelligence， 2000， 22（8）:745-746.

[2]王素玉，沈蘭蓀.智能視覺監(jiān)控技術研究進展[J].中國圖象圖形學報， 2007，12（9）:1505-1514.

[3]QU Wei，SCHONFELD D.Real-time decentralized articulated mo tion analysis and object tracking from videos[J].IEEE Trans.Image Processing， 2007，16（8）:2129-2138.

[4]HU Weiming， XIAO Xuejuan， TAN Tieniu.Traffic accident prediction using vehicle tracking and trajectory analysis[J].Intelligent Transportation System，2003，11:220-225.

[5]STAUFFER C，GRIMSON W E L.Learning patterns of activity using real-time tracking[J].IEEE Trans.Pattern Analysis and Machine Intelligence， 2000， 22（8）:747-757.

[6]VEERARAGHAVAN H，MASSOUD O，PAPANIKOLOPOULOS N P.Computer vision algorithms for intersection monitoring[J].Trans.Intelligent Transportation Systems， 2003， 4（2）:78-89.

[7]MEDEIROS H，PARK J， KAK A.Distributed object tracking using a cluster-based Kalman filter in wireless camera networks[J].IEEE Journal of Selected Topics in Signal Processing， 2008，2（4）:448-463.

[8]強勇，焦李成，保錚.動態(tài)規(guī)劃算法進行弱目標檢測的機理研究[J].電子與信息學報， 2003（6）:721-727.

[9]牛軼峰，沈林成.基于變形模板的多目標識別與定位[J].電子與信息學報， 2006（6）:1026-1030.

[10]KIRUBARAJAN T，BAR-SHALOM Y.Probabilistic data association techniques for target tracking in clutter[J].Proceedings of the IEEE，2004， 92（3）:536-557.

[11]LUO Ruijiang， LI Liyuan,HUANG Weimin， et al.Multi-strategy object tracking in complex situation for video surveillance[J].IEEE International Symposium on Circuits and Systems， 2008（5）:2749-2752.