一種基于多特征融合的自適應(yīng)目標(biāo)跟蹤策略

劉 杰（廣西經(jīng)濟(jì)管理干部學(xué)院，廣西 南寧 530007）

一種基于多特征融合的自適應(yīng)目標(biāo)跟蹤策略

劉 杰
（廣西經(jīng)濟(jì)管理干部學(xué)院，廣西 南寧 530007）

為了提升目標(biāo)物體的跟蹤性能，分析了跟蹤系統(tǒng)的不足之處，針對多變場景中跟蹤目標(biāo)特征弱化問題，采用了多特征融合的跟蹤模式，并設(shè)計了場景識別、多特征融合策略和特征學(xué)習(xí)模塊以改善目標(biāo)跟蹤系統(tǒng)的跟蹤性能，實驗表明該方法對多變場景的跟蹤性能具有一定的改善作用。

目標(biāo)跟蹤；特征融合

隨著視覺監(jiān)控場景的日趨多樣化，智能視覺檢測系統(tǒng)需要應(yīng)對越來越復(fù)雜和實時變化的跟蹤場景，這對目標(biāo)跟蹤系統(tǒng)的實時性需求、跟蹤效果的設(shè)計和實現(xiàn)提出了巨大的挑戰(zhàn)。目標(biāo)跟蹤系統(tǒng)是智能視覺處理系統(tǒng)中至關(guān)重要的一環(huán)，其效果的好壞直接影響到最后的目標(biāo)物體位置的判定結(jié)果。隨著軟硬件水平和嵌入式芯片的處理能力的不斷攀升，目標(biāo)跟蹤系統(tǒng)的研究和設(shè)計也從單目標(biāo)的跟蹤過渡到多目標(biāo)的跟蹤，從穩(wěn)定單一場景的研究轉(zhuǎn)向多變復(fù)雜場景的研究。

但在多變的復(fù)雜場景下，要獲得較好的跟蹤效果存在一定的困難。其中的困難有：a.場景變化條件下，目標(biāo)特征呈現(xiàn)出不穩(wěn)定性，這將極大的影響了跟蹤的效果；b.場景變化條件下，多個目標(biāo)有可能會形成相互干擾，比如目標(biāo)重疊遮擋等。對于A類問題，多數(shù)研究人員采用多特征的融合策略來解決，而對于B類問題，研究人員普遍采用具有預(yù)估性能的跟蹤框架。但這些方法都只針對特定的場景和特定的跟蹤目標(biāo)，解決的問題域相對較狹小。因此，如何針對多變場景的目標(biāo)跟蹤問題，在視覺跟蹤系統(tǒng)的設(shè)計上加入自適應(yīng)修正補(bǔ)償與場景適應(yīng)能力，對目標(biāo)跟蹤領(lǐng)域的相關(guān)問題的解決具有重要意義。

1 場景識別

足夠穩(wěn)定的跟蹤系統(tǒng)在設(shè)計上一定不會避開場景的識別問題，在常規(guī)的標(biāo)準(zhǔn)場景下的某些跟蹤算法設(shè)計能夠取得非常好的效果，但到了非常規(guī)的多變場景有時候會糟糕的一塌糊涂。根據(jù)產(chǎn)生跟蹤差錯的原因，可將的變化場景歸結(jié)為由于外部原因所造成的（非跟蹤物體和干擾物）變化場景和跟蹤物體或干擾物造成的變化場景兩類。跟蹤系統(tǒng)應(yīng)能根據(jù)場景的變化適時的調(diào)節(jié)自身的跟蹤策略來跟蹤物體，因此穩(wěn)定的跟蹤系統(tǒng)應(yīng)具有場景識別能力。

1.1 非跟蹤物體或干擾物造成的變化場景

一般這樣的場景屬于外部的因素干擾居多，比如天氣變化造成的光照變化，如白天進(jìn)入黑夜，雨雪天氣等干擾。圖1描述了全天候車輛跟蹤系統(tǒng)從白天到黑夜一段時間的灰度變化曲線。

圖1 車輛跟蹤系統(tǒng)白天到傍晚的灰度變化圖

對于此類具有較為平穩(wěn)性質(zhì)的光照變化，可采用投票策略來識別場景的光照變化情況。以平均一定數(shù)量的幀數(shù)統(tǒng)計其平均灰度值，如果達(dá)到某個限定值，就在系統(tǒng)中切換到對應(yīng)的場景，以此來實現(xiàn)場景的識別問題。

圖2 投票策略實現(xiàn)場景識別

對于雨雪天氣，要考慮如何識別形成干擾特征，比如通過檢測一定數(shù)量的問題幀數(shù)畫面，投票統(tǒng)計前景運動小斑塊的數(shù)量值，如高于一定的閾值則可以場景轉(zhuǎn)換為問題場景，在問題場景的跟蹤策略要對圖像進(jìn)行若干預(yù)處理來進(jìn)行降噪處理。

圖3 全天候跟蹤系統(tǒng)白天到傍晚的前景斑塊數(shù)量變化圖

1.2 遮擋場景

遮擋場景的識別是目前較難解決的問題之一，由于遮擋事件具有一定的偶然性，且會貫穿入整個全天候跟蹤時段，因此投票策略難以對偶爾出現(xiàn)的單個物體被遮擋的事件進(jìn)行識別。但對于特定的遮擋場景，比如高峰車流量的擁堵，投票策略依然可以對這樣的場景進(jìn)行針對性的甄別。首先要對產(chǎn)生的遮擋事件進(jìn)行標(biāo)記，在對目標(biāo)物體跟蹤過程，如果產(chǎn)生特征跟蹤丟失的事件，在進(jìn)行跟蹤補(bǔ)償和跟蹤特征框架內(nèi)切換后，顯示出目標(biāo)物體難以繼續(xù)跟蹤或弱化的現(xiàn)象，投票系統(tǒng)將對這樣的特殊事件進(jìn)行標(biāo)記，此時可認(rèn)為跟蹤物體的跟蹤顯著度下降，當(dāng)大量的類似事件在同一時段發(fā)生且排除其他的光照場景，那么投票系統(tǒng)可將其甄別為擁堵事件造成了大規(guī)模的遮擋，進(jìn)入遮擋場景的跟蹤模式。

2 多變場景下的跟蹤特征融合策略

2.1 全天候多變環(huán)境下的多特征提取

全天候場景下的跟蹤系統(tǒng)應(yīng)能在系統(tǒng)實時時間的允許下盡可能的提取被跟蹤物體的特征來跟蹤物體。常見的特征有：點特征、顏色、輪廓、小波、邊緣、不變矩等。點特征跟蹤是從目標(biāo)區(qū)域中提取出一些個特征點，這些特征點在目標(biāo)的運動過程中具有不變性。對這些點集進(jìn)行跟蹤從而達(dá)到能對整個目標(biāo)進(jìn)行跟蹤。特征點的提取方法有:susan算子、harris算子等。跟蹤的方法主要是對相鄰的兩幀的特征點做相似度匹配，比較常用的是KLT算法，利用多尺度圖像進(jìn)行光流運算達(dá)到快速匹配的目的。顏色特征的提取要采用塊劃分的思想，通常配合直方圖工具來描述顏色特征，在光照多變場合，顏色特征的會隨光照的變化而具有不穩(wěn)定性。邊緣與輪廓特征跟蹤主要是通過檢測物體的外部邊緣輪廓與背景的差異來定位物體的有效位置，例如水平集法和snake模型等。目標(biāo)物體的小波特征對于幾何變形、亮度變化以及噪聲不敏感。這種特征屬于目標(biāo)的高層特征，具有很強(qiáng)的語義性質(zhì)，并符合人眼的特性。文獻(xiàn)[5]使用sobel邊緣檢測算子和Gabor小波特征檢測算子對運動目標(biāo)進(jìn)行跟蹤，讓跟蹤器能夠適應(yīng)尺度和角度上的變化。文獻(xiàn)[11]使用一種小波目標(biāo)網(wǎng)絡(luò)(GWN)來描述運動物體的小波特征，配合使用粒子濾波跟蹤器來對運動物體進(jìn)行跟蹤。

多變場景下，跟蹤特征的提取應(yīng)根據(jù)場景的特定性，去盡量提取抗干擾能力強(qiáng)，易于提取的跟蹤特征。表1列舉了各個常用特征的算法特性以及抗干擾特性的比較。

表1 不同特征的跟蹤特性比較

2.2 跟蹤框架算法選擇

在確定跟蹤特征后，還需要確定采用哪一種跟蹤框架對提取的特征進(jìn)行跟蹤。目前常用的跟蹤框架方法有模板匹配法、MeanShift/CamShift、卡爾曼濾波、粒子濾波等。模板匹配法具有運算簡單直觀的優(yōu)點，但固定的模板使得抗干擾能力較差，對于剛體的旋轉(zhuǎn)、光照變化、物體尺寸變化適應(yīng)力較差，目標(biāo)自身的特征發(fā)生變化后使得該法不穩(wěn)定，不具備抗遮擋能力。適應(yīng)于目標(biāo)運動形式比較簡單、攝像機(jī)運動范圍不大、目標(biāo)特征不存在較大變化的情況。MeanShift/CamShift算法主要依賴目標(biāo)本身成像外觀特征統(tǒng)計，比如(顏色直方圖等)，不需要前景檢測器的支持，算法具有一定的魯棒性，一定程度上能適應(yīng)目標(biāo)形變和部分遮擋問題。Kalman Filter(卡爾曼濾波)算法作為運動預(yù)估器一般要配合某種跟蹤算法(比如均值漂移)來做運動估計，能夠減少特征匹配的搜索空間，能夠?qū)€性系統(tǒng)作出正確估測，其缺點是對于非線性估計或非高斯估計會失效。Partical Filter(粒子濾波)算法的跟蹤性能依賴目標(biāo)的特征統(tǒng)計，具有較好的跟蹤魯棒性，能夠適用于非線性系統(tǒng)的估計問題，在抗遮擋性能上具有良好的表現(xiàn)。但粒子貧化的問題必須使用重采樣方法來解決。

表2 不同跟蹤框架特性比較

2.3 特征融合策略

由于某些特殊的場景處在不斷變化中，要獲得更好的跟蹤性能，只采用單一的跟蹤特征難以對目標(biāo)形成穩(wěn)定的跟蹤。因此采取的做法是將跟蹤特征有機(jī)結(jié)合起來。

假設(shè)在 t時刻，特征檢測模塊檢測到目標(biāo)物體特征向量V=[v1v2v3L]，在跟蹤初始化時給定各個特征值賦予一定的權(quán)重Q=[q1q2q3L]，其中Q已經(jīng)歸一化，跟蹤過程通過特征顯著度的檢測來控制跟蹤特征的比重融合權(quán)值，對于在目前場景跟蹤性能好的特征，給其賦予較高的權(quán)重，對于在當(dāng)前場景跟蹤性能差的特征，則給其賦予較低的權(quán)重。跟蹤框架將在未來數(shù)幀通過特征權(quán)重來確定最終目標(biāo)物體的估計位置，并采取一定的補(bǔ)償策略來修正目標(biāo)物體的跟蹤位置實現(xiàn)穩(wěn)健的跟蹤。

圖4 特征權(quán)重分配

因此，多特征融合自適應(yīng)目標(biāo)跟蹤策略可描述為以下幾個步驟：（1）前景檢測系統(tǒng)在圖像初始幀檢測到目標(biāo)物體，然后跟蹤系統(tǒng)調(diào)用各個特征檢測子對目標(biāo)物體進(jìn)行特征提取，獲得目標(biāo)物體的特征向量V；（2）對下一幀圖像進(jìn)行特征跟蹤匹配，同時獲得新的特征向量描述 V'，計算特征顯著度T= φ(V, V ')=[φ(v, v' )φ(v, v ') L ]=[t tt L]，根據(jù)11 22 123特征顯著度向量來確定新的融合權(quán)值向量Q；（3）在第2步進(jìn)行的同時，投票系統(tǒng)也在運作，對若干幀數(shù)的情況進(jìn)行投票，通過投票結(jié)果獲取當(dāng)前的場景，如果場景發(fā)生變化，那么將更新融合權(quán)值向量 Q = Q'；（4）目標(biāo)軌跡分析模塊將重新對目標(biāo)物體的融合跟蹤結(jié)果進(jìn)行分析，并進(jìn)行反饋修正。具體步驟流程如圖5。

圖5 特征跟蹤融合修正策略

2.4 特征跟蹤學(xué)習(xí)策略

一個足夠穩(wěn)健的跟蹤系統(tǒng)，應(yīng)該具有一個能夠自學(xué)習(xí)的模塊以增強(qiáng)對環(huán)境的適應(yīng)能力。

目前大部分跟蹤系統(tǒng)采用監(jiān)督學(xué)習(xí)的方式對目標(biāo)物體進(jìn)行跟蹤，監(jiān)督學(xué)習(xí)主要通過對大量的離線樣本集進(jìn)行反復(fù)訓(xùn)練，來獲得較好的經(jīng)驗?zāi)Ｐ?，具有速度快，收斂性好的特點。

由于在多變場景的跟蹤過程中，對目標(biāo)特征的提取和甄別會存在分類難度大的問題，因此，應(yīng)在跟蹤系統(tǒng)中加入對特征的學(xué)習(xí)模塊，以增強(qiáng)目標(biāo)特征的分類、甄別能力。跟蹤的同時，可對目標(biāo)物體獲取大量的樣本，使用神經(jīng)網(wǎng)絡(luò)或adaboost方法通過對特征樣本反復(fù)的離線訓(xùn)練，建立樣本模型，該模型可為跟蹤系統(tǒng)的場景特征分類、目標(biāo)特征分類和特征顯著度量化描述提供更為精確的知識描述。具體框架如圖6所示：

圖6 離線學(xué)習(xí)為特征分類提供依據(jù)

3 實驗分析

為分析出跟蹤融合策略的實施效果，從車輛全天候場景中挑選出過渡場景（白天-夜晚過渡），采用多特征融合策略對車輛進(jìn)行跟蹤。視頻幀尺寸為300×200。在各個時段的對車輛特征進(jìn)行提取，白天在正常光照的能見度下，可提取車身輪廓和點特征，在傍晚時段，能見度開始下降，難以提取到較好的跟蹤點，而以此同時有部分車輛開始打開車燈，因此系統(tǒng)自動將特征權(quán)重及時調(diào)整轉(zhuǎn)而對車燈進(jìn)行跟蹤，到夜晚時段能見度達(dá)到最低值，此時車身輪廓與背景混淆不清，系統(tǒng)通過特征顯著度判斷將輪廓特征權(quán)重設(shè)置到最低值。

表3 過渡時段車輛樣本的特征提取選取

表 4是采用多特征融合模式和單特征模式對過渡時段的跟蹤比較結(jié)果。從實驗結(jié)果可明顯看出，由于采用的單特征跟蹤在過渡場景，特征顯著度下降后，會產(chǎn)生明顯的跟丟和多檢現(xiàn)象，而采用多特征融合策略，并加入場景識別后，跟蹤的特征值發(fā)生轉(zhuǎn)移，從而持續(xù)的獲得穩(wěn)定的跟蹤，中間跟丟的幾輛車是由于投票系統(tǒng)需要幀數(shù)支持和場景切換的滯后性造成，在整個車輛總數(shù)中僅占很小的一部分，幾乎可以忽略不計。

表4 過渡時段跟蹤效果比較

4 結(jié)論與展望

本課題在原有跟蹤算法的基礎(chǔ)上，探索了多特征融合自適應(yīng)的跟蹤策略，并加入場景識別策略和特征顯著度對多特征融合權(quán)值進(jìn)行修正，并在后續(xù)加入了學(xué)習(xí)策略來提高特征分類的魯棒性能，實驗結(jié)果表明該策略對多變場景的跟蹤性能具有一定的改善作用，對多目標(biāo)跟蹤系統(tǒng)的設(shè)計具有一定的現(xiàn)實意義。由于離線學(xué)習(xí)策略需要一定的時間進(jìn)行人工干預(yù)，今后研究工作要考慮如何采用在線學(xué)習(xí)方式增強(qiáng)學(xué)習(xí)的智能性。

[1] Burt E J.,Yen C.,Xy X.Local Correlation Measures for Motion Analysis:a Comparmive.Study,Proceedings of IEEE Conference on Pattern Recognition and Image Processing Las Vegas:IEEE,1982:269-274.

[2] Object tracking in image sequences using point features. Pattern Recognition,2005,38(1):105-113.

[3] Lucas B.,Kanade T.An iterative image registration technique with an application to stereo vision, Proceedings of the International Joint Conference on Artificial Intelligence, 1981:674-679.

[4] Geodesic Active Contours and Level Sets for the Detection and Tracking of Moving Objects. IEEE Transactions on Pattern Analysis & Machine Intelligence,2000,22(3):266-280.

[5] Gabor小波目標(biāo)特征提取和跟蹤方法的研究[J].光電工程,2004,31(s1):26-29.

[6] 基于擴(kuò)展目標(biāo)的不變矩跟蹤算法[J].強(qiáng)激光與粒子束,2002, 14(1):6-10.

[7] Robert T. Collins. Mean-shift Blob Tracking through Scale Space[C].IEEE Computer Society Conference on Computer Vision & Pattern Recognition IEEE Computer Society Conference on Cvpr,2003:234-234.

[8] EA Wan,dMR Van,The Unscented Kalman Filter for Nonlinear Estimation[C].Signal Processing,Communications,and Control Symposium,2000.

[9] MZ Islam,CM Oh,CW Lee.Video Based Moving Object Tracking by Particle Filter[J].International Journal of Signal Processing Image Processing & Pattern Recognition,2009,2(1).

[10] Active models for tracking moving objects. Pattern Recognition, 2000,33(7):1135-1146.

[11] 姚劍敏.粒子濾波跟蹤方法研究[D].長春:中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所,2004.

[12] 高丙坤,李文超,王帥.一種改進(jìn)的粒子濾波跟蹤算法[A]//第二十九屆中國控制會議論文集[C].北京:中國自動化學(xué)會控制理論專業(yè)委員會,2010.

A kind of adaptive object tracking strategy base on multi-feature integration

In order to promote performance of object tracking system, we analyzed the deficiencies of the tracking system, according to the phenomenon of tracking object feature reduction in the complex scene. By the way of multi-feature integration method , we have design the module of scene recognition, multi-feature integration and feature learning strategy to improve the tracking system, the result proved the validity of this strategy and the improvement to the object tracking performance in complex scene.

object tracking; feature integration

TP391.4

A

1008-1151(2016)11-0009-04

2016-10-11

廣西高?？茖W(xué)技術(shù)研究項目“多變場景下的特征融合目標(biāo)跟蹤算法的研究”（KY2015LX566）；廣西高等學(xué)校高水平創(chuàng)新團(tuán)隊“中國－東盟物流物聯(lián)網(wǎng)關(guān)鍵技術(shù)研究”（桂教人[2014]65號）。

劉杰（1982－）, 男, 廣西經(jīng)濟(jì)管理干部學(xué)院計算機(jī)系工程師, 碩士，研究方向為信息系統(tǒng)。