李一波，張 琦

(沈陽航空航天大學 自動化學院，沈陽 110136)

?

基于TWH與FB-error約束的均值漂移無人機跟蹤算法

李一波，張 琦

(沈陽航空航天大學 自動化學院，沈陽 110136)

針對無人機跟蹤過程中目標遮擋和目標背景變化等因素導致的跟蹤失敗現(xiàn)象，提出一種MTF(Mean-shift by TWH and FB-error)跟蹤算法。首先，在Mean-shift跟蹤框架下引入目標加權直方圖(TWH:Target-Weighted Histogram)描述目標，即在跟蹤過程中，用目標的局部背景來削弱所有區(qū)域的內部背景特征，使目標特征突出；其次，添加FB-error約束，在目標被部分遮擋時，通過使用FB-error相關加權函數把目標當前位置的預測結果與Mean-shift矢量計算出的位置結果聯(lián)合起來估計目標在t時刻的最終位置。實驗表明，此跟蹤算法在跟蹤精度上有較大突破。

UAV；跟蹤；均值漂移算法；向前向后誤差算法

無人機編隊飛行(CFF)可以提高 UAV 群體的使用效率，和單機飛行相比，其執(zhí)行任務的成功率和抗突發(fā)事件的能力高很多。UAV在執(zhí)行編隊飛行任務過程中，運用攝像機采集隊列前方UAV影像，并對其進行跟蹤，能夠保證編隊的隱蔽性和安全性。盡管許多研究者提出了優(yōu)秀的目標跟蹤方法，這些方法亦可以用于UAV跟蹤，然而目標背景可變性和目標部分或全部被遮擋等因素對目標跟蹤的穩(wěn)定性影響很大，開發(fā)一個魯棒的跟蹤算法仍較困難。

Mean-shift跟蹤框架下的在線選擇方法的核心是選擇適當的特征來區(qū)分每個像素是屬于目標還是背景。Collins等人[1]提出通過在線選取最佳的RGB顏色線性組合特征的目標跟蹤算法，屬于單特征跟蹤的范疇。Liang等人[2]在Collins的基礎上通過計算跟蹤的貝葉斯誤差率來選擇最佳的跟蹤特征。Kwolek[3]提出用多種顏色直方圖取代線性組合RGB來改進Mean-shift跟蹤算法。然而，這些算法的缺點是僅限用于目標背景沒有很大改變的情況，并且在目標被遮擋的情況下均失效。背景加權方法[4-5]可看作是在線選擇方法的轉化，這些方法的基本思想都是考慮背景變化，設法減弱內部背景特征，或者使目標特征更明顯、跟蹤更精確。Comaniciu等人[6]提出背景加權直方圖(BWH)，賦予目標區(qū)域和候選區(qū)域的權重來使目標更明確。然而，Ning等人[7]提出矯正背景加權直方圖(CBWH)，證明[6]中只有目標直方圖的加權起作用，而候選直方圖無效。文獻[6]和[7]中的缺點均為假設目標區(qū)域和候選區(qū)域共享相同背景，然而事實上這些區(qū)域有著自己的局部背景，即每個區(qū)域周圍的背景均不同(或逐幀不同)，因此需進行分辨。

Mean-shift跟蹤算法只專注于構建一種自適應目標模型而忽略周圍環(huán)境(背景)，且不能解決目標遮擋問題，因此很難達到較好的跟蹤效果。基于上文分析，一種MTF(Mean-shift by TWH and FB-error)跟蹤算法被提出。該方法能很好地解決上述跟蹤問題：其一，旨在把局部背景合并到目標模型中，即賦予目標模型新的權重，該權重表示每個像素屬于目標的概率，且屬于目標的像素權重大于內部背景的，可幫助削弱內部背景特性使目標特征更加突出；其二，基于forward-backward一致性假設，即正確的跟蹤時間流可逆，添加FB-error約束(規(guī)定向前跟蹤軌跡與向后跟蹤軌跡差距為FB-error，其值越小表明跟蹤越準確)，以改進傳統(tǒng)的Mean-shift跟蹤算法，使跟蹤過程更平滑，可更好地解決短期遮擋問題。

1 MTF跟蹤算法

1.1 Mean-shift算法

給定d維空間Rd的n個樣本點，i=1，…，n，在空間中任選一點x，Mean-shift向量的基本形式定義如式(1)所示。

(1)

其中Sk是一個半徑為h的高維球區(qū)域，即滿足以下關系的y點的集合。

Sk(x)={y:(y-xi)T(y-xi)

K表示在這n個樣本點xi中有K個點落入Sk區(qū)域中。(xi-x)是樣本點xi(落入球中的點)對于選定參考點x(球心)的位置偏移量。Mean-shift 向量Mh(x)所表示的意義即為高維空間中K個樣本點xi相對于參考點x的偏移向量求和的過程。

從(1)式中可以知道，Sk區(qū)域的采樣點xi，無論選取的參考點x離其遠近，對最終的Mean-shift 基本向量Mh(x)的影響是一致的，而這樣權重一致形式的一個弊端就是參考點收斂到最終結果時速度比較慢。一般來說，采樣點越靠近參考點對估計其周圍的統(tǒng)計就越有價值，因此需要對不同的偏移向量給予不同的權重，常用的Mean-shift 擴展形式如式(2)所示。

(2)

1.2 采用TWH的Mean-shift跟蹤算法

(3)

(4)

C2是歸一化常數，h是核函數的帶寬，也是跟蹤窗口的半徑。

p(y)和q的相似性由Bhattacharyya系數ρ表示，目標跟蹤則被定義為尋找一個有意義的位置y使得ρ(p(y),q)達到極大值，如式(5)所示。

(5)

ym定義為前一幀目標所在位置，通過pμ(ym)對一階泰勒展開，我們得到式(6)。

(6)

其中

(7)

為得到式(5)的解，式(6)的第二項需最大化。特別注意，在(6)中第一項是獨立于y的，第二項是關于輪廓函數k(·)的核密度項，則其最大值可以通過Mean-shift定理獲得，如式(8)所示。

(8)

(9)

權重vi表示每個像素屬于目標的概率。屬于目標的像素權重大于屬于內部背景的像素權重。因此，引入該權重可以幫助削弱內部背景特征使目標特征更加突出。

假設在一個集中i個像素的小局部背景Ωi(e.g.,3×3)里，權重vj(i)是一個原始輸入圖像Ij(i)的線性變換，如式(10)所示。

vj(i)=wiIj(i)+bi?j(i)∈Ωi

(10)

其中wi和bi是在小局部區(qū)域Ωi(e.g.,3×3)中假定為常數的線性系數。理論上，總回歸誤差如式(11)所示。

ε(v)=vTLv

(11)

其中L是構造圖像I的拉普拉斯算子矩陣?；谇耙粠母櫧Y果我們可以獲得一個估計的權重v，如式(12)所示。

(12)

(13)

圖1 導引濾波器權重計算示例

圖1(a)為輸入幀，圖1(b)中內部矩形框是目標區(qū)域，外部矩形框為其局部背景，圖1(c)顯示了執(zhí)行引導濾波器后對應的權重地圖。結合(7)權重wi計算如式(14)所示。

(14)

式(7)和式(14)權重的計算結果相似，主要區(qū)別是直方圖的定義。

在TWH中目標區(qū)域和候選區(qū)域把自己的局部背景加入其模型中，達到使目標特征突出這一目標，而在CBWH中目標區(qū)域與候選區(qū)域共享相同的背景。因此，我們的跟蹤算法在背景變化的情況下更魯棒。

在TWH中目標區(qū)域和候選區(qū)域把自己的局部背景加入其模型中，達到使目標特征突出這一目標，而在CBWH中目標區(qū)域與候選區(qū)域共享相同的背景。因此，我們的跟蹤算法在背景變化的情況下更魯棒。

1.3 FB-error約束下的Mean-shift跟蹤算法

在跟蹤過程中若目標被遮擋，(8)式計算的Mean-shift向量可能不正確，跟蹤算法往往突然失敗。Zdenek Kalal在文獻[9]中基于前后一致性假設，即正確跟蹤不依賴于時間流的方向，提出了一種新概念Forward-Backward Error，可以很好解決遮擋問題。在跟蹤中添加FB-error約束，forward-backward評價方案以及相應的MTF跟蹤算法被提出。

在算法上，forward-backward評價包括以下兩個步驟，如圖2所示。

圖2 forward-backward評價步驟

(15)

(16)

來評估目標被跟蹤的情況。

(17)

其中Γ={t-1,t-2,...,t-N}(N實驗值為20)是歷史時刻,Δyτ=yτ-yτ-1，通過medτ∈Γ(·)獲取中值。

(18)

其中g(εt)是由BF-errorεt決定的加權函數，即如式(19)所示。

(19)

參數ξ是臨界值，主要取決于移動目標的尺寸和速度?；诖罅繉嶒灥贸靓?10可獲得令人滿意的結果。

(20)

MTF跟蹤算法的主程序算法流程如圖3所示，且權重由(14)算出。

2 仿真結果

仿真部分通過對MTF跟蹤算法與經典Mean-shift跟蹤算法以及CBWH算法進行比較來說明MTF的優(yōu)化之處。在MTF中，RGB顏色空間被用作特征空間且量化成16×16×16bins。在引導濾波器[8]中窗口大小設置為10，且正則參數設定為10-4。

2.1 定性比較

實驗中，我們的目標是滑行起飛的無人機，且過程中被人遮擋。三種方法比較結果如圖4所示。由于跟蹤目標被人遮擋，所以導致了經典Mean-shift算法和CBWH的失敗，而MTF則跟蹤效果良好。

圖3 MTF算法流程圖

圖4 經典Mean-shift、CBWH、MTF跟蹤效果對比

2.2 定量比較

實驗中采用位置誤差Pe定量地評價跟蹤精度，表示計算出來的目標中心位置與被跟蹤目標的實際中心位置之間的距離，即如式(21)所示。

(21)

經過一幀一幀對比，用Pe數值比較跟蹤上述視頻序列的三種方法，結果如圖5所示。

對所有Pe值統(tǒng)計比較其平均值，如表1所示。表中可見MTF算法平均Pe值最低，表明此跟蹤結果穩(wěn)定，MTF算法能夠成功地跟蹤無人機視頻序列。

圖5 Mean-shift、CBWH、MTF的Pe值對比圖

表1 Mean-shift、CBWH、MTF平均Pedm

3 結論

MTF跟蹤算法的主要貢獻有兩個方面：首先，提出了新的TWH，改進后的像素權重可有效地分離目標和與其非常相似的背景；第二，提出forward-backward評價方案，使Mean-shift算法對短期的遮擋更魯棒。廣泛的實驗結果表明，該跟蹤方法更加穩(wěn)定有效。未來預期可以提速的是代碼優(yōu)化和硬件加速。例如重現(xiàn)C/C++的方法，以及使用圖形處理單元以加快引導濾波器模塊部分,此外，還望添加其他功能，如梯度、輪廓、運動特征等，以提高目標跟蹤準確性。

[1]COLLINS R,LIU Y,AND M.LEORDEANU.On-line selection of discriminative tracking features[C].IEEE Trans.Pattern Anal.Mach.Intell,2005,27(10)：1631-1643.

[2]LIANG D,HUANG Q，GAO W,et al.Online selection of discriminative features using Bayes error rate for visual tracking[C].in Proc.Pacific-Rim Conf.Multimedia,2006:547-555.

[3]KWOLEK B.Object tracking using discriminative feature selection[C].in Proc.8th Int.Conf.Adv.Concepts Intell.Vis.Syst.,2006:287-298.

[4]NING J,ZHANG L,ZHANG D,et al.Robust mean shift tracking with corrected background-weighted histogram[J].IET Computer Vision,2011,6(1)：62-69.

[5]TANG M,PENG X,AND D.CHEN.Robust tracking with discriminative rank lists[C].in Proc.10th Asia Conf.Comput.Vis.,2010:283-295.

[6]COMANICIU D,RAMESH V,MEER P,Kernel-based object tracking[C].IEEE Trans.Pattern Anal.Mach.Intell,2003,25(5)：564-577.

[7]SHI H,XIANG W.Object tracking using improved meanshift algorithm combined with Kalman filter on independent visual robotic fish[C].2nd International Conference on Measurement,ICMIA,2013:1030-1033.

[8]HE K,SUN J,AND X.TANG.Guided image filtering[C].in Proc.11th Eur.Conf.Comput.Vis,2010：1-14.

[9]KALAL Z,MIKOLAJCZYK K,AND J.MATAS.Forward-backward error:automatic detection of tracking failures[J].2010 International Conference on Pattern Recognition,2010:2756-2759.

[10]KALAL Z,MIKOLAJCZYK K,AND J.MATAS.Tracking-learning-detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(7):1409-1422.

[11]REZA HOSEINNEZHAD,BA-NGU VO,NGUYEN VU TRUONG.Visual tracking of multiple targets by multi-Bernoulli filtering of background subtracted image data[C].Advances in Swarm Intelligence-Second International Conference,ICSI 2011:509-518.

[12]LEICHTER I,LINDENBAUM M,RIVLIN E.Mean Shift tracking with multiple reference color histograms[J].Computer Vision and Image Understanding,2010,114(3)：400-408.

[13]PAN P,SCHONFILD D.Dynamic proposal variance and optimal particle allocation in particle filtering for video tracking[J].IEEE Transaction on Circuits and Systems for Video Technology，2008，18(9)：1268-1279.

[14]LAO Y,ZHU J,ZHENG Y.Sequential particle generation for visual tracking[J].IEEE Transactions on Circuits and Systems for Video Technology,2009,19(9)：1365-1378.

[15]SHI H,XIANG W.Object tracking using improved meanshift algorithm combined with Kalman filter on independent visual robotic fish[C].2nd International Conference on Measurement,ICMIA 2013:1030-1033.

(責任編輯：劉劃 英文審校：齊義文)

Mean-shift UAV tracking algorithm design based on TWH and FB-error constraints

LI Yi-bo,ZHANG Qi

(College of Automation,Shenyang Aerospace University,Shenyang 110136,China)

For the tracking failures caused by the target occlusion and target background changing during UAV tracking,a tracking algorithm named mean-shift by TWH and FB-error(MTF)was proposed.First,the target-weighted histogram(TWH)was introduced in the mean-shift tracking framework to describe the target.That was in the tracking process,the internal background features of all regions were weakened by the local background of the target to highlight the target feature.Second,the FB-error constraint was added.When the target was partially obscured,by using the weighted function of FB-error,the predicted result of the current target position and the calculated result by mean-shift vector were combined to estimate the final target position at time t.The experimental results show that the proposed tracking algorithm has a great improvement in tracking accuracy.

UAV;tracking;mean-shift;FB-error

2015-11-18

遼寧省高等學校優(yōu)秀人才支持計劃(項目編號：LJQ2014018)；遼寧省教育廳一般項目(項目編號：L2014066)。

李一波(1963-)，男，遼寧沈陽人，教授，主要研究方向：模式識別與智能系統(tǒng)，E-mail:liyibo_sau@163.com。

2095-1248(2016)05-0049-06

V211

A

10.3969/j.issn.2095-1248.2016.05.010