一種特征融合的帶寬自適應(yīng)Mean Shift跟蹤算法

張 良，鄭世寶，楊 華

（上海交通大學(xué)電子工程系圖像通信與信息處理研究所，上海 200240）

運(yùn)動目標(biāo)跟蹤是當(dāng)前計算機(jī)視覺在圖像監(jiān)控領(lǐng)域的一個研究熱點(diǎn)，作為眾多跟蹤方法的一種，Mean Shift算法是一種基于核密度的無參密度估計算法。從1995年Yizhong Cheng［1］將該算法引入計算機(jī)視覺領(lǐng)域便引起了人們極大的關(guān)注。早期Comaniciu［2］提出計算目標(biāo)區(qū)域和候選目標(biāo)區(qū)域的顏色直方圖特征最大相似度的Mean Shift跟蹤算法，采用顏色特征的Mean Shift算法有著旋轉(zhuǎn)不變性且對部分遮擋不敏感，所以Mean Shift算法對非剛體目標(biāo)在部分遮擋下有著較好的跟蹤效果，然而經(jīng)典Mean Shift算法在目標(biāo)顏色和背景顏色相近時容易丟失目標(biāo)。近年來很多背景融合的算法被提出來［3-4］，它們綜合考慮了顏色特征、邊緣特征、紋理特征等。Mean Shift算法的另一個缺陷是核函數(shù)是固定的，當(dāng)目標(biāo)尺度發(fā)生變化時容易跟蹤失敗，改進(jìn)的算法參見文獻(xiàn)［5-6］。本文在前人的基礎(chǔ)上針對Mean Shift這些缺陷提出一種特征融合的核函數(shù)帶寬自適應(yīng)算法，首先介紹Mean Shift算法原理，然后提出融合邊緣特征、核函數(shù)帶寬自適應(yīng)更新算法，在此基礎(chǔ)上對目標(biāo)模型更新進(jìn)行了相關(guān)研究，最后進(jìn)行實(shí)驗(yàn)并給出相關(guān)結(jié)論及后續(xù)工作。

1 Mean Shift目標(biāo)跟蹤算法

Mean Shift目標(biāo)跟蹤算法首先需要確定目標(biāo)區(qū)域，然后初始化目標(biāo)模型，計算核函數(shù)加權(quán)的顏色直方圖概率分布，以及每一幀中計算候選區(qū)域目標(biāo)模型的直方圖分布;計算目標(biāo)模型和候選模型的Bhattacharyya相似性系數(shù)，求得最大相似度的Mean Shift向量，并不斷迭代，最終收斂到目標(biāo)的真實(shí)位置。

1.1 目標(biāo)模型

假設(shè)目標(biāo)區(qū)域的中心為x0，xi表示第i個像素點(diǎn)，n為目標(biāo)區(qū)域的像素數(shù)，目標(biāo)模型的概率分布為

1.2 候選目標(biāo)模型

候選目標(biāo)區(qū)域以y為中心，核函數(shù)的輪廓函數(shù)和目標(biāo)模型相同，候選目標(biāo)的概率分布為

1.3 Bhattacharyya系數(shù)

目標(biāo)模型和候選目標(biāo)模型對應(yīng)的顏色直方圖的相似性用 Bhattacharyya系數(shù)來衡量。Comaniciu［2］論述了Bhattacharyya系數(shù)優(yōu)于其他的相似性函數(shù)，其定義為

式中:ρ（pu（y），qu）的值越大，表示越匹配，使其最大的候選目標(biāo)區(qū)域即是當(dāng)前幀中目標(biāo)的所在位置。對其泰勒級數(shù)展開求導(dǎo)為零，推導(dǎo)出Mean Shift向量為

式中:y0是前一幀中的中心位置，不斷迭代，計算出最終位置為

2 改進(jìn)的Mean Shift目標(biāo)跟蹤算法

2.1 背景和運(yùn)動區(qū)域的顏色特征

結(jié)合式（1）和式（3），分別可以得到邊緣特征的目標(biāo)模型分布和候選目標(biāo)模型分布

顏色特征的相似性系數(shù)為

2.2 邊緣特征

首先對圖像進(jìn)行色彩空間變換，轉(zhuǎn)為灰度圖像，然后用Canny算子進(jìn)行邊緣檢測。當(dāng)目標(biāo)區(qū)域和背景的顏色很接近時，顏色特征就達(dá)不到理想的效果，邊緣特征卻很適用，公式為

式中:Gh（x，y），Gv（x，y）分別是水平和垂直梯度分量，為了降低噪聲對邊緣檢測的影響，引入閾值T，得到

結(jié)合式（1）和式（3），分別可以得到邊緣特征的目標(biāo)模型分布和候選目標(biāo)模型分布為

邊緣特征的相似性系數(shù)為

2.3 特征融合相似度

2.4 目標(biāo)模型更新

運(yùn)動目標(biāo)的旋轉(zhuǎn)、背景變化和光照變化等，候選目標(biāo)模型的顏色特征和目標(biāo)模型的顏色特征相似度會越來越小，并導(dǎo)致跟蹤失敗，對目標(biāo)模型進(jìn)行更新可以有效避免這種情形。本文嘗試在對核函數(shù)帶寬進(jìn)行自適應(yīng)更新的同時，對目標(biāo)模型進(jìn)行更新，不過沒取得明顯效果。本文采用的更新方法是當(dāng)Bhattacharyya系數(shù)大于0.95時，對顏色特征和邊緣特征進(jìn)行下面的更新

式中:t表示第t幀，α代表更新速度，本文中取值0.1。

2.5 跟蹤窗口更新［2］

hprev是前一幀的核函數(shù)帶寬，以hopt=hprev，hopt=hprev+Δh和hopt=hprev－Δh，Δh=0.1hprev，計算這3個窗口下的候選目標(biāo)模型和目標(biāo)模型之間的Bhattacharyya系數(shù)，取最大系數(shù)的hopt，通過下面的公式來更新帶寬

式中:更新速度β取值0.1。

3 實(shí)驗(yàn)結(jié)果

利用Visual Studio 2008在Windows XP，Intel Pentium Dual 1.8 GHz，1.5 Gbyte內(nèi)存機(jī)器上用C語言對經(jīng)典Mean Shift算法和上述算法進(jìn)行實(shí)驗(yàn)，采用CAVIAR序列［7］中的視頻序列，在第510幀時選取目標(biāo)，選取34×34大小的窗口，取出4幀圖像，分別是第512，718，824和918幀。經(jīng)典Mean Shift算法的結(jié)果見圖1，融合邊緣特征的改進(jìn)算法的結(jié)果見圖2，融合邊緣特征的核函數(shù)帶寬自適應(yīng)算法的結(jié)果見圖3，融合邊緣特征的目標(biāo)模型自適應(yīng)更新、核函數(shù)帶寬自適應(yīng)算法的結(jié)果見圖4。對比圖1和圖2，經(jīng)典Mean Shift算法逐漸偏離目標(biāo)的真實(shí)位置，改進(jìn)算法跟蹤得非常準(zhǔn)確，在第912幀時，目標(biāo)顏色特征和背景顏色特征非常接近，經(jīng)典Mean Shift算法已經(jīng)跟蹤失敗，而融合顏色、邊緣特征的改進(jìn)算法依然準(zhǔn)確跟蹤目標(biāo)，具有非常好的穩(wěn)健性。通過對比圖3和圖2可以看到，核函數(shù)自適應(yīng)算法由于少了背景信息的干擾，能更精確地跟蹤目標(biāo)。

圖1 基于顏色特征的Mean Shift算法

圖5～圖7的橫軸表示幀數(shù)，縱軸表示Bhattacharyya系數(shù)，從圖5可以發(fā)現(xiàn)，在目標(biāo)背景邊緣特征不明顯的情景下，邊緣特征的Bhattacharyya系數(shù)遠(yuǎn)大于顏色特征的系數(shù)。一方面由于邊緣特征的存在，另一方面，由于核函數(shù)自適應(yīng)消除了多余的背景，所以從圖6可以看到改進(jìn)算法的Bhattacharyya系數(shù)明顯高于經(jīng)典算法。通過圖4和圖7不難發(fā)現(xiàn)，在本文算法的基礎(chǔ)上，對目標(biāo)模型進(jìn)行更新，其Bhattacharyya系數(shù)比本文算法更趨平穩(wěn)，但跟蹤效果在很多地方卻沒有本文算法更新得準(zhǔn)確。

4 結(jié)論及展望

基于顏色特征的Mean Shift算法容易在目標(biāo)顏色特征和背景顏色特征相似的情形下失效，本文在前人提出的融合邊緣特征的基礎(chǔ)上進(jìn)一步進(jìn)行了核函數(shù)帶寬自適應(yīng)的研究，取得了不錯的效果，使得跟蹤效果更精確。對目標(biāo)模型進(jìn)行更新的效果不是特別好，將在今后進(jìn)一步探索在保證跟蹤效果的前提下如何對目標(biāo)模型進(jìn)行有效更新。

：

［1］CHENG Y.Mean Shift，mode seeking and clustering［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，1995，17（8）:790-799.

［2］COMANICIU D，RAMESH V，MEER P.Kernel-based object tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（5）:564-577.

［3］BABAEIAN A，RASTEGAR S，BANDARABADI M，et al.Mean Shiftbased object tracking with multiple features［C］//Proc.41st Southeastern Symposium on System Theory，2009.Tullahoma，TN:［s.n.］，2009:68-72.

［4］ZHANG Xiang，DAI Yuanming，CHEN Zhangwei，et al.An improved Mean Shift tracking algorithm based on color and texture feature［C］//Proc.2010 International Conference on Wavelet Analysis and Pattern Recognition（ICWAPR）.Qingdao，China:［s.n.］，2010:38-43.

［5］COLLINS R T.Mean-Shift blob tracking through scale space［C］//Proc.2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.［S.l.］:IEEE Press，2003:18-20.

［6］YILMAZ A.Object tracking by asymmetric kernel Mean Shift with automatic scale and orientation selection［C］//Proc.IEEE Conference on Computer Vision and Pattern Recognition，2007. ［S.l.］:IEEE Press，2007:1-6.

［7］FISHER R.CAVIAR test case scenarios［EB/OL］.（2007-10-26）［2010-03-01］.http://homepages.inf.ed.ac.uk/rbf/CAVIARDATA1/.