吳世東

(中國(guó)科學(xué)技術(shù)大學(xué) 自動(dòng)化系，安徽 合肥 230027)

一種基于目標(biāo)先驗(yàn)信息的視覺(jué)跟蹤算法

吳世東

(中國(guó)科學(xué)技術(shù)大學(xué) 自動(dòng)化系，安徽 合肥 230027)

針對(duì)運(yùn)動(dòng)目標(biāo)跟蹤過(guò)程中出現(xiàn)的遮擋問(wèn)題，提出了基于目標(biāo)先驗(yàn)信息的視覺(jué)顯著性遮擋目標(biāo)跟蹤算法。在粒子濾波框架下，利用目標(biāo)先驗(yàn)信息生成視覺(jué)顯著圖，并根據(jù)粒子區(qū)域顏色特征與目標(biāo)顏色特征模板之間的相似度來(lái)判斷遮擋情況。當(dāng)遮擋發(fā)生時(shí)，提高特征融合公式中顯著性特征的融合權(quán)重，從而充分利用目標(biāo)未被遮擋部分信息來(lái)完成跟蹤。實(shí)驗(yàn)結(jié)果表明，利用目標(biāo)先驗(yàn)信息的目標(biāo)跟蹤算法能顯著提升跟蹤遮擋目標(biāo)的魯棒性。

目標(biāo)跟蹤；先驗(yàn)信息；粒子濾波；顯著性特征

[5-6]根據(jù)跟蹤過(guò)程中不同的遮擋情況，提出了遮擋類型的判別方法，通過(guò)設(shè)定閾值的方式來(lái)對(duì)遮檔情況進(jìn)行判斷，在不同的情況下使用不同的跟蹤算法，提高了解決遮擋問(wèn)題的能力。

ADAM A等人[7]在2005年CVPR上提出一種基于目標(biāo)分塊的遮擋目標(biāo)跟蹤算法。該算法將目標(biāo)區(qū)域分成許多矩形小塊，以此來(lái)構(gòu)造目標(biāo)特征模板，然后根據(jù)目標(biāo)平滑運(yùn)動(dòng)的假設(shè)，在目標(biāo)可能出現(xiàn)的區(qū)域檢測(cè)目標(biāo)，匹配度最高的像素點(diǎn)位置作為跟蹤結(jié)果。該算法雖然在一定程度上解決了遮擋問(wèn)題，但是當(dāng)目標(biāo)在跟蹤過(guò)程中遮擋程度較大時(shí)，跟蹤精度不高。

趙宇宙等人[8]模擬人類視覺(jué)中的關(guān)注機(jī)制，將視覺(jué)顯著性應(yīng)用到目標(biāo)跟蹤算法中。該方法利用相關(guān)對(duì)比算法提取目標(biāo)區(qū)域中與背景差異較大的小塊，用于建立目標(biāo)模板，然后利用每個(gè)小塊與目標(biāo)整體之間的空間映射關(guān)系來(lái)定位出目標(biāo)。該算法由于利用了目標(biāo)局部有效信息，在一定程度上抑制了遮擋對(duì)跟蹤魯棒性的影響。

1 粒子濾波算法簡(jiǎn)介

蒙特卡羅模擬和貝葉斯濾波是粒子濾波算法的兩個(gè)核心組成部分。其大致思想是根據(jù)對(duì)系統(tǒng)狀態(tài)的觀測(cè)結(jié)果Zt={z0,z1,…zt}來(lái)推測(cè)出系統(tǒng)的后驗(yàn)概率分布函數(shù)p(xt|z1:t)。根據(jù)蒙特卡羅方法，用有限樣本點(diǎn)的求和運(yùn)算來(lái)代替積分運(yùn)算，從而得到目標(biāo)狀態(tài)xt。

根據(jù)貝葉斯濾波原理，濾波過(guò)程分為狀態(tài)預(yù)測(cè)和狀態(tài)更新兩個(gè)方面。其中，預(yù)測(cè)是指在不知道目標(biāo)狀態(tài)的情況下，用上一時(shí)刻的跟蹤結(jié)果來(lái)推測(cè)出當(dāng)前時(shí)刻目標(biāo)的大致位置；更新是指用當(dāng)前時(shí)刻的觀測(cè)結(jié)果Zt來(lái)對(duì)預(yù)測(cè)結(jié)果進(jìn)行修正，得到系統(tǒng)后驗(yàn)概率分布函數(shù)p(xt|z1:t)。

(1)

式中，xt即為最終跟蹤結(jié)果。

2 顯著性檢測(cè)算法

2.1 算法計(jì)算過(guò)程

近年來(lái)，視覺(jué)顯著性[9]獲得了廣泛關(guān)注，出現(xiàn)了很多視覺(jué)顯著性檢測(cè)算法[10-12]。視覺(jué)顯著性機(jī)制就是模擬人類視覺(jué)特性，從海量的視覺(jué)信息當(dāng)中篩選出有用的信息，提高圖像處理效率。

選取顏色特征來(lái)表征目標(biāo)，為了提高顏色特征對(duì)于目標(biāo)與背景的區(qū)分能力，對(duì)目標(biāo)區(qū)域的特征提取是在HSV顏色空間中完成的。

根據(jù)目標(biāo)運(yùn)動(dòng)平滑假設(shè)，利用二階自回歸模型預(yù)測(cè)出目標(biāo)大致位置：

xt=2xt-1-xt-2

(2)

其中，記xt=[x,y,s]表示目標(biāo)中心位置坐標(biāo)和尺度信息。提取出目標(biāo)區(qū)域H通道顏色直方圖，記為Ht={h1,h2,…,hCmax}，其中Cmax為H通道bin個(gè)數(shù)。

將包含目標(biāo)先驗(yàn)信息的目標(biāo)區(qū)域顏色直方圖Ht在整個(gè)圖片中反向投影，得到視覺(jué)顯著圖SAL，該過(guò)程用公式表示為：

SAL(m,n)=255·hμ,ifc(m,n)∈μ

(3)

2.2 算法實(shí)驗(yàn)結(jié)果

圖1為用本文基于目標(biāo)先驗(yàn)信息的視覺(jué)顯著性檢測(cè)算法得到的檢測(cè)結(jié)果。

圖1 顯著性檢測(cè)結(jié)果

圖2 目標(biāo)跟蹤流程圖

從圖1可以看出，在跟蹤過(guò)程當(dāng)中，目標(biāo)發(fā)生了嚴(yán)重的自遮擋現(xiàn)象，但這不影響目標(biāo)區(qū)域在顯著圖中的顯著度，從而為跟蹤魯棒性打下了基礎(chǔ)。

3 目標(biāo)跟蹤算法

3.1 特征提取

根據(jù)上節(jié)所述，用上節(jié)所述方法對(duì)序列圖片進(jìn)行顯著性檢測(cè)，得到顯著圖SAL。定義視覺(jué)顯著性特征觀測(cè)概率為：

(4)

3.2 遮擋判斷和特征融合機(jī)制

(5)

其中，為1則表示發(fā)生遮擋，為0則未遮擋。

用顏色特征和視覺(jué)顯著性特征進(jìn)行融合跟蹤，特征融合方法采用常用的加性機(jī)制，定義融合之后的特征觀測(cè)概率如下：

(6)

參數(shù)γ根據(jù)是否發(fā)生遮擋來(lái)給出不同取值，其與遮擋參數(shù)之間的關(guān)系如下：

(7)

當(dāng)未發(fā)生遮擋時(shí)，顏色特征在融合特征中起主要作用，當(dāng)發(fā)生遮擋時(shí)，由于目標(biāo)被遮擋區(qū)域信息丟失，顏色特征可靠性降低，此時(shí)主要利用視覺(jué)顯著性特征來(lái)完成跟蹤。

3.3 目標(biāo)跟蹤算法

目標(biāo)跟蹤整體流程如圖2所示。

具體算法流程如下：

(1)目標(biāo)初始化；

(2)狀態(tài)預(yù)測(cè)和顯著性檢測(cè)：

(a)利用式(2)進(jìn)行目標(biāo)和粒子狀態(tài)預(yù)測(cè)；

(b)利用本文方法對(duì)原始圖像進(jìn)行顯著性檢測(cè)，得到顯著圖SAL；

(3)特征融合和粒子權(quán)重計(jì)算：

(a)利用式(5)計(jì)算出目標(biāo)狀態(tài)判斷參數(shù)Qt，并判斷是否發(fā)生遮擋；

(b)利用公式(6)進(jìn)行特征融合，得到融合后觀測(cè)概率；

(c)粒子權(quán)重計(jì)算公式為：

(8)

其中，β為相關(guān)參數(shù)。

(d)粒子權(quán)重歸一化公式為：

(9)

將粒子加權(quán)求和得到跟蹤結(jié)果：

(10)

(4)是最后一幀，否則返回步驟(2)。

4 實(shí)驗(yàn)結(jié)果與分析

圖4 各跟蹤算法中心位置誤差曲線

為驗(yàn)證本文算法的跟蹤魯棒性，選取了3個(gè)具有針對(duì)性的視頻序列進(jìn)行測(cè)試，重點(diǎn)考察了目標(biāo)自遮擋和被靜止障礙物遮擋下的跟蹤結(jié)果，以及分析在跟蹤過(guò)程中視覺(jué)顯著性特征所起的作用，并將其與一些經(jīng)典算法進(jìn)行了對(duì)比實(shí)驗(yàn)，如PF[3]、FT[7]。

圖3 各跟蹤算法跟蹤結(jié)果

實(shí)驗(yàn)結(jié)果如圖3所示，各個(gè)序列的ground truth由視頻的提供者給出。

實(shí)驗(yàn)1針對(duì)被靜止障礙物遮擋的目標(biāo)進(jìn)行跟蹤，從圖中可以看出，本文跟蹤算法取得了最好的跟蹤結(jié)果。其中，F(xiàn)T算法采用固定分塊的跟蹤方法對(duì)目標(biāo)模板精度要求太高，其跟蹤誤差會(huì)隨著時(shí)間的推移被逐漸放大；采用單一顏色特征進(jìn)行跟蹤的PF算法雖然能應(yīng)對(duì)一定程度的遮擋，但是當(dāng)遮擋程度過(guò)大時(shí)，將會(huì)發(fā)生跟蹤漂移現(xiàn)象；本文采用的基于目標(biāo)先驗(yàn)信息的視覺(jué)顯著性跟蹤算法取得了不錯(cuò)的跟蹤精度，這是因?yàn)楸疚乃惴軌蛟谡趽醢l(fā)生時(shí)，利用顯著性檢測(cè)算法檢測(cè)出目標(biāo)未被遮擋部分區(qū)域，然后讓魯棒性更強(qiáng)的顯著性特征再完成跟蹤。

實(shí)驗(yàn)2和實(shí)驗(yàn)3針對(duì)發(fā)生自遮擋的目標(biāo)進(jìn)行跟蹤，本文算法依然表現(xiàn)良好。從圖3可以直觀看出，當(dāng)目標(biāo)發(fā)生自遮擋時(shí)，目標(biāo)的表觀顏色發(fā)生了劇烈的變化，這導(dǎo)致采用單一顏色特征進(jìn)行跟蹤的FT算法和PF算法無(wú)法適應(yīng)，最終影響了它們的跟蹤精度。本文算法在目標(biāo)發(fā)生自遮擋的過(guò)程中，由于顯著性檢測(cè)過(guò)程融入了目標(biāo)先驗(yàn)信息，從而實(shí)現(xiàn)了魯棒跟蹤。

圖4為各跟蹤算法中心位置誤差曲線圖。從圖4可以看出，本文算法取得了較好的跟蹤效果，跟蹤誤差一直穩(wěn)定在一個(gè)較小的范圍里面，這主要得益于以下兩點(diǎn)：一是本文提出顯著性檢測(cè)算法在跟蹤過(guò)程中融入了目標(biāo)先驗(yàn)信息，從而使得目標(biāo)區(qū)域顯著度較高，提高了顯著性特征對(duì)目標(biāo)的表達(dá)能力；二是本文采用的遮擋判斷方法和特征融合算法能夠根據(jù)遮擋情況來(lái)自適應(yīng)地選擇跟蹤策略，提升了算法應(yīng)對(duì)遮擋問(wèn)題的能力。

5 結(jié)論

為應(yīng)對(duì)跟蹤過(guò)程中的遮擋問(wèn)題，本文對(duì)遮擋類型做了詳細(xì)的說(shuō)明和分析，并在此基礎(chǔ)上構(gòu)建了基于目標(biāo)先驗(yàn)信息的視覺(jué)顯著性檢測(cè)和跟蹤算法。本文跟蹤算法通過(guò)視覺(jué)顯著性特征可以對(duì)該部分信息進(jìn)行充分利用，從而避免了跟蹤失??；當(dāng)目標(biāo)發(fā)生了一定程度的自遮擋時(shí)，顯著性特征能夠先于顏色特征做出反應(yīng)，使得目標(biāo)區(qū)域在顯著圖中的顯著度依然較高，從而為實(shí)現(xiàn)魯棒跟蹤奠定了基礎(chǔ)。

參考文獻(xiàn)

[1] 任加勒, 孟利民. 基于數(shù)字噴泉碼的視頻監(jiān)控系統(tǒng)研究[J]. 微型機(jī)與應(yīng)用, 2015,34(10): 44-47.

[2] 陳嫻, 彭宏, 吳海巍，等.視頻監(jiān)控在高速路作業(yè)調(diào)度系統(tǒng)上的應(yīng)用[J]. 微型機(jī)與應(yīng)用, 2015, 34(1): 20-22.

[3] PEREZ P, HUE C, VERMAAK J, et al. Color-based probabilistic tracking[C] the 7th European Conference on Computer Vision. Copenhagen: Springer Berlin Heidelberg, 2002: 661-675.

[4] 牛德智,陳長(zhǎng)興,班斐，等. 基于變步長(zhǎng)重采樣的非高斯非線性目標(biāo)跟蹤[J].電子技術(shù)應(yīng)用, 2014, 40(8): 129-132.

[5] SAKARI V, SETHI I K. Feature point correspondence in the presence of occlusion[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(1): 87-91.

[6] RANGARAJAN K, SHAH M. Establishing motion correspondence[C] IEEE Conference on Computer Vision and Pattern Recognition, 1991: 103-108.

[7] ADAM A, RIVLIN E, SHIMSHONI I. Robust fragments-based tracking using the integral histogram[C]. IEEE Conference on Computer Vision and Pattern Recognition， 2006:798-805.

[8] 趙宇宙, 陳宗海, 顯著子區(qū)域在線選擇的目標(biāo)魯邦跟蹤[J]. 控制與決策, 2014, 29(10): 1788-1792.

[9] BORJI A, ITTI L. State-of-the-art in visual attention modeling[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 185-207.

[10] ITTI L, KOCH C, NIEBUR E. A model of saliency-based visual attention for rapid sceneanalysis[J]. IEEE Transactionson Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254-1259.

[11] Cheng Mingming, Zhang Guoxin, MITRA N J, et al. Global contrast based salient region detection[C] IEEE Conference on Computer Vision and Pattern Recognition, 2011: 409-416.

[12] 錢生, 林明強(qiáng), 陳宗海, 等, 基于條件隨機(jī)場(chǎng)和圖像分割的顯著性檢測(cè)[J]. 自動(dòng)化學(xué)報(bào), 2015, 41(4): 711-724.

A visual saliency tracking algorithm based onpriori information

Wu Shidong

(Department of Automation, University of Science and Technology of China, Hefei 230027, China)

To address the occlusion problem during target tracking, a particle filter tracking algorithm based on visual saliency and priori information of the target was presented. In the framework of particle filter, the visual saliency map is produced using the priori information of the target and the occlusion situation is decided on the similarity between the color feature in the particle area and the target area. When occlusion happens, the weight of the saliency feature is increased in the feature fusion formula, so that the object can be located using the information of the part that not be occluded on the object. Experimental results show that the algorithm can effectively deal with the situation when target is occluded.

object tracking; priori information; particle filter; saliency feature

TP391

A

1674-7720(2016)04-0046-04

吳世東. 一種基于目標(biāo)先驗(yàn)信息的視覺(jué)跟蹤算法[J]. 微型機(jī)與應(yīng)用, 2016,34(4)：46-49.

0 引言

2015-10-29)

吳世東(1989-)，通信作者，男，碩士研究生，主要研究方向：目標(biāo)跟蹤。E-mail：wsd123@mail.ustc.edu.cn。

目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要組成部分，其相關(guān)研究成果在三維重構(gòu)、人臉識(shí)別和視頻監(jiān)控等諸多方面均有廣泛的應(yīng)用[1-2]。在目標(biāo)跟蹤過(guò)程中，面臨著復(fù)雜環(huán)境和目標(biāo)自身因素的干擾，其中目標(biāo)局部或全局遮擋對(duì)跟蹤魯棒性造成了極大的挑戰(zhàn)。粒子濾波算法[3-4]是基于貝葉斯濾波和蒙特卡羅模擬的跟蹤算法，在目標(biāo)跟蹤中應(yīng)用非常廣泛。