李義超+羅飛
收稿日期:2013-11-11
作者簡(jiǎn)介:李義超(1988—),男,湖北漢川人,碩士研究生,研究方向:數(shù)字圖像處理,運(yùn)動(dòng)目標(biāo)的識(shí)別與跟蹤。
通訊聯(lián)系人,E-mail:liyichao-168@163.com
文章編號(hào):1003-6199(2014)03-0088-04
摘 要:提出一種改進(jìn)的適用于智能安防領(lǐng)域中離崗檢測(cè)的目標(biāo)跟蹤算法,該算法結(jié)合均值漂移算法和粒子濾波算法的優(yōu)點(diǎn),先使用均值漂移算法對(duì)目標(biāo)進(jìn)行預(yù)跟蹤,然后在此基礎(chǔ)上使用粒子濾波對(duì)目標(biāo)精確定位,在保證了跟蹤準(zhǔn)確率的前提下縮短了算法的計(jì)算時(shí)間。此外,針對(duì)監(jiān)控視頻大多分辨率低,目標(biāo)辨識(shí)度不高等特點(diǎn),在本文中,原始視頻流的灰度信息和紋理信息被作為待跟蹤目標(biāo)的特征。實(shí)驗(yàn)結(jié)果證明,采用該混合特征的目標(biāo)跟蹤算法比其他同類算法在目標(biāo)跟蹤的準(zhǔn)確率和實(shí)時(shí)性上具有更好的表現(xiàn),能夠適應(yīng)更廣泛的視頻場(chǎng)景。
關(guān)鍵詞:目標(biāo)跟蹤;均值漂移;粒子濾波;混合特征;離崗檢測(cè)
中圖分類號(hào):TP391.9 文獻(xiàn)標(biāo)識(shí)碼:A
An Object Tracing Algorithm Suitable for Off-position Detection
LI Yi-chao, LUO Fei
(Automation Science and Engineer Academy, South China University of Technology,Guangzhou,Guangdong 510641,China)
Abstract:In this paper, we propose an improved object tracing algorithm which is suitable for off-position detection in intelligent security filed. This algorithm takes advantage of mean shift and particle filter, pre-traces the object by the mean-shift algorithm and then calculates the accurate position by particle algorithm, which shortens computing time on the premise of insuring tracing accuracy. Besides, according to the problem that the low-resolution and low contrast of surveillance video, a new hybrid feature based on the gray scale information and texture information is regarded as the main feature of object in video scene. At last, experiment results prove that the improved object tracing algorithm with hybrid feature have better performance of tracking accuracy and real-time, which is applied more widely than other algorithms.
Key words:object tracing; mean-shift; particle filter; hybrid feature; off-position detection
1 引 言
離崗檢測(cè)是運(yùn)用目標(biāo)跟蹤算法對(duì)視頻場(chǎng)景中的執(zhí)勤人員進(jìn)行跟蹤,它是智能安防領(lǐng)域中智能視頻分析的一個(gè)重要的研究方向,具有廣泛的實(shí)際應(yīng)用價(jià)值。目前,國(guó)內(nèi)外的研究人員針對(duì)視頻場(chǎng)景中特定的目標(biāo)進(jìn)行跟蹤的課題已經(jīng)提出了許多目標(biāo)跟蹤算法,如均值漂移(mean-shift)算法、粒子濾波算法等,但是卻沒(méi)有一種有效的算法專門應(yīng)用于離崗檢測(cè)。
文獻(xiàn)[1],[2],[3],[4]提出了幾種粒子濾波算法,不過(guò)這些算法均難以應(yīng)用于安防領(lǐng)域內(nèi)的視頻場(chǎng)景。文獻(xiàn)[8]針對(duì)目標(biāo)是否被遮擋分別采用均值漂移算法與粒子濾波算法,但是從本質(zhì)上來(lái)講,該算法并沒(méi)有將二者融合,只是根據(jù)不同的視頻場(chǎng)景選擇不同的算法。文獻(xiàn)[9],[10]提出了一種將均值漂移算法嵌入到粒子濾波算法中,減少用于描述目標(biāo)狀態(tài)的粒子樣本數(shù)量。但是該算法要求在使用粒子濾波算法跟蹤的過(guò)程中每一次重要性重采樣對(duì)所有的粒子樣本均進(jìn)行一次均值漂移算法??梢灶A(yù)見(jiàn),當(dāng)粒子樣本數(shù)量增加時(shí),該算法的計(jì)算量將成幾何數(shù)量增長(zhǎng)。
本文提出的目標(biāo)跟蹤算法(MSPF算法)結(jié)合了均值漂移算法和粒子濾波算法的優(yōu)點(diǎn)。與文獻(xiàn)[9]中提出的兩步法不同的是,本文提出的算法沒(méi)用根據(jù)上一步跟蹤的結(jié)果動(dòng)態(tài)的改變粒子樣本數(shù)量;其次,本文采用的視頻圖像的顏色特征和紋理特征作為目標(biāo)的特征,避免了由于采用單一的灰度特征或紋理特征無(wú)法表征目標(biāo)信息而造成的目標(biāo)跟蹤丟失的情形。實(shí)驗(yàn)結(jié)果證明,采用混合特征的MSPF算法比采用單一特征以及其他的目標(biāo)跟蹤算法具有更好的跟蹤效果,更具有實(shí)用價(jià)值。
在下文中,我們首先介紹幾種常用的目標(biāo)特征,分析各特征的生成過(guò)程以及應(yīng)用場(chǎng)合,然后介紹了本文采用的MSPF算法流程,比較了混合特征以及該MSPF算法的跟蹤效果,最后總結(jié)了全文,提出算法的改進(jìn)方向。
2 算法的基本原理
2.1 混合特征的選擇
眾所周知,我們能夠通過(guò)肉眼在一幀視頻中區(qū)分出目標(biāo)和背景的主要依據(jù)是目標(biāo)的灰度值分布與背景的灰度值分布有明顯的差異。鑒于此,大部分粒子濾波算法中粒子樣本所采用的特征都是灰度直方圖特征。因?yàn)榛叶戎狈綀D特征能夠很好的適應(yīng)目標(biāo)旋轉(zhuǎn)和變形帶來(lái)的影響。但是,由于現(xiàn)實(shí)中的視頻場(chǎng)景一般都會(huì)比較復(fù)雜,我們需要跟蹤的目標(biāo)周圍可能還會(huì)有與其灰度值分布相似的目標(biāo),尤其是在監(jiān)控視頻的分辨率普遍較低的情況下,這種情況更加普遍。因此,我們一般還會(huì)加入目標(biāo)的紋理特征。
常用的紋理特征主要有局部二進(jìn)制模式(LBP算子)以及梯度幅值特征。下面分別介紹LBP紋理圖和梯度幅值紋理圖的生成過(guò)程。
生成一幅LBP紋理圖像的具體過(guò)程如下:利用每個(gè)像素及其周圍3×3的環(huán)形鄰域上的8個(gè)像素點(diǎn)構(gòu)造出一個(gè)表征該像素紋理的特征值如式(1)。
LBPp,r=∑p-1p=0s(gp-gc)2p;(1)
其中,gc表示鄰域中心的灰度值,gp(p=0,1,…,p-1)對(duì)應(yīng)著鄰域上的P個(gè)等分點(diǎn)的灰度值。s(gp-gc)等于0或1;將得到的結(jié)果以中心像素點(diǎn)的右鄰域像素為起始像素按逆時(shí)針?lè)较蜷_(kāi)始計(jì)算,給每一項(xiàng)s(gp-gc)賦予二項(xiàng)式因子2p,可以將像素的局部空間紋理結(jié)構(gòu)表示為一個(gè)唯一的十進(jìn)制數(shù),該十進(jìn)制數(shù)被稱為L(zhǎng)BP特征值。然后對(duì)圖像中的每個(gè)像素求LBP特征值,構(gòu)造一幅圖像的LBP紋理特征圖。
生成梯度幅值圖像的具體過(guò)程如下:首先對(duì)原始圖像分別采用x方向和y方向,尺寸為3×3的sobel邊緣提取算子生成x、y方向的梯度圖像,然后如公式(2)所示,梯度幅值近似取X方向和Y方向梯度值的絕對(duì)值和作為梯度幅值,計(jì)算圖像上每一點(diǎn)的梯度幅值生成一幅梯度幅值紋理圖像。
f≈|Gx|+|Gy|(2)
其中,Gx為x方向的梯度,Gy為y方向的梯度。
2.2 MSPF算法流程
Mean-shift算法是一種基于非參數(shù)的核密度估計(jì)的方法,通過(guò)在數(shù)據(jù)的密度分布中求解局部極值。在本文中,mean-shift算法中像素點(diǎn)的概率密度圖像采用的是色調(diào)分量上的反向投影直方圖,搜索窗口采用矩形窗。粒子濾波是一種順序重要性采樣法,通過(guò)尋找一組在狀態(tài)空間中傳播的隨機(jī)樣本來(lái)近似的表示概率密度函數(shù)。具體做法是將粒子樣本隨機(jī)的分布在目標(biāo)可能出現(xiàn)的區(qū)域中,采集各粒子樣本的特征并計(jì)算各粒子樣本與目標(biāo)的相似度,將其作為更新粒子權(quán)值的主要依據(jù),然后根據(jù)粒子權(quán)值進(jìn)行重要性重采樣,如此反復(fù),迭代結(jié)束后計(jì)算各粒子權(quán)值的加權(quán)和作為預(yù)測(cè)結(jié)果。
本文中采用的算法流程如下:
1)手工標(biāo)定帶有目標(biāo)的搜索窗口,計(jì)算該搜索窗口內(nèi)的混合特征;
2)在下一幀圖像上,使用矩形窗口的mean-shift算法搜索目標(biāo);
3)根據(jù)mean-shift算法搜索的目標(biāo)區(qū)域,將粒子點(diǎn)分布在目標(biāo)區(qū)域的周圍。每個(gè)粒子都具有它們各自的特征以及加權(quán)值,每個(gè)粒子都反映著一種可能的目標(biāo)狀態(tài);
4)采樣與更新粒子權(quán)值。比較各粒子樣本特征與目標(biāo)特征的巴氏距離,并歸一化后作為各粒子的權(quán)值;
5)重要性重采樣。根據(jù)粒子的權(quán)值重新初始化粒子。歸一化后具有非常小的權(quán)值的粒子,說(shuō)明這些粒子和目標(biāo)偏離較遠(yuǎn),重新分布后,這些粒子所在的區(qū)域?qū)⒈环峙涓俚牧W?。然后重?fù)進(jìn)行3-5操作;
6)估計(jì)目標(biāo)狀態(tài)。估計(jì)目標(biāo)狀態(tài)是指通過(guò)估計(jì)運(yùn)動(dòng)目標(biāo)的狀態(tài)參數(shù)和粒子狀態(tài)參數(shù)的加權(quán),加權(quán)求和后的狀態(tài)參數(shù)即為當(dāng)前幀中目標(biāo)的狀態(tài);
7)更新目標(biāo)特征。在新的一幀中提取出目標(biāo)的混合特征來(lái)更新原目標(biāo)特征。
至此,完成對(duì)當(dāng)前幀的跟蹤。
3 實(shí)驗(yàn)結(jié)果分析
本文實(shí)驗(yàn)中采用的操作系統(tǒng)是window xp, 編程語(yǔ)言環(huán)境是Microsoft Visual Studio 2005,算法中相關(guān)算法模塊來(lái)自opencv開(kāi)源的機(jī)器視覺(jué)庫(kù)。硬件平臺(tái)是:奔騰E5800(3.2G),內(nèi)存2GB。
如圖1中所示,至上而下依次是一副圖像的灰度圖和局部二進(jìn)制紋理圖以及梯度幅值圖,用紅圈標(biāo)記出道路上行走的行人作為待跟蹤的目標(biāo)。從圖1中可以看出,由于背景、光線等原因,目標(biāo)在灰度圖上幾乎不能分辨,而從LBP圖和梯度幅值圖像中則可以明顯的分辨出來(lái)。
圖2中的視頻場(chǎng)景是晚間道路上的監(jiān)控場(chǎng)景,對(duì)比的是在MSPF濾波中使用灰度直方圖特征和混合特征的跟蹤效果。其中左邊的一組圖像是采用單一的灰度圖像直方圖作為目標(biāo)特征的跟蹤效果,右邊的一組圖像采用混合特征作為目標(biāo)特征的跟蹤效果。由圖2可以看出,僅僅采用灰度信息跟蹤目標(biāo),其跟蹤效果較差,在第86幀以后基本上無(wú)法跟蹤目標(biāo)。而加入了紋理特征后,盡管目標(biāo)尺寸在變化,混合特征仍然可以代表場(chǎng)景中目標(biāo)的特征,準(zhǔn)確的跟蹤目標(biāo)。
下圖3是單獨(dú)使用粒子濾波算法和mean-shift算法以及MSPF算法的跟蹤效果對(duì)比圖。左邊的一組圖是采用粒子濾波算法的跟蹤效果,中間的一組圖是采用mean-shift算法的跟蹤效果,右邊的一組圖是采用MSPF算法的跟蹤效果。
對(duì)比第三行圖像,當(dāng)目標(biāo)移動(dòng)到監(jiān)控區(qū)域邊緣時(shí),粒子濾波算法預(yù)測(cè)的跟蹤區(qū)域仍然可以停留在目標(biāo)最后出現(xiàn)的位置上,而mean-shift算法則對(duì)此無(wú)能為力。從整體的跟蹤效果來(lái)看,將均值漂移算法加入到粒子濾波后,一方面相對(duì)于單獨(dú)使用粒子濾波減少了粒子樣本數(shù)量,另一方面每一幀中跟蹤較為平緩,避免了單獨(dú)使用粒子濾波造成跟蹤區(qū)域的跳變現(xiàn)象。
4 結(jié) 論
本文所提出的目標(biāo)跟蹤算法,首先采用mean-shift算法進(jìn)行預(yù)跟蹤,粗略的確定目標(biāo)在新的一幀中出現(xiàn)的位置,然后使用粒子濾波算法進(jìn)行精確跟蹤。這樣可以減小粒子樣本的數(shù)量,縮短了算法的計(jì)算量,提高該算法的實(shí)時(shí)性。針對(duì)安防視頻的特點(diǎn),粒子樣本的特征選擇綜合了視頻場(chǎng)景中目標(biāo)的灰度信息和紋理信息,可以明顯的區(qū)分出前景目標(biāo)和背景,從而可以很好的適用于安防視頻中的目標(biāo)跟蹤。
由于本算法來(lái)源于智能安防領(lǐng)域中的智能視頻分析項(xiàng)目,而安防特定的應(yīng)用背景對(duì)算法的準(zhǔn)確率、漏報(bào)率等指標(biāo)提出了苛刻的要求。因此,該算法將一直不斷的優(yōu)化。
參考文獻(xiàn)
[1] ISLAM, M.Z. CHIL-WOO Lee.Shape based Moving Object Tracking with Particle Filter[J].Control, Automation and Systems, 2008, Page(s): 679 682.
[2] ISLAM M Z.,CHI-MIN OH ; CHIL-WOO Lee.Real Time Moving Object Tracking by Particle Filter[J].Computer Science and its Applications, 2008. CSA '08, Page(s): 347- 352.
[3] TAO ZHANG,SHUMIN FEI,XIAODONG LI,HONG LU.An Improved Particle Filter for Tracking Color Object[J].Intelligent Computation Technology and Automation (ICICTA), 2008, Page(s): 109- 113.
[4] 竇琴.智能視頻監(jiān)控中基于粒子濾波的目標(biāo)跟蹤系統(tǒng)研究[D].武漢:武漢理工大學(xué) 碩士學(xué)位論文,2009.
[5] 張穎,王紅娟, 黃義定.基于Meanshift和粒子濾波的行人目標(biāo)跟蹤方法[J].計(jì)算機(jī)與現(xiàn)代化, 2012,15(3):20-26.
[6] 王鑫, 唐振民. 基于特征融合的粒子濾波在紅外小目標(biāo)跟蹤中的應(yīng)用[J].中國(guó)圖象圖形學(xué)報(bào),2010,15(1):8-12.
[7] 明新勇.基于均值漂移算法和粒子濾波算法的目標(biāo)跟蹤[D].南京:南京理工大學(xué)碩士學(xué)位論文,2008.
[8] 李紅波,曾德龍,吳渝.基于Mean-Shift和粒子濾波的兩步多目標(biāo)跟蹤方法[J].重慶郵電大學(xué)學(xué)報(bào):自然科學(xué)版, 2010,15(2):30-36.
[9] 邱雙忠.視頻圖像中運(yùn)動(dòng)目標(biāo)跟蹤有關(guān)算法的研究[D].武漢:武漢理工大學(xué)碩士學(xué)位論文,2008.
[10]張長(zhǎng)城, 李智明,楊德貴.基于MSPF方法的紅外弱小目標(biāo)自適應(yīng)跟蹤算法分析[J].紅外技術(shù), 2007,15(8):4-8.
[11]查宇飛, 畢篤彥.一種基于粒子濾波的自適應(yīng)運(yùn)動(dòng)目標(biāo)跟蹤方法[J].電子與信息學(xué)報(bào),2007,30(1):11-16.
常用的紋理特征主要有局部二進(jìn)制模式(LBP算子)以及梯度幅值特征。下面分別介紹LBP紋理圖和梯度幅值紋理圖的生成過(guò)程。
生成一幅LBP紋理圖像的具體過(guò)程如下:利用每個(gè)像素及其周圍3×3的環(huán)形鄰域上的8個(gè)像素點(diǎn)構(gòu)造出一個(gè)表征該像素紋理的特征值如式(1)。
LBPp,r=∑p-1p=0s(gp-gc)2p;(1)
其中,gc表示鄰域中心的灰度值,gp(p=0,1,…,p-1)對(duì)應(yīng)著鄰域上的P個(gè)等分點(diǎn)的灰度值。s(gp-gc)等于0或1;將得到的結(jié)果以中心像素點(diǎn)的右鄰域像素為起始像素按逆時(shí)針?lè)较蜷_(kāi)始計(jì)算,給每一項(xiàng)s(gp-gc)賦予二項(xiàng)式因子2p,可以將像素的局部空間紋理結(jié)構(gòu)表示為一個(gè)唯一的十進(jìn)制數(shù),該十進(jìn)制數(shù)被稱為L(zhǎng)BP特征值。然后對(duì)圖像中的每個(gè)像素求LBP特征值,構(gòu)造一幅圖像的LBP紋理特征圖。
生成梯度幅值圖像的具體過(guò)程如下:首先對(duì)原始圖像分別采用x方向和y方向,尺寸為3×3的sobel邊緣提取算子生成x、y方向的梯度圖像,然后如公式(2)所示,梯度幅值近似取X方向和Y方向梯度值的絕對(duì)值和作為梯度幅值,計(jì)算圖像上每一點(diǎn)的梯度幅值生成一幅梯度幅值紋理圖像。
f≈|Gx|+|Gy|(2)
其中,Gx為x方向的梯度,Gy為y方向的梯度。
2.2 MSPF算法流程
Mean-shift算法是一種基于非參數(shù)的核密度估計(jì)的方法,通過(guò)在數(shù)據(jù)的密度分布中求解局部極值。在本文中,mean-shift算法中像素點(diǎn)的概率密度圖像采用的是色調(diào)分量上的反向投影直方圖,搜索窗口采用矩形窗。粒子濾波是一種順序重要性采樣法,通過(guò)尋找一組在狀態(tài)空間中傳播的隨機(jī)樣本來(lái)近似的表示概率密度函數(shù)。具體做法是將粒子樣本隨機(jī)的分布在目標(biāo)可能出現(xiàn)的區(qū)域中,采集各粒子樣本的特征并計(jì)算各粒子樣本與目標(biāo)的相似度,將其作為更新粒子權(quán)值的主要依據(jù),然后根據(jù)粒子權(quán)值進(jìn)行重要性重采樣,如此反復(fù),迭代結(jié)束后計(jì)算各粒子權(quán)值的加權(quán)和作為預(yù)測(cè)結(jié)果。
本文中采用的算法流程如下:
1)手工標(biāo)定帶有目標(biāo)的搜索窗口,計(jì)算該搜索窗口內(nèi)的混合特征;
2)在下一幀圖像上,使用矩形窗口的mean-shift算法搜索目標(biāo);
3)根據(jù)mean-shift算法搜索的目標(biāo)區(qū)域,將粒子點(diǎn)分布在目標(biāo)區(qū)域的周圍。每個(gè)粒子都具有它們各自的特征以及加權(quán)值,每個(gè)粒子都反映著一種可能的目標(biāo)狀態(tài);
4)采樣與更新粒子權(quán)值。比較各粒子樣本特征與目標(biāo)特征的巴氏距離,并歸一化后作為各粒子的權(quán)值;
5)重要性重采樣。根據(jù)粒子的權(quán)值重新初始化粒子。歸一化后具有非常小的權(quán)值的粒子,說(shuō)明這些粒子和目標(biāo)偏離較遠(yuǎn),重新分布后,這些粒子所在的區(qū)域?qū)⒈环峙涓俚牧W?。然后重?fù)進(jìn)行3-5操作;
6)估計(jì)目標(biāo)狀態(tài)。估計(jì)目標(biāo)狀態(tài)是指通過(guò)估計(jì)運(yùn)動(dòng)目標(biāo)的狀態(tài)參數(shù)和粒子狀態(tài)參數(shù)的加權(quán),加權(quán)求和后的狀態(tài)參數(shù)即為當(dāng)前幀中目標(biāo)的狀態(tài);
7)更新目標(biāo)特征。在新的一幀中提取出目標(biāo)的混合特征來(lái)更新原目標(biāo)特征。
至此,完成對(duì)當(dāng)前幀的跟蹤。
3 實(shí)驗(yàn)結(jié)果分析
本文實(shí)驗(yàn)中采用的操作系統(tǒng)是window xp, 編程語(yǔ)言環(huán)境是Microsoft Visual Studio 2005,算法中相關(guān)算法模塊來(lái)自opencv開(kāi)源的機(jī)器視覺(jué)庫(kù)。硬件平臺(tái)是:奔騰E5800(3.2G),內(nèi)存2GB。
如圖1中所示,至上而下依次是一副圖像的灰度圖和局部二進(jìn)制紋理圖以及梯度幅值圖,用紅圈標(biāo)記出道路上行走的行人作為待跟蹤的目標(biāo)。從圖1中可以看出,由于背景、光線等原因,目標(biāo)在灰度圖上幾乎不能分辨,而從LBP圖和梯度幅值圖像中則可以明顯的分辨出來(lái)。
圖2中的視頻場(chǎng)景是晚間道路上的監(jiān)控場(chǎng)景,對(duì)比的是在MSPF濾波中使用灰度直方圖特征和混合特征的跟蹤效果。其中左邊的一組圖像是采用單一的灰度圖像直方圖作為目標(biāo)特征的跟蹤效果,右邊的一組圖像采用混合特征作為目標(biāo)特征的跟蹤效果。由圖2可以看出,僅僅采用灰度信息跟蹤目標(biāo),其跟蹤效果較差,在第86幀以后基本上無(wú)法跟蹤目標(biāo)。而加入了紋理特征后,盡管目標(biāo)尺寸在變化,混合特征仍然可以代表場(chǎng)景中目標(biāo)的特征,準(zhǔn)確的跟蹤目標(biāo)。
下圖3是單獨(dú)使用粒子濾波算法和mean-shift算法以及MSPF算法的跟蹤效果對(duì)比圖。左邊的一組圖是采用粒子濾波算法的跟蹤效果,中間的一組圖是采用mean-shift算法的跟蹤效果,右邊的一組圖是采用MSPF算法的跟蹤效果。
對(duì)比第三行圖像,當(dāng)目標(biāo)移動(dòng)到監(jiān)控區(qū)域邊緣時(shí),粒子濾波算法預(yù)測(cè)的跟蹤區(qū)域仍然可以停留在目標(biāo)最后出現(xiàn)的位置上,而mean-shift算法則對(duì)此無(wú)能為力。從整體的跟蹤效果來(lái)看,將均值漂移算法加入到粒子濾波后,一方面相對(duì)于單獨(dú)使用粒子濾波減少了粒子樣本數(shù)量,另一方面每一幀中跟蹤較為平緩,避免了單獨(dú)使用粒子濾波造成跟蹤區(qū)域的跳變現(xiàn)象。
4 結(jié) 論
本文所提出的目標(biāo)跟蹤算法,首先采用mean-shift算法進(jìn)行預(yù)跟蹤,粗略的確定目標(biāo)在新的一幀中出現(xiàn)的位置,然后使用粒子濾波算法進(jìn)行精確跟蹤。這樣可以減小粒子樣本的數(shù)量,縮短了算法的計(jì)算量,提高該算法的實(shí)時(shí)性。針對(duì)安防視頻的特點(diǎn),粒子樣本的特征選擇綜合了視頻場(chǎng)景中目標(biāo)的灰度信息和紋理信息,可以明顯的區(qū)分出前景目標(biāo)和背景,從而可以很好的適用于安防視頻中的目標(biāo)跟蹤。
由于本算法來(lái)源于智能安防領(lǐng)域中的智能視頻分析項(xiàng)目,而安防特定的應(yīng)用背景對(duì)算法的準(zhǔn)確率、漏報(bào)率等指標(biāo)提出了苛刻的要求。因此,該算法將一直不斷的優(yōu)化。
參考文獻(xiàn)
[1] ISLAM, M.Z. CHIL-WOO Lee.Shape based Moving Object Tracking with Particle Filter[J].Control, Automation and Systems, 2008, Page(s): 679 682.
[2] ISLAM M Z.,CHI-MIN OH ; CHIL-WOO Lee.Real Time Moving Object Tracking by Particle Filter[J].Computer Science and its Applications, 2008. CSA '08, Page(s): 347- 352.
[3] TAO ZHANG,SHUMIN FEI,XIAODONG LI,HONG LU.An Improved Particle Filter for Tracking Color Object[J].Intelligent Computation Technology and Automation (ICICTA), 2008, Page(s): 109- 113.
[4] 竇琴.智能視頻監(jiān)控中基于粒子濾波的目標(biāo)跟蹤系統(tǒng)研究[D].武漢:武漢理工大學(xué) 碩士學(xué)位論文,2009.
[5] 張穎,王紅娟, 黃義定.基于Meanshift和粒子濾波的行人目標(biāo)跟蹤方法[J].計(jì)算機(jī)與現(xiàn)代化, 2012,15(3):20-26.
[6] 王鑫, 唐振民. 基于特征融合的粒子濾波在紅外小目標(biāo)跟蹤中的應(yīng)用[J].中國(guó)圖象圖形學(xué)報(bào),2010,15(1):8-12.
[7] 明新勇.基于均值漂移算法和粒子濾波算法的目標(biāo)跟蹤[D].南京:南京理工大學(xué)碩士學(xué)位論文,2008.
[8] 李紅波,曾德龍,吳渝.基于Mean-Shift和粒子濾波的兩步多目標(biāo)跟蹤方法[J].重慶郵電大學(xué)學(xué)報(bào):自然科學(xué)版, 2010,15(2):30-36.
[9] 邱雙忠.視頻圖像中運(yùn)動(dòng)目標(biāo)跟蹤有關(guān)算法的研究[D].武漢:武漢理工大學(xué)碩士學(xué)位論文,2008.
[10]張長(zhǎng)城, 李智明,楊德貴.基于MSPF方法的紅外弱小目標(biāo)自適應(yīng)跟蹤算法分析[J].紅外技術(shù), 2007,15(8):4-8.
[11]查宇飛, 畢篤彥.一種基于粒子濾波的自適應(yīng)運(yùn)動(dòng)目標(biāo)跟蹤方法[J].電子與信息學(xué)報(bào),2007,30(1):11-16.
常用的紋理特征主要有局部二進(jìn)制模式(LBP算子)以及梯度幅值特征。下面分別介紹LBP紋理圖和梯度幅值紋理圖的生成過(guò)程。
生成一幅LBP紋理圖像的具體過(guò)程如下:利用每個(gè)像素及其周圍3×3的環(huán)形鄰域上的8個(gè)像素點(diǎn)構(gòu)造出一個(gè)表征該像素紋理的特征值如式(1)。
LBPp,r=∑p-1p=0s(gp-gc)2p;(1)
其中,gc表示鄰域中心的灰度值,gp(p=0,1,…,p-1)對(duì)應(yīng)著鄰域上的P個(gè)等分點(diǎn)的灰度值。s(gp-gc)等于0或1;將得到的結(jié)果以中心像素點(diǎn)的右鄰域像素為起始像素按逆時(shí)針?lè)较蜷_(kāi)始計(jì)算,給每一項(xiàng)s(gp-gc)賦予二項(xiàng)式因子2p,可以將像素的局部空間紋理結(jié)構(gòu)表示為一個(gè)唯一的十進(jìn)制數(shù),該十進(jìn)制數(shù)被稱為L(zhǎng)BP特征值。然后對(duì)圖像中的每個(gè)像素求LBP特征值,構(gòu)造一幅圖像的LBP紋理特征圖。
生成梯度幅值圖像的具體過(guò)程如下:首先對(duì)原始圖像分別采用x方向和y方向,尺寸為3×3的sobel邊緣提取算子生成x、y方向的梯度圖像,然后如公式(2)所示,梯度幅值近似取X方向和Y方向梯度值的絕對(duì)值和作為梯度幅值,計(jì)算圖像上每一點(diǎn)的梯度幅值生成一幅梯度幅值紋理圖像。
f≈|Gx|+|Gy|(2)
其中,Gx為x方向的梯度,Gy為y方向的梯度。
2.2 MSPF算法流程
Mean-shift算法是一種基于非參數(shù)的核密度估計(jì)的方法,通過(guò)在數(shù)據(jù)的密度分布中求解局部極值。在本文中,mean-shift算法中像素點(diǎn)的概率密度圖像采用的是色調(diào)分量上的反向投影直方圖,搜索窗口采用矩形窗。粒子濾波是一種順序重要性采樣法,通過(guò)尋找一組在狀態(tài)空間中傳播的隨機(jī)樣本來(lái)近似的表示概率密度函數(shù)。具體做法是將粒子樣本隨機(jī)的分布在目標(biāo)可能出現(xiàn)的區(qū)域中,采集各粒子樣本的特征并計(jì)算各粒子樣本與目標(biāo)的相似度,將其作為更新粒子權(quán)值的主要依據(jù),然后根據(jù)粒子權(quán)值進(jìn)行重要性重采樣,如此反復(fù),迭代結(jié)束后計(jì)算各粒子權(quán)值的加權(quán)和作為預(yù)測(cè)結(jié)果。
本文中采用的算法流程如下:
1)手工標(biāo)定帶有目標(biāo)的搜索窗口,計(jì)算該搜索窗口內(nèi)的混合特征;
2)在下一幀圖像上,使用矩形窗口的mean-shift算法搜索目標(biāo);
3)根據(jù)mean-shift算法搜索的目標(biāo)區(qū)域,將粒子點(diǎn)分布在目標(biāo)區(qū)域的周圍。每個(gè)粒子都具有它們各自的特征以及加權(quán)值,每個(gè)粒子都反映著一種可能的目標(biāo)狀態(tài);
4)采樣與更新粒子權(quán)值。比較各粒子樣本特征與目標(biāo)特征的巴氏距離,并歸一化后作為各粒子的權(quán)值;
5)重要性重采樣。根據(jù)粒子的權(quán)值重新初始化粒子。歸一化后具有非常小的權(quán)值的粒子,說(shuō)明這些粒子和目標(biāo)偏離較遠(yuǎn),重新分布后,這些粒子所在的區(qū)域?qū)⒈环峙涓俚牧W印H缓笾貜?fù)進(jìn)行3-5操作;
6)估計(jì)目標(biāo)狀態(tài)。估計(jì)目標(biāo)狀態(tài)是指通過(guò)估計(jì)運(yùn)動(dòng)目標(biāo)的狀態(tài)參數(shù)和粒子狀態(tài)參數(shù)的加權(quán),加權(quán)求和后的狀態(tài)參數(shù)即為當(dāng)前幀中目標(biāo)的狀態(tài);
7)更新目標(biāo)特征。在新的一幀中提取出目標(biāo)的混合特征來(lái)更新原目標(biāo)特征。
至此,完成對(duì)當(dāng)前幀的跟蹤。
3 實(shí)驗(yàn)結(jié)果分析
本文實(shí)驗(yàn)中采用的操作系統(tǒng)是window xp, 編程語(yǔ)言環(huán)境是Microsoft Visual Studio 2005,算法中相關(guān)算法模塊來(lái)自opencv開(kāi)源的機(jī)器視覺(jué)庫(kù)。硬件平臺(tái)是:奔騰E5800(3.2G),內(nèi)存2GB。
如圖1中所示,至上而下依次是一副圖像的灰度圖和局部二進(jìn)制紋理圖以及梯度幅值圖,用紅圈標(biāo)記出道路上行走的行人作為待跟蹤的目標(biāo)。從圖1中可以看出,由于背景、光線等原因,目標(biāo)在灰度圖上幾乎不能分辨,而從LBP圖和梯度幅值圖像中則可以明顯的分辨出來(lái)。
圖2中的視頻場(chǎng)景是晚間道路上的監(jiān)控場(chǎng)景,對(duì)比的是在MSPF濾波中使用灰度直方圖特征和混合特征的跟蹤效果。其中左邊的一組圖像是采用單一的灰度圖像直方圖作為目標(biāo)特征的跟蹤效果,右邊的一組圖像采用混合特征作為目標(biāo)特征的跟蹤效果。由圖2可以看出,僅僅采用灰度信息跟蹤目標(biāo),其跟蹤效果較差,在第86幀以后基本上無(wú)法跟蹤目標(biāo)。而加入了紋理特征后,盡管目標(biāo)尺寸在變化,混合特征仍然可以代表場(chǎng)景中目標(biāo)的特征,準(zhǔn)確的跟蹤目標(biāo)。
下圖3是單獨(dú)使用粒子濾波算法和mean-shift算法以及MSPF算法的跟蹤效果對(duì)比圖。左邊的一組圖是采用粒子濾波算法的跟蹤效果,中間的一組圖是采用mean-shift算法的跟蹤效果,右邊的一組圖是采用MSPF算法的跟蹤效果。
對(duì)比第三行圖像,當(dāng)目標(biāo)移動(dòng)到監(jiān)控區(qū)域邊緣時(shí),粒子濾波算法預(yù)測(cè)的跟蹤區(qū)域仍然可以停留在目標(biāo)最后出現(xiàn)的位置上,而mean-shift算法則對(duì)此無(wú)能為力。從整體的跟蹤效果來(lái)看,將均值漂移算法加入到粒子濾波后,一方面相對(duì)于單獨(dú)使用粒子濾波減少了粒子樣本數(shù)量,另一方面每一幀中跟蹤較為平緩,避免了單獨(dú)使用粒子濾波造成跟蹤區(qū)域的跳變現(xiàn)象。
4 結(jié) 論
本文所提出的目標(biāo)跟蹤算法,首先采用mean-shift算法進(jìn)行預(yù)跟蹤,粗略的確定目標(biāo)在新的一幀中出現(xiàn)的位置,然后使用粒子濾波算法進(jìn)行精確跟蹤。這樣可以減小粒子樣本的數(shù)量,縮短了算法的計(jì)算量,提高該算法的實(shí)時(shí)性。針對(duì)安防視頻的特點(diǎn),粒子樣本的特征選擇綜合了視頻場(chǎng)景中目標(biāo)的灰度信息和紋理信息,可以明顯的區(qū)分出前景目標(biāo)和背景,從而可以很好的適用于安防視頻中的目標(biāo)跟蹤。
由于本算法來(lái)源于智能安防領(lǐng)域中的智能視頻分析項(xiàng)目,而安防特定的應(yīng)用背景對(duì)算法的準(zhǔn)確率、漏報(bào)率等指標(biāo)提出了苛刻的要求。因此,該算法將一直不斷的優(yōu)化。
參考文獻(xiàn)
[1] ISLAM, M.Z. CHIL-WOO Lee.Shape based Moving Object Tracking with Particle Filter[J].Control, Automation and Systems, 2008, Page(s): 679 682.
[2] ISLAM M Z.,CHI-MIN OH ; CHIL-WOO Lee.Real Time Moving Object Tracking by Particle Filter[J].Computer Science and its Applications, 2008. CSA '08, Page(s): 347- 352.
[3] TAO ZHANG,SHUMIN FEI,XIAODONG LI,HONG LU.An Improved Particle Filter for Tracking Color Object[J].Intelligent Computation Technology and Automation (ICICTA), 2008, Page(s): 109- 113.
[4] 竇琴.智能視頻監(jiān)控中基于粒子濾波的目標(biāo)跟蹤系統(tǒng)研究[D].武漢:武漢理工大學(xué) 碩士學(xué)位論文,2009.
[5] 張穎,王紅娟, 黃義定.基于Meanshift和粒子濾波的行人目標(biāo)跟蹤方法[J].計(jì)算機(jī)與現(xiàn)代化, 2012,15(3):20-26.
[6] 王鑫, 唐振民. 基于特征融合的粒子濾波在紅外小目標(biāo)跟蹤中的應(yīng)用[J].中國(guó)圖象圖形學(xué)報(bào),2010,15(1):8-12.
[7] 明新勇.基于均值漂移算法和粒子濾波算法的目標(biāo)跟蹤[D].南京:南京理工大學(xué)碩士學(xué)位論文,2008.
[8] 李紅波,曾德龍,吳渝.基于Mean-Shift和粒子濾波的兩步多目標(biāo)跟蹤方法[J].重慶郵電大學(xué)學(xué)報(bào):自然科學(xué)版, 2010,15(2):30-36.
[9] 邱雙忠.視頻圖像中運(yùn)動(dòng)目標(biāo)跟蹤有關(guān)算法的研究[D].武漢:武漢理工大學(xué)碩士學(xué)位論文,2008.
[10]張長(zhǎng)城, 李智明,楊德貴.基于MSPF方法的紅外弱小目標(biāo)自適應(yīng)跟蹤算法分析[J].紅外技術(shù), 2007,15(8):4-8.
[11]查宇飛, 畢篤彥.一種基于粒子濾波的自適應(yīng)運(yùn)動(dòng)目標(biāo)跟蹤方法[J].電子與信息學(xué)報(bào),2007,30(1):11-16.