劉 龍,樊波陽,劉金星,楊樂超

(西安理工大學(xué)自動化學(xué)院,陜西西安 710048)

?

面向運動目標(biāo)檢測的粒子濾波視覺注意力模型

劉 龍,樊波陽,劉金星,楊樂超

(西安理工大學(xué)自動化學(xué)院,陜西西安 710048)

視覺注意力是機(jī)器視覺領(lǐng)域的研究熱點,對目標(biāo)檢測、跟蹤等技術(shù)發(fā)展具有積極意義,本文面向運動目標(biāo)檢測問題,構(gòu)建了一種基于粒子濾波的視覺注意力模型.首先依據(jù)貝葉斯估計理論,推導(dǎo)了基于注意力的粒子權(quán)重計算方法;然后將運動注意力和目標(biāo)顏色注意力分別作為自底向上(Bottom-Up)和自頂向下(Top-Down)注意力的輸入,通過重要性采樣、粒子權(quán)值計算、重采樣等形成粒子注意力顯著圖,并確定目標(biāo)位置;測試結(jié)果顯示本文方法能夠獲取比其它方法更好的目標(biāo)注意力顯著圖,并具有準(zhǔn)確的目標(biāo)檢測效果.

注意力模型;運動目標(biāo)檢測;粒子濾波;融合

1 引言

運動目標(biāo)檢測是機(jī)器視覺領(lǐng)域的重要問題之一,是目標(biāo)跟蹤、識別的前提,但在復(fù)雜運動場景中,現(xiàn)有運動目標(biāo)檢測方法仍存在一定局限和不足.傳統(tǒng)的運動目標(biāo)檢測方法有背景差分法、幀間差分法和全局運動補(bǔ)償法,背景差分法和幀間差分法只局限于局部運動場景,全局運動補(bǔ)償法適用范圍廣,但準(zhǔn)確性受到目標(biāo)大小和運動強(qiáng)度影響,當(dāng)目標(biāo)體較大或運動較強(qiáng)烈時,全局運動估算準(zhǔn)確性下降,不能進(jìn)行全局有效補(bǔ)償,導(dǎo)致運動目標(biāo)檢測存在較大誤差.近些年,視覺感知研究逐漸融入了人類生理和心理的研究成果,視覺注意力研究是其中典型問題之一,其主要研究如何通過計算機(jī)模擬人類視覺系統(tǒng)對外界的初級反應(yīng),對目標(biāo)檢測、跟蹤等問題具有積極意義.

人類視覺注意力是由自底向上(Bottom-Up,B-U) 和自頂向下(Top-Down,T-D)兩種注意力共同作用產(chǎn)生形成的.2002年,Itti和Koch[1]建立了以亮度、顏色等特征為主的B-U注意力模型,隨后的一些研究衍生出多種視覺注意力計算方法及應(yīng)用.目前,視覺注意力模型大致可分為自底向上型[1～5]和雙向結(jié)合型[6～10]兩種類型.自底向上型描述B-U注意力計算方法;雙向結(jié)合型描述B-U和T-D注意力共同作用的計算方法.

視覺注意力模型構(gòu)建有兩種思路,一種是以模擬人類視覺機(jī)理為主要目的,另一種是針對一些具體問題構(gòu)建視覺注意力模型,這類研究以解決實際問題為主要目標(biāo).近些年,一些學(xué)者從注意力的角度對目標(biāo)檢測問題進(jìn)行了一定的研究,文獻(xiàn)[9,11～12]采用雙向注意力方法進(jìn)行靜態(tài)目標(biāo)檢測.Fang Y M等[9]提取目標(biāo)的方向特征作為T-D注意力,并與B-U注意力進(jìn)行比例加權(quán)融合,最終確定目標(biāo)位置.Alcides X.B等對特定靜態(tài)目標(biāo)特征進(jìn)行自組織神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),生成權(quán)重矩陣,并將其作為自頂向下的影響因素調(diào)節(jié)B-U注意力計算過程,形成目標(biāo)注意力顯著圖.Yu Y L[11,12]等建立目標(biāo)特征長期記憶(LTM)單元,通過與低級特征的對比計算位置概率分布偏置,并進(jìn)行雙向加權(quán)融合,確定目標(biāo)位置.另外,文獻(xiàn)[13]建立了運動注意力模型進(jìn)行運動目標(biāo)檢測,主要思路是根據(jù)運動反差定義運動注意力模型,使運動顯著性區(qū)域逼近目標(biāo)區(qū)域.Ma Y F[13]根據(jù)從MPEG碼流中解壓所得到的運動矢量場的運動矢量能量、空間相關(guān)性和時間相關(guān)性綜合定義了運動注意力模型,通過該模型可以得到運動顯著性區(qū)域.Han J W[14]將注意力分為靜態(tài)注意力和動態(tài)注意力兩種,靜態(tài)注意力主要由圖像的亮度、顏色等信息引起,動態(tài)注意力是在全局運動補(bǔ)償?shù)幕A(chǔ)上計算區(qū)域的變化像素的比例進(jìn)行定義的,注意力模型最終由靜態(tài)注意力和動態(tài)注意力融合得到,主要應(yīng)用于運動目標(biāo)檢測.

文獻(xiàn)[11～13]涉及了目標(biāo)檢測問題,但主要是解決靜態(tài)目標(biāo)的注意力問題,采用靜態(tài)目標(biāo)特征如輪廓、顏色等,T-D和B-U注意力采用了加權(quán)融合,較難反應(yīng)兩者對最終目標(biāo)注意力的作用,文獻(xiàn)[13～14]根據(jù)運動信息構(gòu)建運動注意力模型,屬于B-U注意力計算方法,具有一定的局限性.綜上所述,相關(guān)研究還未有針對運動目標(biāo)檢測的注意力模型,而現(xiàn)有注意力模型缺乏將運動注意力以及目標(biāo)特征等綜合計算的形式.針對上述問題,本文著重研究面向運動目標(biāo)檢測的視覺注意力方法,提出借鑒粒子濾波機(jī)制建立雙向融合注意力模型,采用運動注意力、目標(biāo)顏色注意力分別作為B-U和T-D雙向注意力輸入,通過濾波后的粒子分布狀態(tài)計算注意力顯著度,并最終確定目標(biāo)位置.

2 粒子濾波雙向融合注意力模型

(1)

(2)

(3)

(4)

(5)

(6)

(7)

(8)

(9)

上述推導(dǎo)遵循以下假設(shè)條件:(i)時間動態(tài)過程符合馬爾科夫過程;(ii)不同時間的觀測值相互獨立,觀測值只與當(dāng)前狀態(tài)相關(guān).根據(jù)假設(shè)(i)和假設(shè)(ii),對推導(dǎo)步驟作了如下簡化:

(10)

3 基于視覺注意力的運動目標(biāo)檢測

3.1 粒子權(quán)值計算

本文對運動矢量場進(jìn)行疊加和濾波兩個預(yù)處理,運動注意力SMB-U由時間和空間兩方面注意力構(gòu)成,設(shè)S1和S2分別表示時間和空間注意力,其計算定義如下:

(11)

(12)

(13)

式中,α、β為正值的系數(shù).圖2顯示了B-U注意力顯著圖.

(14)

(15)

SMT-D顯著性計算定義如下:

(16)

式中,ρ為巴查理亞(Bhattacharyya)系數(shù).圖3示顯示了T-D注意力顯著圖.

(17)

(18)

3.2 重要性采樣與重采樣

(19)

(20)

3.3 粒子顯著圖與目標(biāo)定位

經(jīng)過重采樣后,粒子分布的疏密程度反映了注意力強(qiáng)弱,粒子分布密集區(qū)域注意力顯著性強(qiáng),分布稀疏的區(qū)域注意力顯著性弱.根據(jù)粒子分布狀態(tài),在二維空間上,可定義注意力顯著大小如下:

(21)

(22)

經(jīng)過上述處理后,得到每一幀圖像中所有粒子的分布狀態(tài),粒子群密度越大運動目標(biāo)存在可能性越大,因此可以通過計算粒子群位置均值估計出目標(biāo)位置信息,計算公式如式(23):

(23)

4 實驗分析

本節(jié)對基于粒子濾波的注意力模型及運動標(biāo)檢測效果進(jìn)行測試和分析.在測試實驗中,將B-U運動注意力和T-D目標(biāo)顏色注意力作為該模型的輸入,與其它相關(guān)方法分析對比目標(biāo)注意力顯著圖,同時評價對運動目標(biāo)檢測的準(zhǔn)確性.實驗在Dell Core 2.0GHz、1GB RAM的計算機(jī)上完成,編程環(huán)境為Matlab2012.

4.1 實驗設(shè)置

實驗主要針對復(fù)雜運動場景測試運動目標(biāo)檢測的效果,本文方法(基于粒子濾波的算法,Particle Filtering Based,PF)與文獻(xiàn)[13](全局運動補(bǔ)償和視覺注意力混合的目標(biāo)分割,Globe Motion Compensation and Visual Attention Based,GMC-VAB)中的算法和文獻(xiàn)[8]雙向注意力融合的算法,Two-way Motion Attention Fusion Based,TWAFB)作對比.GMC-VAB模型的相關(guān)參數(shù)設(shè)定如表1所示;TWAFB模型的融合權(quán)值系數(shù)和偏置系數(shù)設(shè)定如表2所示;本文方法中,時間注意力S1和空間注意力S2的融合系數(shù)α與β,B-U注意力概率似然函數(shù)中標(biāo)準(zhǔn)差σB-U與T-D注意力概率似然函數(shù)中標(biāo)準(zhǔn)差σT-D的設(shè)定如表3所示.

4.2 注意力顯著圖與運動目標(biāo)檢測

在實驗數(shù)據(jù)方面,選取6個不同具有運動較為強(qiáng)烈的視頻序列作為測試數(shù)據(jù).6種測試序列具有不同的運動特點,“飛行器”序列:待測目標(biāo)選定為飛行員,目標(biāo)在空中高速滑動,背景為地面遠(yuǎn)景物體,紋理復(fù)雜,飛行器向圖像上方運動,鏡頭隨飛行器移動;“斗牛士”序列:待測目標(biāo)選定為牛,目標(biāo)不規(guī)則的激烈運動,背景為圍欄和土地等,紋理有一定起伏變化,鏡頭隨目標(biāo)快速移動;“帆船”序列:待測目標(biāo)選定為較大白色帆船,目標(biāo)向右方做較緩慢平移運動,且存在部分遮擋干擾,近景紋理較弱,遠(yuǎn)景較復(fù)雜;“馬”序列:待測目標(biāo)選定為馬,目標(biāo)激烈運動,背景為樹木和草地,紋理變化平坦,馬向圖像左側(cè)奔跑,鏡頭快速向左側(cè)移動;“蜂鳥”序列:待測目標(biāo)選定為蜂鳥,目標(biāo)激烈運動,背景有較強(qiáng)的明暗變化,蜂鳥的頭部在不?？惺匙烂媸澄?翅膀高速煽動,鏡頭隨蜂鳥位置變化輕微移動.“賽跑”序列:待測目標(biāo)選定為運動員,目標(biāo)與鏡頭都做劇烈高速運動,圖像出現(xiàn)局部模糊和幻影.圖5顯示了測試結(jié)果,其中第一列為視頻序列的原始幀;第二列為顯著二值圖;第三列為Itti算法結(jié)果,主要反映顏色、亮度、方向等靜態(tài)特征形成的B-U注意力顯著圖;第四列為以顏色特征為基礎(chǔ)的T-D注意力顯著圖;第五列為MA算法結(jié)果,要反映其B-U運動模型計算得到的運動注意力顯著圖;第六列為GMA-VAB算法結(jié)果,主要反映全局運動補(bǔ)償后的運動注意力與靜態(tài)注意力加權(quán)融合形成注意力顯著圖;第七列為TWAFB算法結(jié)果,主要反映B-U注意力與T-D注意力偏置加權(quán)融合形成注意力顯著圖;第八列為本文算法結(jié)果;第九列為本文算法的目標(biāo)檢測定位結(jié)果.上述測試結(jié)果顯示PF算法總體效果優(yōu)于MA算法、GMC-VAB算法、TWAFB算法.MA算法雖然進(jìn)行了雙向注意力融合,但是受到運動估計精度的影響,導(dǎo)致運動注意力計算不準(zhǔn)確,當(dāng)運動相對簡單時,可獲得較好的效果,如“飛行器”和“蜂鳥”序列,而當(dāng)運動強(qiáng)烈時,運動注意力比較雜亂不能有效反應(yīng)運動目標(biāo)顯著性,如“斗牛士”、“帆船”、“馬”和“賽跑”序列;GMA-VAB算法融合了全局運動補(bǔ)償和靜態(tài)注意力,但通常由于全局運動估計存在誤差,導(dǎo)致目標(biāo)顯著性效果不佳;而且GMA-VAB算法只融合了B-U注意力特征,對全局中所有可能引起注意力的區(qū)域全部進(jìn)行標(biāo)注,無法實現(xiàn)目標(biāo)的檢測定位,如“馬”,“賽跑”,“帆船”,“飛行器”,“蜂鳥”,“斗牛士”等序列,TWAFB算法采用T-D注意力作為指導(dǎo),得到結(jié)果相對較好,但是在角點特征不明顯的序列中,如“帆船”、“蜂鳥”序列,TWAFB的噪聲較大,注意力顯著焦點位置空間不連續(xù),有時存在較大誤差,實驗結(jié)果顯示,PF算法注意力顯著圖比MA算法、GMC-VAB算法、TWAFB算法的注意力圖,由于采用合理的處理方法提高了運動估計的精度,加入顏色特征作為指導(dǎo),背景噪聲干擾得到大幅度削弱,還有在粒子濾波過程,粒子分布狀態(tài)隨運動狀態(tài)和目標(biāo)位置而改變,粒子最終收斂聚集于運動目標(biāo)區(qū)域,使得注意力準(zhǔn)確性大大提高.

表1 GMC-VAB模型的參數(shù)

偏置控制δ閾值ηGMC?VAB0．90．8

表2 TWAFB模型的參數(shù)

表3 PF模型的參數(shù)

4.3 ROC性能指標(biāo)

本文采用特征曲線(ROC)來評價本文模型所得到的顯著圖的預(yù)測注意力目標(biāo)的性能.顯著圖中每個像素點被設(shè)定為一個二元分類器的樣本,像素點值大于某一閾值可以判為是注意力焦點(陽性樣本),否則判為非注意力焦點(陰性樣本),以圖像幀的真實顯著二值圖作為標(biāo)準(zhǔn)(ground truth),通過改變閾值大小,得出一系列真陽性率(RTP)和偽陽性率(RFP)對應(yīng)的值,分別以RFP和RTP為橫軸與縱軸可以得到ROC曲線.RTP和RFP由式(26)和(27)計算得到:

RTP=MTP/nP

(26)

RFP=MFP/nN

(27)

其中,nP和nN分別為陽性樣本和陰性樣本個數(shù),MTP和MFP分別為判斷為真陽性樣本和偽陽性樣本的個數(shù).

圖6顯示了6個測試序列的ROC曲線結(jié)果.曲線越靠近左上方,運動目標(biāo)顯著性的準(zhǔn)確度越高.由ROC曲線可知本文注意力模型的性能要優(yōu)于其它模型;TWAFB模型加性融合T-D和B-U注意力,其效果比MA模型(B-U注意力)要好;GMA-VAB由于全局運動補(bǔ)償?shù)娜毕?導(dǎo)致效果不理想;Itti模型屬于靜態(tài)特征(顏色、亮度和方向)產(chǎn)生的注意力,所以曲線性能較差.

5 結(jié)論

本文依據(jù)貝葉斯融合原理,構(gòu)建了基于粒子濾波的視覺雙向融合注意力模型,并以運動注意力和目標(biāo)顏色注意力分別為B-U和T-D注意力輸入,通過粒子權(quán)值計算、重采樣等處理改變粒子分布狀態(tài),形成注意力顯著圖,并最終確定目標(biāo)位置;測試結(jié)果表明,本文方法可獲得較準(zhǔn)確的目標(biāo)注意力顯著圖,對相關(guān)研究領(lǐng)域具有較高的學(xué)術(shù)和應(yīng)用價值.

[1] Itti L,Koch C.Computational modeling of visual attention[J].Nature Reviews Neuroscience,2001,2(3):193-203.

[2] Olivier L M,Patrick L C.A coherent computational approach to model bottom-up visual attention [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(5):802-817.

[3] Hou X D,Zhang L Q.Saliency Detection:A spec-tral residual approach[A].IEEE Conference on Computer Vision and Pattern Recognition [C].Minneapolis:IEEE,2007.1-8.

[4] Rapantzikos K,Tsapatsoulis N,Avrithis Y,et al.Bottom-up spatiotemporal visual attention model for video analysis[J].Image Processing,2007,1(2):237-248.

[5] Yan Q,Xu L,Shi J P,et al.Hierarchical saliency detection[A].IEEE Conference on Computer Vi-sion and Pattern Recognition[C].Portland:IEEE,2013.1155-1162.

[6]Kang W L,Hilary B,Feng J F.Cue-guided search:a computational model of selective attention [J].IEEE Transactions on Neural Networks,2005,16 (4):910-924.

[7] Zhang L Y,Tim K Marks,Matthew H Tong,et al.SUN:A bayesian framework for saliency using natural statistics[J].Journal of Vision,2008,7(8):1-20.

[8] Sang W B,Bumhwi K,Minho L.Top-down visual selective attention model combined with bottom-up saliency map for incremental perception [A].IEEE International Conference on Neural Networks [C].Barcelona:IEEE,2010.1-8.

[9] Fang Y M,Lin W S,Lau C T,et al.A visual attention model combining top-down and bottom-up mechanisms for salient object detection[A].IEEE International Conference on Acoustics,Speech and Signal Processing[C].Singapore:IEEE,2011.1293-1296.

[10]Borji A.Boosting bottom-up and top-down visual features for saliency estimation[A].IEEE Conference on Computer Vision and Pattern Recognition[C].Providence:IEEE,2012.438-445.

[11]Yu Y L,George K I Mann,et al.An object-based visual attention model for robotic applications[J].IEEE Transactions on System,2010,40(5):1398-1412.

[12]郎叢妍,須德,李冰.一種基于動態(tài)貝葉斯網(wǎng)的視覺注意力是別方法[J].電子學(xué)報,2011,39(3A):140-146.

Lang Cong-yan,Xu De,Li Bing.Dynamic Bayesian network based visual focus of attention recognition[J].Acta Electronica Sinica,2011,39(3A):140-146.(in Chinese)

[13]Ma Y F,Zhang H J.A model of motion attention for video skimming[A].2002 International Conference on Image Processing[C].New York:IEEE,2002.129-132.

[14]Zhou C.A visual attention model for dynamic scenes based on motion features[A].IEEE International Conference on Control Automation Robotics & Vision[C].Guangzhou:IEEE,2012.1396-1401.

[15]Han J W.Object segmentation from consumer videos:a unified framework based on visual atention[J].IEEE Transactions on Consumer Electronics,2009,55(3):1597-1605.

[16]Gordon N,Salmond D J,Smith A F M.Novel approach to nonlinear/non-Gaussian Bayesian state estimation[J].IEEE Proceedings F:Radar and Signal Processing,1993,140(2):107-113.

劉 龍 男,1976年生,博士,副教授,研究方向為智能信息技術(shù)與嵌入式系統(tǒng).

E-mail:Liulong@xaut.edu.cn

樊波陽 男,1990年生,碩士研究生,研究領(lǐng)域為智能信息技術(shù)與嵌入式系統(tǒng).

劉金星 男,1989年生,碩士研究生,研究領(lǐng)域為目標(biāo)檢測與跟蹤.

Particle Filtering Based Visual Attention Model for Moving Target Detection

LIU Long,FAN Bo-yang,LIU Jin-xing,YANG Le-chao

(Xi’anUniversityofTechnology,Xi’an,Shaanxi710048,China)

Visual attention is one of the research hotspots in the field of machine vision,which is positive significance for development of target detection and target tracking.This paper presents a particle filter based visual attention model that is applied to detect moving target.Firstly,according to Bayes estimation theory,the method of particle weight calculation is established by visual bidirectional (Top-Down/Bottom-Up) fusion attention.Then motion attention and target color attention are adopted as input of the attention model,and moving target saliency is calculated through the importance sampling,particle weight calculation,resampling and particle saliency map processing.Lastly,the target position is determined by distribution of particle.Different video complex scene test results show that this method is more effective and accurate than the traditional method for detection of moving target.

motion attention model; moving target detection; particle filtering; fusion

2014-06-11;

2015-12-30; 責(zé)任編輯:梅志強(qiáng)

陜西省工業(yè)科技攻關(guān)項目(NO.2016GY-128)；國家自然科學(xué)基金(No.61001140)；西安市技術(shù)轉(zhuǎn)移促進(jìn)工程重大項目(No.CX12166)

TN911.7

A

0372-2112 (2016)09-2235-07

??學(xué)報URL:http://www.ejournal.org.cn

10.3969/j.issn.0372-2112.2016.09.031