基于Kalman和Surf的Camshift目標(biāo)跟蹤研究

王超+蘇湛

摘要：

傳統(tǒng)的Camshift運(yùn)動(dòng)目標(biāo)跟蹤算法在目標(biāo)遮擋或背景顏色干擾下，容易陷入局部最大值，造成目標(biāo)跟蹤丟失。針對(duì)這一問(wèn)題，提出了一種結(jié)合Kalman濾波及Surf特征提取的改進(jìn)算法。該算法需在視頻序列中手動(dòng)框選跟蹤目標(biāo)作為目標(biāo)模板。將傳統(tǒng)Camshift算法得到的目標(biāo)候選區(qū)域與目標(biāo)模板進(jìn)行直方圖對(duì)比，得到的巴氏系數(shù)若大于設(shè)定的閾值則說(shuō)明目標(biāo)跟蹤丟失。采用Surf算法，在該幀圖像中匹配出新的目標(biāo)候選區(qū)域，最終得到候選區(qū)域的位置信息更新Kalman濾波。仿真實(shí)驗(yàn)表明，改進(jìn)后的算法在復(fù)雜背景下仍然具有良好的跟蹤效果。

關(guān)鍵詞：

Camshift算法；Kalman預(yù)測(cè)器；Surf算法；顏色干擾；目標(biāo)遮擋

DOIDOI：10.11907/rjdk.172315

中圖分類(lèi)號(hào)：TP312

文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)文章編號(hào)：16727800（2018）001007704

Abstract：The traditional Camshift moving target tracking algorithm is easy to fall into the local maximum value and lost tracking target under the target occlusion or background color interference. An improved algorithm combining Kalman filter and Surf feature extraction is proposed. Firstly， it is necessary to manually select the target as a template region in the sequence of video frames while using this algorithm. Then calculate the Bhattacharyya coefficient of the candidate region obtained by the traditional Camshift algorithm and the template region by histogram matching. If the coefficient is greater than the threshold， this situation represents lost tracking traget. The Surf algorithm is used to match the new target candidate region in the frame image. The Kalman filter is updated according to the position information of the finally obtained candidate region. The simulation results show that the improved algorithm still has a good tracking effect in the complex background.

Key Words：Camshift algorithm； Kalman predictor； Surf algorithm； color interference； target occlusion

0引言

目標(biāo)跟蹤結(jié)合機(jī)器視覺(jué)、圖像處理、模式識(shí)別等多個(gè)學(xué)科知識(shí)，廣泛應(yīng)用在交通、軍事、工業(yè)等領(lǐng)域[1]。Camshift是一種基于顏色直方圖的跟蹤算法，利用顏色的相關(guān)信息跟蹤運(yùn)動(dòng)目標(biāo)。該算法在黑白背景下具有良好的跟蹤效果，但當(dāng)跟蹤目標(biāo)的顏色與背景顏色相似，或目標(biāo)被遮擋時(shí)，使用該算法很容易造成目標(biāo)跟蹤丟失，并且很難恢復(fù)[23]。

傳統(tǒng)的Camshift改進(jìn)算法很多。文獻(xiàn)[4]加入了幀間差分法，當(dāng)出現(xiàn)顏色干擾時(shí)，采用幀間差分法仍然可以檢測(cè)出運(yùn)動(dòng)物體，但是該方法僅適用于視頻畫(huà)面中存在單個(gè)運(yùn)動(dòng)物體，當(dāng)畫(huà)面中同時(shí)有多個(gè)運(yùn)動(dòng)物體時(shí)，則無(wú)法自動(dòng)選出特定運(yùn)動(dòng)目標(biāo)。文獻(xiàn)[5]中加入了Kalman濾波解決目標(biāo)被遮擋問(wèn)題，但跟蹤效果易受光照及背景顏色等外界因素干擾。

針對(duì)上述問(wèn)題，本文提出了一種結(jié)合Kalman預(yù)測(cè)器與Surf特征匹配的改進(jìn)方案。當(dāng)跟蹤失敗時(shí)，利用Surf算法，對(duì)目標(biāo)模板模型及對(duì)應(yīng)幀圖像進(jìn)行特征匹配，重新定位候選目標(biāo)區(qū)域。利用 kalman濾波，預(yù)測(cè)下一幀圖像中搜索框的信息，依此實(shí)現(xiàn)持續(xù)準(zhǔn)確的跟蹤。

2.2Surf特征提取匹配

Surf （Speeded Up Robust Features），即加速的具有魯棒性特征。Surf算法是尺度不變特征算法（Sift）的加速版。理論上，Surf的速度是Sift的3倍，并且穩(wěn)定性更好。利用Surf算法可以在兩幅圖像中找出相同的物體，并且建立映射關(guān)系[13]。

Surf算法步驟：通過(guò)Hessian矩陣構(gòu)造高斯金字塔尺度空間，通過(guò)非最大信號(hào)確定特征點(diǎn)，再采用三維線(xiàn)性插值法得到亞像素級(jí)特征點(diǎn)，選取特征點(diǎn)的主方向，最后生成特征向量[14]。

在跟蹤過(guò)程中，若發(fā)生目標(biāo)跟蹤丟失，則需要采用該算法重新定位目標(biāo)區(qū)域。基本思路為：跟蹤前手動(dòng)選取跟蹤目標(biāo)并保存，作為模板模型。當(dāng)檢測(cè)到丟失跟蹤目標(biāo)時(shí)，將保存的目標(biāo)模型和對(duì)應(yīng)的視頻幀圖像進(jìn)行Surf特征點(diǎn)提取與匹配，再通過(guò)透視變換，即可得到目標(biāo)區(qū)域的具體位置信息，從而找回丟失的運(yùn)動(dòng)目標(biāo)。

如圖1所示，首先使用Surf算法，對(duì)目標(biāo)書(shū)籍及書(shū)籍所在的場(chǎng)景圖進(jìn)行特征提取，再使用Flann匹配對(duì)應(yīng)的特征點(diǎn)，最后通過(guò)透視變換，便可在場(chǎng)景圖中找出目標(biāo)書(shū)籍，即圖1右側(cè)區(qū)域所框選出來(lái)的四邊形區(qū)域。通過(guò)上述操作就可以得到目標(biāo)在相應(yīng)場(chǎng)景中的位置信息，進(jìn)而實(shí)現(xiàn)對(duì)跟蹤目標(biāo)的重新定位。在運(yùn)動(dòng)目標(biāo)跟蹤過(guò)程中，若發(fā)生丟失跟蹤目標(biāo)的情形，則需要采用該方法重新找到跟蹤的物體，實(shí)現(xiàn)對(duì)目標(biāo)的重新定位。endprint

2.3改進(jìn)的Camshift算法

傳統(tǒng)的Camshift算法在實(shí)際跟蹤過(guò)程中存在相應(yīng)缺陷，本文介紹一種基于Kalman預(yù)測(cè)器與Surf特征匹配的改進(jìn)方案。在跟蹤過(guò)程中，通過(guò)對(duì)Camshift跟蹤的候選區(qū)域與最初框選的目標(biāo)模板區(qū)域進(jìn)行直方圖對(duì)比，可以得到一個(gè)巴氏系數(shù)d（H1，H2）：

式中：H1，H2為需要進(jìn)行對(duì)比的直方圖參數(shù)，d（H1，H2）∈[0，1]，巴氏系數(shù)越接近0，說(shuō)明兩幅圖內(nèi)容越接近。設(shè)置一個(gè)閾值，當(dāng)?shù)玫降陌褪舷禂?shù)大于這個(gè)閾值時(shí)，說(shuō)明此時(shí)跟蹤得到的候選區(qū)域與模板模型內(nèi)容相似度較低，即丟失跟蹤目標(biāo)[15]。通過(guò)該方法可方便地判斷此幀圖像中運(yùn)動(dòng)目標(biāo)是否跟蹤成功。改進(jìn)后的算法步驟如下：

（1）讀入視頻幀序列，并用鼠標(biāo)手動(dòng)選取所要跟蹤的目標(biāo)，框選出的區(qū)域即為目標(biāo)模板模型，將該區(qū)域作為初始搜索窗口。

（2）初始化Kalman濾波。

（3）根據(jù)搜索窗口信息，利用Camshift算法進(jìn)行目標(biāo)跟蹤，得到目標(biāo)候選區(qū)域。

（4）將跟蹤得到的目標(biāo)候選區(qū)域與目標(biāo)模板模型進(jìn)行直方圖對(duì)比，判斷得到的巴氏系數(shù)是否大于設(shè)定的閾值（本文設(shè)置的閾值為0.4）。如果大于閾值，則表明丟失跟蹤目標(biāo)，跟蹤失敗。利用Surf算法對(duì)目標(biāo)模板模型與對(duì)應(yīng)的視頻幀圖像進(jìn)行特征提取，使用Flann算法進(jìn)行特征點(diǎn)匹配。最后通過(guò)透視變化，重新找回視頻畫(huà)面中所要跟蹤的運(yùn)動(dòng)目標(biāo)，得到新的目標(biāo)候選區(qū)域。

（5）將目標(biāo)候選區(qū)域的位置和大小作為觀測(cè)值，更新Kalman預(yù)測(cè)器參數(shù)。

（6）讀入下一幀圖像，利用參數(shù)更新后的Kalman濾波，預(yù)測(cè)出運(yùn)動(dòng)目標(biāo)的位置信息。

（7）根據(jù)預(yù)測(cè)出的運(yùn)動(dòng)模板位置信息，更新搜索窗口，返回步驟（3）繼續(xù)執(zhí)行，直至視頻播放結(jié)束。

對(duì)應(yīng)的流程如圖2所示。

3實(shí)驗(yàn)仿真分析

仿真實(shí)驗(yàn)處理器型號(hào)為Inteli53210M，主頻2.50GHz，內(nèi)存8GB，操作系統(tǒng)Windows 7，使用Visual Studio2015以及OpenCV 3.2.0版本。

圖3和圖4是一組汽車(chē)行駛視頻序列，選取汽車(chē)為跟蹤目標(biāo)，跟蹤結(jié)果顯示在紅色矩形框內(nèi)。畫(huà)面中天空的顏色與汽車(chē)的顏色相似，從而對(duì)跟蹤造成干擾。將該視頻序列的第21幀框選為跟蹤目標(biāo)。圖3采用的是傳統(tǒng)的Camshift跟蹤算法，圖4采用的是基于本文改進(jìn)后的跟蹤算法。由于天空顏色的干擾，兩種方法都不能完全框選出整個(gè)汽車(chē)。圖3中，從第121幀開(kāi)始，紅色矩形框逐漸偏離汽車(chē)，第325幀則完全丟失跟蹤目標(biāo)。圖4中，雖然紅色矩形框也存在偏離目標(biāo)的情況，但是和圖3相比偏離程度明顯降低，并且在第325幀圖像中，仍然很好地對(duì)汽車(chē)進(jìn)行了跟蹤，未出現(xiàn)丟失跟蹤目標(biāo)的情況。

圖5和圖6是一組道路行人視頻序列，選取其中的一個(gè)行人作為跟蹤目標(biāo)。在該視頻序列的第212幀選取跟蹤目標(biāo)，即身穿淺綠色上衣的行人。第263幀中，路燈上的指示牌及周?chē)男腥藢?duì)跟蹤目標(biāo)造成遮擋，第274幀畫(huà)面中，遮擋消失。此次跟蹤，兩種方法均未出現(xiàn)丟失跟蹤目標(biāo)的情況。但是采用傳統(tǒng)Camshift跟蹤算法得到的紅色矩形框的面積，明顯要大于采用改進(jìn)的跟蹤算法得到的紅色矩形框面積。對(duì)比后發(fā)現(xiàn)，改進(jìn)后的算法能對(duì)行人實(shí)現(xiàn)更為準(zhǔn)確的定位跟蹤，效果得到顯著提高。

仿真實(shí)驗(yàn)表明，改進(jìn)后的Camshift具有更好的跟蹤效果，跟蹤準(zhǔn)確度得到明顯提高。但是由于加入了Surf特征匹配算法，程序運(yùn)行時(shí)間要略微延長(zhǎng)。由于Camshift算法是基于顏色直方圖進(jìn)行跟蹤的，所以背景顏色干擾對(duì)跟蹤過(guò)程影響較大[16]，在此情形下，改進(jìn)后的算法雖然能明顯改善跟蹤效果，但仍然存在結(jié)果矩形框偏離運(yùn)動(dòng)目標(biāo)的情形。綜上，改進(jìn)后的算法達(dá)到了預(yù)期效果。在背景顏色干擾與目標(biāo)遮擋情形下，仍然能進(jìn)行有效跟蹤。

4結(jié)語(yǔ)

本文在傳統(tǒng)Camshift跟蹤算法的基礎(chǔ)上，加入了Kalman預(yù)測(cè)器及Surf特征匹配，因而在復(fù)雜背景條件下仍然體現(xiàn)出良好的跟蹤效果。但在特定場(chǎng)景下出現(xiàn)背景顏色干擾時(shí)，跟蹤效果并不是特別理想。當(dāng)今深度學(xué)習(xí)技術(shù)發(fā)展迅速，利用深度學(xué)習(xí)法實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)跟蹤是研究趨勢(shì)，如何利用此方法提高跟蹤效果將作進(jìn)一步研究。

參考文獻(xiàn)：

[1]徐光柱，雷幫軍.實(shí)用性目標(biāo)檢測(cè)與跟蹤算法原理及應(yīng)用[M].北京：高等教育出版社，2015：45.

[2]CHUNBO XIU， FUSHAN BA. Target tracking based on improved Camshift method[C]. Chinese Control and Decision Conference， 2016.

[3]SHENGLUAN HUANG， JINGXIN HONG. Moving object tracking system based on Camshift and Kalman filter[C]. International Conference on Consumer Electronics， Communications and Networks， 2011.

[4]ZHENG HAN， RUI ZHANG， LINRU WEN， et al. Moving object Tracking method based on improved Camshift algorithm[C]. International Conference on Industrial InformaticsComputing Technology， Intelligent Technology， Industrial Information Integration， 2016.

[5]XIANGYU WANG， XIUJUAN LI. The study of moving target tracking based on KalmanCamShift in the video[C]. The 2nd International Conference on Information Science and Engineering，2010.endprint

[6]湯泉.基于AdaBoost和Camshift的人臉檢測(cè)與跟蹤[J].電子科技，2016，29（12）：166169.

[7]儲(chǔ)珺，杜立輝，汪凌峰，等.基于局部背景感知的目標(biāo)跟蹤[J].自動(dòng)化學(xué)報(bào)，2012，38（6）：19851995.

[8]CHIH HSIEN，HSIAYUN JUNG，LIOUJEN SHIUN CHIANG. Directional prediction CamShift algorithm based on adaptive search pattern for moving object tracking[J]. Journal of RealTime Image Processing， 2016，12（1）：183195.

[9]牛春峰，劉世平，王中原.制導(dǎo)炮彈飛行姿態(tài)的卡爾曼濾波估計(jì)方法[J].中國(guó)慣性技術(shù)學(xué)報(bào)，2012，20（5）：510514.

[10]閆鈞華.基于Kalman預(yù)測(cè)器的改進(jìn)的CamShift目標(biāo)跟蹤[J].中國(guó)慣性技術(shù)學(xué)報(bào)，2014，22（4）：536542.

[11]KIN HONG WONG， YING KIN YU， HO YIN FUNG. Robust and efficient pose tracking using perspectivefourpoint algorithm and Kalman filter[C]. St.Petersburg， Russia： International Conference on Mechanical， System and Control Engineering， 2017.

[12]孫凱，劉士榮.多目標(biāo)跟蹤的改進(jìn)Camshift卡爾曼濾波組合算法[J].信息與控制，2009，38（1）：914.

[13]謝紅，原博，解武.基于Orb特征點(diǎn)匹配的改進(jìn)Camshift運(yùn)動(dòng)目標(biāo)跟蹤算法[J].應(yīng)用科技，2016，45（5）：713.

[14]任克強(qiáng)，胡夢(mèng)云.基于改進(jìn) SURF 算子的彩色圖像配準(zhǔn)算法[J].電子測(cè)量與儀器學(xué)報(bào)，2016，30（5）：748756.

[15]張磊，彭力.結(jié)合Surf與Kalman濾波的Camshift跟蹤算法[J].電子測(cè)量與儀器學(xué)報(bào)，2017，31（3）：389394.

[16]唐文平，胡慶龍.基于多目標(biāo)Camshift手勢(shì)識(shí)別[J].電子科技，2012，25（2）：7181.

（責(zé)任編輯：杜能鋼）endprint