谷帥

摘 要：針對無遮擋情況下的跟蹤問題，利用卡爾曼濾波的預(yù)測性與特征匹配相結(jié)合的方法對目標(biāo)臺球進(jìn)行跟蹤，以期提高跟蹤的實(shí)時(shí)性和準(zhǔn)確性。針對有遮擋情況下的跟蹤問題，根據(jù)運(yùn)動臺球具有明顯的顏色特性，采用卡爾曼濾波與Mean Shift相結(jié)合的方法，實(shí)驗(yàn)結(jié)果表明該方法具有良好的穩(wěn)健性和實(shí)時(shí)性。

關(guān)鍵詞：卡爾曼濾波；特征匹配；Mean Shift；實(shí)時(shí)性

近年來，隨著中國選手在國際斯諾克比賽中佳績頻頻，使得這項(xiàng)運(yùn)動倍受關(guān)注。然而，一場臺球比賽持續(xù)兩三個(gè)小時(shí)很平常，這就對裁判的注意力和體力的要求很高，稍一分心就有可能報(bào)錯(cuò)分?jǐn)?shù)或者不能對臺球進(jìn)行復(fù)位。在一些國內(nèi)外的比賽中，基于視頻的智能輔助系統(tǒng)的研究 [1-3]已經(jīng)應(yīng)用到比賽中，因此，對臺球比賽視頻的分析研究是非常必要的。

隨著科技水平的不斷提高，運(yùn)用計(jì)算機(jī)視頻幫助并逐漸取代人工監(jiān)督和分析任務(wù)的情景越來越多。由此產(chǎn)生了計(jì)算機(jī)視覺[4]。計(jì)算機(jī)視覺主要包括運(yùn)動目標(biāo)檢測，目標(biāo)提取，目標(biāo)識別與跟蹤幾個(gè)方面。其中，最具有挑戰(zhàn)的是對運(yùn)動目標(biāo)的跟蹤，對運(yùn)動目標(biāo)進(jìn)行跟蹤的一些常用方法有：基于子空間的跟蹤方法，基于背景建模的跟蹤方法，基于確定性運(yùn)動建模的跟蹤方法，基于貝葉斯濾波的跟蹤方法，基于特征匹配的跟蹤方法等。

基于子空間的跟蹤方法能夠在跟蹤目標(biāo)外在特征變化時(shí)很好的對目標(biāo)進(jìn)行跟蹤，但是，它需要事先進(jìn)行訓(xùn)練，這就局限了它的應(yīng)用范圍?；诒尘敖５姆椒梢蕴幚砉庹兆兓捅尘爸兄芷谛缘倪\(yùn)動，該方法的缺點(diǎn)是它需要存儲每個(gè)樣本點(diǎn)，而且每個(gè)樣本點(diǎn)都要參加核函數(shù)的計(jì)算。這就帶來了很高的存儲開銷和計(jì)算代價(jià)?；诖_定性運(yùn)動建模的跟蹤方法具有執(zhí)行速度快的優(yōu)點(diǎn)，然而，該方法大多是采用局部優(yōu)化的方法來獲得運(yùn)動參數(shù)，容易陷入局部極小點(diǎn)?；谔卣髌ヅ涞母櫡椒?，即使當(dāng)場景中的光照條件，亮度等不斷發(fā)生變化時(shí)，目標(biāo)跟蹤仍然不受影響；而且它能利用目標(biāo)的局部特征來實(shí)現(xiàn)目標(biāo)的跟蹤，就算目標(biāo)部分被遮擋的情況也能實(shí)現(xiàn)目標(biāo)的跟蹤。它的計(jì)算量小，適于對實(shí)時(shí)性有要求的應(yīng)用場景。

1 基于卡爾曼濾波與特征匹配的臺球跟蹤

1.1 基于臺球特征匹配的跟蹤方法

基于臺球特征匹配的跟蹤方法是利用臺球的特征信息實(shí)現(xiàn)其從一幀圖象到下一幀圖象的匹配。進(jìn)行圖象特征匹配的特征可以是運(yùn)動目標(biāo)的形狀，也可以是顏色，面積，還可以是位置信息等，本文中目標(biāo)的匹配主要是通過臺球特征信息的相似性來實(shí)現(xiàn)的。根據(jù)臺球的特殊性，在此主要選取了臺球的位置特征，面積特征和顏色特征。在對臺球的跟蹤中，通過檢測臺球目標(biāo)在每幀圖像上的位置信息和幾何信息，將相鄰兩幀圖象中同一臺球的這些特征對應(yīng)起來就可以實(shí)現(xiàn)對該臺球的匹配。為此，文章選用的視頻是每秒25幀，在相鄰幀之間臺球的運(yùn)動比較平緩，短時(shí)間內(nèi)的位移距離較小，幾何特征信息相近，因此根據(jù)臺球目標(biāo)在相鄰兩幀圖像中幾何特征具有很高的相似性就可以實(shí)現(xiàn)臺球目標(biāo)的匹配。

1.2 Kalman濾波與特征匹配相結(jié)合的臺球跟蹤

基于區(qū)域的目標(biāo)跟蹤是利用相鄰幀圖象之間目標(biāo)的特征具有較高的相似性進(jìn)行匹配，從而實(shí)現(xiàn)目標(biāo)跟蹤，文章中是對每一幀圖象做目標(biāo)分割、識別、特征提取等處理，因此，匹配是以前一幀的目標(biāo)特征信息為模板，在當(dāng)前幀圖象的所有候選目標(biāo)中尋找特征相近的目標(biāo)即可實(shí)現(xiàn)匹配。應(yīng)用基于Kalman濾波的運(yùn)動估計(jì)的方法能夠預(yù)測運(yùn)動目標(biāo)下一狀態(tài)的運(yùn)動信息，縮小運(yùn)動目標(biāo)檢測的范圍，如此可以節(jié)省對目標(biāo)的全局搜索處理，提高搜索的可靠性和實(shí)時(shí)性。

應(yīng)用Kalman濾波進(jìn)行運(yùn)動估計(jì)，可以有效地減小噪聲帶來的干擾，只需要在當(dāng)前跟蹤窗口的范圍內(nèi)進(jìn)行檢測，這樣就大大的減少了計(jì)算量。利用當(dāng)前幀檢測到的目標(biāo)狀態(tài)信息對下一幀的目標(biāo)狀態(tài)信息進(jìn)行預(yù)測，根據(jù)預(yù)測的目標(biāo)信息在下一幀圖像中對應(yīng)出跟蹤窗口范圍，在該范圍內(nèi)依據(jù)選定的目標(biāo)特征匹配方法對運(yùn)動目標(biāo)進(jìn)行檢測，此過程反復(fù)迭代即實(shí)現(xiàn)運(yùn)動目標(biāo)的連續(xù)跟蹤。

最后，對視頻序列實(shí)現(xiàn)連續(xù)多幀圖像中同一目標(biāo)的匹配跟蹤即可獲得目標(biāo)的運(yùn)動軌跡。

2 Mean Shift與卡爾曼濾波相結(jié)合的運(yùn)動臺球跟蹤

2.1 Mean Shift與卡爾曼濾波結(jié)合算法

Kalman濾波與特征匹配相結(jié)合的方法在沒有遮擋的情況下具有很好的跟蹤效果，但當(dāng)目標(biāo)在運(yùn)動過程被遮擋的時(shí)候，如被選手遮擋，在視頻中就無法獲得目標(biāo)的質(zhì)心、面積等特征，無法對后續(xù)幀提供可靠的觀測值及匹配特征，就會導(dǎo)致跟蹤失效。因?yàn)榕_球的顏色特征明顯，在遮擋前與重現(xiàn)出現(xiàn)之后的顏色基本不變可以考慮用均值漂移（Mean Shift）與卡爾曼濾波想結(jié)合的方法來解決目標(biāo)被遮擋的問題。

卡爾曼濾波器與Mean Shift相結(jié)合的算法如下：

⑴根據(jù)斯諾克視頻中對目標(biāo)臺球的初始化位置，推算出初始狀態(tài)向量和其它一些參數(shù)。⑵通過卡爾曼濾波器來預(yù)測臺球在當(dāng)前幀中的可能位置。⑶把2中預(yù)測的臺球可能位置作為Mean Shift算法的迭代起點(diǎn)，開始進(jìn)行運(yùn)算，直到收斂，得到臺球的真實(shí)位置。⑷把3中得到的臺球真實(shí)位置當(dāng)做卡爾曼濾波器的觀測向量，進(jìn)而更新卡爾曼濾波器。⑸利用4中的濾波器反復(fù)第2步到第4步的過程，得出下一幀中臺球的位置，如此反復(fù)，就可以完成對臺球的跟蹤過程。

2.2 目標(biāo)遮擋情況的跟蹤

針對運(yùn)動臺球在臺球被大比例遮擋情況下的跟蹤問題，利用Mean Shift與卡爾曼濾波相結(jié)合的算法進(jìn)行跟蹤，Mean Shift與卡爾曼濾波相結(jié)合的算法可以不用斯諾克視頻前一幀中臺球的位置初始化迭代起點(diǎn)，而是利用卡爾曼濾波的預(yù)測性預(yù)測出下一幀中臺球的可能位置，并把這個(gè)位置作為初始化Mean Shift算法的迭代起點(diǎn)，這樣就使得該算法能夠更快速的搜索臺球的真實(shí)位置。

當(dāng)目標(biāo)臺球被大面積或者是全部遮擋的時(shí)候，根據(jù)Bhattacharyya系數(shù)可以判斷臺球是否被嚴(yán)重遮擋，如果臺球被大面積遮擋，就利用線性估計(jì)的方法來估計(jì)臺球的質(zhì)心位置，并把此位置當(dāng)做卡爾曼濾波的觀測值來跟新卡爾曼濾波器來實(shí)現(xiàn)對運(yùn)動臺球的跟蹤；當(dāng)運(yùn)動臺球完整出現(xiàn)的時(shí)候，就利用Mean Shift與卡爾曼濾波相結(jié)合繼續(xù)對臺球進(jìn)行跟蹤。

3 實(shí)驗(yàn)數(shù)據(jù)與分析

實(shí)驗(yàn)通過提取一段斯諾克視頻的部分片段來實(shí)現(xiàn)跟蹤過程，具體的跟蹤結(jié)果如下：

如圖1所示，a為第61幀剛開始擊打臺球的匹配跟蹤軌跡圖，b，c分別為第68幀和第75幀的匹配跟蹤軌跡圖。

如圖2所示，a為跟蹤的起始幀第48幀，b為第52幀跟蹤軌跡圖，此時(shí)臺球已被完全遮擋，c為第56幀臺球完整重現(xiàn)的跟蹤軌跡圖。Mean Shift與卡爾曼濾波相結(jié)合的方法在目標(biāo)臺球遇到大比例遮擋和重新完整出現(xiàn)時(shí)也能很好的跟蹤。

4 結(jié)語

文章利用卡爾曼濾波對運(yùn)動狀態(tài)的預(yù)測性，通過預(yù)測出下一幀圖象中運(yùn)動臺球的可能位置，縮小檢測與跟蹤的范圍，實(shí)現(xiàn)對運(yùn)動臺球的快速跟蹤。針對運(yùn)動臺球是否被遮擋的情況，分別提出了Kalman與Mean Shift相結(jié)合的算法和Kalman與特征匹配相結(jié)合的方法來實(shí)現(xiàn)對臺球的快速跟蹤。實(shí)驗(yàn)結(jié)果表明在臺球比賽中，這兩種方法在運(yùn)動臺球的跟蹤上具有良好的效果。

[參考文獻(xiàn)]

[1]Bo-Ru Cheng，Je-Ting Li，Jr-Syu Yang.Design of the Neural-Fuzzy Compensator for a Billiard Robot.Networking， Sensing and Control，2004 IEEE International Conference on Volume 2，2004 Page（s）：909-913 Vol.2.

[2]Lin Z.M.，Yang J.S.，Yang C.Y.Grey decision-making for a billiard robot. Systems，Man and Cybernetics，2004 IEEE International Conference on Volume 6，10-13 Oct.2004 Page（s）：5350-5355 vol.6.

[3]Ho K.H.L.，Martin T.，Baldwin J..Snooker robot player-20 years on Computational Intelligence and Games，2007.CIG 2007.IEEE Symposium on 1-5 April 2007 Page（s）：1-8.

[4]馬頌德，張正友.計(jì)算機(jī)視覺計(jì)算理論與算法基礎(chǔ)[M].北京：科學(xué)出版社，1998：2-8.