劉 皞,趙峰民,陳望達
(海軍航空工程學院 a.研究生管理大隊;b.科研部,山東 煙臺 264001)
隨著監(jiān)控設(shè)備成本的大大降低,視頻監(jiān)控系統(tǒng)在金融、交通、軍事等領(lǐng)域得到廣泛應(yīng)用。在視頻監(jiān)控系統(tǒng)中,運動目標的檢測可以提高監(jiān)控系統(tǒng)的智能化程度并減輕監(jiān)控人員的勞動強度,因而視頻圖像中運動目標的檢測和跟蹤技術(shù)具有重要的研究意義和應(yīng)用價值。
視頻圖像中運動目標的檢測方法主要有3類:光流法[1]、幀間差分法[2-3]和背景差分法[4-5]。光流法運算公式復雜,計算量大,在沒有特殊硬件支持的條件下很難達到實時要求,當目標表面存在較大灰度均勻的區(qū)域或者沒有顯著運動時,幀間差分法會在目標上產(chǎn)生“孔洞”而使目標產(chǎn)生過分割或者欠分割現(xiàn)象;背景差分法定位精確、速度快,但對光照和外部條件造成的場景變化比較敏感,需要合適的背景更新方法,常用的有基于光流法[6]和基于混合高斯模型[7]等技術(shù)的自適應(yīng)背景更新方法,但這些方法計算量比較大,無法充分發(fā)揮背景差分法的優(yōu)勢。
根據(jù)視頻監(jiān)控場合的實際情況,本文提出了一種自適應(yīng)背景更新方法進行運動目標的檢測,然后以Kalman濾波為運動模型實現(xiàn)對運動目標的連續(xù)跟蹤,算法的流程圖如圖1示。
圖1 運動目標檢測與跟蹤流程圖
背景圖像的實時更新是基于背景差分提取運動目標的關(guān)鍵,由于天氣、照明等條件會不斷發(fā)生變化造成視頻監(jiān)視場景的背景并不是靜止不變的,因此參考背景圖像必須及時更新。
本文提出的自適應(yīng)背景更新方法的基本流程如圖2所示。
圖2 背景差分算法流程圖
1)首先利用序列圖像的初始幀提取初始背景圖像;
2)對輸入的當前幀,通過與背景圖像進行差分來判斷采取的背景更新策略。
3)判斷第K 幀中每個像素 Ik(x,y)與當前背景IB(x,y)的差值。如果小于給定的閾值b,則像素Ik(x,y)屬于背景,此時用該像素的值更新背景圖像中對應(yīng)的像素值;否則該像素屬于前景物體,則對應(yīng)的背景值保持不變。因圖像中的主要部分是由背景組成,所以差分圖像是由大量具有低值的像素及少量具有高值的像素組成。為了求閾值b 需要在直方圖中尋找一個谷點,從對應(yīng)于直方圖的峰值開始朝像素灰度值增強的方向搜索找到一個比峰值明顯低的值(一般為峰值5%~10%),該值所對應(yīng)的灰度值即被當作新的閾值。
傳統(tǒng)的背景圖像差值法采用背景圖像與當前幀圖像的灰度差值來實現(xiàn),當物體與背景的灰度值接近時,易造成分割出的目標區(qū)域存在大片的空洞或破裂。通過對采集的大量視頻圖像進行觀察分析,發(fā)現(xiàn)物體與背景灰度相同的區(qū)域,一般顏色不會相同,因此采用彩色圖像差值的方法。
式中:Rb(x,y)、Gb(x,y)和Bb(x,y)分別為當前背景圖像某一像素的三基色值;Rk(x,y)、Gk(x,y)和Bk(x,y)分別為當前幀圖像中某一像素的三基色值。該差值圖像充分利用了顏色信息,可有效提高目標檢測區(qū)域的完整性。
通過背景差分法得到的差分圖像是圖像中的前景點集,往往包括運動目標和由于噪聲等因素引起的孤立點、孤立區(qū)域和空洞等干擾,需通過圖像分割算法進行目標區(qū)域的檢測。本文采用基于最大類間方差法對差分圖像進行二值化處理;然后采用形態(tài)學的方法去除孤立的前景點和填補目標區(qū)域的空洞;最后利用連通區(qū)域檢測的方法得到目標的輪廓。
最大類間方差法利用灰度直方圖的0階和1階矩,以目標與背景之間的方差最大為原則而動態(tài)地確定圖像分割門限值。本文利用Otsu方法自適應(yīng)選取閾值的能力,自動搜索圖像的最佳灰度閾值,把前景點集圖像轉(zhuǎn)化為二值圖像,并將前景點進一步分割,得到運動目標和干擾點簇。
設(shè)圖像灰度的概率密度函數(shù)為Pi=ni/N,式中:N為圖像像素總數(shù);ni為灰度值為i的像素數(shù)。
閾值的t*的選取應(yīng)使類間方差最大,即
式中:0μ、1μ、0w、1w分別為背景及目標的灰度均值和概率;Tμ為整幅圖像的灰度均值。
經(jīng)前景點檢測后得到的圖像往往存在離散的噪聲前景點和目標區(qū)域中的孔洞。因此,在進行目標檢測后一般要進行去噪處理。本文利用形態(tài)學閉合算法去除孤立的噪聲前景點并填充差分圖像中小的缺口和孔洞,彌合對象間的細小的縫隙起到連通作用。
經(jīng)形態(tài)學閉合運算后的差分圖像中小的干擾點被去除,小的間隙被連接,小的孔洞被填充,但仍然存在相對較大的白色區(qū)域以及相對較大的黑色孔洞。本文采用基于空間連續(xù)性的連通區(qū)域檢測算法進行目標的分割。連通區(qū)域的檢測就是找到屬于同一個連通區(qū)域的所有像素點,并對不同連通區(qū)域的像素點進行標定,把面積小于預設(shè)閾值的連通區(qū)域排除,最后留下來的前景區(qū)域就是所要的運動目標。
本文使用8-連通的連通檢測算子對前景點集合進行標記,當一個點位于另一個點的8-鄰域時,則說明兩點是8-連通的,在使用形態(tài)學閉合算法將目標相鄰的像素連接起來時。設(shè)P (x,y)表示(x,y) 處的像素,則其8-鄰域的定義如下:
經(jīng)過連通區(qū)域檢測后,會產(chǎn)生若干個連通的區(qū)域。除了真正的目標區(qū)域或者背景區(qū)域外,還會產(chǎn)生一些小塊的連通區(qū)域,它們并不是目標或者背景區(qū)域,而是噪聲點的連通集合。為此,本文通過對連通分析后產(chǎn)生的所有連通區(qū)域計算其面積,當區(qū)域面積超過設(shè)定的閾值時認為是要找的目標,否則改變區(qū)域的像素值:白色小區(qū)域改為黑色,可以消除這些噪聲區(qū)域的影響,而黑色小區(qū)域改為白色,可以將那些較大的孔洞填充,從而保證運動目標區(qū)域的連通性。
運動目標分割算法保持了目標的完整性,避免了噪聲的影響,在分割出目標區(qū)域后,可提取前景目標的外接矩形大小、面積、長寬比、質(zhì)心點位置靜態(tài)特征,通過目標特征匹配建立檢測所得的前景目標和受跟蹤的運動目標之間的對應(yīng)關(guān)系,從而確定各目標的運動軌跡,實現(xiàn)運動目標的跟蹤。本文采用基于Kalman濾波的運動預測跟蹤算法,估計目標下一時刻可能的位置,以該位置為中心,再擴展一定的區(qū)域內(nèi)進行目標搜索,根據(jù)目標的尺寸和位置特征進行目標的匹配,實現(xiàn)對目標的快速跟蹤。
利用Kalman濾波的方法來預測目標的位置,并以此作為快速均值遷移迭代過程的起點,在預測的位置周圍進行目標的搜索,大幅減少迭代次數(shù),從而提高運算速度。對當前幀中各目標分別建立Kalman濾波器,根據(jù)當前幀各目標的數(shù)據(jù)進行預測,預測下一幀中各目標,將下一幀中檢測到的目標分別和預測得到的目標進行匹配。Kalman濾波預測的模型如下。
式中:Ψk,k?1是非奇異狀態(tài)一步轉(zhuǎn)移矩陣;Γk,k?1是系統(tǒng)過程噪聲輸入矩陣;Hk是觀測矩陣;Wk為系統(tǒng)隨機過程噪聲序列;Vk為系統(tǒng)隨機觀測噪聲序列。
濾波增益矩陣:
一步預測誤差方陣:
估計誤差方陣:
Kalman濾波器狀態(tài)矩陣Ψk、觀測矩陣Hk、狀態(tài)噪聲協(xié)方差矩陣 kQ、觀測噪聲協(xié)方差矩陣 kR分別為:
視頻中的目標跟蹤需要大量的匹配運算,而這些復雜的運算更增加了跟蹤過程的計算復雜度。為此,我們在Kalman濾波預測的基礎(chǔ)上,再引入一個質(zhì)心位置和目標面積比較過程,以減少匹配運算,提高跟蹤實時性。
由于圖像序列在時間上密切相關(guān),目標在相鄰幀的位置應(yīng)該比較接近,投影到二值圖像上,就是它們的質(zhì)心位置比較接近;同時在目標沒有發(fā)生較大形變,運動檢測較為準確的情況下,同一目標在檢測出來的二值圖像中大小變化是不大的,即它們在相鄰幀中對應(yīng)的連通區(qū)域的面積大小近似?;谝陨蟽牲c分析,在跟蹤模塊預測出目標位置、確定了搜索范圍后,先不直接進行需要大運算量的目標匹配計算,而是先檢查是否有運動區(qū)域的質(zhì)心落在該范圍內(nèi),然后比較滿足這個要求的運動區(qū)域和目標模板的面積,如果大小接近,就可以認為是同一目標,并用這個運動區(qū)域的信息來更新目標模板。
為驗證本文提出的檢測跟蹤算法的有效性,在VC++6.0的開發(fā)環(huán)境中對本文所使用的算法進行了軟件實現(xiàn),并進行了運動目標檢測跟蹤的試驗。
本文設(shè)計實驗環(huán)境為室內(nèi)的場景,為了檢驗算法對于光照條件變化的適應(yīng)性,試驗的時間選擇中午到晚上時段,試驗的效果如圖3所示。圖3a)為中午時段的圖像幀檢測結(jié)果,圖3b)為傍晚時段圖像幀檢測結(jié)果,圖中自上而下依次為原始圖像、目標分割處理的結(jié)果和目標跟蹤的示意圖。
試驗過程中軟件運行流暢,能夠克服光照條件變化帶來的影響,對于不同時段視頻中進入視場的移動目標實現(xiàn)了準確的檢測和穩(wěn)定的跟蹤,說明本文所使用的方法具有較高的實用性和較強的抗干擾能力。
圖3 運動目標檢測跟蹤結(jié)果
文中提出了一種新的自適應(yīng)背景更新的背景差分法,并在此基礎(chǔ)上實現(xiàn)了運動目標的檢測和跟蹤。試驗表明本文提出的算法充分發(fā)揮背景差分法計算量小、定位準確的優(yōu)勢,實現(xiàn)了對運動目標穩(wěn)定的檢測和跟蹤。
[1]BARRON J,FLEET D,BEAUCHEMIN S.Performance of optical flow techniques[J].International Journal of Computer Vision,1994,12(1):42-77.
[2]LIPTON A FUJIYOSHI H,PATIL R.Moving target classification and tracking from real time video[C]//Proc.of WACV’98,1998:8-14.
[3]孫志文.復雜背景中移動目標的快速識別與跟蹤[J].微電子學與計算,2003,20(11):48-55.
[4]ROBERT T COLLINS.A system for video surveillance and monitoring[R/OL].(2008-10-19) [2011-05-05]http://www.cs.cmu.edu.
[5]STAUFFER C,GRIMSON W.Adaptive background mixture models for real-time tracking[C]//Proc.of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.1999:248-252.
[6]魏志強,紀筱鵬,馮業(yè)偉.基于自適應(yīng)背景圖像更新的運動目標檢測方法[J].電子學報,2005,33(12):2261-2264.
[7]劉亞,艾海舟,徐光佑.一種基于背景模型的運動目標檢測與跟蹤算法[J].信息與控制,2002,31(4):315-319.