張 超 吳小培* 周建英 戚培慶 王營冠 呂 釗

①(安徽大學(xué)計算智能與信號處理教育部重點(diǎn)實(shí)驗(yàn)室 合肥 230039)

②(中國科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所 上海 200050)

1 引言

當(dāng)今信息化社會的各領(lǐng)域?qū)χ悄芤曨l系統(tǒng)均有著廣泛而緊迫的應(yīng)用需求，運(yùn)動目標(biāo)檢測正是智能視頻系統(tǒng)中各種智能分析處理的基礎(chǔ)。目前，常用的運(yùn)動目標(biāo)檢測算法主要有背景差分法[1]、幀間差分法[2]和光流法[3]。其中，光流法計算較復(fù)雜，一般用于背景變化的場景。幀間差分法實(shí)時性強(qiáng)，對于動態(tài)環(huán)境具有較好的適應(yīng)性，但其提取的目標(biāo)前景內(nèi)部易出現(xiàn)空洞。背景差分法可以得到相對完整的目標(biāo)，且算法復(fù)雜度較低，但現(xiàn)實(shí)場景往往存在光照或背景的變化，這種情況下背景差分法的效果同樣不佳。

針對現(xiàn)實(shí)世界中極為常見的多模態(tài)背景特性，文獻(xiàn)[4]提出了高斯混合建模(Gaussian Mixture Modeling, GMM)方法。該方法在每個像素位置使用多個高斯模型進(jìn)行建模，并且利用時間序列上的像素值不斷進(jìn)行模型參數(shù)更新，以期克服背景和光照變化等因素給運(yùn)動目標(biāo)檢測帶來的不利影響。文獻(xiàn)[5]證明了高斯混合建模較其他方法具有的性能優(yōu)勢和應(yīng)用可行性。

盡管比其他方法更能有效應(yīng)對多模態(tài)場景，高斯混合建模同樣有其局限[6]，如初始階段算法收斂性能不佳、對低速目標(biāo)以及復(fù)雜背景條件下的目標(biāo)檢測效果變差等。國內(nèi)外學(xué)者一直在尋求對高斯混合建模進(jìn)行有針對性地改進(jìn)，文獻(xiàn)[7]提出考察空間依存關(guān)系并對標(biāo)準(zhǔn)差的更新進(jìn)行限制，文獻(xiàn)[8]中使用色彩和空間一致性準(zhǔn)則輔助傳統(tǒng)GMM進(jìn)行判斷，文獻(xiàn)[9]提出了解決建模時瞬間光線變化的方法，文獻(xiàn)[10]中專門研究了復(fù)雜背景下的建模問題，文獻(xiàn)[11]在高斯混合建模的思路上進(jìn)一步提出泛化的混合對稱穩(wěn)定模型。

本文針對傳統(tǒng)高斯混合建模方法不適于檢測低速目標(biāo)的局限，在對傳統(tǒng)GMM算法進(jìn)行一定程度的分析理解的基礎(chǔ)上提出一種改進(jìn)的運(yùn)動目標(biāo)檢測方法，該方法對一直以來處于輔助地位的背景模型匹配失敗時新生成的前景模型加以利用并引入短時穩(wěn)定度指標(biāo)進(jìn)行綜合判斷，通過考察前景模型中包含的運(yùn)動目標(biāo)信息和像素點(diǎn)級穩(wěn)定性來克服傳統(tǒng)高斯混合建模方法檢測低速運(yùn)動目標(biāo)時易產(chǎn)生的前景破碎問題。

2 高斯混合建模

高斯混合建模中的建模對象是圖像序列，對應(yīng)空域每個像素位置可視為一隨機(jī)變量X={x1,x2,…,xt}，該隨機(jī)變量由具有K個單高斯分布的高斯混合模型表示，每個單高斯模型可以表征當(dāng)前像素點(diǎn)的不同狀態(tài)，K視情況一般取為3到7。wk=P(k)為當(dāng)前像素點(diǎn)和第k個狀態(tài)匹配的先驗(yàn)概率。θk= (μk,σk)為第k個高斯分布的參數(shù)，總的參數(shù)表示為φ= {μ1,μ2,…,μK;σ1,σ2,… ,σK}。于是，在隨機(jī)變量X當(dāng)前取值x下，第k狀態(tài)對應(yīng)的

圖1形象地給出了高斯混合建模的建模思路，圖1(a)所示為連續(xù)視頻幀，圖1(b)代表每幀圖像對應(yīng)的數(shù)據(jù)矩陣。建模過程中視頻流的每幀圖像依時序不斷更新空域各個位置上的混合高斯模型，混合高斯建模的結(jié)果是在每個像素點(diǎn)位置上建立一個由多個單高斯η(θijk)的加權(quán)和表示的背景模型，如圖1(c)所示，此背景模型的作用是衡量當(dāng)前新進(jìn)數(shù)據(jù)和已有背景模型的匹配程度來確定當(dāng)前像素值是否屬于背景并以此檢測出運(yùn)動目標(biāo)。圖1(d)則給出了由3個單高斯混合得到的高斯混合模型示意圖。

建模過程中，t時刻新的像素值使用式(3)與K個模型逐一匹配。

若與當(dāng)前模型的均值的差異在某一范圍之內(nèi)，則認(rèn)為匹配，否則為不匹配。匹配的情況下使用下列式(4)～式(6)更新模型參數(shù)[4]：

圖1 高斯混合建模的形象表示

其中α為學(xué)習(xí)率，且有

不匹配時，應(yīng)減小權(quán)值，且不對均值方差進(jìn)行更新。若每個模型都不匹配，則要把權(quán)值最小的模型使用新的模型取代，其均值為新的樣本像素值，方差為一大值，權(quán)值為一小值。每次權(quán)值更新后，都要對權(quán)值進(jìn)行歸一化處理。作為運(yùn)動目標(biāo)檢測的最后步驟，建模完成后，要實(shí)時區(qū)分分別代表前景和背景的模型。文獻(xiàn)[4]中的方法是計算每個模型對應(yīng)的wk,t/σk,t，然后按照降序排列，其依據(jù)是當(dāng)前最為匹配的模型必然具有最大的權(quán)值并具有較小的方差，最后，選定滿足式(9)

的前B個模型作為背景模型，其中T為一權(quán)值累加門限。

3 一種改進(jìn)的高斯混合建模方法

前景模型在傳統(tǒng)方法中一直居于輔助地位，但事實(shí)上其包含了重要的目標(biāo)信息。為了利用GMM良好的環(huán)境適應(yīng)性并解決上述傳統(tǒng)GMM方法的固有局限，本文對傳統(tǒng)高斯混合建模方法進(jìn)行改進(jìn)，對背景匹配失敗時生成的前景模型加以利用并引入短時穩(wěn)定度指標(biāo)對前景進(jìn)行綜合判斷。算法先按照傳統(tǒng)算法的流程，在當(dāng)前像素值和對應(yīng)K個背景模型都匹配失敗后，使用當(dāng)前像素值和較大值替代權(quán)值最小模型的均值和方差，這實(shí)際上是生成前景模型η(μf,σf)，若后來點(diǎn)和前景模型均值相差小于門限Tf,則使用式(10)計算短時穩(wěn)定度并更新前景模型：

其中，M為滑動窗幀數(shù)范圍，af∈[0,1]為前景模型的學(xué)習(xí)率。算法優(yōu)先使用前景模型對當(dāng)前像素點(diǎn)進(jìn)行匹配，直接降低了前景點(diǎn)和背景模型誤匹配的決策風(fēng)險。

視目標(biāo)外表面狀況，對外表面顏色較統(tǒng)一的目標(biāo)，其短時穩(wěn)定度計算窗長M值可選為2～5之間，而對于外表色彩豐富多樣的運(yùn)動目標(biāo)，為了防止短暫的像素值變化導(dǎo)致目標(biāo)向背景的轉(zhuǎn)換，其M值可選為5～20之間，較大的M能帶來較好的檢測效果但指標(biāo)響應(yīng)速度較為遲緩。求得穩(wěn)定度后，判斷門限Sth可依圖像序列實(shí)際情況設(shè)為經(jīng)驗(yàn)值也可由M幀內(nèi)穩(wěn)定度的最大最小值動態(tài)求得

其中C為一常數(shù)。SMIN和SMAX分別為當(dāng)前C幀內(nèi)的穩(wěn)定度最大值和最小值。在連續(xù)C幀超越短時穩(wěn)定度門限的情況下，當(dāng)前像素點(diǎn)判為前景點(diǎn)。

穩(wěn)定度的提法也見于文獻(xiàn)[12]中使用當(dāng)前時刻以前的像素值生成像素短時圖(transience map)。本文中取當(dāng)前時刻后的M點(diǎn)計算短時穩(wěn)定度S，若S在一定范圍內(nèi)連續(xù)超越某一門限則說明此時該像素位置仍處于前景過程中。此方法的根本出發(fā)點(diǎn)是，前景初次建模后，若后來點(diǎn)未產(chǎn)生類似回到背景值的劇烈波動，則認(rèn)為當(dāng)前像素位置一直保持某種穩(wěn)定的前景狀態(tài)，遂在該點(diǎn)位置跳過傳統(tǒng)高斯建模方法的后續(xù)流程直接判斷為前景點(diǎn)。若當(dāng)前點(diǎn)未能和前景模型匹配或短時穩(wěn)定度指標(biāo)不滿足條件，仍然進(jìn)入傳統(tǒng)方法的一般后處理流程。

圖2為某視頻圖像序列某像素位置上的灰度值和該點(diǎn)穩(wěn)定度的計算結(jié)果，圖中箭頭表示上部的視頻幀和下部像素值以及穩(wěn)定度指標(biāo)的對應(yīng)關(guān)系，空域中選取點(diǎn)的位置見視頻幀黑圈所示，圖的底部為選取的視頻幀的序號。從圖2可見，穩(wěn)定度指標(biāo)(柱狀圖)從接近于零升高最后回落到零附近，其變化超前于像素值的變化(折線圖)，穩(wěn)定度的上揚(yáng)和回落均與像素值的變化相對應(yīng)，因而可以表征前景的出現(xiàn)和持續(xù)的狀態(tài)。穩(wěn)定度的使用能有效避免運(yùn)動目標(biāo)區(qū)域像素值短時變化導(dǎo)致前景誤檢為背景，前景模型和短時穩(wěn)定度指標(biāo)相配合使本文的方法既具有高斯混合建模的環(huán)境適應(yīng)性又能克服傳統(tǒng)高斯建模無法檢測慢速目標(biāo)的局限。

4 實(shí)驗(yàn)及結(jié)果分析

為了驗(yàn)證本文方法的有效性，我們使用3段視頻在matlab平臺上開展仿真實(shí)驗(yàn)。實(shí)驗(yàn)中將本文所提方法在相同條件下與傳統(tǒng)高斯混合建模方法進(jìn)行對比，為了說明基于GMM類方法較其他方法的性能優(yōu)勢，我們同時和基于自適應(yīng)背景減的運(yùn)動目標(biāo)檢測算法進(jìn)行對比。實(shí)驗(yàn)使用的參數(shù)設(shè)置如表1所示。實(shí)驗(yàn)中高斯混合建模時將使用兩種學(xué)習(xí)率以解決算法初始化時收斂慢的問題，初始階段學(xué)習(xí)率設(shè)置為1.5，穩(wěn)定階段設(shè)置為0.05。

表1 仿真實(shí)驗(yàn)參數(shù)設(shè)置

第1個對比試驗(yàn)采用一段含有低速運(yùn)動車輛的公路交通視頻，視頻分辨率為 320×240(下同)。由于部分目標(biāo)運(yùn)動較慢，出于說明問題的需要我們每隔4幀抽取一幀給出處理結(jié)果。對比實(shí)驗(yàn)的結(jié)果見圖 3。圖 3(a)為選取的視頻幀。圖 3(b)為使用自適應(yīng)背景減方法的運(yùn)動目標(biāo)檢測結(jié)果，從圖3(b)可見，由于算法對環(huán)境適應(yīng)性較差，檢測前景中含有較多的非目標(biāo)噪聲，包括車輛的陰影和光照條件變化下的路面等均被檢測為前景，但在右上的慢速目標(biāo)得到了較完整的檢測說明其對慢速目標(biāo)的檢測效果較好。圖3(c)為傳統(tǒng)GMM算法的前景檢測結(jié)果，可以明顯看出，傳統(tǒng)混合高斯建模方法在較大的更新率下，易出現(xiàn)運(yùn)動緩慢的目標(biāo)前景被背景吸收的現(xiàn)象，圖 3(c)中白色運(yùn)動車輛的后部已經(jīng)部分融入背景，而右上方反向車道的低速運(yùn)行車輛則已全部被背景吸收。但圖3(c)所示的傳統(tǒng)GMM方法的前景檢測結(jié)果并未出現(xiàn)類似圖3(b)中因光照條件變化而檢測到的噪聲，說明即便是傳統(tǒng)GMM方法其對環(huán)境也具有相當(dāng)?shù)倪m應(yīng)性。圖 3(d)為本文所提方法的檢測效果，可見前景中非目標(biāo)噪聲明顯少于自適應(yīng)背景減方法，檢測出的運(yùn)動目標(biāo)明顯較傳統(tǒng) GMM方法完整，且算法對車窗等不連續(xù)部位也可做到較好的檢測。

圖2 某像素點(diǎn)位置(黑圈處)上的灰度值和穩(wěn)定度指標(biāo)的變化

圖3 實(shí)驗(yàn)1中運(yùn)動目標(biāo)檢測試驗(yàn)結(jié)果對比

第2段視頻為VS-PETS 2001 dataset的人字路口監(jiān)控視頻，我們使用視頻中兩車相遇緩慢行駛的部分進(jìn)行實(shí)驗(yàn)，對比試驗(yàn)的結(jié)果見圖 4。圖 4(a)為選取的視頻幀。圖4(b)為使用自適應(yīng)背景減方法的運(yùn)動目標(biāo)檢測結(jié)果，和上一實(shí)驗(yàn)中的情況相同，由于建筑物的外表面等受光照變化的影響產(chǎn)生改變，使得算法檢測結(jié)果中含有較多的非目標(biāo)噪聲，說明基于自適應(yīng)背景減的方法對環(huán)境的適應(yīng)性有限。圖4(c)為傳統(tǒng) GMM 方法的檢測結(jié)果，兩車相遇時運(yùn)動較為緩慢，此時傳統(tǒng)方法檢測效果劇烈惡化，從圖 4(c)可見相遇的兩車大部分已融入背景，單純從檢測到的少量破碎前景已無法辨別目標(biāo)屬性。圖4(d)為本文方法的檢測結(jié)果，在目標(biāo)低速運(yùn)動的情況下，本文方法依舊較完整地檢測到了目標(biāo)，且前景中的噪聲明顯少于自適應(yīng)背景減方法的結(jié)果。

圖4 實(shí)驗(yàn)2中運(yùn)動目標(biāo)檢測試驗(yàn)結(jié)果對比

為了進(jìn)一步驗(yàn)證本文所提方法的目標(biāo)檢測性能，我們使用更復(fù)雜的視頻開展實(shí)驗(yàn)，視頻背景為開放的有行人走動的路口，整段視頻始終有人的走動并包含人的站立交談和物品遺留等行為，實(shí)驗(yàn)的結(jié)果見圖5。圖 5(a)為原始視頻幀圖像。圖 5(b)為使用自適應(yīng)背景減方法的運(yùn)動目標(biāo)檢測結(jié)果，由于場景中始終存在較多的運(yùn)動目標(biāo)且伴隨有光照條件的變化，這影響了自適應(yīng)背景減算法對背景的估計，使得檢測結(jié)果中噪聲較多且算法對類似人腳下陰影的光線變化過于敏感，存在較多誤檢。圖 5(c)為傳統(tǒng)高斯混合建模前景檢測結(jié)果，從圖5(c)第3幀圖像可見，站立交談的行人已經(jīng)大部分被吸收入背景，而從圖5(c)第2, 4, 5幀可見場景中的遺留物在傳統(tǒng)GMM方法下均未能得到有效檢測。圖 5(d)為本文所提方法的檢測結(jié)果，和圖 5(c)進(jìn)行對比可見包括站立交談的人和遺留物在內(nèi)的所有前景均得到更好的檢測，和圖5(b)對比可見算法檢測到的非目標(biāo)前景噪聲要遠(yuǎn)少于基于自適應(yīng)背景減的運(yùn)動目標(biāo)檢測算法。

為了對以上3種算法進(jìn)行量化比較，使用檢出率(DR)和誤檢率(FAR)兩個指標(biāo)[13]對3個試驗(yàn)結(jié)果進(jìn)行分析，其中

其中TP為檢測出來的屬于運(yùn)動目標(biāo)區(qū)域的的像素數(shù)，F(xiàn)P為檢測出來的不屬于運(yùn)動目標(biāo)區(qū)域的像素數(shù)，F(xiàn)N為未被檢測出來的運(yùn)動目標(biāo)區(qū)域的像素數(shù)，實(shí)驗(yàn)中真實(shí)的目標(biāo)區(qū)域像素為手動計算得來，雖可能存在誤差，但可用來進(jìn)行參考對比。對比的結(jié)果見表2，可見在3個實(shí)驗(yàn)中，傳統(tǒng)GMM算法的平均檢出率在60%左右，但本文方法的平均檢出率接近74%，雖然自適應(yīng)背景減方法也可獲得較高的檢出率，但其檢測結(jié)果帶有較多非目標(biāo)噪聲，所以誤檢率高于另兩種方法1個數(shù)量級。本文方法在較傳統(tǒng)方法大幅提高檢出率的同時雖然付出一定的誤檢代價，其性能取舍完全合理，算法總體的性能提升顯而易見。

5 結(jié)束語

傳統(tǒng)高斯混合建模方法中背景匹配失敗時生成的前景模型一直以來被人們所忽視，但事實(shí)上其包含了重要的前景目標(biāo)信息。本文在傳統(tǒng)高斯混合建模方法的基礎(chǔ)上提出一種新的運(yùn)動目標(biāo)檢測算法，算法對每次背景匹配失敗時生成的前景模型加以利用，考察當(dāng)前像素點(diǎn)和前景模型的匹配程度并使用短時穩(wěn)定度指標(biāo)對像素序列的穩(wěn)定度進(jìn)行度量，以此精確判斷像素序列是否處于前景狀態(tài)。該方法能一定程度上克服傳統(tǒng)高斯混合建模方法無法有效應(yīng)對慢速目標(biāo)的局限，實(shí)現(xiàn)較復(fù)雜場景下的運(yùn)動目標(biāo)檢測。

圖5 實(shí)驗(yàn)3中運(yùn)動目標(biāo)檢測試驗(yàn)結(jié)果對比

表2 3個實(shí)驗(yàn)中3種方法的檢出率和誤檢率對比

[1]McKenna S, Jabri S, Duric Z,et al.. Tracking groups of people[J].Computer Vision and Image Understanding, 2000,80(1): 42-56.

[2]Lipton A J, Fujiyoshi H, and Patil R S. Moving target classification and tracking from real-time video[C].Proceedings of IEEE Workshop on Applications of Computer Vision, Princeton, NJ, 1998: 8-14.

[3]Meyer D, Denzler J, and Niemann H. Model based extraction of articulated objects in image sequences for gait analysis[C].Proceedings of IEEE International Conference on Image Processing, Santa Barbara, CA, 1998: 78-81.

[4]Stauffer C and Grimson W E L. Adaptive background mixture models for real-time tracking[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Fort Collins, CO, 1999: 246-252.

[5]Gao X, Boul T, Coetzee F,et al.. Error analysis of background adaption[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Hilton Head Island, SC, USA, 2000: 503-510.

[6]Lee D. Effective Gaussian mixture learning for video background subtraction[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(5): 827-832.

[7]Quast K and Kaup A. Real-time moving object detection in video sequences using spatio-temporal adaptive gaussian mixture models[C]. Proceedings of the International Conference on Computer Vision Theory and Applications,Angers, France, 2010: 413-418.

[8]Yang S and Hsu C. Background modeling from GMM likelihood combined with spatial and color coherency[C].IEEE International Conference on Image Processing, Atlanta,GA, 2006: 2801-2804.

[9]Choi J, Yoo Y J, and Choi J Y. Adaptive shadow estimator for removing shadow of moving object[J].Computer Vision and Image Understanding, 2010, 114(9): 1017-1029.

[10]Li Li-yuan, Huang Wei-min,et al.. Statistical modeling of complex backgrounds for foreground object detection[J].IEEE Transactions on Image Processing, 2004, 13(11):1459-1472.

[11]Salas-Gonzaleza D, Kuruoglu E E, and Ruiz D P. Modelling with mixture of symmetric stable distributions using Gibbs sampling[J].Signal Processing, 2010, 90(3): 774-783.

[12]Collins R T, Lipton A, Kanade T,et al.. A system for video surveillance and monitoring: VSAM final report[R].Technical Report CMU-RI-TR-00-12, Robotics Institute,Carnegie Mellon University, May 2000.

[13]Fakharian A, Hosseini S, and Gustafsson T. Hybrid object detection using improved gaussian mixture model[C].International Conference on Control, Automation and Systems, KINTE X, Gyeonggi-do, Korea, 2011: 1475-1479.