張小駿　劉志鏡　陳昆

以高斯模型為基礎(chǔ)，提出了抑制噪聲影響的模型更新參數(shù)設(shè)置條件。結(jié)合攝像系統(tǒng)的工作原理，提出了針對(duì)攝像系統(tǒng)曝光波動(dòng)以及環(huán)境光照變化的亮度補(bǔ)償辦法。通過對(duì)RGB三個(gè)顏色通道的分割結(jié)果進(jìn)行邏輯運(yùn)算，將顏色信息融合使用于前景圖像的分割。從實(shí)驗(yàn)情況看，本文提出的辦法收到了一定的改善效果。

【關(guān)鍵詞】背景減除法 噪聲 顏色融合 曝光補(bǔ)償

背景減除法是一種常用的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，分兩個(gè)步驟：一是背景建模，二是當(dāng)前幀與背景差分，設(shè)置合適的容差閾值，獲得運(yùn)動(dòng)目標(biāo)的前景二值圖。這種方法原理簡(jiǎn)單，在一些場(chǎng)合使用取得了不錯(cuò)的檢出效果，但當(dāng)運(yùn)動(dòng)目標(biāo)的灰度與背景較為接近時(shí)，常因前景與背景的像素值差異未超過閾值而檢出不足，前景圖像丟失較多。然而通過降低閾值來提高檢出度，卻受到了容差效果的制約。這是由于當(dāng)前幀圖像和背景模型均與實(shí)際情況存在誤差，為防止當(dāng)前幀中的背景部分被誤檢出，閾值往往需要大于當(dāng)前幀中的背景部分與背景模型對(duì)應(yīng)部分的最大可能差異，也就是大于雙方誤差幅度之和，這就限制了閾值的下調(diào)空間。為改善背景減除法的效果，多年來人們開展了很多研究。從傳統(tǒng)的滑動(dòng)窗口平均法、設(shè)置學(xué)習(xí)速度的強(qiáng)制更新法、排除前景影響的異步更新法等整體性的建模和更新方法，到各種逐像素的建模與更新方法，對(duì)模型的描述細(xì)度已達(dá)到像素級(jí)，模型精度在逐步提高。比如Stauffer和Grimson提出的混合高斯模型（Mixture of Gaussian），在單高斯模型的基礎(chǔ)上，使用多個(gè)高斯峰來表征背景的微小變化，在對(duì)噪聲進(jìn)行適當(dāng)容錯(cuò)的同時(shí)，較好地適應(yīng)了環(huán)境中樹葉搖動(dòng)等類的微小波動(dòng)，效果較為突出；Tuzel等采用遞歸貝葉斯學(xué)習(xí)方法估計(jì)每個(gè)高斯峰的均值和方差分布，使得各像素所需高斯峰的數(shù)量分配趨于合理；Kim H等使用廣義高斯函數(shù)對(duì)混合高斯模型進(jìn)行改進(jìn)，也收到了一定的效果。此外，使用核密度模型估計(jì)背景模式的分量、使用運(yùn)動(dòng)模型估計(jì)像素的變化等方法，均在某些方面取得了一定的效果。但所有這些方法對(duì)像素的考察往往使用單特征，比如亮度等。這就使得前景與背景在像素值差異較小時(shí)難以區(qū)別。近年來，多特征的研究逐步進(jìn)入人們視野，比如LBP，像素梯度，紋理等局部結(jié)構(gòu)特征，但這些特征極易受噪聲的影響，相對(duì)脆弱。于是顏色信息作為一種魯棒性較強(qiáng)的圖像特征越來越得到人們的重視。比如，強(qiáng)振平等使用顏色和紋理信息構(gòu)建背景模型，通過雙層判斷來檢測(cè)運(yùn)動(dòng)目標(biāo)；鄧宇等使用顏色信息，結(jié)合梯度特征，構(gòu)造能量函數(shù)，用圖切割區(qū)別前景與背景，收到了較好的效果。

視頻圖像的精度是運(yùn)動(dòng)目標(biāo)檢測(cè)的重要基礎(chǔ)，而攝像系統(tǒng)則是視頻圖像的精度保證。實(shí)際上攝像系統(tǒng)對(duì)圖像精度的影響不僅表現(xiàn)在我們最關(guān)注的圖像噪聲上，還表現(xiàn)在其內(nèi)參數(shù)的頻繁波動(dòng)上，比如，Aptina公司圖像傳感器的增益級(jí)別普遍多達(dá)128級(jí)，這使其在環(huán)境變化或拍攝對(duì)象變化的過程中常處于波動(dòng)之中。正是由于攝像系統(tǒng)內(nèi)參數(shù)的經(jīng)常性波動(dòng)，才使得背景模型與當(dāng)前幀之間產(chǎn)生脫節(jié)，形成誤差。

基于以上考慮，本文提出一種基于亮度補(bǔ)償與顏色信息融合的背景減除法。

1 背景模型的建立與更新

上面我們通過模型更新參數(shù)的控制有效地消除了噪聲對(duì)模型像素值精度的影響，較高精度地獲得了背景模型自身的期望值B0（=B）。但是從組成上看，B0=aib0i并不完全等同于當(dāng)前幀中背景像素的期望值f0（不被遮攔時(shí)），只有在整個(gè)有效窗口期K內(nèi)以及當(dāng)前幀的曝光水平和光照水平穩(wěn)定不變，使得b0i=b0j=f0（i，j=1，2，…k）時(shí)，才有 B0=aib0i=f0。而實(shí)際情況中，由于攝像系統(tǒng)自動(dòng)增益反饋，自動(dòng)白平衡反饋，自動(dòng)曝光的頻繁動(dòng)作以及光照變化的存在，條件b0i=b0j=f0（i，j=1，2，…k）往往不能成立，這種情況下，即使克服了噪聲的影響高精度地獲得了B0（=B），仍無法消除背景模型值B與當(dāng)前幀中背景像素的期望值f0之間的差異，從而在使用背景減除法時(shí)不得不設(shè)置更大的容差閾值來容納這種差異，這對(duì)前景目標(biāo)的分割是不利的，尤其是在前景與背景像素直接近時(shí)。另外，在存在前景遮攔的時(shí)候，被遮攔點(diǎn)的背景模型的有效窗口位置也不同，其模型值沒有反映該點(diǎn)后續(xù)可能存在的由光照變化及曝光波動(dòng)等引起的變化，因此，相對(duì)于該點(diǎn)如果不被遮攔，也會(huì)產(chǎn)生額外的差異。下面我們根據(jù)攝像系統(tǒng)的工作原理，具體分析上述差異的產(chǎn)生，并提出相應(yīng)的補(bǔ)償修正方法。

3 曝光水平波動(dòng)及光照變化條件下背景模型更新方式的修正

攝像系統(tǒng)的曝光水平波動(dòng)來源于自動(dòng)增益反饋，自動(dòng)白平衡反饋和自動(dòng)曝光的頻繁動(dòng)作?？紤]攝像頭中像素值f與像素受到光照強(qiáng)度E的關(guān)系。

攝像系統(tǒng)工作時(shí)，由于自動(dòng)增益和自動(dòng)白平衡反饋的作用，增益系數(shù)G會(huì)隨光照變化和前景目標(biāo)的出現(xiàn)或運(yùn)動(dòng)頻繁調(diào)整，形成曝光水平波動(dòng)。由于白平衡的調(diào)整會(huì)使RGB三色的分量增益變化比例不同，導(dǎo)致不同顏色的像素亮度增益水平變化比例不同，為避免問題復(fù)雜化，同時(shí)也為了下一步融合使用顏色信息，我們將彩色視頻信號(hào)按照RGB分量分別單獨(dú)考察，這樣一來，G是全局嚴(yán)格一致的，避開了白平衡的問題。

環(huán)境光照變化分兩種情況，一種是結(jié)構(gòu)性變化，比如側(cè)射光的出現(xiàn)，這顯然可理解為背景發(fā)生的客觀變化；另一種是整體性變化，即各點(diǎn)處的變化幅度基本上是等比例的，比如室外自然光照的變化，照明光源的波動(dòng)等等，這種情況最常出現(xiàn)和普遍，本文主要考慮這種光照變化的影響。

攝像系統(tǒng)自動(dòng)曝光功能主要之一是應(yīng)對(duì)照明光源的波動(dòng)。目前絕大多數(shù)照明光源均有亮度波動(dòng)，有些甚至波動(dòng)深度很大，比如鐵芯普通熒光燈波動(dòng)深度就達(dá)55%。為消除光源波動(dòng)的影響，攝像系統(tǒng)的自動(dòng)曝光功能會(huì)根據(jù)光源頻率自動(dòng)調(diào)節(jié)幀頻，使曝光時(shí)間成為光源波動(dòng)周期的整數(shù)倍。但是由于光源波動(dòng)本身的不穩(wěn)定，照度波動(dòng)在一定程度上依然存在。然而這種照度波動(dòng)的影響是全局等比例的，因此我們將其歸為環(huán)境光照的整體變化一并考慮。

由式（11）可見，變化之后的G與E共同作用決定了像素值的變化。因此我們將GE乘積作為整體加以考慮，稱其為有效光照強(qiáng)度。endprint

6 實(shí)驗(yàn)與分析

本文選擇與行人穿著較為接近的背景拍攝視頻。首先拍攝一段時(shí)間的背景，然后行人進(jìn)入，行人出畫面后，再拍攝一段背景。為便于檢驗(yàn)本文算法的效果，后段背景的拍攝中，人為地調(diào)整攝像頭的光圈，使畫面亮度發(fā)生明顯變化，模擬環(huán)境光照變化，觸發(fā)攝像機(jī)的自動(dòng)增益反饋動(dòng)作。然后使用前期穩(wěn)定的背景視頻和后期不穩(wěn)定的背景視頻分別建模。背景建模使用兩種方法對(duì)比，一種是使用灰度圖按傳統(tǒng)方法，如公式（1）；另一種是本文方法，按RGB三通道分別建模，如公式（20）。在使用本文方法進(jìn)行前景圖像分割時(shí)，做如下對(duì)比實(shí)驗(yàn)：一種是按式（21）進(jìn)行有效光照變化的補(bǔ)償，另一種不補(bǔ)償。

為提高模型精度，本文設(shè)置模型更新的學(xué)習(xí)系數(shù)為0.03，據(jù)實(shí)測(cè)，視頻中除個(gè)別點(diǎn)外，均方差均小于3，這樣，由于圖像噪聲影響使模型值偏離其期望值1個(gè)灰度級(jí)的概率就小于1%。

為使實(shí)驗(yàn)效果具有可比性，上述對(duì)比實(shí)驗(yàn)的參數(shù)設(shè)置均相同，包括建模時(shí)間，模型更新的學(xué)習(xí)系數(shù)，二值化閾值等。下面是實(shí)驗(yàn)結(jié)果：

6.1 顏色信息融合使用的分割效果

使用穩(wěn)定背景視頻建立的的背景模型，分割效果如圖1所示。

可以看到，使用灰度圖進(jìn)行分割，人的下部丟失較多，因?yàn)檠澴优c背景灰度接近。使用RGB通道分別進(jìn)行分割，則各有檢出和丟失，但部位有所不同，這樣在使用RGB各自的結(jié)果進(jìn)行邏輯運(yùn)算時(shí)，檢出部分就互補(bǔ)了，從RGB融合分割結(jié)果看，分割效果有了較明顯的提高。

6.2 對(duì)有效光照波動(dòng)變化的補(bǔ)償效果

使用不穩(wěn)定背景視頻建立的背景模型，以R通道為例考察對(duì)背景進(jìn)行補(bǔ)償與不補(bǔ)償?shù)姆指钚Ч⑴c灰度圖的分割效果做比較，如圖2所示。

可以看到，在不補(bǔ)償?shù)那闆r下，R通道與灰度圖的分割效果均不理想，這是因?yàn)樵谀Ｐ偷挠行Т翱谄趦?nèi)平均的有效光照水平與當(dāng)前幀有較大差別，一些部位已超出了容差閾值，從而形成較多噪點(diǎn)和黏連。而經(jīng)過對(duì)模型進(jìn)行光照變化的補(bǔ)償，其分割效果得到了明顯的改善，說明本文提出的補(bǔ)償方法是有必要的，也有一定效果。下面表1是使用穩(wěn)定視頻與不穩(wěn)定視頻分別建立的兩種背景模型的像素值（R通道）變化均勻性的采樣統(tǒng)計(jì)表，采樣窗口共9個(gè)，均勻分布于圖上，每個(gè)窗口約包含2000個(gè)像素。

從表1中可以看出，對(duì)于單通道來說，攝像機(jī)內(nèi)部增益波動(dòng)以及環(huán)境光變化引起的像素值變化比例是基本相等的。

7 結(jié)束語

本文通過高斯模型分析了噪聲對(duì)背景模型的影響，并量化地提出了抑制噪聲影響的模型更新參數(shù)設(shè)置條件。通過對(duì)模型誤差的進(jìn)一步分析，結(jié)合攝像系統(tǒng)的工作原理，提出了針對(duì)攝像系統(tǒng)內(nèi)參數(shù)波動(dòng)以及環(huán)境光照變化的模型更新辦法和相應(yīng)補(bǔ)償辦法。通過分色建立背景模型，將顏色信息融合使用于前景圖像的分割，對(duì)使用多種線索綜合進(jìn)行前景判斷進(jìn)行了有益的嘗試。從實(shí)驗(yàn)情況看，本文提出的辦法有一定的改善效果。本文對(duì)于攝像系統(tǒng)工作機(jī)制的分析偏于理論，而現(xiàn)在大量的攝像頭進(jìn)行Gamma校正時(shí)都是使用的分段近似，與理論是有差別的。此外，本文方法沒有考慮像素之間的關(guān)系，也沒有使用圖像的微觀結(jié)構(gòu)信息，這些都是下一步需要深入研究和改進(jìn)的地方。

參考文獻(xiàn)

[1]王亮，胡衛(wèi)明，譚鐵牛.人運(yùn)動(dòng)的視覺分析綜述[J].計(jì)算機(jī)學(xué)報(bào)，2002，25（3）：225-237.

[2]Koller D，Weber J，Huang T，et al. Towards robust automatic traffic scene analysis in real-time[C]// The 12th International Computer Vision and Image Processing Conference，1994：126-131.

[3]Stauffer C，Grimson W E L.Adaptive background mixture models for real-time tracking.In：Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Fort Collins，USA：IEEE，1999：23-25.

[4]Wren C，Azarbayejani A，Darrell T，et al.Pfinder：realtime tracking of the human body[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19（7）：780-785.

[5]Tuzel O，Porikli F，Meer P.A Bayesian approach to background modeling.In：Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington D.C.，USA：IEEE，2005：58-65.

[6]Kim H，Sakamoto R，Kitahara I，Toriyama T，Kogure K.Background subtraction using generalised Gaussian family model.IEEE Electronics Letters， 2008，44（3）：189-190.

[7]Elgammal A，Duraisewami R， Harwood D， Davis L S.Background and foreground modeling using nonparametric kernel density estimation for visual surveillance. Proceedings of IEEE， 2002，90（7）：1151-1163.endprint

[8]Elgammal A，Harwood D， Davis L S. nonparametric model for background subtracting[C].Proceedings of 6th European Conference on Computer Vision， Dublin，2000，751-767.

[9]Monnet A，Mittal A，Paragios N， Visvanathan R.Background modeling and subtraction of dynamic scenes.In：Proceedings of the 9th International Conference on Computer Vision.Washington D.C.，USA：IEEE，2003，1305-1312.

[10]Heikkila M，Pietikainen M.A texture-based method for modeling the background and detecting moving objects.IEEE Transactions on Pattern Analysis and Machine Intelligence.2006，28（4）：657-662.

[11]徐劍，丁曉青，王生進(jìn)等.一種融合局部紋理和顏色信息的背景減除法[J].自動(dòng)化學(xué)報(bào)，2009，35（9）：1145-1150.

[12]強(qiáng)振平，陳旭，劉鑫.基于顏色和紋理特征背景模型的多層差分運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].計(jì)算機(jī)應(yīng)用，2009，29（6）：227-230.

[13]鄧宇，李振波，李華.圖切割支持的融合顏色和梯度特征的實(shí)時(shí)背景減除法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào) ，2006，18（11）：1741-1747.

[14]張旗，梁德群，樊鑫等.基于小波域的圖像噪聲類型識(shí)別與估計(jì)[J].紅外與毫米波學(xué)報(bào)，2004，23（4）：281-285.

作者簡(jiǎn)介

張小駿（1964-），男，西安電子科技大學(xué)計(jì)算機(jī)學(xué)院博士研究生。主要研究方向?yàn)橐曨l智能監(jiān)控。

作者單位

西安電子科技大學(xué)計(jì)算機(jī)學(xué)院 陜西省西安市 710071endprint