肖進(jìn)勝 劉婷婷 張亞琪 彭紅 鄢煜塵

摘要：針對背景場景重復(fù)顯現(xiàn)問題，提出了一種基于歷史背景的混合高斯模型（History Background-based GMM，HBGMM）。相較于傳統(tǒng)的混合高斯模型，該模型對歷史背景模型進(jìn)行標(biāo)記，并通過判決匹配次數(shù)快速調(diào)整歷史背景模型的學(xué)習(xí)率。同時對模型權(quán)重低于閾值下限歷史模型和非歷史模型進(jìn)行區(qū)別處理，用該方法更新模型權(quán)重從而降低誤檢率，使歷史模型盡量避免誤刪除。實(shí)驗(yàn)結(jié)果表明，本文提出的基于歷史背景的混合高斯背景模型能夠?qū)崿F(xiàn)記憶背景的功能，從而更快地適應(yīng)場景的變化，減少前景誤判。

關(guān)鍵詞：視頻處理；背景建模；混合高斯模型；歷史背景

中圖分類號：TN919 文獻(xiàn)標(biāo)識碼：A

背景減除是自動視頻對象分析的一項(xiàng)關(guān)鍵技術(shù)，他在智能視頻監(jiān)控等領(lǐng)域中有著非常廣泛的應(yīng)用。對視頻場景進(jìn)行背景建模，將存儲好的背景模型和新觀察到的圖片進(jìn)行背景減除來提取運(yùn)動目標(biāo)是較為常用的方法＼[1＼]。原理雖然簡單，但是真實(shí)世界中像素在時域和空域中的復(fù)雜變化，使得背景建模變得很困難。比如陰影檢測、亮度的緩慢或劇烈改變等都是現(xiàn)在背景建模的難點(diǎn)＼[2-3＼]。近年來，國內(nèi)外學(xué)者提出了許多建立背景模型的方法，包括針對含有紋理的動態(tài)場景，采用一種新的模糊色彩直方圖特征來減弱運(yùn)動背景造成的色彩改變＼[4＼]；為每一個像素點(diǎn)建立一個由4層前饋神經(jīng)網(wǎng)絡(luò)組成的背景模型＼[5＼]；結(jié)合顏色、梯度、不同特征來構(gòu)建背景模型，采用支持向量機(jī)來進(jìn)行背景分類＼[6-7＼]等。

湖南大學(xué)學(xué)報(bào)（自然科學(xué)版）2015年

第10期肖進(jìn)勝等：一種基于歷史背景的混合高斯背景建模算法

高斯模型是近年發(fā)展起來并得到廣泛應(yīng)用的一種技術(shù)。Stauffer等＼[2＼]提出利用混合高斯模型來建立背景模型，在每幀中對各個像素點(diǎn)建立由多個高斯分布組成的背景模型。自此以后，該方法以其能較為魯棒地描述多峰分布的背景而被廣泛應(yīng)用，但其仍然具有處理速度較慢、無法應(yīng)對突變背景等缺點(diǎn)＼[8＼]。此后的研究者對混合高斯背景建模方法做了各種改進(jìn)。Zivkovic Z＼[9＼]針對自適應(yīng)高斯混合模型的個數(shù)和參數(shù)問題進(jìn)行了改進(jìn)，利用最大似然估計(jì)進(jìn)行高斯模型個數(shù)的選擇。文獻(xiàn)＼[10＼]考慮到全局抖動造成的運(yùn)動目標(biāo)檢測不準(zhǔn)確的問題，提出基于分區(qū)灰度投影穩(wěn)像的高斯背景建模算法。文獻(xiàn)＼[11＼]針對亮度場景的變化，建立亮和暗不同的模型進(jìn)行亮度場景變化的檢測和估計(jì)。文獻(xiàn)＼[12＼]為了解決場景中存在的突變，提出基于記憶的混合高斯模型（Memory-based GMM， MGMM）的前景檢測算法，取得了很好的檢測效果，但是該算法中每個像素都要經(jīng)過瞬時記憶、短時記憶和長時記憶3個空間的傳輸和處理，影響了算法效率和實(shí)用性。上述方法對混合高斯模型的修改多數(shù)集中在提高模型的處理效率與收斂速度方面。當(dāng)現(xiàn)有的混合高斯建模算法應(yīng)用到實(shí)際場景中時，若背景場景重復(fù)性出現(xiàn)時，如被重復(fù)性的遮擋與顯露，受模型學(xué)習(xí)速度的影響，重新顯露出的背景場景的變化不能被立即學(xué)入背景模型中，依然會被檢測為前景，從而產(chǎn)生大量誤判。

本文針對視頻中背景經(jīng)常重復(fù)性地被遮擋與顯現(xiàn)的場景（如智能視頻監(jiān)控場景中），提出了一種基于歷史背景的混合高斯模型（History Background-based GMM， HBGMM）。經(jīng)過模型學(xué)習(xí)，基于歷史背景的混合高斯模型對重復(fù)出現(xiàn)過的背景具有記憶功能；當(dāng)重復(fù)性背景再次出現(xiàn)時，能及時判決出背景與前景，從而使被誤判成為前景的背景快速消融至背景中。

1混合高斯模型原理分析

經(jīng)典的混合高斯模型＼[2＼]對視頻圖像中的每一個像素點(diǎn)定義K個狀態(tài)，其值一般取3～5。若每個像素點(diǎn)的像素值用Xt表示，則對應(yīng)的概率密度函數(shù)可用K個高斯函數(shù)來表示：

f（Xt=x）=∑Ki=1ωi，tη（Xt，μi，t，Σi，t）。 （1）

式中：η（Xt，μi，t，Σi，t）為t時刻的第i個高斯模型；ωi，t為時刻t第i個高斯模型的權(quán)重，且有K個權(quán)重的和為1。 這里假定視頻各幀圖像中各點(diǎn)的像素值在R，G，B3個顏色通道＼[13＼]是相互獨(dú)立的，并且具有相同的方差，σi，t為標(biāo)準(zhǔn)差，那么協(xié)方差矩陣可以取值為：

Σi，t=σi，t2I。 （2）

其中I為單位陣。所有K個高斯模型首先按照ωi，t由大到小排序，然后從首端選取B個高斯模型作為背景模型。其中B滿足：

B=argminb（∑bi=1ωi，t>Thershold）。 （3）

式中：Thershold為預(yù)先給定的權(quán)重閾值，是用于選擇模型個數(shù)的閾值，一般取值為0。7～0。9。對于新的一幀圖片，若當(dāng)前圖片中點(diǎn)的像素值與其中某個高斯模型的均值和標(biāo)準(zhǔn)差滿足：

Xt+1-μi，t<δσi，t。 （4）

則認(rèn)為該像素值與高斯模型匹配（通常δ設(shè)為2～4）。高斯分布的參數(shù)采用在線K均值近似算法進(jìn)行更新＼[9＼]，對于第1個匹配上的高斯模型，更新其所有參數(shù)，而對于其他K-1個高斯模型，僅更新權(quán)重，權(quán)重更新公式為：

ωi，t+1=（1-α）ωi，t+αOi，t+1。 （5）

對于首次匹配的模型，Oi，t+1取1，對于其他模型，Oi，t+1取0。ωi，t和ωi，t+1分別為更新前和更新后的權(quán)重。均值與方差更新的公式為：

μi，t+1=（1-α）μi，t+αXt+1； （6）

σ2i，t+1=（1-α）σ2i，t+α（Xt+1-μi，t+1）T×

（Xt+1-μi，t+1）。 （7）

式中：μi，t和μi，t+1分別為更新前后的均值；σ2i，t和σ2i，t+1分別為更新前后的方差；α為學(xué)習(xí)率，取值為0。002～0。005。如果當(dāng)前像素點(diǎn)無法與所有模型匹配，就用一個新的均值為Xt+1、高方差和低權(quán)重的高斯分布取代尾端的高斯分布。

傳統(tǒng)高斯模型應(yīng)用于復(fù)雜的現(xiàn)實(shí)環(huán)境中時計(jì)算復(fù)雜，其計(jì)算量與所用的高斯模型的個數(shù)成正比，而且模型參數(shù)難以調(diào)整＼[14＼]。同時在有重復(fù)性的背景場景出現(xiàn)時，背景點(diǎn)則會因?yàn)橄袼刂档耐蝗蛔兓徽`檢為前景點(diǎn)，造成誤判。一個理想的背景減除系統(tǒng)應(yīng)具有一定的自適應(yīng)能力，其背景模型應(yīng)可以根據(jù)場景的變化自適應(yīng)地保持與更新背景模型。

2基于歷史背景的混合高斯模型

針對經(jīng)典混合高斯模型的問題，如果在使用混合高斯模型對背景進(jìn)行建模實(shí)現(xiàn)背景減除的過程中，對曾經(jīng)判斷成為背景的模型進(jìn)行標(biāo)記，標(biāo)記其為歷史模型。在之后的更新與匹配過程中，對歷史模型記錄其匹配次數(shù)，在一個周期內(nèi)，若匹配次數(shù)超過用戶設(shè)定門限，則在下次匹配成功之后，額外為該模型增加T倍的α，通過模型的權(quán)重降序排列，使其迅速增長至模型隊(duì)列前端，落入背景模型的背景權(quán)重范圍內(nèi)，從而被判決為背景而不是前景。就能夠在一定程度上解決前面提到的問題。

本算法對經(jīng)典的高斯模型改進(jìn)有以下2點(diǎn)：

1）對歷史背景進(jìn)行標(biāo)記，以P幀為周期，記錄該周期內(nèi)歷史背景的匹配次數(shù)，若匹配次數(shù)超過用戶設(shè)定門限N，則在下次匹配成功之后，額外為該模型增加T倍的α。權(quán)重更新公式（5）更改為如下所示。

ωi，t+1=（1-α）ωi，t+αOi，t+1+αci，t+1。 （8）

式中：α，ωi，t和ωi，t+1與式（5）含義相同。對于滿足歷史背景更新條件的模型，ci，t+1取值為T，對于其他模型，ci，t+1取0。這里歷史背景更新條件是指：若當(dāng)前模型被匹配上，且該模型權(quán)重處于前景范圍，在周期P內(nèi)匹配次數(shù)超過N次。P與N若取值過小，會對圖像中的噪聲較為敏感；若取值過大，建模算法又無法及時適應(yīng)視頻圖像中前景對象與背景的變化，因此，本文中取P為10，N為5。符合該條件的模型，會在原始權(quán)重更新的基礎(chǔ)上，再加上Tα的新權(quán)重。實(shí)驗(yàn)表明，當(dāng)T≥3時，前景過快消融，而當(dāng)T<2時，對重復(fù)背景的處理效果不明顯，因此將T設(shè)為2。

2）當(dāng)模型權(quán)重小于某一門限時，對于歷史模型和非歷史模型進(jìn)行區(qū)別處理。非歷史模型將會被刪除；而歷史模型僅將其權(quán)重置為0，并不刪除。

算法的具體描述如下：

步驟1第1幀時初始化記憶空間，用當(dāng)前幀的圖像像素（Ri，Gi，Bi）創(chuàng)建每像素點(diǎn)的第1個高斯模型，將其權(quán)重賦為1，并分配初始方差。

步驟2對每一幀新的圖像，將每個像素點(diǎn)的K個模型按權(quán)值從大到小排序。根據(jù)式（3）從首端選取B個高斯分布作為候選背景模型，Thershold為用戶自定義的閾值。

步驟3將新的采樣值Xt+1（R，G，B）依次與原有K個高斯模型進(jìn)行匹配，若δ=3時，式（5）成立，則認(rèn)為該點(diǎn)匹配當(dāng)前模型，若匹配上的模型落在步驟2中的B個模型內(nèi)，則判斷該像素點(diǎn)為背景，同時將當(dāng)前模型標(biāo)記為歷史模型，否則，該像素點(diǎn)為前景點(diǎn)。找到匹配模型后不再尋找其他匹配模型，執(zhí)行步驟4；若當(dāng)前點(diǎn)未匹配上任何模型，轉(zhuǎn)步驟5。

步驟4如果找到匹配模型，按照式（8），（5），（6），（7）更新匹配模型的權(quán)重、均值和方差，若該模型為歷史模型，則記憶其匹配次數(shù)。在固定周期內(nèi)（如10幀），匹配次數(shù)超過N次，則權(quán)重額外增加T倍的α。其他未匹配模型只更新權(quán)重，同時對所有模型按權(quán)重進(jìn)行降序排列。 在模型的權(quán)重更新完成后，若該模型的權(quán)重小于某給定值αCT，當(dāng)其未被標(biāo)記為歷史模型時，刪除當(dāng)前模型；否則，只將當(dāng)前模型權(quán)重置為0，不刪除該模型。

步驟5如果當(dāng)前點(diǎn)未匹配上任何模型，按照式（8）更新所有模型的權(quán)重。在模型個數(shù)未達(dá)到用戶設(shè)定上限時，生成一個新的模型加入模型隊(duì)列；否則，用這個新模型取代權(quán)重最小的模型。同樣，最后對所有模型按權(quán)重進(jìn)行降序排列并歸一化。

根據(jù)上面的模型分析，基于歷史背景的混合高斯背景建模算法流程如圖1所示。

在傳統(tǒng)混合高斯模型更新過程中，引入曾經(jīng)是背景模型的標(biāo)記，并根據(jù)這一標(biāo)記，對歷史背景模型進(jìn)行不同的更新處理，則有可能實(shí)現(xiàn)記憶背景的作用，在背景重復(fù)出現(xiàn)時，避免將其誤檢為前景。

3實(shí)驗(yàn)結(jié)果及討論

為驗(yàn)證本文所提歷史模型算法的有效性，在2。4 GHz酷睿i3雙核處理器上，VS2005編程環(huán)境下，用序列進(jìn)行了測試，并與傳統(tǒng)GMM方法＼[2＼]以及文獻(xiàn)＼[12＼]的MGMM方法進(jìn)行了對比。為保證方法比較的有效性，3種方法基本參數(shù)取值相同，分別為Thershold=0。75，ω =α，其中GMM和本文算法K

=5，σ=20；MGMM算法中K=4，N=1，σ=25。

學(xué)習(xí)率計(jì)算方法為：

α=1/（2frame），frame<500；0。002，frame≥500。 （9）

式中：frame為幀數(shù)。

圖1像素級算法流程圖

Fig。1Flow chart of the pixelwise algorithm

為了更好地測試重復(fù)性背景問題，在序列“fast move”中疊加一個每隔400幀出現(xiàn)的色塊，用該色塊來模擬重復(fù)出現(xiàn)的運(yùn)動目標(biāo)，初始50幀用于模型學(xué)習(xí)，不疊加色塊。色塊消失后，由原位置被誤檢為前景的部分消失所需的幀數(shù)來定量判決不同背景建模算法處理重復(fù)背景的能力。

圖2（a）顯示了用于測試的視頻原始圖像，圖2（b）為原始視頻疊加色塊的效果。圖3從左到右依次給出序列分別為608，612原始幀，采用經(jīng)典GMM方法、文獻(xiàn)＼[12＼]的MGMM方法以及本文提出的HBGMM方法的前景檢測結(jié)果。 表1為3種方法在測試幀中重復(fù)出現(xiàn)的色塊檢測為前景的幀數(shù)。

由表1可見，有色方塊在視頻的51～200幀與601～999幀出現(xiàn)，當(dāng)其第2次在600幀出現(xiàn)時，由于之前出現(xiàn)過，該像素值曾被學(xué)習(xí)入背景模型中，此時重新出現(xiàn)的色塊應(yīng)該快速地被吸收入背景，而不應(yīng)被檢測為前景目標(biāo)。但傳統(tǒng)的混合高斯模型經(jīng)過了12幀才將其吸收成背景，而本文所用方法僅用了8幀。由圖3可知，本文算法的檢測結(jié)果被誤檢為前景的目標(biāo)更少，消失速度更快。由此可見，在重復(fù)性背景出現(xiàn)時，本文方法能夠更快地將其吸引消融成背景，而不會長時間內(nèi)仍被檢測為前景。

圖2“Fast move”序列背景變化

Fig。2Background changes in “Fast move”

表13種背景建模方法檢測效果對比

Tab。1Comparison of the three background

modeling methods

幀數(shù)

實(shí)際方塊

GMM方法

MGMM

方法

HBGMM方法

51～200

51～81

51～200

51～81

601～999

601～612

201～700

601～608

為了更精確地測試建模算法的效果，本文選用了兩段帶有真實(shí)前景（Ground truth）的視頻序列，并采用F1得分來評估檢測出的前景與真實(shí)前景的相似程度。F1得分的計(jì)算方法為：

F1=2prp+r，p=tt+f，r=tt+n。 （10）

式中：F1為得分值；t，f，n分別為正確檢測、錯誤檢測和未檢測出的前景點(diǎn)個數(shù)。檢測出的前景點(diǎn)是否正確，可以通過與Ground truth對比得知。F1得分的最高分為1，最低分為0，分值越高表明檢測出的前景越準(zhǔn)確，建模效果越好＼[12＼]。

“Office”序列中，當(dāng)人物離開站立位置，其身后的墻壁再次顯露出來，根據(jù)Ground truth，此時該處墻壁應(yīng)被檢測為背景。因此，對此時視頻序列的前景檢測結(jié)果計(jì)算F1得分。圖4分別給出了第2 002（上圖）和第2 006幀（下圖）的前景檢測結(jié)果。

圖3“Fast move”序列前景檢測結(jié)果

Fig。3 The segmentation results of “Fast move”

圖4“Office”序列前景檢測結(jié)果

Fig。4 The segmentation results of “Office”

由圖4可見，本文提出的HBGMM建模算法比GMM算法和MGMM算法能夠更快地將重復(fù)出現(xiàn)的墻壁吸收為背景。3種建模算法檢測結(jié)果的F1得分如表2所示。由表2可知，HBGMM算法的F1得分均高于GMM算法與MGMM算法，可見，當(dāng)重復(fù)背景出現(xiàn)時，HBGMM算法檢測出的前景更為準(zhǔn)確。

表2對“Office”序列3種方法檢測結(jié)果的得分對比

Tab。2Comparison of score for “Office” sequence

with three methods

幀號

F1

GMM方法

MGMM

方法

HBGMM方法

2 002

0。546 9

0。421 8

0。566 4

2 006

0。525 9

0。415 0

0。548 6

為了進(jìn)一步測試HBGMM算法的效果，本文選用了另一段室內(nèi)監(jiān)控視頻“Sofa”，當(dāng)人物將原本置于沙發(fā)上的行李移走時，原被行李遮蓋后顯露的沙發(fā)應(yīng)被檢測為背景。圖5顯示了在該場景中的兩幀畫面（第2 471，2 486幀）及相應(yīng)建模算法的檢測結(jié)果。表3為該3幀前景檢測結(jié)果的F1得分。

表3對“Sofa”序列3種方法檢測結(jié)果的得分對比

Tab。3Comparison of score for “Sofa” sequence

with three methods

幀號

F1

GMM方法

MGMM

方法

HBGMM方法

2 471

0。737 1

0。527 3

0。746 7

2 486

0。782 6

0。658 5

0。784 1

由表3可知，相較于GMM和MGMM建模算法，HBGMM算法的F1得分最高。同時，由圖5可知，HBGMM算法在處理重復(fù)背景問題時，能夠更快地將誤檢為前景（見重新顯露出的沙發(fā)部分）的像素點(diǎn)吸收為背景。

圖5“Sofa”序列前景檢測結(jié)果

Fig。5The segmentation results of “Sofa”

4結(jié)論

本文在傳統(tǒng)混合高斯模型更新過程中，引入曾經(jīng)是背景模型的標(biāo)記，并根據(jù)這一標(biāo)記，對歷史背景模型進(jìn)行不同的更新處理。同時，與傳統(tǒng)的GMM方法及MGMM方法進(jìn)行重復(fù)性背景的對比實(shí)驗(yàn)。結(jié)果顯示，本文所提出的方法實(shí)現(xiàn)了記憶重復(fù)背景的功能，從而更快地適應(yīng)場景的變化，減少前景誤判，適用于存在重復(fù)性運(yùn)動場景的建模。

參考文獻(xiàn)

[1]BRUTZER S，HOFERLIN B，HEIDEMANN G。Evaluation of background subtraction techniques for video surveillance ＼[C＼]//IEEE Conference on Computer Vision and Pattern Recognition。Providence， RI，2011：1937-1944。

＼[2＼]STAUFFER C，GRIMSON W E L。Adaptive background mixture models for realtime tracking＼[C＼]//IEEE Conference on Computer Vision and Pattern Recognition。 Fort Collins，1999。

＼[3＼]WU Chuan，WANG Yuanyuan， KARIMI H R。 A robust aerial image registration method using Gaussian mixture models＼[J＼]。 Neurocomputing， 2014，144： 546-552。

＼[4＼]WONJUN Kim， CHANGICK Kim。 Background subtraction for dynamic texture scenes using fuzzy color histograms＼[J＼]。 IEEE Signal Processing Letters， 2012， 19（3）： 127-130。

＼[5＼]王志明， 張麗， 包宏。 基于混合結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的自適應(yīng)背景模型 ＼[J＼]。 電子學(xué)報(bào)， 2011，39（5）： 1053-1058。

WANG Zhiming， ZHANG Li， BAO Hong。 Adaptive background model based on hybrid structure neural network ＼[J＼]。 Acta Electronica Sinica， 2011，39（5）： 1053-1058。（In Chinese）

＼[6＼]HAN B， DAVIS L S。 Densitybased multifeature background subtraction with support vector machine ＼[J＼]。 IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 34（5）： 1017-1023。

＼[7＼]YAO J，ODOBEZ J M。 Fast human detection from video using covariance features＼[C＼]//The Eighth International Workshop on Visual Surveillance。Marseille，2008。

＼[8＼]LIN Hornghorng， CHUANG Jenhui， LIU Tyngluh。 Regularized background adaptation： A novel learning rate control scheme for gaussian mixture modeling＼[J＼]。 IEEE Transactions on Image Processing， 2011， 20（3）： 822-836。

＼[9＼]ZIVKOVIC Z。 Improved adaptive Gaussian mixture model for background subtraction＼[C＼]//IEEE International Conference on Pattern Recognition。 IEEE，2004：28-31。

＼[10＼]肖進(jìn)勝，單姍姍，易本順， 等?；趨^(qū)分灰度投影穩(wěn)像的運(yùn)動目標(biāo)檢測算法＼[J＼]。湖南大學(xué)學(xué)報(bào)：自然科學(xué)版，2013， 40（6）：96-102。

XIAO Jinsheng， SHAN Shanshan，YI Benshun， et al。 Moving targets detection based on subzone gray projection video stabilization＼[J＼]。Journal of Hunan University：Natural Sciences， 2013，40（6）：96-102。（In Chinese）

＼[11＼]CHENG Fanchieh，HUANG Shihchia，RUAN Shanqjang。 Illuminationsensitive background modeling approach for accurate moving object detection＼[J＼]。 IEEE Transactions on Broadcasting， 2011， 57（4）：794-801。

＼[12＼]齊玉娟， 王延江， 李永平。 基于記憶的混合高斯背景建模＼[J＼]。自動化學(xué)報(bào)， 2010， 36（11）： 1520-1526。

QI Yujuan，WANG Yanjiang， LI Yongping。 Memory based Gaussian mixture background modeling＼[J＼]。 Acta Automatica Sinica， 2010， 36（11）： 1520-1526。 （In Chinese）

＼[13＼]XIAO Jinsheng， LI Wenhao， LIU Guoxiong，et al。Hierarchical tone mapping based on image color appearance model＼[J＼]。IET Computer Vision， 2014， 8（4）： 358-364。

＼[14＼]LEE D S。 Effective Gaussian mixture learning for video background subtraction＼[J＼]。IEEE Transactions on Pattern Analysis and Machine Intelligence， 2005， 27（5）： 827-832。