詹 敏，鄒小波

(華僑大學(xué) 工學(xué)院， 福建 泉州 362021)

一種改進(jìn)的基于碼本和高斯混合模型的視頻背景分離*

詹 敏，鄒小波

(華僑大學(xué) 工學(xué)院， 福建 泉州 362021)

文章提出一種基于改進(jìn)的碼本(CB)和高斯混合模型(GMM)的視頻背景分離方法。該方法是以自適應(yīng)的高斯混合模型背景為基礎(chǔ),為每個(gè)顏色像素構(gòu)建混合高斯背景模型,可以對(duì)視頻幀中每個(gè)像素的高斯分布數(shù)進(jìn)行動(dòng)態(tài)控制,并且通過(guò)CB(Codebook)算法得到每個(gè)像素的時(shí)間序列模型,從而對(duì)高斯分布的各參數(shù)進(jìn)行學(xué)習(xí)。實(shí)驗(yàn)結(jié)果表明,該方法在背景分離的精確度和處理時(shí)間上都表現(xiàn)出優(yōu)異的性能,此外還具有良好的適用性,對(duì)復(fù)雜場(chǎng)景的變化,可以有效快速地分離視頻的前景和背景。

碼本；高斯混合模型；背景分離；視頻幀；高斯分布

0 引言

“背景”在不同的應(yīng)用場(chǎng)合下是一個(gè)很難定義的問(wèn)題。例如,若正在觀測(cè)一個(gè)大型商場(chǎng),那么或許來(lái)來(lái)往往的人流應(yīng)該被認(rèn)為是背景。通常情況下,背景被認(rèn)為是在任何所感興趣的時(shí)期內(nèi),場(chǎng)景中保持靜止或周期運(yùn)動(dòng)的目標(biāo)。 到目前為止,通過(guò)基于像素不斷調(diào)整的方式來(lái)訓(xùn)練和更新背景顏色信息的背景建模技術(shù)是背景分離的關(guān)鍵所在。雖然視頻背景分離已經(jīng)取得了長(zhǎng)足的進(jìn)步,但是其在實(shí)時(shí)監(jiān)控環(huán)境中的應(yīng)用,大多數(shù)傳統(tǒng)的方法還存在許多問(wèn)題,所以其仍然是一個(gè)具有挑戰(zhàn)性的任務(wù)。

目前最流行的估計(jì)背景顏色的統(tǒng)計(jì)方法是基于參數(shù)的高斯混合模型和基于非參數(shù)的核密度估計(jì)(KDE)[1]。這種基于概率估計(jì)的方法最強(qiáng)大的地方在于它能夠有效地模擬出搖曳的樹(shù)和飄揚(yáng)的旗幟這類(lèi)移動(dòng)的背景信息。一般來(lái)說(shuō),通過(guò)期望最大化(EM)[2]算法或k-均值聚類(lèi)算法來(lái)計(jì)算GMM參數(shù)。然而,這些方法并不適合實(shí)時(shí)監(jiān)視應(yīng)用,其中EM算法的時(shí)間復(fù)雜度較高,而k-均值聚類(lèi)算法存在聚類(lèi)初始值的設(shè)定問(wèn)題。KDE算法也不能解決在背景分離過(guò)程中所產(chǎn)生的高耗能問(wèn)題。

為了解決這些問(wèn)題,本文提出使用碼本(CB)這種更加實(shí)用的背景建模方法。對(duì)比這些概率統(tǒng)計(jì)的方法,CB方案能夠確保更有效的操作,因?yàn)樗粚?zhuān)注于訓(xùn)練能夠觀察到的像素值范圍,而不是構(gòu)成概率密度函數(shù)(PDF)結(jié)構(gòu)的框架。此外,它們需要為模型初始化的用戶(hù)提供的參數(shù)的數(shù)目較少。然而,CB方法也會(huì)導(dǎo)致這樣的問(wèn)題,它們往往容易對(duì)動(dòng)態(tài)背景的檢測(cè)產(chǎn)生誤判,只考慮到觀測(cè)區(qū)域的數(shù)據(jù)。

本文提出了一種新的背景分離法,該方法利用CB和GMM模型結(jié)合的技術(shù)。其基本思想是由CB采集背景顏色，統(tǒng)計(jì)每個(gè)像素進(jìn)而估計(jì)基于GMM分布的參數(shù)。計(jì)算高效的CB方法能夠?qū)崟r(shí)構(gòu)建和維護(hù)背景聚類(lèi)模型,并采用GMM分布從CB集群計(jì)算其參數(shù)檢測(cè)前景區(qū)域。

1 背景建模

1.1基本思想

基于碼本的高斯混合模型是利用Codebook算法[3]得到每個(gè)像素的時(shí)間序列模型,首先它基于一個(gè)基本的先驗(yàn)分布：像素構(gòu)建過(guò)程在時(shí)間序列上滿(mǎn)足或者近似滿(mǎn)足高斯分布。因此可以建立一個(gè)自適應(yīng)的高斯分布來(lái)描述像素構(gòu)建過(guò)程,對(duì)于偏離高斯分布均值較遠(yuǎn)的像素判別為前景,否則為背景。

高斯混合模型[4]能夠根據(jù)樣本值(像素點(diǎn)的顏色值)進(jìn)入模型的不同頻率,以及和模型中各個(gè)分布成功匹配的不同頻率,來(lái)不斷更新模型中所有高斯分布的參數(shù),即對(duì)各個(gè)高斯分布的權(quán)重、均值和協(xié)方差等參數(shù)進(jìn)行訓(xùn)練,使背景像素值分布收斂于一個(gè)或幾個(gè)高斯分布,實(shí)現(xiàn)背景像素值的聚類(lèi),從而實(shí)現(xiàn)對(duì)背景的建模。

1.2模型定義

在高斯混合模型中視頻幀(或者圖像序列)中的某個(gè)像素點(diǎn)的顏色值構(gòu)成了對(duì)應(yīng)的像素值：

{X1,X2,…Xt}={I(x,y,i),1≤i≤t}

(1)

其中,I(x,y,i)表示像素點(diǎn)(x,y)在i時(shí)刻的顏色值。高斯混合背景建模就是假設(shè)該像素值滿(mǎn)足高斯混合分布,即對(duì)每個(gè)像素點(diǎn)建立一個(gè)由K個(gè)單高斯模型混合而成的高斯混合模型：

(2)

(3)

其中,n表示Xt的維數(shù)。

K一般取3～5之間,K值越大,處理波動(dòng)能力[5]越強(qiáng),所需處理時(shí)間也越長(zhǎng)。K中每個(gè)狀態(tài)用一個(gè)高斯函數(shù)表示。為了避免繁瑣的矩陣運(yùn)算,通常假設(shè)像素值X的各分量(如RGB顏色模型中的紅綠藍(lán)分量)相互獨(dú)立,并且具有相同的協(xié)方差,此假設(shè)可以加快運(yùn)算速度并且對(duì)結(jié)果影響很小。

1.3模型匹配和更新

高斯混合背景建模首先將當(dāng)前像素值與模型中的K個(gè)高斯分布匹配,若第j個(gè)模型滿(mǎn)足下式：

|xt-μj,t-1|<2.5σj,t-1

(4)

則認(rèn)為當(dāng)前像素點(diǎn)與j個(gè)分布匹配成功,并中止與后續(xù)模型的匹配。否則取當(dāng)前觀測(cè)值為均值,給定一個(gè)較大的值為方差,構(gòu)造一個(gè)新的高斯分布,替代ω/σ最小的分布；然后,根據(jù)當(dāng)前像素與其K個(gè)高斯分布相匹配的結(jié)果對(duì)模型進(jìn)行更新[6]。對(duì)于未匹配上的模型,其均值和方差均保持不變,而匹配成功的第j個(gè)模型按下列方式更新：

(5)

其中,α為學(xué)習(xí)速率,它反映了當(dāng)前像素融入背景模型的速率。匹配的分布Mi,t=1,其余分布Mi,t=0。

2 改進(jìn)的背景建模算法

本文采用碼本(CB)和高斯混合模型(GMM)的方法構(gòu)建給定場(chǎng)景的背景模型[7]。一個(gè)碼本背景模型的幾何結(jié)構(gòu)通常使用傳統(tǒng)的d維碼字策略算法(dBCS)[8]來(lái)展現(xiàn)數(shù)據(jù)集。在采用dBCS算法進(jìn)行建模的過(guò)程中,背景模型是以一組像素碼本的碼字組成的幾個(gè)實(shí)際觀察的樣本范圍為藍(lán)本的。在具有二維數(shù)據(jù)集的情況下,一個(gè)碼字可以代表一個(gè)矩形結(jié)構(gòu)的兩側(cè)顯示水平和垂直范圍覆蓋的訓(xùn)練樣本。該方案已被廣泛采用,因?yàn)樗焖俚倪\(yùn)行速度可以在實(shí)際監(jiān)控場(chǎng)合應(yīng)用。然而,在許多情況下,是無(wú)法準(zhǔn)確地檢測(cè)出運(yùn)動(dòng)目標(biāo)的,因?yàn)樵谶\(yùn)動(dòng)背景情況下,它忽略了訓(xùn)練數(shù)據(jù)集的概率信息。

對(duì)于連續(xù)的視頻幀,每當(dāng)觀察到顏色樣本T數(shù)是在一個(gè)像素位置時(shí),系統(tǒng)自動(dòng)將其聚類(lèi)為若干dBCS編碼。然后對(duì)每一個(gè)碼字計(jì)算其權(quán)重,構(gòu)建最終的CB-GMM背景模型的均值和協(xié)方差[9]。圖1為視頻幀背景分離的定性檢測(cè)結(jié)果,由此可以判斷CB-GMM 算法較之dBCS 算法對(duì)于快速變化的背景其分離效果具有更好的魯棒性[10],并且能夠良好適應(yīng)背景和光照的變化。在下面的章節(jié)中,對(duì)背景建模方法進(jìn)行了更詳細(xì)的說(shuō)明。

圖1 背景分離的定性檢測(cè)結(jié)果

3 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證本文方法的可行性及其算法性能,分別對(duì)688×565, 768×576的兩段視頻序列進(jìn)行了背景建模。取背景學(xué)習(xí)率為0.002a-6k=0.1,對(duì)各算法進(jìn)行了實(shí)時(shí)性、資源占用情況、準(zhǔn)確率等方面的測(cè)試和比較。

表1為GMM、dBCS和CB-GMM三種背景建模方法下對(duì)應(yīng)的精確率[11]、召回率和內(nèi)存占用的比較。該數(shù)據(jù)是通過(guò)對(duì)以上三種算法在兩段視頻序列上進(jìn)行多次測(cè)試后得出的平均值。從表中數(shù)據(jù)可以得出結(jié)論：GMM實(shí)時(shí)性最差且準(zhǔn)確率較低,而其內(nèi)存占用較少,這與其算法特性較為符合；而dBCS則相對(duì)GMM的內(nèi)存占用增加了,但其準(zhǔn)確率和召回率都有所提高；CB-GMM的準(zhǔn)確率最高,召回率也為三者最高,但內(nèi)存占用情況也為最多。綜上所述,在內(nèi)存占用可以接受的范圍內(nèi),CB-GMM算法的性能最優(yōu),有較高的精確度和召回率,對(duì)于背景建模能夠取得較好的效果。

表2為基線(Baseline)、目標(biāo)移動(dòng)(Intermittent Object Motion)、動(dòng)態(tài)背景(Dynamic Background)、相機(jī)抖動(dòng)(Camera

表1 各算法的評(píng)價(jià)性能比較

Jitter)和陰影(Shadow)5種背景下針對(duì)dBCS和CB-GMM兩種背景分離算法進(jìn)行的實(shí)驗(yàn)數(shù)據(jù)對(duì)比。該實(shí)驗(yàn)數(shù)據(jù)對(duì)比結(jié)果中包括了5個(gè)性能指標(biāo),分別為準(zhǔn)確率(P)、召回率(Re)、錯(cuò)分率(PWC)、假陽(yáng)性率(FPR)和假陰性率(FNR)[12]。通過(guò)對(duì)5個(gè)場(chǎng)景中每一處對(duì)應(yīng)度量計(jì)算其平均值來(lái)獲得所評(píng)估方法的平均性能度量。平均值的排名對(duì)應(yīng)于通過(guò)參與每個(gè)平均度量的每個(gè)評(píng)估方法獲得的排名的平均值,因此為不同應(yīng)用場(chǎng)景下給定方法的性能指標(biāo)提供依據(jù)。

圖2為dBCS算法和CB-GMM算法進(jìn)行背景建模的效果比較圖,其中將空間域檢測(cè)法僅應(yīng)用在前端的運(yùn)動(dòng)檢測(cè)中,并未使用在前景點(diǎn)集的二次判斷,也即未用于區(qū)分運(yùn)動(dòng)物體和其陰影。測(cè)試圖像選取的序列分別為第435、753、998、和1 352幀。從圖中可以看出,本文CB-GMM算法檢測(cè)效果在背景分離的初步判斷較dBCS算法的檢測(cè)效果更為精確。

表2 不同場(chǎng)景下各算法的實(shí)驗(yàn)數(shù)據(jù)對(duì)比

圖2 兩種算法的背景分離結(jié)果

4 結(jié)束語(yǔ)

本文提出了一種改進(jìn)的碼本和高斯混合模型背景分離方法。為了構(gòu)建和更新對(duì)于給定場(chǎng)景中的背景模型,在無(wú)偏估計(jì)的基礎(chǔ)上,利用高效計(jì)算d維碼字的方法來(lái)確定GMM背景模型的參數(shù)。通過(guò)對(duì)視頻幀中每個(gè)像素的高斯分布數(shù)目進(jìn)行動(dòng)態(tài)控制,并且通過(guò)codebook算法對(duì)高斯分布的各參數(shù)進(jìn)行學(xué)習(xí),此外還可根據(jù)場(chǎng)景的變化實(shí)時(shí)調(diào)整每個(gè)像素的權(quán)值更新速率。筆者對(duì)其結(jié)果進(jìn)行了多次實(shí)驗(yàn)與測(cè)試,驗(yàn)證了該算法對(duì)于背景分離具有較好的分離效果。然而,當(dāng)它們的顏色特征與那些背景或場(chǎng)景十分相似時(shí)該方法可能無(wú)法檢測(cè)前景區(qū)域。為了克服這個(gè)缺點(diǎn),接下來(lái)會(huì)考慮將語(yǔ)義信息作為今后的工作以提高水平。

[1] POWER P W, SCHOONEES J A. Understanding background mixture models for foreground segmentation[J]. Image and Vision Computing, 2006,24(5): 267-271.

[2] Seung Jong Noh, Moongu Jeon. A new framework for backgroudn subtraction using mulltiple cues[C]. In Eleventh Asian Conference on Computer Vision, 2012: 493-506.

[3] ELGAMMAL A, HARWOOD D, DAVIS L S. Non- parametric model for background subtraction[C]. In Thirteenth European Conference on Computer Vision, 2000: 751-767.

[4] HORPRASERT T, HARWOOD D, DAVIS L S. A statistical approach for real-time robust background subtraction and shadow detection[C]. In Proc. IEEE Conf. ICCV, 1999,99: 1-19.

[5] TOYAMA K, KRUMM J, BRUMITT B, et al. Wallflower: Principles and practice of background maintenance[C]. In Proc. IEEE Int. Conf. Comput. Vis., Sep. 1999: 255-261.

[6] BRUTZER S, HOFERLIN B, HEIDEMANN G. Evaluation of background subtraction techniques for video surveillance[C]. In Proc. IEEE Int. Conf. Comput. Vis. Pattern Recognit., Jun. 2011: 1937-1944.

[7] LEE D S. Effective Gaussian mixture learning for video background subtraction[J]. IEEE Transactions on Pattern Anal. Machactions on Intell., 2005,27(5): 827-832.

[8] GORUR P, AMRUTUR B. Speeded up Gaussian mixture model algorithm for background subtraction[C]. In Proc. 8th IEEE Int. Conf. Adv. Video Signal Based Surveillance, Sep. 2011: 386-391.

[9] UEDA N, NAKANO R, GHAHRAMANI Z, et al. Split and merge EM algorithm for improving Gaussian mixture density estimates[J]. VLSI Signal Process, 2000,26(1-2): 133-140.

[10] BOUMANS T. Advanced statistical background modeling for foreground detection[J]. RPCS. J., 2011(4): 147-176.

[11] DAVID M W. Evaluation: from precsion, recall and F-measure to ROC[J]. Informedness, markedness & Correlation, MLT. J., 2011(2): 37-63.

[12] 申勤.基于模糊C均值聚類(lèi)的遙感圖像分割方法[J].微型機(jī)與應(yīng)用,2011,30(1)：30-31.

An improved video background separation based on codebook and Gaussian mixture model

Zhan Min, Zou Xiaobo

(College of Technology,Huaqiao University, Quanzhou 362021, China)

This paper proposes a video background separation method based on improved Codebook (CB) and Gauss mixture model (GMM).This method is based on the adaptive Gauss mixture model background, and constructs a hybrid Gauss background model for each pixel color, which can dynamically control the Gauss distribution number of each pixel in the video frame, and through CB (Codebook) algorithm to obtain each pixel of the time series model, and study on the parameters of Gauss distribution.The experimental results show that the proposed method in accuracy and time background separation have shown excellent performance, also has good applicability, changes of a complex environment, can effectively separate the foreground and background from a video.

Codebook(CB); Gauss Mixture Model(GMM); background separation; video frame; gauss distribution

TP391

A

10.19358/j.issn.1674- 7720.2017.19.014

詹敏，鄒小波.一種改進(jìn)的基于碼本和高斯混合模型的視頻背景分離[J].微型機(jī)與應(yīng)用，2017,36(19)：48-51.

華僑大學(xué)研究生科研創(chuàng)新能力培育計(jì)劃項(xiàng)目(1511422006)

2017-03-14)

詹敏(1993-),女,碩士,主要研究方向：圖像處理與模式識(shí)別、行人再識(shí)別。鄒小波(1993-)，男，碩士，主要研究方向：大數(shù)據(jù)技術(shù)、數(shù)據(jù)挖掘。