一種結(jié)合GrabCut 與五幀差分法的ViBe 算法

熊玖朋，李旭健，潘紀(jì)成

（山東科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，山東青島 266590）

0 引言

運(yùn)動(dòng)目標(biāo)檢測(cè)（Motion Detection）是指將圖像序列或視頻中空間位置發(fā)生變化的物體作為前景提取出來(lái)并標(biāo)示的過(guò)程。視頻序列中的運(yùn)動(dòng)目標(biāo)（前景對(duì)象）檢測(cè)是許多計(jì)算機(jī)視覺(jué)應(yīng)用中信息提取的主要步驟之一，包括交通監(jiān)控、自動(dòng)遠(yuǎn)程視頻監(jiān)控和人員跟蹤等。其被用于自動(dòng)視頻監(jiān)控系統(tǒng)和交通監(jiān)控系統(tǒng)，在這些系統(tǒng)中，對(duì)人或車輛的準(zhǔn)確分割對(duì)于執(zhí)行可靠的跟蹤或識(shí)別任務(wù)至關(guān)重要［1］。運(yùn)動(dòng)目標(biāo)檢測(cè)在交通監(jiān)控、軍事等領(lǐng)域有著重要應(yīng)用，也是目前計(jì)算機(jī)視覺(jué)和數(shù)字圖像處理研究的難點(diǎn)和熱點(diǎn)之一。

運(yùn)動(dòng)目標(biāo)檢測(cè)有以下基本方法：光流法（optical flow）、幀間差分法（inter frame difference method）和背景減法（background subtraction）［2］。光流法即利用圖像序列中各像素在時(shí)間域上的變化，并根據(jù)上一幀與當(dāng)前幀之間的相關(guān)性計(jì)算出物體運(yùn)動(dòng)信息的一種方法［3］。常用的光流法有：基于梯度的方法、基于匹配的方法、基于能量的方法、基于相位的方法和神經(jīng)動(dòng)力學(xué)方法等。光流法計(jì)算結(jié)果精確，但是計(jì)算量非常大，導(dǎo)致實(shí)時(shí)性差、實(shí)用性不強(qiáng)［4］。幀間差分法即對(duì)連續(xù)的多個(gè)幀進(jìn)行差分運(yùn)算，根據(jù)像素點(diǎn)灰度值差的絕對(duì)值與預(yù)設(shè)閾值的比較結(jié)果進(jìn)行判斷。若絕對(duì)值超過(guò)閾值，則判斷該像素屬于前景，否則判斷其屬于背景。幀間差分法原理簡(jiǎn)單，可快速檢測(cè)場(chǎng)景中的運(yùn)動(dòng)目標(biāo)，同時(shí)對(duì)光照變化具有一定魯棒性，但存在容易出現(xiàn)空洞和重影等缺點(diǎn)。背景減法是目前使用最廣泛的檢測(cè)方法之一［5］，其是一種對(duì)靜止場(chǎng)景進(jìn)行運(yùn)動(dòng)分割的通用方法，可將當(dāng)前獲取的圖像幀與背景圖像作差分運(yùn)算，得到目標(biāo)運(yùn)動(dòng)區(qū)域的灰度圖，之后對(duì)灰度圖進(jìn)行閾值化處理提取運(yùn)動(dòng)區(qū)域，且為了避免環(huán)境光照變化的影響，背景圖像根據(jù)當(dāng)前獲取的圖像幀進(jìn)行更新。背景差分法算法簡(jiǎn)單，在一定程度上可避免光照變化的影響，但其不能用于運(yùn)動(dòng)的攝像頭，且對(duì)背景圖像實(shí)時(shí)更新困難。為彌補(bǔ)以上所述背景減法的缺點(diǎn)，2009 年，Barnich 等［5］提出一種新的目標(biāo)檢測(cè)方法——ViBe 算法。與GMM 和Codebook 算法相比，ViBe 算法初始化及時(shí)，響應(yīng)速度快，有較強(qiáng)的實(shí)時(shí)性以及較好的抗噪性能，同時(shí)其在解決動(dòng)態(tài)背景和模型初始化問(wèn)題方面具有良好性能，算法具有的自適應(yīng)更新機(jī)制可保證像素模型的生命周期以平滑的指數(shù)衰減形式存在，并且可在單個(gè)模型、可變速度和可接受的條件下處理每個(gè)像素的內(nèi)存消耗。但是ViBe 也存在一些問(wèn)題，如檢測(cè)的物體不完整、對(duì)光照突變非常敏感、對(duì)閃爍背景點(diǎn)處理效果不好等，因此容易造成大量誤檢［6］。

針對(duì)以上提到的ViBe 算法的不足，本文提出一種結(jié)合GrabCut 算法與五幀差分法的ViBe 算法，該算法減少了劇烈光照及顏色因素對(duì)ViBe 算法的影響，同時(shí)提高了ViBe算法對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)的完整性。

1 ViBe 算法

ViBe 算法是一種像素級(jí)別的視頻前景提取算法。與大多數(shù)背景建模方式不同，ViBe 算法不需要等待幾個(gè)幀進(jìn)行初始化，而是僅通過(guò)第一幀進(jìn)行初始化［7］。其基本思想是：為檢測(cè)的每一幀圖像中的每個(gè)像素建立一個(gè)樣本集，該樣本集通過(guò)計(jì)算當(dāng)前識(shí)別像素的樣本集與背景樣本集的交集來(lái)確定。該算法主要分為3 步：像素點(diǎn)建模、單幀初始化與模型更新［8］。

（1）像素點(diǎn)建模。假設(shè)每一個(gè)像素與其鄰域像素的像素值在空域上有相似的分布，在該假設(shè)成立的條件下，圖像中每一個(gè)像素模型都可用其鄰域中的像素來(lái)表示。鄰域范圍要足夠大，以此保證背景模型符合統(tǒng)計(jì)學(xué)規(guī)律。當(dāng)輸入第一幀圖像時(shí)，像素背景模型如下：

其中，NG（x，y）表示空域上相鄰的像素值，f0（x，y）表示當(dāng)前點(diǎn)的像素值，(xi,yi)表示像素點(diǎn)（x，y）被初始化的次數(shù)。

（2）單幀初始化。當(dāng)t=k 時(shí)，像素點(diǎn)（x，y）的背景模型為像素值為fk（x，y）。按照以下方式判斷該像素值是否為前景：

其中，r 為隨機(jī)數(shù)，T 為預(yù)設(shè)的閾值。當(dāng)f（kx，y）滿足公式（2）時(shí)，則認(rèn)為該像素點(diǎn)為背景。

（3）模型更新。Vibe 算法更新有兩種方式：時(shí)間上的隨機(jī)更新和空間上的隨機(jī)更新［9］。

時(shí)間上的隨機(jī)更新：在已建立的背景模型中隨機(jī)抽取一個(gè)背景模型，設(shè)為PG，如圖1 所示。P（x）表示圖像PG在x位置的像素點(diǎn)，周圍8 個(gè)像素點(diǎn)為其八鄰域。當(dāng)獲得一幀新圖像Pt時(shí)，若在新圖像x 位置的像素Pt(x)被判斷為背景像素，則PG需要被更新。

空間上的隨機(jī)更新：在圖像PG中選取一個(gè)像素點(diǎn)PG（x），用該像素點(diǎn)八鄰域中的隨機(jī)一個(gè)像素替換掉PG（x）。

Fig.1 Eight neighborhood of pixel P（x）圖1 像素P（x）的八鄰域

2 GrabCut 算法

近年來(lái)，研究者們對(duì)圖像分割進(jìn)行了大量研究，提出一些圖像分割算法。其中，GraphCut 算法受到了很多研究者關(guān)注［10-11］。GrabCut 算法是一種可有效從復(fù)雜背景中提取目標(biāo)前景的交互式圖像分割算法，也是一種迭代的GraphCut 算法。GrabCut 算法僅需要使用圖像中的紋理信息和邊界信息，以及通過(guò)少量的用戶交互操作，即可有效從復(fù)雜背景中分割出前景目標(biāo)。GrabCut 算法采用“不完全標(biāo)記”，在給定的結(jié)果下，用戶所需的交互操作大大簡(jiǎn)化，這意味著用戶可簡(jiǎn)單地在對(duì)象周圍放置一個(gè)矩形來(lái)提取對(duì)象。

GrabCut 算法是在GraphCut 算法基礎(chǔ)上迭代而來(lái)的，相比GraphCut 算法，GrabCut 算法主要在3 個(gè)方面進(jìn)行了改進(jìn)：①GraphCut 的目標(biāo)和背景模型是灰度直方圖，GrabCut則使用RGB 三通道的彩色圖像模型；②GraphCut 的分割是一次性完成的，而GrabCut 在GMM 參數(shù)學(xué)習(xí)估計(jì)過(guò)程中運(yùn)用了可進(jìn)化的迭代算法；③GrabCut 算法允許不完全標(biāo)注。

因?yàn)镚rabCut 算法采用彩色模型，所以需要一個(gè)額外的向量k=｛k1，k2,…,kn｝，其中k 指第k 個(gè)高斯分量，n 指第n個(gè)像素。整個(gè)圖像的Gibbs 能量表示為：

式中，E 為Gibbs 能量，U 為數(shù)據(jù)項(xiàng)，具體定義為：

其中，式（4）中D 表示區(qū)域項(xiàng)，具體公式為：

式（3）中V 為平滑項(xiàng)，由歐式距離求得：

式（3）中θ 指圖像的灰度直方圖，可表示為：θ=｛h（z，α），α=（0，1）｝；z 則是圖像灰度值具體數(shù)值。

GrabCut 算法通過(guò)多次迭代求得，若想得到最優(yōu)的分割圖像，則要求算法在每一次迭代時(shí)的GMM 參數(shù)越來(lái)越精確。詳細(xì)步驟如下［12］：

（1）用戶需要框選出存在“可能目標(biāo)”的區(qū)域TU，區(qū)域TU中的像素初始化記為αn=1。

（2）未被選擇的部分即為背景區(qū)域TB，而區(qū)域TB中的像素初始化記為αn=0。

（3）通過(guò)K-means 算法初始化背景和前景中每一個(gè)像素的高斯混合模型分量。

（4）對(duì)每一個(gè)像素分配GMM 中的高斯分量：kn=

（6）分析Gibbs 能量項(xiàng)，建立一個(gè)圖，通過(guò)最大流最小切割定理算法進(jìn)行分割：

重復(fù)步驟（3）—步驟（5），直到收斂。

3 五幀差分法

幀間差分法在研究過(guò)程中不斷發(fā)展，之前常用的二幀差分法及三幀差分法［13］計(jì)算簡(jiǎn)單、容易實(shí)現(xiàn)，但是效果不太理想［14］，而在三幀差分法基礎(chǔ)上改進(jìn)的五幀差分法具有更好的效果，能夠在一定程度上減少重影和鬼影的出現(xiàn)。

五幀差分法基本思想為：首先選取連續(xù)五幀已初始化的圖像：fi-2（x，y）、fi-1（x，y）、fi（x，y）、fi+1（x，y）與fi+2（x，y）。對(duì)這五幀圖像進(jìn)行高斯濾波后，再進(jìn)行中值濾波處理，得到Ii-2（x，y）、Ii-1（x，y）、Ii（x，y）、Ii+1（x，y）與Ii+2（x，y）。將處理后的中間幀圖像Ii（x，y）與其他四幀圖像進(jìn)行差分運(yùn)算［15］，可得：

因?yàn)椤芭c”運(yùn)算在一定程度上能夠抑制重影的產(chǎn)生，所以由式（8）-式（11）得出的結(jié)果D13（x，y）、D23（x，y）、D34（x，y）和D35（x，y），將D13（x，y）和D35(x,y)、D23（x，y）和D34（x，y）分別進(jìn)行“與”運(yùn)算，得到D1、D2［16］。其中：

之后對(duì)D1、D2進(jìn)行降噪處理，再分別用動(dòng)態(tài)閾值進(jìn)行二值化處理，最后將處理結(jié)果進(jìn)行“與”運(yùn)算得到D。

相比其他幀間差分法，五幀差分法在保證運(yùn)算速度的同時(shí)，還避免了重影和空洞等問(wèn)題，而D13、D23、D34和D35作為動(dòng)態(tài)數(shù)值，會(huì)隨視頻幀的光照變化而變化，因此五幀差分法得到的結(jié)果受光照變化影響較小。在五幀差分算法中，對(duì)差分結(jié)果進(jìn)行“與”運(yùn)算及“或”運(yùn)算也能確保最后的結(jié)果更加精確和完善。

4 結(jié)合GrabCut 與五幀差分法的ViBe 算法

ViBe 算法無(wú)法很好地適應(yīng)劇烈光照、容易出現(xiàn)鬼影等，五幀差分法能夠在一定程度上克服這些缺點(diǎn)，所以本文將ViBe 算法與五幀差分算法相結(jié)合。首先，將通過(guò)ViBe算法獲得前景和通過(guò)五幀差分法獲得的前景進(jìn)行“與”運(yùn)算，得到前景目標(biāo)分割結(jié)果，將上述操作獲得的分割結(jié)果進(jìn)行高斯濾波處理，從而去除較大的噪聲點(diǎn)，使得到的分割結(jié)果更加準(zhǔn)確。

然后，利用GrabCut 算法提取分割結(jié)果，提取過(guò)程如下：對(duì)利用ViBe 算法與五幀差分法提取出的分割結(jié)果進(jìn)行數(shù)學(xué)形態(tài)學(xué)膨脹處理，擴(kuò)展前景區(qū)域，找到目標(biāo)前景區(qū)域的邊緣輪廓線，從而找到能夠完全包含前景目標(biāo)的最小矩形框，以減少需要計(jì)算的區(qū)域，大幅提高GrabCut 算法運(yùn)算效率［17］。

根據(jù)文獻(xiàn)［17］，GrabCut 算法主要是先迭代學(xué)習(xí)、訓(xùn)練GMM 參數(shù)，然后在確定的GMM 參數(shù)下對(duì)原圖像進(jìn)行目標(biāo)提取，但這種通過(guò)迭代估計(jì)確定GMM 參數(shù)的方式制約了算法效率。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，若能提前確定GMM 參數(shù)，則可減少原GrabCut 算法90%的時(shí)間，所以提前找到包含前景目標(biāo)的最小矩形框，可大大提升原GrabCut 算法效率。此外，原GrabCut 算法是在RGB 顏色空間分割目標(biāo)，這也是制約其效率的原因之一，而本文直接利用GrabCut 算法對(duì)ViBe算法結(jié)合五幀差分法檢測(cè)出的大致區(qū)域進(jìn)行分割，會(huì)再次提升GrabCut 算法效率，使算法能夠滿足視頻處理要求。

ViBe 算法與五幀差分法相結(jié)合獲得的分割結(jié)果一般為較完整的目標(biāo)，但在個(gè)別惡劣條件下，當(dāng)一個(gè)前景目標(biāo)的檢測(cè)實(shí)驗(yàn)結(jié)果為多個(gè)分割結(jié)果的組合時(shí)，可將任意兩個(gè)分割結(jié)果最小矩形框的中心點(diǎn)連線，根據(jù)與中心點(diǎn)垂直方向的夾角大小進(jìn)行判斷。若夾角大小小于所預(yù)設(shè)的閾值，則認(rèn)為這兩部分的分割結(jié)果為同一目標(biāo)，將其劃分在同一矩形框內(nèi)。具體算法流程如圖2 所示。

Fig.2 Improved algorithm flow圖2 改進(jìn)算法流程

5 實(shí)驗(yàn)結(jié)果分析

本文實(shí)驗(yàn)在Windows10 操作環(huán)境與QT 4.11.1+Opencv4.1.2 環(huán)境下，采用2014DATDBASE 中的“Baseline”數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。ViBe 算法各個(gè)參數(shù)設(shè)置如下：相似閾值R=20，匹配數(shù)目閾值min=20，時(shí)間采樣閾值rate=16。

如圖3 所示，圖（a）分別是第137 幀、第425 幀、第777 幀原始圖像，圖（b）為相應(yīng)幀原始圖像ViBe 算法的實(shí)驗(yàn)結(jié)果，圖（c）為本文算法實(shí)驗(yàn)結(jié)果。

Fig.3 Experimental comparison between ViBe algorithm and the algorithm in this paper圖3 ViBe 算法與本文算法實(shí)驗(yàn)對(duì)比

根據(jù)實(shí)驗(yàn)結(jié)果，采用原ViBe 算法進(jìn)行檢測(cè)時(shí)，因汽車影子處運(yùn)動(dòng)速度較快，在檢測(cè)時(shí)會(huì)被判定為運(yùn)動(dòng)目標(biāo)，從而出現(xiàn)鬼影，左側(cè)車輛經(jīng)過(guò)樹(shù)蔭也會(huì)受到光照變化影響出現(xiàn)鬼影，并且由于樹(shù)葉反光等原因，檢測(cè)時(shí)會(huì)出現(xiàn)斑點(diǎn)狀鬼影，而本文算法減少了鬼影的產(chǎn)生。ViBe 算法與五幀差分法相結(jié)合對(duì)于光照等不利因素更具有魯棒性，而本文算法檢測(cè)出的目標(biāo)更完整，減少了殘缺目標(biāo)。與GrabCut 算法的結(jié)合，也能更準(zhǔn)確地提取出檢測(cè)目標(biāo)，進(jìn)一步提高了目標(biāo)提取的完整性與準(zhǔn)確性。因此，本文算法在檢測(cè)精度上較為理想。在檢測(cè)速度上，因?yàn)镚MM 背景差分算法運(yùn)行時(shí)間為ViBe 算法的3 倍左右，本文算法運(yùn)行時(shí)間介于兩者之間，相比原ViBe 算法較慢。然而，本次實(shí)驗(yàn)證明，本文算法可滿足視頻的實(shí)時(shí)處理要求。綜上所述，本文算法仍能實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的完整檢測(cè)。

6 結(jié)語(yǔ)

針對(duì)原ViBe 算法存在的易受光照影響出現(xiàn)鬼影、檢測(cè)前景目標(biāo)不夠精確等問(wèn)題，本文提出一種結(jié)合了五幀差分法與GrabCut 算法的ViBe 算法。首先將五幀差分法與ViBe算法相結(jié)合獲得前景，五幀差分法可增強(qiáng)ViBe 算法對(duì)光照變化的魯棒性，然后對(duì)分割結(jié)果進(jìn)行高斯濾波處理，最后使用GrabCut 算法進(jìn)行提取，以更精確地提取出檢測(cè)目標(biāo)。實(shí)驗(yàn)結(jié)果證明，多種方法相結(jié)合提升了ViBe 算法的精確度，可在一定程度上避免光照變化的影響，但是多種方法的結(jié)合也一定程度上降低了算法效率，這將是接下來(lái)需要研究的一個(gè)重要問(wèn)題。