基于多特征融合運行期均值法的煙霧檢測算法

劉　穎，顧小東，杜久玲，王　倩

(西安郵電大學(xué)　圖像與信息處理研究所，陜西　西安　710061)

?

基于多特征融合運行期均值法的煙霧檢測算法

劉穎，顧小東，杜久玲，王倩

(西安郵電大學(xué)圖像與信息處理研究所，陜西西安710061)

煙霧檢測能夠有效預(yù)防火災(zāi)的發(fā)生，以此為出發(fā)點，解決了煙霧運動區(qū)域出現(xiàn)的“空洞”現(xiàn)象，從而實現(xiàn)了快速、準(zhǔn)確地檢測視頻中煙霧的區(qū)域。利用煙霧的非剛體特點，融合顏色、背景模糊以及運動方向的特征對背景更新過程進(jìn)行建模，然后結(jié)合連通域面積消除小干擾區(qū)域的影響，提高了基于單一特征的運行期均值法的魯棒性。實驗結(jié)果表明，改進(jìn)的方法能夠準(zhǔn)確、完整地檢測出視頻中的煙霧區(qū)域，并且處理速度也有所提高。

煙霧區(qū)域檢測；運行期均值；多特征融合

視頻監(jiān)控對于個人和公共安全是一種十分有效的手段，通過處理攝像機(jī)獲取的視頻數(shù)據(jù)，使相關(guān)人員實時監(jiān)控一些重要的區(qū)域場所。目前，基于視頻的火災(zāi)檢測技術(shù)已成為國內(nèi)外計算機(jī)視覺領(lǐng)域中一個很有意義的課題。它是通過對視頻及圖像進(jìn)行處理，利用煙霧的特征，來檢測有無煙霧，從而在早期及時發(fā)現(xiàn)火情，避免災(zāi)難的發(fā)生。視頻中煙霧[1]是時刻運動的，因此將視頻中所有運動區(qū)域提取出來是視頻煙霧檢測的首要任務(wù)。視頻中運動目標(biāo)的提取過程，是進(jìn)行后續(xù)煙霧檢測的基礎(chǔ)，提取結(jié)果的優(yōu)劣直接影響后續(xù)處理的準(zhǔn)確程度。

運動區(qū)域檢測是在視頻中提取出感興趣的運動物體(如：煙霧、行人、車輛等)，一般是基于檢測圖像像素的變化，學(xué)者們對此進(jìn)行了很多研究工作，光流法[2-3]、幀間差分法[4-5]、背景減除法[5]是目前最成熟、應(yīng)用最廣泛的算法。光流法(Optical Flow)的基本原理是計算圖像中每個像素的速度矢量。由于背景像素和前景像素在速度矢量上存在一定差別，所以能夠?qū)D像中的運動區(qū)域部分檢測出來。光流法的優(yōu)點是不受錄像設(shè)備靜止與否的影響，但光流法的運算復(fù)雜度以及噪聲對其的影響一般都比較大，很難在實時性要求高的場所中應(yīng)用。幀間差分法(Frames Difference)是將視頻中相鄰兩幀或多幀的灰度圖像做減法，再通過設(shè)定適當(dāng)閾值來檢測其中運動的區(qū)域。幀間差分算法的優(yōu)點在于算法復(fù)雜度較小，實現(xiàn)較容易，能夠快速提取圖像中的運動區(qū)域[6]。但該算法也存在缺點，像煙霧這樣的運動區(qū)域，其內(nèi)部灰度值比較接近，相鄰兩幀變化不大，在目標(biāo)區(qū)域內(nèi)部會產(chǎn)生空洞，難以提取出完整的區(qū)域。并且此方法對所選擇的幀間間隔也比較依賴，對檢測結(jié)果產(chǎn)生一定影響。背景減除法是通過建立模型來近似地表達(dá)背景的像素值，將當(dāng)前圖像和不斷實時更新的背景圖像進(jìn)行相減，與背景區(qū)域差別較大的區(qū)域判斷是前景區(qū)域，否則判斷是背景區(qū)域。在背景減除法中基于背景均值的差分算法比較常見，它是通過構(gòu)建一段時間內(nèi)幾幀圖像的均值作為減除的背景。此方法能比較準(zhǔn)確地定位運動物體的位置和較完整的運動區(qū)域，較少出現(xiàn)空洞，并且算法同樣有較低的復(fù)雜度。在實際的場景中，通常情況下都會出現(xiàn)環(huán)境的變化，如果在固定時間段內(nèi)計算得到的背景均值不能適應(yīng)環(huán)境變化的影響，會將這種干擾誤當(dāng)作運動區(qū)域。因此，需要一種能夠?qū)崟r更新的背景模型去緩解環(huán)境變化的影響。

運行期均值法是一種比較經(jīng)典的背景差分方法，通過設(shè)定更新率α來實現(xiàn)背景圖像隨著輸入圖像的變化的更新情況。無論α調(diào)整到何值，它所更新的區(qū)域始終是背景區(qū)域。當(dāng)目標(biāo)由靜止?fàn)顟B(tài)變?yōu)檫\動狀態(tài)或由運動狀態(tài)轉(zhuǎn)為靜止?fàn)顟B(tài)后，便會出現(xiàn)虛假運動區(qū)域。本文提出了檢測效果和實時性都較好的背景差分法—改進(jìn)的運行期均值法。該算法通過3個更新系數(shù)分別更新背景、非煙霧運動區(qū)域和煙霧區(qū)域，從而得到不錯的檢測效果。

1　背景差分法

背景差分法(Background Difference)首先需要建立一個背景模型，此模型可以是固定不變的，也可以根據(jù)情況實時更新，通過輸入圖像與背景圖像的差來提取運動區(qū)域。應(yīng)用背景差分法提取運動區(qū)域時，能得到目標(biāo)較完整的形狀，但其減除的背景易受到外界環(huán)境因素(如光照等)的影響。因此就要對背景圖像采取自適應(yīng)更新，從而降低環(huán)境變化對背景像素的干擾作用，建立適應(yīng)性更強(qiáng)的背景模型也是該算法取得良好檢測效果的關(guān)鍵。

在多數(shù)情況下，用于監(jiān)控的攝像頭是固定于一個地方，位置不發(fā)生變化。因此，背景減除法就是一個較為理想的運動區(qū)域提取方法。其基本思想是通過建立模型來近似地表達(dá)背景的像素值，用將當(dāng)前圖片和不斷實時更新的背景圖片進(jìn)行相減，和背景區(qū)域差別較大的區(qū)域判斷是前景區(qū)域，否則判斷是背景區(qū)域。背景減除法的原理框圖如圖1所示。

圖1　背景減除法原理框圖

在背景減除法中基于背景均值的差分算法比較常見，它是通過構(gòu)建一段時間內(nèi)幾幀圖像的均值作為減除的背景。背景均值差分算法提取運動目標(biāo)的過程如下：首先設(shè)置一定的幀區(qū)間，計算在此區(qū)間內(nèi)所有圖像對應(yīng)位置處的像素平均值，將此均值作為背景模型中對應(yīng)位置的像素值。然后將視頻中需要檢測圖像和背景圖像對應(yīng)位置處的灰度值相減，得到差分圖像。最后通過設(shè)定閾值，提取出靜態(tài)區(qū)域和運動區(qū)域。背景減除法可表示為

(1)

(2)

式中：Tn為第n幀的二值化閾值。如圖2所示，視頻中存在車輛、行人、煙霧的運動區(qū)域提取結(jié)果。最前面圖像為被檢測圖像，中間的是背景圖像，右邊為運動檢測的結(jié)果。

圖2　背景減除法檢測圖

圖2所示，應(yīng)用背景均值差分法提取運動目標(biāo)時，可以比較準(zhǔn)確地定位運動物體的位置和較完整的運動區(qū)域，較少出現(xiàn)空洞。并且算法同樣有較低的復(fù)雜度，能夠滿足煙霧檢測對實時性的要求。但是，在實際場景中，環(huán)境通常都會發(fā)生變化，所以在固定時間段內(nèi)計算得到的背景均值就不能適應(yīng)環(huán)境變化的影響，而會將這種干擾誤當(dāng)作運動區(qū)域。因此，需要一種能夠?qū)崟r更新的背景模型去緩解環(huán)境變化的影響。為此，不少學(xué)者提出了基于混合高斯模型的背景建模[7]、基于卡爾曼濾波的背景建模[8]、基于運行期均值法的背景建模等，使其更能適應(yīng)復(fù)雜場景的技術(shù)需求。

在火災(zāi)的實時監(jiān)控中，對算法的運算速度、消耗時間提出很高的要求。在煙霧發(fā)生時，只有在較短的時間內(nèi)完成檢測，才能及時發(fā)出警報，預(yù)防火災(zāi)的發(fā)生。光流法的計算量大就制約了其在視頻煙霧檢測[9]中的使用。而利用幀間差分法檢測時，由于煙霧緩慢擴(kuò)散的現(xiàn)象，又會出現(xiàn)大面積的空洞，造成目標(biāo)區(qū)域不完整。在背景減除法中，算法實時性較好并且煙霧顏色與多數(shù)背景有明顯差別。針對以上分析，本文選擇了一種對運行期均值法改進(jìn)的方法，具體內(nèi)容將在下節(jié)中詳細(xì)闡述。

2　運行期均值法及本文改進(jìn)

對于視頻煙霧檢測，需要分析辨別視頻序列中疑似煙霧的區(qū)域，而煙霧不是靜止不變的，而是在發(fā)生著緩慢不規(guī)則運動，所以需要通過運動目標(biāo)檢測提取出視頻中疑似煙霧的運動區(qū)域。然后可以在此基礎(chǔ)上進(jìn)一步對各個運動區(qū)域進(jìn)行特征提取，排除非煙霧區(qū)域，達(dá)到正確檢測煙霧的目的。

為了得到比較完整的煙霧檢測結(jié)果，運動區(qū)域的提取需要盡量滿足以下準(zhǔn)則：1)完整性：提取出煙霧疑似區(qū)域應(yīng)盡可能完整。根據(jù)煙霧的運動特性，分割盡量完整的運動區(qū)域。忽略煙霧過于淡薄的地方，以免對后續(xù)的煙霧判別造成影響。2)準(zhǔn)確性：對于整體圖像而言，分割出的疑似煙霧區(qū)域應(yīng)剔除孤立的噪聲點以及相對較小的干擾區(qū)域。3)實時性：算法的計算量應(yīng)適中，處理時間短，滿足煙霧檢測對實時性要求。

2.1運行期均值法闡述

運行期均值法是一種比較經(jīng)典的背景減除方法，它通過設(shè)定更新率α來實現(xiàn)背景圖像隨著輸入圖像的變化的更新情況。因此，背景是在不斷更新的，可以提高背景圖像對外界環(huán)境的適應(yīng)能力。運行期均值法的更新過程可表示為

(3)

式中：更新率α滿足0<α<1。背景更新的快慢與α緊密聯(lián)系，α越小，背景更新得越慢，反之則更新得較迅速。利用式(3)建立背景模型，然后進(jìn)行背景減除并二值化，即可得到前景圖像。如圖3所示，視頻中存在行人、煙霧的運動區(qū)域提取結(jié)果。最前面圖像為被檢測圖像，中間的是背景圖像，兩邊為運動檢測的結(jié)果。

圖3　運動區(qū)域提取結(jié)果

在運用運行期均值法進(jìn)行煙霧疑似區(qū)[10]域提取的過程中，閾值的選取成為能否完整準(zhǔn)確地提取出煙霧疑似區(qū)域的一個關(guān)鍵因素。如果閾值界設(shè)定較大，則就會把過多的煙霧疑似區(qū)域判定為背景，若閾值設(shè)定過小，則會把過多的背景判定為煙霧疑似區(qū)域。并且，無論α調(diào)整到何值，它所更新的區(qū)域始終是背景區(qū)域。當(dāng)目標(biāo)由靜止?fàn)顟B(tài)變?yōu)檫\動狀態(tài)或由運動狀態(tài)轉(zhuǎn)為靜止?fàn)顟B(tài)后，便會出現(xiàn)虛假運動區(qū)域。例如，當(dāng)一個目標(biāo)一段時間處于靜止?fàn)顟B(tài)，那么該目標(biāo)就會被更新到背景當(dāng)中，若它由靜止轉(zhuǎn)為運動，在原來靜止的區(qū)域內(nèi)仍然能夠檢測出該目標(biāo)，需要經(jīng)過一段時間后才會從背景中消失。

2.2本文改進(jìn)算法

對于運行期均值法，一般情況作如下改進(jìn)：采用兩個更新系數(shù)α和β，對背景像素和前景像素進(jìn)行分別更新。

(4)

(5)

式中：Tn為分割閾值；Bn(i，j)代表背景點；Dn(i，j)代表前景點。

為了改善運行期均值法的運動目標(biāo)提取效果，降低算法的時間復(fù)雜度，本文進(jìn)一步對視頻圖像進(jìn)行分塊處理[11]，采用一種基于分塊的運行期均值法提取視頻圖像中的運動目標(biāo)。如圖4所示，提取運動區(qū)域前，對圖像進(jìn)行分塊。

圖4　圖像分塊示意圖

在提取運動區(qū)域前，首先將圖像分割成大小相等的分塊，每塊大小為N×N(N的取值取決于視頻的分辨率)。以塊為單位對視頻圖像進(jìn)行處理，既能夠提高檢測效率，還可以有效減少細(xì)小噪聲的干擾。設(shè)Blkn為分割后的視頻圖像，則其可以表示為

本文中，所更新的背景由上一次獲得的背景圖像及當(dāng)前被檢測圖像共同決定。因此，需要在背景更新之前先對背景進(jìn)行初始化。文中的背景初始化為被檢測視頻的第11～15幀圖像的灰度的平均值，忽略視頻前10幀。這是由于在利用攝像頭進(jìn)行視頻采集過程中，錄像的開始階段可能會產(chǎn)生不穩(wěn)定因素，造成背景圖像失真。同時又不至于遺漏過多的視頻幀，造成部分煙霧圖像漏檢。由于初始化的背景是視頻連續(xù)幾幀的平均值，可能并不能真實反映背景情況，但在以后的背景更新中背景和前景的準(zhǔn)確度會得到改善。在運動區(qū)域提取當(dāng)中，對于煙霧檢測來說，由于其緩慢擴(kuò)散的特性，如果煙霧區(qū)域過多地更新到了背景當(dāng)中，造成當(dāng)前圖像和背景圖像在煙霧區(qū)域?qū)Ρ榷冉档?，從而影響煙霧區(qū)域的提取。因此本文中作如下改進(jìn)：對于已經(jīng)檢測到為煙霧的分塊，在背景更新中賦予較小的更新率或者不更新。具體方法如下：

1)本文的背景更新在煙霧檢測完成后進(jìn)行，即假設(shè)煙霧檢測完成后，如

(7)

式(7)中出現(xiàn)的3種特征為顏色特征、背景模糊特征和運動方向特征。本文中的背景圖像是在對當(dāng)前圖像做完檢測以后才做更新。

Dn+1=In+1-Bn+1

(8)

(9)

2)本文對運動區(qū)域判別中的閾值Tn做了自適應(yīng)跟蹤。根據(jù)當(dāng)前圖像灰度的平均值去更新閾值。設(shè)第n幀圖像的灰度平均值是Gn，若Gn比較大，那么說明在該幀圖像中出現(xiàn)煙霧的可能性比較大。分割閾值Tn就設(shè)定得稍大些，定為Tn=Gn/3。這樣能夠?qū)熿F區(qū)域保留，并且盡可能剔除干擾區(qū)域。如果當(dāng)前幀的平均灰度值比較小，那么就以較小的固定值作為分割閾值。這樣如果視頻中存在較小的運動區(qū)域，也能夠在分割后得到保留，不至于將煙霧區(qū)域當(dāng)作噪聲剔除。如圖5所示，為改進(jìn)的運行期均值法提取運動區(qū)域的檢測結(jié)果。

圖5　改進(jìn)的運行期檢測圖

本文算法采取對滿足煙霧顏色、背景模糊和運動方向3種特征的區(qū)域不進(jìn)行更新，所以滿足上述特征的區(qū)域還是原來的背景，這樣在進(jìn)行背景減除時，煙霧區(qū)域會獲得很好的檢測效果，如圖5所示將運動目標(biāo)(人、煙霧)完整準(zhǔn)確地提取出來。

3　連通區(qū)域剔除

對于煙霧檢測中，用來表示區(qū)域運動或靜止的二值圖，需要用像素間的連通性確定劃分成的區(qū)域。通過計算所劃分區(qū)域的大小排除一些干擾塊，進(jìn)一步排除非煙霧區(qū)域。所謂的四連通區(qū)域，是指原始位置的上、下、左、右是目標(biāo)區(qū)域緊鄰的位置，統(tǒng)計時將這4個方向的分塊當(dāng)作一個區(qū)域。八連通區(qū)域，指對在四連通域的基礎(chǔ)上還包括左上、右上、左下、右下四個斜向相鄰位置，共8個方向。四連通域為八連通域的子集，也就是若某區(qū)域為四連通域則肯定是八連通的。連通域標(biāo)記如圖6所示。

圖6　連通區(qū)域標(biāo)記

圖6中每個方框代表圖像中分塊。對于四連通域，將圖6a中3個顏色不相同的分塊處理成不同的區(qū)域；而圖6b中，八連通域指，將3個不同顏色的分塊按一個區(qū)域處理。

四連通和八連通區(qū)域定義為

N4(p)=(i,j)∪(i,j+1)∪(i,j-1)∪(i+1,j)∪(i-

1,j)

(10)

N8(p)=N4∪(i+1,j+1),(i+1,j-1),(i-1,j+

1),(i-1,j-1)

(11)

本文中采用八連通區(qū)域?qū)Ψ謮K進(jìn)行處理，將區(qū)域內(nèi)分塊數(shù)小于或等于3個運動分塊的區(qū)域剔除，從而降低噪聲對煙霧檢測的影響。

4　實驗結(jié)果及分析

圖7與圖8分別為運行期均值法以及改進(jìn)的運行期均值法檢測的運動區(qū)域。

圖8　改進(jìn)的運行期均值法檢測的運動區(qū)域

運行期均值法(圖7)進(jìn)行煙霧疑似區(qū)域提取的過程中，把煙霧過多地判定為背景，使得煙霧檢測的效果很不好。圖8中則大大改善運行期均值法提取運動目標(biāo)的效果，將運動區(qū)域完整準(zhǔn)確地檢測出來。閾值的選取成為能否完整準(zhǔn)確地提取出煙霧疑似區(qū)域的關(guān)鍵因素。如果閾值界設(shè)定較大，則就會把過多的煙霧疑似區(qū)域判定為背景，若閾值設(shè)定過小，則會把過多的背景判定為煙霧疑似區(qū)域。

5　小結(jié)

本文介紹了基于運行期均值的背景差分法，并對此作出改進(jìn)，應(yīng)用3個參數(shù)去更新背景，同時結(jié)合連通域面積消除小干擾區(qū)域的影響。算法通過把圖像適當(dāng)分塊，降低后續(xù)煙霧特征提取中的復(fù)雜度。然后應(yīng)用本文提出的方法進(jìn)行背景更新、閾值分割，并應(yīng)用形態(tài)學(xué)方法處理降低噪聲影響。最后，講述了連通區(qū)域分割，通過利用八連通域進(jìn)行區(qū)域分割，將分塊個數(shù)小于某個閾值的區(qū)域剔除。實驗結(jié)果表明，該方法得到的疑似煙霧區(qū)域檢測效果較好，為后續(xù)進(jìn)行煙霧檢測以及特征分析處理做好準(zhǔn)備。

[1]羅勝，YUZHENG J.視頻檢測煙霧的研究現(xiàn)狀[J].中國圖象圖形學(xué)報，2013，18(10)：1225-1236.

[2]BARRON J L. On optical flow[C]// Proc. AIICSR. Bratislava，Slovakia：IEEE，1994：3-14.

[3]YA-DONG Y. Theory and application of optical flow method in the moving target identification[J]. Electronic design engineering，2013,21(5):24-26.

[4]LIPTON A， FUJIYOSHI H， PATIL R. Moving target classification and tracking from real-time video[C]//Proc. IEEE Workshop in Applications of Computer Vision. Princeton， New Jersey： IEEE Computer Society，1988：8-14.

[5]鄭璐，陳俊周.基于運動和顏色的視頻煙霧檢測算法[J]. 計算機(jī)工程與設(shè)計，2010， 31(21)：4650-4652.

[6]SONGLIN W， HAODONG L， TAIFANG W， et al. Moving target detection algorithm research based on background subtraction method[C]//Proc. 3rd International Conference on Multimedia Technology(ICMT-13).[S.l.]：IEEE，2013：1179-1186.

[7]STAUFFER C，GRIMSON W.E.L. Adaptive background mixture models for real-time tracking[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Florence，Italy：Springer，1999：246-252.

[8]CHRISTOF R，MUNKELT O，KIRCHNER H. Adaptive background estimation and foreground detection using Kalman-filtering[C]//Proc. the International Conference on recent Advances in Mechatronics， Istanbul， Turkey：UNESCO Chair on Mechatronics，1995：193-199.

[9]何大超，婁小平，唐輝. 基于動態(tài)特性的實時視頻煙霧檢測[J]. 計算機(jī)應(yīng)用與軟件， 2014 (2)：201-204.

[10]章巧娟. 基于圖像處理的室內(nèi)視頻火災(zāi)煙霧識別方法[D]. 武漢：華中科技大學(xué)， 2011.

[11]李文輝，肖林廠，王瑩，等. 一種基于塊的視頻煙霧檢測算法[J]. 吉林大學(xué)學(xué)報(理學(xué)版)， 2012(50)：979-986.

劉穎(1972— )，女，高級工程師，博士，主要研究方向為圖像與視頻檢索；

顧小東(1988— )，碩士，主研視頻圖像處理；

杜久玲(1989— )，女，碩士生，主研基于局部特征的刑偵圖像檢索；

王倩(1983— )，女，講師，博士，主要研究方向為圖像與視頻的智能分析。

責(zé)任編輯：閆雯雯

Fire smoke detection method based on multi-feature running average method

LIU Ying ，GU Xiaodong， DU Jiuling，WANG Qian

(CenterforImageandInformationProcessing，Xi’anUniversityofPostsandTelecommunications，Xi’an710061，China)

For detecting smoke which is sign of fire， the “hole” phenomenon which is in the task of smoke detection is resolved in this paper. Considering the non-rigid nature of smoke， the color， blurred background and motion direction are all included to model the process of renewing background. And then the small noise regions are eliminated based on connected area. The improved run-average method is more robust than the one based on single feature. The experimental results show that the proposed method can accurately and efficiently detect the smoke area in video.

smoke region detection； running average； multi-feature fusion

TN911.73

A

10.16280/j.videoe.2016.09.019

國家自然科學(xué)基金青年項目(61202183；41504115)；陜西省百人計劃項目；公安部科技強(qiáng)警基礎(chǔ)工作專項項目(2015GABJC50)；陜西省自然科學(xué)基礎(chǔ)研究計劃項目(2015JQ6223)

2015-11-28

文獻(xiàn)引用格式：劉穎，顧小東，杜久玲，等. 基于多特征融合運行期均值法的煙霧檢測算法[J].電視技術(shù)，2016，40(9)：95-99.

LIU Y，GU X D， DU J L，et al. Fire smoke detection method based on multi-feature running average method[J]. Video engineering，2016，40(9)：95-99.