煤礦智能視頻監(jiān)控中的運動目標檢測研究

張謝華，　趙小虎

(1.江蘇師范大學 智能教育學院， 江蘇 徐州　221116；

2.中國礦業(yè)大學 物聯(lián)網(wǎng)(感知礦山)研究中心， 江蘇 徐州　221008)

?

實驗研究

煤礦智能視頻監(jiān)控中的運動目標檢測研究

張謝華1，趙小虎2

(1.江蘇師范大學 智能教育學院， 江蘇 徐州221116；

2.中國礦業(yè)大學 物聯(lián)網(wǎng)(感知礦山)研究中心， 江蘇 徐州221008)

摘要：針對煤礦智能視頻監(jiān)控環(huán)境存在各種復雜動態(tài)場景變化的情況，研究了運動目標檢測中的3個重要環(huán)節(jié)：背景建模與更新、前景檢測和運動陰影檢測與去除。針對這3個環(huán)節(jié)，提出了相應的處理方法：基于IFCM聚類算法的自適應背景建模與更新方法，對像素灰度取值進行無監(jiān)督聚類，自適應選取不同個數(shù)的聚類構建各像素背景模型，隨場景變化進行聚類修改、添加和刪除以完成背景自動更新；聯(lián)合背景差分信息、三幀差分信息和空間鄰域信息的前景檢測方法，據(jù)此獲得較為準確的前景目標；運動陰影檢測與去除方法，依據(jù)在陰影覆蓋前后的灰度圖像中，像素具有亮度值相關性和紋理特征值不變性，實現(xiàn)了運動陰影的檢測與去除。實驗結果驗證了本文所提方法的有效性和優(yōu)越性。

關鍵詞：煤礦視頻監(jiān)控； 運動目標檢測； 背景建模； 前景檢測； 運動陰影檢測

網(wǎng)絡出版地址：http://www.cnki.net/kcms/detail/32.1627.TP.20160405.1126.008.html

0引言

煤礦智能視頻監(jiān)控作為現(xiàn)代礦井安全生產(chǎn)系統(tǒng)中必不可少的組成部分，對保障煤礦企業(yè)的安全、高效生產(chǎn)具有十分重要的意義[1]。運動目標檢測是視頻監(jiān)控中的關鍵步驟之一，為后續(xù)運動目標分類、跟蹤以及行為分析等提供必要的基礎。目前，各煤礦生產(chǎn)企業(yè)主要配備固定式攝像機進行定點監(jiān)測，拍攝背景屬于相對靜止不變的類型。背景減除法是應用最為廣泛的靜態(tài)背景下的運動目標檢測方法，其中的重要環(huán)節(jié)包括背景建模與更新、前景檢測以及運動陰影檢測與去除。

基于混合高斯模型(Gaussian Mixture Mode, GMM)的背景建模與更新方法為場景中的每個像素建立K個高斯分布來進行背景建模，通過更新高斯分布的各個參數(shù)來完成背景更新。實際上，背景各狀態(tài)均符合高斯分布的假設并不完全成立，算法計算量很大，不太適用于實時性要求較高的系統(tǒng)，而且背景更新的速度較慢，難以及時反映背景的實際變化。參考文獻[2]采用核密度估計(Kernel Density Estimation, KDE)方法進行背景建模，無需假定背景概率模型的具體形式，直接從歷史像素值估算出背景概率密度函數(shù)。但其建模與更新過程都以歷史視頻幀數(shù)據(jù)為基礎，需要消耗大量存儲空間，算法運行速度慢、實時性較差。

在煤礦工作環(huán)境中頻繁出現(xiàn)局部場景變動情況，背景模型難以實現(xiàn)同步更新。僅利用背景差分信息進行前景檢測，會引起大量背景像素和前景像素的誤判，出現(xiàn)較大的檢測誤差。另外，由于自然光照和人工照明的影響，前景檢測結果中包含相應的陰影區(qū)域。參考文獻[3]根據(jù)特定先驗信息建立陰影統(tǒng)計模型，然后以模型為依據(jù)判別像素是否屬于陰影區(qū)域。其局限在于一方面需要提前獲得各種先驗知識，另一方面對形狀復雜的非剛性物體進行陰影建模十分困難。參考文獻[4]通過分析陰影覆蓋前后場景像素的特征屬性變化來進行陰影判斷，但僅利用單一特征屬性難以獲得較高的陰影檢測率。

針對煤礦智能視頻監(jiān)控場景的特點和運動目標檢測的需求，本文提出一種基于IFCM(Improved Fuzzy C-Means)聚類算法的自適應背景建模與更新方法，構建了魯棒的背景模型；提出基于聯(lián)合信息的前景檢測方法，以獲得較高的前景檢測率；設計了多特征融合的陰影檢測方法，確保得到準確的運動目標檢測結果。實驗結果表明，本文方法能夠適應復雜的煤礦智能視頻監(jiān)控環(huán)境，具有較高的運行效率和較好的檢測效果。

1基于IFCM聚類算法的自適應背景建模與更新方法

采用聚類技術進行背景建?；谝粋€合理的事實：復雜場景中每個像素的取值隨時間變化而變化，其中穩(wěn)定連續(xù)取值和動態(tài)跳變取值分別對應像素背景和前景。聚類分析將對數(shù)據(jù)集合進行無指導分類，使得同類數(shù)據(jù)的相似性最大、不同類數(shù)據(jù)的相似性最小。因此，可采用聚類方法對一段時間內的像素值進行分類，統(tǒng)計各類像素值的出現(xiàn)頻率，選出頻率超過閾值的類別，即穩(wěn)定狀態(tài)作為該像素背景。

1.1IFCM聚類算法

從距離測度上考慮，好的聚類結果應當是類內距離盡量緊湊、類間距離盡可能遠，因而聚類有效性指標主要采用類內緊密度和類間分散度來定義。XB(Xie-Beni)指標是目前廣泛使用的一個有效性指標，其具體定義為

(1)

式中:分子部分用樣本隸屬度作為權重系數(shù)，與樣本到聚類中心的距離乘積定義類內緊密度；分母部分用聚類中心之間的距離最小值定義類間分散度。

XB指標取到最小值對應最優(yōu)聚類劃分。盡管XB指標在性能上有不錯表現(xiàn)，但它不能正確處理存在較多孤立數(shù)據(jù)點或類間重疊的情形。本文設計一個新的有效性指標，其定義為

(2)

式中:1/k代表每一樣本屬于各類的隸屬度均值;分子部分引入具體隸屬度與隸屬度均值之間的偏差來充當類內緊密度的權重系數(shù)；分母部分采用樣本到其隸屬度最小的聚類中心的距離最小值來定義類間分散度。

VNew取最小值對應最優(yōu)聚類結果。VNew指標有效結合了樣本分布特征與隸屬度，能夠較好評價存在較多孤立數(shù)據(jù)點或類間重疊的情形。

綜上所述，IFCM聚類算法描述如下：

輸入：像素歷史灰度取值{x1,x2,…,xn}、聚類個數(shù)搜索范圍為[kmin,kmax]。

輸出：最佳聚類個數(shù)kopt、分類矩陣U和聚類中心vi(i=1,2,…,k)。

Step2：當聚類個數(shù)k≤kmax時，根據(jù)已有的k-1個初始聚類中心，對未被當作聚類中心的各剩余樣本xi，計算其到各聚類中心的距離，并得到Ds=max{min(di1,di2,…,di(k-1))}，將第s個樣本當做第k個初始聚類中心vk。當k>kmax時，轉向Step7。

Step3：設置迭代控制參數(shù)ε，令迭代計算器t=1，設初始聚類中心為{v1,v2,…,vk}。

Step4：計算更新模糊分類矩陣U和聚類中心vi(i=1,2,…,k)。

Step5：若‖J(t)-J(t-1)‖≤ε，停止迭代；否則令t=t+1，轉向Step4。

Step6：利用聚類結果計算VNew值，令k=k+1，轉向Step2。

Step7：比較VNew值，達到最小時獲得最佳聚類個數(shù)kopt。

1.2自適應背景建模與更新方法

由于經(jīng)過上述處理已得到k個聚類，則第i類的頻率為

(3)

式中Ni(x,y)為第i個聚類中包含的元素個數(shù)。

按ω取值從大到小排序，自適應選擇頻率大于參數(shù)Ta的c(c

(4)

為了及時反映背景狀態(tài)的變化，本文采用動態(tài)修改、刪除或者新建聚類的方法進行背景模型的自適應更新。檢測每一像素取值It(x,y)與已存在的聚類是否匹配，依次計算其與各聚類中心的距離D(It,vi)，并與聚類閾值λ比較。如果有滿足D(It,vi)<λ條件的最小距離Dmin，則將該像素值It(x,y)歸入類vi(x,y)中并修改參數(shù)。

(5)

(6)

(7)

其他未匹配聚類均相應調整頻率。以上更新保證了像素取值能夠正確匹配真實背景狀態(tài)，可適應光照緩慢變化的情形。如果It(x,y)與所有聚類中心的距離都大于λ，表明出現(xiàn)了新的前景或噪聲，將創(chuàng)建新類vk+1(x,y)，并設置參數(shù)。

(8)

(9)

(10)

(11)

同樣對其他已有聚類進行頻率更新。當前景停止運動的時間較長，聚類中包含的元素越來越多，其頻率逐漸增大，超過閾值Ta后該類將被加入背景模型，可適應前景轉換成背景的情況。當背景中靜止物體運動離開后，其對應聚類頻率低于閾值φ，則刪除該聚類vi，聚類數(shù)k=k-1，并歸一化剩余聚類的頻率，及時反映了背景轉換成前景的變化。

2基于聯(lián)合信息的前景檢測方法

當背景頻繁動態(tài)變化時，背景模型難以實現(xiàn)同步更新，背景差分存在較大的檢測誤差。另一類常用信息是幀間差分信息，其具有實時性好、對場景動態(tài)變化適應性強等優(yōu)點，但易受到目標運動速度的影響，難以獲得完整的前景輪廓。而由背景差分和幀間差分獲得的二值化圖像都包含不同程度的噪聲，表現(xiàn)為少量孤立的前景像素。采用像素空間鄰域信息重新界定像素歸類，可以減少噪聲的出現(xiàn)。因此，可聯(lián)合這3種信息進行前景檢測，以獲得更好的檢測結果，接下來描述3類信息的獲取方法。

將后續(xù)視頻圖像中各像素與其背景模型進行差分運算：Dbt(x,y)=|It(x,y)-Bt(x,y)|，設置閾值THb，得到二值化背景差分圖像：

(12)

當Mbt取值為0時，判定該像素為背景；當Mbt取值為1時，判定該像素為前景。

本文三幀差分法的具體處理過程：設It-1(x,y)、It(x,y)和It+1(x,y)分別表示相鄰的3幀圖像，Dt-1,t(x,y)、Dt,t+1(x,y)表示相鄰2幀圖像差分后的二值化結果，對差分圖像按照對應像素進行與運算，得到3幀差分圖像：

(13)

將Mbt與Mft進行邏輯或運算，則有

(14)

(15)

再將Mbf與Mnt進行邏輯與運算，得

(16)

3結合像素亮度和紋理特征的運動陰影檢測與去除方法

考慮到煤礦視頻監(jiān)控圖像顏色特征不明顯的特點，本文在灰度圖像中結合像素亮度和紋理特征來進行運動陰影檢測。像素在陰影覆蓋前后的亮度呈線性關系，在概率論中如果隨機變量之間存在線性關系，那么它們的相關系數(shù)可定義為1。采用歸一化互相關函數(shù)來衡量2個信號間的相似性，若信號越相似，則互相關函數(shù)的取值越接近于1。因此，可根據(jù)互相關函數(shù)的性質來檢測運動陰影。基于灰度圖像中可采用像素灰度表示像素亮度，假定視頻圖像大小是M×N，I(x,y)是當前幀像素灰度，B(x,y)是背景像素灰度。定義模板Tx,y以(x,y)為中心、大小為(2L+1)×(2L+1)，有Tx,y(m,n)=I(x+m,y+n)，其中-L≤m(或n)≤L。I_square(x,y)、B_square(x,y)分別表示當前幀和背景幀在像素(x,y)處的灰度值平方，IB_data(x,y)表示相應灰度值的乘積，則I_square(x,y)的加總表為

SI_square(x,y)=I_square(x,y)+

SI_square(x,y-1)+SI_square(x-1,y)-SI_square(x-1,y-1)

(17)

類推得到加總表：SB_square(x,y)和SIB_data(x,y)?？焖贇w一化相關函數(shù)[14](FNCC)在像素(x,y)處的取值為

(18)

由于運動陰影的灰度值總集中分布在一定范圍以內，所以，將陰影檢測范圍縮小到[Vmin,Vmax]。對前景區(qū)域中的每一個像素(x,y)進行檢測，若其為陰影點，則需要滿足以下條件：

(19)

實際上灰度值小于背景的前景像素，仍有可能屬于運動目標，所以，本文根據(jù)紋理特征變化進一步判別陰影的存在與否。局部二值模式(Local Binary Pattern，LBP)是一種紋理特征的描述算子，其計算簡單，具有很好的紋理描述性。參考文獻[5]證明，LBP紋理特征在陰影區(qū)域和背景圖像中具有不變性。式(20)給出了依據(jù)紋理不變性的陰影判別準則：

(20)

式中：shadow(x,y)=1，表明該像素為陰影點；LBPI(x,y)為像素在當前幀的LBP值；LBPB(x,y)為像素在背景模型中的LBP值。

綜上所述，運動陰影檢測與去除方法的步驟如下：

Step1：判斷前景像素是否滿足式(19)中的條件，若條件不成立，則像素屬于運動目標并停止檢測，否則屬于候選陰影區(qū)域。

Step2：計算像素在當前幀和相應背景模型中的LBP特征值，并由式(20)得到是否屬于運動陰影的判斷結果。

Step3：若被判別為陰影像素，則將相應二值化圖像中的像素取值設置為M(x,y)=0。

4實驗與分析

在Visual C++6.0和Opencv 2.0開發(fā)環(huán)境下編寫了實驗程序，用以驗證本文方法的有效性。

4.1自適應背景建模與更新方法的實驗分析

將基于IFCM聚類算法的自適應背景建模與更新方法與經(jīng)典的GMM方法、KDE方法進行比較，選用公共視頻庫PETS′2009中的一段視頻圖像序列進行實驗，對比實驗結果如圖1所示。從圖1可看出GMM方法背景更新速度較慢，其背景模型中存在緩慢運動汽車的虛影，且處于停止狀態(tài)的小汽車沒有出現(xiàn)在背景模型中。KDE方法同樣存在虛影，但背景模型中包括了停止狀態(tài)的小汽車。而本文方法能夠快速適應背景的相應變化，獲得準確的背景模型。

(a) 第130幀 (b) 第180幀 (c) 第200幀

(d) GMM方法背景(e) KDE方法背景(f) 本文方法背景

圖1自適應背景建模與更新方法的對比實驗結果

4.2前景檢測方法的實驗分析

前景檢測方法的對比實驗結果如圖2所示。圖2(a)—(c)中汽車突然啟動，背景更新不能同步完成，在背景差分圖像(圖2(d))中，汽車沒有被完整檢測為運動目標。而三幀差分能快速判斷出汽車為運動目標，但由于行人步速緩慢，在相鄰2幀中變化較小且存在部分重疊，所以在三幀差分圖像(圖2(e))中，運動行人內部出現(xiàn)了空洞。另外，背景差分和三幀差分二值化處理后，都出現(xiàn)了不同程度的噪聲。圖2(f)為基于聯(lián)合信息的前景檢測方法的檢測結果，效果良好。

(a) 第80幀 (b) 第102幀 (c) 第110幀

(d) 背景差分 (e) 三幀差分 (f) 本文方法結果

圖2前景檢測方法的對比實驗結果

4.3運動陰影檢測方法的實驗分析

將本文提出的運動陰影檢測方法與DNM1陰影檢測方法(DNM1方法)、基于FNCC的陰影檢測方法(FNNC方法)進行比較，對比實驗結果如圖3所示。由于圖像飽和度、顏色值都較低，DNM1方法只能檢測出部分陰影，F(xiàn)NNC方法較好地挖掘了陰影區(qū)域和相應背景的亮度相似性特點，誤判像素減少，但陰影檢測仍不夠完整。而本文提出的運動陰影檢測方法同時結合了亮度和紋理特征的特性，其檢測效果顯然優(yōu)于DNM1和FNCC方法。

5結語

在優(yōu)化選取初始聚類中心和設計新聚類有效性指標的基礎上，提出了IFCM聚類算法，并將其應用于各像素背景模型的自適應構建和更新；提出了基于聯(lián)合信息的前景檢測方法，將像素背景差分信息與三幀差分信息進行或運算處理，提高前景檢測時對動態(tài)場景變化的適應性，進一步聯(lián)合空間鄰域信息來減少前景中的噪聲；提出了運動陰影檢測與去除方法，采用像素對應FNCC函數(shù)的取值判別候選陰影區(qū)域，然后依據(jù)紋理特征值不變性，確定并去除運動陰影，因此，獲得了較為準確的運動目標。實驗結果表明，本文方法能將運動目標從復雜煤礦工作場景中檢測出來，為后續(xù)視頻監(jiān)控過程做好了充分準備。同時將本文方法與相應經(jīng)典算法進行了比較分析，結果驗證了本文方法的有效性和優(yōu)越性。

參考文獻：

[1]潘濤.煤礦生產(chǎn)系統(tǒng)集成的層次結構及其標準化問題研究[J].工礦自動化，2014,40(9):19-23.

[2]芮挺,周遊,馬光彥,等.核密度估計與高斯模型聯(lián)級運動目標檢測[J].計算機工程與應用，2011,47(18):1-3.

[3]李鵬偉,葛文英,劉國英.基于陰影概率模型的遙感影像陰影檢測方法[J].計算機應用，2015,35(2):510-513.

[4]韓延祥,張志勝,郝飛,等.灰度序列圖像中基于紋理特征的移動陰影檢測[J].光學精密工程，2013,21(11):2931-2940.

[5]曹健,陳紅倩,張凱,等.結合區(qū)域顏色和紋理的運動陰影檢測方法[J].機器人，2011,33(5):628-633.

Research on moving target detection in coal mine intelligent video monitoring

ZHANG Xiehua1,ZHAO Xiaohu2

(1.School of Education Intelligent Technology, Jiangsu Normal University, Xuzhou 221116, China;

2.IOT Perception Mine Research Center, China University of

Mining and Technology, Xuzhou 221008, China)

Abstract:In view of condition of complex dynamic scene changes in coal mine intelligent video monitoring environment, three important steps in moving target detection were researched which were background modeling and updating, foreground detecting, motion shadow detecting and removing. For the three steps, corresponding processing methods were put forward: a self-adaptive background modeling and updating method based on IFCM clustering algorithm was proposed, the method was used to unsupervised clustering of pixels' gray values, different number of clusters was adaptively selected to construct the pixels' background model, and automatic updating of the background model was completed by modifying, adding and deleting clusters with the scenes' change; a foreground detection method was proposed which combined the background difference, three frame difference and spatial neighborhood information, so accurate foreground targets were obtained; a motion shadow detection and removal method was proposed on the basis that the pixels' of gray images have characteristics of luminance correlation and texture invariance before and after shadow covering, so detecting and removing moving shadow was realized. The experimental results verify effectiveness and superiority of the method.

Key words:coal mine video monitoring; motion target detection; background modeling; foreground detection; motion shadow detection

作者簡介：張謝華(1977-)，女，安徽宿松人，副教授，博士，主要研究方向為運動目標檢測、運動目標跟蹤等，E-mail:85391920@qq.com。 徐榮鑫(1992-)，男，江蘇鹽城人，碩士研究生，主要研究方向為機電一體化，E-mail:xurxpaper@163.com。

基金項目：國家科技支撐計劃項目(2012BAH12B00)；江蘇師范大學博士學位教師科研支持項目(2015XLR18)。 中國博士后科學基金第58批面上資助項目(2015M581879)。

收稿日期：2015-12-16；修回日期：2016-02-01；責任編輯：張強。 2015-12-15；修回日期：2016-01-08；責任編輯：張強。

中圖分類號：TD67

文獻標志碼：A網(wǎng)絡出版時間：2016-04-05 11:26

文章編號：1671-251X(2016)04-0031-06

DOI:10.13272/j.issn.1671-251x.2016.04.008

張謝華，趙小虎.煤礦智能視頻監(jiān)控中的運動目標檢測研究[J].工礦自動化，2016,42(4)：31-36.