火焰顏色及動(dòng)態(tài)特征的選擇和探測(cè)方法

蔣先剛 張盼盼 范自柱

(華東交通大學(xué)理學(xué)院, 南昌, 330013)

火焰顏色及動(dòng)態(tài)特征的選擇和探測(cè)方法

蔣先剛 張盼盼 范自柱

(華東交通大學(xué)理學(xué)院, 南昌, 330013)

在一般光照前提下對(duì)火焰的時(shí)空、顏色等特征進(jìn)行選擇時(shí),為了找到適應(yīng)火焰區(qū)域探測(cè)的最佳特征，在不同顏色特征中使用PCA特征選擇方法對(duì)各顏色通道特征進(jìn)行降維,然后使用Relief特征選擇方法確定動(dòng)態(tài)和顏色特征的最佳分類(lèi)組合特征順序，最后使用協(xié)方差矩陣對(duì)各特征的分類(lèi)貢獻(xiàn)效率進(jìn)行驗(yàn)證。實(shí)驗(yàn)過(guò)程中為了比較分析采用了3組融合特征，實(shí)驗(yàn)結(jié)果表明通過(guò)Relief和PCA特征選擇方法得到的融合特征在火災(zāi)監(jiān)控系統(tǒng)中表現(xiàn)出較好的識(shí)別精度和較高的運(yùn)行效率。

彩色空間模型；火焰探測(cè)；Relief特征選擇；協(xié)方差算子

引 言

森林火災(zāi)會(huì)對(duì)森林造成巨大的破壞，隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，基于圖像視覺(jué)的火災(zāi)探測(cè)技術(shù)逐步得到應(yīng)用[1]?；谝曨l圖像的火焰自動(dòng)檢測(cè)是預(yù)防火災(zāi)經(jīng)濟(jì)有用的方法。基于火焰顏色的可變性，使用合理的彩色模型來(lái)定義其顏色特征顯得很重要?；鹧娴奶綔y(cè)方法中已有成功使用RGB，YUV,CIE Lab,HSV,HIS和CMYK等顏色特征[2]的實(shí)例。用動(dòng)態(tài)特征(使用背景減法確定)和顏色特征對(duì)火焰區(qū)域進(jìn)行分析也是一種行之有效的方法。為達(dá)到火災(zāi)探測(cè)目的，B.Ugur Toreyin等[3]提出使用隱馬爾可夫模型構(gòu)造火焰模型，但是初級(jí)的模型構(gòu)造較耗時(shí)，不適合視頻火災(zāi)探測(cè)。文獻(xiàn)[4]試驗(yàn)了用機(jī)器學(xué)習(xí)和協(xié)方差矩陣的方法探測(cè)火災(zāi)技術(shù)，但考慮到協(xié)方差特征的選擇對(duì)后面的試驗(yàn)結(jié)果產(chǎn)生了比較大的影響，仍需選擇能較好分辨火焰和非火焰區(qū)域的特征。Miranda[5]在火焰探測(cè)中使用特征選擇并獲得了很好的效果，但并沒(méi)有進(jìn)行分類(lèi)識(shí)別試驗(yàn)。因?yàn)榛鹧媾c非火焰區(qū)域顏色特征的不確定性，所以采用合理的特征選擇方法得到較優(yōu)的分類(lèi)特征組合對(duì)最后的分類(lèi)顯得尤為重要。為了提高火焰歸類(lèi)模型的適應(yīng)性，本文主要研究在多種顏色空間的顏色通道信息和動(dòng)態(tài)模型下運(yùn)動(dòng)特征的選擇方法，最后獲得用較少的特征集獲取較高的識(shí)別率和更少的誤識(shí)率的結(jié)果。

1 火焰特征提取方法

1.1 圖像顏色空間和動(dòng)態(tài)屬性各分量分布

圖1(a)為含白色天空、偏黃色地面、暗綠色樹(shù)林、草地和包含火焰區(qū)域的野外視界圖像，該圖像包含火焰正樣本和非火焰負(fù)樣本兩部分，它們?cè)诓煌牟噬Ｐ涂臻g具備不同的可區(qū)分度。彩色模型主要包括RGB彩色空間、yCrCb空間、HSV空間和CYMK空間[6]，圖1(b～l)為各顏色空間中顏色特征分量分布，從圖中可以看出，HSV顏色空間的S和V通道對(duì)火焰區(qū)域具備較好的區(qū)分性，CYMK的M，Y和yCrCb彩色空間的Cr和Cb分量能對(duì)火焰區(qū)域表達(dá)出特異性，圖1(m)反映空域在X方向的變化性，圖1(n)反映區(qū)域在時(shí)序上的變化性。

圖1 視頻圖像中各顏色與動(dòng)態(tài)特征分量圖像構(gòu)成Fig.1 Feature vector distribution of a video frame image

在顏色和運(yùn)動(dòng)特征選擇過(guò)程中，樣本如果處于兩類(lèi)超邊界上，則具備比其他樣本更高的特征空間可分性，且會(huì)使數(shù)據(jù)平衡性和對(duì)稱性更好。

1.2 各顏色空間各通道特征的PCA變換方法

將圖像在各顏色空間的多個(gè)顏色通道進(jìn)行主成分分析，選取和獲得最具分辨力的3個(gè)主要顏色通道，可實(shí)現(xiàn)特征間的更佳線性結(jié)合。如對(duì)RGB空間各變量、HSV空間各通道，CYMK空間各分量等采用PCA算法提取的主成分顏色通道信息提取過(guò)程如下。

獲取圖像中的R，G，B；Y，M，K；H，S，V和y，Cr，Cb通道數(shù)據(jù)，按此順序分別將每個(gè)通道數(shù)據(jù)按列排列方式形成歸一化處理的數(shù)據(jù)，由其中m行和n列的圖像轉(zhuǎn)換為圖像矩陣變?yōu)镮，I=[I1,I2,…，I12]mn，計(jì)算I的協(xié)方差矩陣，并求其特征值λi和特征向量ωi，得到的特征值為(0.009，0.003，0.008，4.160，6.471，1.4E-16，0，0.108，1.156，0.0005，0.081，0.001)，這反映對(duì)原包含火焰區(qū)域圖像本質(zhì)的體現(xiàn)程度，數(shù)據(jù)說(shuō)明M，Y，V和S分量對(duì)圖像具備更強(qiáng)的表現(xiàn)力[5]，Cr比Cb具備更大的區(qū)分性，而K，H具備較少的可區(qū)分性。如篩選出λi中3個(gè)較大特征值作為主要特征值，將其與相應(yīng)主成分顏色通道分量相乘取平均值，從而得到PCA融合圖像:IPCA=(λ5M+λ4Y+λ9V)/3，PC1分量圖基本表達(dá)了PCA融合圖像的主要結(jié)構(gòu)和亮度分布，火焰區(qū)域的PC1和PC2包含亮度分布的V以外，還包含紅色和藍(lán)色變化分布M，K，這使得火焰區(qū)域的PC1和PC2更大。對(duì)圖像1(a)進(jìn)行PCA變換，得到由與前4個(gè)主元PC1～PC4對(duì)應(yīng)的較大特征分量構(gòu)成的變換函數(shù)關(guān)系為

(1)

圖1(k)、圖1(l)顯示式(1)的PCA融合IPCA和PC1能反映圖像的基本亮度區(qū)別。圖2為原始圖像中正(實(shí)線) 樣本(像素)、負(fù)(虛線) 樣本(像素)取直方圖的分布比較，X軸為特征值范圍(0到1)，Y軸為像素?cái)?shù)量(3 000)，所有數(shù)據(jù)都采用歸一化處理，正負(fù)樣本在第一主元PC1，?tI、CYMK空間的Y和M都很好地呈現(xiàn)出峰值交錯(cuò)的雙峰分布，這表明這些特征對(duì)正負(fù)樣本具備很好的可區(qū)分性，反之H和R特征不具備峰值交錯(cuò)的雙峰分布，它們基本沒(méi)有區(qū)分性。

圖2 正負(fù)樣本不同特征的直方圖分布Fig.2 Histogram of different features of the positive and negative sample

在RGB空間中，圖3分別表示正(綠色球表示)、負(fù)(黑色球表示)樣本在不同投影平面的分布, 這些圖表明在RGB空間的各分量線性相關(guān)，正負(fù)樣本在空間分布和各特征投影上都有一定的重疊性，聚類(lèi)中心與類(lèi)內(nèi)各樣本的分布較分散。在主元空間中，圖3(e)，(f)，(g)和(h)表明各類(lèi)樣本在各個(gè)平面上的分布，主元各變量由式(1)的前3個(gè)主元構(gòu)成計(jì)算得到，用藍(lán)色表示正樣本分布而紅色表示負(fù)樣本分布。從圖3(h)可見(jiàn)樣本在PC1上具備更大的可分析性，將PC2_PC3平面上類(lèi)似直線的藍(lán)紅區(qū)域向與之垂直的PC1上延展樣本分布，即PC1實(shí)際上基本反映了正、負(fù)樣本的分布和類(lèi)型區(qū)別，各聚類(lèi)中心與類(lèi)內(nèi)各樣本的分布都比較集中。圖2的原始樣本散布曲線和圖3的各顏色通道的分布情況基本一致，Relief特征選擇方法可以得到相同的結(jié)果。

圖3 正負(fù)樣本在不同變換空間的分布Fig.3 Sample distribution under different transformation spaces

1.3 基于Relief的特征區(qū)分性序列的產(chǎn)生方法

用Relief算法可保留對(duì)火焰的正確判斷起到關(guān)鍵作用的幾個(gè)奇異性特征，并去除與分類(lèi)不相關(guān)的干擾因素。Relief算法可以為各個(gè)特征賦予相對(duì)應(yīng)的權(quán)重，最后對(duì)權(quán)重進(jìn)行排序，權(quán)重大的特征對(duì)最后分類(lèi)越有利?；驹硎鞘紫葧?huì)對(duì)訓(xùn)練樣本進(jìn)行標(biāo)識(shí)類(lèi)別；每次從一類(lèi)中隨機(jī)選取一個(gè)樣本R，從該類(lèi)的樣本訓(xùn)練集中選出近鄰樣本k個(gè)，然后從不同類(lèi)的樣本訓(xùn)練集中也選出k個(gè)近鄰樣本，一般情況下取k=3～5，按式(2)更新每個(gè)特征的權(quán)重[7]。

(2)

式(2)中的第2個(gè)分項(xiàng)是兩個(gè)樣本R1和R2在特征fi上的差，即式(3)，Hj(C)表示和R同類(lèi)的第j個(gè)樣本，Mi(C)表示在不同類(lèi)中的第j個(gè)樣本。

(3)

對(duì)類(lèi)似于圖1(a)的20張野火區(qū)域圖像取均值計(jì)算統(tǒng)計(jì)，通過(guò)人工和計(jì)算機(jī)分割可得到火焰正樣本和非火焰負(fù)樣本兩大類(lèi)像素集，對(duì)這些已標(biāo)注像素集的各特征經(jīng)Relief算法計(jì)算而得到對(duì)火焰區(qū)域分類(lèi)貢獻(xiàn)的序列如表1所示。

由表1可知，PCA的第一主分量能很好地表達(dá)火焰區(qū)域顏色特征，HSV顏色空間的各通道線性無(wú)關(guān)，通道V能表現(xiàn)出火焰區(qū)域的差異性。前9個(gè)特征首先被選擇，從16號(hào)特征起，權(quán)重開(kāi)始特別小。雖然組成火焰的像素顏色都偏紅色，PC1的權(quán)重大小表明特征G分量與PCA第一主元相關(guān)性更大。Y,M分量具備對(duì)火焰區(qū)域的差異性呈現(xiàn)，故其權(quán)重較大，火焰區(qū)域的空域變化程度由兩個(gè)方向的一階導(dǎo)數(shù)確定，具備一定的重要性。?tI表示幀間積累的亮度變化值，這確定了火焰區(qū)域的時(shí)域動(dòng)態(tài)性。

表1 火焰顏色和運(yùn)動(dòng)各特征重要性序列

1.4 動(dòng)態(tài)特征的選擇

火焰的顏色特征和動(dòng)態(tài)特征的融合特征能很好地反映火焰的特異性。為了得到動(dòng)態(tài)特征，本文采用幀間差分方法。如圖1(m)中的Ix(x,y,i)顯示區(qū)域在空域X向的邊緣特性，采用圖1(n)中的?tI表示亮度在幀間的時(shí)頻動(dòng)態(tài)特性。

1.5 基于協(xié)方差的特征相關(guān)性驗(yàn)證和特征組合

協(xié)方差矩陣表達(dá)火焰的顏色和動(dòng)態(tài)特征。每?jī)蓚€(gè)特征間的關(guān)聯(lián)情況表現(xiàn)在非對(duì)角線上的元素[8-9]，每個(gè)特征方差大小在對(duì)角線上。圖4為正負(fù)樣本各特征協(xié)方差算子的比較圖[10]，其中圖4(a)，(b)為包括含運(yùn)動(dòng)火焰區(qū)域的協(xié)方差矩陣分布，圖4(c)，(d)含輕微運(yùn)動(dòng)的非火焰區(qū)域的協(xié)方差矩陣分布。

圖4 基于空域和時(shí)域特征的火焰和非火焰區(qū)域協(xié)方差的分布與比較Fig.4 Distribution and comparison diagram of the covariance operator of spatial and temporal feature of flame and non-flame

火焰區(qū)域幀間運(yùn)動(dòng)的?tI方差值都中等偏大，反映空域變化的Ix，Iy方差及與?tI的相關(guān)各值也都中等偏大，Cr具備較大的方差，M方差值及與?tI的相關(guān)值都比較大?；鹧婧头腔鹧鎱^(qū)域的R，G，B和H分量的協(xié)方差算子差別不大?；鹧鎱^(qū)域的協(xié)方差算子的這些特征表現(xiàn)都與PCA方法和Relief方法得到的分析基本一致。通過(guò)采用協(xié)方差矩陣左上角算子組成特征集，經(jīng)過(guò)支持向量機(jī)(Support vector machine, SVM)訓(xùn)練，構(gòu)成分類(lèi)器模型。

2 基于特征組合的火焰區(qū)域探測(cè)實(shí)驗(yàn)和分析

火焰特征分析和探測(cè)系統(tǒng)的軟件開(kāi)發(fā)環(huán)境為Delphi 7,火焰探測(cè)實(shí)驗(yàn)的相關(guān)視頻圖像選自于網(wǎng)站http://signal.ee.bilkent.edu.tr/VisiFire/和來(lái)自森林火災(zāi)監(jiān)控現(xiàn)場(chǎng)的視頻。為了比較分析而采用3組融合特征，Φ1組合引入了通常采用的RGB顏色空間和分類(lèi)貢獻(xiàn)權(quán)重較小的H特征，Φ2組合在Φ1的基礎(chǔ)上引入對(duì)火焰分類(lèi)貢獻(xiàn)權(quán)重處于前面的飽和度S取代色度H，Φ3則兼顧了CYMK空間的M分量，HSV空間的V分量，主分量分析的第一主分量PC1， 和對(duì)火焰區(qū)域有特異性表達(dá)的yCrCb空間的Cr分量。

(4)

(5)

(6)

整個(gè)區(qū)域首先用初選方法檢索出候選窗口區(qū)域，即按式(7～9)分析出基本包含火焰顏色和運(yùn)動(dòng)像素的時(shí)空塊[11]。

(7)

(8)

(9)

式中：M,N為搜索區(qū)域的長(zhǎng)寬，k為時(shí)空塊中的幀數(shù)，當(dāng)運(yùn)動(dòng)塊的運(yùn)動(dòng)像素累計(jì)達(dá)到一定閥值時(shí)則被選擇為候選火災(zāi)區(qū)域。表2給出了采用不同特征組合和分類(lèi)方法時(shí)火焰識(shí)別率和檢測(cè)時(shí)間性能的比較結(jié)果[12]。圖5的第一列為是野外火焰的原圖，圖5(b)為在時(shí)頻上變化且呈紅色色調(diào)的候選火災(zāi)區(qū)域，圖5(c)為特征序列Φ1+SVM的探測(cè)結(jié)果，圖5(d)為Φ3+SVM的探測(cè)結(jié)果，這說(shuō)明Φ3特征組合能更加體現(xiàn)出顏色和運(yùn)動(dòng)特征，明顯減少了火焰區(qū)域的誤識(shí)率。

圖5 采用顏色與動(dòng)態(tài)特征組合的火焰區(qū)域檢測(cè)的結(jié)果Fig.5 Detected flame region results by using color and dynamic feature assemble

特征組合與分類(lèi)正檢率幀/%誤檢率幀/%運(yùn)行時(shí)間/s(每100幀)不加遴選加遴選SVM-RBF+Φ192.10.095.31.71SVM-RBF+Φ297.20.045.21.73SVM-RBF+Φ399.80.0122.310.20

3 結(jié)束語(yǔ)

在火焰的檢測(cè)過(guò)程中，顏色和動(dòng)態(tài)特征組合對(duì)測(cè)試結(jié)果有很重要的作用，其特征的原始數(shù)據(jù)分布、Relief計(jì)算和主元分析都反映了各個(gè)特征對(duì)區(qū)域檢測(cè)分類(lèi)貢獻(xiàn)的基本一致性，協(xié)方差算子作為全局性分布特性的綜合描述，它既可用來(lái)檢驗(yàn)各特征對(duì)分類(lèi)的作用，也可直接作為集成的融合特征，通過(guò)特征空間變換和合理選擇方法得到的特征具備良好而快捷的表達(dá)性，應(yīng)用本文提出的特征組合方法的火焰探測(cè)系統(tǒng)具備較高的魯棒性和實(shí)時(shí)性。

[1] 蔣先剛，丘赟立，熊娟.基于CMYK空間的火災(zāi)區(qū)域粒子群優(yōu)化快速定位方法[J].數(shù)據(jù)采集與處理,2013,28(3),324-329.

Jiang Xiangang,Qiu Yunli,Xiong Juan.Fast flame region orientation method based on CMYK color space via particle swarm optimization[J].Journal of Data Acquisition and Processing, 2013,28(3),324-329.

[2] Yu Chunyu, Fang Jun, Wang Jinjun, et al. Video fire smoke detection using motion and color features[J]. Fire Technology,2010,46(3):651-663.

[3] Toreyin B U, Dedeoglu Y, Cetin A E. Flame detection in video using hidden Markov models[C]∥ Proceedings of the IEEE International Conference on Image Processing (ICIP)．[S.l.]：IEEE，2005:1230-1233.

[4] Habiboglu Y H, Gunay O, Cetin A E. Real-time wildfire detection using correlation descriptors[C]∥19th European Signal Processing Conference． Barcelona, Spain：[s.n.], 2011, 894- 898.

[5] Miranda G, Lisboa A， Vieira D, et al. Color feature selection for smoke detection in videos [C]∥Industrial Informatics (INDIN), 12th IEEE International Conference. Porto Aleger:[s.n.]，2014,31-36.

[6] Celik T, Demirel H. Fire detection in video sequences using a generic color model[J]. Fire Safety Journal,2009,44(2):147-158.

[7] 王露，龔光紅.基于ReliefF+MRMR特征降維算法的多特征遙感圖像分類(lèi)[J].中國(guó)體視學(xué)與圖像分析,2014,19(3):250-255.

Wang Lu, Gong Guanghong.Multiple features remote sensing image classification based on combining ReliefF and mRMR[J]. Chinese Journal of Stereology and Image Analysis,2014,19(3):250-255.

[8] Tuzel O, Porikli F,Meer P.Region covarianee: A fast descriptor for detection and classification [C]∥Proceeding of 9th European Conference on Computer Vision． Graz,Austria：[s.n.]，2006,589-600.

[9] Porikli F, Tuzel O, Meer P. Covariance tracking using model update based on lie algebra[C]∥ IEEE Conference on Computer Vision and Pattern Recognition. New York:[s.n.],2006,728-735.

[10] Angayarkkani K, Radhakrishnan N. An intelligent system for effective forest fire [J]. International Journal of Computer Science and Information Security, 2010, 7 (1): 202-208.

[11] Byoung C K. Wildfire smoke detection using temporal-spatial features and random forest classifiers[J]. Optical Engineering,2012,51(1):61-68.

[12] Ha C, Jeon G, Jeong J. Vision-based smoke detection algorithm for early fire recognition in digital video recording system[C]∥Proceedings of International Conference on Signal-Image Technology and Internet-based Systems. Dijon,French：IEEE Computer Society Press, 2011, 209-212.

Feature Selection and Flame Detection Method Based on Color and Motion in Video

Jiang Xiangang, Zhang Panpan, Fan Zizhu

(School of Science,East China Jiaotong University, Nanchang, 330013, China)

When selecting method of flame′s colors and spatial-temporal features in general illumination in order to find the best feature adapting to the detection of the flame area, PCA feature selection method is used to reduce characteristics of each color channel in different color characteristics. The Relief feature selection method is used to determine the optimal classification for these candidate color and moving subsets. Moreover, contribution ratio of discrimination of all selected colors and moving features is validated by covariance matrix. In the course of the experiment, three sets of fusion features are used for analysis. Experimental results show that the flame detection system based on selected color and moving feature has higher accuracy and recognition efficacy.

color space model; flame detection; Relief feature selection; covariance matrix

國(guó)家自然科學(xué)基金(61262031,61263032)資助項(xiàng)目。

2015-09-09；

2016-01-13

TP391.41

A

蔣先剛(1958-)，男，教授，研究方向：數(shù)字圖像處理與模式識(shí)別，電子郵箱：jxg_2@tom.com。

張盼盼(1990-)，女，碩士研究生，研究方向：數(shù)字圖像處理與模式識(shí)別。

范自柱(1975-)，男，副教授，研究方向：數(shù)字圖像處理與模式識(shí)別。