張欣欣

摘 要：野外煙霧具有稀疏性，在整幅圖像中所占面積小，擴(kuò)散緩慢。傳統(tǒng)煙霧檢測(cè)算法由人工提取的特征不一定是最合適的煙霧特征，從而導(dǎo)致煙霧檢測(cè)存在錯(cuò)檢或誤檢。為此，設(shè)計(jì)了基于卷積神經(jīng)網(wǎng)絡(luò)的野外煙霧檢測(cè)算法。通過(guò)改進(jìn)的VGG16網(wǎng)絡(luò)以及搭建的卷積神經(jīng)網(wǎng)絡(luò)conv-10進(jìn)行煙霧檢測(cè)。VGG16過(guò)濾器尺寸大小為3×3，步長(zhǎng)為1。conv-10通過(guò)對(duì)LeNet增加相應(yīng)的層數(shù)進(jìn)行煙霧檢測(cè)。實(shí)驗(yàn)證明，conv-10網(wǎng)絡(luò)具有較高的準(zhǔn)確率，達(dá)到94.7%，時(shí)間僅需要1 656s。改進(jìn)的VGG16網(wǎng)絡(luò)準(zhǔn)確率也較高，但是比conv-10網(wǎng)絡(luò)速度慢，時(shí)間需要10 450s。

關(guān)鍵詞：煙霧檢測(cè);卷積神經(jīng)網(wǎng)絡(luò);深度學(xué)習(xí);conv-10;VGG16

DOI：10. 11907/rjdk. 191976 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類(lèi)號(hào)：TP301文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2020）002-0118-04

英標(biāo)：Wildfire Smoke Detection Based on Convolutional Neural Network

英作：ZHANG Xin-xin

英單：（College of Computer Science and Engineering， Shandong University of Science and Technology， Qingdao 266590，China）

Abstract：Traditional smoke detection algorithm detects smoke according to the features extracted manually. Because the features extracted manually are not necessarily the most suitable features for smoke， there would be false detection or false detection in smoke detection. Field smoke is sparse， occupies a small area in the whole image and diffuses slowly. In this paper， a field smoke detection algorithm based on convolution neural network is designed. Smoke detection was carried out by improved VGG16 network and conv-10 convolution neural network. The size of VGG16 filters is 3*3 and the step size is 1. Conv-10 detects smoke by adding layers to LeNet. Experiments show that the conv-10 network has a high accuracy rate of 94.7% and only needs 1 656 seconds. The network accuracy of the improved VGG16 is relatively high， but compared with the conv-10 network， the speed is slower and the time is 10 450s.

Key Words：smoke detection; convolutional neural network; deep learning; conv-10;VGG16

0 引言

火災(zāi)監(jiān)測(cè)主要采用煙霧傳感器進(jìn)行。傳感器具有價(jià)格低、易安裝的優(yōu)點(diǎn)，但由于煙霧傳感器和空氣大面積接觸造成氧化，靈敏度不高。

眾多學(xué)者對(duì)煙霧檢測(cè)方法進(jìn)行了研究。如Yu等[1]提出基于煙霧顏色和運(yùn)動(dòng)特征的煙霧檢測(cè)方法;Celik等[2]提出采用不同的顏色模型進(jìn)行煙霧和火災(zāi)檢測(cè);Klim等[3]基于煙霧的Harr特征檢測(cè)煙霧;Chen等[4]根據(jù)煙霧的靜態(tài)和動(dòng)態(tài)決策規(guī)則描述一幅圖像中是否含有煙霧;Ma等[5]提出了一種新的聯(lián)合Kalman濾波和高斯混合顏色模型的煙霧檢測(cè)方法;Avgerinaki[6]利用HOG和HOF分類(lèi)器實(shí)現(xiàn)視頻火災(zāi)煙霧檢測(cè)。上述很多算法都是基于煙霧顏色、運(yùn)動(dòng)等單一特征或多種特征進(jìn)行研究，這些特征是人們根據(jù)經(jīng)驗(yàn)手工提取的。由于野外煙霧具有稀疏性，擴(kuò)散較慢、環(huán)境復(fù)雜，在這種情況下采用傳統(tǒng)方法進(jìn)行煙霧檢測(cè)往往會(huì)發(fā)生錯(cuò)檢和漏檢情況，準(zhǔn)確率較低。

深度學(xué)習(xí)在許多方面都表現(xiàn)出優(yōu)異性能。傅天駒等[7]提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)的森林火災(zāi)識(shí)別方法，用參數(shù)替換提升準(zhǔn)確率;陳俊周等[8]提出一種基于靜態(tài)特征與動(dòng)態(tài)特征相結(jié)合的視頻煙霧檢測(cè)框架。

針對(duì)傳統(tǒng)煙霧檢測(cè)算法的不足，通過(guò)改進(jìn)VGG16結(jié)構(gòu)和搭建conv-10對(duì)野外煙霧進(jìn)行檢測(cè)。實(shí)驗(yàn)表明，VGG16和conv-10在野外煙霧識(shí)別上都具有較好的檢測(cè)效果。

1 相關(guān)工作

基于圖像和視頻的煙霧檢測(cè)方法研究較多。如李紅娣等[9]采用邊緣特征和金字塔紋理方法進(jìn)行煙霧檢測(cè);王欣剛等[10]采用運(yùn)動(dòng)檢測(cè)和小波分析方法對(duì)煙霧進(jìn)行檢測(cè);UgurTireyin等[11]提出基于小波的煙霧檢測(cè)算法;Wang等[12]利用物體的運(yùn)動(dòng)性和視頻中幀與幀的區(qū)別區(qū)分煙霧和非煙霧;Yuan等[13]提出一種基于運(yùn)動(dòng)累積量和主運(yùn)動(dòng)方向的煙霧檢測(cè)算法;Calderara 等[14]提出一種能夠同時(shí)兼顧檢測(cè)速度和魯棒性的煙霧檢測(cè)算法;Kapilovic等[15]提出一種光流方法提取煙霧圖像。上述算法在進(jìn)行煙霧檢測(cè)時(shí)通常存在漏檢和誤檢情況，準(zhǔn)確率不高。

2016年，由英國(guó)倫敦Google DeepMind開(kāi)發(fā)的人工智能?chē)宄绦駻lphaGo[16]中使用了卷積神經(jīng)網(wǎng)絡(luò)。Frizzi等[17]使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行火焰檢測(cè)和煙霧檢測(cè);Yin等[18]提出一種基于圖像煙霧檢測(cè)的深度規(guī)范化卷積神經(jīng)網(wǎng)絡(luò);汪子杰[19]提出一種新穎的預(yù)測(cè)性能良好的視頻煙霧檢測(cè)算法;Y.Li[20]提出一種基于運(yùn)動(dòng)特性和卷積神經(jīng)網(wǎng)絡(luò)的煙霧檢測(cè)算法。

本文針對(duì)野外煙霧具有稀疏、擴(kuò)散緩慢、面積小、環(huán)境復(fù)雜等特點(diǎn)，設(shè)計(jì)了基于VGG16和conv-10面向野外煙霧的兩種煙霧檢測(cè)架構(gòu)，與其它算法相比，conv-10具有較高的準(zhǔn)確率，訓(xùn)練時(shí)間較短。

2 基于卷積神經(jīng)網(wǎng)絡(luò)的煙霧檢測(cè)

針對(duì)野外煙霧特點(diǎn)，本文基于VGG16并搭建卷積神經(jīng)網(wǎng)絡(luò)conv-10，設(shè)計(jì)了兩種面向野外煙霧檢測(cè)的網(wǎng)絡(luò)結(jié)構(gòu)。

2.1 VGG16網(wǎng)絡(luò)

VGG16網(wǎng)絡(luò)的輸入圖像大小為224×224像素，它包含13個(gè)卷積層、5個(gè)池化層和3個(gè)全連接層。池化一般有最大池化和平均池化兩種形式，一般采用最大池化。圖1為VGG16網(wǎng)絡(luò)結(jié)構(gòu)。

針對(duì)野外煙霧具有稀疏、擴(kuò)散緩慢等特點(diǎn)，本文對(duì)VGG16網(wǎng)絡(luò)進(jìn)行改進(jìn)。選用VGG16的原因是它能將所有卷積層的過(guò)濾尺寸大小都設(shè)置為3×3，步長(zhǎng)都設(shè)置為1。通過(guò)這樣的設(shè)置可以讓VGG16網(wǎng)絡(luò)對(duì)輸入的煙霧圖像中的每個(gè)像素進(jìn)行處理，提取特征，從而檢測(cè)到整幅圖像中所占比例較小的煙霧。另外VGG16的層數(shù)相對(duì)較少，但是精度和VGG19相近。

基于VGG16的煙霧檢測(cè)結(jié)構(gòu)如圖2所示。野外煙霧需要檢測(cè)出煙霧和非煙霧兩類(lèi)圖像，使用在Imagenet訓(xùn)練好的VGG16網(wǎng)絡(luò)全連接，保留參數(shù)進(jìn)行遷移，最后將圖像分為smoke和nonsmoke兩個(gè)不同類(lèi)別。在VGG-16模型上調(diào)整數(shù)據(jù)集，把FC-6、FC-7神經(jīng)元個(gè)數(shù)調(diào)整為1 024，F(xiàn)C-8類(lèi)別個(gè)數(shù)從1 000調(diào)整為2。

算法1：VGG16訓(xùn)練和測(cè)試算法

輸入：database A，預(yù)訓(xùn)練的模型vgg16 pretrained

輸出：準(zhǔn)確率acccuracy

{a，b，c}=prepare_data（A）

對(duì)數(shù)據(jù)集進(jìn)行8：2的比例分為訓(xùn)練集e和測(cè)試集f

Return e和f

加載預(yù)先訓(xùn)練好的模型進(jìn)行訓(xùn)練煙霧檢測(cè)的結(jié)構(gòu)

Output：訓(xùn)練時(shí)間t和準(zhǔn)確率accuracy

END

2.2 conv-10網(wǎng)絡(luò)

針對(duì)野外煙霧稀疏性特點(diǎn)，本文對(duì)傳統(tǒng)的LeNet-5卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，搭建適合煙霧的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)conv-10。

conv-10的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。卷積神經(jīng)網(wǎng)絡(luò)有10層，每一層都包含可以訓(xùn)練參數(shù)。輸入層輸入圖像大小為48×48像素。

C1：采用32個(gè)特征圖的卷積層，卷積核大小為3×3，經(jīng)過(guò)卷積之后得到每個(gè)特征圖大小為（48-3+2+1）×（48-3+2+1）=48×48。

式（1）表示特征圖的大小。其中l(wèi)表示當(dāng)前層的索引號(hào)，K表示濾波器大小，P表示填充像素，S表示步長(zhǎng)大小。卷積運(yùn)算之后進(jìn)行激活函數(shù)的非線性變換。激活函數(shù)使用Relu函數(shù)，其表達(dá)式如式（2）所示。

神經(jīng)網(wǎng)絡(luò)計(jì)算公式如下：

式（3）中，M表示濾波器大小，W表示連接權(quán)向量，b表示偏置。

S1：采用大小為2的采樣因子，由32個(gè)24×24大小的特征圖組成。本文采用的池化方法為最大池化。最大池化如式（4）所示。

式（4）中x表示特征圖的一個(gè)區(qū)域，代表該區(qū)域神經(jīng)元輸出。

C2：采用3×3大小的卷積核，由64個(gè)24×24大小的特征圖組成。

S2：采用大小為2的采樣因子，由64個(gè)12×12大小的特征圖組成。

C3：采用3×3大小的卷積核，由96個(gè)12×12大小的特征圖組成。

S3：采用是3×3大小的卷積核，由96個(gè)6×6大小的特征圖組成。

C4：采用3×3大小的卷積核，由128個(gè)6×6大小的特征圖組成。

S4：采用3×3大小的卷積核，由128個(gè)3×3大小的特征圖組成。

F1表示全連接層。它與S4層連接，由1024個(gè)神經(jīng)元組成。采用Dropout方法，Dropout方法能夠加速運(yùn)算和防止過(guò)擬合。

F2：表示輸出層。神經(jīng)元個(gè)數(shù)設(shè)置為2，因?yàn)楸疚闹贿M(jìn)行二分類(lèi)任務(wù)，所以只需要區(qū)分煙霧和非煙霧。

3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文采用的數(shù)據(jù)集來(lái)自http：//staff.ustc.edu.cn/～yfn/vsd.html（數(shù)據(jù)集分布情況如表2所示）以及筆者自己采集。實(shí)驗(yàn)數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集，分為含有煙霧和非煙霧兩個(gè)類(lèi)別，表3給出具體實(shí)驗(yàn)數(shù)據(jù)。

本文對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充，擴(kuò)充方式主要是旋轉(zhuǎn)和翻轉(zhuǎn)兩種。按8∶2劃分?jǐn)?shù)據(jù)集，訓(xùn)練集一共20 000張，其中測(cè)試集為5 000張。測(cè)試集里煙霧和非煙霧圖片張數(shù)各為? ? ?10 000張。訓(xùn)練集里煙霧和非煙霧圖片張數(shù)各為2 500張。煙霧數(shù)據(jù)集和非煙霧數(shù)據(jù)集實(shí)例如圖3、圖4所示。

3.2 實(shí)驗(yàn)設(shè)置

采用VGG16網(wǎng)絡(luò)和conv-10網(wǎng)絡(luò)進(jìn)行煙霧檢測(cè)，并和SVM、DNN & CNN結(jié)果進(jìn)行對(duì)比，將測(cè)試集和訓(xùn)練集的準(zhǔn)確率以及運(yùn)行時(shí)間作為評(píng)價(jià)指標(biāo)。

改進(jìn)VGG16網(wǎng)絡(luò)是將已經(jīng)在Imagenet訓(xùn)練好的VGG16網(wǎng)絡(luò)全連接以上部分保留參數(shù)進(jìn)行遷移，之后使用煙霧數(shù)據(jù)集進(jìn)行輸入。輸入圖像大小為224×224像素，將在Imagenet上預(yù)訓(xùn)練好的網(wǎng)絡(luò)中的卷積部分輸出，通過(guò)預(yù)訓(xùn)練訓(xùn)練出一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，并將最后一層全連接層數(shù)的個(gè)數(shù)改為2，分為煙霧和非煙霧兩類(lèi)。cov-10神經(jīng)網(wǎng)絡(luò)就是將準(zhǔn)備好的數(shù)據(jù)集輸入到搭建的卷積神經(jīng)網(wǎng)絡(luò)上，輸入圖像大小為48×48像素。預(yù)處理操作后，經(jīng)過(guò)3 000次迭代訓(xùn)練出需要的煙霧檢測(cè)模型。

3.3 實(shí)驗(yàn)結(jié)果與分析

從表4可以看出，SVM在時(shí)間上具有較大優(yōu)勢(shì)，測(cè)試時(shí)間和訓(xùn)練時(shí)間都比較短，但是訓(xùn)練精度和測(cè)試精度都比較低，主要原因是傳統(tǒng)的特征提取方法需要依賴人們的先驗(yàn)知識(shí);DNN、CNN的訓(xùn)練精度和測(cè)試精度相對(duì)較高，主要原因是這兩種網(wǎng)絡(luò)能夠自動(dòng)提取到所需要的煙霧特征，結(jié)果比SVM的精度要高

本文提出的兩種網(wǎng)絡(luò)，在測(cè)試集和訓(xùn)練集上準(zhǔn)確率較高。因?yàn)橛?xùn)練集和測(cè)試集都是針對(duì)筆者所擁有的數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試，所以檢測(cè)出來(lái)的效果較好。但是兩個(gè)網(wǎng)絡(luò)的準(zhǔn)確率與所訓(xùn)練的數(shù)據(jù)集有較大關(guān)系，今后可以通過(guò)進(jìn)一步改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，增加注意力機(jī)制，提高煙霧圖像數(shù)量和迭代次數(shù)等，進(jìn)一步提高檢測(cè)準(zhǔn)確率。

4 結(jié)語(yǔ)

針對(duì)野外煙霧環(huán)境復(fù)雜和干擾性較強(qiáng)，以及野外煙霧具有稀疏性，在整幅圖像中所占比例較小的特點(diǎn)，選取相應(yīng)的野外煙霧數(shù)據(jù)庫(kù)，訓(xùn)練出煙霧檢測(cè)模型。本文通過(guò)改進(jìn)VGG16網(wǎng)絡(luò)和搭建卷積神經(jīng)網(wǎng)絡(luò)cov-10進(jìn)行煙霧檢測(cè)。實(shí)驗(yàn)結(jié)果表明，本文提出的兩種卷積神經(jīng)網(wǎng)絡(luò)與其它卷積神經(jīng)網(wǎng)絡(luò)相比具有較高的準(zhǔn)確率， conv-10訓(xùn)練時(shí)間更短，表明卷積神經(jīng)網(wǎng)絡(luò)在煙霧檢測(cè)中具有較大優(yōu)勢(shì)。但目前準(zhǔn)確率還不是很高，今后將通過(guò)進(jìn)一步改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)、增加注意力機(jī)制等方式提高野外煙霧檢測(cè)準(zhǔn)確率。

參考文獻(xiàn)：

[1] YU C，F(xiàn)ANG J，WANG J，et al. Video fire smoke detection using motion and color features[J]. Fire Technology，2010，46（3）：651-663.

[2] CELIK T，DEMIREL H. Fire detection in video sequences using a generic color model[J]. Fire Safety Journal，2009，44（2）：147-158.

[3] KIM H，RYU D，PARK J. Smoke detection using GMM and Adaboost[J]. International Journal of Computer & Communication Engineering，2014，3（2）：123-126.

[4] CHEN T H，YIN Y H，HUANG S F，et al. The smoke detection for early fire-alarmig system base on video processing[C]. International Conference on Intelligent information Hiding on Multimedia Signal Processing，2006：427-430.

[5] MA L，WU K，ZHU L. Fire Smoke detection in video images using Kalman filter and Gaussian mixture color model[C]. International Conference on Artificial Intelligence and Computational Intelligence，IEEE Computer Society，2010：484-489.

[6] AVGERINAKIS K，BRIASSOULI A，KOMPATSIARIS I. Smoke detection using temporal Hoghof descriptors and energy colour statistics from video[C]. International Workshop on Multi-Sensor Systems and Networks for Fire Detection and Management，2012.

[7] 傅天駒，鄭嫦娥，田野，等. 復(fù)雜背景下基于深度卷積神經(jīng)網(wǎng)絡(luò)的森林火災(zāi)識(shí)別[J]. 計(jì)算機(jī)與現(xiàn)代化，2016（3）：52-57.

[8] 陳俊周，汪子杰，陳洪瀚，等. 基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的視頻動(dòng)態(tài)煙霧檢測(cè)[J]，電子科技大學(xué)學(xué)報(bào)，2016，46（6）：992-996. .

[9] 李紅娣，袁非牛. 采用金字塔紋理和邊緣特征的圖像煙霧檢測(cè)[J]. 中國(guó)圖象圖形學(xué)報(bào)，2015，20（6）：772-780.

[10] 王欣剛，魏崢，劉東昌，等. 基于煙霧動(dòng)態(tài)特征分析的實(shí)時(shí)火災(zāi)檢測(cè)[J]. 計(jì)算機(jī)技術(shù)與發(fā)展，2008，18（11）：9-12.

[11] TOREYIN B U，DEDEOGLU Y，CETIN A E. Wavelet based realtime smoke detection in video[C]. European Signal Processing Conference，Antalya，Turkey Elsevier Press，2005：255-258.

[12] 王濤，劉淵，謝振平. 一種基于飄動(dòng)性分析的視頻煙霧檢測(cè)新方法[J]. 電子與信息報(bào)，2011，35（5）：1024-1029.

[13] 袁非牛，張永明，劉士興，等. 基于累積量和主運(yùn)動(dòng)方向的視頻煙霧檢測(cè)方法[J]. 中國(guó)圖像圖形學(xué)報(bào)，2008，13（4）：808-813.

[14] FUJIWARA N，TERADA K. Extraction of a smoke region using fractal cording[C]. International Smposium on Communication and Information Technologies，2004：26-29.

[15] KAPILOVIE I，VAGVOLGYI B，SZIRANYI T. Application of panoramic annular lens for motion analysis tasks：surveillence and smoke dection[C]. International Conference on Pattern Recognition，2000：714-717.

[16] TAO C Y， ZHANG J， WANG P. Smoke detection based on deep convolutional neural network[C]. International Conference on Industrial Informatics-Computing Technollogy，Intelligent Technology，Industrial Infortrial Information，2016：150-153.

[17] FRIZZI S，KAABI R，BOUCHOUICHA M，et al. Convoltionalneural network for video fire and smoke detection[C]. IECON 2016-42nd Annual Conference of the IEEE Electronics Society，2016：877-882.

[18] YIN Z J，WAN B Y，YUAN F N，et al. A deep normalization and convolutional neural network for image smoke detection[J]. IEEE Access，2017（5）：18429-18438.

[19] 汪子杰. 基于深度神經(jīng)網(wǎng)絡(luò)的視頻煙霧檢測(cè)[D]. 成都：西南交通大學(xué)，2016.

[20] LUO Y，ZHAO P，LIU D. Fire smoke detection algorithm based on motion characteristic and convolutional neural network[J]. Multimedia Tools，2017， 77（6）：15075-15092.

（責(zé)任編輯：杜能鋼）