許文倩

（福建省特種設(shè)備檢驗(yàn)研究院，福州 350008）

應(yīng)急管理部消防救援局在2021年2月1日發(fā)布了2020年全國火災(zāi)情況：2020年全年全國消防救援隊(duì)共接報(bào)火災(zāi)25.2萬起，死亡1183人，受傷775人，直接財(cái)產(chǎn)損失40.09億元. 為了減少火災(zāi)對(duì)生命與財(cái)產(chǎn)造成的損失，在火災(zāi)初期發(fā)現(xiàn)火源、定位火源具有重大意義.

現(xiàn)階段普遍采取煙霧報(bào)警器、紅外探測(cè)器以及人工監(jiān)控等方法對(duì)火災(zāi)進(jìn)行預(yù)警以及識(shí)別. 然而，此類檢驗(yàn)方法存在滯后性，傳統(tǒng)監(jiān)控方法對(duì)濃煙等模糊環(huán)境易形成誤判，在有可燃?xì)怏w、可燃物的環(huán)境中對(duì)點(diǎn)火、抽煙此類微小火源或動(dòng)作等所導(dǎo)致的火災(zāi)常常出現(xiàn)漏判等等問題. 近年來，隨著計(jì)算機(jī)視覺（computer version）以及深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural networks）等算法的蓬勃發(fā)展，此類微小或復(fù)雜的火源圖像特征可通過深層神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練或?qū)W習(xí)，從而提高模型對(duì)現(xiàn)實(shí)的表達(dá)能力［1-4］. 因此，本研究通過初步分析火焰結(jié)構(gòu)、采用特征融合等方法［5-6］搭建多層卷積神經(jīng)網(wǎng)絡(luò)，將火源作為火災(zāi)引發(fā)的重要因素，在傳統(tǒng)監(jiān)控、中控系統(tǒng)加入機(jī)器視覺的方法對(duì)目標(biāo)進(jìn)行跟蹤檢測(cè)，如圖1所示. 當(dāng)監(jiān)控系統(tǒng)檢測(cè)到火源時(shí)將信號(hào)反饋回中控并報(bào)警，使工作人員迅速獲取火源信息. 該系統(tǒng)有助于在火源初期進(jìn)行定位與預(yù)警，正確合理輔助滅火救援，從源頭控制火災(zāi)發(fā)生與火勢(shì)蔓延，避免人員以及財(cái)產(chǎn)損失.

圖1 火源預(yù)警監(jiān)控系統(tǒng)Fig.1 Fire source warning and monitoring system

該系統(tǒng)的檢測(cè)核心為搭建針對(duì)火源的目標(biāo)檢測(cè)算法，目前常用的目標(biāo)檢測(cè)方法有R-CNN（Regions with Convolutional Neural Network）、Fast R-CNN（Fast Regions with Convolutional Neural Network）、SSD（Single Shot Detector）、YOLO（You Only Look Once）等. 其中YOLO 系列網(wǎng)絡(luò)可將整張圖片作為網(wǎng)絡(luò)的輸入，結(jié)果返回輸出層所回歸的邊界框位置及其所屬類別，該方法是目前業(yè)界最先進(jìn)的物體檢測(cè)的方法之一. 它具有處理速度快、檢測(cè)精度高，并且能完成不同尺度大小的目標(biāo)檢測(cè)的能力［7］. 該方法已用于安全帽佩戴檢測(cè)［8-10］、遙感影像目標(biāo)檢測(cè)［11］、道路信息檢測(cè)［12-13］、行人檢測(cè)［14-15］、工件零件識(shí)別［16］等. YOLO 系列第三版檢測(cè)算法YOLO v3，在小目標(biāo)檢測(cè)精度上有顯著提高［17］. 因此，本研究采用基于YOLO v3 網(wǎng)絡(luò)結(jié)構(gòu)，以火源作為目標(biāo)搭建檢測(cè)系統(tǒng)，從而提高火源檢測(cè)的準(zhǔn)確度.

此外，在數(shù)據(jù)集收集方面，采樣火源樣本以及火災(zāi)現(xiàn)場(chǎng)存在危險(xiǎn)性，使得采樣難度大、數(shù)據(jù)集稀少，對(duì)算法優(yōu)化造成了困難. 因此，研究采用虛擬現(xiàn)實(shí)仿真技術(shù)，模擬真實(shí)環(huán)境靜態(tài)和動(dòng)態(tài)特性［18］，選用Unity 3D仿真軟件對(duì)火源場(chǎng)景進(jìn)行模擬，增加數(shù)據(jù)樣本，提高收集數(shù)據(jù)的效率，并為樣本的多樣性提供了有力支持.

由于傳統(tǒng)監(jiān)控系統(tǒng)配置圖形處理器（GPU）存在升級(jí)費(fèi)用高、改造難度大等問題. 因此，研究采用python 作為控制語言，搭建一種基于YOLO v3、可嵌入中央處理器（CPU）運(yùn)行監(jiān)控、中控的火源預(yù)警監(jiān)控系統(tǒng)，系統(tǒng)設(shè)計(jì)具體過程如圖2所示. 通過現(xiàn)實(shí)與虛擬仿真采樣數(shù)據(jù)集，根據(jù)火源圖像特征進(jìn)行圖像增強(qiáng)，構(gòu)建目標(biāo)檢測(cè)網(wǎng)絡(luò)，基于QT搭建監(jiān)控軟件接口，對(duì)危險(xiǎn)火源進(jìn)行預(yù)警，并記錄預(yù)警時(shí)間信息. 實(shí)驗(yàn)結(jié)果表明，該軟件具有較高準(zhǔn)確率，可在CPU環(huán)境下運(yùn)行檢測(cè)，并滿足火源檢測(cè)預(yù)警的需求.

圖2 監(jiān)控系統(tǒng)結(jié)構(gòu)Fig.2 Structure of warning and monitoring system

1 數(shù)據(jù)集采樣與處理

1.1 網(wǎng)絡(luò)數(shù)據(jù)采樣

樣本收集采用虛擬現(xiàn)實(shí)混合方法進(jìn)行，其中現(xiàn)實(shí)樣本數(shù)據(jù)主要來源于百度開放數(shù)據(jù)集（https：//aistudio.baidu.com/）、fire image data set for dunnings 2018 study（https：//collections.durham.ac.uk/）等互聯(lián)網(wǎng)數(shù)據(jù). 對(duì)部分火源火災(zāi)視頻樣本采用OpenCV分割視頻幀，將其改變?yōu)閳D片格式的數(shù)據(jù)樣本［19］.

1.2 現(xiàn)場(chǎng)仿真

由于火源情況多變，且室內(nèi)事故現(xiàn)場(chǎng)樣本稀少. 為此，采用Unity 3D 對(duì)事故進(jìn)行仿真（圖3）從而增加樣本數(shù)據(jù)量，擴(kuò)大火源種類覆蓋率.

圖3 火災(zāi)現(xiàn)場(chǎng)室內(nèi)仿真案例Fig.3 Indoor simulation of fire scenes

1.3 圖像增廣

由于現(xiàn)實(shí)監(jiān)控中，監(jiān)控圖像分析對(duì)火源探測(cè)存在小樣本以及模糊樣本的問題. 為了使火源在火苗階段即可檢測(cè)預(yù)警，在研究中對(duì)該類現(xiàn)象進(jìn)行模擬仿真，將部分?jǐn)?shù)據(jù)集濾波并進(jìn)行圖像模糊. 圖像濾波變換如公式（1）：

其中：f(x,y)為原始圖像；g(x,y)為濾波圖像；k為模糊核（傳遞函數(shù)）；n為其他視覺噪聲［20］.

將圖像中每一個(gè)像素f(xi,yi)的取值重置為周邊相關(guān)像素的均值、中位值等.γ為該像素取值與周邊像素的模糊半徑，則像素f(xi,yi)相關(guān)取值的像素點(diǎn)為f(xi±γ,yi±γ)，當(dāng)γ=1 時(shí)，與像素f(xi,yi)相關(guān)取值的像素點(diǎn)為f(xi±1,yi±1). 因此，γ越大，圖像失真越嚴(yán)重，對(duì)應(yīng)的視覺效果越模糊，從而實(shí)現(xiàn)圖像增廣的目的［21］.模糊案例如圖4所示，將原始樣本進(jìn)行了均值濾波，左圖原始圖片，右圖為模糊效果圖.

圖4 測(cè)試樣本模糊處理Fig.4 Blur processing of test sample

1.4 數(shù)據(jù)集標(biāo)注

在數(shù)據(jù)集標(biāo)注方面，采用圖像標(biāo)注工具labelme 對(duì)火源圖片進(jìn)行打標(biāo). 現(xiàn)實(shí)火源以及火災(zāi)現(xiàn)場(chǎng)中，火焰與傳播媒介、煙霧等會(huì)同時(shí)存在，木柴等引火物體作為火源標(biāo)定誤判的影響因素，標(biāo)定期間盡量避免框入檢測(cè)范圍. 此外，增加類火顏色物體，如發(fā)光物，木色、黃色物品等圖片的采樣與仿真，并針對(duì)性地對(duì)火焰區(qū)域進(jìn)行標(biāo)注，從而避免此類情況引起的誤報(bào).

2 目標(biāo)檢測(cè)算法

研究采用了YOLO v3作為檢測(cè)主干網(wǎng)絡(luò)，采用多尺度融合結(jié)構(gòu)，保障大小物體識(shí)別率，在檢測(cè)前期對(duì)監(jiān)控圖像進(jìn)行增強(qiáng)預(yù)處理，提高識(shí)別效果.

2.1 圖像預(yù)處理

在監(jiān)控狀態(tài)下，室內(nèi)、夜晚等環(huán)境狀態(tài)圖片存在光線不明、像素較低等問題. 因此，增強(qiáng)圖片對(duì)比度與亮度有助于提高識(shí)別效果. 火源作為火災(zāi)引發(fā)的導(dǎo)火索，在火焰中心普遍比周圍亮度高. 因此，采用線型變化增強(qiáng)方法將輸入網(wǎng)絡(luò)圖片進(jìn)行預(yù)處理，如式（2）所示：

式中：I(r,c)為原始圖片像素點(diǎn)；O(r,c)為增強(qiáng)圖片像素點(diǎn)；H、W分別為圖像高度與寬度. 研究設(shè)置a=1.2增強(qiáng)對(duì)比度，b=10 提高亮度從而提高火源提取效果.

2.2 火源檢測(cè)網(wǎng)絡(luò)

主干網(wǎng)絡(luò)采用YOLO v3，Darknet53 作為特征提取網(wǎng)絡(luò)主體［17］，包含53 個(gè)卷積層. 為了避免梯度消失和梯度爆炸的問題，借鑒了殘差網(wǎng)絡(luò)（residual network）結(jié)構(gòu)，在層間設(shè)置快捷鏈路（shortcut connections）. Darknet53網(wǎng)絡(luò)殘差單元由ResX以1、2、8、8、4的數(shù)量組成5個(gè)殘差模塊堆疊而成. 殘差模塊ResX由DBL 單元和若干個(gè)Resunit 組合而成，其中，DBL 為深度卷積，Resunit 將輸入的特征圖進(jìn)行兩次卷積堆疊.

輸入的樣本圖片經(jīng)過大小重塑，統(tǒng)一尺寸為416×416，經(jīng)過5 個(gè)步長為2 的殘差模塊下采樣，分別得到5 個(gè)尺度的特征圖. 為了加強(qiáng)算法對(duì)小目標(biāo)檢測(cè)的精確度，采用類似特征金字塔FPN（feature pyramid networks）的upsample和融合方法，輸出為13×13×1024的特征圖. 融合多層特征，預(yù)測(cè)層的特征圖深度按式3×（5+C）計(jì)算，5表示預(yù)測(cè)框的寬度、高度、中心點(diǎn)橫縱坐標(biāo)以及網(wǎng)格置信度，C表示總類別數(shù)［17］. 研究中火源作為被測(cè)目標(biāo)，即C=1，因此，檢測(cè)網(wǎng)絡(luò)將在y1（18，13，13）、y2（18，26，26）、y3（18，52，52）共3個(gè)不同尺度的特征圖上完成檢測(cè). 其網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示.

圖5 YOLO v3 檢測(cè)結(jié)構(gòu)［9］Fig.5 The structure of YOLO v3

網(wǎng)絡(luò)采用目標(biāo)邊界預(yù)測(cè)方法，如圖6所示，以特征圖左上角為原點(diǎn)，預(yù)測(cè)框位置偏移量為cx、cy，每個(gè)小格的長度為1. 在416×416尺度下對(duì)目標(biāo)框中心點(diǎn)橫、縱坐標(biāo)偏移值，寬度與高度尺度縮放網(wǎng)絡(luò)預(yù)測(cè)輸出的大小為(tx,ty,tw,th)，pw與ph為目標(biāo)框的映射寬與高. 采用sigmoid函數(shù)(σ)對(duì)tx、ty進(jìn)行歸一化處理，通過tw、th與pw、ph相互作用后，轉(zhuǎn)換預(yù)測(cè)框?yàn)橄鄬?duì)于圖片的坐標(biāo)(bx,by,bw,bh). 預(yù)測(cè)結(jié)果按下式計(jì)算：

圖6 邊框位置預(yù)測(cè)示意圖Fig.6 Schematic diagram of bounding box position prediction

此外，YOLO v3 預(yù)測(cè)采用錨框計(jì)算方法，利用K均值聚類（kmeans clustering）粒子群，為每類下采樣設(shè)定3種先驗(yàn)框尺寸［17］，總共聚類出9種尺寸的錨框，研究依據(jù)火源識(shí)別數(shù)據(jù)集進(jìn)行維度重聚類，采用的9個(gè)錨框分別為（10，14）（19，16）（23，31）（37，64）（38，14）（43，46）（51，32）（76，60）（109，98）.

3 實(shí)驗(yàn)設(shè)計(jì)、效果

研究采用Anaconda 環(huán)境，Python3.7 語言，PyCharm 編輯器進(jìn)行，基于Keras并可以在CPU模式運(yùn)行. 算法采用仿真圖片與現(xiàn)實(shí)采樣相結(jié)合進(jìn)行訓(xùn)練與驗(yàn)證，共使用4540 張訓(xùn)練樣本，600 張優(yōu)化集以及125 張測(cè)試樣本，識(shí)別效果如圖7所示. 經(jīng)驗(yàn)證，該算法的火源識(shí)別MAP可達(dá)87.2%，該網(wǎng)絡(luò)具有良好的泛化能力和健壯性，在滿足檢測(cè)要求的前提下，具有較高的檢測(cè)精度，滿足應(yīng)用要求.

圖7 火源檢測(cè)效果圖Fig.7 Fire detection results of test samples

此外，研究基于QT設(shè)計(jì)軟件接口，連接傳統(tǒng)監(jiān)控系統(tǒng)并測(cè)試檢測(cè)性能如圖8所示. 使用訓(xùn)練好的模型來檢測(cè)火源以及火災(zāi)險(xiǎn)情，當(dāng)檢測(cè)出火焰出現(xiàn)于監(jiān)控檢測(cè)的視野中，系統(tǒng)將發(fā)出預(yù)警，警告時(shí)間、內(nèi)容將被用戶記錄保存. 測(cè)試證明，該方法檢測(cè)精度較好，對(duì)火災(zāi)險(xiǎn)情有預(yù)警作用.

圖8 報(bào)警和檢測(cè)系統(tǒng)的檢測(cè)軟件界面（左：待檢狀態(tài)，右：檢測(cè)狀態(tài)）Fig.8 The detection interfaces of the warning and monitoring system（left：initial state，right：inspecting state）

4 結(jié)論與展望

研究設(shè)計(jì)基于YOLO v3的火源預(yù)警監(jiān)控系統(tǒng)，有效升級(jí)傳統(tǒng)監(jiān)控系統(tǒng)，數(shù)據(jù)集采用仿真結(jié)合實(shí)際混合采樣增廣方法，可實(shí)現(xiàn)針對(duì)多場(chǎng)景小目標(biāo)火源進(jìn)行檢測(cè)，并采用圖像增強(qiáng)預(yù)處理方法，有效增強(qiáng)識(shí)別火源能力，有助于防范火災(zāi)于未然.

由于目前火源數(shù)據(jù)圖片較少，下一步將繼續(xù)根據(jù)研究提出的仿真以及添加不同濾波方法進(jìn)行圖像增廣，從而提升網(wǎng)絡(luò)系統(tǒng)識(shí)別能力. 此外，預(yù)警監(jiān)控系統(tǒng)將結(jié)合煙霧報(bào)警器、探測(cè)系統(tǒng)等傳感器，進(jìn)行多傳感器融合分析，進(jìn)一步提高目標(biāo)檢測(cè)精度和檢測(cè)速度.