苗利明，邱樹偉，張杰洵，梁馮斌

(1.韓山師范學院計算機與信息工程學院，廣東 潮州 521041；2.北京鼎漢技術(shù)集團股份有限公司，廣東 深圳 518101)

miaolm@hstc.edu.cn;swqiu@hstc.edu.cn;546572809@qq.com;811678717@qq.com

1 引言(Introduction)

古建筑是我國傳統(tǒng)文化的載體，具有豐富而復雜的內(nèi)涵和文物價值，是人類物質(zhì)和非物質(zhì)遺產(chǎn)的重要組成部分，具有獨特的歷史、藝術(shù)和科學價值。古建筑的火災荷載大、耐火等級低，因此其火災危險性較高。近10 年來，國內(nèi)多處古建筑發(fā)生了不同程度的火災事故，因此關(guān)于火災檢測的研究也越來越多[1]。王皎等以古建筑山西圣母殿為例，模擬了其火災發(fā)生和發(fā)展過程[2]。田水承等采用PyroSim軟件研究了不同位置的感溫探測器的選型問題[3]。郭子東等研究了消防設施和探測器的合理設置[4]。帥建強研究了古建筑火災的發(fā)展蔓延規(guī)律，以及合理布置火災探測器的方法[5]。王彥等對徽派古建筑群中提取的模型進行了火災數(shù)值模擬研究[6]。朱強對古建筑的簡化模型進行了溫度場的求解與分析[7]。然而，古建筑火災超早期階段產(chǎn)生的氣體極少，使得溫度和視頻圖像變化不明顯。因此，有必要結(jié)合熱感成像、視頻流檢測和圖像處理技術(shù)，對古建筑火災超早期檢測的方法進行研究。

2 系統(tǒng)架構(gòu)(System architecture)

2.1 系統(tǒng)功能模塊與層次結(jié)構(gòu)

依據(jù)古建筑管理人員及地區(qū)消防部門的需求，設計系統(tǒng)業(yè)務流程如圖1所示。首先在古建筑中安裝感知節(jié)點，用來采集所需要的數(shù)據(jù)，采集到的數(shù)據(jù)通過通信模組發(fā)送到邊緣計算節(jié)點，由部署在邊緣計算節(jié)點上的火災檢測算法對數(shù)據(jù)進行檢測。然后將邊緣計算節(jié)點檢測的結(jié)果及古建筑環(huán)境信息通過NB-IoT模組上傳到物聯(lián)網(wǎng)公有云。用戶可以通過移動端應用程序獲取公有云數(shù)據(jù)，能及時收到火情的預警并進行火情監(jiān)管。根據(jù)消防業(yè)務流程及功能需求，將系統(tǒng)劃分為信息采集傳輸、火情檢測、服務應用三個主要模塊，系統(tǒng)層次結(jié)構(gòu)如圖2所示。

圖1 系統(tǒng)核心業(yè)務流程圖Fig.1 Flow chart of system core business

圖2 系統(tǒng)層次結(jié)構(gòu)圖Fig.2 System hierarchy diagram

2.2 系統(tǒng)硬件組成

系統(tǒng)依據(jù)物聯(lián)網(wǎng)技術(shù)棧，將系統(tǒng)硬件部分劃分為端、邊、管、云和應用五個部分。

2.2.1 端

端(感知層)主要由紅外熱成像模組、煙霧傳感器、溫度和濕度傳感器等組成，其功能是采集古建筑環(huán)境數(shù)據(jù)，這部分對應于系統(tǒng)層次結(jié)構(gòu)中的信息采集模塊。物體熱感圖像信息通過紅外熱成像模組采集，熱感圖像像素值的大小與物體之間的溫度差正相關(guān)。感知端采用多點式結(jié)構(gòu)建立無線傳感網(wǎng)絡，具體來說，它是以多個感知節(jié)點為一組，將一組感知節(jié)點的信息通過無線網(wǎng)絡傳輸模塊發(fā)送。

2.2.2 邊

邊(控制層)包括一個物聯(lián)網(wǎng)網(wǎng)關(guān)和一個邊緣計算節(jié)點，它們共同處理和計算感知節(jié)點的數(shù)據(jù)，并把數(shù)據(jù)傳輸?shù)轿锫?lián)網(wǎng)公有云?？刂茖优c信息采集傳輸、火情檢測、端云服務功能模塊相對應。物聯(lián)網(wǎng)網(wǎng)關(guān)由單片機、Wi-Fi模塊、NB-IoT模塊組成，由單片機控制Wi-Fi模塊與各感知節(jié)點進行無線通信；對采集到的數(shù)據(jù)進行解析，將數(shù)據(jù)包內(nèi)的圖像信息傳送到邊緣計算節(jié)點進行運算，然后由NB-IoT模組將數(shù)據(jù)傳送到物聯(lián)網(wǎng)公共云。

2.2.3 管

系統(tǒng)使用Wi-Fi及NB-IoT作為通信方式，管(傳輸層)對應系統(tǒng)層次結(jié)構(gòu)中的數(shù)據(jù)傳輸模塊。

2.2.4 云

云(云應用)是一個以服務器為基礎(chǔ)的平臺，它與物聯(lián)網(wǎng)網(wǎng)關(guān)之間進行數(shù)據(jù)對接，對數(shù)據(jù)進行存儲和響應客戶端請求，應用層對應系統(tǒng)層次結(jié)構(gòu)中的端云服務模塊。

2.2.5 應用

應用，即客戶端。本系統(tǒng)采用手機和微信小程序兩種用戶級應用，用戶可以通過手機和微信與物聯(lián)網(wǎng)公有云進行交互，實現(xiàn)對古建筑的監(jiān)控、遠程火災報警和火災隱患預警；客戶端與系統(tǒng)層次結(jié)構(gòu)中的移動應用模塊相對應。

3 感知節(jié)點數(shù)據(jù)采集與傳輸(Acquisition and transmission of sensing node data)

3.1 感知節(jié)點數(shù)據(jù)采集

感知節(jié)點的功能是采集古建筑的環(huán)境信息，數(shù)據(jù)結(jié)構(gòu)如下：

3.1.1 熱感圖像采集

紅外熱感成像模組采集目標物體的熱感圖像，熱感成像模組中的紅外傳感器將物體發(fā)射的紅外信息轉(zhuǎn)化為電信號發(fā)送給熱感圖像處理單元，熱感圖像處理單元的外圍電路為外部提供了一個傳輸接口，因而從屬模組可以獲得紅外熱感圖像，行數(shù)據(jù)校驗采用循環(huán)冗余校驗碼(CRC)，其程序流程如圖3所示。

圖3 熱感圖像采集程序流程圖Fig.3 Program flow chart for the thermal image acquisition

3.1.2 煙霧濃度數(shù)據(jù)采集

在實際應用中，由于古建筑所處的環(huán)境與試驗環(huán)境不同，所以在使用煙霧傳感器時，必須先對處于潔凈空氣中的傳感器輸出數(shù)據(jù)進行測量，然后將該數(shù)據(jù)作為參考對煙霧傳感器進行校正。當感知節(jié)點中的微控制器通過模擬接口獲取到電壓值后，需要進行模擬值到數(shù)字值的轉(zhuǎn)換，轉(zhuǎn)換后的輸出值可用于計算當前環(huán)境的煙霧濃度。

3.1.3 溫度和濕度數(shù)據(jù)采集

當信息采集節(jié)點向溫濕度傳感器發(fā)出“開始”的信號后，傳感器輸出溫度和濕度信號，當“開始”信號停止發(fā)送時，溫濕度傳感器向信息采集節(jié)點回復響應并發(fā)送數(shù)據(jù)，最后發(fā)送“結(jié)束”信號，表示完成一次數(shù)據(jù)傳輸。

3.2 感知節(jié)點數(shù)據(jù)傳輸

感知節(jié)點與網(wǎng)關(guān)節(jié)點之間的數(shù)據(jù)通信通過Wi-Fi無線局域網(wǎng)實現(xiàn)。網(wǎng)關(guān)節(jié)點為服務器端，感知節(jié)點為客戶端，多個感知節(jié)點作為客戶端連接到網(wǎng)關(guān)節(jié)點。由于服務器端是通過感知節(jié)點的靜態(tài)IP判斷節(jié)點位置，所以在為客戶端節(jié)點分配IP時，首先要避開已部署的感知節(jié)點靜態(tài)IP段，然后對服務器端的動態(tài)主機配置協(xié)議進行配置。感知節(jié)點通電后，會根據(jù)配置程序中的設定連接網(wǎng)關(guān)節(jié)點，當客戶端連接服務器端后，服務器端會執(zhí)行連接回調(diào)函數(shù)，將當前的連接會話進行保存，把連接的地址信息存入節(jié)點地址信息表中；通過存儲的地址表進行查找即可定位該節(jié)點在古建筑的具體方位。

4 陰燃點探測算法(Smoldering point detection algorithm)

火災的發(fā)展過程需要經(jīng)過多個階段，國家標準《點型感煙火災探測器》(GB 4715—2005)中將陰燃階段定義為處于火災產(chǎn)生過程中的超早期，該階段的主要特征是起火物質(zhì)堆積發(fā)熱或由其他外界能量造成可燃物內(nèi)部分子激烈運動，導致其熱解反應，可燃物溫度緩慢上升且釋放出氣體或液體蒸氣。氣體或液體蒸氣含量極低，濃度與火災未發(fā)生時差距不大，因而此階段最主要的特征是物體溫度的變化。在火災發(fā)展的陰燃階段，物體陰燃點隨著時間的推移由燃燒中心向周圍逐步擴散，是一個動態(tài)且連續(xù)變化的過程。

4.1 實驗場景搭建

在熱成像模組前方擺放香燭，在香燭后方放置一塊木板，木板后面加上點狀火源，點狀火源的熱量會逐漸穿透木板并被紅外熱成像模組檢測到。圖4(a)為燃燒的香火及后面的木板，圖4(b)是該圖灰度圖，圖4(c)為熱成像模組獲取的紅外熱感圖像，是一幅分辨率為80×60 像素、16 位深度的單通道灰度圖像。圖4中，熱感圖中的亮點表示正在燃燒的燭火和香火，由于木板后面的點狀火源產(chǎn)生的熱量還沒有穿透木板，因此在熱感圖像中沒有顯示。

圖4 實驗場景及熱感圖像示例Fig.4 Example of experimental scenarios and thermal sensing images

4.2 陰燃點特征分析

截取陰燃點產(chǎn)生前后的熱感圖像(間隔2 min)，繪制其直方圖并進行比對分析。雖然兩幅圖像在時間上間隔較長，但是圖像之間的灰度值差異較小，灰度分布差異不大，陰燃點的特征不夠明顯。采用固定閾值和區(qū)域自適應閾值方法對熱感圖像進行分析發(fā)現(xiàn)，當陰燃點剛出現(xiàn)時，陰燃點與周邊區(qū)域的對比度較弱，并且與周邊干擾熱源像素相互混合，采用閾值法無法區(qū)分這類變化。當閾值法可以檢測到像素差異的時候，火災超早期已經(jīng)接近尾聲。有學者提出基于圖像處理技術(shù)實現(xiàn)的火災早期煙霧自檢系統(tǒng)，為火災早期探測提供了一種思路[8]，但對于大多數(shù)易燃物來說，火災早期產(chǎn)生的煙霧很少，使得這種依靠煙霧檢測方法的泛化性受到限制。本文依據(jù)熱感成像的特點，針對ARM Cortex-M3模組設計了幀間差分算法。

4.3 陰燃點檢測算法

幀間差分法是通過視頻圖像序列的連續(xù)兩幀圖像做差分運算獲取運動目標輪廓的方法。當相鄰兩幀圖像之間出現(xiàn)較為明顯的差別時，這兩幀圖像對應位置的像素值差絕對值大于零。此時，只有判斷這個絕對值是否大于某一閾值，就可以得到圖像序列中物體變化的特性，數(shù)學公式描述如下：

在實驗中發(fā)現(xiàn)，陰燃點在熱感成像中變化時間周期較長，相鄰兩幀之間的差異非常小。通過對連續(xù)采集的31 幀熱感圖像的高溫區(qū)域進行分析，得到了比較明顯的特征，這里的高溫區(qū)域是指陰燃點像素的數(shù)量。對于實驗用的木板類可燃物，當木板上有陰燃點出現(xiàn)時，木板表面溫度在50—110 ℃的范圍內(nèi)變化，對應的熱感圖像像素值范圍為300—1,399。如圖5所示，對31 幀熱感圖像序列中像素值為300—1,399的像素點繪制折線圖，可以看到曲線整體的變化幅度較大，這表明木板后面的燃燒點熱量越來越大，使木板的表面溫度升高，高溫區(qū)域逐漸擴大(陰燃點逐漸擴大)，因此曲線整體呈上升趨勢。

圖5 高溫區(qū)域變化折線圖Fig.5 Line chart of smoldering point area change process

分析比對連續(xù)31 幀圖像的數(shù)據(jù)得出：正常情況下圖像的變化是穩(wěn)定的，當有陰燃點出現(xiàn)時，圖像高溫區(qū)域像素數(shù)量變化明顯。因此，本文采用相隔七幀的兩幅圖像進行計算，即。依據(jù)實驗數(shù)據(jù)，閾值選擇為“3”,當有連續(xù)五次超出閾值的檢測結(jié)果時，就判定為出現(xiàn)陰燃點。

算法的程序設計語言(PDL)簡要描述如下：(1)陰燃點檢測過程開始；(2)讀入熱感圖像；(3)暫存熱感圖像；(4)暫存圖像數(shù)量為10 幀；(5)計算；(6)刪除第一幀圖像并更改其余幀編號；(7)新采集幀進入暫存；(8)判斷超出閾值的差分結(jié)果的計數(shù)；(9)判斷是否出現(xiàn)陰燃點；(10)陰燃點檢測過程結(jié)束。

陰燃點檢測算法運行時首先讀入采集到的熱感圖像，計算圖像中像素值范圍在300—1,399的區(qū)域并進行暫存，當圖像序列里保存的圖像數(shù)量達到10 幀時開始計算圖像序列的幀間差分，當有新的圖像進入序列時，將圖像序列中最早的一張圖像刪除，更改其余幀的編號，然后存儲當前圖像。

實際的火災現(xiàn)場中，陰燃點不會單獨出現(xiàn)，也會出現(xiàn)非陰燃點因素，例如打火機打火時出現(xiàn)的短暫火焰，蠟燭火苗的跳動，較粗的香燭在燃燒過程中也經(jīng)常會出現(xiàn)燃燒點忽大忽小的情況，我們將這些情況作為非陰燃點的干擾進行判斷和處理。通過實驗歸納了一些干擾情況的特點，一是突然有大面積的火焰出現(xiàn)，然后又突然消失；二是在高溫區(qū)域較快地發(fā)生區(qū)域擴大的情況，但這種情況不會持續(xù)很久，而且高溫區(qū)域又較快地縮??；三是高溫區(qū)域的位置會發(fā)生較小的變化，位置變化的同時高溫區(qū)域的大小也發(fā)生變化。對于第一種情況，高溫區(qū)域大小的數(shù)值在箱線圖中表現(xiàn)為離群點，數(shù)值超出了三倍標準差；在陰燃點檢測算法中對這種離群點的處理方法是設置一個閾值作為約束條件，超出閾值的離群點不進行處理。對于第二種情況，高溫區(qū)域大小較快地變化相當于高頻變化，但是由于陰燃點區(qū)域變化比較緩慢，陰燃點檢測算法是相隔七幀進行一次差分運算，相當于是低頻變化，因此這種在高溫區(qū)域出現(xiàn)的較快的區(qū)域大小變化會被過濾掉。第三種情況主要是蠟燭火焰的跳動，高溫區(qū)域的位置和大小都會變化，但是在紅外熱成像中的表現(xiàn)是高溫區(qū)域的數(shù)值基本沒有變化，在陰燃點檢測算法中，在當前幀高溫區(qū)域像素的平均值與第七幀的平均值的差小于當前幀平均值的5%時，就作為非陰燃點處理。

為了驗證算法的有效性，研究人員將算法部署到嵌入式模組中。嵌入式模組主頻為72 MHz，外部晶振的頻率為8 MHz，靜態(tài)隨機存儲器為64 kB。在測試實驗中共采集3,607 幀有陰燃點的圖片序列，不用幀間差分法時，采集速率為8 幀/秒，準確率低于70%；使用本文算法時采集速率為6 幀/秒，準確率達到了75%。

5 數(shù)據(jù)收發(fā)(Data sending and receiving)

在無線網(wǎng)絡模塊收到感知節(jié)點的信息后，由接收回調(diào)函數(shù)對接收到的數(shù)據(jù)進行報頭驗證，驗證完成后將數(shù)據(jù)傳輸至邊緣節(jié)點。邊緣節(jié)點將檢測結(jié)果通過串口發(fā)送給網(wǎng)關(guān)節(jié)點，觸發(fā)網(wǎng)關(guān)節(jié)點的串口接收中斷，并同步檢測結(jié)果。網(wǎng)關(guān)節(jié)點的微控制器與NB-IoT模組之間的通信設計采用了異步回調(diào)的設計。微控制器向NB-IoT模組發(fā)出指令，將NB-IoT模組設置為消息接收狀態(tài)。當串口接收到NB-IoT模組的響應信息之后，中斷函數(shù)會根據(jù)消息接收標識進行指令匹配，以此判斷指令的執(zhí)行情況。出現(xiàn)火情時，網(wǎng)關(guān)節(jié)點向物聯(lián)網(wǎng)公有云上報火情，網(wǎng)關(guān)節(jié)點上報的消息需要指定消息頭和消息唯一標識等參數(shù)。

6 移動應用的功能(Functions of the mobile application)

系統(tǒng)提供了移動端的應用服務，包括登錄、報警、管理等服務。登錄服務包括用戶可登錄的賬戶，也提供了密碼找回和重新設置服務。報警服務除了向用戶發(fā)送報警信息，還向用戶發(fā)送檢測位置的圖像。用戶可以直觀地查看管理的古建筑的環(huán)境信息，還可以添加或刪除管理的古建筑；個人信息管理服務包括查看與設置個人賬戶信息等。

7 結(jié)論(Conclusion)

根據(jù)火災超早期的特點，利用圖像分析技術(shù)設計了檢測古建筑物陰燃點的嵌入式算法，并部署在嵌入式節(jié)點中。多個感知節(jié)點組成局域網(wǎng)絡，然后通過NB-IoT與物聯(lián)網(wǎng)公有云進行信息交互。設計了用戶端移動應用程序，實現(xiàn)了實時檢測、報警和管理功能。