鄭少雄 王衛(wèi)星 周宇飛 吳澤鵬 劉澤乾

摘 ?要：針對(duì)傳統(tǒng)的森林火險(xiǎn)監(jiān)測(cè)存在盲點(diǎn)、實(shí)時(shí)性差、運(yùn)營(yíng)成本高、資源消耗大等問(wèn)題，提出一種基于無(wú)人機(jī)的森林火險(xiǎn)監(jiān)測(cè)系統(tǒng)。利用圖像處理方法設(shè)計(jì)森林火險(xiǎn)監(jiān)測(cè)算法，對(duì)無(wú)人機(jī)采集的圖像數(shù)據(jù)進(jìn)行處理，及時(shí)判斷是否有森林火險(xiǎn)并發(fā)出預(yù)警。試驗(yàn)結(jié)果表明，文章算法的相對(duì)判定準(zhǔn)確率為81.97%，相對(duì)于其他4種方法，相對(duì)判定準(zhǔn)確率較高，該文算法性能優(yōu)于其他算法，可最終實(shí)現(xiàn)森林火險(xiǎn)的監(jiān)測(cè)和預(yù)警功能。

關(guān)鍵詞：無(wú)人機(jī);森林;火險(xiǎn)

中圖分類號(hào)：TP391 ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2021）21-0016-05

Abstract： Aiming at the problems of blind spot， poor real-time performance， high operation cost and large resource consumption in traditional forest fire risk monitoring， a forest fire risk monitoring system based on UAV is proposed. Using the image processing method to design the forest fire risk monitoring algorithm， process the image data collected by UAV， judge whether there is forest fire risk in time and send out early warning. The experimental results show that the relative judgment accuracy of the algorithm used in this paper is 81.97%， compared with the other four methods， the relative judgment accuracy is higher. The performance of this algorithm is better than other algorithms， and can finally realize the function of forest fire risk monitoring and early warning.

Keywords： UAV; forest; fire risk

0 ?引 ?言

隨著社會(huì)的快速發(fā)展，在全球氣候變化與人類活動(dòng)的影響下，人們對(duì)生態(tài)環(huán)境的保護(hù)提出了新要求。森林火險(xiǎn)是八大自然災(zāi)害之一，特別是處于荒野中的森林火險(xiǎn)，具有蔓延快、控制難、破壞性強(qiáng)等特點(diǎn)[1]。森林火災(zāi)會(huì)嚴(yán)重破壞生態(tài)環(huán)境、威脅人們財(cái)產(chǎn)和生命安全。如何及時(shí)準(zhǔn)確地識(shí)別火災(zāi)，已成為森林火險(xiǎn)監(jiān)測(cè)的新要求和新挑戰(zhàn)。

當(dāng)前，森林火險(xiǎn)常用的監(jiān)測(cè)方法包括人工巡邏、塔臺(tái)視頻監(jiān)控和衛(wèi)星遙感等。其中，人工巡邏監(jiān)測(cè)方法可以靈活選擇巡邏路線并深入林區(qū)，機(jī)動(dòng)性強(qiáng)，但受地形地貌影響大、效率低，難以監(jiān)測(cè)盲區(qū);塔臺(tái)視頻監(jiān)控方法借助攝像機(jī)等設(shè)備，可以觀測(cè)到大片森林，但在樹(shù)木密集的區(qū)域存在視覺(jué)盲區(qū)，且缺乏機(jī)動(dòng)性;衛(wèi)星遙感監(jiān)測(cè)方法能大范圍監(jiān)測(cè)，定位準(zhǔn)確，全天候觀測(cè)，但成本較高，只有在形成較大火區(qū)時(shí)才能識(shí)別森林火險(xiǎn)[2]。近年來(lái)，無(wú)人機(jī)技術(shù)快速發(fā)展，其具有飛行速度快、控制方便、實(shí)時(shí)性強(qiáng)等特點(diǎn)，能應(yīng)用于森林火險(xiǎn)監(jiān)測(cè)、火災(zāi)預(yù)防和火險(xiǎn)救援等作業(yè)活動(dòng)[3]。目前，無(wú)人機(jī)已在森林火險(xiǎn)預(yù)防中廣泛應(yīng)用，并發(fā)揮了重要作用。

本文提出基于無(wú)人機(jī)的森林火險(xiǎn)監(jiān)測(cè)預(yù)警系統(tǒng)，能實(shí)現(xiàn)森林火險(xiǎn)監(jiān)測(cè)和預(yù)警功能。首先，無(wú)人機(jī)配備高清攝像頭并由GPS實(shí)時(shí)定位，按預(yù)設(shè)的巡航路線執(zhí)行飛行任務(wù)，確保無(wú)人機(jī)飛行路線覆蓋整個(gè)林場(chǎng)區(qū)域，將盲點(diǎn)降至最低;然后，無(wú)人機(jī)采集的圖像數(shù)據(jù)實(shí)時(shí)傳送到地面遠(yuǎn)程監(jiān)控終端;最后，根據(jù)對(duì)圖像數(shù)據(jù)進(jìn)行分析處理，判斷森林火險(xiǎn)發(fā)生情況，及時(shí)將報(bào)警信息發(fā)送給工作人員以采取救火措施。

1 ?系統(tǒng)總體設(shè)計(jì)

1.1 ?系統(tǒng)硬件設(shè)計(jì)

基于無(wú)人機(jī)的森林火險(xiǎn)監(jiān)測(cè)系統(tǒng)由搭載高清攝像頭的無(wú)人機(jī)平臺(tái)、圖像采集系統(tǒng)和遠(yuǎn)程終端監(jiān)控系統(tǒng)所組成，系統(tǒng)組成框圖如圖1所示。

1.1.1 ?無(wú)人機(jī)平臺(tái)

本系統(tǒng)采用DJI M600無(wú)人機(jī)，配備了高效的電源系統(tǒng)，集成了防塵、自動(dòng)冷卻等功能;能夠額外負(fù)載6 kg以內(nèi)的設(shè)備;在無(wú)額外負(fù)載設(shè)備的情況下可飛行30 min，最大飛行速度為18 m/s（忽略風(fēng)況）。為減少無(wú)人機(jī)飛行過(guò)程對(duì)圖像拍攝的干擾影響，無(wú)人機(jī)配備了DJI-Zenmuse-Z3萬(wàn)向節(jié)攝像機(jī)。該攝像機(jī)支持3.5倍光學(xué)變焦和2倍數(shù)碼變焦，同時(shí)支持30幀/秒的4K超高清視頻錄制。

無(wú)人機(jī)硬件部分主要由圖像采集與傳輸模塊、飛控模塊、通信模塊、GPS[4]模塊組成，如圖2所示，可實(shí)現(xiàn)森林火險(xiǎn)監(jiān)測(cè)數(shù)據(jù)的采集與傳輸、自主定高和飛行控制等功能。

1.1.2 ?遠(yuǎn)程終端監(jiān)控系統(tǒng)

遠(yuǎn)程終端監(jiān)控系統(tǒng)的硬件設(shè)備包括PC端和通信模塊[5]，無(wú)人機(jī)的位置信息和采集的圖像信息等傳輸?shù)竭h(yuǎn)程終端監(jiān)控系統(tǒng)，經(jīng)過(guò)數(shù)據(jù)處理后，工作人員可實(shí)時(shí)查看采集的森林圖像。遠(yuǎn)程終端監(jiān)控系統(tǒng)具有森林火險(xiǎn)監(jiān)測(cè)和報(bào)警功能，當(dāng)發(fā)生森林火險(xiǎn)時(shí)，會(huì)觸發(fā)報(bào)警并提供實(shí)時(shí)預(yù)警信息。

1.1.3 ?圖像采集系統(tǒng)

安裝在無(wú)人機(jī)上的云臺(tái)相機(jī)拍攝森林圖像和視頻數(shù)據(jù)。采用PTZ攝像機(jī)和天創(chuàng)恒達(dá)TC-4000 SD圖像采集卡，將采集到的視頻圖像傳輸?shù)降孛嬲镜腜C監(jiān)控系統(tǒng)。數(shù)據(jù)采集流程如圖3所示。

在圖像數(shù)據(jù)采集過(guò)程中可能發(fā)生丟失幀的情況。當(dāng)處理幀所需的時(shí)間超過(guò)兩個(gè)相鄰幀之間的時(shí)間間隔時(shí)，數(shù)據(jù)容易丟失[6]，縮短幀間處理時(shí)間是實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)采集的關(guān)鍵。本系統(tǒng)中，無(wú)人機(jī)在確定航線后每30 s采集一次視頻信號(hào)，采集的視頻源信號(hào)傳輸至圖像采集卡后，經(jīng)A/D轉(zhuǎn)換再由數(shù)字解碼器進(jìn)行解碼;將數(shù)據(jù)轉(zhuǎn)換成視頻信號(hào)后傳輸給終端。該過(guò)程中，幀捕捉器在輸入視頻中采集圖像數(shù)據(jù)，并在獲取下一幀圖像前將數(shù)據(jù)傳輸給遠(yuǎn)程終端機(jī)，將幀率縮短至5幀每秒，實(shí)現(xiàn)圖像采集卡的視頻采集和壓縮操作并行處理。

1.2 ?系統(tǒng)軟件設(shè)計(jì)

基于無(wú)人機(jī)的森林火險(xiǎn)監(jiān)測(cè)系統(tǒng)的軟件由無(wú)人機(jī)控制系統(tǒng)、數(shù)據(jù)處理與通信系統(tǒng)、遠(yuǎn)程上位機(jī)管理系統(tǒng)等組成，框圖如圖4所示。

1.2.1 ?無(wú)人機(jī)控制系統(tǒng)

無(wú)人機(jī)控制系統(tǒng)除了控制無(wú)人機(jī)的飛行外，還接收來(lái)自無(wú)人機(jī)各模塊的飛行信息，包括路線規(guī)劃、GPS和飛行控制等模塊的信息[7]。

1.2.2 ?數(shù)據(jù)處理與通信系統(tǒng)

在該系統(tǒng)中除了對(duì)采集的森林圖像進(jìn)行數(shù)據(jù)處理外，還對(duì)系統(tǒng)故障、火險(xiǎn)預(yù)警、無(wú)人機(jī)飛行狀態(tài)和用戶登錄等信息進(jìn)行管理。圖像采集和傳輸處理流程圖如圖5所示。

在森林火險(xiǎn)監(jiān)測(cè)系統(tǒng)中，由通信系統(tǒng)保證不同模塊間的數(shù)據(jù)傳輸，實(shí)現(xiàn)無(wú)人機(jī)和遠(yuǎn)程終端監(jiān)控系統(tǒng)間的數(shù)據(jù)交互，確保數(shù)據(jù)能實(shí)時(shí)傳回遠(yuǎn)程終端監(jiān)控系統(tǒng)[8]。該通信系統(tǒng)中各模塊之間的數(shù)據(jù)交互過(guò)程如圖6所示。

通信功能通過(guò)串行端口編程實(shí)現(xiàn)，具體流程為：初始化串行端口InitPort，設(shè)置串行端口的波特率，確認(rèn)串行端口已打開(kāi)，setup PacketConfig初始化數(shù)據(jù)傳輸格式、幀頭、幀尾、幀長(zhǎng)和存儲(chǔ)字節(jié)位置;當(dāng)偵聽(tīng)線程打開(kāi)，data ready設(shè)置為TRUE后才能讀取數(shù)據(jù);讀取數(shù)據(jù)后，data ready設(shè)置為FALSE，否則線程將不再工作;若串行端口不再工作，需要使用ClosePort關(guān)閉該端口，否則無(wú)法打開(kāi)另一個(gè)串行端口[9]。

1.2.3 ?遠(yuǎn)程上位機(jī)管理系統(tǒng)

遠(yuǎn)程上位機(jī)管理系統(tǒng)具有圖像處理與分析、火險(xiǎn)實(shí)時(shí)預(yù)警等功能，如圖7所示。此外，遠(yuǎn)程上位機(jī)管理系統(tǒng)還包括林場(chǎng)基礎(chǔ)信息、圖像處理、數(shù)據(jù)處理、日志管理等界面。

林場(chǎng)基礎(chǔ)信息界面根據(jù)各地市林業(yè)局的劃分，可快速找到相關(guān)林場(chǎng)信息，包括林場(chǎng)的經(jīng)緯度地理信息、植被信息等，幫助工作人員合理部署無(wú)人機(jī)航線。圖像處理與預(yù)警界面將采集的圖像進(jìn)行分析識(shí)別，一旦發(fā)現(xiàn)森林火險(xiǎn)，顯示火險(xiǎn)發(fā)生地理位置并及時(shí)提醒工作人員。

人工數(shù)據(jù)處理界面提供了手動(dòng)處理功能，對(duì)采集的火險(xiǎn)圖像進(jìn)行灰度和亮度調(diào)整，增強(qiáng)預(yù)警圖像中潛藏的煙火信息，適用于需要人工處理的情況。此外，該界面還提供了圖片管理頁(yè)面，用于存儲(chǔ)森林火險(xiǎn)圖片，并根據(jù)用戶需要顯示歷史圖片庫(kù)，如圖8所示。另外，日志管理界面可存儲(chǔ)后臺(tái)數(shù)據(jù)處理的歷史記錄，備份歷史管理操作。

2 ?算法設(shè)計(jì)

森林火險(xiǎn)的監(jiān)測(cè)采用數(shù)字圖像進(jìn)行處理，并進(jìn)行圖像分割、特征提取，最后進(jìn)行BP神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別，實(shí)現(xiàn)在線實(shí)時(shí)監(jiān)測(cè)和預(yù)警?；痣U(xiǎn)識(shí)別算法流程如圖9所示。

具體流程為：（1）通過(guò)搭載在無(wú)人機(jī)上的高清攝像頭采集森林圖像數(shù)據(jù)，并將圖像數(shù)據(jù)及時(shí)傳送到遠(yuǎn)程終端;（2）使用中值濾波對(duì)圖像數(shù)據(jù)進(jìn)行預(yù)處理并去除噪聲干擾，以減少森林火險(xiǎn)識(shí)別過(guò)程中數(shù)據(jù)的丟失;（3）采用R通道分段和FDI指數(shù)細(xì)分2種方法對(duì)森林火險(xiǎn)疑似圖像進(jìn)行分割[10];（4）提取有疑似火焰顏色的區(qū)域的圖像圓度、面積變化率、重心高度比特征;（5）將特征向量輸入訓(xùn)練過(guò)的分類器進(jìn)行分析判斷，以判斷是否發(fā)生火險(xiǎn);（6）當(dāng)發(fā)生火險(xiǎn)時(shí)，觸發(fā)報(bào)警器，及時(shí)通知工作人員做好火險(xiǎn)撲救工作，否則繼續(xù)進(jìn)行監(jiān)測(cè)。

3 ?試驗(yàn)與結(jié)果分析

無(wú)人機(jī)控制系統(tǒng)采用STM32開(kāi)發(fā)板進(jìn)行開(kāi)發(fā)，程序和數(shù)據(jù)存儲(chǔ)在嵌入式存儲(chǔ)器和RAM中，并使用SDK進(jìn)行二次開(kāi)發(fā)，對(duì)控件進(jìn)行自定義和功能擴(kuò)展。遠(yuǎn)程終端配置了6核Intel-core（TM）i7-8700K CPU@3.7 GHz、16 GB RAM和Windows 10操作系統(tǒng)。

3.1 數(shù)據(jù)處理速度

采用本文算法、幀間差分法、背景減法、Vibe算法對(duì)長(zhǎng)度為4 分16秒的視頻進(jìn)行處理速度、完成時(shí)間和延遲率對(duì)比，試驗(yàn)結(jié)果如表1所示。其中圖像序列29 幀/秒，每幀圖像的大小為960×540，共7 424個(gè)圖像。

由表1數(shù)據(jù)可知：Vibe算法延遲率高達(dá)97.31%，對(duì)數(shù)據(jù)進(jìn)行處理易積累大量的冗余時(shí)間。而幀間差分法、背景減法和本文使用的BP神經(jīng)網(wǎng)絡(luò)處理速度在每秒6幀左右。由于無(wú)人機(jī)在航線預(yù)先設(shè)定的情況下工作，飛行速度一定，場(chǎng)景變化程度低，視頻中記錄的每一秒信息差異較小，因此可以對(duì)視頻記錄做減幀處理，獲得每秒5幀的圖像序列。因此幀間差分法、背景減法和本文算法均能滿足實(shí)時(shí)場(chǎng)景下的要求。

3.2 ?森林火險(xiǎn)識(shí)別結(jié)果分析

為驗(yàn)證本文算法的有效性，采用本文算法、幀間差分法、背景減法、Vibe算法、手工統(tǒng)計(jì)法對(duì)無(wú)人機(jī)采集的森林圖像進(jìn)行處理并對(duì)比識(shí)別結(jié)果，如圖10和表2所示。

如圖10和表2可知：本文算法相對(duì)于其他4種方法，相對(duì)判定準(zhǔn)確率為81.97%，本文算法性能優(yōu)于其他算法，適用于森林火險(xiǎn)監(jiān)測(cè)。

4 ?結(jié) ?論

本文主要對(duì)無(wú)人機(jī)、圖像采集等進(jìn)行軟硬件設(shè)計(jì)，開(kāi)發(fā)了基于無(wú)人機(jī)的森林火險(xiǎn)監(jiān)測(cè)上位機(jī)軟件，通過(guò)了對(duì)系統(tǒng)中軟硬件的詳細(xì)測(cè)試，保證系統(tǒng)各模塊的正常運(yùn)作，以及各模塊之間的正常通信。在森林火險(xiǎn)識(shí)別上，對(duì)圖像進(jìn)行了預(yù)處理、區(qū)域分割、特征提取后，分別使用不同的分類器識(shí)別火險(xiǎn)圖像，對(duì)比了一般算法與BP神經(jīng)網(wǎng)絡(luò)后，實(shí)驗(yàn)結(jié)果表明本文的算法能夠以更優(yōu)的準(zhǔn)確率識(shí)別森林火險(xiǎn)，并滿足了場(chǎng)景識(shí)別下數(shù)據(jù)實(shí)時(shí)處理的需求，適用于森林火險(xiǎn)的監(jiān)測(cè)。

參考文獻(xiàn)：

[1] 曹毅超，吳澤鵬，周宇飛，等.基于循環(huán)神經(jīng)網(wǎng)絡(luò)的森林火災(zāi)識(shí)別研究 [J].林業(yè)與環(huán)境科學(xué)，2020，36（5）：34-40.

[2] CHEN M，ANG Y T，ZOU X，et al. 3D global mapping of large-scale unstructured orchard integrating eye-in-hand stereo vision and SLAM [J]. Computers and Electronics in Agriculture，2021，187：106237.https：//doi.org/10.1016/j.compag.2021.106237.

[3] ZHENG S X，WANG W X，LIU Z Q，et al.Forest Farm Fire Drone Monitoring System Based on Deep Learning and Unmanned Aerial Vehicle Imagery [J]. Mathematical Problems in Engineering，vol.2021，Article ID3224164，13pages，2021.https：//doi.org/10.1155/2021/3224164.

[4] 陳再勵(lì)，李麗麗，鐘震宇.面向丘陵山地果樹(shù)植株的植保無(wú)人機(jī)軌跡跟蹤控制器設(shè)計(jì) [J].自動(dòng)化與信息工程，2018，39（3）：1-6.

[5] TRAN B N，TANASE M A，BENNETT L，et al. Evaluation of spectral indices for assessing fire severity in Australian temperate forests [J]. Remote Sensing，2018（10）：1680. DOI：10.3390/rs10111680.

[6] AL-SAD M F，AL-ALI A，MOHAMED A，et al. RF-based drone detection and identification using deep learning approaches：An initiative towards a large open source drone database [J].Future Generation Computer Systems，2019，100：86–97. https：//doi.org/10.1016/j.future.2019.05.007.

[7] FERNANDEZ-CARRILLO A，MCCAW L，TANASE M A. Estimating prescribed fire impacts and post-fire tree survival in eucalyptus forests of Western Australia with L-band SAR data [J]. Remote Sensing of Environment，2019，224：133-144.

[8] 李旺枝，陸健強(qiáng)，王衛(wèi)星，等.基于卷積神經(jīng)網(wǎng)絡(luò)的熱紅外圖像檢測(cè)模型 [J].自動(dòng)化與信息工程，2020，41（6）：1-5. https：//doi.org/10.1016/j.rse.2019.02.005.

[9] TANG Y ，CHEN M，WANG C，et al. Recognition and Localization Methods for Vision-Based Fruit Picking Robots：A Review [J].Frontiers in Plant Science，2020，11：510. DOI：10.3389/fpls.2020.00510.

[10] 姜冰，陸健強(qiáng)，王衛(wèi)星，等.適用于多場(chǎng)景的ResNet單幅圖像去霧算法 [J].自動(dòng)化與信息工程，2019，40（2）：14-19.

作者簡(jiǎn)介：鄭少雄（1990—），男，漢族，廣東饒平人，講師，博士研究生，研究方向：電子信息技術(shù);通訊作者：王衛(wèi)星（1963—），男，漢族，河北宣化人，教授，博士研究生導(dǎo)師，博士研究生，研究方向：電子信息技術(shù)在農(nóng)業(yè)中的應(yīng)用。