基于多語義情景協(xié)同感知的煤礦執(zhí)法系統(tǒng)研究

張瑞庭，付 元

（1.國家礦山安全監(jiān)察局黑龍江局，黑龍江 哈爾濱 150007；2.煤炭科學技術(shù)研究院有限公司，北京 100013；3.煤礦應急避險技術(shù)裝備工程研究中心，北京 100013；4.北京市煤礦安全工程技術(shù)研究中心，北京 100013）

煤礦日常安監(jiān)執(zhí)法是保障煤礦安全生產(chǎn)的重要手段。為了提高煤礦執(zhí)法過程的高效性與客觀性，郜彤等[1]研究了一套執(zhí)法終端軟件，在一定程度上實現(xiàn)了執(zhí)法的規(guī)范化，但執(zhí)法文書應然需人工制作，并打印后確認簽字；劉梅華等[2]研究了基于捷聯(lián)慣性導航的執(zhí)法系統(tǒng)，實現(xiàn)了執(zhí)法軌跡可查詢，提高了執(zhí)法信息的可信度；羅冬祥[3]針對現(xiàn)場執(zhí)法過程了提出明確處置措施的適用情形以及優(yōu)化了執(zhí)法文書樣式，解決了現(xiàn)場執(zhí)法人員執(zhí)法效用的疑惑；王浩[4]針對人工編輯的執(zhí)法文書邏輯較差以及不規(guī)范等問題，設(shè)計了一種執(zhí)法文書智能生成系統(tǒng)，提高了執(zhí)法文書的智能化程度；劉建等[5]研究了基于“國家安監(jiān)云”的執(zhí)法平臺，提高了執(zhí)法效率。但在日常執(zhí)法工作中，現(xiàn)場執(zhí)法設(shè)備和技術(shù)相對匱乏，執(zhí)法信息不能實時傳輸與更新，不能有效監(jiān)管執(zhí)法過程[6]，且主要以人工問答等為主，存在監(jiān)管手段、裝備落后，取證過程時空不連續(xù)，以主觀經(jīng)驗評判為主等問題。

針對上述煤礦執(zhí)法中存在的問題，有必要研究基于時空位置信息、視頻圖像信息、文本、圖像、語音等多語義情景協(xié)同感知的煤礦執(zhí)法系統(tǒng)，該系統(tǒng)可以實現(xiàn)執(zhí)法場景自動識別、業(yè)務自動導航、閉環(huán)執(zhí)法，達到井下精準執(zhí)法的目的。

1 煤礦執(zhí)法系統(tǒng)

1.1 煤礦執(zhí)法系統(tǒng)架構(gòu)

執(zhí)法系統(tǒng)架構(gòu)如圖1。

圖1 執(zhí)法系統(tǒng)架構(gòu)Fig.1 Law enforcement system architecture

煤礦執(zhí)法系統(tǒng)由礦山安全生產(chǎn)執(zhí)法平臺、移動執(zhí)法設(shè)備和煤礦安全管控云平臺組成。移動執(zhí)法設(shè)備主要實現(xiàn)環(huán)境信息、人員位置信息與檢查信息的采集、執(zhí)法輔助信息的展示、受檢設(shè)備的感知等功能；礦山安全生產(chǎn)執(zhí)法平臺主要實現(xiàn)執(zhí)法檢查任務的處理、執(zhí)法檢查信息的解析與處理、檢查狀態(tài)的實時監(jiān)測、檢查證據(jù)的可信固化等功能；煤礦安全管控云平臺主要實現(xiàn)執(zhí)法任務的發(fā)布以及管理執(zhí)法結(jié)果、電子物證數(shù)據(jù)等。執(zhí)法系統(tǒng)運行時，執(zhí)法設(shè)備連接到井下無線網(wǎng)絡(luò)，實時傳輸慣導信息和視頻圖像到井上執(zhí)法平臺，執(zhí)法平臺在線進行情景識別，并下發(fā)場景信息到執(zhí)法設(shè)備。

1.2 執(zhí)法流程

執(zhí)法系統(tǒng)運行時，執(zhí)法設(shè)備連接到井下無線網(wǎng)絡(luò)，實時傳輸慣導信息和視頻圖像到井上執(zhí)法平臺，執(zhí)法平臺在線進行情景識別，并下發(fā)場景信息到執(zhí)法終端。執(zhí)法人員通過執(zhí)法終端完成執(zhí)法檢查后，執(zhí)法文書和執(zhí)法視頻可在線傳輸?shù)骄蠄?zhí)法平臺。因此，構(gòu)建了“執(zhí)法任務獲取-井下執(zhí)法取證-執(zhí)法報告生成-執(zhí)法結(jié)果判定-執(zhí)法文書上傳”閉環(huán)執(zhí)法鏈路，閉環(huán)執(zhí)法流程圖如圖2。

圖2 閉環(huán)執(zhí)法流程圖Fig.2 Closed loop law enforcement flow chart

2 情景協(xié)同感知的多模態(tài)融合技術(shù)

針對煤礦安全監(jiān)察執(zhí)法工作需求，結(jié)合深度學習領(lǐng)域多模態(tài)融合技術(shù)，構(gòu)建了一個協(xié)同感知模型，對智能場景識別算法、情景數(shù)據(jù)處理技術(shù)、慣性導航、多參數(shù)檢測、語音視頻同步可信取證等多語義情景進行多模態(tài)融合，構(gòu)建多模態(tài)融合架構(gòu)和融合方法，形成基于情景感知驅(qū)動的移動執(zhí)法方法。

2.1 深度學習多模態(tài)融合架構(gòu)

多模態(tài)融合策略是集成不同類型的特征來提高機器學習模型性能，消除不同模態(tài)的異質(zhì)性差異；多模態(tài)協(xié)同架構(gòu)是將各種單模態(tài)在一些約束的作用下實現(xiàn)相互協(xié)同；由于不同模態(tài)包含的信息不同，因此協(xié)同架構(gòu)有利于保持各單模態(tài)獨有的特征和排它性。協(xié)同融合框架示意圖如圖3。

圖3 協(xié)同融合框架示意圖Fig.3 Schematic diagram of collaborative fusion framework

2.2 深度學習多模態(tài)融合方法

基于模型的融合方法是從實現(xiàn)技術(shù)和模型的角度解決多模態(tài)融合問題，常用方法包括多核學習方法[7-8]（MKL，Multi-Kernel Learning）、圖模型[9]（GM，Graph Model）、神經(jīng)網(wǎng)絡(luò)方法（NN，Neural Network）等。神經(jīng)網(wǎng)絡(luò)多模態(tài)融合方法在圖像字幕處理任務中表現(xiàn)良好[10]，主要模型包括神經(jīng)圖像字幕模型、多視圖模型等。

通過面向多語義情景協(xié)同感知的多模態(tài)融合技術(shù)，融合文本、圖像、語音、視頻、空間位置等多元信息，構(gòu)建多模態(tài)多情景決策模型，經(jīng)過信息轉(zhuǎn)換和融合，實現(xiàn)移動執(zhí)法的情景識別、業(yè)務自動導航。執(zhí)法人員通過執(zhí)法攝像頭、慣性導航等設(shè)備采集數(shù)據(jù)，后臺服務器使用集成以上技術(shù)的多模態(tài)融合模型計算出結(jié)果，返回移動執(zhí)法設(shè)備這一流程的核心計算功能。

3 便攜式手持執(zhí)法設(shè)備

3.1 執(zhí)法設(shè)備架構(gòu)

執(zhí)法設(shè)備通過云端的GIS 服務獲取井下的地圖，并從后臺服務獲取的檢查地點、檢查內(nèi)容、信標位置等信息；執(zhí)法設(shè)備通過USB 接口連接佩戴在檢查人員安全帽上的攝像頭，對拍攝到的視頻畫面進行分析，實現(xiàn)情景感知；執(zhí)法設(shè)備通過連接的甲烷、氧氣、一氧化碳傳感器對環(huán)境中的氣體參數(shù)進行測定。執(zhí)法設(shè)備硬件結(jié)構(gòu)圖如圖4。

圖4 執(zhí)法設(shè)備硬件結(jié)構(gòu)圖Fig.4 Hardware structure of law enforcement equipment

基于情景感知驅(qū)動的執(zhí)法設(shè)備，能夠通過傳感器及其相關(guān)的技術(shù)使設(shè)備能夠“感知”到當前的情境。執(zhí)法設(shè)備通過導航位置信息，自動感知執(zhí)法人員所在區(qū)域，結(jié)合視頻圖像信息采集分析，自動定位要檢查的目標設(shè)備。針對煤礦安全管控云平臺推送的執(zhí)法任務，通過相應的情境感知，自適應地觸發(fā)執(zhí)法路徑、執(zhí)法流程、執(zhí)法內(nèi)容、執(zhí)法標準、執(zhí)法設(shè)備及其他執(zhí)法輔助業(yè)務，為執(zhí)法人員提供推送式服務，規(guī)范執(zhí)法人員在重要區(qū)域及關(guān)鍵設(shè)備執(zhí)法過程中的自由裁量權(quán)。

3.2 慣性導航定位技術(shù)

慣性導航是一種自主導航方法[11-12]，它是通過測量運動載體自身的加速度并進行計算來完成導航任務[13]。捷聯(lián)式慣性導航系統(tǒng)并沒有穩(wěn)定的實體平臺，以導航計算機產(chǎn)生的數(shù)學平臺來取代實體平臺，陀螺儀與加速度計則直接與運動載體固聯(lián)[14]。

基于MEMS-IMU 的定位系統(tǒng)通過慣性器件采集行人的三軸加速度數(shù)據(jù)和三軸角速度數(shù)據(jù)，通過算法計算出載體的姿態(tài)信息，可以計算出姿態(tài)坐標轉(zhuǎn)換矩陣，然后將三軸的加速度數(shù)據(jù)信息由載體坐標系轉(zhuǎn)換到導航坐標系下，通過算法的計算得到行人的位移信息。慣性導航原理圖如圖5。

圖5 慣性導航原理圖Fig.5 Schematic diagram of inertial navigation

執(zhí)法設(shè)備通過藍牙與慣性導航模塊連接，實時獲取當前的位置信息。為解決慣導模塊可能出現(xiàn)的偏航問題，可沿巷道每隔一段距離部署1 個藍牙信標，信標的坐標已事先在執(zhí)法平臺設(shè)置好，并發(fā)送給執(zhí)法設(shè)備，當檢查人員經(jīng)過信標附近時，慣導模塊會自動捕獲到信標的編號，執(zhí)法設(shè)備根據(jù)信標的坐標對當前位置進行修正，并以此為基準繼續(xù)進行慣性導航。

3.3 數(shù)據(jù)并行采集技術(shù)

數(shù)據(jù)采集架構(gòu)圖如圖6。

圖6 數(shù)據(jù)采集架構(gòu)圖Fig.6 Data acquisition architecture

執(zhí)法設(shè)備需采集環(huán)境參數(shù)信息、慣導定位信息、圖片視頻信息，設(shè)計時建立并行數(shù)據(jù)采樣接口，建立2 路高速通道并行采集一氧化碳、氧氣體積分數(shù)，采集器選用ADS 系列高速ADC（模擬數(shù)字轉(zhuǎn)換器），采樣速度高達65MSPS；建立2 路低速通道，并行采集供電電壓、驅(qū)動電壓數(shù)值；同時建立1 路串口通道采集甲烷體積分數(shù)，1 路藍牙通道采集管道位置坐標，1 路USB 通道采集圖片視頻信息。硬件上建立的7 路獨立采集通道保證了數(shù)據(jù)的實時響應。通過分布式數(shù)據(jù)采集通道，實時采集環(huán)境參數(shù)信息、定位信息及圖片視頻信息，利用高速ADC 和UFS 閃存技術(shù)，快速對數(shù)據(jù)進行采樣和存儲，通過IEEE 802.11n傳輸制式在線傳輸視頻流、人員位置、執(zhí)法數(shù)據(jù)。

4 執(zhí)法平臺

執(zhí)法系平臺分為5 個功能模塊：基礎(chǔ)信息、檢查任務、地理信息、記錄管理與終端管理，礦山安全生產(chǎn)執(zhí)法平臺功能模塊結(jié)構(gòu)圖如圖7。

圖7 礦山安全生產(chǎn)執(zhí)法平臺功能模塊結(jié)構(gòu)圖Fig.7 Functional module structure of mine safety production law enforcement platform

5 實驗測試

執(zhí)法系統(tǒng)測試效果見表1。

表1 執(zhí)法系統(tǒng)測試效果Table 1 Test results of law enforcement system

執(zhí)法場景：A1 礦井中央變電所030201 甲烷傳感器上午8:00 時出現(xiàn)1%報警1 min，目前該傳感器上傳值為0.41%；煤礦安全管控云平臺推送執(zhí)法任務到執(zhí)法平臺，執(zhí)法平臺收到執(zhí)法任務后進行提示，并可查看執(zhí)法內(nèi)容。

執(zhí)法任務內(nèi)容：①核查A1 礦井中央變電所實際甲烷體積分數(shù)并與030201 甲烷傳感器數(shù)值進行比較，核查030201 甲烷傳感器是否測量超差；②對A1 礦井中央變電所030201 甲烷傳感器進行安標有效性檢查；執(zhí)法設(shè)備彈出任務“請編號ZY001 于10:00 到13:00 之間前往A1 礦井中央變電所檢查執(zhí)法”；③走路過程中，執(zhí)法人員通過執(zhí)法設(shè)備GIS 界面實時查看自身位置，執(zhí)法人員行走路線形成軌跡線路（走過的點連成一條線），當走到變電所附近時，井上執(zhí)法平臺GIS 界面彈出視頻彈窗，并顯示“中央變電所”字樣，井下執(zhí)法終端GIS 界面彈出“已到達中央變電所，請檢查執(zhí)法”，同時進行語音播報。隨后彈出對話框“開始檢查”，“稍后檢查”，執(zhí)法人員選擇“開始檢查”，此時執(zhí)法終端開啟自動錄像，記錄執(zhí)法過程。

6 結(jié) 語

1）通過研究基于時空位置信息、視頻圖像信息、執(zhí)法人員行為狀態(tài)等多語義情景協(xié)同感知技術(shù)和方法，開發(fā)出情景感知驅(qū)動的執(zhí)法平臺。情景感知驅(qū)動的執(zhí)法平臺，具備執(zhí)法任務獲取、執(zhí)法任務分配、執(zhí)法任務管理、執(zhí)法場景識別、執(zhí)法報告生成等功能，極大提高了監(jiān)察執(zhí)法的高效性和客觀性。

2）通過面向多語義情景協(xié)同感知的多模態(tài)融合技術(shù)，從文本、圖像、語音、視頻等多個領(lǐng)域獲取信息，實現(xiàn)信息轉(zhuǎn)換和融合，構(gòu)建了多模態(tài)融合架構(gòu)和融合方法，形成基于情景感知驅(qū)動的移動執(zhí)法方法。

3）根據(jù)執(zhí)法任務規(guī)劃執(zhí)法路徑，結(jié)合情景感知結(jié)果與空間位置信息，實現(xiàn)執(zhí)法內(nèi)容的自動觸發(fā)，并提示執(zhí)法人員相應的執(zhí)法標準，規(guī)范執(zhí)法人員的自由裁量權(quán)。