基于AI視頻識(shí)別技術(shù)的井下規(guī)范操作監(jiān)控系統(tǒng)設(shè)計(jì)

楊景峰

(陜西陜煤彬長(zhǎng)礦業(yè)有限公司，陜西 咸陽(yáng) 712000)

0 引言

彬長(zhǎng)公司現(xiàn)有五對(duì)礦井，設(shè)計(jì)能力2 900萬(wàn)t/a，主采侏羅紀(jì)3號(hào)、4號(hào)煤層，煤層埋深500～1 000 m，煤層厚度4～26 m，煤層開(kāi)采條件復(fù)雜，水、火、瓦斯、沖擊地壓等災(zāi)害耦合疊加，被定位為全國(guó)煤礦災(zāi)害最重、治理難度最大、安全風(fēng)險(xiǎn)最高、有效防范和遏制重特大事故任務(wù)最繁重的礦區(qū)之一[1-4]。近年來(lái)，面對(duì)嚴(yán)重的礦井自然災(zāi)害和安全風(fēng)險(xiǎn)，彬長(zhǎng)公司牢固樹(shù)立“少人則安、無(wú)人則安”的理念，大力實(shí)施“三優(yōu)三減三提升”工程，以科技創(chuàng)新提升災(zāi)害治理水平、以“四化”建設(shè)提升災(zāi)害治理能力、以災(zāi)害治理達(dá)標(biāo)保障安全生產(chǎn)，嚴(yán)格執(zhí)行行業(yè)管理標(biāo)準(zhǔn)和安全管理規(guī)定，努力建設(shè)多元災(zāi)害條件下的本質(zhì)安全型礦區(qū)。

結(jié)合彬長(zhǎng)礦區(qū)煤層賦存條件和生產(chǎn)裝備實(shí)際現(xiàn)狀，彬長(zhǎng)公司制定了在3年內(nèi)建成多元災(zāi)害條件下，智能化開(kāi)采示范礦區(qū)的目標(biāo)，按照“企業(yè)管理智慧化、煤炭開(kāi)采智能化、輔助系統(tǒng)自動(dòng)化、災(zāi)害治理精準(zhǔn)化、現(xiàn)場(chǎng)管理透明化”的總體工作思路，大力推進(jìn)智慧礦區(qū)、智能礦井建設(shè)工作。小莊煤礦作為彬長(zhǎng)礦區(qū)首個(gè)陜煤集團(tuán)數(shù)字化礦山示范礦井，基于5G、物聯(lián)網(wǎng)、大數(shù)據(jù)、虛擬現(xiàn)實(shí)、人工智能技術(shù)在煤礦安全生產(chǎn)過(guò)程中進(jìn)行了大量實(shí)踐工作，特別是在井下作業(yè)人員安全管理方面，首次引入了智能化視頻監(jiān)控系統(tǒng)，利用AI視頻識(shí)別分析技術(shù)，對(duì)井下多個(gè)作業(yè)場(chǎng)景進(jìn)行智能識(shí)別，對(duì)現(xiàn)場(chǎng)安全管理提供有力的技術(shù)支撐和手段。

1 預(yù)期目標(biāo)及關(guān)鍵技術(shù)

1.1 預(yù)期目標(biāo)

針對(duì)煤礦井下實(shí)際作業(yè)環(huán)境，解決現(xiàn)場(chǎng)安全管理遇到的問(wèn)題，需要預(yù)先設(shè)定功能目標(biāo)[5-8]。具體如，實(shí)時(shí)監(jiān)測(cè)工作人員行為是否安全規(guī)范，是否規(guī)范佩戴安全帽，是否有空崗、脫崗、睡崗現(xiàn)象，重點(diǎn)區(qū)域人員入侵，轉(zhuǎn)載機(jī)、軌道違規(guī)行為監(jiān)測(cè)，巡檢人員巡檢次數(shù)、時(shí)間等數(shù)據(jù)的智能感知、預(yù)警。監(jiān)測(cè)到“三違”行為時(shí)，可按照“三違”等級(jí)報(bào)警，嚴(yán)重違規(guī)時(shí)，報(bào)警的同時(shí)彈出視頻以支持管理人員處理。發(fā)現(xiàn)異常時(shí)，系統(tǒng)應(yīng)與聲光報(bào)警器聯(lián)動(dòng)，實(shí)現(xiàn)文本消息、語(yǔ)音、聲光多形式的自動(dòng)報(bào)警，值守人員可對(duì)異常事件進(jìn)行處置，填報(bào)處置結(jié)果。依托感知網(wǎng)絡(luò)所匯聚的視頻數(shù)據(jù)，以所見(jiàn)即所得的仿真圖形式，在三維運(yùn)輸系統(tǒng)底圖上，疊加企業(yè)基本信息、視頻監(jiān)控點(diǎn)位置信息，發(fā)現(xiàn)異常實(shí)時(shí)報(bào)警。視頻方面，需實(shí)現(xiàn)智能應(yīng)用及實(shí)時(shí)回放，并具有關(guān)鍵證據(jù)視頻錄制、圖片截取和云端同步功能，掌握煤礦井下規(guī)范操作智能化視頻監(jiān)控技術(shù)的應(yīng)用。此外，需實(shí)現(xiàn)井下固定崗位無(wú)人值守，沿線無(wú)人作業(yè)，地面無(wú)人監(jiān)控，系統(tǒng)智能化經(jīng)濟(jì)運(yùn)行。

1.2 關(guān)鍵技術(shù)應(yīng)用

煤礦智能視頻監(jiān)測(cè)：實(shí)現(xiàn)場(chǎng)景定制的智能監(jiān)測(cè)，需將計(jì)算機(jī)視覺(jué)(CV)技術(shù)與面向業(yè)務(wù)場(chǎng)景的監(jiān)控規(guī)則深度融合[9-12]，實(shí)現(xiàn)多場(chǎng)景視頻智能監(jiān)測(cè)，并在三維礦井圖上以可視化方式展示。

機(jī)器智能分析+人工輔助校對(duì)：為實(shí)現(xiàn)精準(zhǔn)報(bào)警，需提供計(jì)算機(jī)視覺(jué)識(shí)別與人工輔助校對(duì)功能，依托模型識(shí)別率優(yōu)化機(jī)制，避免由于機(jī)器或人為因素所造成的“誤報(bào)”“漏警”情況，不斷降低模型召回率，提升模型識(shí)別準(zhǔn)確率。

構(gòu)建異常處置閉環(huán)管理機(jī)制:實(shí)現(xiàn)異常事件實(shí)時(shí)推送，形成煤礦安全事件“報(bào)警—推送—處置—反饋—統(tǒng)計(jì)”的管理閉環(huán),實(shí)現(xiàn)異常事件精準(zhǔn)推送、有效快速處置，構(gòu)建異?？蓹z、問(wèn)題可追、責(zé)任可溯的企業(yè)安全管理機(jī)制。

輔助生產(chǎn)管理智慧決策:運(yùn)用大數(shù)據(jù)分析技術(shù)抽取有價(jià)值的關(guān)鍵信息，從多角度分析狀態(tài)數(shù)據(jù)，對(duì)安全狀態(tài)進(jìn)行分析，為優(yōu)化企業(yè)安全生產(chǎn)過(guò)程提供決策支持。

構(gòu)建人工智能視頻監(jiān)測(cè)技術(shù)體系:建立一套適合小莊煤礦井下規(guī)范操作智能化視頻監(jiān)控技術(shù)體系，將安全人員從繁雜而枯燥的“盯屏幕”中解放出來(lái)。減少人員工作量，提高礦井安全監(jiān)督能力。

煤礦瓦斯鉆場(chǎng)智能監(jiān)測(cè):讓煤礦管理者實(shí)時(shí)全面掌握煤礦井下瓦斯抽放鉆孔施工作業(yè)情況，保障鉆孔質(zhì)量，減少瓦斯災(zāi)害發(fā)生，減少監(jiān)鉆工人，實(shí)現(xiàn)減人提效。杜絕施工人員謊報(bào)進(jìn)尺、違章操作、打假孔等危及安全的事件發(fā)生；杜絕工作量瞞報(bào)的費(fèi)用開(kāi)支。為安全監(jiān)管、事后追溯、科學(xué)決策，提供直觀、可靠的手段和證據(jù)。

AI推理分析管理平臺(tái)：構(gòu)建“云-邊-端”體系，充分發(fā)揮云、邊、端技術(shù)優(yōu)勢(shì)，云端數(shù)據(jù)匯聚，借助于云端資源彈性伸縮、服務(wù)高實(shí)時(shí)、高可用的特性，進(jìn)行數(shù)據(jù)深度挖掘，將數(shù)據(jù)價(jià)值發(fā)揮到極致。同時(shí)，云端具有管理控制集中化，部署升級(jí)自動(dòng)化，訪問(wèn)操作自由化的優(yōu)勢(shì)。利用邊緣計(jì)算模式實(shí)現(xiàn)智能識(shí)別機(jī)制下沉，既滿(mǎn)足邊測(cè)低時(shí)延、大帶寬、高并發(fā)、本地化的需求，又可以進(jìn)行多方融合，結(jié)合煤炭行業(yè)特點(diǎn)和企業(yè)自身需求，構(gòu)建企業(yè)自己的生態(tài)系統(tǒng)。端測(cè)智能感知設(shè)備下沉，提供AIoT實(shí)時(shí)采集、實(shí)時(shí)運(yùn)算、實(shí)時(shí)推理和場(chǎng)景閉環(huán)能力，為煤礦企業(yè)安全高效生產(chǎn)保駕護(hù)航。

標(biāo)準(zhǔn)化接口服務(wù)能力：為企業(yè)及第三方應(yīng)用系統(tǒng)提供標(biāo)準(zhǔn)化API、WebServices、OPC、XML等標(biāo)準(zhǔn)化數(shù)據(jù)接口，賦能行業(yè)邊緣計(jì)算與云端應(yīng)用能力。

“云-邊-端”一體的可視化管理平臺(tái)：通過(guò)可視化平臺(tái)，便于用戶(hù)部署配置與更新升級(jí)，實(shí)時(shí)查看當(dāng)前服務(wù)狀態(tài)與統(tǒng)計(jì)信息，第一時(shí)間獲知最新的場(chǎng)景和服務(wù)，AI模型識(shí)別清單見(jiàn)表1。

表1 AI模型識(shí)別清單

2 系統(tǒng)架構(gòu)及功能設(shè)計(jì)

2.1 系統(tǒng)架構(gòu)設(shè)計(jì)

煤礦智能視頻監(jiān)控系統(tǒng)應(yīng)用架構(gòu)如圖1所示，部署架構(gòu)如圖2所示，業(yè)務(wù)流程如圖3所示。

圖1 煤礦智能視頻監(jiān)控系統(tǒng)應(yīng)用架構(gòu)

圖2 煤礦智能視頻監(jiān)控系統(tǒng)部署架構(gòu)

圖3 煤礦智能視頻監(jiān)控系統(tǒng)業(yè)務(wù)流程示意

2.2 系統(tǒng)功能設(shè)計(jì)

信息概覽：在首頁(yè)上方對(duì)當(dāng)前數(shù)據(jù)進(jìn)行實(shí)時(shí)展示，便于管理人員對(duì)當(dāng)前煤礦的安全情況有整體把握。包含煤礦名稱(chēng)、監(jiān)測(cè)點(diǎn)數(shù)、報(bào)警總數(shù)、井下人數(shù)等信息，并以直觀的數(shù)字和狀態(tài)予以展示。

礦井圖展示：系統(tǒng)依托感知網(wǎng)絡(luò)所匯聚視頻數(shù)據(jù)，在礦井三維系統(tǒng)底圖上，疊加基本信息、視頻監(jiān)控點(diǎn)、傳感器監(jiān)測(cè)點(diǎn)位信息。實(shí)現(xiàn)實(shí)時(shí)狀態(tài)報(bào)警，發(fā)現(xiàn)異常實(shí)時(shí)報(bào)警(攝像頭閃爍及列表展示)，支持按人、機(jī)、環(huán)分類(lèi)或區(qū)域分布進(jìn)行組合查詢(xún)。

智能感知報(bào)警：當(dāng)識(shí)別異常情況時(shí)，系統(tǒng)依照異常定義級(jí)別，進(jìn)行分類(lèi)、分級(jí)報(bào)警，各類(lèi)報(bào)警；用戶(hù)可對(duì)報(bào)警信息進(jìn)行處置，實(shí)現(xiàn)智能感知—實(shí)時(shí)報(bào)警—異常處置的閉環(huán)管理。報(bào)警信息包含監(jiān)測(cè)類(lèi)型、監(jiān)測(cè)點(diǎn)位置、報(bào)警級(jí)別、報(bào)警時(shí)間。

智能儀表盤(pán)：對(duì)當(dāng)日異常問(wèn)題進(jìn)行統(tǒng)計(jì)分析，采用“管理駕駛艙”方式展示，具體統(tǒng)計(jì)內(nèi)容包含報(bào)警次數(shù)統(tǒng)計(jì)、人員違規(guī)統(tǒng)計(jì)、設(shè)備故障類(lèi)型統(tǒng)計(jì)、環(huán)境安全報(bào)警統(tǒng)計(jì)等。

實(shí)時(shí)監(jiān)測(cè)：實(shí)時(shí)視頻查看主要展現(xiàn)礦井近一周異常報(bào)警信息展示及礦井實(shí)時(shí)視頻列表；支持監(jiān)測(cè)點(diǎn)設(shè)備信息、實(shí)時(shí)報(bào)警信息、處置狀態(tài)查看。

顯示屏警示：顯示屏終端安裝在重點(diǎn)位置(如領(lǐng)導(dǎo)辦公室、安全調(diào)度室等重要監(jiān)督區(qū)域)，顯示屏展示功能主要實(shí)現(xiàn)報(bào)警視頻及報(bào)警信息的滾動(dòng)展示。

統(tǒng)計(jì)分析：實(shí)時(shí)分析以小時(shí)為周期，對(duì)當(dāng)天的實(shí)時(shí)數(shù)據(jù)進(jìn)行分析，包含監(jiān)測(cè)點(diǎn)在線情況、異常事件態(tài)勢(shì)、異常事件處置時(shí)間等，并以折線圖、柱狀圖、餅狀圖、進(jìn)度圖等方式予以展示。以日、周、月、年為統(tǒng)計(jì)周期，對(duì)歷史數(shù)據(jù)進(jìn)行分析，包含監(jiān)測(cè)點(diǎn)在線情況、異常事件態(tài)勢(shì)、異常事件處置時(shí)間等信息，并以折線圖、柱狀圖、餅狀圖、進(jìn)度圖等方式予以展示。

歷史查詢(xún)：默認(rèn)按時(shí)間倒序排列，支持按報(bào)警級(jí)別、報(bào)警地點(diǎn)、報(bào)警起始時(shí)間升序/降序排列；包含查看報(bào)警詳情、3個(gè)月內(nèi)歷史報(bào)警視頻回放；實(shí)現(xiàn)歷史報(bào)警信息的處置、填報(bào)。

系統(tǒng)管理：實(shí)現(xiàn)視頻監(jiān)測(cè)點(diǎn)信息、組織機(jī)構(gòu)信息、人員排班及數(shù)據(jù)字典的維護(hù)和管理，為系統(tǒng)運(yùn)行提供基礎(chǔ)信息數(shù)據(jù)。實(shí)現(xiàn)模型下載管理、場(chǎng)景定義、關(guān)聯(lián)配置管理，滿(mǎn)足用戶(hù)在不同應(yīng)用場(chǎng)景下的定制化配置。

3 基礎(chǔ)平臺(tái)設(shè)計(jì)

3.1 總體架構(gòu)

基于“云-邊-端”一體化架構(gòu)，充分發(fā)揮云、邊、端技術(shù)優(yōu)勢(shì)。實(shí)現(xiàn)終端設(shè)備的接入、按需感知、實(shí)時(shí)監(jiān)測(cè)，為監(jiān)測(cè)預(yù)警、決策分析等核心業(yè)務(wù)提供有效數(shù)據(jù)支撐。

云端：借助于云端資源彈性伸縮、服務(wù)高實(shí)時(shí)、高可用的特性，實(shí)現(xiàn)數(shù)據(jù)采集、匯聚、挖掘、利用，為業(yè)務(wù)決策、安全管理提供決策支持，為模型優(yōu)化提供數(shù)據(jù)支撐；實(shí)現(xiàn)云端服務(wù)控制集中化，部署升級(jí)自動(dòng)化，訪問(wèn)操作自由化，共同構(gòu)建云平臺(tái)持續(xù)運(yùn)營(yíng)模式。

邊側(cè)：利用邊緣計(jì)算模式實(shí)現(xiàn)智能識(shí)別機(jī)制下沉，有利于解決邊側(cè)低時(shí)延、大帶寬、高并發(fā)的性能需求，煤炭行業(yè)特點(diǎn)和企業(yè)自身需求，定制滿(mǎn)足本企業(yè)需求應(yīng)用系統(tǒng)。

端側(cè)：將智能感知設(shè)備下沉，利用終端管控設(shè)備，提高AIot實(shí)時(shí)采集、實(shí)時(shí)運(yùn)算、實(shí)時(shí)推理和場(chǎng)景閉環(huán)的能力，為煤礦企業(yè)現(xiàn)場(chǎng)安全的高效生產(chǎn)保駕護(hù)航。

3.2 平臺(tái)構(gòu)成

智能感知云平臺(tái)：該平臺(tái)為邊側(cè)和端側(cè)AI模型，提供完整的生命周期管理、運(yùn)維監(jiān)控和在線升級(jí)服務(wù)?；谠茝?qiáng)大的底層資源框架，提供“云-邊-端”協(xié)同增量學(xué)習(xí)、AI模型發(fā)布、更新、推送，形成完整閉環(huán)。提供對(duì)邊側(cè)視頻數(shù)據(jù)采集、實(shí)時(shí)視頻分發(fā)、回放、視頻數(shù)據(jù)轉(zhuǎn)儲(chǔ)、證據(jù)視頻及證據(jù)圖片調(diào)取查看功能。提供對(duì)智能感知邊平臺(tái)和智能感知端設(shè)備的生命周期管理、運(yùn)維監(jiān)控、接入服務(wù)、在線升級(jí)。提供OpenAPI Cloud Server第三方接口服務(wù)，為云端第三方應(yīng)用提供AI智能分析能力。

智能感知邊平臺(tái)：該平臺(tái)對(duì)邊側(cè)視頻終端采集設(shè)備資源進(jìn)行統(tǒng)一管理。通過(guò)可視化平臺(tái)，用戶(hù)可將云端下發(fā)的AI模型很方便的與邊側(cè)視頻資源進(jìn)行配置綁定，并將模型下發(fā)到端側(cè)基于實(shí)時(shí)視頻進(jìn)行識(shí)別。對(duì)每一路AI模型提供完整的生命周期管理、運(yùn)維監(jiān)控和在線升級(jí)功能。滿(mǎn)足“端-邊-云”的設(shè)計(jì)要求，通過(guò)安全可靠的邊云數(shù)據(jù)通道，將增量視頻數(shù)據(jù)同步到云端，為云端AI模型提供增量學(xué)習(xí)數(shù)據(jù)基礎(chǔ)。OpenAPI Edge Server，開(kāi)放的邊側(cè)API接口服務(wù)，為邊側(cè)應(yīng)用系統(tǒng)提供AI能力。

智能感知端平臺(tái)：“端-邊-云”體系生態(tài)的邊、端側(cè)智能計(jì)算支撐軟件底座平臺(tái)；為全場(chǎng)景提供端側(cè)或邊側(cè)智能硬件終端的統(tǒng)一調(diào)度、統(tǒng)一管理、統(tǒng)一運(yùn)維；提供可視化運(yùn)維、配置、運(yùn)行狀態(tài)監(jiān)測(cè)、日志跟蹤服務(wù)；為人工智能模型、大數(shù)據(jù)分析算法提供可控、安全、可靠的執(zhí)行環(huán)境；支持多種工業(yè)協(xié)議，可直接連接工業(yè)自動(dòng)化系統(tǒng)或直接連接傳感器采集數(shù)據(jù)，對(duì)接外部感知和動(dòng)作執(zhí)行單元，聯(lián)動(dòng)智能化煤礦生產(chǎn)場(chǎng)景。

4 系統(tǒng)創(chuàng)新點(diǎn)及預(yù)期成果

4.1 系統(tǒng)創(chuàng)新點(diǎn)

該系統(tǒng)建立了井底車(chē)場(chǎng)AI識(shí)別模型、輔助運(yùn)輸AI識(shí)別模型、人員巡檢AI識(shí)別模型、人員違規(guī)作業(yè)AI識(shí)別模型、皮帶運(yùn)輸AI識(shí)別模型、鉆場(chǎng)AI識(shí)別模型。將AI能力賦能給邊側(cè)視頻，讓邊側(cè)視頻“聰明”起來(lái)。為每一路視頻智能應(yīng)用服務(wù)提供完整的生命周期管理、運(yùn)維監(jiān)控和在線升級(jí)。

4.2 系統(tǒng)應(yīng)用預(yù)期成果

系統(tǒng)建成后可實(shí)現(xiàn)人員發(fā)生違規(guī)作業(yè)時(shí)系統(tǒng)自動(dòng)進(jìn)行聲光告警，實(shí)時(shí)“三違”監(jiān)測(cè)，為安全監(jiān)管提供可靠的技術(shù)手段，將煤礦安全管理由事后分析變成事前預(yù)警和監(jiān)督，擁有預(yù)防和積極干預(yù)功能，從而做到防患于未然。系統(tǒng)建成后將解決作業(yè)過(guò)程中作業(yè)不規(guī)范、監(jiān)管不透明、依靠大量人員人為主觀判斷等管理難題，確保工程質(zhì)量；同時(shí)提供邊側(cè)視頻數(shù)據(jù)采集、實(shí)時(shí)分發(fā)、回放、視頻數(shù)據(jù)轉(zhuǎn)儲(chǔ)、證據(jù)視頻及證據(jù)圖片調(diào)取查看功能。減少人員工作量，提高礦井安全監(jiān)督能力，同時(shí)為彬長(zhǎng)礦區(qū)其他礦井提供理論指導(dǎo)和實(shí)踐借鑒。

5 結(jié)語(yǔ)

利用AI視頻識(shí)別、大數(shù)據(jù)分析、云計(jì)算、邊緣計(jì)算等技術(shù)，建立煤礦井下規(guī)范操作智能化視頻監(jiān)控系統(tǒng)。該系統(tǒng)可以實(shí)時(shí)發(fā)現(xiàn)作業(yè)現(xiàn)場(chǎng)違章行為，發(fā)出語(yǔ)音報(bào)警提醒地面值班人員及現(xiàn)場(chǎng)作業(yè)人員，實(shí)現(xiàn)智能視頻分析、作業(yè)人員違規(guī)及設(shè)備異常狀態(tài)實(shí)時(shí)監(jiān)測(cè)等功能。在此基礎(chǔ)上，形成“人、機(jī)、環(huán)、管”安全閉環(huán)管理模式，有助于提升煤礦現(xiàn)場(chǎng)安全管理水平，具有很高的推廣應(yīng)用價(jià)值。