全礦井人工智能（AI）監(jiān)管平臺關鍵技術

孫曉東

（1.中煤科工集團沈陽研究院有限公司，遼寧 撫順 113122；2.煤礦安全技術國家重點實驗室，遼寧 撫順 113122）

礦山安全生產一直是礦山行業(yè)的重要問題之一。在煤礦工業(yè)領域，工業(yè)視頻監(jiān)控已普遍使用，用來實時監(jiān)測煤礦井上、井下不同場景，直觀呈現不同地點的不同人員、設備的工作狀態(tài)。為了提高礦山安全生產水平，礦山視覺識別技術逐漸受到關注。礦山視覺識別是指通過圖像處理技術，對礦山環(huán)境、設備和人員進行檢測和識別，以實現安全預警和預防。隨著人工智能技術的不斷發(fā)展，礦山視覺識別領域的應用逐漸拓展，為解決礦山安全生產問題提供了新的思路和方法。

目前，我國煤礦安全生產事故總量逐年下降，安全生產整體形勢總體穩(wěn)定好轉，但是安全生產事故仍時有發(fā)生，特別是由于各類隱患引起的事故。隨著人工智能、視覺識別技術不斷發(fā)展，以及國家相關政策及標準的相繼出臺[1-6]。2022 年10 月，國家印發(fā)《煤礦及重點非煤礦山重大災害風險防控建設工作總體方案》[5]，方案指出，通過建設AI 視頻智能輔助監(jiān)管監(jiān)察系統(tǒng)、應急處置視頻智能通信系統(tǒng)和重大違法行為智能識別分析系統(tǒng)，充分發(fā)揮AI 智能識別、井下精準定位、物聯網、大數據等新技術在礦山重大災害風險識別、應急救援等工作中的優(yōu)勢作用，依托“十三五”期間已建成的國家礦山安全生產風險監(jiān)測預警平臺，實現對煤礦及重點非煤礦山關鍵地點、重點部位重大風險的實時監(jiān)測、及時識別和精準研判，創(chuàng)新礦山安全生產監(jiān)管監(jiān)察方式，積極探索形成“互聯網+監(jiān)管監(jiān)察”等新模式，推動提升礦山重大災害風險防控能力，夯實礦山安全基礎。

人工智能技術在煤礦視覺識別領域的應用還處于發(fā)展初期，尚存在一些挑戰(zhàn)和限制，如真實場景數據獲取困難、算法精度的提升、現有基礎設施與人工智能技術的融合等。然而，隨著技術的不斷進步和應用案例的積累，人工智能技術在煤礦領域的應用前景仍然是積極的。要實現這些趨勢并推動人工智能技術產品在煤礦領域的廣泛應用，還需要解決數據收集和隱私保護、安全性和可靠性等挑戰(zhàn)，并與現有的煤礦設備和管理體系進行整合?；诖?，結合煤礦的實際情況，構建了煤礦全礦井人工智能（AI）監(jiān)管平臺[7-8]。

1 人工智能（AI）監(jiān)管平臺總體設計

1.1 設計目標

為滿足煤炭行業(yè)智能化建設、加深煤礦智能化程度、做好煤礦及重點非煤礦山重大災害風險防控建設等工程需要。針對煤礦井下情況復雜多變，隱患難以及時發(fā)現的現狀，研究突破針對不同場景及應用的視頻圖像識別技術，能自動識別環(huán)境中潛在的風險及安全隱患、對人員的違章違規(guī)行為、設備異常狀態(tài)做出主動判斷，實現視頻監(jiān)管從看得見到看得懂的轉變，為保障礦山安全生產、智能輔助監(jiān)管監(jiān)察提供技術支持，不斷提升礦山數字化、智能化安全生產水平。

全礦井人工智能（AI）監(jiān)管平臺的最終設計目標是符合國家和地方政策“互聯網+監(jiān)管監(jiān)察”方式，替代傳統(tǒng)的普通視頻監(jiān)控和傳統(tǒng)監(jiān)管監(jiān)察方法，覆蓋煤礦全部AI 視頻監(jiān)控場景，為煤礦企業(yè)安全生產賦能。該產品采用視頻+AI 的技術手段，并運用“Al 智能監(jiān)管監(jiān)察、智能識別、智能分析、智能安防”等前沿技術為煤炭等能源行業(yè)提供一站式智能解決方案。通過視頻感知，對煤礦全礦井的關鍵場景進行實時視頻采集，再通過邊緣計算或算力中心集中識別處理。最終實現對人員行為、設備狀態(tài)、環(huán)境狀態(tài)的智能監(jiān)控與分析。達到智能預警、智能管控、智能聯動的目的。

1.2 總體架構

平臺總體架構如圖1。

圖1 平臺總體架構Fig.1 Overall platform architecture

平臺主要由AI 訓練平臺、視覺識別分析平臺、多場景智能子系統(tǒng)Al 監(jiān)控平臺、智能邊端分析攝像儀、智能分析裝置組成。平臺劃分為應用層、業(yè)務層、支撐層、感知層、基礎設施層。應用層主要包含頁面展示，硬件集控的功能；業(yè)務層主主要包含核心功能模塊和主要組件模塊，用戶可以根據業(yè)務場景需求管理對應模塊；支撐層主要是平臺運行和處理所需要的技術支持；感知層為采集畫面的前端設備，主要包含普通攝像儀和智能攝像儀；基礎設施層為軟件運行的硬件支持，根據處理架構的不確定性，包含集中服務器、邊端算力服務器、礦山環(huán)網等基礎設備。

1.3 核心場景

依托人工智能(AI)，分別針對每個生產礦井的采煤、掘進、機電、通風、運輸、主動安全等6 大體系的核心場景構建AI 視頻識別算法，形成獨立算法場景，重點區(qū)域與生產鏈條AI 視頻識別場景全覆蓋；針對煤礦現場的真實素材進行模型訓練，保證各場景模型算法的識別精準度，同時模型算法可以智能優(yōu)化迭代，不斷提升識別精準度。全礦井人工智能（AI）監(jiān)管平臺場景涉及人員、設備、環(huán)境等方面的智能識別監(jiān)測。主要包括5大類30 余種場景模型。

1）帶式輸送機輸送帶相關場景。輸送帶大塊煤檢測、輸送帶縱向撕裂檢測、輸送帶煤流量監(jiān)測、輸送帶異物檢測、輸送帶跑偏檢測、輸送帶驅動機過熱冒煙監(jiān)測、輸送帶人員跨越檢測、輸送帶人員乘坐檢測、輸送帶煤溫監(jiān)測、輸送帶煤矸石篩選檢測、輸送機頭堵煤檢測、輸送帶除鐵器異物檢測等。

2）人員相關場景。調度室人員離崗檢測、危險區(qū)域人員進入報警檢測、人員出入井統(tǒng)計、區(qū)域限員檢測、人數統(tǒng)計檢測、人員圍欄告警檢測、人員安全帽檢測、人員操作間玩手機檢測、人臉識別檢測、人員未佩戴毛巾檢測、未佩戴維修安全帶等。

3）設備相關場景。泵房水位儀表監(jiān)測、攝像頭挪動監(jiān)測、攝像頭遮擋監(jiān)測、U 型壓力計讀數識別等。

4）采煤、打鉆相關場景。探放水打鉆鉆桿計數、割煤機視頻隨動檢測、綜采面支護開合檢測、綜采面堆煤檢測、煤層巖層刮板機分界線提取檢測等。

5）車輛相關場景。煤礦車輛出入檢測、井下行車步行人檢測、車牌識別檢測、字符識別檢測、駕駛員違規(guī)行為分析、結合超聲波輔助識別等。

人工智能（AI）監(jiān)管平臺前端采用VUE3 進行架構設計，其中包括監(jiān)控區(qū)域展示、監(jiān)控事件展示、在線攝像儀數量、離線攝像儀數量、報警數量、已處理報警數量、未處理報警數量、實時報警圖像等信息。通過不同的分屏顯示模式，綜合展示不同場景的實時視頻影像。達到綜合監(jiān)控、綜合預警、智能聯動。大屏綜合展示如圖2。

圖2 大屏綜合展示Fig.2 Large screen comprehensive display

2 關鍵技術

整個平臺設計包括多項關鍵技術，包括通過低樣本數據集增強技術研究來提升識別精度、模型訓練及迭代優(yōu)化策略研究、數據推理與決策分析技術研究、微服務后臺開發(fā)技術研究等[9-19]。

2.1 低樣本數據集增強技術

由于煤礦環(huán)境特殊，可利用的樣本數據相對較少，如何在低樣本的條件下又能保證算法模型的識別精度將面臨巨大挑戰(zhàn)。雖然卷積神經網絡（Convolutional Neural Networks，CNN）是一種深度學習模型，適合用來分析視覺圖像，但在處理低樣本數據時，可能由于數據量不足，導致模型訓練不充分，識別準確率下降。

全礦井人工智能（AI）監(jiān)管平臺針對煤礦井下環(huán)境部分場景樣本數據較少的問題，采取了數據增強的方法進行樣本數據集擴充，通過對現有素材圖像變換、裁剪、旋轉等處理，來增加樣本數量，提高模型訓練的充分性；利用生成對抗網絡（GAN）等技術生成與真實數據類似的虛擬數據，來擴充數據集素材樣本數量，提高模型泛化能力；利用在其他煤礦大規(guī)模數據集上預訓練的模型，遷移到低樣本數據集上，進行遷移學習，快速提高模型性能；同時為提高低樣本模型的性能，通過采用更優(yōu)的模型結構、損失函數、正則化等方法進行模型優(yōu)化；同時高精度的模型離不開人工的持續(xù)標注，通過人工標注的方式對輸出的樣本數據進行人工標注來提高數據質量。總之，視覺識別在低樣本數據下具有一定的挑戰(zhàn)性，全礦井人工智能（AI）監(jiān)管平臺，通過綜合采用合適的方法和技術手段，有效地提高了模型在低樣本情況下的性能。解決了煤礦惡劣的井下環(huán)境下，樣本數據少的問題。低樣本數據集增強如圖3。

圖3 低樣本數據集增強Fig.3 Low sample dataset enhancement

在實際應用中，首先深入煤礦，去相關應用場景所在地錄制視頻、圖像等素材，或通過現有攝像儀截取部分視頻影像，對收集到的圖像素材按照以上方法進行加工處理；得到加工后的圖像素材，結合加工前的圖像素材，實現樣本的擴充。再對擴充之后樣本進行模型訓練。數據增強實際應用如圖4。

圖4 數據增強實際應用Fig.4 Practical application of data enhancement

2.2 模型訓練技術

視覺識別深度學習研究主要利用深度學習技術來提高圖像識別的準確性和可靠性。深度學習是一種機器學習技術，通過構建多層神經網絡來模擬人腦的學習過程，從而實現對圖像的識別和理解。在視覺識別領域，卷積神經網絡（CNN）是最常用的深度學習模型之一。CNN 能夠通過多個卷積層和非線性激活函數來提取圖像的特征，并通過全連接層將特征映射到目標類別上。通過訓練大量的圖像數據集，CNN 能夠學習到從圖像中提取有用信息的內在規(guī)律，從而實現對不同類型圖像的準確識別。除了CNN，還有其他類型的深度學習模型也被廣泛應用于視覺識別領域，例如循環(huán)神經網絡（RNN）、長短時記憶網絡（LSTM）和變分自編碼器（VAE）等。這些模型各有優(yōu)缺點，可以根據具體的應用場景選擇合適的模型進行研究和應用。在視覺識別深度學習研究中，數據集的選擇和模型的訓練是關鍵。為了提高模型的準確性和泛化能力，通常需要收集大量的標注數據，并通過各種技術手段來增強數據的質量和多樣性。同時，還需要選擇合適的損失函數和優(yōu)化算法來訓練模型，并對其進行調參和優(yōu)化，以獲得更好的性能。

針對煤礦用戶來說，通用化的人工智能技術（如人臉識別等）已無法滿足煤礦行業(yè)需求，需根據煤礦井下的真實環(huán)境進行模型的開發(fā)與訓練，個性化應用需求明顯。還要加快AI 技術在實際場景中的落地，快速驗證應用效果，持續(xù)進行模型迭代優(yōu)化。為解決用戶這方面的痛點問題，全礦井人工智能（AI）監(jiān)管平臺模型基于Pytorch 開發(fā)，Python 部署，采用深度學習的端到端學習，自動學習到目標的表征特征，不需要事先人工提取特征，學習能力強。深度學習的神經網絡層數多、寬度廣，理論上可以映射到任意函數，可以擬合比較復雜的函數，解決復雜的現實問題。平臺實現了對樣本數據集的管理，模型本地化訓練與部署，同時可在線對樣本數據進行標注，訓練過程可視化。同時對識別度低的數據回流到系統(tǒng)進行人工審核，來不斷提高模型的精準度。全礦井人工智能（AI）監(jiān)管平臺模型訓練、數據回流過程如圖5。

圖5 模型訓練、數據回流過程Fig.5 Model training and optimization iteration process

2.3 數據推理與決策

利用訓練后的算法模型，對視頻感知信息進行智能分析，找出視頻圖像中存在的異常點，進行圖像、視頻截取保留證據，并推送至前臺報警顯示。同時聯動語音廣播等井下設備，進行現場播報提醒。為用戶的風險處置、決策提供依據。

針對煤礦井下的應用場景，首先對感知視頻流進行實時加載，通過加載綁定的場景模型，根據條件參數，進行推理分析。找出異常圖像，進行截取、上傳等后處理。同時根據檢測的物體目標，從背景中分離出感興趣的目標區(qū)域，并確定這一目標的描述（類別和位置，常用矩形檢測框的坐標表示），實現被檢測物的自動框選。供終端用戶進行實時監(jiān)測。數據推理流程如圖6。

圖6 數據推理流程Fig.6 Data inference process

2.4 微服務后臺開發(fā)技術

微服務架構是一種松耦合的、有界上下文的面向服務架構，將1 個大型的單個應用程序和服務拆分為數個甚至數十個的支持微服務。微服務架構設計需要考慮到服務的粒度、松耦合和高度內聚、獨立團隊和自治、與語言工具無關、分布式和容錯性、持續(xù)集成和持續(xù)部署以及安全性等方面的問題。這些特點使得微服務架構能夠更好地適應業(yè)務需求的變化和發(fā)展。

1）微服務技術體系。微服務核心技術架構體系以Spring Cloud Alibaba 作為主流，是一套微服務解決方案，它提供了開發(fā)分布式應用微服務的必需組件，方便開發(fā)者通過 Spring Cloud 編程模型輕松使用這些組件來開發(fā)分布式應用服務。Spring Cloud Alibaba 利用Spring Boot 的開發(fā)便利性，結合SpringCloud 與Alibaba 開源技術，巧妙地簡化了分布式系統(tǒng)基礎架構的開發(fā)，如服務注冊發(fā)現、配置中心、消息總線、負載均衡、斷路器、數據監(jiān)控等。同時由于Spring Cloud 所依賴的組件Eureka、Feign、Hystrix、Config等面臨停更。選擇替代方案將是最好的選擇， SpringCloudAlibaba的Nacos、Sentinel 等能更好地與Spring Cloud 融合，共同構建微服務架構體系。

2）微服務構建。微服務使用SpringBoot 進行構建，以Nacos 作為注冊中心和配置中心建立集群。通過OpenFeigh 組件實現微服務的調用，同時具備負載均衡能力。同時微服務的設計采用無狀態(tài)設計，這樣可以方便橫向擴展。系統(tǒng)的登錄服務、注冊服務、基礎信息管理服務、業(yè)務邏輯服務、智能控制服務都設計成單獨的微服務。 此外，由于平臺的業(yè)務量的增加，通過開發(fā)新的微服務注冊到Nacos 即可，實現了在不動其他服務的同時實現了系統(tǒng)擴容，滿足了用戶日益增長的業(yè)務需求。例如，隨著用戶接入場景、子系統(tǒng)的不斷增加，需不斷進行服務器擴容、功能擴容，才能滿足業(yè)務需求。通過合理的配置和部署，大大提高系統(tǒng)的性能、可靠性和可維護性。

微服務集群架構如圖7。

圖7 微服務集群架構Fig.7 Microservice cluster architecture

3 現場應用

全礦井人工智能（AI）監(jiān)管平臺，在煤礦智能化建設的大背景下在內蒙古地區(qū)首先現場落地運行?；凇耙曨l+AI”的技術手段，并運用“AI 智能監(jiān)控、 智能識別、 智能分析、智能安防”等前沿技術為煤礦企業(yè)提供一站式智能化解決方案，且場景可定制化。此次充分調研了內蒙古地區(qū)各煤礦的井上井下環(huán)境，提取大量現場素材樣本進行模型訓練，基于AI 平臺和不同的應用場景建立算法模型，采用高分辨率視頻設備、人工智能技術等對各類井下設備、人員行為等信息進行智能感知，同時對感知信息進行智能分析、自學習與決策，實現了大塊煤檢測、未佩戴安全帽、操作工離崗、行車不行人、區(qū)域限員、電子圍欄等關鍵場景的賦能。同時根據煤礦智能識別場景，進行攝像儀布置，并利舊兼容已有滿足條件的攝像儀。實現不同場景AI 智能識別功能，當出現異常時，并發(fā)出告警信息。部分應用場景如圖8。

圖8 部分應用場景Fig.8 Partial application scenarios

現場應用結果表明：深度學習算法在礦山視覺識別領域具有較好的應用效果和價值；其中，卷積神經網絡（CNN）算法在圖像分類和目標檢測方面具有較好的性能表現；循環(huán)神經網絡（RNN）算法在序列數據識別方面具有較好的應用效果。通過對比實驗，發(fā)現深度學習算法在提高礦山視覺識別的準確性和穩(wěn)定性方面具有較大的優(yōu)勢；具體來說，全礦井人工智能（AI）監(jiān)管平臺的深度學習算法在礦山圖像分類方面的準確率達到了90%以上，目標檢測方面的準確率達到了80%以上。

4 結 語

以視頻感知為基礎，以網絡、信息技術為媒介，以人工智能、大數據為技術支撐；構建了全礦井人工智能（AI）監(jiān)管平臺，介紹了平臺的總體架構和核心場景；基于整個平臺的設計，論述了低樣本數據集增強技術、模型訓練技術、數據推理與決策、微服務后臺開發(fā)技術等關鍵技術?；谌斯ぶ悄芗夹g的全礦井人工智能（AI）監(jiān)管平臺解決了煤礦視覺識別樣本數據集少、識別精度低的問題，同時利用卷積神經網絡（CNN）結合人工審核機制實現了模型的自我學習與迭代優(yōu)化；經過現場試驗驗證，效果顯著。