楊坤 張永福
摘要:目前國(guó)內(nèi)煤礦井下架空乘人裝置大多數(shù)實(shí)現(xiàn)了自動(dòng)或者半自動(dòng)控制,但大部分沒有實(shí)現(xiàn)智能控制,鑒于此,設(shè)計(jì)了一套基于AI圖像識(shí)別技術(shù)的架空乘人裝置智能控制系統(tǒng),詳細(xì)介紹了系統(tǒng)組成、系統(tǒng)設(shè)計(jì)和功能,利用AI圖像識(shí)別技術(shù)對(duì)上下乘車點(diǎn)、乘車沿途進(jìn)行圖像智能識(shí)別分析,并與控制系統(tǒng)聯(lián)動(dòng),有效防范了運(yùn)送人員過(guò)程中的不安全因素,實(shí)現(xiàn)了架空乘人裝置安全運(yùn)行、無(wú)人值守運(yùn)行。實(shí)踐證明,該系統(tǒng)運(yùn)行穩(wěn)定,實(shí)現(xiàn)了架空乘人裝置的智能運(yùn)行。
關(guān)鍵詞:架空乘人裝置;AI圖像識(shí)別技術(shù);智能控制;無(wú)人值守
0 引言
近年來(lái),我國(guó)從政府層面先后出臺(tái)了一系列政策和規(guī)劃,大力推進(jìn)煤礦智能化建設(shè)[1],實(shí)現(xiàn)井下作業(yè)人員的少人化和無(wú)人化,提升煤礦本質(zhì)安全水平,而其中人工智能是智能煤礦建設(shè)的關(guān)鍵技術(shù),在實(shí)現(xiàn)架空乘人系統(tǒng)無(wú)人值守中發(fā)揮著重要作用。架空乘人裝置是煤礦井下常用的輔助運(yùn)輸設(shè)備之一,主要用于運(yùn)輸井下人員,節(jié)省人員非必要的體力消耗。目前國(guó)內(nèi)煤礦井下大多數(shù)架空乘人裝置已實(shí)現(xiàn)自動(dòng)或者半自動(dòng)控制,即可以做到定時(shí)開停架空乘人裝置或安排井下值班人員開停架空乘人裝置,但無(wú)法做到工人到上車點(diǎn)自動(dòng)啟動(dòng)架空乘人裝置,下車后自動(dòng)停止架空乘人裝置;同時(shí),在人員安全保障[2]方面僅僅局限于越位保護(hù)、急停保護(hù)、斷繩保護(hù)、語(yǔ)音報(bào)警等,無(wú)法對(duì)乘車過(guò)程中的人員行為進(jìn)行實(shí)時(shí)監(jiān)控。為了實(shí)現(xiàn)架空乘人裝置的智能運(yùn)行,本文提出了基于AI圖像識(shí)別技術(shù)的架空乘人裝置智能控制系統(tǒng)設(shè)計(jì)。
1 系統(tǒng)組成
如圖1所示,基于AI圖像識(shí)別技術(shù)的架空乘人裝置智能控制系統(tǒng)主要由監(jiān)控中心、數(shù)據(jù)傳輸、現(xiàn)場(chǎng)監(jiān)控等組成。
1.1? ? 監(jiān)控中心
部署在地面集控中心,包括工控機(jī)、顯示器、報(bào)警裝置等硬件設(shè)備及配套軟件,顯示部分分為自動(dòng)化監(jiān)控和圖像監(jiān)控兩部分。自動(dòng)化監(jiān)控部分可以實(shí)時(shí)監(jiān)視架空乘人裝置系統(tǒng)數(shù)據(jù),實(shí)時(shí)顯示緊急停機(jī)區(qū)域、過(guò)乘急停保護(hù)區(qū)域、鋼絲繩托槽保護(hù)、沿線急停閉鎖等及故障位置、電機(jī)電流、溫度等數(shù)據(jù);可控制架空乘人裝置的啟停和故障緊急停車;同時(shí),具備操作記錄和故障記錄查詢功能、數(shù)據(jù)曲線分析等功能。圖像監(jiān)控部分可以實(shí)時(shí)顯示監(jiān)控圖像,可以顯示圖像智能分析及報(bào)警畫面,具備報(bào)警圖片和報(bào)警短視頻截取、存儲(chǔ)功能。
1.2? ? 數(shù)據(jù)傳輸
可以利用礦井工業(yè)以太網(wǎng)[2]、F5G網(wǎng)絡(luò)或5G/Wi-Fi 6等信息網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳輸。
1.3? ? 現(xiàn)場(chǎng)監(jiān)控
現(xiàn)場(chǎng)監(jiān)控包括:(1)自動(dòng)控制系統(tǒng);(2)AI圖像識(shí)別控制系統(tǒng);(3)智能聯(lián)動(dòng)系統(tǒng)。
自動(dòng)控制系統(tǒng):實(shí)現(xiàn)架空乘人裝置的設(shè)備參數(shù)采集、保護(hù)接入和設(shè)備控制;具備閉鎖邏輯控制,可根據(jù)接收到的信號(hào)自動(dòng)啟停,采用主控器PLC作為控制單元[3]。
AI圖像識(shí)別控制系統(tǒng)和智能聯(lián)動(dòng)系統(tǒng):主要實(shí)現(xiàn)各類場(chǎng)景的圖像識(shí)別,并與控制系統(tǒng)進(jìn)行聯(lián)動(dòng),實(shí)現(xiàn)架空乘人裝置的安全高效運(yùn)行。
2 AI識(shí)別算法介紹
在架空乘人裝置的上車點(diǎn)、下車點(diǎn)以及沿線安裝AI智能攝像儀,根據(jù)攝像儀捕捉的畫面,利用視頻處理的方法基于設(shè)定場(chǎng)景對(duì)畫面進(jìn)行智能識(shí)別分析。
如圖2所示,AI圖像智能識(shí)別主要流程如下:(1)提取攝像儀輸出的視頻幀;(2)根據(jù)提取的視頻幀,劃定檢測(cè)識(shí)別區(qū)域;(3)預(yù)處理檢測(cè)區(qū)域的圖像;(4)邊緣提取處理后的圖像特征,與樣本庫(kù)特征進(jìn)行比對(duì),并輸出檢測(cè)識(shí)別結(jié)果。
預(yù)處理:主要分為圖像灰度化和濾波。檢測(cè)區(qū)域的圖像為三通道RGB彩色圖像,首先要對(duì)其進(jìn)行灰度化,將其從彩色圖轉(zhuǎn)換成灰度圖;其次要對(duì)灰度圖進(jìn)行濾波處理,用來(lái)去除圖像中的噪點(diǎn)、黑斑和無(wú)關(guān)因子。
AI智能識(shí)別算法:采用結(jié)構(gòu)化圖像分析處理技術(shù),涉及圖像采集、目標(biāo)檢測(cè)、目標(biāo)跟蹤、屬性分類、目標(biāo)軌跡分析、圖像疊加、編碼、RTSP推流等。核心目標(biāo)識(shí)別算法采用人工智能領(lǐng)域中卷積神經(jīng)網(wǎng)絡(luò)與全連接層構(gòu)建技術(shù),通過(guò)采用一體化卷積網(wǎng)絡(luò)檢測(cè)算法,把整張圖像作為數(shù)據(jù)輸入,通過(guò)一次前向傳播得到目標(biāo)的定位位置和目標(biāo)類別,然后再采用RPN的多參考窗口技術(shù),進(jìn)一步在多個(gè)分辨率不同特征圖上進(jìn)行識(shí)別檢測(cè)。采用高級(jí)的跟蹤算法,通過(guò)預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型提取目標(biāo)物理特性,通過(guò)該模型計(jì)算每個(gè)目標(biāo)的外觀特征值,然后計(jì)算前后兩幀中目標(biāo)計(jì)算特征值之間的“余弦距離”來(lái)比較兩個(gè)目標(biāo)的相似度,實(shí)現(xiàn)有效識(shí)別和分析。
3 AI圖像識(shí)別控制系統(tǒng)設(shè)計(jì)和功能
AI圖像識(shí)別控制系統(tǒng),通過(guò)實(shí)時(shí)讀取場(chǎng)景行為視頻數(shù)據(jù),基于深度學(xué)習(xí)、視頻大數(shù)據(jù)分析和計(jì)算機(jī)視覺目標(biāo)跟蹤等技術(shù),有效識(shí)別人員進(jìn)入?yún)^(qū)域或闖入危險(xiǎn)區(qū)域、未佩戴安全帽、乘距等。首先需要完成樣本視頻中行為事件的標(biāo)注;其次完成基于行為事件標(biāo)注數(shù)據(jù)的模型訓(xùn)練;然后對(duì)訓(xùn)練完成的模型進(jìn)行測(cè)試和優(yōu)化;最后完成行為事件識(shí)別的接口開發(fā),返回視頻中行為事件識(shí)別的檢測(cè)結(jié)果。
AI圖像識(shí)別控制系統(tǒng)的架構(gòu)包括圖像智能分析、系統(tǒng)聯(lián)動(dòng)和效果展示。圖像智能分析主要由圖像采集單元、智能分析檢測(cè)單元、就地報(bào)警單元等組成;系統(tǒng)聯(lián)動(dòng)由網(wǎng)絡(luò)傳輸、信號(hào)傳遞和設(shè)備控制單元組成;效果展示是AI圖像識(shí)別控制系統(tǒng)識(shí)別效果的最終呈現(xiàn),同時(shí)負(fù)責(zé)業(yè)務(wù)數(shù)據(jù)存儲(chǔ)轉(zhuǎn)發(fā)、報(bào)警信息推送、報(bào)警錄像存儲(chǔ)及回放。
3.1? ? 定義報(bào)警和控制規(guī)則
根據(jù)系統(tǒng)應(yīng)用需求,視頻分析檢測(cè)人員、乘距、人員行為等情況,以實(shí)現(xiàn)對(duì)人員安全的保護(hù)。根據(jù)視頻分析結(jié)果定義如下規(guī)則。
報(bào)警規(guī)則:根據(jù)預(yù)設(shè)的場(chǎng)景識(shí)別功能,識(shí)別結(jié)果包括是或否;識(shí)別后智能攝像儀就地語(yǔ)音報(bào)警,地面軟件進(jìn)行存儲(chǔ)記錄。
控制及聯(lián)動(dòng)規(guī)則:智能攝像儀通過(guò)以太網(wǎng)通信輸出數(shù)據(jù)到自動(dòng)控制系統(tǒng)或通過(guò)攝像儀的干接點(diǎn)直接控制架空乘人裝置停車。
智能攝像儀內(nèi)置AI智能處理芯片,采用AI智能算法圖像語(yǔ)義分割技術(shù),對(duì)移動(dòng)的物體進(jìn)行邊緣提取,找出各類物體的區(qū)域,從而進(jìn)行智能識(shí)別;具備報(bào)警開關(guān)量輸出功能,具備RS485串口通信功能,支持標(biāo)準(zhǔn)的Modbus協(xié)議。通過(guò)此協(xié)議智能攝像儀可以與主控器PLC相互通信,從而實(shí)現(xiàn)數(shù)據(jù)對(duì)接、系統(tǒng)聯(lián)動(dòng)。
3.2? ? 主要應(yīng)用場(chǎng)景及功能
3.2.1? ? 人員識(shí)別
基于深度學(xué)習(xí)的檢測(cè)算法,對(duì)上車點(diǎn)、下車點(diǎn)、變坡點(diǎn)以及沿線關(guān)鍵區(qū)域進(jìn)行人員識(shí)別檢測(cè),識(shí)別后可與控制系統(tǒng)聯(lián)動(dòng)。即人員到上車點(diǎn)后,能自動(dòng)識(shí)別,實(shí)現(xiàn)自動(dòng)啟動(dòng)架空乘人裝置;到下車點(diǎn)后,如果人員未下車則自動(dòng)停車;在變坡點(diǎn)及沿線關(guān)鍵區(qū)域,進(jìn)行實(shí)時(shí)監(jiān)控,結(jié)合計(jì)算機(jī)視覺目標(biāo)檢測(cè)算法,當(dāng)指定區(qū)域有人體出現(xiàn)時(shí),進(jìn)行報(bào)警。
3.2.2? ? 乘距識(shí)別與聯(lián)動(dòng)
主要對(duì)上車階段的乘車距離進(jìn)行識(shí)別,一旦識(shí)別到乘車距離過(guò)近時(shí),AI攝像儀自動(dòng)報(bào)警。乘距可設(shè)置報(bào)警距離和停車距離,根據(jù)設(shè)置距離判斷是否自動(dòng)停車。
3.2.3? ? 人員行為識(shí)別與聯(lián)動(dòng)
主要對(duì)人員是否佩戴安全帽、是否攜帶超長(zhǎng)/超高物品,使用人工智能方法,對(duì)監(jiān)測(cè)區(qū)域進(jìn)行全天候監(jiān)視,對(duì)未佩戴安全帽或攜帶超限物品等行為及時(shí)發(fā)現(xiàn)并上報(bào),做到及時(shí)發(fā)現(xiàn)、主動(dòng)報(bào)警、必要時(shí)停車。
3.2.4? ? 人數(shù)統(tǒng)計(jì)
對(duì)上車點(diǎn)區(qū)域進(jìn)行監(jiān)測(cè),當(dāng)監(jiān)測(cè)區(qū)域內(nèi)人員超出設(shè)定人員數(shù)量時(shí),可自動(dòng)報(bào)警,就地提醒擁擠人員,閾值可靈活設(shè)置。
4 結(jié)語(yǔ)
隨著礦井“新基建”[4]的不斷推進(jìn),人工智能技術(shù)必將在智能化煤礦建設(shè)中發(fā)揮重大作用?;贏I圖像識(shí)別技術(shù)的架空乘人裝置智能控制系統(tǒng),其核心技術(shù)是人工智能圖像識(shí)別,核心目的是保障人身安全,實(shí)現(xiàn)手段是系統(tǒng)聯(lián)動(dòng),最終目標(biāo)是實(shí)現(xiàn)系統(tǒng)的無(wú)人值守、智能化運(yùn)行。該系統(tǒng)已在平煤股份十一礦得到應(yīng)用,實(shí)踐表明系統(tǒng)運(yùn)行穩(wěn)定可靠,值得推廣應(yīng)用。
[參考文獻(xiàn)]
[1] 孫繼平.煤礦物聯(lián)網(wǎng)特點(diǎn)與關(guān)鍵技術(shù)研究[J].煤炭學(xué)報(bào),2011,36(1):167-171.
[2] 黃濤,肖仁喜.礦用架空乘人保護(hù)裝置及安全設(shè)施[J].煤礦機(jī)電,2020,41(2):92-95.
[3] 張漢燾.基于物聯(lián)網(wǎng)的架空乘人裝置無(wú)人值守系統(tǒng)的應(yīng)用[J].機(jī)械管理開發(fā),2019,34(8):214-215.
[4] 劉峰,王世雅.清楚認(rèn)識(shí)我國(guó)煤礦智能化發(fā)展進(jìn)程[N].中國(guó)煤炭報(bào),2020-11-21(004).
收稿日期:2021-08-20
作者簡(jiǎn)介:楊坤(1984—),男,河南平頂山人,工程師,主要從事煤礦智能化、信息化相關(guān)工作。