圖像識(shí)別智能放煤技術(shù)原理與應(yīng)用

王家臣，潘衛(wèi)東，張國(guó)英，楊勝利，楊克虎，李良暉

(1.中國(guó)礦業(yè)大學(xué)(北京) 能源與礦業(yè)學(xué)院，北京 100083； 2.放頂煤開采煤炭行業(yè)工程研究中心，北京 100083； 3.中國(guó)礦業(yè)大學(xué)(北京) 機(jī)電與信息工程學(xué)院，北京 100083)

放頂煤開采技術(shù)是開采厚及特厚煤層的有效方法，放煤是放頂煤開采獨(dú)有的工序，近20 a來，國(guó)內(nèi)外一直致力于智能放煤技術(shù)開發(fā)，但至今仍無實(shí)質(zhì)性進(jìn)展，也沒有國(guó)內(nèi)外成熟技術(shù)可以借鑒，與綜采工作面智能化相比，智能放煤的進(jìn)展較小。

綜采工作面和放頂煤工作面的區(qū)別主要在于放煤。煤炭開采過程中主要涉及到2類煤矸識(shí)別問題，一是綜采工作面采煤機(jī)割煤過程中的煤巖界面識(shí)別，二是綜放工作面放煤過程中的煤矸識(shí)別。前者已經(jīng)在智能綜采工作面初步實(shí)現(xiàn)，而后者要對(duì)后部刮板輸送機(jī)上快速運(yùn)動(dòng)的、呈堆積狀態(tài)的煤矸進(jìn)行識(shí)別，目前仍然存在許多技術(shù)難題。目前，放頂煤工作面仍普遍采用人工放煤方式，放煤工人從液壓支架間隙觀察后部刮板輸送機(jī)上煤流，觀察矸石是否被放出或者放出的量，進(jìn)而決定是否停止放煤。這種方法勞動(dòng)強(qiáng)度大、生產(chǎn)效率低，且容易出現(xiàn)由于工人主觀原因發(fā)生誤操作的情況。

智能化放頂煤開采是以智能化綜采技術(shù)為基礎(chǔ)，通過實(shí)現(xiàn)智能放煤最終達(dá)到放頂煤工作面的智能化控制。在智能化放頂煤開采相關(guān)技術(shù)領(lǐng)域，近年來國(guó)內(nèi)進(jìn)行了初步的探索試驗(yàn)，如：兗礦集團(tuán)興隆莊煤礦試驗(yàn)程序控制與人工補(bǔ)放結(jié)合的放煤方式，潞安集團(tuán)王莊煤礦試驗(yàn)研究了聲音頻譜煤矸識(shí)別技術(shù)，中國(guó)礦業(yè)大學(xué)進(jìn)行了基于聲波、近紅外光譜、自然射線等的放煤過程自動(dòng)控制系統(tǒng)試驗(yàn)研究，利用高性能多次回波信號(hào)反射激光雷達(dá)掃描技術(shù)對(duì)后部刮板輸送機(jī)上運(yùn)煤量進(jìn)行了監(jiān)測(cè)，劉闖提出了微波加熱-紅外探測(cè)的主動(dòng)式煤矸識(shí)別方法，楊揚(yáng)通過分析尾梁振動(dòng)信號(hào)進(jìn)行放頂煤工作面的煤矸識(shí)別，張守祥等提出綜合運(yùn)用多種監(jiān)測(cè)手段實(shí)現(xiàn)精準(zhǔn)放煤控制的思路，北京天地瑪珂電液控制系統(tǒng)有限公司試驗(yàn)了記憶放頂煤方式，晉能集團(tuán)同忻煤礦采用煤矸沖擊振動(dòng)傳感器識(shí)別矸石到達(dá)放煤口時(shí)間，筆者團(tuán)隊(duì)利用頂煤運(yùn)移跟蹤儀(發(fā)明專利號(hào)：ZL200910080005.9)，開展了自動(dòng)化放煤技術(shù)的嘗試，構(gòu)建了基于該技術(shù)的自動(dòng)化放煤控制系統(tǒng)，提出自動(dòng)化放煤條件下應(yīng)優(yōu)選多輪順序放煤方式，實(shí)現(xiàn)了放頂煤工作面放煤口自動(dòng)開閉決策、頂煤安全高效回收，目前已在朱仙莊礦8105工作面進(jìn)行了初步應(yīng)用。最近幾年，深度學(xué)習(xí)發(fā)展迅猛，已廣泛滲透于各個(gè)行業(yè)、各個(gè)領(lǐng)域，用于解決復(fù)雜環(huán)境下的場(chǎng)景理解問題，為圖像識(shí)別智能放煤技術(shù)提供了技術(shù)保障，通過語(yǔ)義分割可以對(duì)放頂煤工作面后部刮板輸送機(jī)上煤流中煤矸邊界進(jìn)行提取，進(jìn)而獲得混矸率，指導(dǎo)智能放煤。

國(guó)外放頂煤開采技術(shù)僅在土耳其、孟加拉、澳大利亞等少數(shù)幾個(gè)國(guó)家有相關(guān)應(yīng)用且大多為國(guó)內(nèi)放頂煤技術(shù)的輸出應(yīng)用，如兗礦集團(tuán)有限公司將放頂煤開采技術(shù)應(yīng)用到澳大利亞澳思達(dá)礦，并探索了基于時(shí)間控制的自動(dòng)化放煤方式。2018年，卡特彼勒公司提出了基于支架位態(tài)的智能放煤技術(shù)。此外，以慣性導(dǎo)航技術(shù)，超聲波、熱紅外、太赫茲光譜等煤巖識(shí)別技術(shù)、虛擬現(xiàn)實(shí)技術(shù)、多傳感器技術(shù)為代表的綜采工作面自動(dòng)化技術(shù)使綜采工作面的智能化成為可能，這也為智能化放頂煤開采技術(shù)的研究提供了一定的技術(shù)參考。

綜上，目前放頂煤工作面主要采用人工控制放煤，同時(shí)也在記憶放煤、支架位態(tài)、紅外、聲波、振動(dòng)、高光譜、伽馬射線智能放煤技術(shù)等方面進(jìn)行了探索。記憶放煤比較容易實(shí)現(xiàn)，但是難以對(duì)放煤狀態(tài)做出實(shí)時(shí)反饋，當(dāng)煤層賦存條件發(fā)生變化時(shí)，可能會(huì)產(chǎn)生誤差；支架位態(tài)智能放煤技術(shù)環(huán)境適應(yīng)性強(qiáng)，不受粉塵、水霧等因素的影響，紅外智能放煤技術(shù)也可以適應(yīng)低照度，強(qiáng)噪聲環(huán)境，聲波、振動(dòng)智能放煤技術(shù)則可以克服高粉塵問題，但是在煤矸物理力學(xué)性質(zhì)相差不大時(shí)，易產(chǎn)生較大的識(shí)別誤差；高光譜、伽馬射線等智能放煤技術(shù)，具有靈敏度高的特點(diǎn)，但是設(shè)備成本高，有些體積較大的設(shè)備也會(huì)受限于放頂煤工作面支架后部的狹小空間。上述這幾種方法都無法獲得混矸率數(shù)據(jù)，而混矸率又是影響頂煤回收率的關(guān)鍵因素。

實(shí)現(xiàn)智能化的核心問題是正確把握放煤口開啟和關(guān)閉的時(shí)機(jī)，但目前為止尚未取得關(guān)鍵突破。筆者所在課題組經(jīng)過10余年的聯(lián)合科技攻關(guān)，通過對(duì)圖像、聲音、振動(dòng)等多種煤矸識(shí)別技術(shù)的不斷探索和研究，最終聚焦到圖像識(shí)別技術(shù)，創(chuàng)新了放頂煤工作面后部刮板輸送機(jī)上煤矸堆積體灰度差異特征的圖像快速識(shí)別方法，發(fā)明了適用于放頂煤工作面高粉塵條件的煤矸圖像采集系統(tǒng)，實(shí)現(xiàn)了放頂煤工作面的智能放煤，攻克了放頂煤工作面智能開采的關(guān)鍵技術(shù)難題，配合頂煤運(yùn)移跟蹤儀，在淮北礦區(qū)和開灤礦區(qū)進(jìn)行了現(xiàn)場(chǎng)應(yīng)用，提高了頂煤回收率，對(duì)于提升我國(guó)厚煤層智能開采科技水平與效益具有重大意義和實(shí)用價(jià)值。

1 煤矸圖像特征的照度因素影響機(jī)制與煤矸識(shí)別特征選取

目前，在放頂煤工作面，通常是放煤工人通過觀察放煤口附近后部刮板輸送機(jī)上煤流的顏色(或灰度)來判斷矸石是否已經(jīng)被放出，或者估計(jì)放出的量，進(jìn)而決定是否需要關(guān)閉放煤口。近40a的放頂煤生產(chǎn)經(jīng)驗(yàn)也表明，在大多數(shù)煤層賦存條件和生產(chǎn)環(huán)境下，通過人工肉眼辨識(shí)煤矸、進(jìn)而控制放煤口的開關(guān)是可行的、有效的。

因此，完全可以使用成熟的圖像識(shí)別算法代替人工來識(shí)別煤和矸石，達(dá)到減人增效的目的。關(guān)于圖像識(shí)別，主要有2條思路，第1種研究思路是利用經(jīng)典的圖像處理算法計(jì)算混矸率?；叶群图y理是圖像識(shí)別最常用的2個(gè)特征指標(biāo)，分形維數(shù)可以用于反映煤矸表面紋理的復(fù)雜程度，見表1，其中，() 為灰度級(jí)出現(xiàn)的概率；為灰度級(jí)為的像素點(diǎn)個(gè)數(shù)；為總像素點(diǎn)數(shù)；(,,,)為像素點(diǎn)(,)的所有方向、相鄰間隔為的像素對(duì)中一個(gè)取值，另一個(gè)取值的相鄰像素對(duì)出現(xiàn)的次數(shù)；為覆蓋圖像需要使用邊長(zhǎng)為的小立方體的數(shù)量。該方法原理簡(jiǎn)單，在圖像識(shí)別煤矸分選領(lǐng)域得到了廣泛應(yīng)用，其可靠性得到了驗(yàn)證。

表1 圖像特征[33]

大同礦區(qū)煤和矸石樣本的部分灰度特征如圖1所示。同一照度下，煤和矸石的特征值存在差異，隨著照度的變化，煤和矸石的特征值也發(fā)生變化，且表現(xiàn)出不同的變化規(guī)律。因此，煤和矸石特征值的差異程度受照度影響，比如煤和矸石的特征在低照度下差異較小，而在高照度下差異較大。

圖1 不同照度下的煤矸灰度特征[34]Fig.1 Gray features of coal and gangue under multiple illuminance[34]

第2種研究思路是利用深度學(xué)習(xí)算法對(duì)煤矸圖像進(jìn)行語(yǔ)義分割，進(jìn)而計(jì)算混矸率。不論是經(jīng)典的圖像處理算法，還是基于深度學(xué)習(xí)的語(yǔ)義分割算法，分析的對(duì)象都是圖像，而圖像又是目標(biāo)物體、光源、環(huán)境以及圖像采集系統(tǒng)等多種因素共同作用的結(jié)果，同一物體，放置在不同的光照環(huán)境下，或者使用不同的傳感器進(jìn)行采集，得到的圖像也是不同的，進(jìn)一步通過算法得到識(shí)別的結(jié)果，可能也是不同的，特別是對(duì)于煤和矸石的識(shí)別，這類問題更加顯著。因此，將照度概念引入到圖像識(shí)別智能放煤技術(shù)的研究中，為煤矸圖像識(shí)別提供最優(yōu)照度或最優(yōu)特征，這也是煤矸圖像識(shí)別有別于其他領(lǐng)域進(jìn)行圖像識(shí)別的地方。

2 煤矸圖像精準(zhǔn)分割與混矸率計(jì)算

相比于其他識(shí)別技術(shù)或手段，圖像識(shí)別智能放煤技術(shù)的一大優(yōu)勢(shì)是可以實(shí)現(xiàn)混矸率的識(shí)別?；祉仿?Rock Mixed Ratio,)是指從放煤口放出并落在后部刮板輸送機(jī)上快速移動(dòng)煤流中的矸石的體積(矸石表面積或二維圖像中的投影面積)與煤矸總體積(總表面積或二維圖像中的總投影面積)的比值，取值范圍[0,100%]，如式(1)所示。

(1)

式中，，分別為煤或矸石的投影面積、表面積或體積。

目前，常用的一些智能放煤技術(shù)，比如基于聲音或者振動(dòng)信號(hào)的技術(shù)，僅能對(duì)“放煤”、“放矸”2種放煤階段進(jìn)行區(qū)分，而無法對(duì)混矸率進(jìn)行判別，這是典型的“見矸關(guān)門”原則。最近的研究發(fā)現(xiàn)，當(dāng)混矸率為10%～15%時(shí)，才可使頂煤采出率達(dá)到最大化，這就要求在煤矸識(shí)別時(shí)，要對(duì)混矸率給出定量精準(zhǔn)判斷，否則會(huì)造成較大的頂煤損失。

對(duì)混矸率的精準(zhǔn)判斷離不開高精度的圖像分割結(jié)果，放頂煤領(lǐng)域的圖像分割不同于其他領(lǐng)域。比如在煤矸分選過程中，待分選的煤和矸石被平鋪在帶式輸送機(jī)上通過傳感器，而放頂煤工作面，后部刮板輸送機(jī)帶動(dòng)煤流快速移動(dòng)，煤和矸石相互堆積疊壓(圖2)，不利于邊界識(shí)別與混矸率計(jì)算。

圖2 不同研究領(lǐng)域的煤矸識(shí)別Fig.2 Coal rock recognition in different research fields

為了實(shí)現(xiàn)圖像的精準(zhǔn)分割，從經(jīng)典算法與深度學(xué)習(xí)算法2個(gè)思路開展了研究。在經(jīng)典算法方面，提出了一種適用于煤矸圖像分割的基于多尺度重建及標(biāo)記控制分水嶺算法，實(shí)現(xiàn)了煤矸混合圖像的分割(圖3)，但是對(duì)圖像中陰影區(qū)域的辨識(shí)能力較差。

圖3 經(jīng)典算法分割結(jié)果[35] Fig.3 Image segmentation based on classical algorithm[35]

將深度學(xué)習(xí)方法引入到混矸率識(shí)別研究中，提出了一種輕量級(jí)的放頂煤工作面矸石識(shí)別及邊界測(cè)量模型(圖4，其中，為空洞率)。圖像低級(jí)特征由深度可分離的輕量級(jí)卷積結(jié)構(gòu)提取，提高特征提取速度。高層圖像信息由多尺度模塊提取。低級(jí)和高級(jí)多尺度信息融合后，獲得了圖像中矸石目標(biāo)的完整邊界。通過標(biāo)注煤矸圖像數(shù)據(jù)集訓(xùn)練，快速獲得放頂煤圖像中的矸石準(zhǔn)確邊界(圖5)。

混矸率是一個(gè)廣義的概念，不僅可以用投影面積比表示，還可以用表面積比或者體積比表示。通過統(tǒng)計(jì)二維圖像中像素點(diǎn)個(gè)數(shù)，可以得到用投影面積表示的混矸率。實(shí)際上，放頂煤工作面后部刮板輸送機(jī)上煤流中的煤和矸石是三維塊體，且相互疊壓堆積，所以，通過煤矸二維圖像反演煤矸塊體三維堆積形態(tài)，獲得煤流表面的體積混矸率，并且對(duì)疊壓在煤流內(nèi)部的體積混矸率進(jìn)行預(yù)測(cè)(圖6)，這是一種提升混矸率測(cè)量精度的方法，也是圖像識(shí)別智能放煤技術(shù)有別于且領(lǐng)先于其他監(jiān)測(cè)手段或方法的地方，這將在后面幾節(jié)展開介紹。

3 基于立體視覺的照度智能監(jiān)測(cè)與自適應(yīng)調(diào)節(jié)

照度是圖像識(shí)別智能放煤技術(shù)中需要考慮的重要因素，照度的準(zhǔn)確測(cè)量和控制是獲得高質(zhì)量圖像和實(shí)現(xiàn)高精度識(shí)別的前提。在放頂煤工作面放煤過程中，被放出的煤和矸石在后刮板輸送機(jī)上快速移動(dòng)，照度測(cè)量困難。為此，提出了一種利用立體視覺深度測(cè)量技術(shù)來監(jiān)測(cè)照度的新方法。

圖4 放頂煤工作面矸石識(shí)別及邊界測(cè)量模型Fig.4 Rock recognition and boundary measuring model used for LTCC working

圖5 圖像采集與分割Fig.5 Image collection and segmentation

圖6 圖像識(shí)別智能放煤技術(shù)涉及到的幾種混矸率Fig.6 Several rock mixed ratios involved in IB-LTCC

放出的煤矸表面的照度值與光源功率有關(guān)，也與光源和煤矸表面的距離(光照距離)有關(guān)。光源功率可以用功率計(jì)來測(cè)量。在圖像識(shí)別智能放煤技術(shù)中，基于立體視覺的深度測(cè)量技術(shù)可以在不增加設(shè)備和工作量的前提下完成圖像采集工作，在獲得距離數(shù)據(jù)的同時(shí)，還可以提取物體的灰度、顏色或紋理特征，實(shí)現(xiàn)語(yǔ)義分割。

因此，筆者提出了一種基于立體視覺的照度智能監(jiān)測(cè)與自適應(yīng)調(diào)節(jié)方法，為圖像識(shí)別智能放煤技術(shù)提供最優(yōu)照度。在放頂煤工作面，利用圖像深度信息確定光照距離，配合功率監(jiān)測(cè)確定實(shí)時(shí)照度，進(jìn)而通過調(diào)節(jié)功率獲得最佳照度，然后在最佳照度下對(duì)圖像進(jìn)行采集和識(shí)別(圖7)，實(shí)現(xiàn)了圖像識(shí)別智能放煤過程中的照度自適應(yīng)調(diào)節(jié)。實(shí)際上，如果相機(jī)和光源并列放置，那么可以直接用圖像深度近似代替光照距離。而如果分散布置，則也可以通過幾何關(guān)系換算確定光照距離。

圖7 基于立體視覺的照度智能監(jiān)測(cè)與自適應(yīng)調(diào)節(jié)原理Fig.7 Principle of stereo vision based illuminance measurement and adaptive adjustment

研究表明，采用本方法可以對(duì)LED(單、組合)光源以及鹵素(單、組合)光源進(jìn)行精準(zhǔn)的照度智能監(jiān)測(cè)與自適應(yīng)調(diào)節(jié)。照度、光照距離以及光源功率表現(xiàn)出了良好的相關(guān)性(圖8)，可以通過光照距離測(cè)量，實(shí)現(xiàn)照度的間接求解；亦可以通過功率調(diào)節(jié)，實(shí)現(xiàn)照度的精準(zhǔn)控制。

圖8 照度、光照距離以及光源功率關(guān)系[39] Fig.8 Relationship between illuminance,lighting distance and power[39]

4 頂煤放出規(guī)律與放出煤矸塊體堆積特征

BBR是綜合研究煤巖分界面(Boundary)、頂煤放出體(Body)、頂煤采出率與混矸率(Ratio)及其相互關(guān)系的理論，對(duì)于圖像識(shí)別智能放煤技術(shù)十分重要，它可以指導(dǎo)圖像采集的時(shí)機(jī)。圖像識(shí)別智能放煤技術(shù)是通過分析支架放煤口和后部刮板輸送機(jī)上煤流混矸率來決定是否需要關(guān)閉放煤口。實(shí)際上，在矸石被放出之前，有較長(zhǎng)的一段時(shí)間是純放煤階段，如果沒有出現(xiàn)卡煤、成拱等異常放煤狀況，則無需過多干預(yù)。上一輪放煤結(jié)束后產(chǎn)生大量的細(xì)微煤矸粉末，會(huì)在本輪放煤初期，也即純放煤階段，隨著頂煤一起被集中放出，造成短時(shí)間內(nèi)粉塵體積分?jǐn)?shù)驟升。因此，通過分析頂煤放出規(guī)律，確定煤巖分界面與頂煤放出體形態(tài)，計(jì)算頂煤的放出量，可以預(yù)估每個(gè)支架純放煤的持續(xù)時(shí)間，在純放煤階段，圖像采集系統(tǒng)僅間隔時(shí)間采集圖像，當(dāng)接近矸石被放出時(shí)，增大圖像采集頻率。鏡頭的積塵量直接影響到圖像質(zhì)量，而積塵量與環(huán)境中的粉塵體積分?jǐn)?shù)、鏡頭在粉塵環(huán)境中的暴露時(shí)間、除(降)塵裝置的性能等有關(guān)。粉塵體積分?jǐn)?shù)越低、鏡頭暴露時(shí)間越短、除(降)塵裝置的性能越好，積塵量越少，采集圖像的清晰度越好。所以，通過預(yù)判放煤持續(xù)時(shí)間來確定圖像采集時(shí)機(jī)，一方面，可以降低對(duì)除(降)塵設(shè)備與算法的需求與依賴，對(duì)于純放煤階段可能存在的高體積分?jǐn)?shù)粉塵環(huán)境，不必實(shí)時(shí)采集圖像，也不必實(shí)時(shí)分析圖像。另一方面，可以減少鏡頭在粉塵環(huán)境中的暴露時(shí)間以減少積塵，保證鏡頭長(zhǎng)時(shí)間清潔，為圖像識(shí)別持續(xù)提供高質(zhì)量圖像。

基于BBR研究體系，研究頂煤采出率與混矸率的關(guān)系，還可以為確定合理的放煤口關(guān)閉時(shí)間提供依據(jù)。適當(dāng)?shù)胤懦霾糠猪肥?，可以提高頂煤采出率，而混矸率識(shí)別正是圖像識(shí)別智能放煤技術(shù)可以實(shí)現(xiàn)的、有別于且領(lǐng)先于其他識(shí)別手段的一項(xiàng)工作。因此，通過頂煤放出規(guī)律研究，可以為圖像識(shí)別智能放煤技術(shù)確定一個(gè)合理的混矸率閾值區(qū)間，當(dāng)混矸率處于這個(gè)區(qū)間時(shí)，可以有效提高頂煤采出率且不會(huì)大幅增加矸石運(yùn)輸與分選成本。以BBR理論研究成果為基礎(chǔ)，可以有效提高圖像識(shí)別智能放煤技術(shù)的識(shí)別精度(圖9)。

圖9 BBR研究體系與圖像識(shí)別智能放煤技術(shù)Fig.9 BBR research system and image recognition intelligent coal caving technology

頂煤和矸石從放煤口被放出后，會(huì)堆積在后部刮板輸送機(jī)上，并被運(yùn)出工作面。通過分析它們的堆積特征，可以提升混矸率識(shí)別精度。圖像識(shí)別是以分析二維圖像為基礎(chǔ)的，圖像采集到的信息也僅僅是煤流表面的信息，因此，直接通過圖像獲得的混矸率是煤流表面矸石的投影面積與表面煤矸總投影面積的比值。而實(shí)際上，放出的煤和矸石并不是以二維形態(tài)存在的，也不是彼此獨(dú)立平鋪在后部刮板輸送機(jī)上的。它們不僅是三維塊體，而且相互堆積疊壓。因此，制定了“由表及里”(Surface to Inside,S2I)混矸率高精度預(yù)測(cè)2步走策略。首先，通過分析煤矸塊體三維形態(tài)特征與二維形態(tài)特征關(guān)系，實(shí)現(xiàn)投影面積混矸率向表面體積混矸率的過渡(第7節(jié))；其次，通過對(duì)煤矸塊體堆積特征的分析，獲得煤流表面體積混矸率與內(nèi)部體積混矸率的關(guān)系，完成由表面體積混矸率向內(nèi)部體積混矸率的跨越(圖10)，達(dá)到利用二維圖像預(yù)測(cè)三維混矸率的目的，最終實(shí)現(xiàn)透明化煤流，實(shí)現(xiàn)混矸率的高精度測(cè)量。

圖10 S2I混矸率高精度預(yù)測(cè)2步走策略Fig.10 S2I protocol to measure RMR with high accuracy

5 基于二維圖像的煤矸塊體形狀表征模型與三維快速寫意重建

煤矸塊體的形狀影響著頂煤的放出規(guī)律和堆積特征，進(jìn)而影響到圖像識(shí)別智能放煤技術(shù)對(duì)后部刮板輸送機(jī)煤流混矸率的辨識(shí)精度，常用的形狀表征參數(shù)見表2。目前在進(jìn)行放頂煤相關(guān)數(shù)值模擬研究時(shí)，不規(guī)則的煤塊通常被簡(jiǎn)化為二維圓盤或三維球體，這與實(shí)際情況存在差異。圍繞利用圖像識(shí)別解決智能放煤?jiǎn)栴}的基本思路，提出了一種基于二維圖像的煤矸塊體形狀表征模型以及一種塊體三維快速寫意重建方法。

表2 基于二維圖像獲得的形狀特征[40]

上述這些特征參數(shù)(Feature Index,)可以定量描述塊體在二維圖像中投影的形狀，筆者分析了煤矸塊體多視角下的投影圖像，對(duì)采集到的多個(gè)視角下的煤矸塊體圖像分別提取形狀特征參數(shù)，再計(jì)算這些形狀特征參數(shù)的加權(quán)平均值和標(biāo)準(zhǔn)差，并將其作為新的用于描述塊體形狀特征的指標(biāo)。

(2)

(3)

式中，oV，oV分別為多視角下煤矸形狀特征參數(shù)的加權(quán)平均值(Mean ofunder multiple viewing,oV)和標(biāo)準(zhǔn)差(Standard deviation ofunder multiple viewing,oV)；I為第個(gè)視角下的形狀特征參數(shù)；為視角總數(shù)；為第個(gè)視角下煤矸塊體的面積或者周長(zhǎng)。

為了區(qū)別于精準(zhǔn)重建方法，將這種方法稱為寫意重建，寫意重建又有別于完全隨機(jī)的重建，因?yàn)樗窃谛螤钐卣鲄?shù)的主動(dòng)干預(yù)下完成的重建，所以具有一定可重復(fù)性和科學(xué)性。重建后的塊體是由若干pebble組成的體素化剛性簇，體素化剛性簇的分辨率(或體素尺寸)影響到塊體細(xì)節(jié)表征效果，分辨率越高(即體素尺寸越小)，細(xì)節(jié)表征越好，但用到的pebble數(shù)量也越多，會(huì)在一定程度上影響運(yùn)算效率；反之分辨率越低，犧牲了部分細(xì)節(jié)特征，但有利于提高運(yùn)算效率。因此如何在保證重建精度的前提下，有效減少pebble數(shù)量，是提高運(yùn)算效率的關(guān)鍵。

為此，提出了一種有效的方法來優(yōu)化完善上述重建過程，即氣泡破裂法(Bubble burst method,BBM)，主要包括吹氣泡和戳氣泡2個(gè)過程。將剛性簇中的pebble視為具有不同尺寸的氣泡，而用氣泡的破裂來表示pebble被簡(jiǎn)化。首先在塊體的所有骨架點(diǎn)生成與該處最大內(nèi)切球相同尺寸的pebble，完成吹氣泡過程，得到了由若干pebble組成的骨架化剛性簇，此時(shí)，相比于體素化剛性簇，已經(jīng)得到了初步簡(jiǎn)化，可以用該剛性簇進(jìn)行數(shù)值模擬。但是此時(shí)該剛性簇中包含有大量重疊的pebble，可以進(jìn)行BBM法的第2步操作——戳氣泡進(jìn)行簡(jiǎn)化。隨機(jī)戳破一個(gè)pebble，檢測(cè)剛性簇中是否會(huì)因?yàn)樵損ebble缺失而產(chǎn)生新的空腔。如果由于該pebble的破裂使得剛性簇中出現(xiàn)空腔，則認(rèn)為該pebble不能被簡(jiǎn)化，否則可以被簡(jiǎn)化。在對(duì)每一個(gè)pebble完成戳氣泡操作之后，即實(shí)現(xiàn)了利用BBM法在保證剛性簇外觀形狀特征的情況下，對(duì)其內(nèi)部pebble進(jìn)行了深度簡(jiǎn)化(圖11)。

圖11 BBM法示意Fig.11 Diagram of BBM method

實(shí)際上，在BBM第2步戳氣泡操作中，pebble的破裂順序也會(huì)影響到簡(jiǎn)化效果。pebble的破裂順序主要有隨機(jī)破裂，按坐標(biāo)順序破裂，按pebble尺寸升序破裂，按pebble尺寸降序破裂等。研究表明，按pebble尺寸升序破裂的方法簡(jiǎn)化效果更好，原因是升序破裂可以讓尺寸更大的pebble占據(jù)更多的空間，覆蓋住更多的空腔或孔洞，從而使更多的尺寸較小的pebble被先行解放出來，達(dá)到最大程度降低pebble數(shù)的目的。通過BBM法2步簡(jiǎn)化，可以簡(jiǎn)化去剛性簇中70.1%～81.9%的pebble，有效提升數(shù)值模擬的運(yùn)算速度。

在形狀特征參數(shù)主動(dòng)干預(yù)下完成剛性簇的生成與內(nèi)部pebble的簡(jiǎn)化，實(shí)現(xiàn)了基于二維圖像的塊體三維寫意重建，這種方法操作簡(jiǎn)單快速，可一次性完成多個(gè)塊體的批量重建(圖12,其中為多視角下煤矸特征的加權(quán)平均值；為多視角下煤矸特征的標(biāo)準(zhǔn)差)，同時(shí)對(duì)硬件要求低，使用普通消費(fèi)級(jí)相機(jī)即可實(shí)現(xiàn)，具有一定推廣應(yīng)用價(jià)值。

圖12 三維寫意批量重建Fig.12 3D freehand batch reconstruction

6 基于多視圖像序列的煤矸塊體三維精準(zhǔn)重建與體積測(cè)量

圖像識(shí)別智能放煤技術(shù)的最終目的是計(jì)算出后部刮板輸送機(jī)上的煤流中矸石塊體的體積占比。這涉及到2個(gè)關(guān)鍵問題：其一，二維圖像中煤矸塊體投影面積與三維現(xiàn)實(shí)中塊體體積的映射關(guān)系；其二，煤流中煤矸塊體堆積特征，即表面體積混矸率與內(nèi)部體積混矸率的映射關(guān)系。這2個(gè)問題中，都涉及到對(duì)煤矸塊體體積的測(cè)量，在第5節(jié)中提到，可以通過三維快速寫意重建的方法便捷、粗略地生成指定形狀的塊體模型，進(jìn)而獲得體積數(shù)據(jù)。實(shí)際上，它與煤矸塊體樣本的形狀仍然存在差異，并不是對(duì)煤矸塊體的完全復(fù)刻。所以，如果需要準(zhǔn)確獲得煤矸塊體樣本的體積或其他形狀特征參數(shù)，則需要一種更為精準(zhǔn)的三維重建方法。

三維信息的準(zhǔn)確測(cè)量是實(shí)現(xiàn)煤矸塊體三維重建的關(guān)鍵。基于圖像識(shí)別的思路，提供了一種基于多視圖像序列的煤矸塊體三維精準(zhǔn)重建方法。采用普通消費(fèi)級(jí)相機(jī)對(duì)煤矸塊體完成一組多視圖像序列的采集，利用不同視角下煤矸塊體在二維圖像中的側(cè)影輪廓線構(gòu)建煤矸塊體的可視化外殼(Visual hull)，實(shí)現(xiàn)對(duì)煤矸塊體真實(shí)形狀的合理逼近。進(jìn)一步將圖像中煤矸塊體的紋理信息映射到可視化外殼上，完成三維精準(zhǔn)重建(圖13)。

圖13 基于多視圖像序列的煤矸塊體三維精準(zhǔn)重建示意Fig.13 3D accurate reconstruction of coal and rock blocks based on multi-view image sequence

對(duì)所獲得煤矸塊體數(shù)字化模型進(jìn)行體積、表面積測(cè)量，通過分析二維圖像中煤矸塊體投影面積與三維現(xiàn)實(shí)中塊體體積的映射關(guān)系、表面體積混矸率與內(nèi)部體積混矸率的映射關(guān)系等，為S2I混矸率高精度預(yù)測(cè)2步走策略研究提供便利。由于這種方法獲得的模型仿真度高，也可以將其導(dǎo)入數(shù)值模擬軟件，基于rblock單元，實(shí)現(xiàn)放煤過程高仿真模擬，同時(shí)也可以用于二維或三維形狀特征參數(shù)的測(cè)量，將在第7節(jié)具體介紹。

7 煤矸塊體三維形態(tài)特征與二維形態(tài)特征關(guān)系

二維和三維形態(tài)特征是表征不規(guī)則煤矸塊體形狀的重要指標(biāo)。二維形態(tài)特征很容易從二維圖像中獲得，但它不能全面反映塊體的形狀。三維形態(tài)特征包含許多指標(biāo)，對(duì)塊體的描述更全面，但三維形態(tài)特征很難測(cè)量，尤其是在放頂煤工作面要求對(duì)后部刮板輸送機(jī)上的煤流進(jìn)行實(shí)時(shí)監(jiān)測(cè)的環(huán)境下。因此，從二維圖像中快速、直接、準(zhǔn)確地估計(jì)三維形態(tài)特征是一個(gè)重要的課題。在實(shí)驗(yàn)室試驗(yàn)和數(shù)值模擬的基礎(chǔ)上，揭示了煤矸塊體的三維形態(tài)特征與二維形態(tài)特征之間的關(guān)系。

二維形態(tài)特征見表2，三維形態(tài)特征主要包括體積、凸包體積、表面積、伸長(zhǎng)度、平面度、體凸度和球度等，見表3。

表3 煤矸塊體三維形狀特征[41]

二維形態(tài)特征與圖像采集的視角有關(guān)，即不同視角下的煤矸塊體的二維形態(tài)特征不同，所以，在分析煤矸塊體二維特征的時(shí)候，需要首先確定觀察視角。在放頂煤工作面，從放煤口放出煤矸塊體在經(jīng)過放落、碰撞后，會(huì)傾向于以優(yōu)勢(shì)方位(Preferred orientation)堆積在后部刮板輸送機(jī)上。因此，有必要確定對(duì)后部刮板輸送機(jī)上的煤矸塊體的觀察視角，而不是隨意觀察，在優(yōu)勢(shì)方位下提取的形狀特征才有意義?；谶@一假設(shè)，利用多視圖像序列精準(zhǔn)重建了煤矸塊體模型，用離散元法進(jìn)行了自由落體數(shù)值計(jì)算，確定了具有不同形狀特征參數(shù)塊體的優(yōu)勢(shì)方位(圖14)。

圖14 優(yōu)勢(shì)方位確定過程Fig.14 Determination process of preferred orientation

在此基礎(chǔ)上，分別計(jì)算煤矸塊體在優(yōu)選方位下的二維形態(tài)特征和三維形態(tài)特征，對(duì)2者進(jìn)行相關(guān)分析，揭示二維與三維形態(tài)特征之間的關(guān)系。結(jié)果表明，二維與三維形態(tài)特征具有較高的相關(guān)性(圖15)。因此，可以通過對(duì)二維圖像的分析，估計(jì)煤矸塊體的三維形態(tài)特征，進(jìn)而修正混矸率數(shù)據(jù)，作為S2I混矸率高精度預(yù)測(cè)2步走策略的第1步，實(shí)現(xiàn)投影面積混矸率向表面體積混矸率的過渡。

圖15 煤矸塊體投影面積與體積的關(guān)系Fig.15 Relationship between projection area and volume of coal and rock blocks

8 夾矸識(shí)別與異常放煤狀態(tài)甄別

煤層的賦存條件復(fù)雜，不是以理想的、均質(zhì)的狀態(tài)存在，所以，圖像識(shí)別智能放煤技術(shù)要具備適應(yīng)復(fù)雜地質(zhì)或生產(chǎn)環(huán)境的能力，比如對(duì)夾矸的識(shí)別，以及卡矸、堵矸等異常放煤狀態(tài)的甄別。

夾矸的精準(zhǔn)識(shí)別對(duì)于智能放煤技術(shù)很關(guān)鍵。煤層中可能會(huì)存在夾矸，有些夾矸的厚度還會(huì)很大，甚至?xí)嬖诙鄬訆A矸的情況。當(dāng)夾矸的巖性與直接頂相近時(shí)，如果將夾矸錯(cuò)誤識(shí)別為直接頂而停止放煤，會(huì)使夾矸上方的煤炭無法放出而造成大量的煤炭損失。提出“三位一體”夾矸智能識(shí)別技術(shù)，從判別準(zhǔn)則層面、軟件算法層面以及硬件設(shè)備層面，實(shí)現(xiàn)對(duì)放煤過程中夾矸的精準(zhǔn)識(shí)別，有效保證采出率、減少煤炭損失。

通常，在沒有夾矸的放頂煤工作面，可以通過圖像識(shí)別獲得后部刮板輸送機(jī)上煤流在某一時(shí)刻的瞬時(shí)混矸率，用于控制放煤口的動(dòng)作，而這種判別方法則不適用于含有夾矸的放頂煤工作面。因?yàn)槿绻麑⑺矔r(shí)混矸率作為關(guān)閉放煤口的指標(biāo)，則當(dāng)夾矸被放出時(shí)，可能會(huì)被誤認(rèn)為是直接頂，此時(shí)瞬時(shí)混矸率增大甚至超過閾值，進(jìn)而發(fā)出錯(cuò)誤的指令。為此，筆者提出了“區(qū)間混矸率”的概念來代替瞬時(shí)混矸率，作為控制放煤口動(dòng)作的指標(biāo)。區(qū)間混矸率，即一段時(shí)間內(nèi)混矸率的平均值。通過分析一段時(shí)間內(nèi)的混矸率的平均值，而不是某一時(shí)刻的混矸率，并結(jié)合頂煤放出規(guī)律確定合理閾值，可以有效避免因夾矸放出而導(dǎo)致的放煤口過早關(guān)閉問題。

在此基礎(chǔ)上，可以通過優(yōu)化算法來提升對(duì)夾矸的識(shí)別精度，從算法層面區(qū)分出頂煤、夾矸和直接頂，從而降低矸石誤識(shí)別的可能性。當(dāng)然這有一定適用條件，當(dāng)它們外觀接近，甚至用肉眼都很難區(qū)分時(shí)，僅僅通過算法優(yōu)化很難大幅提升識(shí)別精度。在生產(chǎn)一線，放煤工人們還會(huì)通過感受煤矸撞擊掩護(hù)梁、尾梁和后部刮板輸送機(jī)的聲音來進(jìn)行區(qū)分。因此，筆者同步開發(fā)了聲振信號(hào)高精度采集裝置(圖16)，采樣頻率為48 kHz，將語(yǔ)音識(shí)別、振動(dòng)識(shí)別等其他識(shí)別手段或方法與圖像識(shí)別技術(shù)相融合，通過模擬人眼看、耳聽與手觸等判斷過程，更準(zhǔn)確地識(shí)別夾矸。此外，通過預(yù)埋頂煤運(yùn)移跟蹤儀監(jiān)測(cè)頂煤放出情況，也可以降低夾矸在放煤過程中的干擾。

圖16 聲振信號(hào)高精度采集裝置Fig.16 High precision acoustic and vibration signal collection device

在放煤過程中可能會(huì)出現(xiàn)成拱的情況，也有可能因?yàn)槊喉穳K度過大而出現(xiàn)卡矸、堵矸等異常放煤狀況，如果不及時(shí)干預(yù)，會(huì)影響工作面正常生產(chǎn)。通過圖像識(shí)別可以實(shí)時(shí)確定煤矸放出量，以及放出煤矸的塊度。將放煤過程中出現(xiàn)的煤矸放出量監(jiān)測(cè)數(shù)據(jù)驟降并在較長(zhǎng)時(shí)間內(nèi)持續(xù)的現(xiàn)象認(rèn)為是異常放煤的一個(gè)重要特征。此外，當(dāng)煤矸塊度監(jiān)測(cè)數(shù)據(jù)持續(xù)過大時(shí)，也應(yīng)當(dāng)給予重視，防止出現(xiàn)卡矸狀況。利用自主研制的圖像識(shí)別智能放煤試驗(yàn)平臺(tái)(圖17)，開展了智能放煤室內(nèi)試驗(yàn)，測(cè)試圖像識(shí)別智能放煤技術(shù)甄別異常放煤狀態(tài)的效果。試驗(yàn)平臺(tái)尺寸為3 m×2 m×0.5 m(寬×高×厚)，主要包括以下幾個(gè)部分：主體框架，放頂煤液壓支架，刮板輸送機(jī)，圖像采集裝置，數(shù)據(jù)處理系統(tǒng)，操控面板，人工輔助操控臺(tái)等。液壓支架為高仿真模型，包括立柱、頂梁、前梁、掩護(hù)梁、底座、尾梁、插板等。通過伸縮插板以及擺動(dòng)尾梁，模擬放煤口的打開與關(guān)閉，刮板輸送機(jī)用于將放出的煤矸運(yùn)出實(shí)驗(yàn)平臺(tái)。

整個(gè)放煤實(shí)驗(yàn)過程經(jīng)歷了初始放煤、初次見矸、煤矸混流、大量見矸等階段，出現(xiàn)了不同程度的放煤成拱問題。放煤成拱時(shí)，放煤口放出的煤量或矸石量驟減，并持續(xù)處于較低水平甚至為0。圖像識(shí)別系統(tǒng)也對(duì)該異常狀況進(jìn)行了甄別，并通過尾梁擺動(dòng)進(jìn)行處理(圖18)。在現(xiàn)場(chǎng)應(yīng)用時(shí)，利用圖像識(shí)別技術(shù)，解決成拱、卡煤、卡矸等異常放煤狀態(tài)也是非常關(guān)鍵的。

圖17 智能放煤綜合試驗(yàn)平臺(tái)Fig.17 Intelligent coal caving experimental platform

圖18 放煤成拱的識(shí)別與處理Fig.18 Recognition and treatment of top coal arching

9 基于邊緣AI的圖像識(shí)別智能放煤關(guān)鍵設(shè)備開發(fā)

用于分析的圖像，是多種因素共同作用下的結(jié)果，包括光源、目標(biāo)物體、環(huán)境以及圖像采集系統(tǒng)等。高體積分?jǐn)?shù)粉塵環(huán)境是制約圖像識(shí)別智能放煤技術(shù)發(fā)展的主要因素，如何在惡劣條件下獲得高質(zhì)量的圖像是實(shí)現(xiàn)圖像識(shí)別智能放煤技術(shù)的前提。

在放煤過程中，會(huì)產(chǎn)生大量粉塵(煤塵與巖塵)或水霧，它們會(huì)不同程度的散射和吸收光線，使得圖像中的目標(biāo)物體(即煤和巖石)在對(duì)比度、清晰度等方面受到影響(圖19)，不利于圖像識(shí)別。將放頂煤工作面的粉塵(或水霧)劃分為3種狀態(tài)：懸浮在空中的游離塵，吸附在鏡頭上的吸附塵以及沉降在煤矸表面的固定塵。分別針對(duì)這3種狀態(tài)的粉塵(或水霧)開展科研攻關(guān)，從軟件算法以及硬件設(shè)備出發(fā)，提出了一種適用于放頂煤工作面的聯(lián)合去粉塵方法。

圖19 粉塵影響圖像質(zhì)量示意Fig.19 Diagram of dust affecting image quality

懸浮在空氣中的游離塵，包括游離煤塵和游離巖塵，它們會(huì)影響圖像的亮度、對(duì)比度和清晰度，從而影響圖像識(shí)別的準(zhǔn)確性。筆者提出了一種新的基于頻域先驗(yàn)的單通道Retinex去粉塵算法，解決了Retinex算法在保留圖像細(xì)節(jié)的同時(shí)，不能有效地同時(shí)去霧和去噪的問題。通過在YIQ空間引入單通道多尺度Retinex顏色恢復(fù)算法來恢復(fù)小波域的霧狀近似分量，采用多尺度卷積增強(qiáng)和快速非局部均值濾波，在保持足夠細(xì)節(jié)的同時(shí)，降低細(xì)節(jié)分量的噪聲，最后將無粉塵圖像重建到空間域，通過白平衡恢復(fù)圖像色彩(圖20)。

圖20 朱仙莊礦圖像去粉塵操作Fig.20 Dust removal of image obtained from Zhuxianzhuang coal mine

此外，還提出了一種空頻域聯(lián)合強(qiáng)化去粉塵算法，并在朱仙莊礦進(jìn)行了測(cè)試。與其他算法相比，所提算法具有更好的去粉塵能力，可以保留更多的細(xì)節(jié)，同時(shí)抑制噪聲和光干擾的能力也更強(qiáng)(圖21)。近年來，一些更智能的算法也被提出并實(shí)現(xiàn)了更好的粉塵(或水霧)去除性能。

圖21 圖像去粉塵效果Fig.21 Comparison of image dust removal effect

基于光學(xué)的去霧技術(shù)需要對(duì)光學(xué)成像系統(tǒng)進(jìn)行改造，然后利用算法對(duì)采集到的圖像進(jìn)行恢復(fù)?？梢姽?近紅外融合去霧和偏振去霧是去除粉塵(或水霧)的2種經(jīng)典方法。其中，偏振去霧法具有適應(yīng)性強(qiáng)、成本低、處理速度快等明顯優(yōu)勢(shì)。目前，該技術(shù)與圖像識(shí)別智能放煤技術(shù)的融合工作正處于實(shí)驗(yàn)室測(cè)試階段。

吸附在相機(jī)鏡頭上的吸附塵，主要包括吸附煤塵和吸附巖塵。對(duì)于這類粉塵的處理，圍繞井下惡劣環(huán)境開展技術(shù)攻關(guān)，并與安徽中科光電色選機(jī)械有限公司合作，于2020年研制出能夠適應(yīng)井下高體積分?jǐn)?shù)粉塵、水霧環(huán)境、具有數(shù)據(jù)獨(dú)立處理功能的圖像采集系統(tǒng)第1代原理樣機(jī)——“慧眼一號(hào)(Insight-I)”(圖22)。基于人體仿生學(xué)以及邊緣AI技術(shù)，分別模仿眨眼、揉眼、吹灰等動(dòng)作，通過高阻隔氣動(dòng)封堵罩、高性能粉塵清掃器、高壓吹塵風(fēng)刀，實(shí)現(xiàn)圖像采集系統(tǒng)粉塵自主感知與清除功能，并實(shí)現(xiàn)了在圖像采集端完成數(shù)據(jù)處理工作，降低了數(shù)據(jù)傳輸壓力，提升了系統(tǒng)可靠性和響應(yīng)速度。

對(duì)于沉降在煤矸表面的粉塵(或水霧)的固定塵，進(jìn)一步將其劃分為煤基固定煤(巖、混合)塵或者巖基固定煤(巖、混合)塵。通過分析頂煤和矸石在不同類型固定塵覆蓋條件下圖像特征的變化規(guī)律，提出了煤矸圖像的自適應(yīng)優(yōu)化模式，對(duì)于采集到的含有固定塵的煤矸圖像進(jìn)行自主修正，提高圖像識(shí)別智能放煤技術(shù)的精度。

基于上述圖像識(shí)別智能放煤技術(shù)基本原理，進(jìn)一步研發(fā)了圖像識(shí)別智能放煤在線監(jiān)測(cè)軟件，圖像處理速度25幀/s，實(shí)時(shí)計(jì)算混矸率數(shù)據(jù)(圖23)，當(dāng)混矸率超過預(yù)定的區(qū)間混矸率閾值時(shí)，通過通信模塊自動(dòng)發(fā)送中止放煤或者關(guān)閉當(dāng)前放煤口、開啟下一放煤口的指令給控制系統(tǒng)。

圖22 慧眼一號(hào)原理樣機(jī)Fig.22 Principle prototype of Insight-I

圖23 軟件界面Fig.23 Graphical user interface software

圖像識(shí)別智能放煤技術(shù)相關(guān)成果在淮北礦業(yè)股份有限公司朱仙莊礦8105放頂煤工作面、袁店一礦824放頂煤工作面以及開灤集團(tuán)唐山礦0291放頂煤工作面進(jìn)行了試驗(yàn)，取得了良好的效果，配合使用頂煤運(yùn)移跟蹤儀，放煤工藝由“人工干預(yù)放煤”升級(jí)為“智能放煤”，大幅度減少了開采作業(yè)人員，頂煤采出率預(yù)計(jì)可以提高5%以上。

2021年6月，在寧夏煤業(yè)棗泉礦、陜煤集團(tuán)曹家灘煤礦、國(guó)神集團(tuán)黃玉川煤礦、國(guó)網(wǎng)能源新疆準(zhǔn)東二礦等礦井開展了技術(shù)交流，圖像識(shí)別智能放煤技術(shù)將深度結(jié)合礦井地質(zhì)與實(shí)際生產(chǎn)條件，制定個(gè)性化技術(shù)解決方案，在應(yīng)用過程中不斷迭代完善，為實(shí)現(xiàn)煤炭行業(yè)智能化放頂煤開采持續(xù)賦能。

10 結(jié) 論

(1)實(shí)現(xiàn)煤炭智能開采是煤炭行業(yè)發(fā)展必由之路，經(jīng)過10余年科研攻關(guān)，圖像識(shí)別智能放煤的相關(guān)理念和技術(shù)有了突破性進(jìn)展。圖像識(shí)別智能放煤技術(shù)的研究成果，可以提高放煤工序的智能化水平，提高資源回收率、降低含矸率，保證礦井安全生產(chǎn)，研究成果的科學(xué)應(yīng)用將有助于高質(zhì)量實(shí)現(xiàn)智能化放頂煤開采。

(2)混矸率識(shí)別是放頂煤開采領(lǐng)域特有的，也是圖像識(shí)別智能放煤技術(shù)可以實(shí)現(xiàn)的、有別于且領(lǐng)先于其他識(shí)別手段的地方。將混矸率劃分為投影面積混矸率、表面體積混矸率、內(nèi)部體積混矸率。利用輕量級(jí)的放頂煤工作面矸石識(shí)別及邊界測(cè)量模型獲得投影面積混矸率，基于BBR理論，通過S2I混矸率高精度預(yù)測(cè)兩步走策略，實(shí)現(xiàn)投影面積混矸率向表面體積混矸率的過渡，并進(jìn)一步完成向內(nèi)部體積混矸率的跨越，最終實(shí)現(xiàn)透明化煤流。

(3)低照度、高粉塵、煤矸疊壓、夾矸干擾等是影響圖像識(shí)別智能放煤技術(shù)的主要難題。通過立體視覺技術(shù)實(shí)現(xiàn)照度的智能監(jiān)測(cè)與自適應(yīng)調(diào)節(jié)，為圖像采集提供最優(yōu)照度。通過算法優(yōu)化、關(guān)鍵設(shè)備開發(fā)，降低高體積分?jǐn)?shù)游離塵、吸附塵以及固定塵等對(duì)圖像識(shí)別效果的影響。提出了2種煤矸塊體重建方法，基于BBM法的煤矸塊體三維快速寫意重建，以及基于多視圖像序列的煤矸塊體進(jìn)行三維精準(zhǔn)重建，為S2I混矸率高精度計(jì)算提供便利。利用“三位一體”夾矸智能識(shí)別技術(shù)對(duì)放煤過程中可能出現(xiàn)的夾矸進(jìn)行精準(zhǔn)識(shí)別，保證采出率，減少煤炭損失。

(4)圖像識(shí)別智能放煤技術(shù)是一項(xiàng)復(fù)雜的系統(tǒng)工程，需要多學(xué)科、多領(lǐng)域的交叉滲透，也需要理論與實(shí)踐的互動(dòng)結(jié)合，開展更廣泛、更扎實(shí)的基礎(chǔ)研究，完善圖像識(shí)別智能放煤技術(shù)理論體系，更好地服務(wù)于煤炭行業(yè)，助力智能化放頂煤開采健康、穩(wěn)步推進(jìn)。

[1] 王家臣,黃國(guó)君,楊勝利,等. 煤矸識(shí)別與自動(dòng)化放煤控制系統(tǒng)[P]. 中國(guó)專利,ZL200910152006. X，2011-05-25.

[2] 王家臣. 我國(guó)放頂煤開采的工程實(shí)踐與理論進(jìn)展[J]. 煤炭學(xué)報(bào),2018,43(1):43-51.

WANG Jiachen. Engineering practice and theoretical progress of top-coal caving mining technology in China[J]. Journal of China Coal Society,2018,43(1):43-51.

[3] 王家臣,張錦旺,王兆會(huì). 放頂煤開采基礎(chǔ)理論與應(yīng)用[M]. 北京:科學(xué)出版社,2018,6-10.

[4] 王國(guó)法,劉峰,孟祥軍,等. 煤礦智能化(初級(jí)階段)研究與實(shí)踐[J]. 煤炭科學(xué)技術(shù),2019,47(8):1-36.

WANG Guofa,LIU Feng,MENG Xiangjun,et al. Research and practice of coal mine intelligence(primary stage)[J]. Coal Science and Technology,2019,47(8):1-36.

[5] 王國(guó)法,徐亞軍,張金虎,等. 煤礦智能化開采新進(jìn)展[J]. 煤炭科學(xué)技術(shù),2021,49(1):1-10.

WANG Guofa,XU Yajun,ZHANG Jinhu,et al. New development of intelligent mining in coal mines[J]. Coal Science and Technology,2021,49(1):1-10.

[6] 葛世榮,張帆,王世博,等. 數(shù)字孿生智采工作面技術(shù)架構(gòu)研究[J]. 煤炭學(xué)報(bào),2020,45(6):1925-1936.

GE Shirong,ZHNAG Fan,WANG Shibo,et al. Digital twin for smart coal mining workface:Technological frame and construction[J]. Journal of China Coal Society,2020,45(6):1925-1936.

[7] 王國(guó)法,徐亞軍,孟祥軍,等. 智能化采煤工作面分類、分級(jí)評(píng)價(jià)指標(biāo)體系[J]. 煤炭學(xué)報(bào),2020,45(9):3033-3044.

WANG Guofa,XU Yajun,MENG Xiangjun,et al. Pecification,classification and grading evaluation index for smart longwall mining face[J]. Journal of China Coal Society,2020,45(9):3033-3044.

[8] 王國(guó)法,龐義輝,任懷偉. 煤礦智能化開采模式與技術(shù)路徑[J]. 采礦與巖層控制工程學(xué)報(bào),2020,2(1):013501.

WANG Guofa,PANG Yihui,REN Huaiwei. Intelligent coal mining pattern and technological path[J]. Journal of Mining and Strata Control Engineering,2020,2(1):013501.

[9] 葛世榮,胡而已,裴文良. 煤礦機(jī)器人體系及關(guān)鍵技術(shù)[J]. 煤炭學(xué)報(bào),2020,45(1):455-463.

GE Shirong,HU Eryi,PEI Wenliang. Classification system and key technology of coal mine robot[J]. Journal of China Coal Society,2020,45(1):455-463.

[10] 趙明鑫. 綜放煤矸放落的環(huán)境特征及自動(dòng)識(shí)別的影響因素研究[D]. 徐州：中國(guó)礦業(yè)大學(xué),2020.

ZHAO Mingxin. Study on drawing environmental characteristics and influence factors of coal-gangue automatic identification in fully mechanized top coal caving mining[D]. Xuzhou:China University of Mining and Technology,2020.

[11] 宋慶軍. 綜放工作面放煤自動(dòng)化技術(shù)的研究與應(yīng)用[D]. 徐州：中國(guó)礦業(yè)大學(xué),2015.

SONG Qingjun. Study and application on the caving automation in fully mechanized top coal caving face[D]. Xuzhou:China University of Mining and Technology,2015.

[12] 向陽(yáng). 近紅外光譜煤巖識(shí)別環(huán)境適應(yīng)性研究[D]. 徐州:中國(guó)礦業(yè)大學(xué),2020.

XIANG Yang. Study on environmental adaptability of near infrared spectroscopy for coal and rock identification[D]. Xuzhou:China University of Mining and Technology,2020.

[13] 張寧波,劉長(zhǎng)友,陳現(xiàn)輝,等. 綜放煤矸低水平自然射線的漲落規(guī)律及測(cè)量識(shí)別分析[J]. 煤炭學(xué)報(bào),2015,40(5):988-993.

ZHANG Ningbo,LIU Changyou,CHEN Xianhui,et al. Measurement analysis on the fluctuation characteristics of low level natural radiation from gangue[J]. Journal of China Coal Society,2015,40(5):988-993.

[14] 張寧波,魯巖,劉長(zhǎng)友,等. 綜放開采煤矸自動(dòng)識(shí)別基礎(chǔ)研究[J]. 采礦與安全工程學(xué)報(bào),2014,31(4):532-536.

ZHANG Ningbo,LU Yan,LIU Changyou,et al. Basic study on automatic detection of coal and gangue in the fully mechanized top coal caving mining[J]. Journal of Mining and Safety Engineering,2014,31(4):532-536.

[15] ZHANG Ningbo,LIU Changyou. Radiation characteristics of natural gamma ray from coal and gangue for recognition in top coal caving[J]. Scientific Reports,2018,8:190.

[16] 張寧波. 綜放開采煤矸自然射線輻射規(guī)律及識(shí)別研究[D]. 徐州:中國(guó)礦業(yè)大學(xué),2015.

ZHANG Ningbo. Detection and radiation law of natural gamma ray from coal and roof-rock in the fully mechanized top coal caving mining[D]. Xuzhou:China University of Mining and Technology,2015.

[17] 胡而已. 基于激光掃描的綜放工作面放煤量智能監(jiān)測(cè)技術(shù)[J/OL]. 煤炭科學(xué)技術(shù):1-8[2021-09-01]. http://kns. cnki. net/kcms/detail/11. 2402. TD. 20210812. 1322. 002. html.

[18] 劉闖. 綜放工作面多放煤口協(xié)同放煤方法及煤巖識(shí)別機(jī)理研究[D]. 焦作:河南理工大學(xué),2018.

LIU Chuang. Research on the method of synergetic multi-windows top coal caving and the mechanism of coal-gangue identification in longwall top coal caving working face[D]. Jiaozuo:Henan Polytechnic University,2018.

[19] 楊揚(yáng). 基于動(dòng)態(tài)沖擊滑移接觸特性的煤矸識(shí)別與試驗(yàn)研究[D]. 青島:山東科技大學(xué),2020.

YANG Yang. Coal gangue recognition and experimental study based on dynamic impact-slip contact characteristics[D]. Qingdao:Shandong University of Science and Technology,2020.

[20] 張守祥,張學(xué)亮,劉帥,等. 智能化放頂煤開采的精確放煤控制技術(shù)[J]. 煤炭學(xué)報(bào),2020,45(6):2008-2020.

ZHANG Shouxiang,ZHANG Xueliang,LIU Shuai,et al. Intelligent precise control technology of fully mechanized top coal caving-face[J]. Journal of China Coal Society,2020,45(6):2008-2020.

[21] 王家臣,楊勝利,黃國(guó)君,等. 綜放開采頂煤運(yùn)移跟蹤儀研制與頂煤回收率測(cè)定[J]. 煤炭科學(xué)技術(shù),2013,41(1):36-39.

WANG Jiachen,YANG Shengli,HUANG Guojun,et al. Research on top coal tracker of fully mechanized top coal caving mining and measurement of top coal recovery rate[J]. Coal Science and Technology,2013,41(1):36-39.

[22] 潘衛(wèi)東,李新源,員明濤,等. 基于頂煤運(yùn)移跟蹤儀的自動(dòng)化放煤技術(shù)原理及應(yīng)用[J]. 煤炭學(xué)報(bào),2020,45(S1):23-30.

PAN Weidong,LI Xinyuan,YUAN Mingtao,et al. Technology principle and field application of automatic coal drawing based on the top coal tracker[J]. Journal of China Coal Society,2020,45(S1):23-30.

[23] LU Fengli,FU Chengcai,ZHANG Guoying,et al. Convolution neural network based on fusion parallel multiscale features for segmenting fractures in coal-rock images[J]. Journal of Electronic Imaging. 2020,29(2):023008.

[24] YUAN Yuhui,CHEN Xilin,WANG Jingdong. Object-contextual rep-resentations for semantic segmentation[A]. 16th European Conference on Computer Vision[C]. London:Springer Science and Business Media Deutschland GmbH,2020，9，173-190.

[25] LI Xiangtai,LI Xia,ZHANG Li,et al. Improving semantic segmentation via decoupled body and edge supervision[A]. 16th European Conference on Computer Vision[C]. London:Springer Science and Business Media Deutschland GmbH,2020：9,435-452.

[26] WAN Miao,WANG Zhongbin,SI Lei,et al. An initial alignment te-chnology of shearer inertial navigation positioning based on a fruit fly-optimized kalman filter algorithm[J]. Computational Intelligence and Neuroscience,2020：8876918.

[27] LI Menggang,ZHU Hua,YOU Shaoze,et al. UWB-based localization system aided with inertial sensor for underground coal mine applications[J]. IEEE Sensors Journal,2020,20(12):6652-6669.

[28] WEI Wei,LI Li,SHI Wanfa,et al. Ultrasonic imaging recognition of coal-rock interface based on the improved variational mode decomposition[J]. Measurement,2020,170：108728.

[29] WANG Haijian,HUANG Xiaoxuan,ZHAO Xuemei,et al. Dynamic coal-rock interface identification based on infrared thermal image characteristics[A]. IEEE 3rd Information Technology,Networking,Electronic and Automation Control Conference (ITNEC)[C]. USA,IEEE,2019:589-596.

[30] WANG Xin,HU Kexiang,ZHANG Lei,et al. Characterization and classification of coals and rocks using terahertz time-domain spectroscopy[J]. Journal of Infrared,Millimeter,and Terahertz Waves,2017,38(2):248-260.

[31] PEDRAM Shiva,OGIE Robert,PALMISANO Stephen,et al. Cost-benefit analysis of virtual reality-based training for emergency rescue workers:A socio-technical systems approach[J]. Virtual Reality,2021,https://doi. org/10. 1007/s10055-021-00514-5.

[32] WANG Haijian,ZHANG Qiang. Dynamic identification of coal-rock interface based on adaptive weight optimization and multi-sensor information fusion[J]. Information Fusion,2019,51:114-128.

[33] WANG Jiachen,LI Lianghui,YANG Shengli,et al. Image-based rock mixing ratio estimation by using illuminance analysis in underground mining[J]. International Journal of Coal Preparation and Utilization,2021,https://doi. org/10. 1080/19392699. 2021. 1995375.

[34] 王家臣,李良暉,楊勝利. 不同照度下煤矸圖像灰度及紋理特征提取的實(shí)驗(yàn)研究[J]. 煤炭學(xué)報(bào),2018,43(11):3051-3061.

WANG Jiachen,LI Lianghui,YANG Shengli. Experimental study on gray and texture features extraction of coal and gangue image under different illuminance[J]. Journal of China Coal Society,2018,43(11):3051-3061.

[35] 李良暉. 基于差異照度圖像的綜放開采煤矸混合度識(shí)別研究[D]. 北京:中國(guó)礦業(yè)大學(xué)(北京),2019.

LI Lianghui. Research on different illuminant image recognition of coal and gangue minxing ratio in longwall top-coal caving face[D]. Beijing:China University of Mining and Technology-Beijing,2019.

[36] 王家臣,張錦旺. 綜放開采頂煤放出規(guī)律的BBR研究[J]. 煤炭學(xué)報(bào),2015,40(3):487-493.

WANG Jiachen,ZHANG Jinwang. BBR study of top-coal drawing law in longwall top-coal caving mining[J]. Journal of China Coal Society,2015,40(3):487-493.

[37] 王家臣,楊勝利,李良暉,等. 一種井下環(huán)境的照度監(jiān)控方法及系統(tǒng)[P]. 中國(guó)專利,ZL202010993437. 5，2021-06-25.

[38] LI Lianghui,WANG Jiachen,YANG Shengli,et al. Binocular stereo vision based illuminance measurement used for intelligent lighting with LED[J]. Optik,2021,237:166651.

[39] LI Lianghui,WANG Jiachen,YANG Shengli,et al. Smart control methodology for light sources based on halogen lamp a solution for eco and user-friendly lighting in underground mining[J]. Optik,2021,242:167085.

[40] HENTSCHEL L Mark,PAGE W Neil. Selection of descriptors for particle shape characterization[J]. Particle & Particle Systems Characterization,2003,20(1):25-38.

[41] XIE Weiqiang,ZHANG Xiaoping,YANG Xinmei,et al. 3D size and shape characterization of natural sand particles using 2D image analysis[J]. Engineering Geology,2020,279:105915.

[42] 蔣磊,馬六章,楊克虎,等. 基于 MFCC 和 FD-CNN 卷積神經(jīng)網(wǎng)絡(luò)的綜放工作面煤矸智能識(shí)別[J]. 煤炭學(xué)報(bào),2020,45(S2):1109-1117.

JIANG Lei,MA Liuzhang,YANG Kehu,et al. Coal and gangue intelligent separation based on MFCC and FD-CNN convolutional neural network for top coal caving mining[J]. Journal of China Coal Society,2020,45(S2):1109-1117.

[43] 王家臣,楊勝利,李良暉,等. 一種基于多源信息融合的放煤設(shè)備與控制方法[P]. 中國(guó)專利,ZL202011007647，2021-10-29.

[44] WANG Jiachen,YANG Shengli,WEI Weijie，et al. Large-size intelligent coal drawing experimental platform and test method[P]. Austrialian Patent，2019229395，2021-02-25.

[45] FU Chengcai, LU Fengli, ZHANG Xiaoxiao, et al. Jointdedusting and enhancement of top-coal caving face via single-channel retinex-based method with frequency domain prior information [J]. Symmetry,2021,13(11)：2097.

[46] 王家臣,楊勝利,李良暉,等. 一種相機(jī)鏡頭[P]. 中國(guó)專利,ZL202011056093. 1，2021-05-28.