基于圖像識(shí)別的帶式輸送機(jī)輸煤量和跑偏檢測(cè)方法

韓濤， 黃友銳， 張立志， 徐善永， 許家昌， 鮑士水

(1.安徽理工大學(xué) 電氣與信息工程學(xué)院，安徽 淮南 232001；2.西安外事學(xué)院 工學(xué)院，陜西 西安 710077)

0 引言

帶式輸送機(jī)是重要的煤炭運(yùn)輸設(shè)備，具有運(yùn)輸距離長(zhǎng)、運(yùn)輸量大、速度快、連續(xù)作業(yè)時(shí)間長(zhǎng)等特點(diǎn)[1-3]。帶式輸送機(jī)實(shí)際應(yīng)用中需要對(duì)輸煤量和跑偏進(jìn)行檢測(cè)：輸煤量檢測(cè)可使帶式輸送機(jī)根據(jù)煤量自動(dòng)調(diào)速，減少能耗[4-5]；跑偏檢測(cè)可避免出現(xiàn)安全事故。目前，帶式輸送機(jī)輸煤量和跑偏檢測(cè)主要通過布設(shè)繁多的傳感器實(shí)現(xiàn)，且多為接觸式傳感器，長(zhǎng)期使用后傳感器損耗嚴(yán)重，檢測(cè)準(zhǔn)確率降低，實(shí)時(shí)性變差。因此采用檢測(cè)性能穩(wěn)定、準(zhǔn)確率高的非接觸式檢測(cè)方法逐漸成為研究熱點(diǎn)。

文獻(xiàn)[6]使用激光掃描輸送帶，獲得輸送帶上物料的點(diǎn)云信息，根據(jù)點(diǎn)云構(gòu)成的輪廓，確定輸送帶輸煤量。文獻(xiàn)[7]使用激光的Ohta顏色特征構(gòu)建輸送帶輪廓線，計(jì)算輸送帶梯形截面積，從而獲得輸煤量。但文獻(xiàn)[6-7]都是用激光對(duì)輸送帶進(jìn)行點(diǎn)或線的掃描，容易受環(huán)境中細(xì)小顆粒物的影響，且激光本身受外部強(qiáng)光影響，對(duì)物料輪廓提取造成較大干擾，同時(shí)激光儀價(jià)格昂貴，限制了其應(yīng)用。使用相機(jī)拍攝圖像受外界強(qiáng)光干擾小，且可獲取一個(gè)區(qū)域的圖像信息，信息量豐富，檢測(cè)更準(zhǔn)確。文獻(xiàn)[8]使用數(shù)字?jǐn)z像機(jī)獲取輸送帶視頻圖像，通過對(duì)比圖像的時(shí)域與頻域特征，計(jì)算輸煤量。文獻(xiàn)[9]使用圖像邊緣檢測(cè)得到煤料寬度，通過知識(shí)庫(kù)模糊計(jì)算得到輸煤量。文獻(xiàn)[10]使用雙目攝像機(jī)獲得煤料圖像及其深度信息，通過模糊推理得出煤料體積，進(jìn)而實(shí)現(xiàn)輸煤量計(jì)算。文獻(xiàn)[11]通過改進(jìn)的邊緣檢測(cè)算法，提取輸送帶邊緣線及其位置信息，從而判斷輸送帶是否跑偏。但文獻(xiàn)[8-11]采用圖像識(shí)別方法進(jìn)行輸煤量或跑偏檢測(cè)，需要人工設(shè)計(jì)圖像特征，對(duì)圖像特征提取的要求較高，人工設(shè)計(jì)圖像特征的合理性和有效性在不同的應(yīng)用環(huán)境下差別較大，通用性不佳，且通過人工設(shè)計(jì)圖像特征的方法同時(shí)實(shí)現(xiàn)輸煤量和跑偏檢測(cè)十分困難。

近年來深度學(xué)習(xí)迅速發(fā)展，其中卷積神經(jīng)網(wǎng)絡(luò)使用端到端的學(xué)習(xí)方法，使網(wǎng)絡(luò)自學(xué)習(xí)圖像特征，不需要人工設(shè)計(jì)圖像特征，大幅度提高了圖像檢測(cè)性能[12-16]。但傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)是單任務(wù)網(wǎng)絡(luò)，為實(shí)現(xiàn)輸煤量和跑偏的同時(shí)檢測(cè)，使用2個(gè)卷積神經(jīng)網(wǎng)絡(luò)分別對(duì)輸煤量和跑偏進(jìn)行檢測(cè)，會(huì)導(dǎo)致網(wǎng)絡(luò)體積大、參數(shù)多、計(jì)算量大、運(yùn)行時(shí)間長(zhǎng)，嚴(yán)重影響檢測(cè)性能。本文提出了一種基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)(Multi-Task Convolutional Neural Network，MT-CNN)的帶式輸送機(jī)輸煤量和跑偏檢測(cè)方法，同時(shí)對(duì)輸煤量檢測(cè)和跑偏檢測(cè)這2個(gè)任務(wù)進(jìn)行學(xué)習(xí)，使2個(gè)任務(wù)共享同一個(gè)網(wǎng)絡(luò)底層結(jié)構(gòu)和參數(shù)，可減小網(wǎng)絡(luò)體積，降低計(jì)算量，提高運(yùn)行速度。

1 檢測(cè)原理

帶式輸送機(jī)輸煤量和跑偏檢測(cè)由離線訓(xùn)練和在線檢測(cè)2個(gè)階段組成，如圖1所示。離線訓(xùn)練階段，對(duì)輸送帶圖像進(jìn)行灰度化、中值濾波和提取感興趣區(qū)域(Region of Interest，ROI)等預(yù)處理，將預(yù)處理后的圖像制作成訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，并對(duì)MT-CNN進(jìn)行訓(xùn)練。在線檢測(cè)階段，使用訓(xùn)練好的MT-CNN對(duì)輸送帶實(shí)時(shí)圖像進(jìn)行檢測(cè)，實(shí)現(xiàn)帶式輸送機(jī)輸煤量和跑偏的同時(shí)檢測(cè)。

圖1 帶式輸送機(jī)輸煤量和跑偏檢測(cè)原理

2 MT-CNN

2.1 MT-CNN結(jié)構(gòu)

通過圖像識(shí)別將輸送帶輸煤量分為“大輸煤量”、“中輸煤量”、“小輸煤量”和“無輸煤量”，輸送帶跑偏分為“左跑偏”、“無跑偏”和“右跑偏”，這是經(jīng)典的圖像識(shí)別分類問題。卷積神經(jīng)網(wǎng)絡(luò)中經(jīng)典的VGGNet[17]模型結(jié)構(gòu)相對(duì)簡(jiǎn)單，因此本文基于VGGNet模型構(gòu)建MT-CNN。

VGGNet模型由輸入層、卷積層、激活層、池化層、全連接層和輸出層構(gòu)成。輸入層輸入224×224的RGB圖像；卷積層采用小卷積核(3×3和1×1)對(duì)圖像進(jìn)行卷積運(yùn)算，用于提取圖像特征；激活層采用ReLU函數(shù)，對(duì)圖像特征進(jìn)行非線性映射；池化層采用2×2池化核進(jìn)行池化操作，對(duì)圖像特征降維、壓縮，減小網(wǎng)絡(luò)計(jì)算的復(fù)雜度；全連接層采用4 096個(gè)通道，對(duì)所有特征進(jìn)行重新映射，最大化利用特征信息；輸出層是1個(gè)Softmax，用于計(jì)算最終識(shí)別結(jié)果。

VGGNet模型是一個(gè)單任務(wù)模型，輸入的RGB圖像特征豐富且結(jié)構(gòu)復(fù)雜，采用較小的卷積核和池化核，且全連接層有較多的通道，使得VGGNet模型體積較大，運(yùn)行時(shí)間長(zhǎng)。而輸送帶圖像預(yù)處理后為灰度圖，尺寸較大，圖像結(jié)構(gòu)簡(jiǎn)單，且需要同時(shí)檢測(cè)輸煤量和跑偏，實(shí)時(shí)性要求較高。

本文在VGGNet模型的基礎(chǔ)上，增大卷積核和池化核的尺度，減少全連接層通道數(shù)量，改變輸出層結(jié)構(gòu)，構(gòu)建MT-CNN，結(jié)構(gòu)如圖2所示。

圖2 MT-CNN結(jié)構(gòu)

Fig.2 Structure of MT-CNN

輸入層輸入350×350的灰度圖L[0]。

卷積層通過卷積核對(duì)輸入的圖像進(jìn)行卷積計(jì)算，提取圖像特征。卷積層1采用7×7的卷積核對(duì)L[0]進(jìn)行卷積計(jì)算，得到圖像特征：

z[1]=w[1]*L[0]+b[1]

(1)

式中：w[1]和b[1]分別為卷積層1的權(quán)重和偏置；*表示卷積計(jì)算。

激活層對(duì)圖像特征進(jìn)行非線性映射，提取圖像中復(fù)雜的非線性特征。激活層1采用ReLU函數(shù)對(duì)z[1]進(jìn)行非線性變換，得到圖像的非線性特征：

a[1]=ReLU(z[1])=max(0,z[1])

(2)

池化層在保留主要特征的基礎(chǔ)上對(duì)圖像特征進(jìn)行降維、壓縮，減小網(wǎng)絡(luò)計(jì)算復(fù)雜度。池化層1采用4×4池化核對(duì)a[1]進(jìn)行最大池化計(jì)算，得到降維后的圖像：

(3)

卷積層2、激活層2和池化層2作用和計(jì)算方式分別與卷積層1、激活層1和池化層1類似。最終池化層2計(jì)算輸出L[2]到全連接層。

全連接層將得到的所有特征進(jìn)行重新映射，最大化利用特征信息。L[2]經(jīng)過具有128個(gè)通道的全連接層1計(jì)算后可得

L[3]=ReLU(w[3]L[2]+b[3])

(4)

式中w[3]和b[3]分別為全連接層1的權(quán)重和偏置。

同樣，L[3]經(jīng)過具有7個(gè)通道的全連接層2計(jì)算后可得

L[4]=ReLU(w[4]L[3]+b[4])

(5)

式中w[4]和b[4]分別為全連接層2的權(quán)重和偏置。

2.2 MT-CNN訓(xùn)練

MT-CNN中所有權(quán)重w[i](i=1，2，3，4)和偏置b[i]需要通過訓(xùn)練來確定，使用訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集對(duì)MT-CNN進(jìn)行訓(xùn)練。

訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集獲取步驟如下。

(1)獲取輸送帶在不同時(shí)間段、光照強(qiáng)度和溫濕度環(huán)境下的圖像，預(yù)處理后截取ROI。

(2)從中選取“無輸煤量”、“小輸煤量”、“中輸煤量”、“大輸煤量”、“無跑偏”、“左跑偏”和“右跑偏”7種情況的圖像各若干張，組成輸送帶圖像樣本集。

(3)根據(jù)表1、表2對(duì)輸送帶圖像樣本集中圖像標(biāo)注標(biāo)簽值y=[y1y2y3y4y5y6y7]T。

表1 輸煤量標(biāo)簽值

表2 跑偏標(biāo)簽值

(4)從輸送帶圖像樣本集中取各種輸煤量和跑偏情況的圖像各M1張，組成訓(xùn)練數(shù)據(jù)集(包括7M1張圖像)，再?gòu)妮斔蛶D像樣本集剩余圖像中隨機(jī)選取輸煤量和跑偏情況的圖像各M2(M2

MT-CNN訓(xùn)練流程如圖3所示，具體步驟如下。

圖3 MT-CNN訓(xùn)練流程

(1)參數(shù)初始化，設(shè)置MT-CNN中每層的w[i]，b[i]為隨機(jī)值，迭代次數(shù)s，學(xué)習(xí)率R，檢測(cè)準(zhǔn)確率閾值T。

(5)更新w[i]和b[i]：w[i]←w[i]-RΔw[i]，b[i]←b[i]-RΔb[i]。

(6)判斷是否為訓(xùn)練數(shù)據(jù)集最后一張圖像：若不是，則輸入下一張圖像，返回步驟(2)；否則，轉(zhuǎn)到步驟(7)。

(8)判斷檢測(cè)準(zhǔn)確率是否達(dá)到要求：若Ac≥T，則轉(zhuǎn)到步驟(9)；若Ac

(9)保存參數(shù)w[i]和b[i]，網(wǎng)絡(luò)訓(xùn)練完成。

3 實(shí)驗(yàn)與分析

硬件環(huán)境：CPU(3.40 GHz，Inteli5)，8 GB內(nèi)存，GTX1060顯卡。軟件環(huán)境：Win7操作系統(tǒng)，Anaconda3(64 bit)集成編程環(huán)境(集成Python3.6.2，Numpy1.13.1, Matplotlib2.0.2)，OpenCV3.3.0圖像處理工具，PyTorch0.3.0開源深度學(xué)習(xí)框架。

使用攝像機(jī)獲取輸送帶圖像。從輸送帶圖像樣本集中選取“無輸煤量”、“小輸煤量”、“中輸煤量”、“大輸煤量”、“無跑偏”、“左跑偏”和“右跑偏”共7種情況的圖像各800張，并按隨機(jī)順序?qū)⑦@5 600張圖像的圖像名和對(duì)應(yīng)的標(biāo)簽值保存，構(gòu)成訓(xùn)練數(shù)據(jù)集；從輸送帶圖像樣本集剩余的圖像中隨機(jī)選取輸煤量、跑偏圖像各500張，并按隨機(jī)順序?qū)⑦@1 000張圖像的圖像名和對(duì)應(yīng)的標(biāo)簽值保存，構(gòu)成測(cè)試數(shù)據(jù)集。

3.1 檢測(cè)準(zhǔn)確性

設(shè)置迭代次數(shù)s=25，學(xué)習(xí)率R=0.01，對(duì)MT-CNN進(jìn)行訓(xùn)練，并用測(cè)試數(shù)據(jù)集分別計(jì)算輸煤量和跑偏檢測(cè)準(zhǔn)確率，取兩者的平均值作為本文方法的檢測(cè)準(zhǔn)確率。準(zhǔn)確率隨迭代次數(shù)變化曲線如圖4所示，可看出MT-CNN收斂速度快，且隨著迭代次數(shù)增加，檢測(cè)準(zhǔn)確率逐漸提高，最終穩(wěn)定在92.5%。

圖4 檢測(cè)準(zhǔn)確率隨迭代次數(shù)變化曲線

為進(jìn)一步提高檢測(cè)準(zhǔn)確率，將檢測(cè)錯(cuò)誤的所有圖像提取出來進(jìn)行分析，發(fā)現(xiàn)檢測(cè)錯(cuò)誤的圖像總體分為兩類：ROI中輸送帶區(qū)域只有部分有煤料的圖像；輸煤量或跑偏情況處于分類結(jié)果之間的臨界狀態(tài)的圖像。通過查看訓(xùn)練數(shù)據(jù)集，發(fā)現(xiàn)檢測(cè)錯(cuò)誤的第1類圖像只有36張，約占訓(xùn)練數(shù)據(jù)集的0.6%，導(dǎo)致MT-CNN對(duì)該類圖像的檢測(cè)訓(xùn)練不足。因此增加檢測(cè)錯(cuò)誤的第1類圖像在訓(xùn)練數(shù)據(jù)集中的比例，重新訓(xùn)練MT-CNN，檢測(cè)準(zhǔn)確率提高到97.3%。對(duì)于檢測(cè)錯(cuò)誤的第2類圖像，由于人工對(duì)圖像標(biāo)注只能憑經(jīng)驗(yàn)分類，難以保證標(biāo)注全部準(zhǔn)確，所以無法徹底消除該類圖像檢測(cè)錯(cuò)誤。

3.2 檢測(cè)實(shí)時(shí)性

使用測(cè)試數(shù)據(jù)集對(duì)MT-CNN分別輸入1，10，100，1 000張圖像進(jìn)行實(shí)時(shí)性檢測(cè)，每組實(shí)驗(yàn)進(jìn)行10次取平均值，結(jié)果見表3。根據(jù)表3可計(jì)算出本文方法平均處理每張圖像時(shí)間約為23.1 ms，處理速度快，實(shí)時(shí)性較好。

表3 運(yùn)行時(shí)間

3.3 性能對(duì)比

為驗(yàn)證MT-CNN在準(zhǔn)確性和實(shí)時(shí)性上的優(yōu)勢(shì)，與VGGNet模型進(jìn)行對(duì)比。由于VGGNet模型是單任務(wù)模型，設(shè)置2個(gè)VGGNet模型分別對(duì)輸煤量和跑偏進(jìn)行檢測(cè)。使用相同的訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集對(duì)2種網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)，檢測(cè)準(zhǔn)確率、運(yùn)行時(shí)間分別如圖5和圖6所示。

圖5 檢測(cè)準(zhǔn)確率對(duì)比

圖6 運(yùn)行時(shí)間對(duì)比

從圖5和圖6可看出，與VGGNet模型相比，MT-CNN檢測(cè)準(zhǔn)確率高、運(yùn)行時(shí)間少。主要是因?yàn)樵贛T-CNN的底層即卷積層、激活層、池化層等，2個(gè)任務(wù)共享相同的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，可以用訓(xùn)練數(shù)據(jù)集中5 600張圖像共同訓(xùn)練共享網(wǎng)絡(luò)參數(shù)，訓(xùn)練效果好，檢測(cè)準(zhǔn)確率較高，且只需要經(jīng)過1個(gè)網(wǎng)絡(luò)即可同時(shí)檢測(cè)輸煤量和跑偏，計(jì)算量小，運(yùn)行時(shí)間短；而使用2個(gè)VGGNet模型分別檢測(cè)輸煤量和跑偏時(shí)，只能分別使用訓(xùn)練數(shù)據(jù)集中3 200張輸煤量圖像和2 400張跑偏圖像對(duì)2個(gè)VGGNet模型訓(xùn)練，每個(gè)任務(wù)樣本數(shù)量較少，影響訓(xùn)練效果，檢測(cè)準(zhǔn)確率較低，且需要經(jīng)過2個(gè)網(wǎng)絡(luò)分別檢測(cè)輸煤量和跑偏，計(jì)算量大，運(yùn)行時(shí)間長(zhǎng)。

4 實(shí)際運(yùn)行結(jié)果

在現(xiàn)場(chǎng)環(huán)境中使用本文方法對(duì)輸送帶實(shí)時(shí)圖像進(jìn)行輸煤量和跑偏檢測(cè)，檢測(cè)結(jié)果在監(jiān)控終端顯示屏中實(shí)時(shí)顯示，如圖7所示。圖中白色方框?yàn)闄z測(cè)提取的ROI，檢測(cè)結(jié)果在白色方框上方以“X，Y”(“X”表示輸煤量檢測(cè)結(jié)果，用“N”、“L”、“M”、“H”分別表示“無輸煤量”、“小輸煤量”、“中輸煤量”、“大輸煤量”；“Y”表示跑偏檢測(cè)結(jié)果，用“N”、“L”、“R”分別表示“無跑偏”、“左跑偏”、“右跑偏”)形式標(biāo)注。為直觀觀測(cè)輸送帶跑偏情況并與檢測(cè)結(jié)果比較，在ROI中設(shè)置2條白色直線段分別作為“左邊界線”和“右邊界線”，當(dāng)檢測(cè)結(jié)果為左跑偏時(shí)，圖像中輸送帶左邊緣應(yīng)與“左邊界線”相交，同理，可檢驗(yàn)本文方法檢測(cè)右跑偏和無跑偏是否正確。從圖7可看出，檢測(cè)結(jié)果與輸送帶實(shí)際的輸煤量和跑偏情況一致。

(a)大輸煤量無跑偏

(b)中輸煤量無跑偏

(c)小輸煤量無跑偏

(d)無輸煤量無跑偏

(e)中輸煤量左跑偏

(f)中輸煤量右跑偏

5 結(jié)語(yǔ)

基于MT-CNN的帶式輸送機(jī)輸煤量和跑偏檢測(cè)方法采用多任務(wù)學(xué)習(xí)方式，使輸煤量檢測(cè)和跑偏檢測(cè)這2個(gè)任務(wù)共享網(wǎng)絡(luò)底層結(jié)構(gòu)和參數(shù)，降低了網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，在較少的訓(xùn)練數(shù)據(jù)集條件下具有較好的訓(xùn)練效果，提高了檢測(cè)準(zhǔn)確率和實(shí)時(shí)性。該方法實(shí)現(xiàn)了帶式輸送機(jī)輸煤量和跑偏的準(zhǔn)確、快速檢測(cè)，為后續(xù)帶式輸送機(jī)自動(dòng)調(diào)速和糾偏提供了依據(jù)。