張帆，欒佳星，崔東林，徐志超

1.中國礦業(yè)大學(xué)(北京)機(jī)電與信息工程學(xué)院，北京 100083；2.中國礦業(yè)大學(xué)(北京)智慧礦山與機(jī)器人研究院，北京 100083

智能化開采是礦井安全、高效集約化生產(chǎn)的發(fā)展趨勢，為最終實(shí)現(xiàn)煤炭精準(zhǔn)開采的少人(無人)、智能感知和災(zāi)害智能監(jiān)控預(yù)警與防治提供技術(shù)支撐[1]。因此，研究井下作業(yè)人員、機(jī)車設(shè)備和機(jī)器人等移動(dòng)目標(biāo)的準(zhǔn)確檢測與實(shí)時(shí)跟蹤識(shí)別，對(duì)保障礦井智能安全開采和提高煤礦災(zāi)害智能預(yù)警具有重要意義[2-7]?，F(xiàn)有礦井人員和井下機(jī)車等移動(dòng)目標(biāo)檢測識(shí)別方法主要采用靜態(tài)的射頻識(shí)別技術(shù)，該技術(shù)無法實(shí)現(xiàn)對(duì)移動(dòng)目標(biāo)的多維信息檢測與跟蹤識(shí)別，尤其是在井下霧塵、低照度環(huán)境中難以實(shí)現(xiàn)對(duì)礦井移動(dòng)目標(biāo)進(jìn)行實(shí)時(shí)跟蹤與準(zhǔn)確識(shí)別[4-5]。

目前，傳統(tǒng)的基于機(jī)器學(xué)習(xí)的目標(biāo)檢測方法是通過梯度直方圖(HOG)和尺度不變特征轉(zhuǎn)換(SIFT)等方法對(duì)檢測目標(biāo)進(jìn)行特征提取，然后使用支持向量機(jī)(SVM)、AdaBoost等分類器對(duì)提取的特征進(jìn)行分類[4-10]，但這種方法通過人工獲取特征，過度依賴目標(biāo)提取特征和網(wǎng)絡(luò)檢測模型，增加了識(shí)別過程的復(fù)雜度，且泛化能力較差[11]。近年來，針對(duì)深度學(xué)習(xí)的理論研究已引起國內(nèi)外眾多學(xué)者關(guān)注，深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)被認(rèn)為是一種適合目標(biāo)檢測和分類任務(wù)的重要深度學(xué)習(xí)方法，在視頻圖像識(shí)別、自然語言處理、運(yùn)動(dòng)目標(biāo)檢測與識(shí)別等各種應(yīng)用中取得了巨大突破[12-15]。Girshick等[15]提出了基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(R-CNN)的目標(biāo)檢測方法，避免了手工提取特征，但該方法采用選擇性搜索[16]，對(duì)目標(biāo)圖片進(jìn)行區(qū)域候選框縮放和卷積網(wǎng)絡(luò)特征提取，導(dǎo)致模型特征變形和檢測速度很慢。He等[17]提出了改進(jìn)的R-CNN目標(biāo)檢測方法，引入了空間金字塔池化，解決了候選區(qū)域的尺度映射問題，提高了模型的檢測速度和準(zhǔn)確率；Girshick[18]提出了Fast R-CNN模型，采用了MultiBox的多任務(wù)損失函數(shù)，通過目標(biāo)定位和目標(biāo)分類兩個(gè)任務(wù)共有的損失函數(shù)來訓(xùn)練網(wǎng)絡(luò)，提高了檢測精度。但以上算法在提取區(qū)域候選框時(shí)都采用選擇性搜索方法，運(yùn)算耗時(shí)長，收斂速度緩慢，易陷入局部極小等問題，難以滿足目標(biāo)檢測的實(shí)時(shí)性要求。文獻(xiàn)[19]提出了Faster R-CNN模型，用區(qū)域建議RPN網(wǎng)絡(luò)取代選擇性搜索方法，解決了候選區(qū)域生成過程時(shí)間開銷過大的問題，在一定程度上加快了網(wǎng)絡(luò)的訓(xùn)練速度和測試速度，取得了較高的準(zhǔn)確率和檢測速度，但依然無法滿足實(shí)時(shí)性要求。文獻(xiàn)[20]提出了YOLO檢測網(wǎng)絡(luò)，極大地提高了模型的檢測速度，但其每個(gè)網(wǎng)格只預(yù)測一個(gè)物體，對(duì)于尺度變化較大的物體泛化能力較差，且容易造成漏檢，識(shí)別精度較低。上述網(wǎng)絡(luò)模型和目標(biāo)檢測方法在提高目標(biāo)檢測的均值平均精度(mAP)方面取得了良好的效果，但在實(shí)時(shí)性檢測效果方面還與實(shí)際需求存在一定差距。

近年來，眾多人工智能科學(xué)研究者發(fā)現(xiàn)，單鏡頭多盒檢測器(SSD)具有快速定位和聚焦興趣目標(biāo)的能力[21-22]。SSD多尺度特征圖深度學(xué)習(xí)模型結(jié)合了YOLO檢測網(wǎng)絡(luò)的回歸思想和Faster R-CNN檢測網(wǎng)絡(luò)的錨框機(jī)制，同時(shí)兼顧準(zhǔn)確性和實(shí)時(shí)性，在多層特征圖上生成不同尺度的區(qū)域候選框，從而實(shí)現(xiàn)對(duì)不同形狀、不同尺寸物體的精準(zhǔn)和快速檢測。因此，將SSD深度學(xué)習(xí)能力引入DCNN 模型，無疑將提升目標(biāo)識(shí)別的效率，為實(shí)現(xiàn)礦井移動(dòng)目標(biāo)實(shí)時(shí)性檢測與識(shí)別提供借鑒。

本文針對(duì)現(xiàn)有礦井移動(dòng)目標(biāo)檢測與識(shí)別存在的不足，提出一種基于深度卷積網(wǎng)絡(luò)SSD-LeNet的移動(dòng)目標(biāo)檢測與識(shí)別方法。其總體思路：① 利用視覺傳感器捕獲煤礦井下移動(dòng)目標(biāo)的一幀來構(gòu)建原始圖像模型輸入，制作含有數(shù)字序列位置信息的移動(dòng)目標(biāo)數(shù)據(jù)集；② 采用擴(kuò)大局部感受野和減小卷積濾波器尺寸的方法，獲取更具顯著區(qū)分力和表達(dá)力的多尺度特征，離線訓(xùn)練可以輸出與自身位置對(duì)應(yīng)的目標(biāo)特征類的SSD網(wǎng)絡(luò)模型；③ 利用訓(xùn)練好的SSD學(xué)習(xí)模型對(duì)測試集中移動(dòng)目標(biāo)圖片上的數(shù)字序列位置進(jìn)行檢測，并根據(jù)數(shù)字序列位置對(duì)應(yīng)的矩形區(qū)域進(jìn)行字符分割操作；④ 將分割后的單個(gè)字符依次放入LeNet-5網(wǎng)絡(luò)中進(jìn)行識(shí)別，并將識(shí)別出的單個(gè)字符按順序合成數(shù)字序列；⑤ 根據(jù)識(shí)別出的數(shù)字序列快速檢索出移動(dòng)目標(biāo)的身份信息；⑥ 通過仿真實(shí)驗(yàn)驗(yàn)證了本文方法的有效性。

1 基于SSD-LeNet的目標(biāo)檢測與識(shí)別

1.1 網(wǎng)絡(luò)模型

網(wǎng)絡(luò)的結(jié)構(gòu)直接影響目標(biāo)特征的學(xué)習(xí)訓(xùn)練效率和逼近能力。為了提高對(duì)井下移動(dòng)目標(biāo)的多尺度特征深度學(xué)習(xí)能力，更好地實(shí)現(xiàn)對(duì)目標(biāo)的智能檢測與精準(zhǔn)識(shí)別效果，本文選用單鏡頭多盒檢測器(SSD)多尺度深度學(xué)習(xí)網(wǎng)絡(luò)，SSD模型結(jié)構(gòu)由主體網(wǎng)絡(luò)層和擴(kuò)展層構(gòu)成，其模型結(jié)構(gòu)如圖1所示。主體網(wǎng)絡(luò)層采用VGG16網(wǎng)絡(luò)的前5層作為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)，主要用于卷積特征提取、抽取圖片特征；擴(kuò)展層是空間尺寸逐漸減小的卷積層，主要用于多層特征融合、提取不同尺度下的候選框。另外，還有多任務(wù)學(xué)習(xí)和非極大值抑制(NMS)，用于對(duì)提取到的默認(rèn)框特征融合進(jìn)行深度學(xué)習(xí)，以及通過局部最大搜索去除冗余，旨在快速獲取目標(biāo)對(duì)象。

圖1 SSD模型結(jié)構(gòu)Fig.1 SSD model structure

為使 SSD 模型模仿人類視覺感知系統(tǒng)，能夠在目標(biāo)圖像中快速搜索到目標(biāo)位置對(duì)象，因此需要在目標(biāo)定位階段添加視覺識(shí)別特征。SSD模型通過選取Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2和Conv11_2六個(gè)不同尺度特征圖，在其每一個(gè)特征面上生成一系列候選框，然后再將候選框與目標(biāo)真實(shí)的標(biāo)注框按照匹配策略進(jìn)行匹配，最后通過NMS策略處理每個(gè)真實(shí)框附近的冗余框，過濾多余的非文本信息，從而根據(jù)定位的目標(biāo)檢測框位置偏移量得到最終的檢測結(jié)果。

1.2 損失函數(shù)

(1)

目標(biāo)函數(shù)由候選框的分類損失與定位損失構(gòu)成，總的損失函數(shù)為

(2)

式中，x為輸入樣本；c為目標(biāo)類別；l為候選框；g為真實(shí)框；N為匹配候選框的數(shù)目；λ為正則項(xiàng)權(quán)值，使用交叉熵驗(yàn)證的方式獲得；Lloc和Lconf分別為檢測目標(biāo)的回歸任務(wù)損失函數(shù)和類別任務(wù)損失函數(shù)。

目標(biāo)候選框的位置偏移量損失函數(shù)Lloc為

(3)

(4)

式中，x為數(shù)字圖片的三維矩陣；cx、cy為補(bǔ)償后的候選框的中心坐標(biāo)；w、h為候選框的寬和高。

檢測目標(biāo)的類別任務(wù)損失函數(shù)Lconf定義為

(5)

根據(jù)以上目標(biāo)函數(shù)擬合本文所提方法的訓(xùn)練過程，網(wǎng)絡(luò)模型得以收斂。此時(shí)，SSD模型具有了檢測新圖片中數(shù)字序列標(biāo)識(shí)符準(zhǔn)確位置的功能。

1.3 目標(biāo)識(shí)別

本文通過SSD檢測網(wǎng)絡(luò)，獲取移動(dòng)目標(biāo)和數(shù)字標(biāo)簽的位置信息。根據(jù)數(shù)字標(biāo)簽的坐標(biāo)信息，利用openCV將數(shù)字標(biāo)簽從原始圖像中截取出來，對(duì)截取的數(shù)字標(biāo)簽進(jìn)行灰度化和二值化處理，并對(duì)數(shù)字序列位置對(duì)應(yīng)的矩形區(qū)域進(jìn)行字符分割操作，將分割后的單個(gè)字符作為輸入，進(jìn)一步利用LeNet-5字符識(shí)別網(wǎng)絡(luò)對(duì)其進(jìn)行字符識(shí)別，將識(shí)別出的單個(gè)字符按順序合成數(shù)字序列，輸出與移動(dòng)目標(biāo)位置對(duì)應(yīng)的數(shù)字序列信息，從而實(shí)現(xiàn)對(duì)目標(biāo)的精準(zhǔn)識(shí)別。LeNet-5字符識(shí)別網(wǎng)絡(luò)的預(yù)訓(xùn)練包括前向傳播和反向傳播兩個(gè)階段。其基本思想：首先從MNIST數(shù)據(jù)集中選取一個(gè)目標(biāo)樣本輸入網(wǎng)絡(luò)，通過前向傳播對(duì)輸入層傳來的特征向量依次經(jīng)過卷積計(jì)算、非線性變化、下采樣及全連接計(jì)算，輸出一個(gè)預(yù)測結(jié)果；然后對(duì)前向傳播獲得的預(yù)測值向量與輸入的特征向量進(jìn)行比較，計(jì)算二者的誤差，再通過反向傳播將該誤差值反傳回網(wǎng)絡(luò)中；最后采用梯度下降方法優(yōu)化網(wǎng)絡(luò)訓(xùn)練，迭代調(diào)整網(wǎng)絡(luò)的權(quán)值，達(dá)到最佳逼近性能，使預(yù)測值與真實(shí)值之間的累計(jì)誤差最小。

(1) 前向傳播階段。傳播過程中將當(dāng)前卷積層的輸入加權(quán)與當(dāng)前層的偏置求和，對(duì)目標(biāo)圖像的每層輸入特征的運(yùn)算為

(6)

(2) 反向傳播階段。對(duì)m個(gè)樣本的數(shù)據(jù)集，假設(shè)樣本為(x，y)，根據(jù)網(wǎng)絡(luò)前向傳播階段輸出的每個(gè)類別的預(yù)測值期望，定義網(wǎng)絡(luò)的整體目標(biāo)函數(shù)為

(7)

由式(7)可知，通過迭代訓(xùn)練最小化損失函數(shù)降低網(wǎng)絡(luò)分類誤差，使輸出預(yù)測值期望無限接近于實(shí)際值。

定義損失函數(shù)L(zi)為

L(zi)=-logσ(zi)

(8)

式中，σ(zi)為預(yù)測輸入zi屬于每一個(gè)類別的概率。

2 算法流程

基于SSD-LeNet網(wǎng)絡(luò)的礦井移動(dòng)目標(biāo)檢測與識(shí)別總體流程如圖2所示。SSD-LeNet算法由模型訓(xùn)練、目標(biāo)位置檢測和目標(biāo)類別識(shí)別三部分組成。

圖2 礦井移動(dòng)目標(biāo)檢測與識(shí)別總體流程Fig.2 Process of mine moving target detection and tracking identification

2.1 模型訓(xùn)練

步驟1：初始化。采用ImageNet預(yù)訓(xùn)練模型VGG16網(wǎng)絡(luò)初始化SSD網(wǎng)絡(luò)的主體網(wǎng)絡(luò)層，采用均值為0、方差為0.01的高斯分布初始化SSD網(wǎng)絡(luò)的擴(kuò)展層。

步驟2：候選區(qū)域提取。在SSD網(wǎng)絡(luò)模型中輸入移動(dòng)目標(biāo)訓(xùn)練樣本，SSD檢測器分別從Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2和Conv11_2六個(gè)不同尺度的特征圖上提取一系列候選框，并依據(jù)匹配策略選取其中部分候選框作為正負(fù)樣本。

步驟3：誤差計(jì)算。根據(jù)式(2)計(jì)算步驟2中的正負(fù)樣本及數(shù)據(jù)集標(biāo)注信息(包括數(shù)字序列的類別和位置坐標(biāo))的誤差損失值。

步驟4：權(quán)值更新。利用基于梯度下降的深度學(xué)習(xí)反向傳播算法更新SSD網(wǎng)絡(luò)模型的權(quán)值。

步驟5：迭代收斂。遍歷整個(gè)移動(dòng)目標(biāo)訓(xùn)練集，重復(fù)執(zhí)行步驟2至步驟4，迭代并計(jì)算SSD模型在移動(dòng)目標(biāo)驗(yàn)證集上的誤差值，直到該誤差值達(dá)到最小。

2.2 目標(biāo)位置檢測

步驟1：將一張測試集圖片輸入到SSD模型中，SSD檢測器自動(dòng)提取目標(biāo)圖片特征。

步驟 2：根據(jù)步驟1中提取的目標(biāo)圖片特征，SSD檢測器選取Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2和Conv11_2六個(gè)不同尺度的特征圖，從其中提取出得分最高的一系列預(yù)測框。

步驟 3：SSD檢測器采用非極大值抑制策略，從步驟2的一系列預(yù)測框中去除冗余的檢測框，獲得最后的目標(biāo)預(yù)測框。

步驟 4：通過SSD檢測器獲取目標(biāo)預(yù)測框的位置偏移量，確定目標(biāo)預(yù)測框中的位置坐標(biāo)。

2.3 目標(biāo)類別識(shí)別

步驟1：從MNIST數(shù)據(jù)集中選取一個(gè)樣本輸入LeNet-5網(wǎng)絡(luò)，利用式(6)對(duì)樣本的特征向量進(jìn)行卷積計(jì)算、非線性變化、下采樣及全連接計(jì)算，輸出一個(gè)預(yù)測結(jié)果。

步驟3：重復(fù)執(zhí)行步驟1至步驟2，迭代更新網(wǎng)絡(luò)的權(quán)值，最小化損失函數(shù)，當(dāng)網(wǎng)絡(luò)輸出的誤差收斂到預(yù)先設(shè)定的訓(xùn)練閾值時(shí)即停止訓(xùn)練。

步驟4：根據(jù)目標(biāo)檢測框中的位置坐標(biāo)使用openCV對(duì)新圖片進(jìn)行截取，對(duì)截取的區(qū)域進(jìn)行灰度化和二值化處理，并使用像素投影進(jìn)行字符分割。

步驟5：將分割后的目標(biāo)特征進(jìn)行識(shí)別，并將識(shí)別出的特征字符合并成數(shù)字序列，對(duì)候選目標(biāo)進(jìn)行識(shí)別，輸出測試圖像的特征類別。

步驟6：從目標(biāo)身份標(biāo)識(shí)數(shù)據(jù)庫中檢索和確認(rèn)目標(biāo)身份信息。

上述算法的學(xué)習(xí)訓(xùn)練以及目標(biāo)識(shí)別過程如圖3所示。

圖3 SSD-LeNet算法流程示意圖Fig.3 Sketch map of SSD-LeNet Algorithm process

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

為了驗(yàn)證本文所提出方法的有效性，對(duì)本文方法與其他幾種流行的深度學(xué)習(xí)算法進(jìn)行仿真實(shí)驗(yàn)對(duì)比。仿真實(shí)驗(yàn)采用阿里云GPU云服務(wù)器平臺(tái)，GPU型號(hào)是NVIDIA P100，云服務(wù)器的處理器型號(hào)為Intel Xeon E5-2682v4，處理器主頻2.5 GHz，本地盤存儲(chǔ)大小440 GB，內(nèi)存30 GB 、4vCPU，網(wǎng)絡(luò)帶寬為3 Gbps。網(wǎng)絡(luò)模型的訓(xùn)練使用亞馬遜深度學(xué)習(xí)框架mxnet，基于SSD_300 VGG網(wǎng)絡(luò)和多GPU并行訓(xùn)練，編程語言采用python3.5以及計(jì)算機(jī)視覺庫openCV實(shí)現(xiàn)完成。

3.2 實(shí)驗(yàn)數(shù)據(jù)集

本實(shí)驗(yàn)所用數(shù)據(jù)集包括目標(biāo)檢測數(shù)據(jù)集和數(shù)字識(shí)別數(shù)據(jù)集。使用具有反向傳播的隨機(jī)梯度下降網(wǎng)絡(luò)優(yōu)化算法訓(xùn)練數(shù)據(jù)，學(xué)習(xí)率為0.001，訓(xùn)練使用的批量為16，分類損失和回歸損失的平衡參數(shù)為10。

實(shí)驗(yàn)中目標(biāo)檢測數(shù)據(jù)集采用手工制作。首先，采集像素為300×300的井下目標(biāo)照片1 280張，經(jīng)過圖像去噪隨機(jī)添加數(shù)字標(biāo)簽、標(biāo)注其位置坐標(biāo)，得到該數(shù)字標(biāo)簽的標(biāo)注信息；然后使用深度學(xué)習(xí)框架mxnet，按9∶1的比例將1 280張圖片分成訓(xùn)練驗(yàn)證集和測試集，作為訓(xùn)練和測試使用的原始數(shù)據(jù)；而數(shù)字識(shí)別則采用MINIST數(shù)據(jù)集，由0～9之間的灰度手寫數(shù)字組成數(shù)據(jù)集，包含 70 000張圖片，從完成去噪的數(shù)據(jù)集樣本中隨機(jī)選取60 000個(gè)樣本構(gòu)成訓(xùn)練集，10 000張用于測試集。在訓(xùn)練時(shí)將數(shù)字圖片變成像素為28×28的標(biāo)準(zhǔn)圖片作為輸入進(jìn)行測試，網(wǎng)絡(luò)的輸出設(shè)定為10個(gè)通道，即輸出目標(biāo)圖像屬于10個(gè)類別的概率。

3.3 實(shí)驗(yàn)分析

3.3.1 模型訓(xùn)練準(zhǔn)確率測試

礦井移動(dòng)目標(biāo)邊界框回歸誤差與訓(xùn)練樣本批量的關(guān)系如圖4所示，橫軸是訓(xùn)練樣本，縱軸是檢測目標(biāo)的邊界框回歸誤差。由圖4可知，隨著訓(xùn)練樣本批量的增加，邊界框回歸誤差的總體趨勢越來越小，使預(yù)測框能越來越準(zhǔn)確地框選出輸入圖片中的數(shù)字標(biāo)簽。礦井移動(dòng)目標(biāo)類別預(yù)測的準(zhǔn)確率和訓(xùn)練樣本批量的關(guān)系如圖5所示。由圖5中可知，隨著訓(xùn)練樣本批量的增加，類別預(yù)測準(zhǔn)確率的總體趨勢是逐漸上升的，最終模型對(duì)數(shù)字標(biāo)簽區(qū)域的類別識(shí)別準(zhǔn)確率可達(dá)99%以上。

圖4 邊界框回歸誤差變化曲線Fig.4 Regression of regression error of bounding box

圖5 類別預(yù)測準(zhǔn)確率變化曲線Fig.5 Change of class prediction accuracy

3.3.2 檢測準(zhǔn)確率及識(shí)別實(shí)時(shí)性比較

為了進(jìn)一步驗(yàn)證本文方法對(duì)井下不同大小、不同特征尺度目標(biāo)的檢測效果，與目前流行的Fast R-CNN、Faster R-CNN、YOLO等方法進(jìn)行實(shí)驗(yàn)比較，選取井下作業(yè)人員和電機(jī)車等移動(dòng)目標(biāo)作為實(shí)驗(yàn)對(duì)象，分別添加不同大小的數(shù)字標(biāo)簽。同時(shí)，考慮井下實(shí)際環(huán)境中噪聲的影響，模擬實(shí)驗(yàn)時(shí)在訓(xùn)練集的圖片中分別添加高斯噪聲和椒鹽噪聲，并經(jīng)過300輪測試。上述幾種方法的檢測準(zhǔn)確度和實(shí)時(shí)性對(duì)比結(jié)果見表1。

表1 幾種方法在不同噪聲條件下的檢測準(zhǔn)確率和實(shí)時(shí)性比較Tab.1 Comparison of real-time and precision of the algorithm in different image noise

由表1可見，本文所采用SSD模型的檢測方法與Fast R-CNN、Faster R-CNN、YOLO等網(wǎng)絡(luò)模型識(shí)別方法相比，對(duì)井下車輛和人員的檢測準(zhǔn)確度有較大差異，大目標(biāo)的檢測效果優(yōu)于小目標(biāo)，平均檢測準(zhǔn)確率最高可達(dá)94.0%以上。實(shí)驗(yàn)結(jié)果表明，SSD模型通過增加對(duì)主體網(wǎng)絡(luò)層conv4_3的特征圖的檢測，使目標(biāo)檢測的準(zhǔn)確率提高3%～5%。這是因?yàn)镾SD模型利用基礎(chǔ)網(wǎng)絡(luò)特征圖分辨率高、目標(biāo)原圖信息完整，通過增加輸入圖像尺寸提高了對(duì)小目標(biāo)檢測效果。在不同噪聲條件下，采用的SSD模型對(duì)不同目標(biāo)檢測的實(shí)時(shí)性影響不大，在實(shí)驗(yàn)數(shù)據(jù)集上對(duì)圖片的檢測速度為32幀/s，可達(dá)到實(shí)時(shí)性效果，抗噪能力更好。因此，本文采用的方法在目標(biāo)檢測與識(shí)別的準(zhǔn)確率和實(shí)時(shí)性，均優(yōu)于其他幾種深度學(xué)習(xí)模型。

3.3.3 測試實(shí)驗(yàn)

采用本文算法對(duì)某礦井泵房的巡檢人員、出入井口人員等移動(dòng)目標(biāo)檢測與識(shí)別進(jìn)行實(shí)驗(yàn)。為體現(xiàn)視頻幀測試樣本隨時(shí)空變化的視覺效果，對(duì)含有移動(dòng)目標(biāo)的視頻序列進(jìn)行快速逐幀檢測，以25幀間隔提取一個(gè)視頻幀，將所有提取出的視頻幀組合成一個(gè)移動(dòng)目標(biāo)測試集，利用SSD檢測網(wǎng)絡(luò)對(duì)其進(jìn)行測試，測試結(jié)果如圖6至圖8所示，圖中測試樣本下方的標(biāo)注值為檢測移動(dòng)目標(biāo)的置信度得分，該值越大，表明算法對(duì)目標(biāo)檢測的準(zhǔn)確率越高。

圖6 場景一的移動(dòng)目標(biāo)檢測效果及置信度Fig.6 Example diagram of moving target detection effect and confidence

圖7 場景二的移動(dòng)目標(biāo)檢測效果及置信度Fig.7 Example diagram of moving target detection effect and confidence

圖8 場景三的移動(dòng)目標(biāo)檢測效果及置信度Fig.8 Example diagram of moving target detection effect and confidence

由圖6至圖8可知，當(dāng)移動(dòng)目標(biāo)在不同時(shí)刻出現(xiàn)位姿變化、目標(biāo)遮擋時(shí)，本文算法依然能準(zhǔn)確、實(shí)時(shí)地檢測識(shí)別到不同場景中的移動(dòng)目標(biāo)；當(dāng)移動(dòng)目標(biāo)距視頻圖像采集設(shè)備較近時(shí)，本文算法不僅能檢測到移動(dòng)目標(biāo)，還能對(duì)其攜帶的數(shù)字標(biāo)簽進(jìn)行準(zhǔn)確識(shí)別。實(shí)驗(yàn)表明，本文方法對(duì)不同測試場景下的人員目標(biāo)及其攜帶數(shù)字標(biāo)簽的置信度得分較高，置信度最高達(dá)到0.999，能夠?qū)δ繕?biāo)精準(zhǔn)檢測與精確識(shí)別。對(duì)視覺傳感器遠(yuǎn)距離拍攝到的小目標(biāo)，檢測到人員目標(biāo)與數(shù)字標(biāo)簽置信度分別達(dá)到0.751、0.574，說明對(duì)小目標(biāo)檢測具有較強(qiáng)適應(yīng)性。因此，本文方法對(duì)礦井移動(dòng)目標(biāo)檢測與識(shí)別，具有較強(qiáng)的學(xué)習(xí)訓(xùn)練能力，在目標(biāo)檢測準(zhǔn)確性和實(shí)時(shí)性方面性能顯著。

4 結(jié) 論

(1) 提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)SSD-LeNet模型的礦井移動(dòng)目標(biāo)檢測與識(shí)別方法，實(shí)現(xiàn)對(duì)礦井移動(dòng)目標(biāo)的檢測與識(shí)別。

(2) 與其他方法相比，本文方法采用基于SSD模型的礦井移動(dòng)目標(biāo)檢測與識(shí)別方法，克服了煤礦低照度環(huán)境下識(shí)別準(zhǔn)確率下降的不足，對(duì)井下霧塵環(huán)境目標(biāo)識(shí)別具有較強(qiáng)的魯棒性。在目標(biāo)檢測的精準(zhǔn)度和識(shí)別的實(shí)時(shí)性方面，性能優(yōu)勢比較明顯，檢測準(zhǔn)確率在94%以上，檢測速度達(dá)32幀/s以上。

(3) 與Fast R-CNN、Faster R-CNN、YOLO等相比，本文方法能夠在較短的訓(xùn)練時(shí)間條件下達(dá)到98%以上的識(shí)別率，目標(biāo)檢測速度快，識(shí)別精度高，對(duì)提高礦井目標(biāo)實(shí)時(shí)性檢測與精準(zhǔn)識(shí)別具有較好效果，對(duì)礦井小目標(biāo)檢測與識(shí)別具有較強(qiáng)適應(yīng)性和魯棒性，對(duì)礦井環(huán)境低分辨率目標(biāo)圖像具有較強(qiáng)的抗噪性。