基于YOLO v3 的煤巖鉆孔圖像裂隙智能識(shí)別方法

蘇鈺桐，楊煒毅，李俊霖

（中國(guó)礦業(yè)大學(xué) 信息與控制工程學(xué)院，江蘇 徐州221008）

現(xiàn)有的研究表明巖體內(nèi)部的結(jié)構(gòu)面分布決定了巖體的穩(wěn)定性[1-2]。在煤礦生產(chǎn)過(guò)程中，為了評(píng)價(jià)巷道圍巖穩(wěn)定性，常采用煤巖體鉆孔窺視的方法了解圍巖裂隙發(fā)育狀況[3-4]，目前鉆孔圖像的裂隙識(shí)別、分類(lèi)等工作多采用人工的方式。由于鉆孔圖像數(shù)量較多，工作量大，容易由于人為差別造成漏識(shí)別或識(shí)別誤差[5]。采用機(jī)器智能識(shí)別可以有效減少誤差，提高工作效率。

煤巖體鉆孔裂隙機(jī)器識(shí)別的核心任務(wù)是確實(shí)裂隙分布的位置和大小，針對(duì)該問(wèn)題，王川嬰[6]通過(guò)觀察鉆孔圖像上裂隙的產(chǎn)狀，將正弦函數(shù)作為特征函數(shù)，提出了一種鉆孔圖像結(jié)構(gòu)面識(shí)別方法，可以有效識(shí)別產(chǎn)狀為正弦曲線的裂隙。夏丁[7]等首先對(duì)鉆孔圖像進(jìn)行預(yù)處理，獲取目標(biāo)區(qū)域，采用低精度Hough變換快速檢測(cè)和聚類(lèi)算法計(jì)算出結(jié)構(gòu)面的傾向、傾角等信息。對(duì)于破碎的巷道圍巖，其圍巖內(nèi)部裂隙并不都是呈正弦曲線狀，以上方法不能有效的識(shí)別非正弦曲線裂隙。為了解決這個(gè)問(wèn)題，鄒先堅(jiān)[8]為了識(shí)別鉆孔圖像非正弦曲線特征裂隙，提出一種針對(duì)全景鉆孔圖像的結(jié)構(gòu)面全自動(dòng)識(shí)別方法，把非正弦曲線裂隙劃分到距離最近正弦曲線裂隙中，以保證識(shí)別的完整性。針對(duì)非正弦結(jié)構(gòu)狀裂隙，李立[9]等基于自適應(yīng)HSV 顏色空間模型，提出了鉆孔圖像中溶隙結(jié)構(gòu)識(shí)別方法，此方法能對(duì)鉆孔圖像上的溶隙和土質(zhì)層進(jìn)行定位和識(shí)別。針對(duì)鉆孔錄像橫向截圖，鄧兆鵬[10]等提出了一種基于改進(jìn)的區(qū)域生長(zhǎng)和Hough變換的鉆孔孔壁圖像水平裂隙識(shí)別算法，該裂隙識(shí)別算法對(duì)于不同的水平裂隙和離層圖像都可以準(zhǔn)確、自動(dòng)地檢測(cè)出裂隙。目前采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行鉆孔圖像裂隙識(shí)別鮮有報(bào)道。

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是一種深度學(xué)習(xí)模型或類(lèi)似于人工神經(jīng)網(wǎng)絡(luò)的多層感知器，在圖像處理領(lǐng)域應(yīng)用廣泛，它可以將大數(shù)據(jù)量的圖片降維成小數(shù)據(jù)量，并保留圖片特征，符合圖片處理的原則[11]。相比通用的目標(biāo)檢測(cè)任務(wù)，煤礦井下鉆孔孔壁展開(kāi)圖像質(zhì)量低，裂隙辨識(shí)度低，特別是煤體裂隙，需要將裂隙準(zhǔn)確檢測(cè)出來(lái)，這對(duì)目標(biāo)檢測(cè)算法的準(zhǔn)確度提出了更高的要求。綜合考慮，采用同時(shí)兼顧速度和檢測(cè)精度的YOLO v3 算法，并建立煤巖體鉆孔圖像裂隙智能識(shí)別模型[12]。

1 檢測(cè)算法與網(wǎng)絡(luò)結(jié)構(gòu)

1.1 YOLO v3 檢測(cè)算法

鉆孔圖像裂隙檢測(cè)過(guò)程如圖1。

YOLO v3 算法采用一個(gè)單獨(dú)的卷積神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)end-to-end 的目標(biāo)檢測(cè)，先將圖片分成S×S個(gè)網(wǎng)格單元（gird cell）進(jìn)行圖像特征提取。每個(gè)單元格會(huì)預(yù)測(cè)B 個(gè)邊界框（bounding box）以及邊界框的置信度C（confidence score）。每個(gè)邊界框包含x、y、w、h 和置信度C 共5 個(gè)值，其中：x、y 為邊界框中心點(diǎn)的置；w、h 為邊界框的寬度和高度。置信度包含2個(gè)方面：①這個(gè)框中目標(biāo)存在的可能性大小Pr（obj），若框中沒(méi)有裂隙，則Pr（obj）＝0，若含有裂隙則Pr（obj）＝1；②這個(gè)邊界框的位置準(zhǔn)確度，采用IOU（交并比）的方法判斷邊界框的位置的準(zhǔn)確度，即預(yù)測(cè)的框與真實(shí)框（ground truth）合并面積交并比記做IOU（intersection over union），IOU 計(jì)算示意圖如圖2。置信度為這個(gè)方面取值的乘積，置信度用來(lái)評(píng)判預(yù)測(cè)最準(zhǔn)確的邊界框。當(dāng)多個(gè)邊界框檢測(cè)到同一目標(biāo)時(shí)，通過(guò)非極大值抑制（NMS）來(lái)選擇最終的結(jié)果，NMS 就是通過(guò)打分來(lái)選出最好的結(jié)果，與這個(gè)結(jié)果重疊的對(duì)象去掉，是一個(gè)不斷迭代的過(guò)程。

圖2 IOU 計(jì)算示意圖Fig.2 IOU calculation diagram

YOLO v3 目標(biāo)邊界框坐標(biāo)的預(yù)測(cè)過(guò)程如圖3，圖中σ 函數(shù)是sigmoid 函數(shù)，其目的是將預(yù)測(cè)偏移量縮放到0 到1 之間。假設(shè)1 個(gè)網(wǎng)格相對(duì)于圖像左上角的偏移量是cx和cy，邊框的寬度和高度分別為pw和ph。圖中虛線矩形框?yàn)殄^框（anchor box），實(shí)線矩形框?yàn)橥ㄟ^(guò)網(wǎng)絡(luò)預(yù)測(cè)的偏移量計(jì)算得到的預(yù)測(cè)邊界框（bounding box），錨框與預(yù)測(cè)邊界框的對(duì)應(yīng)關(guān)系如圖中公式所示。預(yù)測(cè)偏移量（offsets）用tx、ty、tw、th表示，其中tx、ty是預(yù)測(cè)的坐標(biāo)偏移值，tw、th是尺度縮放。偏移量根據(jù)原圖尺寸進(jìn)行歸一化處理，可以有效的確保目標(biāo)中心處于執(zhí)行預(yù)測(cè)的網(wǎng)格單元中，防止偏移過(guò)多。

圖3 目標(biāo)邊界框位置的預(yù)測(cè)過(guò)程Fig.3 Prediction process of target bounding box position

1.2 YOLO v3 網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv3 架構(gòu)圖如圖4。YOLO v3 調(diào)整了網(wǎng)絡(luò)結(jié)構(gòu)，圖像特征提取采用的是Darknet-53 的網(wǎng)絡(luò)結(jié)構(gòu)，含有53 個(gè)卷積層，并借鑒了殘差網(wǎng)絡(luò)的做法，在一些層之間設(shè)置了快捷鏈路（shortcut connections），并增加了跳層的殘差模塊。YOLO v3 利用多尺度特征進(jìn)行對(duì)象檢測(cè)，網(wǎng)絡(luò)在3 個(gè)不同尺度特征圖中（82、94、106 層）進(jìn)行對(duì)象檢測(cè)。同時(shí)在每個(gè)尺度的特征圖的每個(gè)網(wǎng)格設(shè)置3 個(gè)先驗(yàn)框。使用Logistic 取代Softmax 進(jìn)行對(duì)象分類(lèi)，支持多標(biāo)簽對(duì)象。YOLO v3進(jìn)行5 次下采樣提取特征，輸出3 個(gè)不同尺寸的特征圖。然后在85 層進(jìn)行上采樣，同樣的操作在98層。

圖4 YOLO v3 架構(gòu)圖Fig.4 The architecture diagram of YOLO v3

1.3 損失函數(shù)

YOLO v3 的損失函數(shù)置信度損失和分類(lèi)損失為二值交叉熵?fù)p失，其能刻畫(huà)2 個(gè)概率分布之間的距離，也就是說(shuō)，交叉熵值越小，2 個(gè)概率分布越接近，同時(shí)利用sigmoid 將神經(jīng)網(wǎng)絡(luò)的輸出映射到一個(gè)（0，1）區(qū)間[13]。YOLO v3 的損失函數(shù)定義如下：

2 鉆孔圖像數(shù)據(jù)集

挑選不同煤礦井下頂板300 張鉆孔圖像作為樣本，采用開(kāi)源工具LabelImg 軟件綠色矩形框?qū)︺@孔圖像的裂隙進(jìn)行人工標(biāo)記、注釋和編號(hào)，制作VOC 2007 數(shù)據(jù)集，將xml 格式文件全部放入Annotations文件夾，將所JPEG 格式圖片文件放入JPEGImg 文件夾中，然后將文件夾中20%的圖片作為驗(yàn)證集，80%圖片作為訓(xùn)練集，其中1 號(hào)孔～6 號(hào)孔鉆孔圖像裂隙分布數(shù)據(jù)集如圖5。

圖5 鉆孔圖像裂隙分布數(shù)據(jù)集Fig.5 Fractures distribution data sets of borehole image

在目標(biāo)檢測(cè)中xml 格式訓(xùn)練數(shù)據(jù)的標(biāo)簽通常是基于絕對(duì)坐標(biāo)的表示方式的，而在訓(xùn)練的過(guò)程中通常會(huì)有尺度大小的變換，這就需要將邊框坐標(biāo)轉(zhuǎn)換為歸一化后的形式，即txt 格式數(shù)據(jù)，轉(zhuǎn)換如式（2），通過(guò)編寫(xiě)Python 小程序轉(zhuǎn)后的txt 格式文件分別包含類(lèi)別序列（label），標(biāo)注邊界框（ground truth）中心點(diǎn)x 方向坐標(biāo)，目標(biāo)中心點(diǎn)y 方向坐標(biāo)y，標(biāo)注框?qū)抴，標(biāo)注框高h(yuǎn)。

式中：xmax、ymax為邊框右下角坐；xmin、ymin為邊框左上角坐標(biāo)；a、b 分別為圖像寬和高。

3 訓(xùn)練環(huán)境及參數(shù)配置

基于TensorFlow 及Keras 框架搭建神經(jīng)網(wǎng)絡(luò)，試驗(yàn)采用DarkNet53 深度學(xué)習(xí)框架。計(jì)算機(jī)配置為Intel Core i7-8700H CPU，2.20 GHz 6 核12 線程，顯卡為NVIDIA Quadro P1000 4GB 獨(dú)立顯卡，32 G 內(nèi)存，所有程序均在Windows 10 系統(tǒng)下用Python 3 語(yǔ)言編寫(xiě)，圖像顯示處理調(diào)用OpenCV 庫(kù)、數(shù)據(jù)計(jì)算調(diào)用CUDA、CuDNN 等。

采用k-means 算法對(duì)訓(xùn)練集上的預(yù)測(cè)框（boudnding box）尺度做聚類(lèi)，圖像轉(zhuǎn)換為416×416 像素，以適于YOLO v3 的輸入。然后再分成13×13 像素的網(wǎng)格單元，以便于輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練。以1 幅圖像為1 個(gè)批次，每訓(xùn)練1 批圖像，更新1 次權(quán)值參數(shù)。權(quán)值的衰減速率（decay）設(shè)為0.000 5，學(xué)習(xí)率調(diào)整策略采用steps，動(dòng)量因子（momentum）設(shè)為0.9，最大訓(xùn)練次數(shù)設(shè)置為50 020，初始學(xué)習(xí)率（learning rate）設(shè)為0.000 1。在開(kāi)始訓(xùn)練時(shí)設(shè)置burn＿in 參數(shù)用于穩(wěn)定模型，burn＿in 設(shè)置為1 000 在迭代次數(shù)為40 000和45 000 時(shí)，學(xué)習(xí)率降低為初值的10%和1%，使模型在訓(xùn)練后期振蕩減小，從而更加接近最優(yōu)解。

在訓(xùn)練過(guò)程中，通過(guò)繪制模型損失曲線觀察訓(xùn)練動(dòng)態(tài)過(guò)程，損失函數(shù)的輸出結(jié)果如圖6。由圖6 可看出，模型在前期迭代中損失值快速縮減，模型快速擬合，第1 個(gè)循環(huán)結(jié)束損失值下降至53，第11 次循環(huán)時(shí)，損失值收斂至35 時(shí)，不在變化，結(jié)束訓(xùn)練。

圖6 損失函數(shù)的輸出結(jié)果Fig.6 Output results of loss function

4 訓(xùn)練結(jié)果驗(yàn)證

訓(xùn)練完成后，將測(cè)試集分別輸入到訓(xùn)練好的網(wǎng)絡(luò)模型中進(jìn)行測(cè)試驗(yàn)證，得到目標(biāo)檢測(cè)算法對(duì)測(cè)試集中鉆孔圖像裂隙的檢測(cè)結(jié)果，識(shí)別速度為2 s 左右，裂隙識(shí)別結(jié)果如圖7（圖7 中橫坐標(biāo)為x 像素坐標(biāo)，縱坐標(biāo)為y 像素坐標(biāo)），裂隙識(shí)別位置信息見(jiàn)表1。

圖7 裂隙識(shí)別結(jié)果Fig.7 Recognition results of fractures

表1 裂隙識(shí)別位置信息Table 1 Location information of fracture recognition

由圖7 可以看出，鉆孔圖像上的裂隙基本被識(shí)別出并進(jìn)行了標(biāo)記。從圖7（a）可以看出，不僅橫向裂隙別識(shí)別出來(lái)，縱向裂隙也被識(shí)別出；從圖7（b）可以看出，對(duì)于裂隙分布比較密集的鉆孔圖像，所有裂隙均被識(shí)別出來(lái)，識(shí)別精度較高；從圖7（c）可以看出，對(duì)于裂隙分布不明顯的圖像，不明顯裂隙均被識(shí)別出；從圖7（d）可以看出，由于鉆孔設(shè)備造成的類(lèi)似裂隙痕跡的完整鉆孔圖像，識(shí)別結(jié)果為無(wú)裂隙，表明網(wǎng)絡(luò)模型具有一定的抗干擾能力。表1為程序自動(dòng)生成的裂隙坐標(biāo)位置與裂隙率，可以大概估計(jì)裂隙數(shù)量和裂隙分布面積，有助于評(píng)價(jià)巖體穩(wěn)定性。

5 結(jié) 語(yǔ)

為了實(shí)現(xiàn)煤巖體中各種特征裂隙智能快速識(shí)別，提出了基于深度神經(jīng)網(wǎng)絡(luò)YOLO v3 算法的裂隙檢測(cè)方法。方法采用最新Darknet-53 網(wǎng)絡(luò)模型，增加跳層的殘差模塊以改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，同時(shí)融合多維度特征。試驗(yàn)結(jié)果表明YOLO v3 算法可以快速識(shí)別鉆孔圖像不同發(fā)育特征裂隙，滿足煤巖體裂隙檢測(cè)的要求。