基于改進(jìn)YOLOv3的鐵路落石檢測方法研究與實(shí)現(xiàn)

劉孜學(xué) 王富斌 虞 凱

(中鐵二院工程集團(tuán)有限責(zé)任公司， 成都 610031)

由于我國山區(qū)、丘陵地帶居多，眾多主干及戰(zhàn)略通道都分布其中，鐵路選線不可避免的需要穿越這些地帶。這些地帶的地質(zhì)情況多數(shù)不良，使得地質(zhì)災(zāi)害發(fā)生的幾率大大增加，其中由地災(zāi)引發(fā)的鐵路沿線山體滑坡、泥石流塌方造成的線路損毀，以及邊坡崩塌落石侵入鐵路限界將嚴(yán)重危及列車運(yùn)行安全。

近年來，我國鐵路建設(shè)及運(yùn)營管理更加注重在科技創(chuàng)新的引領(lǐng)下推動(dòng)鐵路高質(zhì)量發(fā)展，也對(duì)鐵路安全保障提出更高層次的要求。2020年施行的國家行業(yè)標(biāo)準(zhǔn)TB 10671-2019《高速鐵路安全防護(hù)設(shè)計(jì)規(guī)范》中明確提出“異物侵限系統(tǒng)監(jiān)測對(duì)象根據(jù)需要可包括山體滑坡、泥石流、危巖落石等[1]”。2021年12月，國家鐵路局印發(fā)的《“十四五”鐵路科技創(chuàng)新規(guī)劃》中在安全保障領(lǐng)域?qū)ⅰ把邪l(fā)高海拔惡劣地質(zhì)環(huán)境條件下鐵路主動(dòng)安全保障與防災(zāi)救援系統(tǒng)”列為重點(diǎn)工程。

當(dāng)前，業(yè)內(nèi)針對(duì)鐵路危巖落石監(jiān)測已開展了長期研究與試驗(yàn)[2-3]。楊小軍[4]等采用光纖光柵振動(dòng)傳感技術(shù)研制的鐵路沿線崩塌落石監(jiān)測報(bào)警系統(tǒng)在重慶某鐵路線進(jìn)行了現(xiàn)場試驗(yàn)，監(jiān)測報(bào)警系統(tǒng)可對(duì)沖擊到鐵路界限內(nèi)大于 4 000 J的能量(相當(dāng)于80 kg落石從5 m高度落下)進(jìn)行監(jiān)測報(bào)警。夏洪峰[5]提出了采用紅外激光軌面掃描技術(shù)和振動(dòng)波檢測技術(shù)相融合的危巖落石災(zāi)害監(jiān)測系統(tǒng),并在宜萬鐵路橋隧相連防洪點(diǎn)開展試驗(yàn)應(yīng)用。徐成偉[6]等提出了一種結(jié)合雷達(dá)掃描與視頻智能分析技術(shù)進(jìn)行綜合報(bào)警評(píng)判的鐵路崩塌落石自動(dòng)監(jiān)測報(bào)警系統(tǒng)，提高了報(bào)警準(zhǔn)確率，該系統(tǒng)在大(同)西(安)高速鐵路進(jìn)行了試點(diǎn)運(yùn)行及試驗(yàn)。綜上，當(dāng)前對(duì)鐵路危巖落石的自動(dòng)化監(jiān)測技術(shù)主要分為接觸式與非接觸式，其中接觸式監(jiān)測方法主要為電網(wǎng)和光纖光柵監(jiān)測技術(shù)；非接觸式則主要采用：視頻圖像分析、雷達(dá)、超聲和紅外線等監(jiān)測方法及技術(shù)手段。

通過調(diào)研分析已有上道應(yīng)用試驗(yàn)的各類鐵路沿線崩塌落石監(jiān)測系統(tǒng)，各種系統(tǒng)在應(yīng)用中均存在不足，面臨的挑戰(zhàn)和問題主要?dú)w結(jié)為監(jiān)測報(bào)警系統(tǒng)的誤報(bào)、漏報(bào)及時(shí)效性，其中誤報(bào)率難以降低的根本原因在于鐵路沿線環(huán)境的復(fù)雜性。各類監(jiān)測系統(tǒng)對(duì)侵限落石的檢測方法成為了制約系統(tǒng)性能指標(biāo)的關(guān)鍵因素。接觸式監(jiān)測系統(tǒng)在檢測判斷落石時(shí)可以優(yōu)化降低誤判率，但無法檢測區(qū)分異物，不能檢測落石大小等。非接觸式監(jiān)測系統(tǒng)特別是采用視頻和雷達(dá)檢測技術(shù)可區(qū)分異物，對(duì)落石的檢測精度更高，并能獲取落石大小及位置信息。

隨著近年來人工智能技術(shù)的不斷發(fā)展，視覺圖像檢測方法也得到了質(zhì)的提升。徐巖[7]等開展了基于Faster RCNN網(wǎng)絡(luò)模型的鐵路異物侵限檢測算法研究，通過對(duì)鐵路異物侵限視頻數(shù)據(jù)集上進(jìn)行測試，該算法對(duì)于人、車及部分動(dòng)物的綜合檢測精確度達(dá)到了97.81%。劉林芽[8]提出基于YOLOv3算法的落石檢測方法，對(duì)巖石樣本進(jìn)行測試，結(jié)果表明YOLOv3算法具有檢測速度快、效率高等特點(diǎn)，但是作者未在真實(shí)鐵路邊坡落石場景下檢測YOLOv3算法性能，距離實(shí)際工程應(yīng)用還有一段距離。鑒于此，本文為滿足實(shí)際工程需要，采集大量鐵路落石樣本，開展基于YOLOv3算法的落石檢測方法研究，并根據(jù)鐵路邊坡落石檢測特點(diǎn)，對(duì)YOLOv3網(wǎng)絡(luò)架構(gòu)等進(jìn)行改進(jìn)，以提升鐵路沿線邊坡落石的檢測實(shí)時(shí)性和精確度。

1 數(shù)據(jù)樣本

本文采用YOLOV3算法解決鐵路場景下落石的檢測與識(shí)別問題，因此需要大規(guī)模樣本訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，生成落石檢測模型。為了獲得更好的訓(xùn)練結(jié)果，采集足夠多的樣本數(shù)據(jù)是先決條件之一。

首先采用現(xiàn)場實(shí)景拍攝的方式獲取了大量鐵路真實(shí)場景下的崩塌落石樣本，同時(shí)利用網(wǎng)絡(luò)爬蟲方便快捷地獲取了少量落石圖片，對(duì)所有圖片進(jìn)行下采樣處理，將分辨率調(diào)整到500×375，形成了規(guī)模為948張鐵路場景下的目標(biāo)數(shù)據(jù)集。然后為滿足卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練要求，采用圖像增強(qiáng)的方式對(duì)樣本集進(jìn)行擴(kuò)充，樣本庫規(guī)模從948張擴(kuò)充為 8 532張圖片。圖像數(shù)據(jù)增強(qiáng)的方式包括水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、旋轉(zhuǎn)、加噪聲、亮度調(diào)整、調(diào)整RGB通道值等方法。最后，借助labelimg軟件完成了樣本庫的標(biāo)注以及格式轉(zhuǎn)換，在標(biāo)注時(shí)根據(jù)落石的尺寸、分布情況將樣本名稱標(biāo)簽分為兩類：落石(stone)和落石群(stones)。

2 算法比選

2.1 算法選擇

目前而言，基于深度學(xué)習(xí)的圖像識(shí)別算法分為2個(gè)方向。一是基于候選區(qū)域的圖像識(shí)別算法，又稱為兩階段(Two-stage)算法，主要以RCNN、Fast RCNN、Faster RCNN為主，以及在此基礎(chǔ)上的改進(jìn)算法。這類算法在第一階段首先產(chǎn)生候選區(qū)域(Region Proposal)，包含了檢測目標(biāo)的大致位置信息；第二階段對(duì)產(chǎn)生的所有候選區(qū)域進(jìn)行分類和再次位置精修。二是基于回歸的圖像識(shí)別算法，又稱為一階段(One-stage)算法，比較典型的算法有YOLO系列、SSD。這類檢測算法不需要產(chǎn)生候選區(qū)域，可以通過一個(gè)階段直接產(chǎn)生目標(biāo)的類別概率和位置坐標(biāo)值。一般情況下，Two-stage算法在準(zhǔn)確度上有優(yōu)勢，而One-stage算法在速度上有優(yōu)勢[9]。本文在鐵路落石檢測應(yīng)用中，選取具有代表性的Faster RCNN和YOLOv3算法進(jìn)行比選。

2.2 測試對(duì)比

本文的實(shí)驗(yàn)測試環(huán)境在Ubuntu16.04系統(tǒng)進(jìn)行，python 版本為3.5，所使用的處理器是Intel(R)Xeon(R)Gold 5115 CPU，10核20線程，主頻2.4 GHz，內(nèi)存32 G，顯卡采用NVIDIA Quadro P5000，顯存為16 G。

Faster RCNN和YOLOv3兩種算法在測試集上對(duì)目標(biāo)的檢測準(zhǔn)確度和檢測速度對(duì)比如表1、表2所示，YOLOv3算法對(duì)目標(biāo)的平均檢測準(zhǔn)確度(mAP)為71.14%，略低于Faster RCNN算法(mAP=76.26%)，但是在檢測速率方面，YOLOv3算法明顯比Faster RCNN 算法快。綜上所述，考慮到在實(shí)際工程中更看重檢測系統(tǒng)的實(shí)時(shí)性能，因此本文選取YOLOv3算法檢測鐵路落石。但是YOLOv3算法對(duì)鐵路落石和落石群的檢測準(zhǔn)確度較低，究其原因有三：落石數(shù)據(jù)集規(guī)模小，不能涵蓋各種形狀、光線、環(huán)境下的落石；數(shù)據(jù)集中的落石尺寸比較小，占像素面積小，導(dǎo)致難以檢測到；原始YOLOv3算法網(wǎng)絡(luò)結(jié)構(gòu)對(duì)鐵路雜亂復(fù)雜的環(huán)境難以適用。因此還需要對(duì)YOLOv3進(jìn)行改進(jìn)，提高對(duì)stone和stones的檢測率。

表1 檢測準(zhǔn)確度對(duì)比表(%)

表2 檢測速率對(duì)比表

3 落石檢測

3.1 改進(jìn)YOLOv3模型

YOLOv3算法引入FPN(Feature Pyramid Networks)網(wǎng)絡(luò)，通過上采樣和融合不同層的特征，利用低層特征的高分辨率和高層特征的高語義信息，在3個(gè)不同尺度的特征圖上檢測物體。由于鐵路落石在形態(tài)、尺寸、外觀等方面千差萬別，并考慮到背景環(huán)境變化多樣，因此本文通過改進(jìn)YOLOv3模型，原有的3個(gè)尺度擴(kuò)展為4個(gè)，同時(shí)分配準(zhǔn)確的錨點(diǎn)框，以此來提高落石和落石群的檢測準(zhǔn)確度，提升算法對(duì)鐵路復(fù)雜環(huán)境的適應(yīng)能力。本文提出的改進(jìn)YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 改進(jìn)YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)圖

3.2 試驗(yàn)測試

本文對(duì)改進(jìn)前后YOLOv3算法的各項(xiàng)性能指標(biāo)進(jìn)行對(duì)比分析。在測試之前，對(duì)落石和落石群兩類樣本進(jìn)行了擴(kuò)充。

(1)loss曲線對(duì)比

改進(jìn)前后YOLOv3算法的網(wǎng)絡(luò)訓(xùn)練過程中損失變化曲線對(duì)比如圖2所示，改進(jìn)后YOLOv3算法的損失曲線收斂速度比原始YOLOv3快，而且更加平滑。

圖2 改進(jìn)前后YOLOv3算法損失值變化曲線圖

(2)檢測準(zhǔn)確度對(duì)比

改進(jìn)前后YOLOv3算法的P-R曲線如圖3、圖4所示，相比于原始YOLOv3的 P-R曲線，改進(jìn)后YOLOv3算法的檢測準(zhǔn)確度提升明顯。

圖3 原始YOLOv3的 P-R曲線圖

圖4 改進(jìn)后YOLOv3算法損失值變化曲線圖

原始YOLOv3和改進(jìn)YOLOv3兩種算法在測試集上對(duì)落石和落石群的檢測準(zhǔn)確度對(duì)比如表3所示。原始YOLOv3算法的平均檢測準(zhǔn)確度(mAP)為71.14%，改進(jìn)YOLOv3算法的平均檢測準(zhǔn)確度(mAP)提升為89.09%，效果明顯。

表3 檢測準(zhǔn)確度對(duì)比表(%)

(3)實(shí)際場景檢測結(jié)果

本文將算法用于實(shí)際場景中檢測，檢測結(jié)果較為準(zhǔn)確，如圖5所示。

圖5 鐵路落石檢測結(jié)果圖

4 結(jié)論

為滿足鐵路落石檢測的實(shí)際工程需要，收集了8 532張鐵路真實(shí)場景下的崩塌落石樣本，并對(duì)深度學(xué)習(xí)目標(biāo)檢測算法進(jìn)行了深入研究與訓(xùn)練測試。本文首先選取Faster RCNN和YOLOv3算法進(jìn)行了平行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果顯示YOLOv3算法較Faster RCNN算法檢測精度相似，但是檢測速度更快，更能滿足鐵路沿線危巖落石檢測的實(shí)際應(yīng)用要求，因此本文選取YOLOv3算法進(jìn)行鐵路落石檢測研究。但是YOLOv3算法對(duì)落石群(stones)的檢測準(zhǔn)確度較低，因此本文提出一種基于YOLOv3框架的鐵路落石實(shí)時(shí)檢測改進(jìn)算法，以YOLOv3為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)，通過增加多尺度檢測，利用更多的圖片信息等方法來改進(jìn)檢測效果。通過對(duì)改進(jìn)前后YOLOv3算法在測試集上的檢測準(zhǔn)確度進(jìn)行對(duì)比，改進(jìn)YOLOv3算法的平均檢測準(zhǔn)確度由原來的71.14%提升為89.09%。綜上所述，本文提出的基于改進(jìn)YOLOv3算法的鐵路落石檢測方法在將來實(shí)際工程中具有較大的應(yīng)用潛能。