胡怡東 曾明
摘 ?要:車(chē)載式地鐵軌道缺陷巡檢系統(tǒng)是一套功能完善、性能優(yōu)良的基于計(jì)算機(jī)視覺(jué)、深度學(xué)習(xí)的巡檢系統(tǒng),集成了扣件檢測(cè)、軌枕檢測(cè)、異物檢測(cè)、鋼軌檢測(cè)、感應(yīng)板檢測(cè)五個(gè)檢測(cè)模塊以及缺陷檢測(cè)位置定位等,結(jié)合Tiny YOLOv3初次檢測(cè)識(shí)別和改進(jìn)的YOLOv3二次檢測(cè)識(shí)別的目標(biāo)檢測(cè)算法,能夠精確定位缺陷位置,實(shí)時(shí)根據(jù)所采集的圖像對(duì)軌道缺陷進(jìn)行智能識(shí)別、判斷和分類(lèi),最后將軌道缺陷信息數(shù)據(jù)通過(guò)客戶端軟件存儲(chǔ)及上傳至電腦端實(shí)時(shí)顯示,相關(guān)維修人員能夠及時(shí)發(fā)現(xiàn)故障隱患并進(jìn)行檢修,從而提高了軌道線路巡檢效率和準(zhǔn)確率,保障了地鐵列車(chē)的運(yùn)行安全。
關(guān)鍵詞:計(jì)算機(jī)視覺(jué);深度學(xué)習(xí);檢測(cè)模塊;精確定位;智能識(shí)別
中圖分類(lèi)號(hào):U239.5 ? ? ?文獻(xiàn)標(biāo)志碼:A
引言
地鐵在日常城市生活中承擔(dān)著重要的交通職能,它方便了人們的交通出行,縮短了區(qū)域間的通勤時(shí)間,為社會(huì)經(jīng)濟(jì)建設(shè)提供高效、有力的交通保障。然而高速、快捷的背后是軌道安全所面臨的巨大壓力與挑戰(zhàn),如高頻率的列車(chē)發(fā)送讓軌道處于高負(fù)荷狀態(tài),進(jìn)而引發(fā)軌道狀態(tài)異常,威脅列車(chē)行駛安全。針對(duì)軌道安全問(wèn)題,人們提出了一些檢測(cè)方法,總結(jié)起來(lái)有扣件缺陷檢測(cè)、鋼軌裂紋檢測(cè)、軌枕破裂掉塊檢測(cè)、感應(yīng)板移位檢測(cè)、異物檢測(cè)等[1-3]。
傳統(tǒng)的扣件檢測(cè)方式是采用人工巡檢,該方法雖然簡(jiǎn)單,但效率低、成本高、漏檢率高、安全隱患大,且不能判斷扣件的松脫程度[4-6]?;谟?jì)算機(jī)視覺(jué)的扣件檢測(cè)有主成分分析(Principal Component Analysis,PCA)+支持向量機(jī)(Support Vector Machines,SVM)、小波分析+BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)等識(shí)別方法,但它們都需要提取扣件的大致區(qū)域再進(jìn)行狀態(tài)識(shí)別,其次均只能識(shí)別扣件是否脫落,不能識(shí)別出扣件松脫的具體程度[7-9]。除視覺(jué)之外,還有利用振動(dòng)能量譜進(jìn)行扣件狀態(tài)識(shí)別,但它需要在扣件之間安裝傳感器節(jié)點(diǎn),具有工程量大、成本高,同時(shí)難以維護(hù)等缺點(diǎn)[10]。
鋼軌裂紋檢測(cè)大多采用激光傳感器的方法,該方法由于在高速以及列車(chē)晃動(dòng)情況下會(huì)導(dǎo)致激光數(shù)據(jù)誤差較大,所以只能局限用于低速軌道檢測(cè)車(chē),不能很好滿足高速車(chē)載實(shí)時(shí)檢測(cè)的需求[11-12]。對(duì)于軌枕檢測(cè),文獻(xiàn)[13]和[14]基于圖像處理算法分割出軌枕區(qū)域,然后結(jié)合粗糙集人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練再檢測(cè),雖然能檢測(cè)出一部分軌枕裂紋掉塊,但缺點(diǎn)也是顯而易見(jiàn)的:基于圖像處理的分割算法容易受到光照、角度以及外界復(fù)雜多變環(huán)境的干擾導(dǎo)致分割效果不好,其次人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)較為簡(jiǎn)單、深度較淺,同時(shí)由于是人為選取圖像特征,會(huì)導(dǎo)致最后檢測(cè)效果不是特別理想。感應(yīng)板移位檢測(cè)方法是利用多個(gè)激光傳感器來(lái)分析感應(yīng)板位置信息,從而判斷感應(yīng)板移位情況,但它需要事先進(jìn)行標(biāo)定,而且容易受到列車(chē)擺動(dòng)的影響[15-16]。對(duì)于異物的檢測(cè),有學(xué)者利用傳統(tǒng)圖像處理和SVM支持向量機(jī)進(jìn)行分類(lèi)識(shí)別,但SVM屬于機(jī)器學(xué)習(xí)算法,和深度學(xué)習(xí)算法相比仍有提高空間[17]。
綜上所述,地鐵軌道缺陷巡檢系統(tǒng)仍需要選取更加先進(jìn)的檢測(cè)手段及數(shù)據(jù)分析技術(shù),保障列車(chē)運(yùn)營(yíng)安全,節(jié)約運(yùn)營(yíng)成本。因此,本文提出了一個(gè)功能完善,性能優(yōu)良的基于計(jì)算機(jī)視覺(jué)、深度學(xué)習(xí)的車(chē)載式地鐵軌道缺陷巡檢系統(tǒng),并對(duì)其關(guān)鍵技術(shù)進(jìn)行研究,提高了軌道線路巡檢效率和準(zhǔn)確率,為地鐵的安全行駛保駕護(hù)航。
1 系統(tǒng)構(gòu)成
本文所提出的車(chē)載式地鐵軌道缺陷巡檢系統(tǒng)結(jié)構(gòu)框圖如圖1所示,該系統(tǒng)主要由安裝在電客車(chē)底部的檢測(cè)梁、安裝在車(chē)輪軸頭上的速度傳感器、安裝在車(chē)內(nèi)客室座位下的檢測(cè)機(jī)柜、部署在云服務(wù)器上的檢測(cè)數(shù)據(jù)處理服務(wù)器程序和安裝在終端監(jiān)控計(jì)算機(jī)上的客戶端程序等組成。其中,檢測(cè)梁上安裝有高清成像組件、同步裝置以及電子標(biāo)簽讀卡器;車(chē)內(nèi)檢測(cè)機(jī)柜內(nèi)包括檢測(cè)主機(jī)、3G/4G無(wú)線模塊、移動(dòng)硬盤(pán)盒以及電源裝置等。
2 關(guān)鍵技術(shù)
車(chē)載式地鐵軌道缺陷巡檢系統(tǒng)識(shí)別判斷流程主要包括數(shù)據(jù)采集、缺陷檢測(cè)、缺陷識(shí)別以及數(shù)據(jù)存儲(chǔ)與上傳等。其中較為關(guān)鍵的技術(shù)包括:1、軌道缺陷檢測(cè),其包括了扣件檢測(cè)、軌枕檢測(cè)、異物檢測(cè)、鋼軌檢測(cè)、感應(yīng)板檢測(cè)五個(gè)檢測(cè)模塊以及缺陷檢測(cè)位置定位;2、在結(jié)合基于計(jì)算機(jī)視覺(jué)、深度學(xué)習(xí)算法,以及Tiny YOLOv3初次檢測(cè)識(shí)別的基礎(chǔ)上,改進(jìn)的YOLOv3二次檢測(cè)識(shí)別的目標(biāo)檢測(cè)算法實(shí)現(xiàn)毫秒級(jí)識(shí)別,識(shí)別效果較好;3、數(shù)據(jù)存儲(chǔ)于上傳。
2.1 軌道缺陷檢測(cè)
2.1.1 扣件檢測(cè)
在列車(chē)高速行駛時(shí),為了確保每個(gè)扣件被拍到,且具有高的識(shí)別率,對(duì)扣件檢測(cè)算法提出了嚴(yán)格的要求:通過(guò)實(shí)測(cè)得到兩個(gè)扣件之間距離為0.6m,列車(chē)按照最高時(shí)速120km/h考量,采用4路相機(jī)進(jìn)行扣件檢測(cè),從而計(jì)算得到每個(gè)扣件從采集、預(yù)處理到識(shí)別的整個(gè)過(guò)程要保證在4.5ms內(nèi)完成。
1、扣件訓(xùn)練
要訓(xùn)練得到好的模型,就必須保證樣本的均衡性以及網(wǎng)絡(luò)參數(shù)的調(diào)優(yōu)。在樣本均衡性方面,采用“誤識(shí)別再訓(xùn)練”的思路,先訓(xùn)練一個(gè)粗略模型識(shí)別,然后篩選出誤識(shí)別扣件,再?gòu)恼`識(shí)別扣件中隨機(jī)選取一部分進(jìn)行再訓(xùn)練。通過(guò)這樣不斷強(qiáng)化優(yōu)化訓(xùn)練,最終保證了訓(xùn)練庫(kù)樣本的均衡性和多樣性,實(shí)現(xiàn)了較好的識(shí)別效果??奂?xùn)練分為了6個(gè)類(lèi)別,編號(hào)0-5,分別對(duì)應(yīng)彈條正常、彈條松動(dòng)、彈條脫落、螺絲正常、螺絲松動(dòng)、螺絲脫落。采用此分類(lèi)方法一方面是由于扣件彈條與螺絲本身獨(dú)立性決定的,另一方面可以通過(guò)分開(kāi)識(shí)別判斷出彈條松動(dòng)的距離。
2、扣件識(shí)別
經(jīng)扣件檢測(cè)后,進(jìn)行扣件識(shí)別,扣件識(shí)別流程如圖2所示:輸入待識(shí)別圖片,經(jīng)過(guò)去噪、濾波等基本圖像預(yù)處理,然后再進(jìn)行圖片裁剪和歸一化;初始化深度神經(jīng)網(wǎng)絡(luò)配置網(wǎng)絡(luò)參數(shù)、加載網(wǎng)絡(luò)模型后,將歸一化后的圖片輸入到深度神經(jīng)網(wǎng)絡(luò)進(jìn)行矩陣計(jì)算,提取并匹配特征得到輸出,再利用NMS非極大值抑制結(jié)合閾值判定過(guò)濾掉錯(cuò)誤匹配,最后輸出最終結(jié)果。輸出結(jié)果包括每個(gè)彈條或者螺絲的位置坐標(biāo),及其對(duì)應(yīng)的狀態(tài)類(lèi)型(正常、松動(dòng)、脫落),如果彈條松動(dòng)還將返回松動(dòng)距離。
2.1.2 軌枕檢測(cè)
軌枕檢測(cè)主要檢測(cè)識(shí)別軌枕破裂和掉塊的情況。由于上一小節(jié)已經(jīng)能夠檢測(cè)到扣件,而軌枕區(qū)域位于扣件正下方,所以只需要裁剪出軌枕區(qū)域即可,對(duì)裁剪出的區(qū)域利用SVM支持向量機(jī)分類(lèi)器算法進(jìn)行訓(xùn)練,然后識(shí)別判斷。裁剪區(qū)域如圖3所示。
2.1.3 異物檢測(cè)
異物檢測(cè)模塊主要負(fù)責(zé)檢測(cè)出軌道兩側(cè)和內(nèi)部的非鐵軌相關(guān)的物體,比如維修工落下的螺絲刀、扳手,或者一些垃圾雜物等。
第一步:先利用傳統(tǒng)圖像識(shí)別算法,結(jié)合異物的邊緣和梯度信息初步篩選出疑似異物圖片,圖6(a)是包含異物扳手螺絲刀的原圖,經(jīng)過(guò)濾波和邊緣檢測(cè)后,再經(jīng)過(guò)形態(tài)學(xué)的閉運(yùn)算操作后,尋找連通域返回輪廓。
第二步:在第一步的基礎(chǔ)上雖然能識(shí)別出異物,但由于軌道外部環(huán)境復(fù)雜,導(dǎo)致了很多誤識(shí)別的情況。
2.1.4 鋼軌檢測(cè)
鋼軌檢測(cè)主要目的是檢測(cè)鋼軌表面的劃痕或者裂紋。傳統(tǒng)圖像處理識(shí)別采用與異物識(shí)別相同的思路,都是經(jīng)過(guò)濾波去噪、邊緣檢測(cè)、形態(tài)學(xué)的閉運(yùn)算操作、尋找連通域返回輪廓,再根據(jù)輪廓面積閾值過(guò)濾掉干擾區(qū)域進(jìn)行檢測(cè),圖4是經(jīng)誤檢過(guò)濾后的鋼軌表面劃痕或裂紋區(qū)域。
2.1.5 感應(yīng)板檢測(cè)
感應(yīng)板檢測(cè)模塊主要負(fù)責(zé)感應(yīng)板移位的檢測(cè)判定。直接方式較難識(shí)別,因?yàn)橐莆坏臉颖倦y采集,且能采集的樣本也很少,所以很難訓(xùn)練。通過(guò)觀察發(fā)現(xiàn)兩塊感應(yīng)板被扣件卡住,間隙位于扣件正中,因此可以對(duì)感應(yīng)板縫隙旁進(jìn)行劃線標(biāo)記,當(dāng)識(shí)別出“劃線”相對(duì)于扣件的位移時(shí),即識(shí)別出感應(yīng)板的位移。
2.1.6 缺陷檢測(cè)位置定位
軌道缺陷檢測(cè)結(jié)果的數(shù)據(jù)只有和缺陷在線路上的實(shí)際位置對(duì)應(yīng)起來(lái),才能有效地指導(dǎo)維修,系統(tǒng)包含了速度傳感器,軌枕感應(yīng)傳感器,同步觸發(fā)控制器,電子標(biāo)簽閱讀器和檢測(cè)主機(jī),結(jié)合多種信息進(jìn)行綜合定位判斷,以保證檢測(cè)位置測(cè)量的準(zhǔn)確性。
2.2 改進(jìn)的YOLOv3算法
對(duì)于高速車(chē)載的巡檢系統(tǒng),采用高性能的YOLOv3算法能很好滿足實(shí)時(shí)需求。
YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)中采用了大量的殘差網(wǎng)絡(luò),如圖5所示。它具有以下好處:網(wǎng)絡(luò)越深表達(dá)的特征越好,分類(lèi)和檢測(cè)效果都會(huì)提升。殘差中的1 x 1卷積,使用network in network網(wǎng)中網(wǎng)的想法大量減少了每次卷積的channel通道,一方面減少了參數(shù)量,另一方面減少了計(jì)算量。
同時(shí)YOLOv3一共輸出三種下采樣特征圖,尺寸分別為13*13,26*26,52*52。其中13*13特征圖對(duì)應(yīng)著大目標(biāo)的檢測(cè),26*26對(duì)應(yīng)著中目標(biāo)的檢測(cè),52*52對(duì)應(yīng)著小目標(biāo)的檢測(cè)。另外采用了K-means算法為每個(gè)尺度特征圖訓(xùn)練,得到3種先驗(yàn)框,讓其能更為準(zhǔn)確的預(yù)測(cè)目標(biāo)的坐標(biāo)框。
為了更好地滿足巡檢系統(tǒng)的需求,提出了6個(gè)尺度的密集多尺度預(yù)測(cè),下采樣的特征圖尺寸分別為:4*4,8*8,16*16,32*32,64*64,128*128。
其次改進(jìn)了多尺度先驗(yàn)框,因?yàn)樵綴OLOv3是基于coco數(shù)據(jù)80類(lèi)目標(biāo),經(jīng)過(guò)K-means聚類(lèi)算法得出3個(gè)尺度特征圖的9個(gè)先驗(yàn)框。為了進(jìn)一步更精準(zhǔn)地預(yù)測(cè)巡檢目標(biāo)的坐標(biāo)框,利用K-means聚類(lèi)算法訓(xùn)練了螺絲、彈條、軌枕的先驗(yàn)框,最后得到6個(gè)尺度特征圖,18個(gè)先驗(yàn)框。
2.3 數(shù)據(jù)存儲(chǔ)與上傳
系統(tǒng)將檢測(cè)出的缺陷信息和位置信息通過(guò)無(wú)線網(wǎng)絡(luò)實(shí)時(shí)發(fā)送至巡檢系統(tǒng)云服務(wù)器,利用云計(jì)算技術(shù)分析和處理檢測(cè)數(shù)據(jù),最后將軌道缺陷信息數(shù)據(jù)通過(guò)客戶端軟件存儲(chǔ)及上傳到電腦上實(shí)時(shí)顯示,實(shí)現(xiàn)缺陷圖片查看、對(duì)比、數(shù)據(jù)統(tǒng)計(jì)、分析、生成報(bào)表等功能。
1、用戶登錄
登錄界面如圖7所示,授權(quán)用戶可通過(guò)輸入用戶名和密碼登錄客戶端軟件系統(tǒng)。
2、主頁(yè)動(dòng)態(tài)
主頁(yè)動(dòng)態(tài)實(shí)時(shí)顯示最近的缺陷圖片、近期缺陷趨勢(shì)圖、缺陷數(shù)量統(tǒng)計(jì)、車(chē)輛位置信息、設(shè)備故障報(bào)警。
3、巡檢管理
巡檢管理可以對(duì)各種缺陷類(lèi)型圖片預(yù)覽查看??砂凑照军c(diǎn)區(qū)間、時(shí)間段、缺陷類(lèi)型分類(lèi)查看;可實(shí)現(xiàn)圖片的放大、縮小、缺陷詳細(xì)信息的展示;可顯示的圖片類(lèi)型有道岔圖片、焊縫圖片、扣件缺陷圖片、軌枕破損圖片、道床異物入侵圖片、鋼軌裂紋圖片、感應(yīng)板移位圖片。
4、統(tǒng)計(jì)分析
將大量的歷史數(shù)據(jù)進(jìn)行歸類(lèi)統(tǒng)籌生成報(bào)表預(yù)覽??梢越y(tǒng)計(jì)不同站點(diǎn)區(qū)間段、時(shí)間段的缺陷類(lèi)型數(shù)量、趨勢(shì)。預(yù)覽形式有曲線、柱狀圖、PDF文檔、報(bào)表。
3 系統(tǒng)驗(yàn)證核實(shí)
為了驗(yàn)證車(chē)載式地鐵軌道缺陷巡檢系統(tǒng)在線檢測(cè)的實(shí)際檢出率,于2018年11月22日晚將169170電客車(chē)行駛到廣州地鐵八號(hào)線,預(yù)先設(shè)置好缺陷,將列車(chē)通過(guò),對(duì)現(xiàn)場(chǎng)缺陷進(jìn)行檢測(cè),并隨后統(tǒng)計(jì)實(shí)際數(shù)據(jù)。
表1給出螺栓缺失的驗(yàn)證信息現(xiàn)場(chǎng)核對(duì)表,圖8和9給出了螺栓缺失缺陷檢出圖片和現(xiàn)場(chǎng)圖片的對(duì)比圖,驗(yàn)證了車(chē)載式地鐵軌道缺陷巡檢系統(tǒng)基于上述關(guān)鍵技術(shù)具有軌道缺陷檢測(cè)精確的優(yōu)點(diǎn)。
車(chē)載式地鐵軌道缺陷巡檢系統(tǒng)自11月在廣州地鐵八號(hào)線安裝以來(lái),每天能檢出彈條缺失、彈條松動(dòng)、螺栓缺失、道床異物缺陷等軌道缺陷,且檢測(cè)快、識(shí)別準(zhǔn),能夠及時(shí)地向相應(yīng)維修工班提供故障信息和故障位置,從而能及時(shí)處理地故障,保障地鐵的安全運(yùn)營(yíng)。
4 結(jié)論
本文提出的車(chē)載式地鐵軌道缺陷巡檢系統(tǒng)集成了扣件檢測(cè)、軌枕檢測(cè)、異物檢測(cè)、鋼軌檢測(cè)、感應(yīng)板檢測(cè)五個(gè)檢測(cè)模塊以及缺陷檢測(cè)位置定位,利用計(jì)算機(jī)視覺(jué)、深度學(xué)習(xí),結(jié)合目標(biāo)檢測(cè)算法實(shí)時(shí)采集軌道道床空間全斷面高清晰圖像、精確檢測(cè)列車(chē)運(yùn)行位置以及智能識(shí)別軌道缺陷,并將檢測(cè)數(shù)據(jù)通過(guò)客戶端軟件存儲(chǔ)及上傳到電腦實(shí)時(shí)顯示,方便工作人員監(jiān)視,及時(shí)處理故障。以廣州地鐵8號(hào)線為例,驗(yàn)證了本文所提出的車(chē)載式地鐵軌道缺陷巡檢系統(tǒng)具有檢測(cè)快、識(shí)別準(zhǔn),能夠及時(shí)地向相應(yīng)維修工班提供故障信息和故障位置,保障了地鐵運(yùn)營(yíng)安全,節(jié)約了地鐵運(yùn)營(yíng)成本。
參考文獻(xiàn)
[1] ?韓強(qiáng),任盛偉,戴鵬等.軌道狀態(tài)巡檢系統(tǒng)[J].鐵路技術(shù)創(chuàng)新,2012(01):48-50.
[2] ?胡春雄,布春明,李海峰.智能巡檢系統(tǒng)在線路運(yùn)行中的應(yīng)用[J].山西電力,2006(b10):29-30.
[3] ?趙澤霖.高速軌道電力巡檢系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].電子科技大學(xué),2015.
[4] ?黃海軍,張飛龍.淺談軌道巡檢系統(tǒng)在城市軌道交通的應(yīng)用[J].山東工業(yè)技術(shù),2017(22):119.
[5] ?韓強(qiáng),戴鵬,譚松等.車(chē)載軌道巡檢系統(tǒng)研制[J].鐵道建筑,2014(11):144-147.
[6] ?徐瑞梅.鐵軌缺陷自動(dòng)檢測(cè)系統(tǒng)的研究[D].大連海事大學(xué),2003.
[7] ?譚偉.基于圖像的鐵軌缺陷檢測(cè)系統(tǒng)的算法研究及軟件設(shè)計(jì)[D].大連海事大學(xué),2004.
[8] ?許貴陽(yáng),史天運(yùn),任盛偉等.基于計(jì)算機(jī)視覺(jué)的車(chē)載軌道巡檢系統(tǒng)研制[J].中國(guó)鐵道科學(xué),2013,34(01):139-144.
[9] ?王留軍,張鷹.基于機(jī)器視覺(jué)的車(chē)載式鐵路軌道智能巡檢系統(tǒng)研究[J].成都信息工程大學(xué)學(xué)報(bào),2016,31(02):185-189.
[10] ?徐磊,陳憲麥,徐偉昌等.小波能量譜在鐵路軌道檢測(cè)中的應(yīng)用[J].振動(dòng)工程學(xué)報(bào),2014,27(04):605-612.
[11] ?顧桂梅,劉麗,賈文晶.一種鋼軌裂紋紅外圖像處理算法研究[J].鐵道學(xué)報(bào),2018,40(11):129-133.
[12] ?杜晨琛,劉文波,陳旺才.多傳感器特征決策融合的鋼軌裂紋識(shí)別方法[J].電子測(cè)量技術(shù),2017,40(11):157-160.
[13] ?李志,陳建政.基于圖像處理的鐵路軌枕分割方法研究[J].科技創(chuàng)新與應(yīng)用,2015(11):10-11.
[14] ?雷華堂.基于粗糙神經(jīng)網(wǎng)絡(luò)的軌枕缺陷檢測(cè)研究[D].西南交通大學(xué),2011.
[15] ?崔言坤.感應(yīng)板檢測(cè)系統(tǒng)的研究[D].北京交通大學(xué),2009.
[16] ?劉素云.廣州軌道交通四號(hào)線直線電機(jī)車(chē)輛段感應(yīng)板安裝技術(shù)[J].鐵道建筑技術(shù),2006(06):34-37.
[17] ?同磊.基于機(jī)器視覺(jué)的軌道交通線路異物檢測(cè)技術(shù)研究[D].北京交通大學(xué),2012.