齊冬蓮 錢佳瑩 閆云鳳 曾曉紅
①(浙江大學(xué) 杭州 310027)
②(西南交通大學(xué) 成都 611756)
接觸網(wǎng)是一種向電力機(jī)車供電的特殊形式輸電線路,其中接觸懸掛裝置是保證接觸網(wǎng)安全供電的重要組成。在鏈型懸掛接觸網(wǎng)中,接觸懸掛裝置主要由接觸線、吊弦整體、承力索、定位裝置以及其他連接零件構(gòu)成。對(duì)接觸網(wǎng)供電具有重要保障且大量存在的吊弦,其日常檢修[1]必不可少,檢修工作繁重復(fù)雜,耗費(fèi)大量人力、物力資源。
近年來,隨著中國鐵路的迅速擴(kuò)張,繁瑣復(fù)雜的接觸網(wǎng)懸掛系統(tǒng)巡檢工作由巡檢車輛完成。巡檢車輛沿巡檢路線行駛時(shí),位于巡檢車頂部的相機(jī)以固定拍攝角對(duì)線路上的吊弦進(jìn)行觸發(fā)拍攝。
目前,在巡檢中獲取的大量高清圖像,是通過鐵路工作人員逐張察看來判斷吊弦受力情況,并根據(jù)排查結(jié)果對(duì)非正常受力吊弦進(jìn)行更換,以確保接觸網(wǎng)的正常供電。人工察看的方式存在以下問題:(1)需在巡檢車獲取圖像后進(jìn)行,也就意味著圖像的獲取和非正常受力吊弦的確定之間存在一定的時(shí)間延遲;(2)1次巡檢獲取的圖像數(shù)量約3×104–105張,需要大量的人員和時(shí)間完成察圖工作;(3)吊弦僅占接觸網(wǎng)圖像的1/10~1/4,工作人員在快速察看過程中很可能因?yàn)榻?jīng)驗(yàn)不足造成對(duì)吊弦狀態(tài)不準(zhǔn)確的判斷。因此,本文旨在設(shè)計(jì)一種吊弦狀態(tài)高精度定位與識(shí)別的自動(dòng)巡檢算法,來代替人工察圖的巡檢方式。
與此同時(shí),卷積神經(jīng)網(wǎng)絡(luò)為圖像特征的快速提取提供了有效途徑,現(xiàn)有的目標(biāo)檢測算法在準(zhǔn)確率和檢測速度上都取得了良好的效果[2]。目前主流的目標(biāo)檢測算法主要分為基于錨點(diǎn)的定位算法和無錨點(diǎn)的定位算法[3,4]。相比較而言,后者去除了對(duì)冗余先驗(yàn)框的篩選過程,但同時(shí)由于失去先驗(yàn)框的約束在訓(xùn)練過程中容易造成訓(xùn)練網(wǎng)絡(luò)不穩(wěn)定。為此,工業(yè)界的檢測定位算法仍以優(yōu)先選擇基于錨點(diǎn)的定位算法為主。
基于錨點(diǎn)的定位算法根據(jù)檢測階段可分為1階段的R-CNN系列[5–8]以及2階段的YOLO系列[9–11]和SSD[12,13]系列。文獻(xiàn)[14]采用Faster RCNN網(wǎng)絡(luò)對(duì)接觸網(wǎng)承力索底座部件進(jìn)行定位,并對(duì)定位區(qū)域內(nèi)的圖像特點(diǎn)通過Radon和Beamlet變換等處理后完成后續(xù)裂紋區(qū)域定位和裂紋故障診斷;文獻(xiàn)[15]在SSD網(wǎng)絡(luò)模型的基礎(chǔ)上,對(duì)先驗(yàn)框加入第5個(gè)角度參數(shù),訓(xùn)練過程中同時(shí)完成定位框的中心點(diǎn)、長寬及旋轉(zhuǎn)角度的預(yù)測,從而實(shí)現(xiàn)對(duì)絕緣子的定向檢測??傮w來說,1階段錨點(diǎn)定位算法在準(zhǔn)確度上精于2階段方法,而2階段方法則在檢測速度上優(yōu)于1階段方法。兩種算法有各自的優(yōu)勢,但均難以兼顧檢測準(zhǔn)確度和檢測速度。
文獻(xiàn)[16]對(duì)電氣化鐵路中絕緣子的故障診斷采用傳統(tǒng)的特征匹配算法進(jìn)行預(yù)處理,并根據(jù)圖像灰度特征進(jìn)行不良狀態(tài)的識(shí)別;文獻(xiàn)[17]采用深度學(xué)習(xí)中分割的思想,對(duì)接觸網(wǎng)開口銷的兩個(gè)部分實(shí)現(xiàn)分割處理,再通過傳統(tǒng)的區(qū)域連通匹配算法檢測開口銷狀態(tài)。由此可見,傳統(tǒng)算法同樣可以實(shí)現(xiàn)檢測定位與識(shí)別,但其魯棒性易受背景像素、無關(guān)像素的特征干擾,對(duì)圖像質(zhì)量有較高要求?;谏疃葘W(xué)習(xí)的圖像處理方法憑借其龐大的訓(xùn)練數(shù)據(jù)量和可調(diào)參數(shù),可減少傳統(tǒng)算法對(duì)圖像質(zhì)量的高依賴性;同時(shí)傳統(tǒng)的圖像處理算法可為深度學(xué)習(xí)網(wǎng)絡(luò)提供較為歸一化的訓(xùn)練數(shù)據(jù)。
本文充分利用傳統(tǒng)算法對(duì)圖像的歸一化能力和深度學(xué)習(xí)對(duì)圖像特征提取的高效性、準(zhǔn)確性,提出了一種基于RefineDet網(wǎng)絡(luò)和霍夫變換的吊弦定位與識(shí)別方法。在RefineDet檢測網(wǎng)絡(luò)[18]定位到吊弦整體結(jié)構(gòu)的基礎(chǔ)上,采用霍夫變換對(duì)吊弦中部吊懸線區(qū)域進(jìn)行提取,訓(xùn)練該區(qū)域特征得到高效、高準(zhǔn)確率的吊弦狀態(tài)檢測模型,并通過實(shí)驗(yàn)研究驗(yàn)證了所提方法的有效性。
對(duì)吊弦的整體定位采用具有粗調(diào)、精調(diào)模塊的RefineDet檢測網(wǎng)絡(luò)來完成,其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示:輸入的接觸網(wǎng)圖像完成特征提取后送入錨點(diǎn)調(diào)整模塊(Anchor Refinement Module, ARM);由錨點(diǎn)調(diào)整模塊完成對(duì)4層特征圖上輸出的先驗(yàn)錨點(diǎn)框前景篩選和坐標(biāo)調(diào)整,獲得一批精錨候選框;錨點(diǎn)調(diào)整模塊中不同尺度的特征圖經(jīng)由傳輸連接模塊(Transfer Connection Block, TCB)完成轉(zhuǎn)換,得到新的4層特征圖;最后,由目標(biāo)檢測模塊(Object Detection Module, ODM)在新的特征圖上完成對(duì)精錨候選框的吊弦類別篩選和坐標(biāo)調(diào)整。
圖1 吊弦檢測定位網(wǎng)絡(luò)結(jié)構(gòu)
RefineDet檢測網(wǎng)絡(luò)特征提取部分采用VGG16網(wǎng)絡(luò)[2]進(jìn)行,即對(duì)輸入網(wǎng)絡(luò)的接觸網(wǎng)圖像進(jìn)行卷積、ReLU線性變換及池化操作等[19]。傳輸連接模塊將錨點(diǎn)調(diào)整模塊中用到的前后背景特征圖信息轉(zhuǎn)換為目標(biāo)檢測模塊中需要的吊弦類別特征信息,具體是對(duì)原特征圖進(jìn)行特征再提取,并通過反卷積操作將高維特征與低維特征相融合,借助類似于FPN結(jié)構(gòu)[20]實(shí)現(xiàn)不同尺度特征圖之間的信息融合,最終通過卷積操作整合獲得新的特征圖。
在訓(xùn)練過程中,RefineDet檢測網(wǎng)絡(luò)通過計(jì)算損失函數(shù)數(shù)值并反向傳播來更新網(wǎng)絡(luò)參數(shù),學(xué)習(xí)得到最優(yōu)的網(wǎng)絡(luò)模型。檢測網(wǎng)絡(luò)整體損失函數(shù)包含錨點(diǎn)調(diào)整模塊損失函數(shù)Larm和目標(biāo)檢測模塊損失函數(shù)Lodm。
錨點(diǎn)調(diào)整模塊損失Larm表示錨點(diǎn)框是否屬于前景錨點(diǎn)框及其與對(duì)應(yīng)真實(shí)框間的回歸距離,具體表示為
其中,Lb為前后背景篩選二分類損失函數(shù),Lr為定位框回歸損失函數(shù)。Narm為錨點(diǎn)調(diào)整模塊中包含吊弦的錨點(diǎn)框數(shù)量。pi為第i個(gè)錨點(diǎn)框?qū)儆谇熬暗念A(yù)測概率值,xi為錨點(diǎn)調(diào)整模塊對(duì)第i個(gè)錨點(diǎn)框的頂點(diǎn)坐標(biāo)預(yù)測調(diào)整值,gi*為第i個(gè)錨點(diǎn)框所對(duì)應(yīng)的真實(shí)頂點(diǎn)坐標(biāo)調(diào)整值;li*為第i個(gè)錨點(diǎn)框?qū)儆谇昂蟊尘暗恼鎸?shí)標(biāo)簽,當(dāng)且僅當(dāng)該錨點(diǎn)框與真實(shí)定位框的重疊面積達(dá)75%以上時(shí),[li*≥1]輸出為1,否則輸出為0。根據(jù)錨點(diǎn)調(diào)整模塊損失函數(shù)可以看出,該模塊主要針對(duì)定義為“前景”的錨點(diǎn)框進(jìn)行損失函數(shù)值的計(jì)算,而忽略了大量“背景”錨點(diǎn)框的預(yù)測偏差值。
目標(biāo)檢測模塊損失Lodm表示錨點(diǎn)框是否屬于某類目標(biāo)框及其與對(duì)應(yīng)目標(biāo)框的回歸距離,具體表示為
其中,Lm為吊弦類別的多分類損失,Nodm為目標(biāo)檢測模塊中包含吊弦的候選框數(shù)量,ci為目標(biāo)調(diào)整模塊中第i個(gè)候選框的吊弦類別預(yù)測標(biāo)簽,ti為目標(biāo)模塊對(duì)第i個(gè)候選框的頂點(diǎn)坐標(biāo)預(yù)測調(diào)整值??梢钥吹?,在目標(biāo)檢測損失函數(shù)中,定位框回歸損失的計(jì)算只針對(duì)包含吊弦的候選框進(jìn)行。
錨點(diǎn)調(diào)整模塊和目標(biāo)檢測模塊的共同存在使RefineDet網(wǎng)絡(luò)在各個(gè)數(shù)據(jù)集上的檢測準(zhǔn)確率高于1階段檢測網(wǎng)絡(luò),甚至高于大部分2階段檢測網(wǎng)絡(luò);而兩個(gè)模塊的平行級(jí)聯(lián)回歸使檢測速度大大提升,遠(yuǎn)高于串聯(lián)回歸的二階段檢測網(wǎng)絡(luò)。檢測準(zhǔn)確率和速度的平衡使RefineDet網(wǎng)絡(luò)在眾多目標(biāo)檢測網(wǎng)絡(luò)中脫穎而出。另外,該網(wǎng)絡(luò)在不同尺度的特征圖上進(jìn)行目標(biāo)物特征提取,對(duì)于目標(biāo)物大小具有廣泛適應(yīng)性,可以滿足接觸網(wǎng)圖像中吊弦占比不定的情況。
吊弦檢測定位網(wǎng)絡(luò)針對(duì)吊弦整體進(jìn)行定位,包含吊弦上下線夾以及中部吊懸線,而吊弦狀態(tài)主要受中部吊懸線影響。圖2為EgretⅠ智能3D相機(jī)實(shí)際拍攝的圖像(6250像素×5580像素),吊弦上下端依靠線夾分別固定在承力索和接觸線上,線夾之間即為吊弦中部吊懸線:對(duì)于正常受力的吊弦,其中部吊懸線恰為筆直的拉伸狀態(tài),如圖2(a)所示;當(dāng)?shù)跸覟榉钦J芰r(shí),吊懸線會(huì)出現(xiàn)彎曲現(xiàn)象,如圖2(b)所示。鐵路工作人員將“彎曲”吊弦進(jìn)行更替,以全面保證接觸網(wǎng)的正常供電。本文方法同樣以此巡檢經(jīng)驗(yàn)為依據(jù),定義吊懸線“筆直”代表吊弦“正常受力”,無需更換;出現(xiàn)“彎曲”代表吊弦“非正常受力”,需要馬上更換。
圖2 EgretⅠ智能3D相機(jī)實(shí)際拍攝的接觸網(wǎng)圖像
由于實(shí)際拍攝時(shí)有兩個(gè)固定拍攝角,接觸網(wǎng)圖像中吊弦在定位框中的位置、朝向并不確定,需要利用霍夫變換對(duì)定位框中的吊懸線區(qū)域進(jìn)行鎖定。
基于霍夫變換的吊懸線檢測算法如表1所示。
表1 基于霍夫變換的吊懸線檢測算法偽代碼
其中,himage, wimage分別為RefineDet檢測定位網(wǎng)絡(luò)輸出圖像的長和寬;θstep, γstep分別為角度步長和長度步長;θmax, γmax分別為角度和長度的最大值。
由于霍夫變換是基于邊緣圖像進(jìn)行檢測,吊懸線受到其他線段干擾或者處于彎曲狀態(tài)時(shí),其邊緣圖像上同一直線的像素點(diǎn)少于其他線段,如圖3(b)所示。霍夫變換檢測結(jié)果顯示,圖3(c)中交叉線共線點(diǎn)數(shù)為154,長度為218.6;圖3(d)中吊懸線共線點(diǎn)數(shù)為150,長度為432.7。因此,通過篩選霍夫變換檢測到的所有線段中長度最長的線段即可獲得吊懸線線段。
圖3 霍夫直線點(diǎn)數(shù)與長度對(duì)比圖
由霍夫變換中最長的線段確定吊懸線兩個(gè)端點(diǎn)坐標(biāo)M(x1, y1), N(x2, y2)以及其長度lline。以垂直線作為法線,吊懸線與法線的傾斜角度α為
其中,取向法線右側(cè)傾斜的α為正。若存在吊懸線處于垂直位,即x1=x2,則對(duì)垂直吊懸線區(qū)域進(jìn)行直接裁剪。
根據(jù)吊弦結(jié)構(gòu)的特征,吊懸線由多根股線纏繞成1根線段,以較窄的寬度即可覆蓋一根線段的區(qū)域,因此,裁剪吊懸線周圍區(qū)域的矩形寬度設(shè)為20像素;考慮到檢測到的吊懸線長度覆蓋了吊弦上下線夾,以拍攝到的線夾占吊弦整體的比例來設(shè)置矩形長度,為0.6倍的吊懸線長度。吊懸線周圍矩形區(qū)域示意圖如圖4所示。
圖4 吊懸線周圍矩形區(qū)域示意圖
吊懸線矩形區(qū)域在旋轉(zhuǎn)α角前的4個(gè)頂點(diǎn)坐標(biāo)矩陣為
其中,wrec表示吊懸線區(qū)域的矩形寬度,hrec表示吊懸線區(qū)域的矩形長度;cx表示吊懸線區(qū)域的矩形中心點(diǎn)橫坐標(biāo),cy為縱坐標(biāo),可由端點(diǎn)坐標(biāo)M(x1,y1), N(x2, y2)得到
根據(jù)傾斜角α得到旋轉(zhuǎn)矩陣R(α)
吊懸線矩形區(qū)域旋轉(zhuǎn)后的頂點(diǎn)坐標(biāo)矩陣為
利用霍夫變換對(duì)吊懸線周圍矩形區(qū)域進(jìn)行提取的流程如圖5所示。
圖5 吊懸線周圍矩形區(qū)域提取流程圖
經(jīng)霍夫變換提取的吊懸線區(qū)域需送入分類網(wǎng)絡(luò)進(jìn)行吊弦狀態(tài)分析。
首先,將旋轉(zhuǎn)裁剪后wrec×hrec大小的吊懸線統(tǒng)一到100像素×200像素,縮小長寬比同時(shí)對(duì)該區(qū)域內(nèi)的異常部分進(jìn)行放大。其次,將統(tǒng)一尺寸的訓(xùn)練集圖片送入ResNet分類網(wǎng)絡(luò)進(jìn)行訓(xùn)練。ResNet網(wǎng)絡(luò)借助殘差映射模塊[21],將輸入網(wǎng)絡(luò)的原始信息更好地保留到卷積神經(jīng)網(wǎng)絡(luò)深層結(jié)構(gòu)中,避免了因?qū)訑?shù)過多而造成信息丟失。根據(jù)吊懸線區(qū)域內(nèi)“簡單直線”的信息內(nèi)容,本文選擇ResNet18網(wǎng)絡(luò)作為吊弦狀態(tài)分類網(wǎng)絡(luò)。假設(shè)輸入圖像像素為P×Q,ResNet18網(wǎng)絡(luò)具體結(jié)構(gòu)如表2所示。
表2 ResNet18網(wǎng)絡(luò)結(jié)構(gòu)
ResNet18網(wǎng)絡(luò)最后由全連接層完成平均池化,網(wǎng)絡(luò)維度降到1×1×1000維,將其轉(zhuǎn)換成對(duì)應(yīng)類別數(shù)目后由Softmax函數(shù)Fs輸出類別概率
其中,x為分類網(wǎng)絡(luò)1×C的輸出值。Softmax函數(shù)將網(wǎng)絡(luò)輸出x轉(zhuǎn)成數(shù)值在0-1之間的類別概率,并保證一張圖的C維類別概率總和為1。
本文中ResNet18分類網(wǎng)絡(luò)針對(duì)吊弦形態(tài)完成正常受力狀態(tài)和不受力異常狀態(tài)這兩類分析,即網(wǎng)絡(luò)最終輸出的1×2維分別代表受力和不受力的預(yù)測概率值,取概率值較大的一類作為該區(qū)域吊弦的狀態(tài)分析結(jié)果。
訓(xùn)練過程中,依次對(duì)訓(xùn)練集中的接觸網(wǎng)圖像進(jìn)行吊弦狀態(tài)分析,給出預(yù)測的分類結(jié)果和對(duì)應(yīng)的概率值。預(yù)測結(jié)果與真實(shí)結(jié)果之間采用分類損失函數(shù)來衡量類別、概率預(yù)測誤差,通過反向傳播重新更新分類網(wǎng)絡(luò)參數(shù),使網(wǎng)絡(luò)參數(shù)逐漸找到最優(yōu)解。
在實(shí)際的訓(xùn)練集數(shù)據(jù)中,吊弦處于受力狀態(tài)的圖像遠(yuǎn)少于不受力狀態(tài),在網(wǎng)絡(luò)模型中采用不同的權(quán)重系數(shù)以平衡兩種類別的數(shù)量差異。這里對(duì)吊弦受力狀態(tài)的權(quán)重設(shè)為1.0,不受力狀態(tài)的權(quán)重設(shè)為1.2。分類網(wǎng)絡(luò)在訓(xùn)練過程中的交叉熵?fù)p失函數(shù)為
其中,x為網(wǎng)絡(luò)輸出的1×2維預(yù)測概率值,c為所屬的真實(shí)類別,wc為第c類對(duì)應(yīng)的損失權(quán)重。
實(shí)驗(yàn)所用服務(wù)器為Intel Xeon E5 2683v3, 4個(gè)Nvidia Titan X(Pascal)GPU和4個(gè)DDR4 RAM模塊,總?cè)萘繛?2.78162 GB;操作系統(tǒng)為Ubuntu 16.04。
考慮到接觸網(wǎng)圖像(6250像素×5580像素)過大造成讀取圖像時(shí)占用顯存過多、速度慢,因此,輸入檢測定位網(wǎng)絡(luò)圖像為0.4倍縮放后的原始圖像,大小為2500像素×2232像素。
輸入分類網(wǎng)絡(luò)的圖像在實(shí)驗(yàn)1、實(shí)驗(yàn)2中為檢測定位模型的輸出定位框,由于輸出定位框會(huì)因吊弦占原始圖像的比例不同而尺寸不同,因此,按照吊弦的長寬比對(duì)輸出定位框進(jìn)行長寬標(biāo)準(zhǔn)化,得到統(tǒng)一的定位框大小為150像素×450像素;輸入分類網(wǎng)絡(luò)的圖像在實(shí)驗(yàn)3中為霍夫變換得到的吊懸線區(qū)域,由于吊懸線長度不同導(dǎo)致吊懸線提取區(qū)域尺寸不一,因此,將該區(qū)域標(biāo)準(zhǔn)化為100像素×200像素。對(duì)定位框和吊懸線區(qū)域進(jìn)行尺寸標(biāo)準(zhǔn)化并不會(huì)改變吊弦在拍攝圖像中的狀態(tài)。吊弦檢測定位及狀態(tài)分析數(shù)據(jù)集如表3所示。
表3 吊弦檢測定位及狀態(tài)分析數(shù)據(jù)集
其中德系吊弦具體包括可調(diào)整體吊弦(TJB0103A)、壓接型整體吊弦(TJB0103);日系吊弦包括剛性整體吊弦。
檢測定位網(wǎng)絡(luò)輸入圖像像素大、數(shù)量多,訓(xùn)練占用4張顯卡;狀態(tài)分析網(wǎng)絡(luò)輸入圖像為裁剪后圖片,遠(yuǎn)小于檢測定位網(wǎng)絡(luò)的輸入圖像,訓(xùn)練僅占兩張顯卡。網(wǎng)絡(luò)訓(xùn)練的具體參數(shù)如表4所示。
表4 兩個(gè)網(wǎng)絡(luò)訓(xùn)練參數(shù)
吊弦檢測定位結(jié)果如圖6所示。其中圖6(a),(d), (e), (f)為德系-壓接型整體吊弦定位圖,上下線夾均為由吊懸線構(gòu)成的載流環(huán);圖6(b)為德系-可調(diào)整體吊弦,上線夾處吊懸線自然垂掛、沒有形成載流環(huán),下線夾處是由吊懸線構(gòu)成的載流環(huán);圖6(c)為日系-剛性整體吊弦,上線夾處為保護(hù)罩和預(yù)制環(huán),下線夾為螺釘螺母結(jié)構(gòu)??梢钥闯觯瑑深惖孪档跸揖哂邢嗨戚d流環(huán)結(jié)構(gòu),日系吊弦與德系吊弦不盡相同;且德系吊弦由于載流環(huán)受拍攝角度影響,表現(xiàn)出明顯或不明顯的環(huán)狀。圖像中存在多根吊弦時(shí),如圖6(d)所示,檢測定位網(wǎng)絡(luò)僅對(duì)完整吊弦進(jìn)行定位。
圖6 吊弦檢測定位網(wǎng)絡(luò)結(jié)果
檢測定位網(wǎng)絡(luò)結(jié)果準(zhǔn)確率如表5所示。
表5 RefineDet吊弦檢測模型定位結(jié)果
根據(jù)鐵路線路列車行駛計(jì)劃,一般在18:00至凌晨5:00安排巡檢任務(wù)。鐵路沿線大多露天,部分線路包含隧道,因此,拍攝背景大多為黑色天空。對(duì)于處在露天環(huán)境中的吊弦,其區(qū)域平均亮度值高于背景區(qū)域,如圖6(a)–圖6(c)所示;對(duì)于處在隧道環(huán)境中的吊弦,其區(qū)域平均亮度值低于背景區(qū)域,如圖6(d)所示。當(dāng)拍攝過程曝光不足時(shí),網(wǎng)絡(luò)可以完成暗處吊弦定位,如圖6(f)所示。
為驗(yàn)證RefineDet網(wǎng)絡(luò)在吊弦定位上的有效性,本文采用常見的檢測網(wǎng)絡(luò)在吊弦數(shù)據(jù)集上進(jìn)行訓(xùn)練,得到網(wǎng)絡(luò)模型定位結(jié)果如表6所示??梢钥闯觯琑efineDet網(wǎng)絡(luò)在測試集上表現(xiàn)最優(yōu),達(dá)到最高的準(zhǔn)確率,召回率遠(yuǎn)高于CenterNet網(wǎng)絡(luò)和YOLOv3網(wǎng)絡(luò),其檢測速度和YOLOv3網(wǎng)絡(luò)持平。
表6 不同網(wǎng)絡(luò)模型在吊弦數(shù)據(jù)集上的定位結(jié)果
吊弦狀態(tài)分類實(shí)驗(yàn)主要完成3個(gè)對(duì)比實(shí)驗(yàn)。
實(shí)驗(yàn)1 將檢測定位模型獲得的吊弦定位結(jié)果統(tǒng)一調(diào)整到150像素×450像素,直接送入ResNet18網(wǎng)絡(luò)進(jìn)行分類訓(xùn)練。
實(shí)驗(yàn)2 在檢測定位模型的結(jié)果上,先對(duì)不同批次圖像進(jìn)行灰度值平衡,再送入ResNet18網(wǎng)絡(luò)進(jìn)行分類訓(xùn)練?;叶戎灯胶饩唧w步驟如下:對(duì)RGB圖像進(jìn)行灰度處理,將平均灰度值小于30的圖像,各像素點(diǎn)均提高30的灰度值;將平均灰度值大于150的圖像進(jìn)行灰度值反轉(zhuǎn)。實(shí)驗(yàn)2較實(shí)驗(yàn)1增加了灰度差異處理,以提高分類模型的抗噪聲能力。
實(shí)驗(yàn)3 在灰度值平衡的圖像上,采用霍夫直線變換提取吊懸線區(qū)域,如圖7所示,將該結(jié)果統(tǒng)一調(diào)整到100像素×200像素后,送入ResNet18網(wǎng)絡(luò)進(jìn)行分類訓(xùn)練。實(shí)驗(yàn)3較實(shí)驗(yàn)2增加了關(guān)鍵區(qū)域提取,排除線夾對(duì)分類的影響,以提高分類網(wǎng)絡(luò)的準(zhǔn)確率。提取區(qū)域的尺寸統(tǒng)一調(diào)整對(duì)筆直吊弦無影響,會(huì)放大吊弦的彎曲部分。在狀態(tài)分類數(shù)據(jù)集中,有3張圖像直接得到彎曲的判別結(jié)果,無需進(jìn)入分類網(wǎng)絡(luò)。
圖7 吊懸線區(qū)域提取
3個(gè)實(shí)驗(yàn)在訓(xùn)練過程中的損失函數(shù)變化如圖8所示,測試結(jié)果如表7所示。從實(shí)驗(yàn)1和實(shí)驗(yàn)2訓(xùn)練過程對(duì)比分析可以看出,圖像灰度值差異會(huì)造成訓(xùn)練過程中損失函數(shù)的突增,平衡灰度差異后可以提高訓(xùn)練收斂的速度、降低損失函數(shù)數(shù)值及突增幅度。實(shí)驗(yàn)2所得模型相對(duì)實(shí)驗(yàn)1所得模型在測試集上的表現(xiàn)為,非正常受力準(zhǔn)確率提升了2.5%,正常受力的準(zhǔn)確率基本持平。
圖8 3個(gè)實(shí)驗(yàn)訓(xùn)練過程損失函數(shù)變化
表7 3個(gè)實(shí)驗(yàn)測試集結(jié)果對(duì)比
從實(shí)驗(yàn)2和實(shí)驗(yàn)3訓(xùn)練過程對(duì)比分析可以看出,實(shí)驗(yàn)3的訓(xùn)練過程沒有出現(xiàn)損失函數(shù)反復(fù)現(xiàn)象,且訓(xùn)練收斂速度有明顯提升、訓(xùn)練達(dá)到收斂時(shí)損失函數(shù)數(shù)值明顯低于實(shí)驗(yàn)2,這意味著分類網(wǎng)絡(luò)會(huì)受線夾影響,排除線夾后,分類模型的速度、準(zhǔn)確率均有顯著提高。實(shí)驗(yàn)3所得模型相對(duì)實(shí)驗(yàn)2所得模型在測試集上的表現(xiàn)為,非正常受力準(zhǔn)確率提升了6.25%,正常受力準(zhǔn)確率提升了0.67%。
在相同的網(wǎng)絡(luò)結(jié)構(gòu)、初始化權(quán)重值以及相同學(xué)習(xí)率、單次訓(xùn)練樣本數(shù)量、Epoch的情況下,本文采用的灰度差異處理以及霍夫變換處理方法,可有效提升分類網(wǎng)絡(luò)的訓(xùn)練效率和分類模型的準(zhǔn)確率。
鐵路沿線環(huán)境較為空曠,吊弦拍攝角度為仰拍,接觸網(wǎng)圖像背景中幾乎沒有其他物體,背景產(chǎn)生的干擾內(nèi)容主要來自隧道環(huán)境和非吊弦連接件。表5的實(shí)驗(yàn)結(jié)果顯示,存在背景干擾的情況下,吊弦定位準(zhǔn)確率良好,背景干擾對(duì)RefineDet檢測網(wǎng)絡(luò)沒有明顯影響。
在吊弦狀態(tài)分析網(wǎng)絡(luò)中,背景干擾來自線夾和少量背景,圖9給出狀態(tài)分析網(wǎng)絡(luò)在定位圖、經(jīng)霍夫變換后的響應(yīng)圖。吊弦狀態(tài)分析網(wǎng)絡(luò)應(yīng)依據(jù)吊懸線區(qū)域做出判斷,反映為熱力響應(yīng)圖的紅色區(qū)域。圖9(a)中分類網(wǎng)絡(luò)對(duì)檢測定位結(jié)果圖的上、下線夾產(chǎn)生響應(yīng),圖9(b)則對(duì)上線夾產(chǎn)生響應(yīng),均為錯(cuò)誤響應(yīng)??梢钥吹?,本文所提算法保證了熱力響應(yīng)僅出現(xiàn)在吊懸線部分,大大提高了分類網(wǎng)絡(luò)對(duì)抗背景干擾的能力。
圖9 吊弦狀態(tài)分析熱力響應(yīng)圖
本數(shù)據(jù)集中吊弦圖像的噪聲干擾主要源于不同拍攝環(huán)境下的亮度差異。通過對(duì)圖像進(jìn)行的灰度差異處理,達(dá)到平衡圖像灰度的目的。表7中實(shí)驗(yàn)2的測試結(jié)果優(yōu)于實(shí)驗(yàn)1,說明灰度差異處理可以提高模型的抗噪能力。
此外,由于本數(shù)據(jù)集中接觸網(wǎng)圖像均為夜晚拍攝圖片,暫不考慮光照對(duì)本算法的影響。
本文在檢測定位的基礎(chǔ)上,利用霍夫變換對(duì)吊弦中部吊懸線區(qū)域進(jìn)行提取,為后續(xù)狀態(tài)分析網(wǎng)絡(luò)排除無效像素的干擾,提高了整體的吊弦檢測、分析模型的準(zhǔn)確率。具體包括:
(1)采用RefineDet檢測網(wǎng)絡(luò)對(duì)接觸網(wǎng)圖像中的吊弦部件進(jìn)行定位,設(shè)計(jì)了粗調(diào)和精調(diào)模塊,既保證了檢測速度,也提高了定位準(zhǔn)確率;
(2)結(jié)合傳統(tǒng)霍夫變換算法和深度學(xué)習(xí)分類網(wǎng)絡(luò),提高了算法魯棒性,同時(shí)去除對(duì)吊弦狀態(tài)分析無益的像素區(qū)域;
(3)多尺度吊弦狀態(tài)檢測模型的建立,有效提高了算法的收斂速度和準(zhǔn)確率。
本文算法已在杭州南-千島湖路段上進(jìn)行了現(xiàn)場試驗(yàn),進(jìn)一步驗(yàn)證了本文所提算法的有效性。但是,由于吊弦異常狀態(tài)圖像較少,狀態(tài)分析網(wǎng)絡(luò)僅能完成兩種狀態(tài)下的吊弦分析,接觸網(wǎng)吊弦的其他異常狀態(tài)分析將是今后主要的研究方向。