周 雯，史天運(yùn)，李 平，馬小寧，吳艷華

（1.中國鐵道科學(xué)研究院 研究生部，北京 100081；2.中國鐵道科學(xué)研究院集團(tuán)有限公司，北京 100081；3.中國鐵道科學(xué)研究院集團(tuán)有限公司 電子計(jì)算技術(shù)研究所，北京 100081）

接觸網(wǎng)作為高鐵牽引供電系統(tǒng)的重要組成部分，是高鐵動(dòng)車組動(dòng)力的主要來源，其服役可靠性是高鐵正常運(yùn)營的重要基礎(chǔ)。隨著動(dòng)車組提速和開行數(shù)量的增加，接觸網(wǎng)運(yùn)行環(huán)境變得更加復(fù)雜，因關(guān)鍵零部件缺陷而導(dǎo)致的接觸網(wǎng)故障時(shí)有發(fā)生［1-2］。接觸網(wǎng)懸掛狀態(tài)檢測監(jiān)測裝置安裝在高速鐵路巡檢車車頂，從多個(gè)角度拍攝沿線接觸網(wǎng)懸掛狀態(tài)圖像，通過對(duì)采集到的圖像進(jìn)行人工查閱，以檢測潛在的缺陷、故障。

為提高圖像數(shù)據(jù)的分析效率、降低人工勞動(dòng)強(qiáng)度，現(xiàn)有針對(duì)高鐵接觸網(wǎng)零部件故障診斷的方法是先人工設(shè)計(jì)零部件特征，再設(shè)計(jì)分類器實(shí)現(xiàn)單個(gè)零部件的定位，最后采用灰度特征或邊緣信息等分析潛在故障。文獻(xiàn)［3］針對(duì)接觸網(wǎng)支撐結(jié)構(gòu)中旋轉(zhuǎn)雙耳耳片斷裂故障，利用旋轉(zhuǎn)雙耳耳片正負(fù)樣本的HOG特征訓(xùn)練SVM分類器，判別檢測窗口內(nèi)是否包含旋轉(zhuǎn)耳片；利用二維Gabor小波變換能量值對(duì)圖像中的邊緣信息進(jìn)行篩選，進(jìn)而識(shí)別耳片斷裂故障。文獻(xiàn)［4］針對(duì)接觸網(wǎng)承力索座輔助承力索缺失的問題，首先提取圖像樣本的DHOG 特征訓(xùn)練AdaBoost 分類器，給出承力索座的精確定位，然后通過可接受圓弧檢測、圓弧段聚類擬合對(duì)圖像中的圓形進(jìn)行檢測和統(tǒng)計(jì)，最后根據(jù)統(tǒng)計(jì)數(shù)目給出故障判斷。文獻(xiàn)［5］針對(duì)接觸網(wǎng)支撐裝置旋轉(zhuǎn)雙耳部件銷釘?shù)乃擅撆c脫落問題，利用SIFT 算法和改進(jìn)的RANSAC 算法實(shí)現(xiàn)雙耳部位的定位，采用Hough變換實(shí)現(xiàn)目標(biāo)圖像中雙耳套筒傾角的提取及分割，累加豎直方向像素灰度值，從而判斷銷釘?shù)墓ぷ鳡顟B(tài)。文獻(xiàn)［6］針對(duì)接觸網(wǎng)支撐裝置中開口銷缺失、松脫和張角不足的問題，在定位階段，利用Hough 直線檢測實(shí)現(xiàn)斜腕處開口銷的初定位，利用PBoW 模型對(duì)初定位圖片進(jìn)行分類，采用SIFT算法準(zhǔn)確定位非斜腕處開口銷；在檢測階段，使用Hough 累加矩陣提取圓形特征，根據(jù)圓環(huán)內(nèi)非連通區(qū)域分布規(guī)律給出開口銷缺失和張角不足檢測判據(jù)。上述方法雖然能夠?qū)崿F(xiàn)對(duì)接觸網(wǎng)零部件不良狀態(tài)的檢測，但是針對(duì)不同的零部件需要設(shè)計(jì)不同的特征提取方法，存在精度提高難度大、運(yùn)算效率低的問題。

近年來，深度學(xué)習(xí)技術(shù)從圖像數(shù)據(jù)出發(fā)，通過1 個(gè)端到端的模型，聯(lián)合優(yōu)化特征表示和分類器性能，可最大程度發(fā)揮二者聯(lián)合協(xié)助性能，最終得到分類或者檢測結(jié)果。文獻(xiàn)［7］根據(jù)高鐵巡檢車采集的軌腰圖像中鐵道塞釘圖像特點(diǎn)，設(shè)計(jì)基于深度學(xué)習(xí)的鐵道塞釘自動(dòng)檢測算法。文獻(xiàn)［8］針對(duì)鋼軌傷損檢測的問題，將檢測數(shù)據(jù)視為由16 個(gè)通道二進(jìn)制矩陣疊加而成的圖像，設(shè)計(jì)基于深度學(xué)習(xí)的鋼軌傷損智能識(shí)別模型。文獻(xiàn)［9］針對(duì)鋼軌扣件區(qū)域圖像的尺寸較小、圖像內(nèi)容相對(duì)單一的特點(diǎn)設(shè)計(jì)基于深度卷積神經(jīng)網(wǎng)絡(luò)的扣件缺損識(shí)別算法。文獻(xiàn)［10］針對(duì)無砟軌道扣件缺陷樣本相對(duì)稀缺的問題，提出基于半監(jiān)督深度學(xué)習(xí)的扣件缺陷圖像識(shí)別方法。文獻(xiàn)［11］為及時(shí)發(fā)現(xiàn)鐵路橋梁高強(qiáng)螺栓偶發(fā)的延遲斷裂，進(jìn)行基于卷積神經(jīng)網(wǎng)絡(luò)的橋梁高強(qiáng)螺栓缺失圖像識(shí)別方法研究。

本文通過目標(biāo)檢測和分類的2 階級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)接觸網(wǎng)懸掛緊固件缺陷的識(shí)別。首先，設(shè)計(jì)端到端自我強(qiáng)化的緊固件檢測網(wǎng)絡(luò)，用于對(duì)接觸網(wǎng)懸掛支持裝置和定位裝置緊固件的檢測；然后，通過搭建輕量級(jí)運(yùn)行狀態(tài)分類網(wǎng)絡(luò)，實(shí)現(xiàn)接觸網(wǎng)懸掛緊固件的缺陷識(shí)別。并進(jìn)行試驗(yàn)驗(yàn)證。

1 高鐵接觸網(wǎng)懸掛狀態(tài)監(jiān)測圖像

高鐵接觸網(wǎng)懸掛狀態(tài)監(jiān)測圖像是由巡檢車車頂?shù)某上裱b置從全局和局部多個(gè)角度拍攝獲得，5 個(gè)相機(jī)分別負(fù)責(zé)拍攝腕臂連接件和承力索座區(qū)域、腕臂區(qū)域、水平絕緣子區(qū)域、斜絕緣子區(qū)域、支持和定位裝置全局區(qū)域，巡檢車及其成像裝置如圖1所示。

支持和定位裝置用以支持接觸懸掛和固定接觸線的位置，保證接觸線在受電弓滑板運(yùn)行軌跡范圍內(nèi)，其結(jié)構(gòu)如圖2所示。支持裝置的腕臂連接件包括套管雙耳、上套管單耳、下套管單耳，定位裝置連接件包括垂直定位環(huán)和吊鉤定位環(huán)。

圖1 巡檢車及其成像裝置

圖2 高鐵接觸網(wǎng)支持和定位裝置結(jié)構(gòu)

套管單耳、套管雙耳、定位環(huán)包含大量的緊固件，其物理結(jié)構(gòu)和成像結(jié)構(gòu)如圖3所示。根據(jù)中國鐵道標(biāo)準(zhǔn)，這些緊固件分為3 類，分別是螺栓M12、螺母M12 和螺栓銷M12。緊固件在接觸網(wǎng)裝置中起固定作用，而受電弓與接觸網(wǎng)裝置之間存在復(fù)雜的力學(xué)作用，因長時(shí)間運(yùn)行過程中的振動(dòng)疲勞或施工缺陷，使緊固件產(chǎn)生脫落或松動(dòng)等不良狀態(tài)，需對(duì)其進(jìn)行實(shí)時(shí)檢測及安全隱患排除。

圖3 高鐵接觸網(wǎng)緊固件物理結(jié)構(gòu)和成像結(jié)構(gòu)

高鐵接觸網(wǎng)懸掛狀態(tài)監(jiān)測圖像與普通圖像相比具有如下特點(diǎn)。

（1）高鐵接觸網(wǎng)懸掛狀態(tài)監(jiān)測圖像尺寸為（6 600×4 400）像素，而公共數(shù)據(jù)集，如COCO數(shù)據(jù)集中的自然圖像尺寸不超過（1 024×1 024）像素。相比而言，接觸網(wǎng)懸掛狀態(tài)監(jiān)測圖像為大尺寸圖像。

（2）相比于普通圖像而言，高鐵接觸網(wǎng)懸掛狀態(tài)監(jiān)測圖像存在大量的無語義信息區(qū)域，無語義信息的區(qū)域約占整幅圖像的3/4。

（3）高鐵接觸網(wǎng)懸掛狀態(tài)監(jiān)測圖像中支持和定位裝置連接件的緊固件都較小，僅占整幅圖像的0.055%，屬于微小目標(biāo)。而普通圖像中目標(biāo)占整幅圖像比例為10%以上。

（4）實(shí)際收集的數(shù)據(jù)集中，帶有缺陷的緊固件樣本數(shù)量很少，且正常和松脫2 個(gè)狀態(tài)的類間差異不大，很難直接訓(xùn)練1個(gè)高精度的緊固件缺陷檢測網(wǎng)絡(luò)。

從上述特點(diǎn)來看，高鐵接觸網(wǎng)懸掛狀態(tài)監(jiān)測圖像的獨(dú)特性使得普通圖像的檢測方法無法直接被使用，且現(xiàn)有基于深度學(xué)習(xí)的目標(biāo)檢測方法對(duì)小目標(biāo)的檢測精度普遍較低。

2 高鐵接觸網(wǎng)懸掛緊固件缺陷識(shí)別方法

針對(duì)監(jiān)測圖像的特點(diǎn)，高鐵接觸網(wǎng)懸掛緊固件缺陷識(shí)別方法由緊固件檢測和缺陷識(shí)別2 個(gè)部分組成。首先從基于深度學(xué)習(xí)的目標(biāo)檢測算法主要組成部分（即特征提取網(wǎng)絡(luò)、損失函數(shù)、檢測器）出發(fā)，設(shè)計(jì)緊固件目標(biāo)檢測網(wǎng)絡(luò)，對(duì)高鐵接觸網(wǎng)懸掛支持裝置和定位裝置中緊固件進(jìn)行檢測；然后，通過輕量級(jí)的運(yùn)行狀態(tài)分類網(wǎng)絡(luò)，完成緊固件缺陷的識(shí)別及判定。流程如圖4所示。

圖4 高鐵接觸網(wǎng)懸掛緊固件缺陷識(shí)別方法流程

2.1 緊固件檢測

緊固件檢測由1 個(gè)端到端自我增強(qiáng)的緊固件檢測網(wǎng)絡(luò)實(shí)現(xiàn)，該網(wǎng)絡(luò)由輕量級(jí)特征提取網(wǎng)絡(luò)、全局注意力模塊及分類器和檢測器組成，網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。大尺寸的高鐵接觸網(wǎng)懸掛狀態(tài)監(jiān)測圖像直接作為卷積神經(jīng)網(wǎng)絡(luò)的輸入會(huì)增加計(jì)算時(shí)間和內(nèi)存消耗，且圖像中存在大量的無語義信息區(qū)域，會(huì)產(chǎn)生大量無意義的計(jì)算，因此，通過小批量處理圖像塊，可以減少整個(gè)網(wǎng)絡(luò)的計(jì)算量，從而提高緊固件檢測效率。首先，將（6 600×4 400）像素的接觸網(wǎng)懸掛狀態(tài)監(jiān)測圖像自動(dòng)裁剪為（512×512）像素的圖像塊，且各圖像塊之間的重疊率為35%，以保證連接件的完整性；然后，將圖像塊輸入到輕量級(jí)特征提取網(wǎng)絡(luò)中，提取圖像塊的特征表示；最后，基于這些高辨識(shí)度的特征，分類器預(yù)測當(dāng)前圖像塊中是否存在目標(biāo)緊固件，若存在則通過檢測器定位目標(biāo)緊固件。

2.1.1 輕量級(jí)特征提取網(wǎng)絡(luò)

在處理工程領(lǐng)域?qū)嶋H問題時(shí)，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法通常將ResNet［12］作為特征提取的主干網(wǎng)絡(luò)。為了克服數(shù)據(jù)量少而產(chǎn)生過擬合的問題，主干網(wǎng)絡(luò)首先在ImageNet 數(shù)據(jù)集上訓(xùn)練得到網(wǎng)絡(luò)的預(yù)訓(xùn)練權(quán)重，然后將去掉全連接層和softmax層的卷積網(wǎng)絡(luò)作為目標(biāo)檢測框架中的特征提取網(wǎng)絡(luò)。然而，這樣的特征提取網(wǎng)絡(luò)存在以下缺點(diǎn)：第一，參數(shù)量大導(dǎo)致檢測效率低；第二，用于圖像分類的特征分辨率可能不足以進(jìn)行目標(biāo)檢測［13］。另外，接觸網(wǎng)懸掛監(jiān)測圖像和普通圖像之間的差異，也使得預(yù)訓(xùn)練網(wǎng)絡(luò)在實(shí)際應(yīng)用中不夠理想［14］，比如，微小的緊固件經(jīng)過多層卷積后，容易造成特征消失。因此，輕量級(jí)特征提取網(wǎng)絡(luò)調(diào)整ResNet-18各階段特征圖的數(shù)量為16，32，48 和72 個(gè)，使得網(wǎng)絡(luò)參數(shù)遠(yuǎn)小于ResNet-18，且可以從頭開始訓(xùn)練，僅通過1 個(gè)周期的訓(xùn)練可以得到很好的收斂。各階段特征圖的數(shù)量基于計(jì)算初始收斂網(wǎng)絡(luò)中各階段特征圖協(xié)方差矩陣的特征譜［15］，并在訓(xùn)練過程中微調(diào)得到。

圖5 緊固件檢測網(wǎng)絡(luò)結(jié)構(gòu)（單位：像素）

首先，任意1 個(gè)特征圖的特征譜Σ為它的協(xié)方差矩陣經(jīng)過空間分辨率歸一化后得到，即

式中：n為圖像塊的數(shù)量；Hi和Wi分別為特征圖空間的寬和高；Fi，x，y為第i個(gè)圖像塊的特征圖中空間坐標(biāo)為(x，y)像素的特征向量。

然后，計(jì)算各階段特征譜Σ的特征值，將大于預(yù)定閾值的特征值個(gè)數(shù)作為該階段特征圖的數(shù)量。

最后，在訓(xùn)練過程中微調(diào)得到最終的特征圖數(shù)量。

另外，為了能提取到緊固件更精細(xì)的特征，減小輕量級(jí)特征提取網(wǎng)絡(luò)總的下采樣步長，防止緊固件特征在檢測層中消失。卷積層-4先經(jīng)過殘差塊得到卷積層-5，再經(jīng)過上采樣得到和卷積層-4尺度相同的特征圖，通過跳躍式連接和卷積層-4的特征進(jìn)行融合，即最終用于檢測過程中錨框分布的特征圖的下采樣步長為8像素。

2.1.2 全局注意力模塊

由于卷積核的感受野有限，會(huì)存在一定的誤報(bào)。如圖6（a）和（b）所示，當(dāng)人眼看到2 個(gè)外觀相似的疑似螺栓脫落缺陷時(shí)，如果沒有周圍圖像的信息，無法確定它們是否為真實(shí)的脫落缺陷。正如文獻(xiàn)［16］中所討論，卷積神經(jīng)網(wǎng)絡(luò)有2 種類型的感受野：理論感受野和實(shí)際感受野。理論感受野表示理論上影響輸出值的輸入?yún)^(qū)域。然而，并非理論感受野中的每個(gè)像素對(duì)輸出值都有相同的影響，只有1個(gè)像素子集對(duì)輸出值有有效的影響，該子集稱為有效感受野，有效感受野小于理論感受野，如圖6（c）所示。有限的有效感受野導(dǎo)致最終的特征圖含有少量的上下文信息，從而導(dǎo)致誤報(bào)。

根據(jù)上述理論，在輕量級(jí)特征提取網(wǎng)絡(luò)后面連接1個(gè)特征池化層作為全局注意力模塊。特征提取網(wǎng)絡(luò)輸出的特征圖首先池化為（1×1）像素，（2×2）像素，（4×4）像素的金字塔層級(jí)特征圖，然后使用雙線性插值的方法恢復(fù)特征圖大小，最后進(jìn)行特征圖融合，使得最終的特征圖包含更多的上下文信息。全局注意力模塊融合了不同金字塔層級(jí)的特征，使得檢測器可以得到更多包含上下文信息的特征，使假陽性訓(xùn)練樣本的置信度明顯降低，從而降低誤報(bào)率。

圖6 卷積層感受野

2.1.3 相互增強(qiáng)的分類器和檢測器

分類器和檢測器共享輕量級(jí)特征提取網(wǎng)絡(luò)的特征，并在訓(xùn)練過程中通過多任務(wù)損失函數(shù)實(shí)現(xiàn)相互增強(qiáng)。一方面，由于分類器將大量不含目標(biāo)緊固件的圖像塊過濾掉，檢測器的輸入中減少了大量的假陽性樣本，從而降低誤報(bào)率。另一方面，由于檢測器可以獲取緊固件更精細(xì)的特征表示，當(dāng)前圖像塊中即使存在一個(gè)目標(biāo)緊固件，分類器也能很好地識(shí)別出來，即使當(dāng)前圖像塊被分類器識(shí)別錯(cuò)誤，檢測器隨后也可以更正這個(gè)錯(cuò)誤的結(jié)果。

整個(gè)緊固件檢測網(wǎng)絡(luò)有3 個(gè)輸出：1 個(gè)是分類器的輸出，代表當(dāng)前圖像塊中是否存在目標(biāo)緊固件的概率m，另外2 個(gè)是檢測器的輸出，分別代表圖像塊中每個(gè)候選區(qū)域在K+1個(gè)類別上的概率分布p=(p0，…，pk)和K個(gè)類別的邊框回歸偏移量tk=其中，k為類別索引號(hào)，tk為相對(duì)于標(biāo)注框中心點(diǎn)(x，y)的尺度不變轉(zhuǎn)換及寬高(w，h)的空間偏移。參與訓(xùn)練的每個(gè)圖像塊依據(jù)是否含有目標(biāo)緊固件標(biāo)記為二值標(biāo)簽b，檢測器中每個(gè)候選區(qū)域標(biāo)記為與其匹配的標(biāo)注框類別標(biāo)簽u，邊框回歸的目標(biāo)為v。多任務(wù)損失函數(shù)L定義如下。

式中：Lcls(m，n)和Lcls(p，u)為softmax 損失；Lloc為smooth-L1 損失；μ和λ為用于平衡三個(gè)任務(wù)損失的參數(shù)，在試驗(yàn)中設(shè)置參數(shù)λ=1和μ=1，訓(xùn)練過程中，當(dāng)相應(yīng)的圖像塊中檢測到目標(biāo)緊固件時(shí)才反向傳播檢測器的損失。

檢測器的結(jié)構(gòu)如圖5中藍(lán)色部分所示，它是基于區(qū)域的目標(biāo)檢測，主要使用RPN［16］網(wǎng)絡(luò)的錨框機(jī)制，即使用一組預(yù)定義的多尺度邊框合理分布于圖像平面產(chǎn)生目標(biāo)候選區(qū)域。然而，基于區(qū)域的檢測器對(duì)于微小目標(biāo)的檢測性能顯著下降。一方面，隨著特征提取網(wǎng)絡(luò)每個(gè)階段池化層的疊加，下采樣步長的增加，微小目標(biāo)的特征被高度壓縮甚至消失，如最小的緊固件在最終的錨框分布特征圖中僅為（1×1）像素。另一方面，在錨框分布特征圖中，如果錨框i和標(biāo)注框j的IoU值大于所有錨框和標(biāo)注框j的IoU 值，或者該IoU 值大于閾值Th，錨框i就和標(biāo)注框j匹配。簡言之，當(dāng)特征圖中目標(biāo)緊固件的尺寸和設(shè)置的錨框尺寸越接近，將會(huì)有越多的錨框與它匹配，目標(biāo)緊固件就更容易被定位。人臉檢測器S3FD［17］詳細(xì)分析了錨框數(shù)量與目標(biāo)尺寸之間的匹配關(guān)系，如果目標(biāo)在錨框分布的特征圖中的尺寸在平均線（average line）之上，將會(huì)匹配到3～4 個(gè)錨框，足以用于目標(biāo)的定位；反之，微小目標(biāo)將匹配1個(gè)以下的錨框，從而導(dǎo)致檢測的性能大幅下降。

因此，為了在目標(biāo)緊固件檢測過程中，更合理的分配錨框，根據(jù)訓(xùn)練集中標(biāo)注框尺寸用K-means聚類自動(dòng)選擇合適的錨框尺寸。選取聚類個(gè)數(shù)分別為3，4，5 的錨框尺寸如下：3 個(gè)錨框尺寸分別為3.55，5.34，7.62 像素；4 個(gè)錨框尺寸分別為2.95，3.90，6.13，8.21 像素；5個(gè)錨框尺寸分別為1.97，3.25，4.9，7.06，9.21 像素。

分類器的結(jié)構(gòu)如圖5中綠色部分所示。分類器僅包含2 個(gè)卷積層和1 個(gè)全局平均池化層。采用softmax損失函數(shù)，用來引導(dǎo)分類器的訓(xùn)練。

2.2 緊固件缺陷識(shí)別

通過緊固件檢測網(wǎng)絡(luò)，實(shí)現(xiàn)了緊固件的定位。緊固件缺陷識(shí)別通過搭建1個(gè)緊固件運(yùn)行狀態(tài)分類網(wǎng)絡(luò)，將緊固件檢測網(wǎng)絡(luò)輸出的緊固件圖像縮放到（72×72）像素作為輸入，實(shí)現(xiàn)緊固件缺陷的識(shí)別。緊固件的運(yùn)行狀態(tài)分為正常、松脫和脫落3種類別，如圖7所示。

緊固件運(yùn)行狀態(tài)識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示，包括4個(gè)卷積層，2 個(gè)池化層，1個(gè)全連接層和1個(gè)輸出層，網(wǎng)絡(luò)的輸出是3 類緊固件的運(yùn)行狀態(tài)，共8個(gè)類別。

圖7 高鐵接觸網(wǎng)懸掛緊固件運(yùn)行狀態(tài)類別

3 試驗(yàn)驗(yàn)證

高鐵接觸網(wǎng)懸掛緊固件檢測網(wǎng)絡(luò)和運(yùn)行狀態(tài)識(shí)別網(wǎng)絡(luò)的訓(xùn)練和測試均采用深度學(xué)習(xí)框架Tensor-Flow 實(shí)現(xiàn)，硬件環(huán)境為GeForce GTX 1080 GPU服務(wù)器，64位Ubuntu16.04操作系統(tǒng)。

試驗(yàn)中選取某高鐵線路接觸網(wǎng)監(jiān)測圖像數(shù)據(jù)，包括隧道、岔道、高架橋等不同環(huán)境下的圖像作為數(shù)據(jù)集，以保證模型的泛化能力。數(shù)據(jù)集中約2 100 個(gè)接觸網(wǎng)懸掛支柱圖像，其中約42 000 個(gè)緊固件。所有的圖像自動(dòng)裁剪為（512×512）像素的圖像塊，圖像塊間有35%的重疊，該重疊不僅保證了連接件的完整性，同時(shí)也增強(qiáng)了數(shù)據(jù)集。將圖像塊數(shù)據(jù)集隨機(jī)選取80%作為訓(xùn)練集，剩余的20%作為驗(yàn)證集，對(duì)緊固件檢測網(wǎng)絡(luò)進(jìn)行訓(xùn)練。為了讓網(wǎng)絡(luò)得到更好的收斂，將包含目標(biāo)緊固件的圖像塊和不包含目標(biāo)緊固件的圖像塊比例控制在1∶3，從而得到平衡的訓(xùn)練集。包含目標(biāo)緊固件的數(shù)據(jù)集標(biāo)注為3個(gè)類別：螺栓M12、螺母M12和螺栓銷M12。

緊固件運(yùn)行狀態(tài)識(shí)別網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集由緊固件檢測網(wǎng)絡(luò)檢測到的緊固件組成，每類緊固件每種狀態(tài)分別選取50 個(gè)樣本，并手工標(biāo)注其標(biāo)簽。由于缺陷緊固件圖像的數(shù)量有限，且目前缺陷數(shù)據(jù)只收集到一些關(guān)于螺栓松脫的數(shù)據(jù)，缺少開口銷缺失的缺陷數(shù)據(jù)。訓(xùn)練過程中進(jìn)行了數(shù)據(jù)增量，包括水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)。

圖8 高鐵接觸網(wǎng)懸掛緊固件運(yùn)行狀態(tài)識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)（單位：像素）

3.1 網(wǎng)絡(luò)訓(xùn)練階段

緊固件檢測網(wǎng)絡(luò)的訓(xùn)練采用隨機(jī)梯度下降的方法在4 塊GPU 上同時(shí)進(jìn)行，每個(gè)GPU 分配1 張圖像，每張圖像選取512 個(gè)候選區(qū)域用來訓(xùn)練檢測器。隨機(jī)梯度下降的動(dòng)量為0.9，權(quán)重衰減為0.000 5。初始學(xué)習(xí)率設(shè)置為0.001，每60K 個(gè)小批量，學(xué)習(xí)率減少1/10。由標(biāo)準(zhǔn)差為0.01，均值為0的高斯分布為所有層隨機(jī)分配初始權(quán)重。因?yàn)榫W(wǎng)絡(luò)是從頭開始訓(xùn)練，學(xué)習(xí)率和訓(xùn)練周期迭代2 次作為1個(gè)循環(huán)。且在檢測器的RPN網(wǎng)絡(luò)中，錨框的大小在步長為8 像素的特征圖上使用K-means 聚類個(gè)數(shù)為4 的錨框尺寸，分別為3，4，6 和8 像素，錨框的長寬比例設(shè)置為1。

緊固件運(yùn)行狀態(tài)識(shí)別網(wǎng)絡(luò)的損失函數(shù)采用多標(biāo)簽softmax 損失，同時(shí)在網(wǎng)絡(luò)的全連接層加入50%的dropout以減少過擬合。

3.2 網(wǎng)絡(luò)測試階段

在鐵路目標(biāo)檢測領(lǐng)域，常用誤檢率和漏檢率兩個(gè)指標(biāo)衡量模型的檢測效果。通常對(duì)二分類問題而言，可將樣本根據(jù)真實(shí)類別和預(yù)測類別劃分為真陽性（True Positive，TP）、假陽性（False Positive，F(xiàn)P）、真陰性（True Negative，TN）、假陰性（False Negative，F(xiàn)N），誤報(bào)率是指假陽性樣本在被識(shí)別為目標(biāo)實(shí)例中的占比，即1-Precision；漏檢率是指假陰性樣本在所有真實(shí)值中的比例，即1-Recall。其中Recall和Precision分別定義如下。

式中：TP，F(xiàn)N，F(xiàn)P分別為TP，F(xiàn)N和FP的值。

在檢測目標(biāo)時(shí)，每個(gè)類別都能夠根據(jù)Recall和Precision繪制1條PR 曲線，對(duì)此曲線做積分，得到的就是Average Precision（AP），即1 個(gè)類別的檢測精度，對(duì)多個(gè)類別的AP 求取平均值，得到檢測器的平均檢測精度（Mean AP，mAP）。

測試集包含100 張接觸網(wǎng)懸掛支柱圖像，其中，每個(gè)懸掛支柱包含4 個(gè)螺栓M12，12 個(gè)螺母M12，4 個(gè)螺栓銷M12。在緊固件檢測網(wǎng)絡(luò)前向傳播時(shí)，為保證漏檢率盡可能小，也就是召回率盡可能高，選取置信度為0.75，最終得到緊固件檢測平均準(zhǔn)確率為97.2%，召回率為98.2%，誤報(bào)率為2.8%，漏檢率為1.8%，從鐵路目標(biāo)檢測領(lǐng)域注重漏檢率來看，表明了緊固件檢測網(wǎng)絡(luò)在實(shí)際應(yīng)用中的潛能。然后，檢測到的緊固件作為輸入測試緊固件運(yùn)行狀態(tài)識(shí)別網(wǎng)絡(luò)，得到95.8%的平均識(shí)別準(zhǔn)確率，識(shí)別速率為每秒430 張圖像，表明了緊固件運(yùn)行狀態(tài)識(shí)別網(wǎng)絡(luò)的高效性，適用于實(shí)際工程領(lǐng)域。

高鐵接觸網(wǎng)懸掛緊固件缺陷識(shí)別的檢測結(jié)果如圖9所示（其中綠色框內(nèi)為螺母，紅色框內(nèi)為螺栓銷，藍(lán)色框內(nèi)為螺栓），識(shí)別結(jié)果見表1。在緊固件檢測識(shí)別階段，會(huì)自動(dòng)報(bào)告如圖9（c）的緊固件脫落故障，由圖3物理結(jié)構(gòu)可知，每個(gè)連接件的緊固件數(shù)量是固定的，如果某個(gè)緊固件處于脫落狀態(tài)，那么將無法檢測到該緊固件，檢測時(shí)據(jù)此可以通過檢測緊固件的實(shí)際數(shù)量與預(yù)定數(shù)量間的不同，自動(dòng)報(bào)告緊固件發(fā)生脫落故障。

圖9 緊固件檢測結(jié)果

3.2.1 緊固件檢測網(wǎng)絡(luò)性能評(píng)估

在測試集上對(duì)緊固件檢測網(wǎng)絡(luò)進(jìn)行綜合評(píng)估，分別從緊固件檢測的高效性、穩(wěn)健性、有效性3個(gè)方向分析。為了定量評(píng)估各組成策略對(duì)網(wǎng)絡(luò)整體性能的影響，設(shè)計(jì)表2所示的多組剝離試驗(yàn)，其中，分類器、檢測器和全局注意力模塊分別為圖5綠色、藍(lán)色和紫色部分；端到端聯(lián)合訓(xùn)練表示分類器和檢測器通過損失函數(shù)聯(lián)合訓(xùn)練。ModelⅠ表示訓(xùn)練整個(gè)網(wǎng)絡(luò)，ModelⅡ表示只訓(xùn)練分類器部分，ModelⅢ表示只訓(xùn)練檢測器部分，ModelⅣ表示聯(lián)合訓(xùn)練除全局注意力模塊的分類器和檢測器。

為了評(píng)估端到端聯(lián)合訓(xùn)練的分類器在整個(gè)緊固件檢測網(wǎng)絡(luò)中的作用及性能，將測試集中100 張接觸網(wǎng)懸掛支柱圖像自動(dòng)裁剪為（512×512）像素圖像塊，其中，大約有554 個(gè)包含目標(biāo)緊固件的圖像塊。分類器評(píng)估依據(jù)為是否將含有目標(biāo)緊固件的圖像塊分類正確，試驗(yàn)結(jié)果見表3。表中：ResNet-50是在ImageNet預(yù)訓(xùn)練后利用緊固件圖像數(shù)據(jù)微調(diào)的結(jié)果。由表3可以看出：端到端訓(xùn)練的Model Ⅰ分類器性能最好，其召回率高于ResNet-50和Model Ⅱ；只訓(xùn)練分類器部分的Model Ⅱ分類器，其準(zhǔn)確率和召回率較Model Ⅰ分類器均大幅降低，表明檢測器和分類器相互增強(qiáng)機(jī)制的重要性，檢測器提取到更精細(xì)的特征能抑制分類器的假陽性樣本；另外，時(shí)間消耗表明，輕量級(jí)的特征提取網(wǎng)絡(luò)使得分類器的推理時(shí)間為8.62 ms，比復(fù)雜的ResNet-50 分類器效率高。因此，端到端聯(lián)合訓(xùn)練的分類器能有效過濾掉大量無目標(biāo)緊固件的圖像塊，減少檢測器的計(jì)算量，同時(shí)，檢測器提取到更精細(xì)的特征能促使分類器更精確。

為了評(píng)估緊固件檢測網(wǎng)絡(luò)對(duì)微小緊固件檢測的有效性，在同樣的測試集上測試不同的檢測器，其中，F(xiàn)aster R-CNN［18］的基礎(chǔ)網(wǎng)絡(luò)是ResNet-50，考慮到在下采樣步長為8 像素的特征圖上分布錨框，ResNet-50 需要消耗大量的存儲(chǔ)空間，因此，F(xiàn)aster R-CNN 在下采樣步長為16 像素的特征圖上分布錨框；同時(shí)，也驗(yàn)證了緊固件檢測網(wǎng)絡(luò)在下采樣步長為16 像素的特征圖上分布錨框的檢測器。另外，嘗試將全局注意力模塊連接到卷積層-4（Conv-4）特征提取階段進(jìn)行對(duì)比，試驗(yàn)結(jié)果見表4。從表4可以看出：緊固件檢測網(wǎng)絡(luò)檢測器的檢測精度和召回率均優(yōu)于其他網(wǎng)絡(luò)；但當(dāng)下采樣步長為16 像素時(shí)，檢測精度僅為0.836 6，表明下采樣步長為16 像素時(shí)會(huì)造成一些目標(biāo)緊固件的特征消失，從而無法檢測到；Conv-4 的檢測精度相較于緊固件檢測網(wǎng)絡(luò)下降0.020 9，表明卷積層-5（Conv-5）階段可以提取到有利于目標(biāo)檢測的高層語義信息；當(dāng)選擇5 個(gè)聚類錨框尺寸時(shí)，Anchor-5的精度和召回率分別提升0.002 3和0.002 0，但時(shí)間消耗增加3.77 ms，該結(jié)果表明和數(shù)據(jù)集緊固件大小匹配精細(xì)的錨框尺寸有利于提高檢測精度，但錨框數(shù)量會(huì)影響檢測的效率，而Anchor-4 能在檢測的精度與效率間取得較好的折中。因此，檢測網(wǎng)絡(luò)的最終錨框尺寸為Anchor-4，即表4中緊固件檢測網(wǎng)絡(luò)的性能。

表1 緊固件運(yùn)行狀態(tài)識(shí)別結(jié)果

表2 緊固件檢測網(wǎng)絡(luò)性能評(píng)估剝離試驗(yàn)組

表3 緊固件檢測網(wǎng)絡(luò)分類器性能對(duì)比結(jié)果

表4 緊固件檢測網(wǎng)絡(luò)檢測器性能對(duì)比結(jié)果

為了驗(yàn)證緊固件檢測網(wǎng)絡(luò)的有效性，與小目標(biāo)檢測表現(xiàn)較好的FPN［19］進(jìn)行對(duì)比試驗(yàn)，F(xiàn)PN 的基礎(chǔ)網(wǎng)絡(luò)是ResNet-50，試驗(yàn)結(jié)果見表5。從表5可以看出：雖然FPN 和緊固件檢測網(wǎng)絡(luò)平均精度相近，但緊固件檢測網(wǎng)絡(luò)的召回率比FPN 高0.71%，即緊固件檢測網(wǎng)絡(luò)的漏檢率低于FPN。

表5 緊固件檢測網(wǎng)絡(luò)與FPN性能比對(duì)

緊固件檢測網(wǎng)絡(luò)（CSDR）的PR 曲線截圖如圖10所示。由圖10中的紅色曲線可知，CSDR 的召回率和檢測精度相比FPN 和Faster RCNN 都有不錯(cuò)的表現(xiàn)。

圖10 檢測結(jié)果PR曲線截圖

為了更好地表明緊固件檢測網(wǎng)絡(luò)（CSDR）顯著優(yōu)于對(duì)比網(wǎng)絡(luò)，進(jìn)一步對(duì)表4和表5的數(shù)據(jù)進(jìn)行了顯著性檢驗(yàn)，檢驗(yàn)結(jié)果見表6。從表6可以看出：緊固件檢測網(wǎng)絡(luò)顯著優(yōu)于對(duì)比的其他網(wǎng)絡(luò)；其中，緊固件檢測網(wǎng)絡(luò)和FPN 的mAP 對(duì)比不是很明顯，這也和上文中得出的結(jié)論相一致，但是緊固件檢測網(wǎng)絡(luò)的召回率顯著優(yōu)于FPN的召回率。

3.2.2 緊固件運(yùn)行狀態(tài)識(shí)別網(wǎng)絡(luò)性能評(píng)估

為了評(píng)估緊固件運(yùn)行狀態(tài)識(shí)別網(wǎng)絡(luò)的性能，與AlexNet［20］分類網(wǎng)絡(luò)進(jìn)行了對(duì)比試驗(yàn)。2 個(gè)網(wǎng)絡(luò)的對(duì)比試驗(yàn)在相同的數(shù)據(jù)集上完成，試驗(yàn)結(jié)果見表7。從表7可以看出：緊固件運(yùn)行狀態(tài)識(shí)別的輕量級(jí)分類網(wǎng)絡(luò)和AlexNet 網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率十分相似，但從每秒鐘處理的圖像數(shù)量（Frames Per Second，F(xiàn)PS）和訓(xùn)練時(shí)間來看，緊固件運(yùn)行狀態(tài)識(shí)別網(wǎng)絡(luò)的推理時(shí)間和訓(xùn)練時(shí)間顯著優(yōu)于AlexNet，更適用于實(shí)時(shí)的緊固件運(yùn)行狀態(tài)識(shí)別。

另外，為了評(píng)估緊固件狀態(tài)識(shí)別的準(zhǔn)確率，分析緊固件運(yùn)行狀態(tài)識(shí)別網(wǎng)絡(luò)的混淆矩陣，結(jié)果見表8。表中：藍(lán)色數(shù)字為緊固件運(yùn)行狀態(tài)識(shí)別網(wǎng)絡(luò)的精度，藍(lán)色數(shù)字上方為緊固件運(yùn)行狀態(tài)識(shí)別網(wǎng)絡(luò)的誤報(bào)率，藍(lán)色數(shù)字下方為緊固件運(yùn)行狀態(tài)識(shí)別網(wǎng)絡(luò)的漏檢率。從表8可以看出：緊固件運(yùn)行狀態(tài)識(shí)別網(wǎng)絡(luò)對(duì)于脫落狀態(tài)的召回率較高，由于松脫和正常狀態(tài)有可能會(huì)很相似，而存在很小的誤報(bào)率。

表6 試驗(yàn)結(jié)果顯著性檢驗(yàn)

表7 緊固件狀態(tài)識(shí)別網(wǎng)絡(luò)和AlexNet網(wǎng)絡(luò)性能比對(duì)

表8 3種緊固件分類的混淆矩陣

3.2.3 2階級(jí)聯(lián)結(jié)構(gòu)性能評(píng)估

為了評(píng)估2 階級(jí)聯(lián)輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的重要性，將緊固件檢測和運(yùn)行狀態(tài)識(shí)別合并到1個(gè)階段，即直接使用緊固件檢測網(wǎng)絡(luò)檢測緊固件的缺陷狀態(tài)，并與2 階級(jí)聯(lián)結(jié)構(gòu)進(jìn)行對(duì)比試驗(yàn)。試驗(yàn)中，選取每類緊固件的每種狀態(tài)各50 個(gè)樣本，共450 個(gè)樣本組成訓(xùn)練集，并直接標(biāo)記出訓(xùn)練集中3種緊固件的運(yùn)行狀態(tài)及其位置，用于2 次訓(xùn)練緊固件檢測網(wǎng)絡(luò)，設(shè)置學(xué)習(xí)率為0.000 5，結(jié)果如圖11所示。從圖11可以看出：由于訓(xùn)練樣本有限，用單一的緊固件檢測網(wǎng)絡(luò)直接檢測緊固件缺陷的精度很低且會(huì)導(dǎo)致嚴(yán)重的過擬合，特別是松脫缺陷，由于松脫狀態(tài)和正常狀態(tài)的差異較小，檢測器中的特征不足以將它們正確分類；而2 階級(jí)聯(lián)結(jié)構(gòu)的平均精度較單一檢測網(wǎng)絡(luò)提升21.5%。

圖11 2階級(jí)聯(lián)網(wǎng)絡(luò)與單一檢測網(wǎng)絡(luò)對(duì)比

4 結(jié) 語

采用基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)檢測和分類技術(shù)，設(shè)計(jì)2 階級(jí)聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)高鐵接觸網(wǎng)支持裝置緊固件缺陷的識(shí)別。緊固件檢測網(wǎng)絡(luò)可以定位接觸網(wǎng)懸掛狀態(tài)監(jiān)測圖像中的目標(biāo)緊固件，輕量級(jí)多標(biāo)簽分類網(wǎng)絡(luò)能夠判斷3類緊固件的松動(dòng)和脫落缺陷。通過對(duì)某高鐵線路接觸網(wǎng)狀態(tài)監(jiān)測圖像數(shù)據(jù)進(jìn)行試驗(yàn)分析，驗(yàn)證提出的2 階級(jí)聯(lián)的高鐵接觸網(wǎng)支持裝置緊固件缺陷識(shí)別方法的有效性、準(zhǔn)確性和高效性，可以輔助工作人員提高圖像數(shù)據(jù)的分析效率、降低人工勞動(dòng)強(qiáng)度。