林菲，楊子明，李永光，吳寬，崔霆銳

（1. 北京神州同正科技有限公司，北京 100083；2. 北京交通大學(xué)，北京 100044；3. 北京地鐵運(yùn)營有限公司，北京 100088）

0 引言

軌道交通的快速發(fā)展對(duì)運(yùn)輸安全提出了更加嚴(yán)格的要求，鋼軌和扣件的健康狀態(tài)是保證軌道交通安全穩(wěn)定運(yùn)行的關(guān)鍵。由于振動(dòng)沖擊和自然因素等影響，軌道線路容易出現(xiàn)扣件斷裂、脫扣等情況，導(dǎo)致軌道產(chǎn)生松動(dòng)、變形等問題，在列車通過產(chǎn)生的強(qiáng)大沖擊力下，會(huì)逐漸產(chǎn)生位移和倒塌。因此，對(duì)扣件缺失、破損或部分磨損的及時(shí)檢測(cè)至關(guān)重要。目前，扣件的健康狀態(tài)主要由人員定期沿著軌道線路進(jìn)行檢查，這種方式耗時(shí)長、成本高。因此為了提高運(yùn)輸?shù)陌踩?，迫切需要開發(fā)鋼軌扣件檢測(cè)系統(tǒng)，利用圖像處理、計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)及快速高分辨率相機(jī)等成熟的技術(shù)實(shí)現(xiàn)鋼軌扣件的自動(dòng)檢測(cè)，以縮短檢測(cè)時(shí)間、降低運(yùn)營成本、減輕勞動(dòng)強(qiáng)度[1]。

過去10年中，許多研究人員和機(jī)構(gòu)致力于扣件檢測(cè)方法的研究和檢測(cè)系統(tǒng)的開發(fā)。Jinfeng Yang等[2]提出一種扣件識(shí)別方法，主要用于高速無砟軌道，首先對(duì)扣件進(jìn)行特征提取，然后用模板匹配的方法對(duì)扣件進(jìn)行識(shí)別，其優(yōu)點(diǎn)是檢測(cè)速度極快，基于該算法的車載巡檢系統(tǒng)最高巡檢速度可達(dá)400 km/h。許貴陽等[3]開發(fā)研制了基于計(jì)算機(jī)視覺的車載巡檢系統(tǒng)，為了采集到盡可能真實(shí)、清晰、完整的表征軌道扣件外觀特征的高清數(shù)字圖像，圖像采集子系統(tǒng)采用了適用于運(yùn)動(dòng)掃描成像的線陣相機(jī)作為成像設(shè)備，將采集到的圖像信息進(jìn)行主成分分析和線性判別分析，實(shí)現(xiàn)對(duì)扣件病害的模式識(shí)別，可以檢測(cè)出扣件彈條缺失、損壞和斷裂等不健康情況，檢測(cè)成功率為95%，能夠代替?zhèn)鹘y(tǒng)的人工步行巡檢方式，而且最高巡檢速度可達(dá)到160 km/h，效率較高。

德國bvSys公司的RIS系統(tǒng)有多個(gè)檢測(cè)子系統(tǒng)，以100 km/h的速度檢查鋼軌邊緣是否有細(xì)小的表面裂縫，并給出相應(yīng)的故障分析列表[4]。美國ENSCO公司開發(fā)的TIS系統(tǒng)能夠?qū)崿F(xiàn)全天候?qū)夘^和扣件等的持續(xù)檢測(cè)[5]。意大利MERMEC公司的Track Inspection系統(tǒng)能夠?qū)崿F(xiàn)多達(dá)50種不同類型缺陷的檢測(cè)，可在0～200 km/h速度區(qū)間實(shí)現(xiàn)對(duì)軌道基礎(chǔ)設(shè)施的檢測(cè)[6]。在文獻(xiàn)[7]中，通過LDA算法定位導(dǎo)軌和軌枕的位置，利用扣件、軌枕和軌道之間的位置關(guān)系定位扣件位置。從單個(gè)扣件圖像中提取的Haar-like特征用于計(jì)算缺陷分類的似然概率。在文獻(xiàn)[8]中，將扣件圖像的方向梯度直方圖（HOG）特征應(yīng)用到支持向量機(jī)（SVM）中進(jìn)行分類。隨著深度學(xué)習(xí)的發(fā)展，深卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network，DCNN）在圖像分類[9]和目標(biāo)檢測(cè)[10]領(lǐng)域取得了顯著成果。

目前，扣件缺陷檢測(cè)技術(shù)取得較大進(jìn)展，但仍存在一些問題需要進(jìn)一步研究和改進(jìn)。首先是定位的精度和算法對(duì)不同環(huán)境下的魯棒性，其次是扣件缺陷的特征提取方法的優(yōu)化，最后是應(yīng)縮短整個(gè)檢測(cè)過程和處理單個(gè)圖像的時(shí)間，以便可應(yīng)用于實(shí)際的在線實(shí)時(shí)檢測(cè)中。

1 扣件缺陷檢測(cè)概述

扣件是在軌道交通線路上用于連接軌道和軌枕的部件，以確保軌道和軌枕相對(duì)固定。以北京地鐵6號(hào)線為例，對(duì)扣件缺陷的檢測(cè)和分類問題進(jìn)行論述，其扣件圖像示例見圖1，每個(gè)扣件圖像包含軌道、2個(gè)扣件和軌枕。

扣件的缺陷主要分為2種：扣件的損壞和扣件的缺失，在圖2（a）中，左側(cè)扣件完好，右側(cè)扣件損壞；在圖2（b）中，左側(cè)扣件完好，右側(cè)扣件缺失。

圖1 北京地鐵6號(hào)線的扣件圖像示例

圖2 扣件的缺陷圖像示例

扣件缺陷檢測(cè)有3個(gè)關(guān)鍵步驟：第1步，進(jìn)行圖像的預(yù)處理；第2步，扣件位置的精確定位；第三步，根據(jù)缺陷特征將扣件圖像分為完好、損壞和缺失3類。

由于在收集過程中受環(huán)境因素和人為因素的影響，圖像中存在一定的噪聲，會(huì)對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生不小的影響，為了提高實(shí)驗(yàn)的準(zhǔn)確性，需要對(duì)圖像進(jìn)行預(yù)處理。在此涉及到的預(yù)處理包括：基于中值濾波的圖像去噪和基于直方圖均衡化的圖像增強(qiáng)，可有效去除圖像中的噪聲，彌補(bǔ)光照不足的影響，在一定程度上提高了圖像質(zhì)量。對(duì)于定位算法，關(guān)鍵是要具有較強(qiáng)的適用性，在此提出一種創(chuàng)新的定位方法，可以滿足分類的準(zhǔn)確性和魯棒性。

2 基于圖像處理的扣件檢測(cè)分類

2.1 扣件區(qū)域提取

在軌道線路圖像中，鋼軌、軌枕和扣件的位置有著相對(duì)固定的空間關(guān)系，同時(shí)圖像中的扣件、鋼軌和軌枕具有不相同的紋理特征，反映在圖像上就是灰度值的不同。通過研究分析發(fā)現(xiàn)：

（1）扣件都直接安裝在軌枕上，其尺寸不會(huì)超過軌枕的范圍，并且其水平位置和軌枕的位置基本一致；

（2）軌枕在水平方向上的紋理致密程度較高，形成的灰度值相對(duì)均勻，與周圍能夠形成一定的對(duì)比；在垂直方向上灰度值分布比較隨機(jī)，無法同周圍形成對(duì)比；

（3）鋼軌在水平方向上的灰度值分布比較均勻，但是在垂直方向上亮度較其他區(qū)域有明顯增強(qiáng)；

（4）圖像中除去軌枕和鋼軌的其他區(qū)域因?yàn)楣庹盏纫蛩?，亮度較鋼軌和軌枕區(qū)域都要低。

根據(jù)以上分析，提取扣件區(qū)域的基本思想為：定位出鋼軌和軌枕，根據(jù)其空間相對(duì)位置對(duì)扣件進(jìn)行定位。將采集到的圖像進(jìn)行灰度化并進(jìn)行二值化處理，其結(jié)果見圖3。

圖3 圖像的二值化處理

由于原始圖像像素過高，處理起來速度過慢，首先將每張圖像進(jìn)行縮放處理（每張圖像縮放后為（600×330）像素），隨后對(duì)軌道進(jìn)行定位，根據(jù)二值化處理后的圖像，對(duì)其進(jìn)行垂直投影，統(tǒng)計(jì)垂直方向上的累積灰度值并計(jì)算相鄰像素點(diǎn)之間灰度值的跳變情況，扣件圖像的垂直投影統(tǒng)計(jì)差圖像繪制流程見圖4。

圖4 扣件圖像的垂直投影統(tǒng)計(jì)差圖像繪制流程

垂直投影統(tǒng)計(jì)差為：HP（i）=SP（i+1）-SP（i），i=1，2，…，w，式中：數(shù)組SP（i）表示圖像每i列統(tǒng)計(jì)得到的亮點(diǎn)值；數(shù)組HP（i）表示垂直投影統(tǒng)計(jì)差，反映的是亮點(diǎn)值在垂直方向的跳變情況?；叶葓D像的垂直投影統(tǒng)計(jì)差圖像見圖5。

圖5 灰度圖像的垂直投影統(tǒng)計(jì)差圖像

將結(jié)果與原圖像對(duì)比并結(jié)合扣件圖像的3個(gè)特征（見圖6），可以看出HP計(jì)算得到的2個(gè)最大值對(duì)應(yīng)的位置就是鋼軌的2個(gè)邊緣（2個(gè)最大值在圖6中用紅色“+”表示）。鋼軌邊緣定位結(jié)果見圖7。

圖6 垂直投影統(tǒng)計(jì)差圖像和原圖像的結(jié)合

圖7 鋼軌邊緣定位結(jié)果

采用同樣方法，對(duì)圖像進(jìn)行水平投影處理，可以定位出軌枕邊緣，結(jié)果見圖8。同時(shí)為了增加扣件區(qū)域分割的魯棒性，利用不同圖像之間軌枕和鋼軌的位置信息進(jìn)行互補(bǔ)。

圖8 軌枕邊緣定位結(jié)果

通過對(duì)軌道和軌枕的定位，可以利用扣件寬度的經(jīng)驗(yàn)值對(duì)扣件區(qū)域進(jìn)行分割，但也會(huì)出現(xiàn)一些定位不準(zhǔn)確的情況，為降低誤差，提出基于小波變換的扣件邊緣識(shí)別方法。通過提取圖片小波變換后垂直邊緣的信息同垂直模板進(jìn)行匹配，匹配模板的尺寸為（91×21）像素，匹配效果見圖9。與設(shè)計(jì)模板匹配度越高，圖像中白色的區(qū)域就越亮，最終扣件區(qū)域的垂直邊緣定位結(jié)果見圖10。再結(jié)合軌枕和鋼軌的定位，最終可實(shí)現(xiàn)扣件區(qū)域更為精確的定位，效果見圖11。

圖9 模板的匹配效果

圖10 基于小波變換的扣件垂直邊緣定位結(jié)果

圖11 扣件區(qū)域的定位結(jié)果

2.2 訓(xùn)練分類過程

訓(xùn)練所使用的扣件圖像共分為3類：完好、損壞和缺失（見圖12）。

圖12 部分扣件數(shù)據(jù)集

通過扣件區(qū)域分割，共得到574張完好的扣件圖像和20張有缺陷的扣件圖像，其中13張損壞扣件圖像和7張缺失扣件圖像，每張圖像的尺寸為（128×256）像素。由于數(shù)據(jù)集數(shù)目過小，通過數(shù)據(jù)增強(qiáng)的方式對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充。采用的圖像增強(qiáng)方式包括鏡像、旋轉(zhuǎn)、翻轉(zhuǎn)和增加噪聲。經(jīng)過數(shù)據(jù)增強(qiáng)，最終共獲得574張完好扣件圖像，201張損壞扣件圖像和150張缺失扣件圖像。由于不平衡的樣本數(shù)量會(huì)影響分類結(jié)果，因此用于實(shí)驗(yàn)的樣本中每種類型扣件圖像的數(shù)目都為150，其中70%用于訓(xùn)練，30%用于測(cè)試。

由于圖像中不同狀態(tài)的扣件具有不同的紋理特征，實(shí)驗(yàn)中使用對(duì)紋理特征敏感的LBP算子的等價(jià)模式對(duì)扣件圖像進(jìn)行LBP特征提取，通過調(diào)整特征提取時(shí)每個(gè)cell的大小來尋找最優(yōu)的參數(shù)（修改每個(gè)cell的大小是最行之有效的方法）。不同cell值對(duì)應(yīng)的分類正確率見表1。

表1 不同cell值對(duì)應(yīng)的分類正確率

對(duì)上述結(jié)果分析如下：如果cell的尺寸過小，雖然能夠提取到更多的細(xì)節(jié)，但是也增加了很多無用的信息，整幅圖像中除了主要用于分類的標(biāo)準(zhǔn)彈條外還有螺釘和扣件底座等其他因素，都會(huì)對(duì)結(jié)果造成影響；反之，如果cell的尺寸過大，則會(huì)丟失大量關(guān)鍵信息，以至于無法正確地進(jìn)行預(yù)測(cè)和分類。因此，當(dāng)cell的尺寸為（64×64）像素時(shí)，分類的正確率最高，在一定程度上能夠準(zhǔn)確分類出完好的扣件和有缺陷的扣件。

3 基于深度學(xué)習(xí)的扣件檢測(cè)分類

基于圖像處理的扣件缺陷檢測(cè)和分類方法可以達(dá)到非常高的精度，但該方法包括多個(gè)步驟，運(yùn)用了較多技術(shù)，需要調(diào)整許多參數(shù)才能實(shí)現(xiàn)良好的分類性能?？傊?，使用圖像特征提取和分類器對(duì)扣件圖像進(jìn)行分類是一種復(fù)雜的方法。

近年來，深度學(xué)習(xí)理論發(fā)展良好，一些深度學(xué)習(xí)網(wǎng)絡(luò)被開發(fā)用于圖像識(shí)別和分類，它們對(duì)比例、旋轉(zhuǎn)、照明甚至對(duì)噪聲都不敏感。同時(shí)，深度學(xué)習(xí)網(wǎng)絡(luò)可以融合數(shù)據(jù)的基本特征，并完成復(fù)雜數(shù)據(jù)中高級(jí)特征的抽象和提取，使構(gòu)建一個(gè)具有特征提取和圖像分類能力的深度網(wǎng)絡(luò)成為可能。總之，深度卷積神經(jīng)網(wǎng)絡(luò)與上述基于圖像特征的方法相比具有不少優(yōu)勢(shì)。因此，基于深度學(xué)習(xí)理論，將已經(jīng)發(fā)展成熟的DCNN應(yīng)用于扣件分類實(shí)驗(yàn)，在此使用的網(wǎng)絡(luò)結(jié)構(gòu)是在圖像分類和目標(biāo)檢測(cè)中表現(xiàn)優(yōu)異的VGG16[11]。

3.1 扣件圖像處理

對(duì)用于訓(xùn)練VGG16網(wǎng)絡(luò)的圖像數(shù)據(jù)集進(jìn)行處理，圖像是具有3個(gè)通道的RGB彩色圖像，將完好、損壞和缺失3個(gè)狀態(tài)的扣件圖像分別標(biāo)注為：0、1、2。將圖像大小調(diào)整為（128×256）像素，有利于使圖像動(dòng)態(tài)范圍更平均，在訓(xùn)練網(wǎng)絡(luò)時(shí)，有助于提高分類準(zhǔn)確度并加快網(wǎng)絡(luò)的收斂速度。

3.2 VGG16架構(gòu)和參數(shù)設(shè)置

VGG16網(wǎng)絡(luò)結(jié)構(gòu)層次見表2。其中conv代表卷積層，max pool代表最大池化層，F(xiàn)c代表全連接層。共有13個(gè)卷積層，每個(gè)卷積層的內(nèi)核大小為3×3，內(nèi)核的數(shù)量不固定，隨著網(wǎng)絡(luò)層從淺到深，卷積核的數(shù)量也逐漸增加。使用小尺寸的多個(gè)卷積核而不是單個(gè)大的卷積核可以減少參數(shù)和計(jì)算量，并改善網(wǎng)絡(luò)的非線性。池化的方法是最大池化，單元大小為2×2。全連接層包含2個(gè)隱層，有4 096個(gè)神經(jīng)元。全連接層的作用是接受卷積層提取的高維特征并將其分為3類。

由于可用于訓(xùn)練的樣本數(shù)量不大，如果從零開始訓(xùn)練每層的權(quán)重參數(shù)，則訓(xùn)練好的網(wǎng)絡(luò)無法獲得良好的結(jié)果，因此使用遷移學(xué)習(xí)的思想[11]，即將其他數(shù)據(jù)集訓(xùn)練得到的權(quán)重作為初始化權(quán)重。訓(xùn)練權(quán)重是使用ImageNet[12]進(jìn)行訓(xùn)練得到的，將其加載到模型中并采用扣件數(shù)據(jù)集對(duì)模型進(jìn)行微調(diào)。conv1～conv4的權(quán)重是固定的，而conv5和全連接層的權(quán)重僅在訓(xùn)練中更新。

3.3 實(shí)驗(yàn)結(jié)果

VGG16網(wǎng)絡(luò)在GOOGLE Tensorflow框架中進(jìn)行實(shí)驗(yàn)，用于實(shí)驗(yàn)的GPU是NVIDA 1070ti。共450個(gè)扣件圖像用于實(shí)驗(yàn)，345個(gè)圖像用于訓(xùn)練模型，其余105個(gè)圖像用于測(cè)試訓(xùn)練模型的準(zhǔn)確性和泛化能力。學(xué)習(xí)率設(shè)置為0.001，迭代次數(shù)設(shè)置為15 000。

訓(xùn)練過程中損失函數(shù)的圖像見圖13，紅色曲線是訓(xùn)練集的損失函數(shù)變化曲線，藍(lán)色曲線是測(cè)試集的損失函數(shù)變化曲線。在前2 000次的迭代中損失函數(shù)收斂得很快，之后，損失函數(shù)的值開始逐漸下降。訓(xùn)練模型在訓(xùn)練集和測(cè)試集上都表現(xiàn)良好，最終訓(xùn)練好的VGG16網(wǎng)絡(luò)，對(duì)于包含105張扣件圖像的測(cè)試集，精度達(dá)到了97.14%。

表2 VGG16網(wǎng)絡(luò)結(jié)構(gòu)層次

圖13 VGG16網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)圖像

測(cè)試集檢測(cè)結(jié)果見表3。從表中可以看出測(cè)試集的測(cè)試精度為97.14%，有3張完好的扣件圖像被錯(cuò)誤分類，因此損壞扣件的測(cè)試精度為93.75%。通過分析，造成錯(cuò)誤分類的原因可能是陰影阻擋了部分扣件，導(dǎo)致模型提取的特征與損壞的扣件特征更相似。在測(cè)試有缺陷的扣件時(shí)召回率達(dá)到100%，這意味著可以檢測(cè)到全部有缺陷的扣件。

表3 扣件圖像測(cè)試集檢測(cè)結(jié)果

4 結(jié)束語

分別從圖像處理的角度和深度學(xué)習(xí)的角度探討鋼軌扣件的檢測(cè)過程?；趫D像處理的方法比較傳統(tǒng)，步驟較為繁瑣，在分類前還需要對(duì)圖像進(jìn)行預(yù)處理、分割、特征提取等操作才能用于SVM分類。雖然其分類正確率有一定保障，但是實(shí)驗(yàn)過程需要耗費(fèi)較多的時(shí)間和精力?；谏疃葘W(xué)習(xí)技術(shù)的扣件分類精度達(dá)到97.14%，說明其可以實(shí)現(xiàn)扣件的狀態(tài)檢測(cè)，但是由于受到當(dāng)前數(shù)據(jù)集規(guī)模的限制，VGG網(wǎng)絡(luò)相比于傳統(tǒng)檢測(cè)方法的優(yōu)勢(shì)尚未完全發(fā)揮。隨著數(shù)據(jù)采集設(shè)備和計(jì)算機(jī)硬件的改進(jìn)，從現(xiàn)場獲得更多的扣件缺陷圖像版本，DCNN網(wǎng)絡(luò)能有足夠的圖像進(jìn)行訓(xùn)練，會(huì)使分類精度得以顯著提高，該方法將應(yīng)用于實(shí)際的軌道扣件缺陷的檢測(cè)和分類任務(wù)中[13]。