基于改進形狀匹配的扣件缺陷檢測方法

劉賢華，邱實，胡文博，王勁，王衛(wèi)東

(1. 中南大學 土木工程學院，湖南 長沙 410075；2. 高速鐵路建造技術國家工程實驗室，湖南 長沙 410075；3. 中南大學 軌道交通基礎設施智能監(jiān)控研究中心，湖南 長沙 410075)

隨著鐵路現代化進程的不斷推進，鐵路線路維檢面臨著維護周期短、維護路段長、安全性要求高等新的挑戰(zhàn)。其中扣件作為固定軌道的重要部件，其狀態(tài)好壞嚴重影響著列車運行的穩(wěn)定性和安全性。近年來，扣件缺陷檢測方法主要分為基于傳統(tǒng)圖像處理和基于深度學習2類，但都存在各自的不足之處。如何進一步改進扣件檢測方法對保證鐵路現代化建設中扣件維檢安全性、實時性和準確性具有重要意義?？奂ㄎ环矫?，許多學者對此進行了廣泛而深入的研究?；趥鹘y(tǒng)圖像處理的扣件定位方法一般是基于扣件先驗知識、圖像灰度或紋理特征對扣件進行定位，吳祿慎等[1]提出一種改進的十字交叉定位法。PRASONGPONGCHAⅠ等[2]使用邊緣密度圖和隨機采樣一致性算法來估計扣件區(qū)域。QⅠU 等[3]提出了一種基于雙模板匹配的鋼軌扣件定位方法，并基于先驗知識得到鋼軌區(qū)域圖。這些方法在特定的鐵路線路場景和較高的圖像質量下能有較好的扣件定位效果，但適應性較差，受先驗知識影響較大，應用較為局限?；谏疃葘W習的扣件定位方法適用性強，但其定位準確率與標注的扣件樣本的數量相關，訓練較為困難，白堂博等[4]利用Faster R-CNN 對鐵路扣件進行定位。李兆洋等[5]提出用基于改進SSD模型對高鐵扣件進行定位?？奂R別方法主要分為有監(jiān)督[6-8]和模板匹配[9-11]兩大類。有監(jiān)督方法如劉甲甲等[12]提出一種基于圖像融合特征和貝葉斯壓縮感知的圖像分類識別方法。GⅠBERT 等[13]采用多任務學習框架，綜合多個檢測器的檢測結果對扣件的缺陷類型進行判定。模板匹配方面，DOU等[14]提出基于梯度直方圖的模板匹配算法，YANG等[15]提出基于方向場的模板匹配算法等?？偟膩碚f，以上有監(jiān)督類方法需要大量標注的扣件樣本來訓練分類器，耗費大量人力和時間，且對于不同環(huán)境的鐵路線路，往往需重新設立扣件樣本，不利于大范圍推廣。而對于模板匹配類方法，常需降低匹配閾值以換取匹配召回率的提高，但匹配閾值的降低又難免造成匹配精確率的降低。綜上，現有方法存在扣件定位和識別準確率低、適應性差或扣件樣本需求量大、模型訓練困難等不足。鑒于此，本文提出一種基于改進形狀匹配的扣件缺陷檢測方法。該方法對扣件檢測的召回率高，能夠實現高精度下的扣件缺陷快速識別。此外，該方法結合軌檢車拍攝的扣件圖片的特點，能夠做到無須預先進行扣件定位即可找出缺陷扣件的所在的鐵路里程，具有較高的實用性和可行性。

1 技術路線

高速鐵路綜合巡檢車拍攝的扣件圖片有三大特點：圖像連續(xù)、位置固定和高度規(guī)律性?；谝陨?點，本文設計一種無需預先進行扣件定位的扣件缺陷檢測方法。原理是利用圖片中所有扣件數量M和狀態(tài)良好的扣件數量N來確定破損扣件數量P，即P=M-N。若P不為0，說明該張扣件圖片中含有破損扣件，將該張圖片對應的序號和里程打印輸出即可。

實現該方法的關鍵操作是圖片智能裁剪和模板庫自動化更新，具體流程見圖1。在圖片智能裁剪前還需進行圖像預處理操作，包括均值濾波、直方圖均衡化和拉普拉斯銳化等，旨在減少圖像椒鹽噪聲、增強圖像對比度、銳化圖像輪廓邊緣，有利于后續(xù)更加精確地進行圖片智能裁剪和輪廓提取等操作。圖片智能裁剪是對扣件圖片在鋼軌方向進行裁剪，目的是對圖片中的扣件數量進行固定，可有效避免軌檢車連續(xù)拍攝造成的扣件數量變化、扣件截斷等問題；另一方面，軌檢車拍攝的扣件圖片具有連續(xù)性，往往同一扣件會出現在連續(xù)幾張圖片中且位置不同，因此對扣件圖片的邊界進行裁剪并不會減少有效扣件的數量。模板庫自動化更新則是根據輸入圖片針對性地選取相應的模板庫，并具有模板庫優(yōu)化和更新功能，這是保證模板庫具有流動性、代表性和多樣性的關鍵操作，能有效提高扣件匹配的召回率而不過度增大模板庫尺寸。對扣件模板進行ROⅠ區(qū)域提取和輪廓提取操作，根據選定的試驗參數進行多模板形狀匹配。

圖1 扣件檢測方法技術路線Fig.1 Technical flow of the proposed method

2 扣件圖片智能裁剪

2.1 算法簡述

本文針對軌檢車拍攝的CRTSⅢ型板式無砟軌道扣件圖片提出智能裁剪算法，該算法是基于圖像灰度值的一種圖片裁剪方法，可對具有不同扣件數的扣件圖片進行裁剪，從而得到扣件數量固定的扣件圖片。算法流程敘述如下。

步驟1：

輸入圖片I0，尺寸為L0×W0。

步驟2：

用尺寸為L1×W1的矩形框對圖片I0進行裁剪，矩形框長度方向含擋肩n個，其中L1×W1需滿足如下條件：

其中：w0為圖片中擋肩間距；w1為圖片中擋肩縱向寬度；n2p和n1p分為矩形框的上下可調整空間，由調整次數n1(或n2)乘以每次調整距離p得到。

步驟3：

以原圖片左上角為原點，圖片寬度為橫坐標，長度為縱坐標。設定矩形框頂端初始縱坐標為S，S一般滿足如下條件：

計算縱坐標為S處鋼軌左邊的一段擋肩范圍內(設為c)的灰度方差，記為?0。

步驟4：

根據方差?0判斷是否屬于正常裁剪(即矩形框不與擋肩相交，反之與擋肩相交)，并進行下一步操作，判據和相應操作如下：

1) 當?0≥?x時，判斷屬于非正常裁剪，矩形框整體下移p，并重復步驟4。

2) 當?0＜?x時，判斷屬于正常裁剪，將圖片進行裁剪，算法結束。

?x為圖片中擋肩邊緣處灰度方差，根據統(tǒng)計方法得到，一般可較保守取值。

2.2 實例計算

軌檢車采集的圖片原圖長1 048 px，寬690 px，圖片中擋肩間距165 px，擋肩縱向寬度69 px。為得到扣件數量固定為20，即在矩形框長度方向含有5 個擋肩的扣件圖片，可用長度為770 px，寬度為690 px 的矩形框對原圖片進行裁剪，可較好滿足算法步驟2 的要求。初始位置S為48 px，c為50 px，取p為20 px。

判斷矩形框初始位置是否為正常裁剪(正常裁剪與非正常裁剪示例如圖2 所示)前需先確定扣件圖片中擋肩邊緣處灰度方差。計算橫坐標在80～130 px，縱坐標在490～655 px(剛好一個擋肩間距，其中擋肩范圍為527～596 px)范圍內的灰度方差，如圖3所示，擋肩范圍內的灰度方差顯然要比其他地方的要大得多。此外，由于矩形框的可調整空間較大，因此可保守將?x取值為1 000 px2，灰度方差小于?x即認為是非正常裁剪，進行平移調正即可。實踐表明，該方法智能、快捷、高效，能夠較好保證裁剪為正常情況。

圖2 2種裁剪方式Fig.2 Two cutting methods

圖3 扣件圖像灰度方差Fig.3 Variance of the gray-scale image

3 模板庫自動化更新

該改進方法的多模板匹配與單模板匹配類似，不同的是對于單張扣件圖片，多模板匹配是用多個模板逐個與之進行匹配，直至扣件圖片中所有扣件都成功匹配或模板庫遍歷完全。一種理想的多模板匹配狀態(tài)是前幾個模板就可將圖片中所有或絕大部分扣件成功匹配，其余模板專門匹配各類形態(tài)迥異的扣件，這樣既可大幅減少多模板匹配的時間，又能有效提高匹配召回率。因此，如何選取合適的模板庫，在不過度擴大模板庫的前提下增強扣件種類和形態(tài)多樣化，并對模板庫中的模板進行合理的匹配位次排序是問題的關鍵。

本文提出一種自動化更新模板庫的方法，分為初次創(chuàng)建模板庫和模板庫優(yōu)化更新2種模式，能夠做到對模板庫的實時更新。模板庫自動化更新流程如圖4所示，模板庫的初次建立是依據以往軌檢車拍攝的扣件圖片等間隔采樣得到，模板庫大小固定。而對于已建立好的模板庫，依據評價準則對模板庫中的模板進行評價和排序，并調整匹配位次，目的是讓評價高的模板增加匹配的機會和次數，并能夠有效提前結束該張扣件圖片的匹配。對于匹配位次較后的模板則用新建立的模板進行替換，以進一步提高模板庫的多樣性和匹配召回率，其中新模板來自匹配結果中未完全匹配的圖片。

圖4 模板庫自動化更新流程Fig.4 Template library automated update process

模板質量的優(yōu)劣用該模板平均每次匹配成功的扣件數來衡量，扣件數越多，說明該模板適用性越強。本文試驗驗證當模板庫數量為32 時改進方法能夠達到較好性能(見5.2 節(jié))，且匹配時間與模板庫數量為16 時相近，匹配精度有略微提高。因此，對于數量為32 的模板庫，在模板庫優(yōu)化更新時可設定評價排序前16 的模板保持不變，對于排序靠后的16 個模板用新的模板進行替換。這樣做的好處是既能保證后續(xù)模板匹配的精度保持在一個較高的水平，又可進一步對模板庫進行優(yōu)化。

4 基于HALCON的形狀匹配

Python 是一種高效靈活的計算機編程語言，能夠方便調用許多功能豐富的函數庫，如本文所用的Opencv 和Numpy 等。HALCON 是德國mvtec公司一款工業(yè)界著名的圖像處理軟件，其內置閾值分割、形態(tài)學處理、輪廓提取等算子，且具有Python 接口，能夠高效高精度地完成各項圖像處理任務。本文基于Python-HALCON 聯(lián)合編程來實現基于改進形狀匹配的扣件缺陷檢測方法的整個流程，其中形狀匹配通過調用HALCON 內置的各類算子來實現。

4.1 形狀匹配流程

HALCON 提供的形狀匹配算法主要分為3 步：即建立模板、尋找匹配形狀和在目標圖片中顯示匹配輪廓。以上3 步由HALCON 內置算子實現，具體實現流程如圖5所示。形狀匹配的不同步驟分別用序號①，②和③表示，序號后為該步驟調用的算子。

圖5 HALCON形狀匹配流程Fig.5 HALCON shape matching flowchart

基于HALCON 的形狀匹配第1 步是通過算子gen_rectangle1 確定模板的大小和區(qū)域，然后利用算子reduce_domain 提取扣件模板中的ROⅠ區(qū)域，最后用算子create_shape_model 得到形狀匹配模板；第2 步是用算子find_shape_model 來找到扣件圖片中與模板對應的形狀；第3步是利用圖示相關算子將扣件中找到的形狀轉化為模板中提取的輪廓，并將其在扣件圖片上進行展示。

4.2 匹配效果展示

形狀匹配中2個關鍵算子是create_shape_model和find_shape_model，其參數的設定決定著匹配速度的快慢以及形狀匹配能否成功。如圖像金字塔層級的設定、形狀匹配的起始和終止角度以及步長的設定、貪婪度的設定等等。根據設定的算子參數得到的形狀匹配模板及其匹配輪廓如圖6 所示。其中圖6(b)中扣件輪廓越深，表示不同模板輪廓與該扣件輪廓匹配成功的次數越多，匹配結果可信度越高。

圖6 形狀匹配模板及其匹配輪廓展示Fig.6 Shape matching template and its matching outline display

5 試驗結果

5.1 試驗數據集

本文所采用的軌道扣件數據集來自2016年衡陽東-郴州西的一段高鐵線，線路類型為CRTSⅢ型板式無砟軌道。軌檢車所拍攝的軌道扣件圖片數量巨大，為便于統(tǒng)計和計算實驗結果，本文選取其中168 張圖片用于實驗測試，每張圖片20 個扣件，總共3 360 個扣件(正樣本)。這3 360 個扣件皆是狀況良好的扣件，扣件皆為WJ-8 型，該樣本可用于驗證該改進方法的匹配召回率和匹配精度。為驗證匹配閾值大小對受損扣件的過濾(即無法匹配成功)程度，本文參照其他線路扣件損壞的形態(tài)。利用Photoshop軟件對良好扣件進行修改(由于修改使得圖像輪廓變化，類比缺陷扣件)，制造出300個彈條斷裂扣件共100 張圖片(負樣本，如圖7所示)。

圖7 缺陷扣件展示Fig.7 Defective fastener display

5.2 結果分析

5.2.1 不同閾值對負樣本的過濾作用

本試驗目的是選擇合適閾值并驗證閾值對負樣本的過濾作用。利用完整扣件模板與含缺陷扣件的圖片進行形狀匹配，閾值從0.8 不斷下調直至出現缺陷扣件匹配率不為0，此閾值即認為是能夠過濾含有較明顯缺陷扣件的臨界點，如表1 所示。只要閾值高于0.7，即可認為形狀匹配不會出現誤匹配的情況。

表1 不同閾值下形狀匹配對負樣本的匹配情況Table 1 Matching of negative samples under different thresholds

5.2.2 不同條件下該改進方法的匹配性能

本試驗是基于改進形狀匹配的扣件缺陷檢測方法的一次綜合性能展示，實驗展示了在閾值分別為0.75 和0.8 時，不同模板庫大小下該方法的匹配速度和召回率，分別如圖8(a)和圖8(b)所示。圖片共有168 張，合計3 360 個扣件。當閾值為0.75，模板數量為32 時，匹配召回率較高，達到了98.15%，且平均每張圖片匹配時間0.18 s，基本能夠達到瞬時匹配的速度；而再繼續(xù)增加模板數量對召回率的提升較小，花費時間增加較多，因此模板數量為32 是一個比較合適的選擇。當閾值為0.8時，匹配召回率相比閾值為0.7時下降較多，且隨著模板數量增大，匹配時間顯著增加。綜上分析，閾值為0.75，模板數量為32 時該扣件缺陷檢測方法具有優(yōu)良的匹配召回率和匹配速度。

圖8 該改進方法在不同條件下匹配性能表現Fig.8 Ⅰmproved method matches performance under different conditions

6 結論

1) 提出一種基于改進形狀匹配的扣件缺陷檢測方法，該方法的一大優(yōu)勢是無需預先對扣件進行定位，在匹配閾值為0.75，模板庫扣件數量為32 的條件下該改進方法對單張圖片匹配時間僅為0.18 s，檢測召回率達到了98.15%，具有較高的實用性、適用性和可行性，能夠較好滿足工務段日常維檢的需要。

2) 創(chuàng)新性地提出了智能裁剪算法用以對扣件原圖片進行上下邊緣裁剪，以確保輸入的扣件圖片中的扣件數量固定，進而能確定輸入的總扣件數量。實踐證明，該算法可行性強，裁剪準確率高，且不會導致有效扣件數量的缺失。

3) 提出了模板庫自動化更新算法，可自動根據輸入的扣件圖片創(chuàng)建扣件模板庫，并具有模板庫優(yōu)化更新的功能，使得模板庫具有流動性，并能夠在高召回率的前提下進一步提高模板庫的多樣性和代表性。

4)進一步豐富了軌檢車拍攝的CRTSⅢ型板式無砟軌道扣件圖片數據，考慮該改進方法對不同路段、不同光照和不同天氣等條件下的扣件缺陷檢測魯棒性，并致力于推動該改進方法在軌檢車實際巡檢場景中的快速、高效部署和應用。