基于可變形部件模板的扣件狀態(tài)識(shí)別

何 彪， 李柏林， 熊 鷹， 范 宏

(西南交通大學(xué) 機(jī)械工程學(xué)院， 四川 成都 610031)

鐵路鋼軌扣件(簡稱扣件)是軌道上用以聯(lián)結(jié)鋼軌和軌枕的零件，又稱中間聯(lián)結(jié)零件，作用是將鋼軌固定在軌枕上。當(dāng)前對(duì)普通鐵路線路軌道基礎(chǔ)設(shè)施的檢查主要依靠有經(jīng)驗(yàn)的巡道工人沿鐵路線路進(jìn)行巡查，這種方式費(fèi)時(shí)、費(fèi)力，可靠性依賴于工人的經(jīng)驗(yàn)與態(tài)度。目前國內(nèi)外研究者圍繞基于計(jì)算機(jī)視覺的扣件檢測方法開展了廣泛的研究[1-9]。文獻(xiàn)[2]分別提取改進(jìn)后的邊緣梯度特征(Improved Edge Orientation Histogram，IEOH)和扣件端部的宏觀局部二值模式(Macroscopic Local Binary Pattern，MSLBP)特征，進(jìn)行層級(jí)加權(quán)特征融合，并利用貝葉斯壓縮感知(Bayesian Compressed Sensing，BCS)完成扣件缺陷識(shí)別。文獻(xiàn)[3-8]針對(duì)不同類型的扣件，訓(xùn)練扣件分類器來識(shí)別扣件丟失。文獻(xiàn)[9]提出了快速模板匹配(Fast Template Matching，F(xiàn)TM)算法，運(yùn)用模板匹配算法根據(jù)軌道的幾何關(guān)系來定位扣件，采用最近鄰分類器對(duì)正常扣件和丟失扣件進(jìn)行分類。

1 DPTM模型

受可變形部件模型[10-13](Deformable Part Model，DPM)算法思想的啟發(fā)，本文提出可變形部件模板模型算法(Deformable Part Template Model，DPTM)，應(yīng)用于扣件狀態(tài)檢測，實(shí)驗(yàn)結(jié)果表明DPTM算法能夠較好地區(qū)分正常、斷裂和丟失三種狀態(tài)的扣件，主要作用有：

(1) 根據(jù)扣件形狀設(shè)計(jì)掩膜模板，用于屏蔽扣件圖像的背景區(qū)域，進(jìn)而DPTM算法只處理扣件圖像中的前景區(qū)域；

(2) 結(jié)合扣件形狀特征，對(duì)扣件進(jìn)行分塊得到扣件部件模型，采用余弦相似性度量HOG特征點(diǎn)的相似度，加權(quán)融合后求得部件相似度，組合不同的部件權(quán)重建立扣件狀態(tài)的分類準(zhǔn)則；

(3) 彈簧模型的運(yùn)用允許了扣件部件的相對(duì)位置局部變動(dòng)，從而適應(yīng)了實(shí)際扣件的局部形變。

1.1 HOG特征提取

方向梯度直方圖特征[14](Histogram of Oriented Gradient，HOG)具有光照魯棒性，在行人檢測和目標(biāo)檢測等領(lǐng)域中有廣泛的應(yīng)用。本文對(duì)原始HOG特征作了簡化，即采用Roberts算子計(jì)算像素點(diǎn)的梯度方向與幅值，選取8×8像素大小的區(qū)域組成一個(gè)無重疊的cell區(qū)域，將每個(gè)cell中0°～180°梯度方向均勻離散為9個(gè)方向后，分別累加對(duì)應(yīng)的梯度幅值，歸一化后得到HOG特征即是對(duì)當(dāng)前cell區(qū)域的特征描述。

1.2 掩膜模板

傳統(tǒng)的扣件狀態(tài)檢測方法[4-5,7]是提取整幅扣件圖像特征后再進(jìn)行分類識(shí)別，能較好地識(shí)別扣件丟失，但識(shí)別扣件斷裂的效果較差。在扣件圖1(a)中，扣件具有特定形狀且沒有充滿整個(gè)矩形圖像區(qū)域，在圖1(b)中，紅色線框內(nèi)的區(qū)域才是實(shí)際的扣件，左側(cè)的碎石塊會(huì)對(duì)后續(xù)的識(shí)別產(chǎn)生影響，因背景區(qū)域存在異物遮擋或者陰影干擾的情況在扣件圖像中十分常見。

圖像掩膜即是用選定的圖像、圖形或物體，來對(duì)待處理的圖像進(jìn)行局部或者全部的遮擋，從而控制圖像處理的區(qū)域或處理過程。根據(jù)扣件形狀，設(shè)計(jì)了扣件掩膜模板f(x,y)，其中f(x,y)=1表示圖像前景區(qū)域，白色區(qū)域見圖1(c)；f(x,y)=0表示圖像背景區(qū)域，黑色區(qū)域見圖1(c)?？奂难谀ばЧ妶D1(d)。掩膜模板主要用于屏蔽圖像中背景區(qū)域的干擾，使得后續(xù)的識(shí)別算法只關(guān)注圖像中的前景區(qū)域，以增強(qiáng)識(shí)別算法的魯棒性。

1.3 扣件分塊

通?？奂臄嗔巡糠种徽颊w的20%左右，采用扣件整體特征的分類算法難以識(shí)別出扣件局部斷裂。但將斷裂部分與正?？奂膶?duì)應(yīng)部位進(jìn)行對(duì)比，差異則較大，利用這一特性即可達(dá)到識(shí)別出斷裂扣件的效果。根據(jù)扣件輪廓形狀，將扣件分割為5個(gè)無重疊的區(qū)域，圖2中每一個(gè)紅色的矩形框表示一個(gè)部件，框中的數(shù)字為這一部件的編號(hào)?？奂牟考硎緸関i，其中i∈{1,2,…,5}，部件vi為對(duì)應(yīng)區(qū)域的表觀特征，圖3為訓(xùn)練得到的扣件標(biāo)準(zhǔn)部件模型，圖中每一個(gè)亮點(diǎn)區(qū)域表示單個(gè)的HOG特征模板點(diǎn)。

1.4 扣件部件彈簧模型

部件模型采用圖模型[15]G=(V,E)方式表達(dá)，其中頂點(diǎn)V={v1,v2,…,vn}與n個(gè)部件相對(duì)應(yīng)，邊(vi,vj)∈E表示部件vi和vj的連接關(guān)系。連接關(guān)系可以是剛性的也可以是彈性的，彈性連接像彈簧一樣，具有一定的可變形能力，形象的稱之為彈簧模型。在二維圖像中，部件vi為圖像局部區(qū)域的表觀特征，φi,j為部件vi和vj的空間相對(duì)位置關(guān)系，其中φi,j∈φ，且φ={φi,j|(vi,vj)∈E}。

扣件部件的相對(duì)位置采用彈簧模型進(jìn)行度量，部件1作為中間連接部件，采用滑動(dòng)窗口方式在扣件圖像中特定區(qū)域搜索檢測，部件2～5相對(duì)于部件1的相對(duì)位置則被限制在一定的區(qū)域范圍內(nèi)變動(dòng)，見圖4。

φi,1=(xi,1,yi,1)+(dxi,1,dyi,1)i=2,3,4,5

( 1 )

式中：φi,1為部件i相對(duì)于部件1的位置變動(dòng)范圍；(xi,1,yi,1)為標(biāo)準(zhǔn)模型中部件i相對(duì)于部件1的錨點(diǎn)位置；(dxi,1,dyi,1)為部件i相對(duì)于錨點(diǎn)位置允許的變動(dòng)范圍。扣件部件的相對(duì)位置允許在一定的范圍內(nèi)彈性可變，以適應(yīng)扣件由于光照變化和拍攝角度不同而引起的局部形變和微小的尺度變化。

1.5 特征點(diǎn)相似性度量

余弦相似度[16]采用向量夾角的余弦值來衡量兩個(gè)向量間差異的大小，相比距離度量，余弦相似度更加注重兩個(gè)向量在方向上的差異，本文采用余弦相似性來度量單個(gè)HOG特征點(diǎn)與標(biāo)準(zhǔn)部件模型中對(duì)應(yīng)HOG模板點(diǎn)的相似度。

( 2 )

式中:s(x,y)為HOG特征空間中點(diǎn)(x,y)處的余弦相似度;h(x,y,z)為測試圖像的HOG特征圖；t(x,y,z)為標(biāo)準(zhǔn)部件模型的HOG模板圖；l為HOG的特征維度。

1.6 扣件部件相似性度量

部件相似性采用帶掩模的特征點(diǎn)加權(quán)求和得到，在測試圖像特征空間中選取左上角點(diǎn)坐標(biāo)為(x,y)，大小為Ai×Bi的特征區(qū)域，其與訓(xùn)練得到的標(biāo)準(zhǔn)部件模型i之間的部件相似度為

pi(x,y)=

( 3 )

式中:wi(a,b)為部件i中特征點(diǎn)(a,b)處的權(quán)重，表示特征點(diǎn)在部件中的重要性，為了簡化模型的訓(xùn)練，各個(gè)特征點(diǎn)選取相同的權(quán)重值;mi(a,b)為部件i的掩膜模板，且

( 4 )

其中，γi(a,b)為從特征空間到原始圖像像素空間的位置變換；fi(x,y)為像素空間的掩膜模板。

扣件檢測時(shí)，部件的相似度取當(dāng)前部件可變動(dòng)范圍內(nèi)相似度的最大值，即

( 5 )

i=2,3,4,5

1.7 扣件狀態(tài)分類準(zhǔn)則

測試扣件圖像與扣件標(biāo)準(zhǔn)部件模型整體相似度為

( 6 )

式中:βj為第j組權(quán)重組合下的整體相似度,j=1,2,3,…;δj,i為部件i在第j組權(quán)重組合下的部件權(quán)重，表示部件i在整體中的重要性，根據(jù)經(jīng)驗(yàn)和訓(xùn)練綜合可以得到。

分別定義扣件整體高閾值Th和低閾值Tl，Th和Tl是通過訓(xùn)練和經(jīng)驗(yàn)綜合得到的，扣件狀態(tài)判斷的準(zhǔn)則如下。

( 7 )

2 扣件狀態(tài)檢測算法的評(píng)價(jià)標(biāo)準(zhǔn)

扣件的狀態(tài)分為正常和缺陷兩類，扣件缺陷主要為斷裂和丟失。經(jīng)過大量統(tǒng)計(jì)發(fā)現(xiàn)實(shí)際鐵路線路中扣件缺陷樣本占總體樣本的比例小于0.1%，若某種扣件狀態(tài)檢測算法將所有扣件都判別為正常扣件，則該算法的正確率仍然高達(dá)99.9%，而錯(cuò)誤率低于0.1%?？奂顟B(tài)檢測的實(shí)際需求是檢出所有缺陷扣件，因其失去了對(duì)鋼軌固定作用，故將缺陷扣件判別為正?？奂遣荒苋萑痰?。

在二分類問題中，可以將樣本根據(jù)其真實(shí)類別和學(xué)習(xí)器預(yù)測類別的組合劃分為真正樣本、假正樣本、真負(fù)樣本、假負(fù)樣本四種情況，令TP、FP、TN、FN分別表示其對(duì)應(yīng)的樣本數(shù)量，則顯然有TP+FP+TN+FN=樣本總數(shù)。分類結(jié)果的“混淆矩陣”見表1。

表1 分類結(jié)果混淆矩陣

對(duì)于扣件狀態(tài)檢測算法來說，要求假正樣本FP趨近于0，同時(shí)期望假負(fù)樣本FN盡可能的少，根據(jù)混淆矩陣可以分別定義扣件的漏檢率M和誤檢率E。

( 8 )

( 9 )

3 實(shí)驗(yàn)

3.1 樣本選取

為了驗(yàn)證DPTM算法對(duì)各種光照條件下扣件樣本的魯棒性，訓(xùn)練時(shí)僅選取6 000張陰天光照條件下的完整扣件作為訓(xùn)練正樣本，見圖6。實(shí)際采集的圖像存在晴天、陰天、隧道、雨天四種光照條件，其圖像亮度呈依次遞減趨勢。另外選取200張丟失或斷裂扣件作為負(fù)樣本，用于綜合確定扣件部件權(quán)重組合和扣件整體高、低閾值。

測試時(shí)則分別選取晴天、陰天、隧道、雨天四種光照條件下的扣件樣本各2 000張，共計(jì)8 000張測試樣本。樣本中包含不同天氣情況下丟失和斷裂樣本各50張，見圖7。

3.2 結(jié)果分析

測試結(jié)果見表2，部分結(jié)果圖像見圖8～10。圖8～10中繪制的相應(yīng)矩形框表示DPTM算法在這一位置檢測到了對(duì)應(yīng)的部件。圖8、圖9為DPTM算法判定為正常的扣件，說明該算法具有一定光照魯棒性和局部形變適應(yīng)能力，同時(shí)對(duì)部件2、3處存在部分遮擋情況的扣件也能將其判別為正?？奂?。圖10為DPTM算法誤判為斷裂的扣件，圖中部件4或部件5所在的位置存在遮擋，導(dǎo)致與扣件標(biāo)準(zhǔn)模型相對(duì)應(yīng)的部件差別較大，因此這類誤判具有合理性。

表2 扣件樣本測試結(jié)果對(duì)比

注：表中“—”為原文獻(xiàn)中未給出相應(yīng)數(shù)據(jù)。

分析表2中的檢測結(jié)果，可知DPTM算法在滿足較低漏檢率的同時(shí)也取得了較低的誤檢率。文獻(xiàn)[9]提出的FTM算法雖然也取得了較低的漏檢率，但其誤檢率偏高，增加了后期人工復(fù)查的工作量。文獻(xiàn)[9]和[4]中并沒有給出各種光照條件下的扣件檢測結(jié)果，文獻(xiàn)[2]也僅給出了精度這一項(xiàng)指標(biāo)。

表2結(jié)果顯示，僅采用陰天光照條件下的樣本進(jìn)行訓(xùn)練， DPTM算法對(duì)晴天和雨天光照條件下的樣本進(jìn)行檢測仍取得了漏檢率和誤檢率均不超過20%的效果；且其中漏檢的樣本均是部分?jǐn)嗔训目奂?，誤檢的樣本中包含局部遮擋的扣件。表2中晴天和雨天光照條件下漏檢率和誤檢率比陰天和隧道光照條件下偏高的主要原因在于扣件標(biāo)準(zhǔn)部件模型是運(yùn)用陰天光照條件下的樣本訓(xùn)練得到的，而晴天和雨天的扣件樣本與陰天的扣件樣本存在一定的表觀特征差異。因此為了獲取更好的實(shí)驗(yàn)結(jié)果，最簡單可行的方案是分別針對(duì)晴天和雨天光照條件下扣件樣本訓(xùn)練對(duì)應(yīng)的扣件標(biāo)準(zhǔn)部件模型，但這樣會(huì)增加整個(gè)扣件檢測算法的復(fù)雜性。

表3給出了相關(guān)算法的性能對(duì)比，綜合來看DPTM算法相對(duì)于文獻(xiàn)[9]的FTM算法平均精度提高了8.93%，平均誤檢率降低了8.07%。

表3 算法性能比較

4 結(jié)束語

針對(duì)鐵路扣件狀態(tài)檢測中，存在扣件圖像受光照變化的影響較大、斷裂扣件難以識(shí)別的問題，本文提出了DPTM算法。通過提取扣件的HOG特征，設(shè)計(jì)扣件掩膜模板，分塊扣件形成部件模型，采用彈簧模型度量部件的相對(duì)位置。經(jīng)理論分析和扣件狀態(tài)檢測實(shí)驗(yàn)，結(jié)果顯示DPTM算法具有一定的光照魯棒性，適應(yīng)性強(qiáng)，可以推廣應(yīng)用到其它目標(biāo)檢測領(lǐng)域。