基于圖像處理的多視覺特征融合方法及其應(yīng)用

劉建華，歐陽萍，劉戈靈，鐘澤輝，曾凡齊，袁子鈞

（1.湖南工業(yè)大學(xué) 交通工程學(xué)院，湖南 株洲 412007；2.中國(guó)鐵路廣州局集團(tuán)有限公司 株洲車輛段 株洲輪軸車間，湖南 株洲 412007；3.常德金鵬印務(wù)有限公司，湖南 常德 415000）

1 研究背景

軌道交通車輛牽引/制動(dòng)性能的有效發(fā)揮依賴于輪對(duì)和軌道相互接觸時(shí)的黏著利用情況[1-2]，而輪軌接觸行為的復(fù)雜性和強(qiáng)非線性耦合作用，導(dǎo)致輪軌黏著特性呈現(xiàn)復(fù)雜多變的瞬態(tài)現(xiàn)象。其影響因素眾多，尤其是軌面狀態(tài)變化是改變輪軌黏著的重要因素[3-4]。不同軌面狀態(tài)下的輪軌黏著特性差異較大，如積雪軌面的黏著系數(shù)遠(yuǎn)小于干燥軌面。因我國(guó)軌道交通車輛運(yùn)行區(qū)域繁雜，運(yùn)行過程中的軌面狀態(tài)突變時(shí)有發(fā)生，實(shí)現(xiàn)軌面狀態(tài)的有效辨識(shí)可為提高輪軌黏著利用率，提升車輛運(yùn)行效率提供支撐。

國(guó)內(nèi)外學(xué)者在軌面識(shí)別方面做了一定的研究工作，尤其是在軌道表面缺陷檢測(cè)識(shí)別方面取得了一定的成果。閔永智等[5]設(shè)計(jì)了一個(gè)軌面圖像采集裝置，用于提取軌道表面缺陷圖像Harr-like 特征和低層視覺特征，利用C4.5 和AdaBoost 算法對(duì)軌面缺陷進(jìn)行分類識(shí)別。Zhang H.等[6]結(jié)合軌面圖像，提出了一個(gè)基于馬爾可夫隨機(jī)場(chǎng)的魯棒高斯混合模型，以對(duì)軌道表面缺陷進(jìn)行快速分割。Xiong Z.M.等[7]利用激光測(cè)量輪廓并與標(biāo)準(zhǔn)軌道模型輪廓對(duì)比，實(shí)現(xiàn)了軌道表面缺陷的視覺檢測(cè)。然而，現(xiàn)有的軌面狀態(tài)辨識(shí)方法大多是基于車輛運(yùn)行時(shí)的黏著系數(shù)、蠕滑速度等實(shí)時(shí)數(shù)據(jù)，構(gòu)造軌面狀態(tài)的數(shù)據(jù)驅(qū)動(dòng)模式實(shí)現(xiàn)的，如任強(qiáng)等[8]、黃景春等[9]通過測(cè)量輪軌的黏著系數(shù)，并且通過估算輪軌的蠕滑速度，構(gòu)造了基于模糊規(guī)則的軌面狀態(tài)辨識(shí)模型；Zhang C.F.等[10]基于實(shí)時(shí)黏著狀態(tài)，提出了一種基于BP-Adaboost 算法的軌面狀態(tài)辨識(shí)方法。這其實(shí)是一種事后狀態(tài)檢測(cè)方法，而對(duì)因軌面狀態(tài)突變引起的空轉(zhuǎn)、滑行等問題，難以實(shí)施有效的預(yù)測(cè)控制。實(shí)際上，水、油、冰、雪等軌面上的“第三介質(zhì)”不同時(shí)，軌面所呈現(xiàn)的視覺信息也會(huì)有較大差異，如干燥軌面粗糙度較大、冰雪覆蓋軌面則呈現(xiàn)高反射白色。通過提取不同軌面狀態(tài)的視覺信息特征，研究多視覺信息特征融合的軌面狀態(tài)辨識(shí)方法，對(duì)獲取輪軌黏著狀態(tài)、實(shí)施高性能黏著控制具有重要意義。

為此，本研究擬基于先進(jìn)視覺處理和模式識(shí)別技術(shù)，通過分析影響輪軌黏著的顏色、紋理等軌面狀態(tài)的視覺信息特征，建立一個(gè)基于支持向量機(jī)（support vector machines，SVM）的軌面狀態(tài)辨識(shí)模型，最后通過實(shí)驗(yàn)仿真驗(yàn)證了課題組所提出方法的有效性和可行性。

2 軌面狀態(tài)的視覺辨識(shí)框架

依據(jù)實(shí)際軌面工況，將軌面狀態(tài)分為干燥、潮濕、油污和積雪4 類狀態(tài)，利用視覺采集裝置獲取軌面狀態(tài)的視覺信息，通過分析不同軌面下的顏色、紋理等視覺信息的差異，提取最能反映軌面狀態(tài)的視覺信息特征，進(jìn)而建立軌面狀態(tài)辨識(shí)模型，形成如圖1所示的軌面狀態(tài)辨識(shí)框架。

圖1 軌面狀態(tài)的視覺辨識(shí)框架Fig.1 Visual identification framework of track state

如圖1所示，基于軌面視覺信息采集設(shè)備獲取的軌面圖像，通過圖像分割、圖像灰度化、圖像去噪等圖像預(yù)處理模塊，減少因光源、攝像機(jī)電流噪聲等環(huán)境因素造成的圖像污染；通過提取并分析圖像的顏色和紋理特征，選取反映軌面狀態(tài)的圖像信息；進(jìn)而利用SVM 建立軌面狀態(tài)圖像特征與軌面狀態(tài)之間的關(guān)聯(lián)模型，以獲取軌面狀態(tài)。

3 圖像預(yù)處理

從現(xiàn)場(chǎng)采集的軌面圖像容易受到環(huán)境或人為因素噪聲干擾。為了保證軌面圖像質(zhì)量，必須對(duì)圖像進(jìn)行預(yù)處理。

圖像預(yù)處理的具體步驟如下：首先，將每張軌面圖像裁剪成只包含鐵軌接觸面的子圖像，子圖像的大小尺寸為750×4 027。然后，對(duì)子圖像進(jìn)行灰度化處理，以提高運(yùn)行速度。接下來利用二維中值函數(shù)對(duì)灰度子圖像消除噪聲，以提高圖像質(zhì)量。由于篇幅有限，具體的灰度化處理、中值濾波等方法詳見文獻(xiàn)[11-12]，本文不再贅述。經(jīng)過圖像預(yù)處理后的4 種軌面狀態(tài)如圖2所示。

圖2 4 種軌面狀態(tài)的圖像預(yù)處理Fig.2 Image preprocessing

由圖2可以看出，經(jīng)過預(yù)處理后的軌面圖像均具有較高的對(duì)比度和清晰度，便于后續(xù)特征提取與分類判別工作。

4 軌面狀態(tài)視覺特征提取

4.1 顏色特征提取

由4 種軌面狀態(tài)的顏色特征可以發(fā)現(xiàn)，積雪軌面圖像最為明亮，干燥軌面圖像相對(duì)于潮濕軌面圖像、油污軌面圖像較為明亮，油污軌面圖像最為灰暗。為此，選取預(yù)處理后軌面圖像的灰度均值來描述圖像的明暗程度。

對(duì)于M×N軌面圖像，圖像點(diǎn)(x,y)的灰度值為f(x,y)，則灰度均值計(jì)算公式為

潮濕軌面圖像、油污軌面圖像比干燥軌面圖像顏色鮮艷，圖像反差較大；積雪軌面圖像顏色單一，圖像反差最小。為此，選取預(yù)處理后軌面圖像的灰度方差反映圖像的反差大小?；叶确讲钣?jì)算公式見式（2）。

選取干燥、潮濕、油污、積雪軌面圖像各50 張，根據(jù)式（1）（2）分別計(jì)算4 種軌面的灰度均值和灰度方差，計(jì)算結(jié)果如圖3所示。

圖3a是4 種軌面的灰度均值散點(diǎn)圖，可以發(fā)現(xiàn)4 種軌面灰度均值存在差異，并有分層現(xiàn)象。積雪軌面圖像的亮度最大，則其灰度均值最大。其后依次是干燥軌面、潮濕軌面、油污軌面。圖3b是4種軌面的灰度方差散點(diǎn)圖，由圖同樣也發(fā)現(xiàn)4 種軌面有分層現(xiàn)象。且潮濕軌面的方差最大，對(duì)比度較高。其次是油污軌面、干燥軌面。積雪軌面由于軌面被雪覆蓋成白皚皚的一片，對(duì)比度較小，則方差最小。

圖3 4 種軌面的顏色特征提取散點(diǎn)圖Fig.3 Color feature extraction scatter diagram of four track surfaces

4.2 紋理特征提取

分析不同狀態(tài)軌面紋理，發(fā)現(xiàn)積雪軌面紋理分布均勻，紋路較為模糊；潮濕軌面受水的影響比干燥軌面紋理清晰，油污軌面紋路較為清晰。為此，選取灰度共生矩陣[13-14]的對(duì)比度（Ccon）描述軌面圖像紋理清晰程度。

設(shè)軌面圖像灰度共生矩陣是N×N矩陣，灰度i與灰度j相距為Δδ=(Δx,Δy)的概率為p(i,j)，則Ccon的計(jì)算公式為

軌面被不同介質(zhì)覆蓋，軌面圖像灰度分布不同。積雪軌面圖像灰度分布均勻，油污軌面圖像灰度分布較均勻，潮濕軌面圖像灰度分布離散。為此，選取灰度共生矩陣的角二階矩（Casm）描述軌面圖像灰度均勻程度，其計(jì)算公式見式（4）。

選取干燥、潮濕、油污、積雪軌面圖像各50張，根據(jù)式（3）和（4）分別計(jì)算4 種軌面的Ccon、Casm，計(jì)算結(jié)果如圖4所示。

圖4 4 種軌面的紋理特征提取散點(diǎn)圖Fig.4 Texture feature extraction scatter diagram of four track surfaces

圖4a是4 種軌面的Ccon散點(diǎn)圖，可以看到潮濕軌面的Ccon最大，圖像紋理最為清晰；其次是干燥軌面、油污軌面，積雪軌面的Ccon最小，圖像紋理模糊。圖4b是4 種軌面的Casm散點(diǎn)圖，可以明顯看到4 種軌面狀態(tài)有分層現(xiàn)象，積雪軌面因其灰度分布均勻，Casm最大，圖像其次是油污軌面、干燥軌面，而潮濕軌面Casm最小，圖像灰度分布最離散。

5 多特征融合SVM 的軌面狀態(tài)辨識(shí)

軌面狀態(tài)會(huì)隨著軌道車輛運(yùn)行環(huán)境的變化而變化，則軌面圖像分類屬于非線性的模式識(shí)別問題，而SVM 旨在解決非線性等問題，應(yīng)用于特征分類、模式識(shí)別等問題[15-16]。為此，選用SVM 作軌面狀態(tài)分類器。

針對(duì)采集的軌面數(shù)據(jù)有4 類，即k∈{1,2,3,4}，選取了“1V1”方法構(gòu)建多分類SVM 模型[17]。設(shè)顏色特征向量為A1，紋理特征向量為A2，則融合特征向量為

輸入融合特征A，m個(gè)分類函數(shù)為

式中：表示拉格朗日系數(shù)；bJ表示分類閾值；K(A,Ai)表示核函數(shù)；yi∈{-1,1}。

當(dāng)同時(shí)滿足式（7）和式（8），則A應(yīng)屬于第k類。

為了保證軌面分類識(shí)別的有效性，即

式中τ＞0，則A應(yīng)屬于第k類。

6 系統(tǒng)驗(yàn)證與分析

本文仿真實(shí)驗(yàn)采用MATLABR2016a 軟件，實(shí)驗(yàn)環(huán)境如下：CPU，Intel Core i3-4005M@ 1.7 GHz；內(nèi)存，4 GB；Windows10 操作系統(tǒng)。從現(xiàn)場(chǎng)采集了4 種不同狀態(tài)的軌面圖像，經(jīng)過預(yù)處理后，建立圖像數(shù)據(jù)庫，其中干燥軌面、潮濕軌面、油污軌面、積雪軌面各50 張，共計(jì)200 張軌面圖像。

為了驗(yàn)證所提方法的有效性和可行性，利用SVM分類器分別對(duì)基于第3節(jié)實(shí)驗(yàn)提取的顏色特征、紋理特征和融合顏色、紋理特征對(duì)軌面數(shù)據(jù)庫進(jìn)行分類。測(cè)試集圖片和訓(xùn)練集圖片按照軌面數(shù)據(jù)庫總量1:4劃分，則測(cè)試集樣本為40 張，訓(xùn)練集樣本為160 張?；? 種不同特征的不同狀況軌面識(shí)別正確率對(duì)比如表1所示。

表1 不同特征的SVM 識(shí)別正確率對(duì)比Table 1 Comparison of recognition accuracy of SVM with different features

由表1可以看出，基于融合特征的模型識(shí)別正確率比基于單一特征的模型識(shí)別正確率高，其正確率可達(dá)到95.0%。而基于單一特征模型中，采用基于顏色特征的模型比基于紋理特征模型的要好，其原因是軌面長(zhǎng)期受輪軌磨損，紋理信息比較弱。3 種模型的對(duì)比試驗(yàn)結(jié)果表明，基于多特征融合的SVM 模型性能良好，具有較高的識(shí)別精度。基于3 種不同特征的SVM 分類結(jié)果如圖5所示。

圖5 測(cè)試集分類結(jié)果Fig.5 Test set classification results

圖5a是基于顏色特征的不同狀況軌面分類結(jié)果圖，從圖中可以看出，干燥、積雪軌面因其顏色特征顯著，基本識(shí)別正確。而潮濕、油污軌面的誤判較多，其原因可能是潮濕、油污軌面的顏色比較相近。圖5b是基于紋理特征的不同狀況軌面分類結(jié)果圖，從圖中也可以驗(yàn)證軌面紋理信息微弱，干燥軌面、潮濕軌面、油污軌面的誤判均較多，而積雪軌面因其紋理特征分布均勻，基本識(shí)別正確。圖5c是基于融合顏色、紋理特征的不同狀況軌面分類結(jié)果圖，從圖中可以觀察到干燥軌面、潮濕軌面和積雪軌面基本識(shí)別正確，而油污軌面只有2 張圖像被誤判。因此可得，課題組所提方法可以有效地識(shí)別軌面狀態(tài)。

7 結(jié)語

為了能有效地識(shí)別軌面狀態(tài)，本研究根據(jù)不同狀態(tài)軌面的視覺特征差異，選取灰度均值、灰度方差、對(duì)比度、角二階矩作為軌面圖像的特征參數(shù)，并且通過SVM 對(duì)軌面狀態(tài)圖像進(jìn)行分類仿真。實(shí)驗(yàn)結(jié)果顯示，本研究所提出的方法具有較高的識(shí)別精度。然而，軌面狀態(tài)受環(huán)境影響而復(fù)雜多變，本研究只提取了干燥、潮濕、油污、積雪軌面，下一步將搭建實(shí)驗(yàn)平臺(tái)，進(jìn)一步研究復(fù)雜的軌面狀態(tài)，如水油混合軌面等，以增強(qiáng)所提方法的實(shí)用范圍。