彭 博，蔡曉禹，李少博，張有節(jié)

(重慶交通大學(xué) 交通運輸學(xué)院,重慶 400074)

0 引 言

裂縫是路面各類破損中最常見、最易發(fā)生和最早期產(chǎn)生的病害之一，它伴隨著道路的整個使用期，并隨著路齡的增長而加重。路面裂縫不但影響路容美觀和行車舒適性，而且容易擴展，造成路面的結(jié)構(gòu)性破壞，縮短路面使用壽命。因此應(yīng)及時檢測路面裂縫破損狀況，制定和實施養(yǎng)護措施，否則雨水及雜物會沿裂縫進(jìn)入面層結(jié)構(gòu)及路基，導(dǎo)致路面承載能力下降，加速路面局部或成片損壞，降低行車安全性及道路通行能力。

最初，人們采用人工檢測方法獲取路面裂縫信息，不僅勞動強度高、效率低下，且影響交通、難以保障檢測人員安全。20世紀(jì)80年代，美國、加拿大等發(fā)達(dá)國家紛紛開展路面裂縫自動檢測系統(tǒng)的研發(fā)工作[1]，以滿足急劇增長的路面養(yǎng)護管理需求。之后30年間，許多基于超聲波技術(shù)、探地雷達(dá)和攝像測量等技術(shù)的路面檢測系統(tǒng)先后面世。其中，攝像測量法能全面地采集路面裂縫、坑槽、松散、車轍、平整度等信息，已逐漸成為路面破損檢測的主流技術(shù)[2]。

盡管如此，現(xiàn)今絕大部分路面裂縫檢測系統(tǒng)仍只能采集路面二維信息(主要是路面灰度圖像)。2010年以來，路面三維信息采集系統(tǒng)才開始嶄露頭角并顯示出廣闊的前景，如路面綜合檢測車DHDV(Digital Highway Data Vehicle)[3]和路面三維掃描系統(tǒng)[4]，在路面信息采集方面實現(xiàn)了由灰度圖像向三維數(shù)據(jù)的變革，彌補了傳統(tǒng)二維圖像質(zhì)量易受車道標(biāo)線、陰影及油污等影響的缺陷，顯著地提高了路面數(shù)據(jù)質(zhì)量。

隨著路面三維數(shù)據(jù)采集技術(shù)的研發(fā)和應(yīng)用，基于三維數(shù)據(jù)的裂縫自動識別研究也應(yīng)運而生：Y. TSAI等[5]評估和驗證了3D激光技術(shù)在不同光照和弱對比度情形下檢測裂縫的可行性；X.M.SUN等[6]基于稀疏矩陣和深度圖像(路面三維數(shù)據(jù)的存儲與表達(dá)方式之一，其像素值代表深度值)進(jìn)行裂縫檢測；A.ZHANG 等[7]基于路面高精三維數(shù)據(jù)提出了檢測裂縫的匹配濾波算法；H.Y.GUAN等[8]根據(jù)激光掃描高密度點云數(shù)據(jù)提取裂縫；B.PENG等[9]根據(jù)1 mm精度3D激光掃描數(shù)據(jù)提出了基于多種子融合的裂縫識別算法；彭博等[10]根據(jù)1 mm精度路面深度圖像提出基于各向異性測度的裂縫識別算法。這些方法基于路面三維數(shù)據(jù)和傳統(tǒng)的二維圖像處理方法識別裂縫，一定程度上提高了裂縫檢測的準(zhǔn)確率和全面性。

綜觀路面裂縫識別算法研究，基于灰度圖像的裂縫識別(如閾值分割法[11]、邊緣檢測法[12-13]、種子識別算法[14]、基于變換處理的方法[15]、基于紋理分析[16]和全局優(yōu)化[17]的裂縫識別算法)受到數(shù)據(jù)質(zhì)量缺陷的限制，算法性能難有本質(zhì)上的提升；基于三維數(shù)據(jù)的裂縫檢測得益于高精數(shù)據(jù)的支撐，算法性能有較大改善，但其仍以二維圖像處理方法檢測裂縫，并未考慮路面三維空間特征。為進(jìn)一步挖掘有利于裂縫檢測的路面三維信息，有必要在路面三維數(shù)據(jù)的基礎(chǔ)上對考慮三維特征的路面裂縫檢測展開研究。

為推動路面裂縫識別朝著三維檢測方向發(fā)展并快速、準(zhǔn)確、完整地識別裂縫，筆者基于DHDV[3]的三維虛擬路面進(jìn)行4個角度的觀察與分析，設(shè)計具有并行框架的裂縫識別算法捕捉這4個角度的投影圖像裂縫信息，然后進(jìn)行融合與去噪處理、獲得裂縫識別結(jié)果。最后，應(yīng)用Visual C++和OpenCV實現(xiàn)算法并進(jìn)行測試分析。

1 算法總體介紹

根據(jù)1 mm/像素的路面深度圖像(由DHDV采集的精度為1 mm/像素、尺寸為4 096像素×2 048像素的路面圖像，表示4 096 mm× 2 048 mm的一塊路面，由于其像素值代表路面各點的深度，為與傳統(tǒng)的路面灰度圖像相區(qū)別，被稱為深度圖像或路面三維圖像)，DHDV主要應(yīng)用消隱處理[18]和明暗效應(yīng)處理[19](又稱為光照模型處理)獲得了具有真實感的三維虛擬路面，如圖1。按照圖1的4個角度(相互對稱且均位于路面斜上方，光照1為左→右，光照2為右→左，光照3為前→后，光照4為后→前)對路面進(jìn)行光照時可獲得4幅投影圖像，相當(dāng)于從不同角度觀察路面。因此，在平面圖像中難以看到的裂縫，有可能在投影圖像得到較為清晰的顯示。(由于投影圖像主要由光照模型投射產(chǎn)生，筆者將投影圖像統(tǒng)稱為光照強度圖像，其像素值為強度值) 。

圖1 生成光照強度圖像Fig.1 Generation of lighting intensity images

結(jié)合路面深度圖像和4幅光照強度圖像(Ω1～Ω4)設(shè)計具有并行運算框架的裂縫識別算法。首先，識別4幅光照強度圖像Ω1～Ω4的裂縫信息并進(jìn)行融合；然后，結(jié)合深度圖像G對所獲得的裂縫像素進(jìn)行深度驗證；最后進(jìn)行去噪處理獲得裂縫圖像，總體流程如圖2。

圖2 算法總體流程Fig.2 Overall process of algorithm

2 光照強度圖像裂縫識別

2.1 裂縫識別思想

光照強度的圖像特征與深度圖像及傳統(tǒng)的路面灰度圖像具有顯著的區(qū)別，主要體現(xiàn)在：①在深度或灰度圖像中，裂縫主要表現(xiàn)為深度或灰度值較低的不規(guī)則帶狀，而光照強度圖像中的裂縫可能表現(xiàn)為較強的帶狀反光區(qū)域或帶狀陰影，如圖3；②富有立體感的光照強度圖像凸顯了裂縫目標(biāo)，也增強了噪聲。因此，需要設(shè)計新的算法檢測光照強度圖像中的裂縫。

圖3 裂縫圖像特征Fig.3 Crack image features

在光照強度圖像中，路面裂縫特征為：強度值較低(陰影區(qū))、方向性較強、條帶狀，或強度值較高(反光區(qū))、方向性較強、條帶狀。于是，1張光照強度圖像的裂縫檢測可分為陰影區(qū)和反光區(qū)裂縫檢測兩部分。由于有4張路面光照強度圖像，則可形成8條并列的裂縫信息檢測流程，最終檢測出8份裂縫初步圖像Ωs1～Ωs4(陰影區(qū)裂縫，分別來自于Ω1～Ω4)和Ωr1～Ωr4(反光區(qū)裂縫，分別來自于Ω1～Ω4)。最后，將這8幅裂縫圖像進(jìn)行融合與去噪等處理，獲得裂縫識別結(jié)果。

2.2 裂縫識別過程

以根據(jù)Ω1檢測陰影區(qū)裂縫Ωs1為例，裂縫識別過程如圖4。

圖4 陰影區(qū)裂縫檢測(Ω1)Fig.4 Crack detection at the shadowed area (Ω1)

裂縫識別過程主要有4個步驟：

1)圖像預(yù)處理：首先進(jìn)行中值濾波去噪，接著以起點像素=(0,0)將光照強度圖像Ω1劃分為8像素×8像素的子塊，降維圖像Ω10的每個像素則對應(yīng)于一個8像素×8像素的子塊，且其像素值為這8×8個像素的像素值均值。Ω11的獲得過程類似，只是8像素×8像素子塊劃分的起點像素為(4,4)。后續(xù)操作基于Ω10和Ω11進(jìn)行裂縫檢測、連接、融合與去噪處理。

2)裂縫種子識別：檢測降維圖像Ω10和Ω11中各個像素是否具有強度值較低和方向性較強兩項特征(具體方法：強度驗證和對稱性檢測)，符合這些特征的像素稱為裂縫種子，其余的則為非裂縫像素。

3)裂縫連接：先基于最優(yōu)路徑連接強度相似的裂縫種子，然后將方向相似的裂縫種子連接起來，增強裂縫的整體性和連續(xù)性。

4)裂縫種子融合與去噪處理：將來自于降維圖像Ω10和Ω11的2幅裂縫初步識別結(jié)果融合在一起(取裂縫像素的并集)，然后進(jìn)行滑動窗口去噪處理，獲得裂縫圖像Ωs1。

獲得Ωs2～Ωs4及Ωr1～Ωr4的過程與此類似，只是，由于需要分別檢測陰影區(qū)裂縫和反光區(qū)裂縫，且光照強度圖像來自于4個不同的光照角度，其裂縫種子識別的方法又有所區(qū)別。

強度驗證方面：陰影區(qū)和反光區(qū)在其鄰域范圍內(nèi)強度值規(guī)律不同，因此強度驗證方法不同，分別編號為I(陰影區(qū)強度驗證)和II(反光區(qū)強度驗證)加以區(qū)別。即獲得Ωs1～Ωs4時應(yīng)用強度驗證I，檢測Ωr1～Ωr4時則應(yīng)用強度驗證II，具體方法詳見2.3節(jié)。

對稱性檢測方面：光照強度圖像Ω1和Ω2來源于光照1和光照2，由于是左右方向的光照，大多數(shù)情況下可突出縱向裂縫，而Ω3和Ω4來源于前后方向的光照3和光照4，通常能突出橫向裂縫，因此，Ω1和Ω2特征相似，Ω3和Ω4特征相似。相對應(yīng)地，對稱性檢測方法也有所不同，根據(jù)Ω1和Ω2獲得Ωs1～Ωs2、Ωr1～Ωr2時應(yīng)用對稱性檢測I，根據(jù)Ω3和Ω4獲得Ωs3～Ωs4、Ωr3～Ωr4時應(yīng)用對稱性檢測II，具體方法詳見2.3節(jié)。

2.3 裂縫種子識別方法

2.3.1 強度驗證

強度驗證I：中心像素(i,j)為需要強度驗證的像素，在半徑為r=4的鄰域內(nèi)，強度應(yīng)滿足[14]：

(1)

(2)

強度驗證II與強度驗證I相仿，只是中心像素在其半徑為r=4的鄰域內(nèi)，其強度應(yīng)滿足：

(3)

2.3.2 對稱性檢測

1)對稱性檢測I

針對光照強度圖像Ω1和Ω2?；趫D5的模板(每個方格代表降維圖像的一個像素)檢測每個像素在0°、45°、90°和135°方向上的強度變化情況[14]，判斷其是否存在顯著的差異。

①分別計算中心像素(i,j)兩側(cè)r=4個像素的強度均值mw1和mw2，w=1、2、3、4，分別表示0°、45°、90°和135°這4個方向；

(4)

(5)

式中：I(n)為對稱性檢測模版的中心像素兩側(cè)第n個像素的深度值，n∈[-r,-1]或n∈[1,r]。

圖5 對稱性檢測模板Fig.5 Template of symmetry check (r=4)

②計算各方向深度變化δw，μw表示方向w的2×r+1個像素中的最低強度值：

δw=min{mw1-μw,mw2-μw}

(6)

③獲得最大和最小的強度變化值δmax和δmin：

δmax=max{δw}

(7)

δmin=min{δw}

(8)

④裂縫像素在不同方向上的強度變化應(yīng)存在顯著的差異，因此需滿足：

δmax≥t1

(9)

δmax-δmin≥s1

(10)

式中：t1，s1為閾值參數(shù)。

2)對稱性檢測II

與對稱性檢測I類似，針對Ω3和Ω4進(jìn)行對稱性檢測，其區(qū)別在于步驟②和④。

①分別計算中心像素(i,j)兩側(cè)r=4個像素的強度均值m’w1和m’w2；

②計算各方向強度變化δ’w，μ’w表示方向w的2×r+1個像素中的最低強度值：

δ’w=min{|m’w1-I(i,j)|,|m’w2-I(i,j)|}

(11)

③獲得最大和最小的強度變化值δ’max和δ’min；

④裂縫像素在不同方向上的強度變化應(yīng)存在顯著的差異，需滿足：

δ’max≥t2

(12)

δ’max-δ’min≥s2

(13)

式中：t2，s2為閾值參數(shù)。

3 算法實現(xiàn)

算法輸入為深度圖像G〔圖6(a)〕和光照強度圖像Ω1～Ω4(圖7)，基于光照強度圖像的裂縫識別結(jié)果為Ωs1～Ωs4和Ωr1～Ωr4，如圖8。為了最大程度保留裂縫信息，對Ωs1～Ωs4和Ωr1～Ωr4進(jìn)行并集處理，得裂縫初步識別結(jié)果Ω’〔圖6(b)〕。由于Ω’是根據(jù)光照強度獲得的裂縫圖像，任意裂縫像素(i,j)還應(yīng)該滿足相應(yīng)的深度驗證條件〔圖6(c)為深度驗證結(jié)果〕：

(14)

圖6 裂縫識別過程(Kh=0.984, K1=9, t1=15, s1=9, t2=24, s2=10)Fig.6 Crack detection process (Kh=0.984, K1=9, t1=15, s1=9, t2=24, s2=10)

圖7 光照強度圖像Ω1～Ω4Fig.7 Lighting intensity images Ω1～Ω4

圖8 裂縫圖像Ωs1～Ωs4和Ωr1～Ωr4Fig.8 Crack images Ωs1～Ωs4and Ωr1～Ωr4

最后，將Ω’與深度驗證結(jié)果取交集，并進(jìn)行滑動窗口去噪處理，消除散落的像素和不規(guī)則的孤立區(qū)域，得到裂縫圖像Θ。

圖6～圖8為算法檢測實例，根據(jù)大量測試和經(jīng)驗判斷，推薦參數(shù)值為Kh=0.984,K1=9,t1=15,s1=9,t2=24,s2=10。可以看出，圖8的陰影和反光區(qū)裂縫斷續(xù)情況嚴(yán)重；經(jīng)過裂縫融合，圖6(b)提高了裂縫完整性，體現(xiàn)了并行框架算法的優(yōu)越性；最后進(jìn)行深度驗證及去噪處理，獲得了較為滿意的裂縫識別結(jié)果，如圖6(d)。

4 算法性能測試與分析

為定性并定量地評價算法性能，分別應(yīng)用DHDV檢測系統(tǒng)的ADA3D裂縫檢測算法[20]和筆者算法對255張實地采集的不同質(zhì)量的路面圖像(寬4 096像素×高2 048像素)進(jìn)行裂縫識別，并手動標(biāo)注出真實的裂縫圖像。然后，對比檢測結(jié)果和真實裂縫圖像，計算裂縫識別的準(zhǔn)確率(P，Precision，反映檢測結(jié)果的準(zhǔn)確程度)、召回率(R，Recall，反映檢測結(jié)果的全面性)和F值[21]。

(15)

圖9展示了算法準(zhǔn)確率、召回率和F值的累計頻率分布曲線(255張圖像的測試結(jié)果)，對比分析情況如表1。

圖9 算法性能測試Fig.9 Algorithm performance test

對比這兩種算法，筆者算法準(zhǔn)確率較低、召回率較高，ADA3D算法準(zhǔn)確率較高、召回率較低。DHDV之所以采用ADA3D算法，主要是它更重視檢測準(zhǔn)確率，在一定程度上犧牲了召回率水平。綜合而言，筆者算法以80.47%的F值優(yōu)于ADA3D算法。由此也可以看出，單獨以準(zhǔn)確率或召回率評價算法優(yōu)劣均有不足之處，用F值衡量裂縫識別算法性能更全面合理。

圖10為裂縫檢測實例(為了增強顯示效果，以寬2 048像素×高2 048像素的路面圖像展示測試情況)。從圖10(b)、圖10(c)可看出，與ADA3D算法相比，筆者算法檢測的裂縫更連續(xù)、完整，因此召回率較高，這主要是因為融合了4幅光照強度圖像的裂縫識別結(jié)果，有效避免了裂縫漏檢情況；但也正是這個原因，筆者算法積累了較多噪聲，準(zhǔn)確率下降。ADA3D算法應(yīng)用較大尺寸的去噪模板濾除了許多潛在噪聲，也刪掉了一些短小的裂縫枝節(jié)，因此檢測結(jié)果較為準(zhǔn)確卻不夠連續(xù)、完整。

最終，針對255張深度并不均勻的路面三維圖像，筆者算法能以80.34%的準(zhǔn)確率識別83.89%的裂縫，比較接近手動繪制的真實裂縫圖像。

在運算速度方面，筆者算法按并行框架進(jìn)行設(shè)計，與傳統(tǒng)串行(單流程)算法相比，更容易實現(xiàn)并行化程序運算。經(jīng)測試，并發(fā)處理10個子流程的耗時約為串行處理10個子流程的0.1～0.2倍，因此可有效提高運算速度。

圖10 裂縫識別結(jié)果對比Fig.10 Comparison of crack detection results

5 結(jié) 語

基于1 mm/像素的路面深度圖像建立了三維虛擬路面并利用多角度立體投影獲得4幅光照強度圖像，然后對它們進(jìn)行圖像降維、裂縫種子識別與連接(形成8個并列的子流程)，最后通過裂縫圖像融合、深度驗證與滑動去噪獲得裂縫識別結(jié)果。測試表明，算法可獲得較高的準(zhǔn)確率和召回率，優(yōu)于DHDV系統(tǒng)的ADA3D算法；此外，算法按并行框架進(jìn)行設(shè)計，容易實現(xiàn)程序并行化運算，可有效提高計算速度。

從不同角度投影產(chǎn)生光照強度圖像可提供更豐富的視覺信息，算法在此基礎(chǔ)上識別裂縫，考慮了路面本身的三維特征，跳出了傳統(tǒng)二維圖像處理的范疇，有利于推動路面裂縫三維識別方法的研發(fā)，改善裂縫識別準(zhǔn)確率、完整性和穩(wěn)定性，進(jìn)而為路面養(yǎng)護管理、路面性能評價與預(yù)測、路面結(jié)構(gòu)和材料設(shè)計奠定堅實的基礎(chǔ)。

筆者對考慮路面三維特征的裂縫識別進(jìn)行了探索，由于路面狀況的復(fù)雜多樣性，裂縫漏檢錯檢情況仍較為嚴(yán)重，準(zhǔn)確率、召回率及檢測穩(wěn)定性還不令人滿意，因此需要對基于路面二維和三維特征的裂縫自動檢測展開進(jìn)一步研究。

[1] 王榮本, 王起, 初秀氏. 路面破損圖像識別研究進(jìn)展[J]. 吉林大學(xué)學(xué)報(工學(xué)版), 2002, 32(4): 91-97.

WANG Rongben, WANG Qi, CHU Xiushi. Developments of research on road pavement surface distress image recognition[J].JournalofJilinUniversity(EngineeringandTechnologyEdition), 2002, 32(4): 91-97.

[2] 蔣陽升, 彭博, 韓世凡, 等. 路面破損狀況檢測、評價、預(yù)測與管理系統(tǒng)研究進(jìn)展[J]. 交通運輸工程與信息學(xué)報, 2013,11 (4):1-9.

JIANG Yangsheng, PENG Bo, HAN Shifan, et al. Review of research on inspection, evaluation, prediction and management systems of pavement distress condition[J].JournalofTransportationEngineeringandInformation, 2013, 11(4):1-9.

[3] WANG K C P, HOU Z Q, GONG W G. Automated road sign inventory system based on stereo vision and tracking[J].Computer-AidedCivilandInfrastructureEngineering, 2010, 25(6): 468- 477.

[4] LI Q, YAO M, YAO X, et al. A real-time 3D scanning system for pavement distortion inspection[J].MeasurementScience&Technology, 2010, 21(1):015702.

[5] TSAI Y, LI F. Critical assessment of detecting asphalt pavement cracks under different lighting and low intensity contrast conditions using emerging 3D laser technology[J].JournalofTransportationEngineering, 2012, 138(5): 649- 656.

[6] SUN X M, HUANG J P, LIU W Y, et al. Pavement crack characteristic detection based on sparse representation[J].EURASIPJournalonAdvancesinSignalProcessing, 2012, 2012:191.

[7] ZHANG A, LI Q J, WANG K C P, et al. Matched filtering algorithm for pavement cracking detection[J].JournaloftheTransportationResearchBoard, 2013, 2367(1): 30- 42.

[8] GUAN H Y, LI J, YU Y T, et al. Iterative tensor voting for pavement crack extraction using mobile laser scanning data[J].IEEETransactionsonGeoscienceandRemoteSensing, 2014, 53(3): 1527-1537.

[9] PENG B, WANG K C P, CHEN C. Automatic crack detection by multi-seeding fusion on 1mm resolution 3D pavement images[C]//SecondTransportation&DevelopmentCongress.Orlando, Florida, USA:[s.n.], 2014: 543-552.

[10] 彭博, WANG K C P,陳成,等.基于各向異性測度的路面三維圖像裂縫識別[J].西南交通大學(xué)學(xué)報, 2014, 49(5): 888- 895.

PENG Bo, WANG K C P, CHEN Cheng, et al. 3D pavement crack image detection based on anisotropy measure[J].JournalofSouthwestJiaotongUniversity, 2014, 49(5): 888- 895.

[11] OTSU N. A threshold selection method from gray-level histograms[J].Systems,ManandCybernetics,IEEETransactionson, 1979, 9(1): 62- 66.

[12] CANNY J. A computational approach to edge detection[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1986, 8(6): 679- 698.

[13] WANG H, ZHU N, WANG Q. Segmentation of pavement cracks using differential box-counting approach[J].JournalofHarbinInstituteofTechnology, 2007, 39(1): 142-144.

[14] GAVILáN M, BALCONES D, MARCOS O, et al. Adaptive road crack detection system by pavement classification[J].Sensors, 2011, 11(10): 9628-9657.

[15] TSAI Y, KAUL V, MERSEREAU R M. Critical assessment of pavement distress segmentation methods[J].JournalofTransportationEngineering, 2010, 136(1): 11-19.

[16] HU Y, ZHAO C X, WANG H N. Automatic pavement crack detection using texture and shape descriptors[J].IETETechnicalReview, 2010, 27(5): 398- 405.

[17] ZOU Q, CAO Y, LI Q Q, et al. CrackTree: automatic crack detection from pavement images[J].PatternRecognitionLetters, 2012, 33(3): 227-238.

[18] 李景仲,盧艷軍. 三維圖形消隱方法的研究[J]. 遼寧省交通高等?？茖W(xué)校學(xué)報, 2001, 3(4): 11-14.

LI Jingzhong, LU Yanjun. Study of the hiding technology about 3D drawing[J].JournalofLiaoningProvincialCollegeofCommunications, 2001, 3(4): 11-14.

[19] 沈沉, 沈向洋, 馬頌德. 基于圖像的光照模型研究綜述[J]. 計算機學(xué)報, 2000, 23(12): 1261-1269.

SHEN Chen, SHEN Xiangyang, MA Songde. A survey of image-based illumination model[J].ChineseJournalofComputers, 2000, 23(12): 1261-1269.

[20] WANG K C P, HOU Z Q, WILLIAMS S. Precision test of cracking surveys with the automated distress analyzer[J].JournalofTransportationEngineering, 2011, 137(8), 571-579.

[21] LI Q Q, ZOU Q, LIU X L. Pavement crack classification via spatial distribution features[J].EURASIPJournalonAdvancesinSignalProcessing, 2011, 6854(5): 589-597.