基于改進(jìn)的投影檢測(cè)車牌傾斜校正算法

褚慧君，朱宏輝，高 軍

（武漢理工大學(xué) 物流工程學(xué)院，湖北 武漢 430063）

基于改進(jìn)的投影檢測(cè)車牌傾斜校正算法

褚慧君，朱宏輝，高 軍

（武漢理工大學(xué) 物流工程學(xué)院，湖北 武漢 430063）

針對(duì)Hough檢測(cè)法和旋轉(zhuǎn)投影法的缺陷，提出了一種基于改進(jìn)的投影檢測(cè)車牌傾斜校正算法。首先通過水平投影與Hough檢測(cè)結(jié)合確定水平傾斜角，并且進(jìn)行水平校正；然后利用垂直投影與Radon變換結(jié)合確定垂直傾斜角，以檢測(cè)到的垂直傾斜角對(duì)圖像進(jìn)行垂直校正，最后對(duì)若干張傾斜車牌圖片進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)表明，改進(jìn)算法相對(duì)經(jīng)典的Hough檢測(cè)法、Radon變換法等有著更高的準(zhǔn)確率和適用性。

傾斜校正；投影檢測(cè)；Hough檢測(cè)法；Radon變換

1 引言

交通運(yùn)輸是物流系統(tǒng)中不可或缺的環(huán)節(jié)之一，智能交通系統(tǒng)更是各項(xiàng)研究中的主要課題。在智能交通系統(tǒng)應(yīng)用領(lǐng)域中，車牌識(shí)別[1-2]是很重要的課題之一，車牌傾斜校正則是車牌識(shí)別中十分重要的一部分。在實(shí)際應(yīng)用中，大部分道路監(jiān)控?cái)z像頭都是安裝在道路的兩側(cè)，因此由該類攝像頭拍攝出的視頻及照片中的車牌都存在一定的傾斜角度，為了提高后續(xù)車牌識(shí)別的準(zhǔn)確率，需要對(duì)車牌圖像進(jìn)行傾斜校正。

車牌傾斜可以劃分為車牌水平傾斜、垂直傾斜和混合傾斜[3]。目前校正車牌傾斜的方法主要有Hough檢測(cè)法[4-5]、Radon變換法[6-7]和旋轉(zhuǎn)投影法[8-9]等。但是每個(gè)方法都有其優(yōu)缺點(diǎn)，如Hough檢測(cè)準(zhǔn)確率受車牌邊框影響很大，邊框不完整時(shí)校正準(zhǔn)確率很低；旋轉(zhuǎn)投影法需要將圖像旋轉(zhuǎn)一定角度再比較投影值大小，因此計(jì)算量比較大。而且單一方法不足以解決所有類型的車牌傾斜問題。近年來，越來越多的學(xué)者綜合兩種或以上的方法，建立新的算法模型來提高車牌傾斜校正的準(zhǔn)確性和適用性。如陳航等[10]將最小二乘法與Radon變化結(jié)合，通過最小二乘法來確定車牌特征點(diǎn)的最佳擬合直線來獲取水平傾斜角；Kaushik等[11]將直線擬合與最小方差投影結(jié)合來找到最小方差的直線來確定最佳傾斜角；尚曉波等[12]將Radon變換和HSV彩色模型結(jié)合，使用HSV模型對(duì)車牌區(qū)域顏色進(jìn)行提取，并使用Radon變換求取傾斜角；朱亞萍等[13]融合Radon變換和旋轉(zhuǎn)投影法，試圖尋找出一個(gè)中間值來確定Radon變換和旋轉(zhuǎn)投影法最佳適用范圍，從而提高垂直傾斜校正準(zhǔn)確率。

針對(duì)Hough算法不能檢測(cè)邊框不完整的車牌情況以及旋轉(zhuǎn)投影法計(jì)算復(fù)雜等問題，本文提出以下改進(jìn)：（1）將水平投影與Hough檢測(cè)結(jié)合來確定水平傾斜角；（2）垂直投影與Radon變換結(jié)合來確定垂直傾斜角，以提高校正算法的適用性和準(zhǔn)確率。

2 車牌傾斜變換模型

在車牌識(shí)別系統(tǒng)中，在進(jìn)行車牌傾斜校正之前，需要對(duì)圖像進(jìn)行車牌粗定位，在確定出車牌位置之后，再判斷車牌是否存在傾斜角。因此，本文測(cè)試的車牌圖像都是經(jīng)過粗定位之后的車牌圖像。

由于拍攝角度的不同，車牌會(huì)出現(xiàn)不同程度的失真，因此，需要對(duì)其進(jìn)行校正。本文將車牌圖像看作一個(gè)m×n矩陣（圖像高為m，寬為n），本文后續(xù)的處理都是以矩陣為基礎(chǔ)。水平傾斜和垂直傾斜都可以作為混合傾斜的特例，因此本文將只考慮混合傾斜這一種情況。

假設(shè)待校正的傾斜車牌矩陣為A，將其水平傾斜校正后的車牌矩陣為B，最后進(jìn)行垂直校正，得到正常的車牌矩陣C。將矩陣A中第y行第x列值用坐標(biāo)(x,y)來表示，水平校正后的位置用(x',y')表示，垂直校正后的位置用(x'',y'')來表示，其中(x',y')表示A中點(diǎn)在矩陣B的對(duì)應(yīng)位置，(x'',y'')表示A中點(diǎn)在矩陣C的對(duì)應(yīng)位置，變換關(guān)系見式（1）和式（2）。傾斜車牌之間的變換關(guān)系如圖1所示，矩陣之間的變換關(guān)系見式（3）：

式中，α為水平傾斜角度，β為垂直傾斜角度。

圖1 車牌傾斜變換示意圖

3 算法分析

車牌傾斜校正是車牌識(shí)別系統(tǒng)中很關(guān)鍵的一部分，其結(jié)果直接關(guān)系到車牌分割的效果。目前，常用的水平校正的算法主要有：（1）Hough檢測(cè)法；（2）主元分析法[14-15]；垂直校正的算法有：（1）Radon變換；（2）旋轉(zhuǎn)投影法。

Hough檢測(cè)法主要是在車牌粗定位之后，通過對(duì)邊緣檢測(cè)后的圖像進(jìn)行最長(zhǎng)直線檢測(cè)，將最長(zhǎng)直線（正常情況下是指車牌邊框）的傾斜角作為水平傾斜角，但是在車牌邊框不完整或沒有邊框時(shí)，檢測(cè)效果很不理想甚至出現(xiàn)錯(cuò)誤；主元分析法主要是求圖像數(shù)據(jù)集的主元分量和變換矩陣來校正圖像，但是它對(duì)圖像的二值化處理要求比較高；Radon變換主要求圖像在不同方向上的線積分，通過比較該值來確定最優(yōu)解；旋轉(zhuǎn)投影法主要是將圖像按坐標(biāo)軸旋轉(zhuǎn)，并比較投影的大小來確定最優(yōu)解，由于是逐步尋優(yōu)的過程，因此計(jì)算量較大。

針對(duì)Hough檢測(cè)法在車牌邊框不完整時(shí)校正準(zhǔn)確率低的問題，本文將水平投影與Hough檢測(cè)結(jié)合，以保證算法在車牌邊框不完整時(shí)也能有比較理想的檢測(cè)效果，改進(jìn)算法步驟如下：（1）車牌圖像預(yù)處理，使用Hough算法檢測(cè)直線；（2）判斷檢測(cè)直線是否正確，若正確，則將檢測(cè)角度作為水平傾斜角校正圖像；（3）若不正確，則將圖像旋轉(zhuǎn)一定角度進(jìn)行水平投影，比較投影的最大值，確定水平傾斜角。

針對(duì)旋轉(zhuǎn)投影法計(jì)算量大的問題，本文改進(jìn)算法將垂直投影與Radon變換結(jié)合來確定垂直傾斜角，減小了計(jì)算量，改進(jìn)算法步驟如下：（1）對(duì)水平校正后的圖像進(jìn)行Radon變換，比較每個(gè)角度上投影的絕對(duì)值累加和，確定傾斜角；（2）判斷檢測(cè)傾斜角是否正確，若正確，則將檢測(cè)角作為垂直傾斜角校正圖像；（3）若不正確，通過旋轉(zhuǎn)圖像比較垂直投影大小確定垂直傾斜角。

4 校正算法研究

4.1 水平校正算法研究

本文對(duì)Hough檢測(cè)法進(jìn)行了改進(jìn)，將水平投影與Hough直線檢測(cè)結(jié)合來判定車牌的水平傾斜角度。為了防止在車牌粗定位時(shí)出現(xiàn)邊框不完整，導(dǎo)致檢測(cè)出的水平傾斜角有誤情況的發(fā)生，本文通過水平投影的最大值來判斷Hough檢測(cè)的直線是否正確。若不正確，計(jì)算一定角度內(nèi)的水平投影值，比較投影的最大值，來確定水平傾斜角α。改進(jìn)的算法在一定程度上減少了單一使用投影法的計(jì)算復(fù)雜度，又提高了Hough檢測(cè)的準(zhǔn)確率。考慮到車牌偏轉(zhuǎn)的實(shí)際情況，設(shè)定水平傾斜角在±30°范圍內(nèi)。水平校正的算法流程圖如圖2所示：

圖2 水平傾斜校正算法流程圖

在車牌預(yù)處理部分，本文使用canny算法作為邊緣檢測(cè)算法。與其他邊緣檢測(cè)算法相比，canny算法的穩(wěn)定性更好[13]。由于輸入的圖像是車牌粗定位后的圖像，在車牌邊框保留完整下，使用Hough檢測(cè)直線，獲得圖像的水平傾斜角，為了驗(yàn)證水平傾斜角的準(zhǔn)確性，將圖像按照檢測(cè)的角度旋轉(zhuǎn)，再得到投影值，比較±2°范圍內(nèi)的投影最大值，確定水平傾斜角是否正確。校正后圖像的投影圖呈現(xiàn)出一定的特性，比如在字符集中區(qū)域，顯示的是連續(xù)平緩的曲線，而在車牌邊框區(qū)域，會(huì)顯示比較尖銳的曲線。圖3是使用canny檢測(cè)后圖像與水平校正后圖像的投影對(duì)比圖。而對(duì)于車牌邊框不明顯的圖像，本文則利用投影法來找到水平傾斜角。結(jié)合圖1（a）的變換模型和圖3的投影最大值，在存在傾斜角的情況下，車牌的寬度小于水平情況下的寬度，通過投影的最大值大小可以確定水平傾斜角。

從圖3中，可以看出校正前后投影圖的明顯變化，未校正前的圖像投影未有很明顯的特征，而在校正后圖像的投影中，可以看到車牌字符區(qū)域的連續(xù)平滑變化，在車牌邊框區(qū)域的尖銳變化，而且傾斜情況下的投影最大值明顯小于校正后的投影最大值。

圖3 canny圖像校正前后投影圖

4.2 垂直校正算法研究

本文將垂直投影與Radon變換結(jié)合作為檢測(cè)垂直傾斜角的基本方法。Radon變換就是圖像在特定角度上的投影，簡(jiǎn)單來說，Radon變換就是圖像在不同方向上的投影，數(shù)學(xué)上是按投影方向進(jìn)行線積分，在圖像領(lǐng)域就是按照投影方向累加像素值，變換原理見式（4）。

垂直投影是將二值化的圖像按角度仿射變換后，對(duì)新的圖像進(jìn)行列投影，通過比較不同角度下垂直投影的最大值，來確定垂直傾斜角的大小。本文通過對(duì)這兩種方法的分析與比較，來得到更為精確的垂直傾斜角。由于計(jì)算垂直投影值需要對(duì)每個(gè)可能的角度進(jìn)行仿射變換，計(jì)算量比較大，因此本文先使用Radon變換確定偏轉(zhuǎn)角度，再使用垂直投影對(duì)偏轉(zhuǎn)角度進(jìn)行進(jìn)一步的判定分析。除此之外，為了達(dá)到更好的校正效果，當(dāng)Radon檢測(cè)的角度不是最佳時(shí)，將垂直投影得到的β1與Radon變換得到的傾斜角β0做差，當(dāng)其差值在一定的閾值范圍內(nèi)，取兩者平均作為最終傾斜角β。垂直傾斜角校正算法的流程圖如圖4所示：

根據(jù)車牌傾斜模型，得到垂直傾斜角β之后，根據(jù)式（5），可以將圖像校正，其中圖像高為m，寬為n；水平校正后像素點(diǎn)位置(x',y')，垂直校正后像素點(diǎn)位置(x'', y'')。

圖4 垂直傾斜校正算法流程圖

5 實(shí)驗(yàn)結(jié)果與分析

本文使用粗定位后的圖像作為原始輸入圖像，在window7系統(tǒng)上使用MATLAB軟件，對(duì)若干張圖像進(jìn)行傾斜校正實(shí)驗(yàn)。本文測(cè)試的圖片中有30張是無傾斜車牌（下文假設(shè)為A類傾斜車牌），將其進(jìn)行水平和垂直傾斜后得到的混合傾斜的車牌，有142張是來自于網(wǎng)絡(luò)中各種傾斜的車牌（下文假設(shè)為B類傾斜車牌），共對(duì)172張不同大小、不同傾斜角度和不同清晰度的車牌進(jìn)行試驗(yàn)，并將試驗(yàn)結(jié)果與Hough檢測(cè)法、Radon變換法進(jìn)行比較。

5.1 水平校正結(jié)果

（1）所有車牌水平檢測(cè)結(jié)果見表1：

表1 水平校正結(jié)果

從表1中可以看出，本文算法檢測(cè)的準(zhǔn)確率比單一的Hough檢測(cè)法要高的多，由于程序會(huì)對(duì)Hough檢測(cè)的結(jié)果正確與否進(jìn)行判斷，因此所耗用的時(shí)間也相對(duì)較多。通過實(shí)驗(yàn)發(fā)現(xiàn)，時(shí)間主要消耗在圖像的顯示上，實(shí)際代碼運(yùn)行消耗時(shí)間并不多，因此與檢測(cè)準(zhǔn)確率相比，時(shí)間的消耗還是可以接受的。A類傾斜圖像邊框完整，而且是無傾斜圖像經(jīng)過旋轉(zhuǎn)變換之后得到的圖像，通過A類的檢測(cè)結(jié)果可以判斷傾斜角的正確性，A類圖像傾斜角檢測(cè)對(duì)比如圖5所示：

（2）改進(jìn)算法在車牌邊框完整和邊框不完整（包括沒有邊框）情況下的水平校正結(jié)果見表2：

從表2可知，Hough檢測(cè)在邊框完整下檢測(cè)成功率遠(yuǎn)遠(yuǎn)大于邊框不完整時(shí)，而本文算法在邊框不完整或無邊框時(shí)也能保持很高的準(zhǔn)確率，適用性和準(zhǔn)確率都有很大提升。

（3）針對(duì)車牌的大小不同，在實(shí)驗(yàn)時(shí)將車牌分為大、中、小三個(gè)尺寸等級(jí)，不同尺寸下車牌水平校正的結(jié)果見表3：

從表3可知，Hough檢測(cè)法在車牌圖像尺寸較大時(shí)檢測(cè)準(zhǔn)確率最低，在中小尺寸圖像中準(zhǔn)確率也相對(duì)較低，而本文算法則能在大、中、小各個(gè)尺寸圖像中均保持較高的準(zhǔn)確率，由此可知，算法的適用性和準(zhǔn)確率都很好。

從實(shí)驗(yàn)結(jié)果可知，本文算法檢測(cè)出的傾斜角與實(shí)際偏轉(zhuǎn)角之間偏差很小，而且在不同車牌圖像下都能保證很高的準(zhǔn)確率，適用性得到明顯改善。將檢測(cè)出的傾斜角作為校正角度進(jìn)行校正，部分校正結(jié)果如圖6所示：

圖5 A類圖像檢測(cè)傾角與實(shí)際偏轉(zhuǎn)角對(duì)比圖

表2 邊框不同條件下水平校正結(jié)果

表3 尺寸不同條件下水平校正結(jié)果

5.2 垂直校正結(jié)果

（1）垂直傾斜角的精度為1°，因此對(duì)垂直傾斜校正的正確與否通可以過肉眼來判定。對(duì)131張水平校正后的圖像進(jìn)行垂直校正，垂直校正結(jié)果見表4。

圖6 水平校正效果果圖

表4 垂直校正結(jié)果

從表4中，與Radon變換求垂直傾斜角相比，本文算法在準(zhǔn)確率上有了很大的提高，由于對(duì)Radon變換得到的傾斜角有一個(gè)驗(yàn)證準(zhǔn)確與否的過程，因此程序運(yùn)行時(shí)間比Radon變換長(zhǎng)，但是由于要顯示多幅圖像以確定算法效果，所占用的時(shí)間較多，因此就算法來說，本文算法是可取的。

（2）針對(duì)不同尺寸的車牌圖像進(jìn)行了垂直校正，在實(shí)驗(yàn)時(shí)將車牌分為大、中、小三個(gè)尺寸等級(jí)，不同尺寸下車牌垂直校正的結(jié)果見表5：

表5 尺寸不同條件下垂直校正結(jié)果

從表5中可知，在不同尺寸圖像下，本文算法的準(zhǔn)確率遠(yuǎn)遠(yuǎn)大于Radon變換的準(zhǔn)確率，而且本文算法在各種尺寸下的成功率沒有大幅度變換，檢測(cè)結(jié)果穩(wěn)定，適用性較強(qiáng)。

綜合以上實(shí)驗(yàn)結(jié)果，本文算法與單一的Radon變換相比，準(zhǔn)確性和適用性得到了很大提高，將檢測(cè)出的角度進(jìn)行垂直校正，校正結(jié)果如圖7所示：

圖7 垂直校正效果圖

6 結(jié)語

本文將投影檢測(cè)引入到Hough檢測(cè)和Radon變換中進(jìn)行算法改進(jìn)，改進(jìn)算法對(duì)傾斜圖像的校正準(zhǔn)確率與單一算法相比有了很大提升，特別是對(duì)于邊框不完整的車牌校正，改進(jìn)算法完全彌補(bǔ)了Hough檢測(cè)在邊框不完整情況下的缺陷，在測(cè)試圖像中展現(xiàn)了很好的校正效果。通過圖像校正實(shí)驗(yàn)，可以看出本文算法提高了車牌校正的準(zhǔn)確性和適用性，能夠在不同程度的傾斜圖像校正中保持很高的準(zhǔn)確率。

[1]高軍,朱宏輝.數(shù)字圖像處理技術(shù)在車牌識(shí)別系統(tǒng)中的應(yīng)用[J].計(jì)算機(jī)光盤軟件與應(yīng)用,2014,(4):18-20.

[2]Du S,Ibrahim M,Shehata M.Automatic License Plate Recognition(ALPR):A State-of-the-Art Review[J].IEEE Transactions on Circuits and Systems for Video Technology,2013,23(2): 311-325.

[3]貢麗霞.車牌識(shí)別系統(tǒng)中的牌照定位及傾斜校正技術(shù)研究[D].太原:中北大學(xué),2010.

[4]梁添才,皮佑國,彭晶,等.基于Hough變換的列車客運(yùn)票圖像傾斜校正[J].華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2007,35(5):35-40.

[5]Arulmozhi K.A Centroid based Hough Transformation for Indian license plate skew detection and correction of IR and color images[A].IEEE International Conference on Computational Intelligence and Computing Research[C].2012.

[6]徐瑞.Radon變換在車牌傾斜校正中的應(yīng)用[J].信息科技, 2009,(12):146-147.

[7]Gong L X,Hu H P,Bai Y P.Vehicle license plate slant correction based on mathematical morphology and Radon transformation[A].The 6th International Conference on Natural Computation[C].2010.

[8]吳一全,丁堅(jiān).基于邊緣點(diǎn)投影方差最小的車牌傾斜校正方法[J].系統(tǒng)仿真學(xué)報(bào),2008,(21):5 829-5 832.

[9]Wang M,Wang G H.An Optimization Algorithm of Vehicle License Plate Correction Based on Minimum Projection Distance[A].The 9th International Conference for Young Computer Scientists[C].2008.

[10]陳航,李曉東,李云紅,等.基于最小二乘法和Radon變換的車牌校正算法[J].西安工程大學(xué)學(xué)報(bào),2015,29(4):404-409.

[11]Deb K,Vavilin A,Kim J W et al.Vehicle license plate tilt correction based on the straight line fitting method and minimizing variance of coordinates of projection points[J].International Journal of Control,Automation and Systems,2010,8 (5):975-984.

[12]尚曉波,楊成忠,王楠楠.基于Radon變換和HSV彩色模型的傾斜車牌校正[J].工業(yè)控制計(jì)算機(jī),2015,28(4):116-117.

[13]朱亞萍,田呈培,楊成忠,等.融合Radon變換與旋轉(zhuǎn)投影的車牌垂直校正方法[J].杭州電子科技大學(xué)學(xué)報(bào)(自然科學(xué)版),2015,35(3):48-51.

[14]劉少梅,楊鼎才.基于最小二乘法和主元分析的車牌傾斜校正方法[J].電子測(cè)量技術(shù),2008,(4):49-51.

[15]黃驥,吳一全.基于顏色對(duì)特征點(diǎn)主成分分析的車牌校正方法[J].中國圖象圖形學(xué)報(bào),2008,(4):642-647.

Improved Tilt Correction Algorithm for Shadowgraph Detection of License Plates

Chu Huijun,Zhu Honghui,Gao Jun
(School of Logistics Engineering,Wuhan University of Technology,Wuhan 430063,China)

In this paper,in view of the inadequacy of the Hough detection process and the rotatory projection method,we proposed an improved tilt correction algorithm for the shadowgraph detection of license plates.First,through horizontal projection and Hough detection, we determined the horizontal angle of the tilt and carried out the horizontal correction;then by combining the vertical projection with the Radon transformation,we detected the vertical angle of the tilt and had the vertical correction.At the end,we tested the process on multiple pictures of tilted license plates which praved its accuracy and applicability.

tilt correction;projectiondetection;Houghdetection process;Radon transformation

F253.9;U116.2

A

1005-152X(2017)01-0089-05

10.3969/j.issn.1005-152X.2017.01.018

2016-11-20

褚慧君（1993-），女，安徽六安人，碩士，研究方向：分布式感知、協(xié)同技術(shù)。