改進(jìn)HOG特征的車牌識別算法

鄭 琳，王福龍

（廣東工業(yè)大學(xué)應(yīng)用數(shù)學(xué)學(xué)院，廣東廣州 510520）

0 引言

車牌識別（License Plate Recognition，LPR）是外接攝像頭或照相系統(tǒng)獲取的車輛圖像自動提取車輛牌照信息的過程。完整的車牌識別系統(tǒng)由圖像獲取、車牌定位、字符分割、字符識別4 個部分組成。車牌識別技術(shù)是智能交通系統(tǒng)的重要組成部分，應(yīng)用場景廣泛，在停車場車輛管理、監(jiān)控違章車輛和高速公路收費(fèi)系統(tǒng)等領(lǐng)域應(yīng)用較多，開展車牌識別研究具有重要的社會意義及應(yīng)用價值。

車牌識別具有區(qū)域性特色，各個國家的車牌構(gòu)成不同，我國的車牌由漢字、字母和數(shù)字構(gòu)成。車牌識別主要存在兩方面難題：①由于漢字的復(fù)雜性、字符相似性高、車牌的模糊損耗等原因，使車牌識別難度增大；②車牌識別需要考慮實時性，因此在保證識別準(zhǔn)確率的同時，識別速度的提高是車牌識別難點(diǎn)。本文采用模板匹配法融合改進(jìn)的局部HOG 特征對車牌圖像進(jìn)行識別。模板匹配法能有效降低字符圖像的噪聲，改進(jìn)的局部HOG 特征能有效描述相似字符的不同特性，降低特征描述符冗余問題。實驗表明，改進(jìn)方法能在保證車牌識別速度的同時有效提高車牌圖像的識別率。

1 相關(guān)研究

目前車牌識別算法主要有特征提取法、神經(jīng)網(wǎng)絡(luò)法和模板匹配法。特征提取法需要提取待識別模式的統(tǒng)計特征，再按照判別函數(shù)得到識別結(jié)果；特征提取法可以提取字符的顯著特征，但是會消耗大量時間，非穩(wěn)健特征會降低識別效率［1-6］；神經(jīng)網(wǎng)絡(luò)法通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)大量字符樣本，得到字符的樣本特征來識別車牌字符。神經(jīng)網(wǎng)絡(luò)法識別率較高，但需要大量的初始樣本，且神經(jīng)網(wǎng)絡(luò)模型復(fù)雜，計算參數(shù)多，導(dǎo)致算法成本高、識別速度慢［7-10］；模板匹配法是經(jīng)典的模式識別方法，通過重合度函數(shù)度量待識別字符與模板樣本的相似性來識別字符。模板匹配法易于實現(xiàn)，對圖像噪聲的敏感度較低，具有一定的容錯能力，但難以區(qū)分相似字符，魯棒性較差。

胡曉霞等［11］提出了一種基于形狀上下文方式提取車牌特征，再利用聯(lián)合度量策略識別車牌的方法。但該方法對車牌圖像質(zhì)量要求高，幾乎不涉及車牌傾斜與模糊，且該方法無法完整提取字符特征，識別精度還需優(yōu)化；段賓等［12］提出一種深度可分離卷積的輕量級模糊車牌識別算法。該方法訓(xùn)練了大量的模糊車牌樣本，對模糊車牌的識別率較高，且壓縮了神經(jīng)網(wǎng)絡(luò)識別模型大小，減少了計算參數(shù)。但相較于傳統(tǒng)的識別算法，該方法識別速度較慢；凌翔等［13］提出一種改進(jìn)的頂帽重構(gòu)和模板匹配車牌識別方法，該方法解決了車牌識別中光線不均勻照射的問題，識別速度快，但僅依靠全局重合度函數(shù)識別車牌，無法提取字符的特征信息，識別率有待提升。

本文的車牌識別算法主要利用方向梯度直方圖（Histograms of Oriented Gradients，HOG）對圖像邊緣及形狀強(qiáng)大的描述能力，以及對光照不敏感和平移不變性的特點(diǎn)，同時結(jié)合模板匹配法的容錯特性和對噪聲低敏感特性，提出改進(jìn)局部HOG 特征，避免了高維特征描述符的數(shù)據(jù)冗余問題，確定了最優(yōu)局部HOG 矩形特征塊，提高了車牌識別率，也保證了識別的實時性。

2 融合模板匹配和改進(jìn)HOG特征的字符識別

為解決車牌識別中相似字符誤識別問題，學(xué)者提出了模板匹配法結(jié)合字符特征進(jìn)行車牌字符識別的方法。在現(xiàn)實中分割后的車牌字符不可避免會出現(xiàn)些許傾斜和一定的模糊情況。

2.1 模板匹配法

在字符識別階段，模板匹配法通過判斷字符模板與分割后車牌字符的相似度來識別字符。根據(jù)我國車牌特點(diǎn)，本文建立的字符模板分為漢字、英文字母和數(shù)字模板，采用重合度函數(shù)來度量車牌字符與字符模板間的相似度，重合度函數(shù)公式如下［14］：

其中，f為模板二值圖像，g為車牌二值圖像，模板與車牌的二值圖像尺寸相同，均為M×N，Tf和Tg分別為模板字符二值圖像和車牌字符二值圖像中數(shù)值為1 的像素個數(shù)，符號Λ 為與運(yùn)算。

2.2 HOG特征

HOG 特征描述符關(guān)注被檢測圖像中物體的結(jié)構(gòu)或形狀，它通過提取邊緣梯度和方向來描述局部物體的形狀特征［15］。首先，將整個圖像分割成小的區(qū)域，每個小區(qū)域稱為細(xì)胞單元。對于每個細(xì)胞單元，采集其中各個像素點(diǎn)的梯度和方向生成方向梯度直方圖；然后，將幾個細(xì)胞單元組成一個塊進(jìn)行歸一化，減少光照變化和陰影的影響。最后，將每個塊內(nèi)的HOG 特征串聯(lián)起來得到車牌字符的HOG 特征描述符［16］。HOG 特征描述符生成步驟如下［17］：

（1）先用兩個梯度算子［-1，0，1］和［-1，0，1］T分別對原圖像做卷積運(yùn)算，得到水平方向和豎直方向的梯度分量，再計算圖像每個像素的梯度大小和方向。此步驟的主要目的是為了捕獲輪廓信息，弱化光照影響，計算公式如下：

其中，H(x，y)表示輸入圖像像素點(diǎn)(x，y)處的像素值，分別表示像素點(diǎn)的水平方向梯度和垂直方向梯度；G(x，y)，α(x，y)分別表示像素點(diǎn)處的梯度幅值和梯度方向。

（2）將圖像劃分成若干個小的細(xì)胞單元，如每個細(xì)胞單元為8×8 像素大小。將細(xì)胞單元的梯度方向360 度分成9個方向，即每40度分為一個方向。

（3）將幾個細(xì)胞單元組成一個特征塊。特征塊主要包含塊大小、每個細(xì)胞單元的方向和細(xì)胞單元大小3 個參數(shù)。塊內(nèi)歸一化梯度直方圖，將一個塊內(nèi)所有細(xì)胞單元特征描述符串聯(lián)。特征塊結(jié)構(gòu)可分為矩形塊（R-HOG）和環(huán)形塊（C-HOG），通常采用矩形塊（R-HOG）。

（4）收集HOG 特征，將所有塊的HOG 特征串聯(lián)得到HOG 特征描述符。

2.3 模板匹配結(jié)合改進(jìn)的局部HOG特征

解決車牌識別中相似字符誤識別問題的方法有：①利用字符的灰度躍變特征結(jié)合模板匹配對字符進(jìn)行二次識別提高識別率的方法；②利用HOG 特征結(jié)合模板匹配法識別車牌字符修正相似字符的誤識別方法。在實際情況中，分割后的車牌字符不可避免會出現(xiàn)些許傾斜和一定的模糊。實驗表明，由于上述因素，使用灰度躍變特征結(jié)合模板匹配的方法仍然會出現(xiàn)將“E 識別成F”“C 識別成0”“S 識別成8”、“皖識別成冀”“Q 識別成0”的情況。由于字符特征塊的選擇問題，采用局部HOG 特征結(jié)合模板匹配法識別車牌存在將“閩識別成粵”“皖識別成冀”“F 識別成P”的問題。

本文根據(jù)HOG 特征與模板匹配法思想，結(jié)合車牌相似字符特點(diǎn)，提出一種改進(jìn)的局部HOG 特征結(jié)合模板匹配的識別方法，實現(xiàn)步驟如下：

（1）統(tǒng)計模板匹配法出現(xiàn)的誤識別字符，“0”與“Q”“B”與“8”“S”與“8”“P”與“R”“E”與“F”“F”與“P”“2”與“Z”“粵”與“閩”“皖”與“冀”。

（2）訓(xùn)練分割后的車牌字符，測試字符形變程度，構(gòu)成測試樣本集。用樣本集測試字符局部HOG 特征塊，得出局部優(yōu)化矩形特征塊。

（3）根據(jù)相似字符特征，確定相似字符組最具有區(qū)分度的特征塊位置。

（4）劃分待識別字符和模板字符圖像對應(yīng)的局部特征塊細(xì)胞單元，采集細(xì)胞單元中每個像素點(diǎn)的梯度方向直方圖，將幾個細(xì)胞單元通過滑動窗口組合成塊（block），塊內(nèi)歸一化梯度直方圖。分別收集待識別字符和模板字符矩形特征塊內(nèi)所有的HOG 特征描述符。歸一化公式如下：

其中，v表示塊內(nèi)統(tǒng)計直方圖的未歸一化向量，δ 為極小的常數(shù)，避免分母為零。

（5）采用歐式距離度量待識別字符與模板字符之間的HOG 特征向量距離，選取與待識別字符歐式距離最小的模板字符作為識別結(jié)果，歐式距離度量公式如下：

其中，xi，yi分別為待識別字符與模板字符之間的HOG特征向量。

3 實驗結(jié)果與分析

本文實驗采用Visual Studio 2012 實現(xiàn)，運(yùn)行環(huán)境為Inter（R）Core（TM）I5 處理器，8GB 內(nèi)存，Windows 10 操作系統(tǒng)。

3.1 實驗方法

本文實驗選取的測試圖片主要來源于白天和傍晚停車場車輛、十字路口的車輛和網(wǎng)絡(luò)監(jiān)控錄像下的車輛，車輛圖片存在程度較輕的傾斜和模糊度，幾乎不涉及字符粘連或斷裂。測試圖片分為兩類，選擇質(zhì)量較好的150 張圖片作為第一類，質(zhì)量相對較差的50 張圖片作為第二類（車牌存在一定程度的模糊，車牌傾斜度在-2～6度范圍內(nèi)），共200張測試圖片。

使用模板匹配法初步識別車牌字符時，車牌的傾斜會導(dǎo)致字符圖像失真變形，增加識別難度。因此，需要訓(xùn)練分割后字符形變情況，組成測試樣本集，分析規(guī)律，以便區(qū)分字符特征（本文中歸一化后的字符大小為20×40）。部分分割后的字符圖像如圖1所示。

Fig.1 Partial character sample圖1 部分字符樣本

對分割后的字符圖像局部提取HOG 特征時，細(xì)胞單元的大小會影響HOG 特征向量的編碼，所以細(xì)胞單元大小的選取至關(guān)重要，需要確定字符圖像的局部最優(yōu)特征塊。表1 為測試第一類車牌圖像得到的字符圖像不同局部特征塊的實驗結(jié)果。

Table 1 Test results for different feature blocks表1 不同特征塊測試結(jié)果（%）

由表1可知，當(dāng)選取1×2的HOG 特征塊時，由于特征塊過大，局部圖像的適應(yīng)性變差，部分相似字符的特征無法區(qū)分，導(dǎo)致HOG 特征表述模糊；選取2×4 的HOG 特征塊時，相似字符的區(qū)分塊過小，出現(xiàn)無用的干擾信息，導(dǎo)致字符的識別率下降。HOG 特征塊的塊數(shù)越多，特征提取的計算量越大，識別速度就越慢。根據(jù)實驗數(shù)據(jù)，最終確定選取2×3 的HOG 特征塊為局部特征塊的優(yōu)化參數(shù)，如表2所示。

Table 2 Positon and parameters of feature block表2 特征塊位置與參數(shù)

3.2 實驗結(jié)果

為評估本文方法的識別效果，選取模板匹配法、模板匹配法結(jié)合躍變特征和模板匹配法結(jié)合局部HOG 特征作為對照，測試第一類和第二類車牌，實驗結(jié)果如表3所示。

由表3 可知，本文所采用的方法相較于模板匹配法、模板匹配法結(jié)合躍變特征和模板匹配法結(jié)合局部HOG 特征的方法，對第一類車牌圖像進(jìn)行識別時，識別率分別提高了52%、12%和4%；對第二類車牌圖像識別時，識別率分別提高了36%、28%和4%。為了評估本文方法的識別速率，選取模板匹配法結(jié)合躍變特征和模板匹配法結(jié)合局部HOG 特征作為對照，分別測試第一類和第二類車牌圖像的識別時間，實驗結(jié)果見表4，輸入車輛圖像像素為640×480。

Table 3 Recognition rate of different methods表3 不同方法的識別率

Table 4 Processing time of different algorithm表4 算法時間比較（ms）

3.3 結(jié)果分析

出現(xiàn)誤識別的主要原因［18］有：車牌經(jīng)過前面階段的圖像預(yù)處理、定位和分割后，統(tǒng)計得到的躍變次數(shù)無法與模板中的躍變次數(shù)匹配，例如字符“8”字符“S”和字符“B”；實際情況中，經(jīng)過分割后的字符“8”與字符“B”可能出現(xiàn)躍變次數(shù)相同的情況，導(dǎo)致字符“8”與字符“B”識別的隨機(jī)性，如圖2 所示；字符分割階段導(dǎo)致字符“P”與字符“F”出現(xiàn)相同躍變次數(shù)，如圖3所示。

出現(xiàn)誤識別的原因［19］主要有：該方法無法得到局部優(yōu)化HOG 特征，導(dǎo)致字符識別具有隨機(jī)性，例如字符“8”“S”和“B”；車牌字符“P”經(jīng)過分割后，右邊筆畫不完整，此時類似字符“F”。對于此類情況，文獻(xiàn)［19］采用的方法無法識別。

針對上述方法的不足，本文根據(jù)統(tǒng)計相似字符區(qū)分明顯的HOG 特征，考慮分割后字符筆畫缺失和字符經(jīng)過形態(tài)學(xué)運(yùn)算后產(chǎn)生的形變等情況，得到局部優(yōu)化HOG 特征來區(qū)分相似字符，提高字符識別率。字符特征塊選取示例如圖4所示。

Fig.2 8 and B圖2 字符8與B

Fig.3 F and P圖3 字符F與P

本文中部分車牌實驗效果如表5 所示。車牌圖像存在-2～6度范圍內(nèi)的傾斜時，躍變特征結(jié)合模板匹配法會將字符“8”識別成“S”，對漢字“皖”不具備識別能力，對字符“0”的識別具有不穩(wěn)定性，易把字符“E”識別成“F”；局部HOG 特征結(jié)合模板匹配法會將字符“F”識別成“P”，對漢字“皖”不具備識別能力，對漢字“閩”的判斷存在不穩(wěn)定性。

Table 5 Part of the license plate experimental results表5 部分車牌實驗效果

實驗結(jié)果表明，在車牌圖像模糊度較輕、車牌傾斜范圍為-2～6度時，本文采用的方法具有一定的識別率。這是因為模板匹配法去除了噪聲影響，HOG 特征能夠描述字符圖像的邊緣結(jié)構(gòu)和輪廓形狀，可在一定程度上減少字符圖像傾斜形變造成的影響。且在選取局部優(yōu)化HOG 特征塊后，能夠從字符結(jié)構(gòu)上快速定位相似字符的不同特征。

由實驗結(jié)果可知，3 種方法識別時間的均值相差不大，為0.6ms 左右。實驗證明，本文采用的方法在提高識別率的同時能夠滿足實時性要求。

4 結(jié)語

本文測試了不同HOG 特征塊對字符的結(jié)構(gòu)提取，確定了局部優(yōu)化的HOG 特征塊，融合模板匹配法，實現(xiàn)對車牌字符的識別。針對模板匹配法結(jié)合灰度躍變法，以及局部HOG 特征結(jié)合模板匹配法的不足，采用一種融合改進(jìn)的局部HOG 特征的模板匹配法提高相似字符的識別率。實驗表明，本文所采用的方法對于傾斜角度較小或模糊的車牌圖片可以進(jìn)行識別，且對車牌定位和字符分割帶來的影響有一定的抗干擾能力。后續(xù)將在傾斜角度和模糊度增加的情況下對車牌進(jìn)行識別研究。