呂興琴 郭曉瑜 蔡小丹

摘要：近年來(lái)，我國(guó)大力推進(jìn)智慧城市和智慧交通建設(shè)，在車牌識(shí)別領(lǐng)域所要求的識(shí)別精度、場(chǎng)景適用性和反映靈敏性也越來(lái)越高。文章提出了一種基于深度神經(jīng)網(wǎng)絡(luò)算法的高精度車輛識(shí)別系統(tǒng)，利用開(kāi)源圖形化視覺(jué)處理庫(kù)OpenCV和數(shù)據(jù)分析處理庫(kù)NumPy對(duì)車牌進(jìn)行圖像預(yù)處理?；陬A(yù)處理后的數(shù)據(jù)，利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)框架TensorFlow進(jìn)行學(xué)習(xí)訓(xùn)練，實(shí)現(xiàn)了對(duì)車牌的快速精準(zhǔn)識(shí)別。系統(tǒng)首先對(duì)車牌所在位置進(jìn)行定位，其次對(duì)鎖定后的車牌圖像進(jìn)行切割，再次將車牌背景和文字通過(guò)像素點(diǎn)移位算法由彩色圖像轉(zhuǎn)換為灰度圖像，最后實(shí)現(xiàn)字符的切割與識(shí)別，得到所要識(shí)別的車牌數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)識(shí)別系統(tǒng)相比，基于深度學(xué)習(xí)的識(shí)別系統(tǒng)準(zhǔn)確率更高，識(shí)別速度更快。

關(guān)鍵詞：智慧交通；車輛識(shí)別；深度神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TP389文獻(xiàn)標(biāo)志碼：A

0 引言

近年來(lái)，我國(guó)的汽車保有量在不斷增加，交通安全、城市公共管理等領(lǐng)域?qū)τ谲嚺谱R(shí)別技術(shù)的需求日益增加，能夠更有效、便捷地對(duì)車輛進(jìn)行管控對(duì)我國(guó)的基礎(chǔ)建設(shè)十分重要［1］。

隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，基于人工智能的深度學(xué)習(xí)算法在車輛識(shí)別中得到了廣泛應(yīng)用。本文提出了一種基于神經(jīng)網(wǎng)絡(luò)的高精度車輛識(shí)別系統(tǒng)，采用基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型，在圖像預(yù)處理的基礎(chǔ)上利用TensorFlow框架對(duì)車牌及字符模型進(jìn)行學(xué)習(xí)和訓(xùn)練［2］，大大縮短了識(shí)別時(shí)間，提高了識(shí)別成功率，方便了城市的交通管理和智能化建設(shè)。

1 車牌圖像預(yù)處理

由于拍攝環(huán)境、光源、背景、噪聲等外界因素的影響，直接對(duì)采集到的車牌圖像進(jìn)行識(shí)別會(huì)有一定的困難，所以在識(shí)別車牌圖像之前需要先進(jìn)行圖像預(yù)處理。本系統(tǒng)先采用灰度處理和高斯濾波平滑處理方法對(duì)圖像進(jìn)行顏色空間轉(zhuǎn)換和角度變換，使得圖像噪聲減少，突出車牌字符，保障后期的車牌檢測(cè)和定位；再采用二值化和邊界提取算法進(jìn)行車牌字符識(shí)別。整體流程如圖1所示。

1.1 灰度處理與濾波去噪

在交通網(wǎng)絡(luò)中，所使用的拍攝設(shè)備基本是彩色攝像頭，獲取的汽車車牌圖像也都是彩色圖像，圖像所包含的信息也很多，所以需要先對(duì)圖像進(jìn)行灰度化處理。圖像灰度化就是以一定的方式將原本圖像的灰度值替換成新的有利于后續(xù)處理的灰度值?；叶忍幚砗笮枰幚淼臄?shù)據(jù)量將大大減少，從而提高運(yùn)算效率。

經(jīng)灰度處理后的圖像仍會(huì)存在一些不同程度的噪聲干擾，比如脈沖噪聲、高斯噪聲等。本系統(tǒng)采用高斯濾波算法來(lái)去除噪聲對(duì)車輛圖像的污染。高斯濾波是一種線性平滑濾波，對(duì)脈沖噪聲、高斯噪聲的抑制效果明顯。采用cv2.GuassianBlur函數(shù)指定卷積模板去掃描圖像中的每一個(gè)像素，然后用模板確定的鄰域內(nèi)像素的加權(quán)平均灰度值去替代模板中心像素點(diǎn)的值。常用的高斯模板［3］如圖2所示。

1.2 邊緣定位提取與二值化

我國(guó)汽車車牌布局十分規(guī)則整齊，最常見(jiàn)的背景色為藍(lán)色，文字顏色為白色，并且車牌內(nèi)部的文字內(nèi)容大約占據(jù)車牌的30%，所以本系統(tǒng)采用傳統(tǒng)的Sobel算法［4-6］進(jìn)行邊緣檢測(cè)。

Sobel算子是一個(gè)用來(lái)計(jì)算圖像灰度函數(shù)的近似梯度的離散微分算子。采用cv2.Sobel算子或Scharr函數(shù)，梯度的公式如下：

F（x，y）為圖像各點(diǎn)像素值，Soble邊緣檢測(cè)具有方向性，分為豎直邊緣檢測(cè)和垂直邊緣檢測(cè)，濾波器模板卷積核大小選取3。邊緣處理后即可獲得車牌圖像的矩形邊框。

為了進(jìn)一步減少車牌圖像中除字符以外因素的影響，本文對(duì)車牌灰度化圖像進(jìn)行二值化處理，即將圖像的像素點(diǎn)從［0，255］中任一灰度值變?yōu)橹挥?和255兩個(gè)像素值［7-8］，從而大大縮短后續(xù)處理的時(shí)間，提高車牌識(shí)別的效率。使用的代碼為binary_img = cv2.threshold（Sobel_img，127，255，cv2.THRESH_BINARY）。

2 車牌字符分割與識(shí)別

2.1 車牌圖像形態(tài)學(xué)處理

在對(duì)車牌圖像進(jìn)行字符識(shí)別前需要采用圖像形態(tài)學(xué)算法進(jìn)一步找到車牌區(qū)域。圖像形態(tài)學(xué)包含多種處理方式，最常見(jiàn)的有腐蝕運(yùn)算［9］、膨脹運(yùn)算、開(kāi)運(yùn)算和閉運(yùn)算。腐蝕是將需要處理的圖像矩陣化，轉(zhuǎn)化為數(shù)值進(jìn)行處理，對(duì)每一個(gè)位置領(lǐng)域的最小值作為該位置的一個(gè)灰度值的輸出，處理后的圖像整體亮度會(huì)大大降低［10］。膨脹是腐蝕的逆向操作，可以使得圖像的亮度變得更加明亮。開(kāi)運(yùn)算通過(guò)先腐蝕再膨脹，可以去除圖像中亮度比較高的位置和區(qū)域。而閉運(yùn)算就是開(kāi)運(yùn)算的相反操作［11］。

為了更好地對(duì)車牌字符區(qū)域進(jìn)行完全的定位，本系統(tǒng)先采用閉運(yùn)算將字符區(qū)域填充并與其他部分背景盡可能斷開(kāi)，再利用開(kāi)運(yùn)算去除圖像中相對(duì)獨(dú)立的小點(diǎn)以及一些毛刺［12］，最后采用膨脹算子平滑車牌邊緣區(qū)域。處理后的圖像如圖3所示。

2.2 車牌字符識(shí)別

本系統(tǒng)采用了基于深度神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)相結(jié)合的車輛字符識(shí)別算法，對(duì)復(fù)雜環(huán)境下的圖像在進(jìn)行預(yù)處理的基礎(chǔ)上進(jìn)行遷移訓(xùn)練學(xué)習(xí)，降低了深度識(shí)別算法失敗的概率。實(shí)驗(yàn)流程主要分為訓(xùn)練和測(cè)試兩部分，車輛圖像訓(xùn)練數(shù)據(jù)集數(shù)量為590個(gè)；驗(yàn)證數(shù)據(jù)集數(shù)量為394個(gè)；測(cè)試數(shù)據(jù)集數(shù)量為16個(gè)。

在學(xué)習(xí)和訓(xùn)練樣本階段，本系統(tǒng)采用tensorflow.keras內(nèi)置的DenseNet201模型，在ImageNet上進(jìn)行預(yù)訓(xùn)練。該模型在ImageNet上的top-1準(zhǔn)確率達(dá)到了0.831，而top-6的準(zhǔn)確率達(dá)到了0.967。在進(jìn)行遷移學(xué)習(xí)時(shí)，本系統(tǒng)先將預(yù)訓(xùn)練模型的參數(shù)進(jìn)行凍結(jié)，然后在模型加入全連接層，搭建車輛識(shí)別圖像的分類神經(jīng)網(wǎng)絡(luò)。為了防止在訓(xùn)練中出現(xiàn)過(guò)擬合的現(xiàn)象，本系統(tǒng)添加了全局平均池化層和dropout層。經(jīng)過(guò)兩輪次訓(xùn)練得到的結(jié)果，如圖4所示。

從訓(xùn)練結(jié)果可以看出，在原來(lái)訓(xùn)練圖像模型的基礎(chǔ)上，采用深度學(xué)習(xí)方式，通過(guò)少量數(shù)據(jù)就可以快速在訓(xùn)練中得到較好的結(jié)果，經(jīng)過(guò)第二輪次時(shí)，測(cè)試集的損失也達(dá)到了最低值，對(duì)應(yīng)準(zhǔn)確率達(dá)到85.28%。

3 實(shí)驗(yàn)與分析

基于深度神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的高精度車輛識(shí)別系統(tǒng)界面，如圖5所示。車牌字符區(qū)域定位提取與字符識(shí)別界面，如圖6所示。

3.1 不同日照環(huán)境識(shí)別測(cè)試對(duì)比

本系統(tǒng)選取三種車牌圖像采集環(huán)境，分別為白天、夜晚和深夜。利用本文算法和傳統(tǒng)算法處理后的識(shí)別結(jié)果如表1所示。根據(jù)測(cè)試結(jié)果來(lái)看，傳統(tǒng)算法在稍微復(fù)雜的環(huán)境下很難成功，而本系統(tǒng)算法則完全支持在能見(jiàn)度不高的環(huán)境下繼續(xù)識(shí)別圖像。

3.2 污損車牌識(shí)別測(cè)試對(duì)比

采集車牌表面有污損的圖像，比如遮擋、污漬、破損等，識(shí)別結(jié)果如表2所示。

從上述結(jié)果可以看出，污損面積在20%以內(nèi)時(shí)，本文算法能夠保持較高的識(shí)別率；當(dāng)污損面積高于20%時(shí)，字符完整性越來(lái)越低，算法成功率只有46%。

3.3 傾斜角識(shí)別測(cè)試對(duì)比

不同角度的車牌圖像對(duì)于車牌識(shí)別系統(tǒng)的識(shí)別成功率也有影響，本系統(tǒng)也采集了不同的傾斜度的圖像進(jìn)行識(shí)別，示例圖像如圖7所示，識(shí)別結(jié)果如表3所示。

從實(shí)驗(yàn)結(jié)果可以看出，在傾斜角較小的情況下本文算法的成功率很高，但在較高的傾斜角的情況下，樣本的識(shí)別成功率明顯降低，平均時(shí)間明顯變長(zhǎng)，表明本文的算法在應(yīng)對(duì)傾斜角過(guò)高的情況下相應(yīng)算法仍須改進(jìn)。

3.4 遠(yuǎn)近測(cè)試對(duì)比

遠(yuǎn)近識(shí)別的主要應(yīng)用場(chǎng)景為車輛較多的情況下進(jìn)行的一次性識(shí)別。識(shí)別結(jié)果如表4所示。

從上述的結(jié)果可以看出，本系統(tǒng)由于利用了深度學(xué)習(xí)的方式，在較遠(yuǎn)距離的環(huán)境下，車牌識(shí)別的成功率也較高。

4 結(jié)語(yǔ)

本系統(tǒng)基于車輛的識(shí)別展開(kāi)設(shè)計(jì)，無(wú)論是對(duì)于日常生活還是交通管理都有著一定的價(jià)值。不同于傳統(tǒng)的車牌識(shí)別技術(shù)，本系統(tǒng)與深度學(xué)習(xí)相結(jié)合，在對(duì)車輛圖像進(jìn)行充分預(yù)處理之后，運(yùn)用深度神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)模型對(duì)車牌進(jìn)行字符學(xué)習(xí)。該系統(tǒng)算法在復(fù)雜環(huán)境的優(yōu)勢(shì)相對(duì)于傳統(tǒng)的算法更強(qiáng)，經(jīng)過(guò)實(shí)驗(yàn)的對(duì)比，就識(shí)別的正確率方面是優(yōu)于傳統(tǒng)算法的。本系統(tǒng)的前端采用了比較新的Django框架來(lái)搭建Web頁(yè)面。但本系統(tǒng)在傾斜角方面在后續(xù)的研究中還須進(jìn)一步改進(jìn)。

參考文獻(xiàn)

［1］秦俊峰.智慧交通的體系架構(gòu)與發(fā)展思考［J］.城市建設(shè)理論研究（電子版），2017（19）：167.

［2］JIANG Y，TAO S，ZHANG H，et al.Image data augmentation method based on maximum activation point guided erasure：2020 2nd International Conference on Advances in Computer Technology，Information Science and Communications（CTISC）［C］.Suzhou：Institute of Electrical and Electronic Engineers，2020.

［3］王英，關(guān)宇東，李艷.一種融合區(qū)域生長(zhǎng)和邊緣檢測(cè)的彩色圖像分割方法［J］.科技導(dǎo)報(bào)，2008（16）：85-87.

［4］劉源，夏春蕾.一種基于Sobel算子的帶鋼表面缺陷圖像邊緣檢測(cè)算法［J］.電子測(cè)量技術(shù)，2021（3）：138-143.

［5］李靜，陳桂芬，丁小奇.基于改進(jìn)Canny算法的圖像邊緣檢測(cè)方法研究［J］.計(jì)算機(jī)仿真，2021（4）：371-375.

［6］LANDMAN D，SEREBRENIK A，VINJU J J.Challenges for Static Analysis of Java Reflection-Literature Review and Empirical Study：2017 IEEE/ACM 39th International Conference on Software Engineering （ICSE）［C］.Buenos Aires：Institute of Electrical and Electronic Engineers，2017.

［7］陳建江，鄭東，翟劍飛.地質(zhì)圖件的多閾值動(dòng)態(tài)自適應(yīng)二值化法及改進(jìn)的二值圖像細(xì)化算法［J］.微型電腦應(yīng)用，2004（1）：56-59，64.

［8］熊煒，王鑫睿，王娟，等.結(jié)合背景估計(jì)與能量函數(shù)的圖像二值化算法［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2019（7）：1984-1989，2058.

［9］陸宗騏，朱煜.數(shù)學(xué)形態(tài)學(xué)腐蝕膨脹運(yùn)算的快速算法［EB/OL］.（2018-03-17）［2023-04-10］.https：//cl.wanfangdata.com.cn/conference6384089.

［10］張彩珍，李穎，康斌龍，等.基于深度學(xué)習(xí)的模糊車牌字符識(shí)別算法［J］.激光與光電子學(xué)進(jìn)展，2021（16）：259-266.

［11］ZHONG L，WAN W，KONG D.Javaweb login authentication based on improved MD5 algorithm：International Conference on Audio［C］.Suzhou：Institute of Electrical and Electronic Engineers，2017.

［12］吳宏偉.基于深度學(xué)習(xí)的車牌檢測(cè)識(shí)別系統(tǒng)研究［D］.大連：大連理工大學(xué)，2021.

（編輯 姚 鑫）