張秀玲, 魏其珺, 周凱旋, 董逍鵬, 馬 鍇

(燕山大學(xué) 河北省工業(yè)計(jì)算機(jī)控制工程重點(diǎn)實(shí)驗(yàn)室, 河北 秦皇島 066004)

隨著計(jì)算機(jī)圖像識(shí)別技術(shù)的發(fā)展,智能交通系統(tǒng)中車牌識(shí)別越來(lái)越重要,其主要包括3方面的內(nèi)容:車牌定位、字符分割與字符識(shí)別,受光照或者圖片變形的影響,其中難度最大的是對(duì)車牌字符的識(shí)別[1-2].中國(guó)車輛牌照字符包含英文大寫字母、阿拉伯?dāng)?shù)字及省份漢字簡(jiǎn)稱[3].國(guó)內(nèi)外對(duì)字母和數(shù)字的識(shí)別研究現(xiàn)在已經(jīng)相對(duì)成熟,但是中文字符相對(duì)于字母和數(shù)字具有復(fù)雜性和多樣性,因此識(shí)別車牌的中文字符難度較大[4].

學(xué)者對(duì)車牌識(shí)別已經(jīng)有了很廣泛的研究,在文獻(xiàn)[5]中用模板匹配的方法,對(duì)圖片的像素要求較高.文獻(xiàn)[6]中支持向量機(jī)的方法適合于小樣本識(shí)別,但進(jìn)行大樣本識(shí)別時(shí)識(shí)別率不高.文獻(xiàn)[7]用改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)車牌的字符識(shí)別,有很強(qiáng)的自適應(yīng)性和較強(qiáng)的魯棒性,對(duì)車牌字符的識(shí)別率有一定的提高.在文獻(xiàn)[8]中用交叉視覺皮質(zhì)模型法識(shí)別車牌字符,方法簡(jiǎn)單模型小,識(shí)別率約為96%.文獻(xiàn)[9]用神經(jīng)網(wǎng)絡(luò)對(duì)單個(gè)漢字進(jìn)行識(shí)別,網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單,但識(shí)別率還有待提高.

傳統(tǒng)的車牌字符識(shí)別是用模板匹配和BP神經(jīng)網(wǎng)絡(luò)等方法進(jìn)行識(shí)別,近年來(lái)由于卷積神經(jīng)網(wǎng)絡(luò)不用對(duì)圖像再進(jìn)行復(fù)雜的預(yù)處理,可以對(duì)復(fù)雜的圖像自動(dòng)提取特征和分類,因此卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別方面應(yīng)用越來(lái)越廣泛[10-11].卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)層數(shù)越深,提取到的特征越多越抽象,本質(zhì)是從輸入到輸出的映射,它的主要特點(diǎn)包括局部感受野、權(quán)值共享以及下采樣[12].卷積神經(jīng)網(wǎng)絡(luò)相鄰兩層之間神經(jīng)元通過(guò)權(quán)值共享使其具有更少的網(wǎng)絡(luò)連接數(shù)和權(quán)值參數(shù),極大降低了模型學(xué)習(xí)的復(fù)雜度,使訓(xùn)練過(guò)程變得更容易,收斂速度較傳統(tǒng)網(wǎng)絡(luò)更快[13].提高卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別精度對(duì)于很多實(shí)際應(yīng)用來(lái)說(shuō)有非常重要的意義.

本文在傳統(tǒng)的LeNet-5網(wǎng)絡(luò)原結(jié)構(gòu)上運(yùn)用深度學(xué)習(xí)的模塊對(duì)傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行加深加寬,加BN層和Dropout優(yōu)化網(wǎng)絡(luò),用全局池化替換全連接層,大大提升了圖像特征提取的有效性,同時(shí)也提高了運(yùn)算速率.經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證,改進(jìn)后網(wǎng)絡(luò)的識(shí)別精度和識(shí)別速度都有明顯的提高,達(dá)到預(yù)期效果.

1 LeNet-5網(wǎng)絡(luò)及其改進(jìn)

LeNet-5網(wǎng)絡(luò)作為一個(gè)非常經(jīng)典的神經(jīng)網(wǎng)絡(luò)模型,最早被應(yīng)用于手寫數(shù)字的識(shí)別,是一種前饋式神經(jīng)網(wǎng)絡(luò).傳統(tǒng)的LeNet-5網(wǎng)絡(luò)一共有7層,有2個(gè)卷積層、2個(gè)池化層、3個(gè)全連接層,每層都含有大量可以訓(xùn)練的權(quán)重參數(shù)[14].直接用傳統(tǒng)LeNet-5網(wǎng)絡(luò)車牌字符識(shí)別,發(fā)現(xiàn)網(wǎng)絡(luò)需要訓(xùn)練較長(zhǎng)時(shí)間才能收斂,網(wǎng)絡(luò)損失值較大.原因如下:

1) 與手寫數(shù)字相比,車牌圖片受光照情況和復(fù)雜背景等因素影響有噪聲,原網(wǎng)絡(luò)層數(shù)較淺,用原網(wǎng)絡(luò)提取的特征個(gè)數(shù)少,不足以有效識(shí)別車牌字符;

2) 手寫數(shù)字只有10種,車牌字符含有漢字,結(jié)構(gòu)比較復(fù)雜,原網(wǎng)絡(luò)識(shí)別神經(jīng)元少,提取特征不夠;

3) 原網(wǎng)絡(luò)中有3個(gè)全連接層,參數(shù)比較多,極大的導(dǎo)致網(wǎng)絡(luò)訓(xùn)練速度慢,收斂慢.

1.1 對(duì)傳統(tǒng)LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)

針對(duì)前文所述情況對(duì)傳統(tǒng)的LeNet-5網(wǎng)絡(luò)進(jìn)行改進(jìn).

1) 使用卷積 Inception-SE模塊代替原網(wǎng)絡(luò)中第3層卷積層和第5 層全連接層.Inception結(jié)構(gòu)有優(yōu)良局部拓?fù)浣Y(jié)構(gòu)性能,可以對(duì)輸入圖像并行地執(zhí)行多個(gè)卷積運(yùn)算或池化操作,并將所有輸出結(jié)果拼接為一個(gè)比較深的特征圖.在提取到目標(biāo)更多豐富特征的同時(shí),增加網(wǎng)絡(luò)深度和寬度.卷積核的選取關(guān)系到能否提取到有效特征,經(jīng)過(guò)實(shí)驗(yàn)論證,5×5的卷積核用2個(gè)3×3卷積核代替效果更好,所以調(diào)整卷積核大小,在 Inception-SE模塊里用2個(gè)3×3卷積核代替一個(gè)5×5卷積核.改進(jìn)后網(wǎng)絡(luò)中包含多個(gè)卷積層,網(wǎng)絡(luò)深度明顯增加.

Squeeze and Excitation(SE)塊是一種非常有效的門機(jī)制,對(duì)通道關(guān)系進(jìn)行建模,可以有效地增強(qiáng)整個(gè)網(wǎng)絡(luò)中模塊的表示能力,增強(qiáng)有效特征的表現(xiàn)能力,并且抑制無(wú)效特征.Squeeze的含義是壓縮,在Squeeze過(guò)程中是將原來(lái)的特征維度進(jìn)行壓縮,輸出的維度相匹配于輸入的特征通道數(shù).2個(gè)全連接層建模通道的相關(guān)性,構(gòu)成了Excitation過(guò)程.在整個(gè)SE模塊中是先把輸入的特征維度降低,再經(jīng)過(guò)激勵(lì)函數(shù)激活,通過(guò)全連接層又回到原來(lái)的維度.Inception-SE模塊的結(jié)構(gòu)如圖1所示.

圖1 Inception-SE模塊結(jié)構(gòu)Fig.1 The module structure of Inception-SE

2) 使用BN層和Dropout. 隨著網(wǎng)絡(luò)層數(shù)加深需考慮過(guò)擬合情況, 神經(jīng)網(wǎng)絡(luò)各層輸出經(jīng)過(guò)層不同的內(nèi)操作差異會(huì)逐漸增大影響實(shí)驗(yàn)效果. 對(duì)每層樣本做歸一化處理, 可以改善神經(jīng)網(wǎng)絡(luò)的輸入, 在一定程度上可以提升網(wǎng)絡(luò)訓(xùn)練速度, 防止過(guò)擬合和梯度彌散, 優(yōu)化網(wǎng)絡(luò). 在每一層卷積層后加Dropout可以在訓(xùn)練時(shí)忽略一部分特征感測(cè)器, 使網(wǎng)絡(luò)有更好的泛化性, 也可以提升網(wǎng)絡(luò)速度.

3) 全連接層常在網(wǎng)絡(luò)結(jié)構(gòu)后面,對(duì)前面的特征進(jìn)行加權(quán)然后分類.大部分情況下全連接層參數(shù)是網(wǎng)絡(luò)中最大的,運(yùn)行耗時(shí)很長(zhǎng).經(jīng)過(guò)多次論證,用全局池化層(global average pooling,GAP)代替全連接層可以融合學(xué)到的深度特征.本文采用softmax損失函數(shù)來(lái)指導(dǎo)學(xué)習(xí)過(guò)程,將多個(gè)標(biāo)量映射為一個(gè)概率分布.改進(jìn)減少了參數(shù),提升了網(wǎng)絡(luò)訓(xùn)練速度,也可防止過(guò)擬合.

根據(jù)以上內(nèi)容,傳統(tǒng)LeNet-5網(wǎng)絡(luò)原結(jié)構(gòu)圖和改進(jìn)后網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2所示.

(a) 原網(wǎng)絡(luò)結(jié)構(gòu)(b) 設(shè)計(jì)改進(jìn)的結(jié)構(gòu)

1.2 改進(jìn)后LeNet-5網(wǎng)絡(luò)的結(jié)構(gòu)描述

第0層為輸入層,輸入分割好的車牌字符圖片,尺寸為28×28的圖像.各網(wǎng)絡(luò)層卷積池化卷積核尺寸和在該層的特征圖尺寸參數(shù)如表1所示.在所有的卷積層中,卷積核滑動(dòng)步長(zhǎng)均為1,本實(shí)驗(yàn)中用的卷積核激活函數(shù)是Relu函數(shù),Relu函數(shù)網(wǎng)絡(luò)的稀疏性比較好,減少了參數(shù)的相互依存關(guān)系,它相較于原sigmoid激活函數(shù)可以非常多的減少訓(xùn)練時(shí)間,過(guò)擬合問(wèn)題的發(fā)生可以得到緩解.在第1層卷積層Conv1中有96個(gè)卷積核,經(jīng)過(guò)第1層得到96個(gè)28×28的特征圖.第3層和第5層為整體的Inception-SE模塊層,每個(gè)模塊有4個(gè)分支.網(wǎng)絡(luò)第3層模塊中分支1有3個(gè)卷積層,卷積核個(gè)數(shù)分別為32、64、64;分支2有3個(gè)卷積層,卷積核個(gè)數(shù)分別為16、24、24;分支3有1個(gè)平均池化層和1個(gè)卷積層,有16個(gè)卷積核,分支4只有1個(gè)卷積層包含24個(gè)卷積核.網(wǎng)絡(luò)第5層模塊結(jié)構(gòu)和第3層模塊結(jié)構(gòu)相同,分支1卷積核個(gè)數(shù)分別為64、96、96,分支2為48、64、64,分支3有32個(gè),分支4有24個(gè).

表1 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)Table 1 The improved network structure

1.3 改進(jìn)后LeNet-5網(wǎng)絡(luò)的算法

整個(gè)網(wǎng)絡(luò)的訓(xùn)練過(guò)程分為正向傳播和反向傳播.正向傳播過(guò)程是卷積層和池化層提取特征的過(guò)程,反向傳播用來(lái)傳遞誤差,使用隨機(jī)梯度下降,更新權(quán)值參數(shù)來(lái)調(diào)整整個(gè)網(wǎng)絡(luò).

正向傳播主要運(yùn)算如下.

卷積層的運(yùn)算為

(1)

式中:k表示卷積核;l是層數(shù);Mj代表第j個(gè)特征圖;b代表偏置項(xiàng).

池化層的計(jì)算為

(2)

式中:down(·)表示下采樣函數(shù);β分別對(duì)應(yīng)每個(gè)輸出的特征圖;b代表偏置.

提取的特征在Inception-SE模塊中,除了前面的卷積和池化過(guò)程外,Squeeze and Excitation過(guò)程計(jì)算公式為

(3)

式中:uc表示c通道的二維矩陣;c是通道;vc表示第c個(gè)卷積核;xs表示第s個(gè)輸入.

式(4)中zc是squeeze得到的結(jié)果,W,H表示壓縮后特征圖的尺寸,經(jīng)過(guò)sigmoid函數(shù),得到式(5)權(quán)重sc.

(6)

反向傳播算法根據(jù)定義好的損失函數(shù)取值,從而達(dá)到優(yōu)化訓(xùn)練網(wǎng)絡(luò),減小損失函數(shù)的目的.主要是使式(7)結(jié)果達(dá)到最優(yōu).

(7)

式(7)為常規(guī)的交叉熵的表達(dá)式,L表示最后的損失函數(shù)值,yj表示經(jīng)過(guò)正向傳播最后的實(shí)際輸出,aj表示經(jīng)過(guò)rule函數(shù)的輸出,表征了當(dāng)前樣本標(biāo)簽為1的概率.

2 改進(jìn)LeNet-5網(wǎng)絡(luò)的車牌仿真實(shí)驗(yàn)

2.1 實(shí)驗(yàn)環(huán)境及所用數(shù)據(jù)集

本實(shí)驗(yàn)在Linux系統(tǒng)下的Keras2.0.9深度學(xué)習(xí)平臺(tái)上進(jìn)行.處理器為Intel Core i7-6850k,主頻3.2 GHz,內(nèi)存32 GB,顯卡為GeForce GTX1080TI.

所用數(shù)據(jù)集為從網(wǎng)絡(luò)上搜集車牌圖片,對(duì)圖片進(jìn)行切割得到5 300張28×28車牌字符數(shù)據(jù),使用過(guò)程中,為了避免出現(xiàn)過(guò)擬合情況,對(duì)數(shù)據(jù)進(jìn)行旋轉(zhuǎn)、平移等泛化數(shù)據(jù)處理,數(shù)據(jù)集擴(kuò)增至10 400張,分類后有7 800張訓(xùn)練集,1 300張測(cè)試集,1 300張驗(yàn)證集,都包括字母、數(shù)字和漢字.由于車牌圖片受光照不均勻、傾斜程度不同等影響,對(duì)原始樣本字符切割之后,對(duì)切割好的字符圖片進(jìn)行歸一化處理,減少外部光照等因素對(duì)識(shí)別效果的影響.車牌圖片如圖3(a)所示,切割歸一化后車牌字符圖片如圖3(b)所示.

2.2 結(jié)果分析

2.2.1 網(wǎng)絡(luò)識(shí)別率比較

神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練時(shí)需要設(shè)置學(xué)習(xí)率來(lái)控制參數(shù)更新的幅度,如果幅度過(guò)大,會(huì)致使參數(shù)在極優(yōu)值的兩側(cè)來(lái)回浮動(dòng),參數(shù)過(guò)小時(shí),雖然能保證收斂性,但會(huì)影響優(yōu)化速率,本實(shí)驗(yàn)設(shè)定0.1的學(xué)習(xí)率能保證收斂性和優(yōu)化速率.在訓(xùn)練前期網(wǎng)絡(luò)不穩(wěn)定,需要調(diào)節(jié)迭代次數(shù)確定網(wǎng)絡(luò)收斂的迭代次數(shù).每一次的采樣數(shù)據(jù)也需要通過(guò)實(shí)驗(yàn)調(diào)整來(lái)達(dá)到更好的識(shí)別效果.通過(guò)實(shí)驗(yàn)證明改進(jìn)后的網(wǎng)絡(luò)進(jìn)行600次迭代訓(xùn)練收斂,未改進(jìn)的網(wǎng)絡(luò)需要900次迭代訓(xùn)練收斂.原網(wǎng)絡(luò)和改進(jìn)后網(wǎng)絡(luò)對(duì)車牌數(shù)據(jù)經(jīng)過(guò)900次迭代后識(shí)別精度和loss值對(duì)比圖見圖4,圖5為改進(jìn)后LeNet-5網(wǎng)絡(luò)的測(cè)試結(jié)果圖.

圖4 改進(jìn)網(wǎng)絡(luò)和原網(wǎng)絡(luò)訓(xùn)練結(jié)果對(duì)比

圖5 改進(jìn)后的網(wǎng)絡(luò)測(cè)試精度Fig.5 The test accuracy of improved network

從圖4中可看出100次迭代之前,識(shí)別精度和損失函數(shù)值都有大幅度變化,從100次迭代之后開始緩慢變化,從精度曲線和loss曲線對(duì)比明顯看出改進(jìn)后的網(wǎng)絡(luò)精度上升更快,loss值下降的更快,說(shuō)明改進(jìn)后的網(wǎng)絡(luò)具有更好的識(shí)別效果.

從圖5可以看出,測(cè)試結(jié)果和訓(xùn)練結(jié)果相差不大,說(shuō)明網(wǎng)絡(luò)不存在過(guò)擬合情況,網(wǎng)絡(luò)有良好的魯棒性.測(cè)試數(shù)據(jù)集樣本少,識(shí)別速度更快.

改進(jìn)后網(wǎng)絡(luò)和原網(wǎng)絡(luò)的識(shí)別精度和網(wǎng)絡(luò)收斂時(shí)間對(duì)比如表2所示,可以明顯看出改進(jìn)后網(wǎng)絡(luò)識(shí)別精度提升,很大程度上降低了網(wǎng)絡(luò)的損失值,識(shí)別時(shí)間比原時(shí)間縮短了一倍.實(shí)驗(yàn)結(jié)果表明,改進(jìn)后的網(wǎng)絡(luò)在識(shí)別精度上較原網(wǎng)絡(luò)提高了1.71%.

表2 改進(jìn)前后的網(wǎng)絡(luò)精度和時(shí)長(zhǎng)對(duì)比

2.2.2 對(duì)于漢字和字母數(shù)字的識(shí)別精度比較

在當(dāng)前車牌字符識(shí)別研究中,由于漢字的結(jié)構(gòu)復(fù)雜,所以識(shí)別起來(lái)難度較大.為了進(jìn)一步驗(yàn)證本文網(wǎng)絡(luò)對(duì)于漢字的識(shí)別效果,用本文網(wǎng)絡(luò)和最常用的車牌字符識(shí)別方法對(duì)漢字和數(shù)字字母分別做了對(duì)比識(shí)別.模板匹配法和BP網(wǎng)絡(luò)是最常用的車牌字符識(shí)別方法.其中本文網(wǎng)絡(luò)每次采樣200張圖像,共進(jìn)行600次迭代訓(xùn)練.各方法得到的字符識(shí)別精度如表3所示.由表3可以看出,本文網(wǎng)絡(luò)對(duì)于漢字的識(shí)別精度高于其他方法的識(shí)別精度,各種方法對(duì)字母和數(shù)字的識(shí)別精度均高于對(duì)漢字的識(shí)別精度.

表3 字母、數(shù)字和漢字的識(shí)別精度

2.2.3 改進(jìn)后的網(wǎng)絡(luò)中SE模塊的識(shí)別效果

SE模塊屬于soft attention機(jī)制的一種,是從特征重標(biāo)定的角度提高模型的識(shí)別效果.它通過(guò)學(xué)習(xí)的方式自動(dòng)獲取每個(gè)特征通道的重要程度,依照這個(gè)重要程度去提升有用的特征并抑制對(duì)當(dāng)前任務(wù)用處不大的特征,根據(jù)loss去學(xué)習(xí)特征權(quán)重,讓有效特征的權(quán)重大,無(wú)效或效果小的特征權(quán)重小.為確認(rèn)SE模塊對(duì)網(wǎng)絡(luò)的改進(jìn)效果,對(duì)改進(jìn)網(wǎng)絡(luò)進(jìn)行加上和去掉SE模塊進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表4所示.從表4看出有SE模塊識(shí)別精度提升了0.66%.可見SE模塊對(duì)于網(wǎng)絡(luò)改進(jìn)發(fā)揮了很大的作用,有效提升了網(wǎng)絡(luò)的識(shí)別精度.

表4 改進(jìn)后網(wǎng)絡(luò)中關(guān)于SE模塊的識(shí)別效果

2.2.4 改進(jìn)網(wǎng)絡(luò)中最優(yōu)精度的Dropout值

Dropout是網(wǎng)絡(luò)在訓(xùn)練過(guò)程中關(guān)閉一部分神經(jīng)元,可以增加泛化能力,提高精度.不同的Dropout值在網(wǎng)絡(luò)中達(dá)到的效果不同,過(guò)高或者過(guò)低都會(huì)造成網(wǎng)絡(luò)訓(xùn)練精度和驗(yàn)證精度差別很大,導(dǎo)致網(wǎng)絡(luò)效果欠佳.對(duì)Dropout設(shè)置不同的值運(yùn)用到改進(jìn)網(wǎng)絡(luò)中,不同值的識(shí)別精度如表5所示,由表5看出,在Dropout值為0.3時(shí),本文改進(jìn)網(wǎng)絡(luò)達(dá)到精度最優(yōu).

表5 不同Dropout值的識(shí)別精度Table 5 Recognition rate of different Dropout value

3 結(jié) 論

本文對(duì)卷積神經(jīng)網(wǎng)絡(luò)LeNet-5用于車牌字符識(shí)別進(jìn)行了研究,并對(duì)傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)LeNet-5進(jìn)行了改進(jìn).研究結(jié)果表明,Inception-SE卷積模塊加深加寬了LeNet-5網(wǎng)絡(luò)的卷積層,豐富了提取的特征,識(shí)別精度比原網(wǎng)絡(luò)有了很大提高.使用BN層和Dropout很好地優(yōu)化了網(wǎng)絡(luò),避免了出現(xiàn)過(guò)擬合的情況.采用的全局池化層代替全連接層極大的提升了識(shí)別時(shí)間.實(shí)驗(yàn)結(jié)果說(shuō)明對(duì)原網(wǎng)絡(luò)改進(jìn)有效.通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)對(duì)于漢字的識(shí)別難度確實(shí)比字母數(shù)字大,漢字識(shí)別精度有待進(jìn)一步提高.通過(guò)對(duì)改進(jìn)網(wǎng)絡(luò)有無(wú)SE模塊進(jìn)行實(shí)驗(yàn),發(fā)現(xiàn)SE模塊從特征提取方面可以很大程度提升網(wǎng)絡(luò)精度.另外Dropout值的大小對(duì)于網(wǎng)絡(luò)精度也有很大影響,在本文網(wǎng)絡(luò)中0.3最佳.本文實(shí)驗(yàn)是對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn),圖像的識(shí)別精度還可以進(jìn)一步提高,下一步的研究方向是對(duì)網(wǎng)絡(luò)的損失函數(shù)的改進(jìn),有待進(jìn)行進(jìn)一步的研究.