基于脈沖神經(jīng)網(wǎng)絡(luò)的車牌提取算法

陳麗娟

(福建農(nóng)林大學(xué)東方學(xué)院，福建 福州　350017)

基于脈沖神經(jīng)網(wǎng)絡(luò)的車牌提取算法

陳麗娟

(福建農(nóng)林大學(xué)東方學(xué)院，福建 福州350017)

在車牌識別系統(tǒng)中，主要包括車牌提取、字符分割和字符識別，其中車牌提取是非常關(guān)鍵的技術(shù)之一，是否精確提取車牌直接影響后階段車牌圖像處理的質(zhì)量和處理速度、字符識別的精度和速度。本文提出基于脈沖神經(jīng)網(wǎng)絡(luò)的車牌提取算法。該算法主要分為兩個部分：粗定位和精確定位。首先基于脈沖神經(jīng)網(wǎng)絡(luò)對車牌圖像進行顏色特征提取，初步定位車牌區(qū)域；然后進行圖像處理，此過程也是利用SNN進行邊緣檢測，能得到更好的車牌邊緣圖。此算法具有較高的定位率，能對各種底色車牌進行定位，有利于后面的字符分割和識別。

車牌提?。幻}沖神經(jīng)網(wǎng)絡(luò)（SNN）；邊緣檢測

本文著錄格式：陳麗娟. 基于脈沖神經(jīng)網(wǎng)絡(luò)的車牌提取算法[J]. 軟件，2016，37（9）：39-43

0　引言

隨著人們的物質(zhì)生活水平有了顯著的提高，汽車進入尋常百姓家，智能交通系統(tǒng)也逐漸受到人們的關(guān)注。車牌識別系統(tǒng)是智能交通系統(tǒng)非常重要的模塊之一，車牌自動識別系統(tǒng)具有廣泛的應(yīng)用范圍，可以有效緩解高速公路收費站前的車輛堵塞和交通擁擠的情況；也可以有效防止社區(qū)用戶的車位被占以及車輛被盜；還可應(yīng)用于道路交通監(jiān)控、停車場管理系統(tǒng)、交通事故現(xiàn)場勘察、交通違章自動記錄等方面[1]，因此車牌識別系統(tǒng)在市場上具有很大的經(jīng)濟價值。

在車牌識別系統(tǒng)中，主要以車牌提取為基礎(chǔ)，車牌能否準(zhǔn)確提取直接決定了后續(xù)字符分割和識別的圖像處理與識別的質(zhì)量與成敗。車牌提取[2]是從背景圖像中確定車牌所在區(qū)域并分割出車牌圖像，其提取過程相當(dāng)復(fù)雜，會受車輛背景、車輛運行速度、天氣、拍攝視角、噪聲、車牌缺損、光照等因素的影響。如何在復(fù)雜情況中準(zhǔn)確、快速提取車牌的位置成為車牌識別中的難點。

現(xiàn)在車牌提取已經(jīng)提出了很多方法[14],其中經(jīng)常用到的是基于黑白圖像定位[3]、基于顏色特征算法[4]和基于車牌邊緣檢測算法[5]。大多數(shù)算法都是基于單—特征來進行車牌定位提?。@樣的定位方法在確定車牌區(qū)域上存在著明顯的局限性，受到特定條件的限制。車牌區(qū)域主要有以下特征[6]：顏色特征、幾何特征、位置特征、紋理特征、灰度跳變特征、投影特征和頻譜特征等。車牌和字符的顏色共有五種組合分別為：藍(lán)底白字、黃底黑字、白底黑字、黑底白字以及白底紅字，其中一些小型和大型車輛的牌照底色會跟著省份的變化而略有不同。本文綜合分析車牌的特征，提出了基于脈沖神經(jīng)網(wǎng)絡(luò)顏色特征提取的車牌粗定位和基于脈沖神經(jīng)網(wǎng)絡(luò)的邊緣檢測的精確定位。

1　算法描述及流程

首先輸入拍攝的彩色車牌圖像，利用SNN對車牌圖像進行顏色特征提取，接著經(jīng)過一系列處理實現(xiàn)車牌的粗定位，然后運用灰度化、邊緣檢測[12][13]、形態(tài)學(xué)處理和二值化等技術(shù)對粗定位車牌進行處理，再采用行列掃描投影法進行精確定位，最終提取出正確的車牌區(qū)域[7]，其中的邊緣檢測也是基于SNN?；赟NN的車牌定位流程如下圖1所示：

圖1　車牌定位流程圖

2　車牌的粗定位[8]

目前科學(xué)家已經(jīng)提出了不少脈沖神經(jīng)元模型，比較有代表性的是脈沖響應(yīng)模型（SRM模型）和累積放電模型(&IF模型)，本文主要介紹的是&IF模型[15]。設(shè)神經(jīng)元為i，為膜電壓，其神經(jīng)元的膜電壓的動態(tài)方程由下面公式表示：

如果神經(jīng)元的輸入是圖像的像素值的話，那么根據(jù)公式將像素轉(zhuǎn)換為相應(yīng)的電流，然后再由電流轉(zhuǎn)換為相應(yīng)的脈沖序列。如下圖2所示為神經(jīng)元的膜電壓與產(chǎn)生的相應(yīng)脈沖序列隨時間變化的關(guān)系圖。第一行是輸入電流，第二行是對應(yīng)的膜電位，第三行是產(chǎn)生的脈沖序列。

脈沖序列的輸入大致可分為兩種，一種是相位同步，輸入的脈沖越快，其輸出脈沖序列頻率越大。另一種是相位異步，輸入的脈沖越慢，其輸出脈沖序列頻率越小。利用這種特性，我們可以比較兩個信號的相似。同時將這樣的特效引申用來匹配兩個像素的相似性。后面的基于SNN的彩色圖像分割就有利用這個特性。

一幅彩色圖像(,)fxy可分解為紅色成分圖Rf、綠色成分圖Gf和藍(lán)色成分圖Bf，同理一個彩色像素p(x,y)可分解紅、綠、藍(lán)(R,G,B),用表示，上標(biāo)T代表轉(zhuǎn)置。我國車牌的底色主要有藍(lán)、黃、白和黑四種。根據(jù)大量實驗統(tǒng)計結(jié)果可知，如果圖像中彩色像素(,)pxy的三原色(,,)RGB滿足條件，則可判斷該位置在原彩色車牌圖像中所對應(yīng)的像素屬于藍(lán)色；同理如果屬于黃色；如果屬于白色；如果屬于黑色。其中都是閾值。

本文基于上述所說的車牌顏色特征，設(shè)計了一個脈沖神經(jīng)網(wǎng)絡(luò)來對車牌實現(xiàn)粗定位，整體框架如下圖3。假設(shè)一幅彩色圖像(,)fxy的維數(shù)是3PQ××，它的三幅成分圖分別記為和第一層光感接收層我實現(xiàn)每一個像素轉(zhuǎn)化為相應(yīng)的電流由中間層將其轉(zhuǎn)化為脈沖序列。然后計算三幅成分圖的每一個像素所對應(yīng)產(chǎn)生的脈沖序列的頻數(shù)，分別用三個數(shù)組Rspike，Gspike和Bspike來表示放電頻數(shù)，它們的維數(shù)均為PQ×。假設(shè)在紅色成分圖坐標(biāo)(3,4)位置處像素放電頻數(shù)為我們將三個閾值像素也轉(zhuǎn)化成對應(yīng)的脈沖序列，計算相應(yīng)的放電頻數(shù)，分別標(biāo)記為0Rspike，0Gspike和0Bspike，接著比較數(shù)組和spikeR0中的每個值，同時也比較數(shù)組和中的每一值和數(shù)組spikeB和spikeB0中的每個值，若滿足特定的關(guān)系，則將三幅成分圖的對應(yīng)位置置1，得到三個維數(shù)都為P×Q的模板

圖3　顏色分割的脈沖神經(jīng)網(wǎng)絡(luò)模型

以藍(lán)色為例，上述算法的具體步驟如下：

（1）輸入彩色車牌圖像；

（2）將三幅成分圖Rf，Gf和Bf中的每個像素轉(zhuǎn)換為脈沖序列；

（3）計算其脈沖序列的放電頻數(shù)，分別用維數(shù)為PQ×的數(shù)組Rspike，Gspike和Bspike來存儲；

（6）如果ModelB(x,y)=1，則在坐標(biāo)(x,y)處的像素為藍(lán)色。

其他顏色原理相同。如下圖所示為車牌粗定位，其中（a）是原始彩色車牌圖像，（b）為車牌粗定位圖像。

圖4　車牌粗定位

3　車牌的精確定位

經(jīng)過車牌圖像粗定位之后，初步提取了車牌區(qū)域，得到的車牌圖像中大部分背景已經(jīng)去除，但是該車牌區(qū)域不僅含有車輛的牌照還包含其他背景干擾信息，這樣會影響后面的車牌字符分割和識別，因此對粗定位的車牌圖像必須進行精確定位[9]，算法流程如下圖所示。

圖5　精確定位流程圖

本文主要基于感受野和脈沖神經(jīng)元來檢測車牌圖像的邊緣，其網(wǎng)絡(luò)的結(jié)構(gòu)如圖6所示。該網(wǎng)絡(luò)有三層。第一層為光感輸入層,第二層為中間層，四個并行神經(jīng)元矩陣1N、2N、3N、4N對應(yīng)四種不同的感受野，為了簡化我們只畫出了每個矩陣中的一個神經(jīng)元。在突觸連接中的X‘’代表興奮性突觸，Δ‘’代表抑制性突觸，中間層通過不同的權(quán)重矩陣連接光感輸入層，分別執(zhí)行上、下、左、右邊緣的檢測，這些權(quán)重矩陣能改變圖像中不同尺寸感受野的大小。第三層為輸出層，其中每一個神經(jīng)元累加來自第二層對應(yīng)四個并行神經(jīng)元矩陣的輸出。通過繪制輸出層的脈沖頻率圖，我們能得到對應(yīng)于輸入圖像的邊緣圖[10,11]。本文主要介紹神經(jīng)元4N通過權(quán)重矩陣連接到光感輸入層的感受野reptRF，其響應(yīng)了感受野的右邊緣[34,35]。此脈沖神經(jīng)網(wǎng)絡(luò)檢測右邊緣的原理如下：

如果一個灰度均勻圖像位于該感受野中時，產(chǎn)生一個均勻的脈沖的輸出，中興奮性突觸與抑制性突觸所產(chǎn)生的電勢大小相等，符號相反相互抵消，膜電勢不會變化，因此不會有脈沖序列產(chǎn)生；如果一個邊緣明確的圖像位于感受野reptRF中，感受野的左半部分產(chǎn)生一個較強的信號，右半部分產(chǎn)生一個符號相反的較弱的信號，由于左半部分興奮信號沒有被右半部抑制信號抵消，因此膜電勢上升的很快，最終會產(chǎn)生響應(yīng)右邊緣的脈沖序列。其中突觸權(quán)重矩陣相當(dāng)于在感受野reptRF內(nèi)檢測右邊緣的一個濾波器。同理神經(jīng)元1N有突觸權(quán)重矩陣upW，能夠響應(yīng)上邊緣；神經(jīng)元2N有突觸權(quán)重矩陣downW，能夠響應(yīng)下邊緣；神經(jīng)元3N有突觸權(quán)重矩陣leftW，能夠響應(yīng)左邊緣。輸出層神經(jīng)元(,)xy＇＇累積來自中間層的四個神經(jīng)元矩陣的輸出，然后響應(yīng)位于感受野任意方向的邊緣[10,11]。

如下圖所示，通過與canny邊緣檢測、sobel邊緣檢測和robert邊緣檢測這三種方法對比，可知sobel邊緣檢測和robert邊緣檢測結(jié)果缺失了部分邊緣，canny邊緣檢測能力很強，但是提取了很多無用的邊緣，然而SNN邊緣檢測結(jié)果最好，彌補了兩者的缺點。

4　實驗結(jié)果及分析

圖6　邊緣檢測的脈沖神經(jīng)網(wǎng)絡(luò)模型[10,11]

圖7　邊緣檢測對比圖

我們使用 Visual C ++ 2012開發(fā)工具搭建此算法的軟件實驗平臺，共收集了樣本400張（全國各個省份的車牌），并且針對各種底色車牌逐一進行提取，實驗結(jié)果如下所示。圖8給出了一個提取車牌的不同階段所獲得的圖像或特征分布，該車牌為黃底車牌：蒙A16777，彩色車牌圖像車牌粗定位灰度化直方圖

圖8　車牌提取過程

通過以上的提取過程可知車牌的粗定位還包含圖像的其他信息，然后經(jīng)過一系列處理，采用行列掃描投影法進行精確定位，最后提取了較好的車牌區(qū)域。

通過對400張車牌進行定位，有366張可以成功定位，定位率達(dá)到91.5%。從以上實驗結(jié)果可知該算法能達(dá)到很好的提取效果，由于采用的是基于SNN的車牌提取方法，包括利用SNN的進行對車牌圖像進行顏色分割和邊緣檢測，該方法充分利用了車牌的顏色特征和紋理特征，因此拍攝角度、車牌區(qū)域的傾斜角度及牌照大小對其影響不是很大，在提取過程中可適應(yīng)于不同背景、不同拍攝角度和不同光照下的車牌圖像，從而提高了車牌的定位率。

6　總結(jié)

本文主要介紹了基于脈沖神經(jīng)網(wǎng)絡(luò)的車牌提取算法，分別從車牌粗定位和精確定位兩方面進行了系統(tǒng)的分析，綜合運用了圖像處理中的灰度化處理、邊緣檢測、二值化等技術(shù)對車牌圖像進行分析和處理，充分利用車牌顏色和紋理等特征對車牌進行提取。由于客觀條件和時間的限制，本文的研究還存在很多不足，有很多方面需要進一步提高。

[1] 王豐元. 計算機視覺在交通工程測量中的應(yīng)用[J]. 中國公路學(xué)報, 1999, 15(7), 32-34.

[2] 路倩倩. 基于復(fù)雜光照條件下的車牌定位算法的研究[D]. 河北: 河北工業(yè)大學(xué), 2012.

[3] 李波, 曾致遠(yuǎn), 周建中, 羅勤. 一種車牌自動識別系統(tǒng)設(shè)計方法[J]. 計算機應(yīng)用研究, 2006, 23(10): 156-158.

[4] 郭捷, 施鵬飛. 基于顏色和紋理分析的車牌定位方法[J].中國圖象圖形學(xué)報, 2002, 7(5): 472-476.

[5] 胡小鋒, 趙輝. Visual C + + /MATLAB 圖像處理與識別實用案例精選[M]. 北京: 人民郵電出版社, 2004.

[6] 孫杰. 車牌定位分割技術(shù)的研究與實現(xiàn)[D]. 吉林: 東北電力大學(xué). 2007.

[7] 張燕. 任安虎. 多特征與BP神經(jīng)網(wǎng)絡(luò)車牌識別系統(tǒng)研究[J].科學(xué)技術(shù)與工程. 2012(22). 5645-5648.

[8] 陳麗娟. 基于脈沖神經(jīng)網(wǎng)絡(luò)的車牌識別系統(tǒng)的設(shè)計與實現(xiàn).福建: 福建師范大學(xué). 2015．

[9] 戴海港, 宮寧生, 張德金. 基于二值圖像連通域的車牌定位方法[J]. 通信技術(shù). 2011(08). 116-117.

[10] QingXiang Wu, Martin McGinnity, Liam Maguire, Ammar Belatreche, Brendan Glackin.Edge Detection Based on Spiking Neural Network Model.Third International Conference on Intelligent Computing, ICIC 2007, pp 26-34.

[11] 陳浩. 基于脈沖神經(jīng)網(wǎng)絡(luò)模型的車輛車型識別研究[D].福建師范大學(xué)碩士學(xué)位論文. 2011.

[12] 鐘彩. 邊緣檢測算法在圖像預(yù)處理中的應(yīng)用[J]. 軟件, 2013, 34(1): 158-159.

[13] 劉聞, 別紅霞. 基于蟻群算法的噪聲圖像邊緣檢測[J]. 軟件, 2013, 34(12): 256-259.

[14] 陳玉萍. 基于量子粒子群算法的車牌定位[J]. 軟件, 2014, 35(4): 157-159.

[15] 蔡榮太, 吳慶祥, 王平. 脈沖神經(jīng)元的信息處理[J]. 計算機與現(xiàn)代化. 2010(11). 45-49.

Extraction of Vehicle Llicense Pplate Based on Spiking Neuron Networks

LI Juan-chen
(Oriental College, Fujian Agriculture And Forestry University, Fujian Fuzhou, 350017)

In the license plate recognition system, includes the License plate extraction, character segmentation and character recognition mainly, extraction of vehicle license plate is one of the most important technology among them, whether accurate extraction of the license plate directly influence the later stage of license plate image processing quality and processing speed, character recognition accuracy and speed.This paper presents the license plate extraction algorithm based on spiking neural networks. The algorithm is mainly divided into two parts: coarse location and accurate location. First, Based on the color feature of license plate,it can achieve coarse location using the spiking neural network;Then using another SNN method to extract the edge of the candidate area. The SNN which extracts the edge can get a better license plate edge map; This algorithm has high localization rate, which can locate license plate with various background and is conducive to the subsequent character segmentation and recognition.

License plate extraction; Spiking nneural networks (SNN); Edge detection

TP389.1

A

10.3969/j.issn.1003-6970.2016.09.009

福建省中青年教師教育科研項目(閩教科(2016)48號)(項目編號JAT160680)

陳麗娟(1990-)，女(漢族)，福建龍海九湖人，福建農(nóng)林大學(xué)東方學(xué)院，助教，碩士研究生，主要研究領(lǐng)域為圖像處理和計算機視覺。