融合整體與局部特征的車輛型號識別方法

甘凱今　蔡曉東　楊超　王麗娟

摘 要： 針對現(xiàn)有的深度學習模型忽略從特定圖像區(qū)域提取局部特征的問題，結合智能交通系統(tǒng)領域的具體應用，提出融合整體與局部特征的車輛型號識別方法。首先，根據(jù)車頭圖像的紋理特點與車牌位置，將車頭的全局圖像分為多個局部圖像；然后，使用優(yōu)化的卷積神經(jīng)網(wǎng)絡模塊分別提取圖像的全局特征與局部特征，將全局與局部特征輸入到多層全連接神經(jīng)網(wǎng)絡進行特征融合；最后，使用softmax進行車輛型號識別。實驗表明，提出的方法能夠提取有效的全局與局部特征，具有訓練收斂快、識別準確率高的優(yōu)點。

關鍵詞： 車輛型號識別； 卷積神經(jīng)網(wǎng)絡； 整體特征； 局部特征； 特征融合

中圖分類號： TN911.73?34； TP391.41 文獻標識碼： A 文章編號： 1004?373X（2017）07?0127?04

Vehicle type recognition method fusing global and local features

GAN Kaijin， CAI Xiaodong， YANG Chao， WANG Lijuan

（School of Information and Communication， Guilin University of Electronic Technology， Guilin 541004， China）

Abstract： Since the deep learning model ignores the local feature extracted in a particular image region， a vehicle type re?cognition method fusing the global and local features is proposed by combining the specific application in the intelligent transportation system field. According to the texture feature of the image front of the vehicle and licence plate location， the global image front of the vehicle is divided into multiple local images. The optimal convolutional neural network module is used to extract the global feature and local feature of the image. And then the global feature and local feature are input into the multilayer fully?joint neural network for feature fusion. The softmax is used to recognize the vehicle types. The experimental results demonstrate that the method can extract the effective global and local features， and has the advantages of fast convergence rate and high recognition accuracy.

Keywords： vehicle type recognition； convolutional neural network； global feature； local feature； feature fusion

0 引 言

車輛型號識別是智能交通系統(tǒng)領域的重要研究內容。隨著現(xiàn)代社會生活節(jié)奏的加快，汽車日益成為人們生活和工作中重要的交通工具。汽車的廣泛使用為人們的出行提供了便利，然而，少數(shù)不法分子故意使用套牌車輛以躲避交通監(jiān)控系統(tǒng)的追蹤，這種行為給社會治安帶來了嚴重的安全隱患。因此，為了打擊套牌車輛的使用、減少涉車犯罪，智能交通監(jiān)控系統(tǒng)需要識別過往車輛的型號，并對車輛的型號與車牌號碼的一致性做鑒別。

關于車輛型號識別的研究，主要集中在識別大型貨車、中型汽車、小型轎車等少數(shù)幾類車型[1?2]，這類研究只針對車輛型號做粗略的分類。隨著圖像識別研究的深入，針對例如奧迪A6、寶馬X3等具體車輛型號識別的研究也逐步出現(xiàn)。文獻[3]以車頭部件（車燈、擋板等）與車牌的距離比值作為幾何參數(shù)特征，使用人工神經(jīng)網(wǎng)絡進行車輛型號識別，該方法利用車輛局部幾何參數(shù)的獨特性，在識別少量車型時取得了良好效果。文獻[4]利用車輛面積、車窗位置和車輪位置為特征進行車輛類型識別。文獻[5]使用特征臉方法獲取車輛圖像的特征，并以此識別車輛型號，該方法提取整張車頭圖像的整體特征，忽略車頭局部圖像的特征。文獻[6]利用卷積神經(jīng)網(wǎng)絡結構搭建深度學習模型進行車輛型號識別，該方法使用卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）學習車頭圖像的整體特征，并未充分提取局部特征。

本文針對現(xiàn)有的車輛型號識別方法沒能有效提取并融合車輛整體與局部特征的問題，提出融合整體與局部特征的車輛型號識別方法。實驗表明，本文提出的融合整體與局部特征的車輛型號識別方法獲得了較高的車型識別準確率。

1 車臉定位與分塊

車輛型號識別遇到的首要問題是如何獲取穩(wěn)定可靠且特征豐富的車輛圖像。為解決上述問題，本文首先使用基于車牌定位的車臉提取方法提取車臉圖像，其次根據(jù)車頭局部區(qū)域的紋理豐富程度對車臉做分塊處理。

1.1 基于車牌定位的車臉提取

我國的車牌顏色主要有藍底白色、黃底黑色、黑底白色和白底黑色4種類型，車牌字符間隔均勻且邊緣梯度變化大，形成了特殊的紋理特征。利用車牌特有的紋理特征與顏色特征，可以快速實現(xiàn)車牌的準確定位。本文使用文獻[7]提出的顏色和紋理相結合的車牌定位算法獲取車牌中心位置與車牌寬度。在車牌定位的基礎上，本文根據(jù)車牌圖像與車臉圖像的旋轉角度、尺寸比例的幾何關系變化一致性，提出基于車牌定位的車臉提取方法，使得在車輛偏轉、尺寸不同的情況下，依然能準確獲取車臉圖像，為車輛型號識別提供穩(wěn)定可靠的輸入圖像，具體方法如下：

以車牌中心為坐標原點，分別向左右各1.75倍車牌寬度、向上1.5倍車牌寬度、向下0.5倍車牌寬度進行區(qū)域擴展，位于擴展區(qū)域內的圖像即為車臉圖像。 車臉定位結果如圖1所示，假設車牌水平寬度[w=1，]則右上角[A]點坐標為（1.75，1.5），右下角[B]點坐標為（1.75，-0.5）。

1.2 基于車頭紋理信息的車臉分塊

通過觀察大量車臉圖像樣本，發(fā)現(xiàn)車燈、散熱網(wǎng)等部件具有獨特的紋理信息。為了更好地獲取車臉圖像的局部特征，本文按車燈、車標、散熱網(wǎng)等部件所在的區(qū)域將車臉圖像分成9塊，每一塊圖像都包含特定的車頭部件，能夠為車輛型號識別提供具有良好區(qū)分度的圖像特征。車臉分塊結果如圖2所示。

2 融合整體與局部特征的CNN模型

為了更好地提取并融合車臉圖像的整體與局部特征，本文對傳統(tǒng)的CNN模型[8?10]進行改造，提出融合整體特征與局部特征的CNN模型。與傳統(tǒng)模型的區(qū)別在于，本文提出的模型包含多個獨立的CNN模塊，每個模塊單獨處理某個區(qū)域的圖像，具體方法如下：首先將不同的圖像塊輸入多個CNN模塊，分別從整張圖像提取整體特征、從區(qū)域圖像塊提取局部特征，然后使用全連接神經(jīng)網(wǎng)絡融合局部與整體特征，最后將融合后的特征輸入到softmax層進行分類。融合整體特征與局部特征的CNN模型的結構示意圖如圖3所示。

2.1 CNN模型的基本層

本文提出的融合整體與局部特征的CNN模型包括四種基本層，分別是卷積層、池化層、全連接層以及softmax層。其中卷積層與池化層多次交替出現(xiàn)，其思想是模仿動物視覺系統(tǒng)的視網(wǎng)膜感受神經(jīng)。下面對各層的基本原理做簡要介紹。

卷積層：該層用可訓練的卷積核對圖像做卷積運算，并使用神經(jīng)元激活函數(shù)計算卷積的輸出值。卷積操作可以表示為：

[yj=f（bj+iki，j?xi）] （1）

式中：[xi]為第[i]層輸入圖像；[yj]為第[j]層輸出圖像；相應地，[ki，j]是連接第[i]層輸入圖像與第[j]層輸出圖像的卷積核；[bj]是第[j]層輸出圖像的偏置；[?]是卷積運算符；[f（x）]是神經(jīng)元激活函數(shù)。本文使用ReLU非線性函數(shù)作為激活函數(shù)，即[f（x）=max（0，x）]，該函數(shù)可以加快深度網(wǎng)絡的收斂速度。式（1）中的卷積核[ki，j]與偏置[bj]是卷積網(wǎng)絡的訓練參數(shù)，通過大量的迭代訓練得到較優(yōu)取值。

池化層：該層對卷積層的輸出圖做下采樣，減小特征圖尺寸，增強特征對旋轉和形變的魯棒性。常見的池化方法有平均池化與最大池化，其中最大池化可以表示為：

[pij，k=max0≤n

式中：[pij，k]為池化層的第[i]層輸出圖在[（j，k）]位置的值；[l]為池化的步長；[m]為池化尺寸。目前，最大池化在許多應用中表現(xiàn)出良好的性能，本文使用的池化操作均為最大池化。

全連接層：該層是一個單層神經(jīng)網(wǎng)絡，上一層的任何一個神經(jīng)元節(jié)點都與下一層的所有神經(jīng)元節(jié)點連接。全連接層的參數(shù)由節(jié)點權重矩陣[W、]偏置[b]以及激活函數(shù)[f]構成。全連接層的運算可以表示為：

[y=f（W?x+b）] （3）

式中：[x，][y]分別為輸入、輸出數(shù)據(jù)；[f]是激活函數(shù)。

softmax層：該層是一個分類器，連接最后一層全連接層，使用式（4）計算得到每一類的概率輸出：

[yi=exp（xi）j=1nexp（xj）] （4）

式中：[xi]為softmax層第[i]個節(jié)點值；[yi]為第[i]個輸出值；[n]為softmax層的節(jié)點個數(shù)。

2.2 整體特征與局部特征的提取與融合

車臉圖像中，各區(qū)域的圖像紋理特點各不相同，例如散熱網(wǎng)區(qū)域以直線紋理為主，車燈區(qū)域以弧形紋理為主，因此，為了更好地提取車臉圖像的整體特征與各區(qū)域的局部特征，需要對不同區(qū)域使用不同的特征提取模塊。本文提出使用多個獨立的CNN模塊組成特征提取器，不同的CNN模塊處理不同的車臉區(qū)域，特征提取器結構如圖3所示，其中，CNN_0提取整體特征，CNN_1～ CNN_9提取局部特征，各個CNN模塊的具體參數(shù)見表1，其中，卷積核[n*w*h]表示該層有[n]個尺寸為[w*h]的卷積核。

經(jīng)過特征提取器的處理，從車臉圖像中提取得到1個1 024維的整體特征向量，9個1 024維的局部特征向量。得到局部特征與整體特征后，將所有特征向量順序連接成一個10 240維的特征向量。

在特征融合模塊，鑒于全連接層每個節(jié)點都與下一層任意節(jié)點相連接，具有很強的特征融合能力，本文使用3層全接層對局部特征與整體特征進行融合，各層的全連接節(jié)點數(shù)分別是4 096，1 024，[n，]其中[n]是訓練樣本中車型類別數(shù)量，本文識別的車型有320種，因此取[n=320。]融合模塊的結構如圖4所示。

經(jīng)過全連接層神經(jīng)網(wǎng)絡的融合，獲得表達能力更強的圖像特征，最后采用softmax層對特征向量進行分類。

3 實驗結果與分析

本文選取14 500張由交通卡口監(jiān)控系統(tǒng)獲取的車輛圖像進行車型識別實驗，其中包含常見的72種品牌、320類車型。在14 500張車輛圖像中，選擇10 000張作為訓練集，4 500張作為測試集。為了豐富訓練集的多樣性，實驗隨機選取訓練集圖像做旋轉（-5°～5°）、平移（4個方向5像素距離）、尺度縮放（0.8～1.2倍）等處理，最終經(jīng)過樣本擴展得到的訓練集包含45 000張圖片。經(jīng)過車臉定位后，將車臉圖像尺寸統(tǒng)一縮放至100×175，并轉化為灰度圖，部分車臉圖像如圖5所示。實驗平臺的配置為Intel i3四核3.4 GHz處理器、12 GB內存、GTX980Ti顯卡以及Ubuntu 14.04操作系統(tǒng)，并使用基于C++編程語言的Caffe工具包。

為測試本文提出的融合整體與局部特征的網(wǎng)絡結構的有效性，實驗選擇本文的CNN網(wǎng)絡與具有較強目標識別能力的CNN結構作比較，包括AlexNet[8]，VGG?D[9]，GoogLeNet[10]。使用相同的車臉圖像樣本訓練各個網(wǎng)絡，實驗結果如圖6所示。

由圖6可知，本文提出的CNN模型在車型識別中獲得最高準確率，并且訓練收斂速度略快于其他模型。這是由于本文提出的CNN模型提取的特征區(qū)分度更高、針對性更強。

為了測試各個網(wǎng)絡在車輛型號識別時的運算速率，實驗使用相同的開發(fā)環(huán)境對4 500張測試圖像進行車輛型號識別。實驗結果如表2所示。

從表2可以看出，本文提出的融合車臉整體特征與局部特征的CNN模型的識別準確率最高，但運算速度比其他網(wǎng)絡模型慢，這是由于本文方法比其他網(wǎng)絡模型具有更多的網(wǎng)絡參數(shù)，消耗更多的計算資源。結合實際的應用分析，每秒處理31張車臉圖像的計算速率，能夠滿足現(xiàn)有交通監(jiān)控系統(tǒng)的實時需求。

實驗表明，本文提出的融合車臉整體特征與局部特征的車輛型號識別方法具有識別準確率高、訓練收斂快等優(yōu)點，計算速度快能夠滿足實時處理的要求。

4 結 語

本文提出融合整體特征與局部特征的車輛型號識別方法，使用多個CNN模塊分別提取車臉圖像的整體特征與局部特征，并使用全連接神經(jīng)網(wǎng)絡融合整體與局部特征。該方法具有識別準確率高，訓練收斂快的優(yōu)點，計算速度滿足實時處理要求，可以有效地應用到智能交通系統(tǒng)中。同時，實驗結果表明，針對圖像區(qū)域不同的紋理特性使用不同的特征提取器，可以獲得更好的目標識別效果。

參考文獻

[1] DONG Z， WU Y W， PEI M T， et al. Vehicle type classification using a semisupervised convolutional neural network [J]. IEEE transactions on intelligent transportation systems， 2015， 16（4）： 2247?2256.

[2] 袁愛龍.基于視頻的汽車車型識別研究[D].成都：電子科技大學，2013.

[3] DAYA B， AKOUM A H， CHAUVET P. Neural network approach for the identification system of the type of vehicle [C]// Proceedings of 2010 International Conference on Computational Intelligence and Communication Networks. Washington， D. C.： IEEE， 2010：162?166.

[4] 浦雅雯，劉萬年，姜文濤.基于PSO?IFCM的遮擋車牌車輛識別[J].計算機工程，2012，38（14）：157?160.

[5] WANG W， SHANG Y L， GUO J Z， et al. Real?time vehicle classification based on eigenface [C]// Proceedings of 2011 International Conference on Consumer Electronics， Communications and Networks. Xian： IEEE， 2011： 4292?4295.

[6] 熊祎.基于深度學習的車輛型號識別[D].武漢：華中科技大學，2014.

[7] 張銀蘋，葛廣英.基于HALCON的車牌識別研究[J].現(xiàn)代電子技術，2014，37（16）：92?95.

[8] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks [C]// Proceedings of 2012 the 25th International Conference on Neural Information Processing Systems. Nevada： IEEE， 2012： 1097?1105.

[9] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large?scale image recognition [J]. Computer science， 2014（3）： 1?14.

[10] SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions [C]// Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston： IEEE， 2015： 1?9.