李熙瑩 ,呂 碩 ,江倩殷 ,袁敏賢 ,余 志
1.中山大學(xué) 工學(xué)院 智能交通研究中心,廣州 510006
2.廣東省智能交通系統(tǒng)重點(diǎn)實(shí)驗(yàn)室,廣州 510006
3.視頻圖像智能分析與應(yīng)用技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室,廣州 510006
大型車輛車標(biāo)檢測與識別是基于計(jì)算機(jī)視覺與車輛先驗(yàn)知識,準(zhǔn)確且有效地獲取車標(biāo)對象及其精細(xì)類別。大型車輛車身長、慣性大、駕駛困難,更容易出現(xiàn)違法、違規(guī)行為,因此需要準(zhǔn)確且有效地監(jiān)督車輛行為、獲取車輛信息。現(xiàn)今車輛類型識別系統(tǒng)可以有效地區(qū)分部分相似性較小的車輛款式,但仍難以區(qū)分大型車輛,主要難點(diǎn)在于不同大型車輛廠家的車輛款式相似性較大,但同一廠家的不同車型相似性較小,因此正確地檢測及識別大型車輛車標(biāo)將有利于車輛身份的確定。傳統(tǒng)的大型車輛車標(biāo)信息是通過車牌信息與遠(yuǎn)端數(shù)據(jù)庫交互進(jìn)而獲取得到,但在面對假套牌或遮擋號牌等情況時,該方式難以獲取車輛的車牌、車標(biāo)及其他車輛信息,從而無法針對違規(guī)違法車輛進(jìn)行執(zhí)法管理。為了解決這一問題,基于計(jì)算機(jī)視覺和車輛圖像理解的車標(biāo)檢測與識別受到了廣泛地重視[1-2]。
傳統(tǒng)的車輛車標(biāo)檢測與識別算法大多針對小型車輛車標(biāo)進(jìn)行檢測,大型車輛車標(biāo)檢測算法研究相對較少。小型車輛車標(biāo)多為符號型車標(biāo),空間位置臨近車輛散熱器柵格,而大型車輛車標(biāo)可分為三類:符號型車標(biāo)、字符型車標(biāo)以及混合型車標(biāo),如圖1所示,同時大型車輛車標(biāo)的空間位置不定,僅能粗略定位于車窗與車牌之間的區(qū)域,此外字符型車標(biāo)各個字符位置相對較為離散,混合型車標(biāo)兩種車標(biāo)的取舍、車標(biāo)背景的復(fù)雜性等都導(dǎo)致了大型車輛車標(biāo)難以得到準(zhǔn)確地檢測。此外現(xiàn)實(shí)環(huán)境如陰影、遮擋、攝像頭位置等條件的影響,很容易干擾大型車輛車標(biāo)檢測的準(zhǔn)確性。同時,大型車輛車標(biāo)檢測與識別系統(tǒng)對算法實(shí)時性也有著較高的要求,因此如何在提升檢測與識別準(zhǔn)確率的前提下保證實(shí)時性也是本研究的重點(diǎn)[3]。
圖1 大型車輛車標(biāo)類型
大型車輛車標(biāo)檢測與識別問題可以大致分為大型車輛車標(biāo)檢測與大型車輛車標(biāo)識別。大型車輛車標(biāo)識別與小型車輛車標(biāo)識別已得到廣泛的研究,并形成了相對成熟的解決方法[4-5]。Psyllos[6]利用多視角SIFT,Huang[7]和Zhang[8]利用深度學(xué)習(xí),余燁[5]利用隨機(jī)混合局部特征等針對百余類車標(biāo)都取得了較為準(zhǔn)確的識別效果。這些方法通常采用人工定位的車標(biāo)進(jìn)行識別算法的研究,因此準(zhǔn)確且快速地檢測車標(biāo)成為車標(biāo)檢測與識別問題的難點(diǎn)。
現(xiàn)今的大型車輛車標(biāo)檢測根據(jù)其原理通??梢苑譃楸尘跋ê湍繕?biāo)匹配法。背景消除法利用車輛的先驗(yàn)知識,根據(jù)車標(biāo)的顏色、紋理等特征,消除車標(biāo)背景,從而檢測車標(biāo)。杜小毅[9]等結(jié)合SURF、SIFT(Scale-Invariant Feature Transform)和車標(biāo)邊緣特征進(jìn)行車標(biāo)背景消除進(jìn)而進(jìn)行車標(biāo)快速檢測;Mao[10]利用車標(biāo)背景柵格的紋理特征進(jìn)行車標(biāo)背景消除,從而定位得到車標(biāo)。Wang[11]提取車標(biāo)紋理特征,利用滑動窗口直接進(jìn)行檢測;李玲[12]和楊文文[13]分別通過Sobel算子和Laws算子對背景進(jìn)行消除,進(jìn)而準(zhǔn)確檢測車標(biāo);劉玉松[14]利用車標(biāo)的邊緣投影特征,消除車標(biāo)背景,進(jìn)而檢測車標(biāo);這種方法結(jié)合了車輛的先驗(yàn)知識,能夠快速地檢測車標(biāo),但無法準(zhǔn)確區(qū)分大型車輛車標(biāo)類型,因此當(dāng)車標(biāo)空間位置不定或背景較為復(fù)雜或受光照等條件影響時,算法的魯棒性會受到極大的影響。目標(biāo)匹配法首先構(gòu)建合適的目標(biāo)模型,利用滑窗等方法,多尺度地檢測車標(biāo)。Psyllos[15]等利用滑窗,通過提取窗口圖像多個視角的SIFT特征,然后和數(shù)據(jù)庫中已有的模板圖像進(jìn)行匹配,根據(jù)相似度檢測車標(biāo);Wang[16]等利用模板匹配結(jié)合車標(biāo)先驗(yàn)知識對滑動窗口圖像進(jìn)行檢測,根據(jù)匹配度檢測車標(biāo);Gu[17]等利用滑窗,通過多尺度的稠密SIFT特征檢測車標(biāo);可以通過多尺度調(diào)整滑動窗口大小和步長,精確地檢測并識別車標(biāo),但該法計(jì)算復(fù)雜度高,耗時大,難以滿足實(shí)時需求。
針對以上問題,本文提出了一種基于Edge Boxes的大型車輛車標(biāo)檢測與識別方法。為了保證車標(biāo)檢測與識別的實(shí)時性和復(fù)雜場景下的有效性,本文利用Edge Boxes算法在車標(biāo)候選區(qū)內(nèi)約束地提取目標(biāo)區(qū)域,由于目標(biāo)區(qū)域類別未知,因此將目標(biāo)區(qū)域送入利用線性約束編碼[18](Spatial Pyramid Matching based on Sparse Coding,ScSPM)構(gòu)建的車標(biāo)檢測模型和車標(biāo)識別模型進(jìn)行訓(xùn)練與識別,進(jìn)而檢測車標(biāo)區(qū)域并識別車標(biāo)種類,整體算法框架如圖2所示。實(shí)驗(yàn)結(jié)果表明,本文算法在大型車輛車標(biāo)檢測與識別問題上是準(zhǔn)確、快速且有效的。
圖2 大型車輛車標(biāo)檢測與識別算法流程圖
大型車輛的車標(biāo)與車牌、車窗的空間位置結(jié)構(gòu)關(guān)系:一是車標(biāo)位于車牌上方與車窗下方所包含的范圍內(nèi)[19];二是車標(biāo)位置通常基于車牌中軸線對稱。根據(jù)特性1,即可利用車牌和車窗位置得到車標(biāo)粗定位圖像。本文利用車輛邊緣圖像的邊緣特征密集程度進(jìn)行車標(biāo)粗定位車窗定位,如圖3所示。
圖3 車標(biāo)粗定位
檢測區(qū)域的大小直接影響整體算法的時間消耗,為同時保證算法檢測準(zhǔn)確率及實(shí)時性,在獲得車標(biāo)粗定位圖像后,利用特性2,根據(jù)車輛中軸線得到車標(biāo)候選區(qū)圖像,如圖4所示。
圖4 車標(biāo)候選區(qū)
利用車輛中軸線,首先定位車標(biāo)候選區(qū)1,進(jìn)行車標(biāo)檢測與識別。當(dāng)識別為單個字符時,以字符高度的1.5倍作為車標(biāo)候選區(qū)3的高,定位車標(biāo)候選區(qū)3,繼續(xù)進(jìn)行車標(biāo)檢測與識別;當(dāng)所獲車標(biāo)區(qū)域皆為單個字符,根據(jù)字符的空間位置進(jìn)行組合,形成字符串車標(biāo),再次進(jìn)行車標(biāo)識別;當(dāng)識別為具體的字符串車標(biāo)或符號型車標(biāo)類別時,算法結(jié)束;當(dāng)未檢測到任何目標(biāo)時,擴(kuò)增候選區(qū),定位車標(biāo)候選區(qū)2,繼續(xù)進(jìn)行車標(biāo)檢測,若仍未檢測到任何目標(biāo),舍棄車標(biāo)候選區(qū)1,繼續(xù)向外擴(kuò)增車標(biāo)候選區(qū)進(jìn)行車標(biāo)檢測。這種算法將大幅度消減大型車輛車標(biāo)檢測與識別算法的時間消耗。
2.2.1 基于Edge Boxes算法的目標(biāo)區(qū)域確定
Edge Boxes算法是一種經(jīng)典、快速的圖像分割算法,通過對邊緣圖像內(nèi)具有大小、方向等特性相似的邊緣進(jìn)行組合,從而獲得若干個目標(biāo)區(qū)域[20]。本文Edge Boxes算法應(yīng)用步驟如下:
步驟1對車標(biāo)候選區(qū)圖像,利用基于結(jié)構(gòu)森林的邊緣圖像檢測算法獲取車標(biāo)候選區(qū)邊緣圖像。
步驟2計(jì)算每個邊緣點(diǎn)的大小和方向,并利用非極大值抑制算法獲取相對稀疏的車標(biāo)候選區(qū)邊緣圖像。
步驟3計(jì)算稀疏車標(biāo)候選區(qū)邊緣圖像中兩兩相鄰邊緣點(diǎn)間的方向差,將近乎一條直線的邊緣點(diǎn)合并為一條邊緣si,并計(jì)算兩兩邊緣間的相似度a(si,sj),重復(fù)該步驟,獲取邊緣集合S和相似度集合a(si,sj為區(qū)域i,j)。
步驟4利用窮舉搜索算法獲取若干個候選目標(biāo)區(qū)域,計(jì)算候選目標(biāo)區(qū)域b內(nèi)各邊緣的權(quán)值wb(si),并根據(jù)邊緣的權(quán)值計(jì)算該候選目標(biāo)區(qū)域的得分hb。
步驟5將得分高于某一閾值H的候選目標(biāo)區(qū)域添加至目標(biāo)區(qū)域集合R中。
步驟6對該部分目標(biāo)區(qū)域重復(fù)步驟4、步驟5,獲取完整的目標(biāo)區(qū)域集合。
本文利用基于結(jié)構(gòu)森林的邊緣圖像檢測算法[21]獲取初始邊緣圖像,該算法以結(jié)構(gòu)化的像素標(biāo)簽為基礎(chǔ),利用隨機(jī)決策森林學(xué)習(xí)訓(xùn)練圖像并獲取結(jié)構(gòu)邊緣模型,通過該模型獲取圖像的邊緣。該算法可獲取具有高準(zhǔn)確率的圖像邊緣,因此本文利用圖像邊緣間的大小、方向等相似特性獲取目標(biāo)區(qū)域。
非極大值抑制:初始邊緣圖像過于緊密,需要通過非極大值抑制對其進(jìn)行稀疏處理。獲取初始邊緣圖像每個邊緣點(diǎn) p的大小mp和方向θp,將圖像分割成若干個r×r大小的區(qū)域,對每個區(qū)域利用非極大值抑制進(jìn)行稀疏處理,邊緣點(diǎn) p的值 pnms計(jì)算公式如下:
邊緣集合:通過尋找邊緣點(diǎn)的8連通區(qū)域,將兩兩邊緣點(diǎn)間的方向角度差的和大于90°的邊緣點(diǎn)組合為邊緣si,根據(jù)兩兩邊緣的方向特性獲取邊緣間的相似度a(si,sj),邊緣間相似度越大越可能屬于同一物體。
其中,θi,θj表示邊緣 si,sj的角度,θij表示兩邊緣間的夾角,γ是常量,表示敏感程度。
邊緣權(quán)值:候選目標(biāo)區(qū)域內(nèi)屬于同一物體的邊緣具有更高的相似度,因此應(yīng)保證該部分邊緣具有更高的權(quán)值。
其中,T表示從候選目標(biāo)區(qū)域邊框開始到達(dá)si的邊緣序列集合。
邊緣序列集合為邊緣集合提供了行/列的位置信息,這大大減少了邊緣權(quán)值的計(jì)算復(fù)雜度。
候選區(qū)域得分:當(dāng)候選目標(biāo)區(qū)域含有更完整、更純粹的目標(biāo)邊緣集合時,應(yīng)保證該候選區(qū)域獲得更高的得分hb。
其中bw,bh表示候選目標(biāo)區(qū)域的寬、高,mi=∑mp,表示邊緣si內(nèi)邊緣點(diǎn)大小mp的和,κ為常量,表示敏感程度。
理想的目標(biāo)區(qū)域應(yīng)僅包含所需要的目標(biāo),因此目標(biāo)的外部邊緣對目標(biāo)區(qū)域的影響程度更大。本文定義hinb減少目標(biāo)內(nèi)部邊緣對目標(biāo)區(qū)域得分的影響。
其中b'w,b'h表示內(nèi)部區(qū)域的寬、高,本文設(shè)置其為bw/2,bh/2。
2.2.2 車標(biāo)檢測
Edge Boxes算法將圖像根據(jù)邊緣相似度分割成若干個具有相似特性的區(qū)域,但無法確定車標(biāo)區(qū)域,本文利用線性約束編碼構(gòu)建車標(biāo)檢測分類器確定車標(biāo)位置。
線性約束編碼算法是一種應(yīng)用廣泛的分類器算法。該算法首先提取目標(biāo)圖像的局部區(qū)域特征,然后利用預(yù)先訓(xùn)練生成的詞典和線性編碼構(gòu)建的語義表達(dá)模型對目標(biāo)圖像特征進(jìn)行編碼映射,得到含有語義信息的圖像表達(dá)向量,接著利用空間金字塔匹配算法為圖像表達(dá)向量加入空間位置信息,得到最終表達(dá)向量,最后把每幅圖像的最終表達(dá)向量放入線性支持向量機(jī)進(jìn)行訓(xùn)練和識別。
圖像的最終表達(dá)向量是圖像局部區(qū)域特征經(jīng)由稀疏編碼及空間金字塔映射得到的稀疏非線性特征。相較于傳統(tǒng)的局部區(qū)域特征,該特征對圖像信息的表達(dá)能力更強(qiáng)且更魯棒,同時線性約束編碼算法輸出的最終表達(dá)向量屬于稀疏的非線性特征,因此利用線性SVM作為分類器即可對特征進(jìn)行有效地區(qū)分,并且線性SVM的使用避免了核化SVM的高時間消耗。車標(biāo)定位模型訓(xùn)練過程如圖5所示。
車標(biāo)定位模型選取人工標(biāo)注得到的小型車輛車標(biāo)、大型車輛車標(biāo)以及字符型車標(biāo)常見的單個字符作為正樣本,選取大小隨機(jī)且與車標(biāo)重合度小于20%的樣本作為負(fù)樣本,正負(fù)樣本數(shù)量比為1∶3,利用線性約束編碼算法進(jìn)行訓(xùn)練和測試。本文采用迭代訓(xùn)練的方式,在迭代訓(xùn)練過程中,將錯分為車標(biāo)的負(fù)樣本加入訓(xùn)練集中,再次進(jìn)行訓(xùn)練,直至收斂。最后得到車標(biāo)定位分類器。
利用車標(biāo)定位模型區(qū)分出車標(biāo)區(qū)域,定位車標(biāo)位置。當(dāng)同一車輛檢測到多個車標(biāo)時,利用車標(biāo)定位分類器對車標(biāo)區(qū)域打分獲取車標(biāo)定位結(jié)果。
本文利用線性約束編碼訓(xùn)練多分類的車標(biāo)識別分類器對車標(biāo)定位結(jié)果進(jìn)行識別。車標(biāo)識別分類器訓(xùn)練過程如圖6所示。
車標(biāo)識別分類器選取人工標(biāo)注及Edge Boxes定位得到的車輛車標(biāo)及部分字符型車標(biāo)常見的單個字符作為每類車標(biāo)的樣本,利用線性約束編碼算法進(jìn)行訓(xùn)練和測試,采用迭代訓(xùn)練的方式,訓(xùn)練得到車標(biāo)識別分類器。
如圖6所示,由于大型車輛部分字符型車標(biāo),字符間間隙較大,Edge Boxes算法無法完整定位車標(biāo)區(qū)域,僅能定位字符串中的單個字符,因此車標(biāo)識別分類器難以準(zhǔn)確識別車標(biāo)種類。針對這一問題,本文的車標(biāo)識別模型將單個字符作為一類車標(biāo)進(jìn)行學(xué)習(xí):當(dāng)車標(biāo)識別為單個字符時,根據(jù)該字符的空間位置重新定位車標(biāo)候選區(qū),進(jìn)一步進(jìn)行車標(biāo)的定位;當(dāng)車標(biāo)識別結(jié)果為某類車標(biāo)時(非單個字符),即可確定該車的車標(biāo)類型(當(dāng)同一車輛識別兩種車標(biāo)時,以模型打分為準(zhǔn))。該方法能夠兼顧字符型車標(biāo)、符號型車標(biāo)以及混合型車標(biāo),能夠保證在未知車標(biāo)類型的前提下,進(jìn)行準(zhǔn)確的車標(biāo)定位。
本文整體算法的時間復(fù)雜度與各主要構(gòu)成算法密切相關(guān),通過分析各主要構(gòu)成算法的時間復(fù)雜度以確定本文整體算法的時間復(fù)雜度。
算法 基于Edge Boxes的大型車輛車標(biāo)檢測與識別
輸入:卡口車輛圖像I
輸出:車標(biāo)識別結(jié)果logor
根據(jù)車牌與車窗位置獲取車標(biāo)粗定位圖像Ic
初始化識別結(jié)果:logor=?
whilelogor=='單個字符'
圖5 車標(biāo)檢測分類器訓(xùn)練過程
圖6 車標(biāo)識別分類器訓(xùn)練過程
獲取車標(biāo)候選區(qū):logoc=candidate(Ic)
//時間復(fù)雜度為O(1)
獲取目標(biāo)區(qū)域:logot=EdgeBoxes(logoc)
//時間復(fù)雜度為O(n2),目標(biāo)區(qū)域數(shù)量為X
獲取車標(biāo)區(qū)域:logol=VLC(logot)
//時間復(fù)雜度為O(Xn),車標(biāo)區(qū)域數(shù)量為D
獲取車標(biāo)結(jié)果:logor=VRC(logol)
//時間復(fù)雜度為O(Dn)獲取車標(biāo)識別結(jié)果:logor
以上可知,車標(biāo)候選區(qū)算法時間復(fù)雜度為O(1),Edge Boxes算法的時間復(fù)雜度為O(n2),車標(biāo)定位與車標(biāo)識別的時間復(fù)雜度為O(Dn),因此全文算法的時間復(fù)雜度為O(n2),時間復(fù)雜度低,計(jì)算速度較快,傳統(tǒng)的車標(biāo)檢測與識別算法[14-15],利用滑動窗口獲取目標(biāo)區(qū)域,目標(biāo)區(qū)域數(shù)量為Y(X< 為了驗(yàn)證車標(biāo)檢測與識別算法的有效性,本文選擇通過對實(shí)際卡口采集到的車輛數(shù)據(jù)集進(jìn)行測試。 實(shí)驗(yàn)數(shù)據(jù)集包含實(shí)際應(yīng)用中常見的車輛品牌、型號,整個實(shí)驗(yàn)數(shù)據(jù)集共有4 480張圖像(訓(xùn)練圖像為1 800張,測試圖像為2 680張),其中包含有10類車輛品牌13類車輛品牌,50類車型,每類車型圖片40~100張,其中符號型車標(biāo)共計(jì)1 173張,混合型車標(biāo)共計(jì)1 147張,字符型車標(biāo)共計(jì)2 068張。數(shù)據(jù)集信息見表1。 本文實(shí)驗(yàn)數(shù)據(jù)集圖像是在日夜兩個時間段定比例、隨機(jī)地從實(shí)際卡口車輛圖像中采集得到,通過人工去除車標(biāo)遮擋、缺失的車輛圖像。由于數(shù)據(jù)集的圖像都是處于不同光照和天氣條件下的,因此本文數(shù)據(jù)集可以一定程度地代表實(shí)際卡口情況。數(shù)據(jù)集中所有車輛圖像的車牌位置、車標(biāo)位置均有手工標(biāo)定作為算法檢測依據(jù)。部分?jǐn)?shù)據(jù)集如圖7所示。 表1 大型車輛車標(biāo)數(shù)據(jù)集信息 圖7 數(shù)據(jù)集各車輛車型圖像示例 在實(shí)際的測試過程中,實(shí)驗(yàn)將會使用基于圖表示的圖像分割算法生成初始分割區(qū)域,設(shè)置其允許最小區(qū)間大小的初始值Min=10,最大寬高比為10,接著采用LibSVM[22]工具包進(jìn)行車標(biāo)定位分類器和車標(biāo)識別分類器的訓(xùn)練與測試,其中松弛變量初始設(shè)置為10。實(shí)驗(yàn)平臺為8 GB內(nèi)存,3.30 GHz的CPU的PC機(jī),開發(fā)環(huán)境為MATLAB R2012a+VS2012。 實(shí)驗(yàn)過程中,車標(biāo)檢測的判斷基準(zhǔn)為車標(biāo)定位準(zhǔn)確率,如式(6)所示: 其中Overlap(gj,Ij)為車標(biāo)定位準(zhǔn)確率,gj為本文算法得到的車標(biāo)區(qū)域 j,Ij為人工定位的車標(biāo)區(qū)域 j。 車標(biāo)識別的判斷基準(zhǔn)為車標(biāo)識別準(zhǔn)確度,如式(7)所示: 其中Accuracy為車標(biāo)識別準(zhǔn)確度,right為正確識別的數(shù)量,wrong為錯誤識別的數(shù)量。線性約束編碼算法是一種強(qiáng)制識別算法,因此本文不考慮車標(biāo)未識別的情況。 本文算法是對現(xiàn)有車標(biāo)檢測與識別算法的進(jìn)一步改進(jìn),通過對車標(biāo)候選區(qū)的定位、Edge Boxes算法以及車標(biāo)定位和車標(biāo)識別分類器進(jìn)行分析,并與現(xiàn)今主流的車標(biāo)檢測與識別算法進(jìn)行車標(biāo)識別準(zhǔn)確率和整體算法計(jì)算速度的對比。 線性SVM相對于核化SVM的時間復(fù)雜度低,因此利用線性SVM能夠極大地減少算法的時間消耗。 由圖8可知,利用線性約束編碼所獲取的最終表達(dá)向量是一種稀疏的非線性特征,因此利用線性分類器即可對該特征進(jìn)行有效的區(qū)分。 圖8 不同核函數(shù)下車標(biāo)識別率 SVM中的松弛變量影響車標(biāo)識別準(zhǔn)確率及時間消耗,因此本文綜合考慮車標(biāo)識別準(zhǔn)確率與時間消耗以確定松弛變量的大小。 由圖9可知,當(dāng)懲罰因子為10時,車標(biāo)識別準(zhǔn)確率較高,因此本文選擇懲罰因子為10。 圖9 不同懲罰因子下車標(biāo)識別率 區(qū)域的精確分割是影響車標(biāo)檢測準(zhǔn)確率的重要因素,本文區(qū)域分割是依據(jù)Edge Boxes算法定義的邊緣相似度進(jìn)行判斷。在不同的最小允許得分下,相似邊緣組合將會對車標(biāo)檢測準(zhǔn)確率產(chǎn)生極大的影響。本文固定Min值和最大寬高比,以車標(biāo)定位重合度最優(yōu)為目標(biāo)選取最小允許得分。 由圖10可知,最小允許得分值越小,車標(biāo)定位準(zhǔn)確率越高,這是因?yàn)殡S著最小允許得分的減小,低得分的目標(biāo)區(qū)域增多,這樣Edge Boxes算法能夠在光照、陰影等條件的影響下更有效地獲取目標(biāo)區(qū)域。當(dāng)最小允許得分減小至0.03時,車標(biāo)定位重合度不再上升且趨于平緩,原因是在車標(biāo)檢測這一問題上,車標(biāo)區(qū)域的得分不會過低,影響車標(biāo)檢測準(zhǔn)確率。因此,本文選取最小允許得分為0.03。 圖10 不同最小允許得分下車標(biāo)定位重合度對比圖 Edge Boxes算法通過對相似邊緣的組合形成分割區(qū)域。如果分割區(qū)域過小,使得小區(qū)域的得分過高,從而導(dǎo)致車標(biāo)檢測準(zhǔn)確率的下降,同時算法計(jì)算量的增大使得耗時過長;如果分割區(qū)域過大,受車標(biāo)背景及車標(biāo)大小的影響,車標(biāo)區(qū)域定位準(zhǔn)確率降低,影響車標(biāo)檢測與識別。因此本文設(shè)計(jì)一個實(shí)驗(yàn)確定合適的最小區(qū)間大小Min值以保證車標(biāo)檢測準(zhǔn)確率及算法實(shí)時性。 如圖11可知,最小區(qū)間大小Min值越小,車標(biāo)定位準(zhǔn)確率越高。這是因?yàn)殡S著Min值的減小,車標(biāo)的區(qū)域特性增強(qiáng),算法能夠有效地區(qū)分車標(biāo)及其背景區(qū)域。當(dāng)Min值減小至30時,車標(biāo)定位準(zhǔn)確率開始略微下降,原因是當(dāng)Min值繼續(xù)減小,車標(biāo)區(qū)域進(jìn)一步細(xì)分,噪聲區(qū)域得分增大,使得同一物體區(qū)域分割為不同區(qū)域,影響車標(biāo)檢測準(zhǔn)確率。因此,根據(jù)實(shí)驗(yàn)結(jié)果,本文初始分割區(qū)域Min值為30。 圖11 不同Min值下車標(biāo)定位重合度對比圖 車標(biāo)大小不一、形狀不定,但車標(biāo)本身的寬高比具有一定共性,因此本文根據(jù)目標(biāo)最大允許寬高比對整體車輛車標(biāo)定位準(zhǔn)確率的影響進(jìn)行最大寬高比的選取。 如圖12所示,最大允許寬高比越大,車標(biāo)定位重合度越高。這是因?yàn)檐嚇?biāo)本身擁有固定的寬高比,隨著寬高比的增大,車標(biāo)區(qū)域檢測準(zhǔn)確率越大。當(dāng)寬高比增大至4時,車標(biāo)定位重合度不再上升且趨于平緩。這是因?yàn)椴煌愋蛙囕v車標(biāo)大小、車標(biāo)形狀皆有不同,但具有固定的寬高比,因此當(dāng)寬高比達(dá)到某一上限時,車標(biāo)定位重合度趨于平緩,本文選擇最大允許寬高比為4。 圖12 不同最大允許寬高比下車標(biāo)定位重合度對比圖 確定好算法的參數(shù)后,本文算法將與四種車標(biāo)檢測與識別算法進(jìn)行車標(biāo)定位重合度及車標(biāo)識別準(zhǔn)確率的比較:車標(biāo)定位重合度/車標(biāo)識別準(zhǔn)確率對比結(jié)果如表2所示。 由表2可知,文獻(xiàn)[10]利用紋理特征區(qū)分車標(biāo)與車標(biāo)背景,對于字符型車標(biāo),由于其車標(biāo)背景簡單,因此車標(biāo)檢測率較高,但是混合型車標(biāo)和符號型車標(biāo)的車標(biāo)背景較為復(fù)雜,導(dǎo)致車標(biāo)定位重合度的下降以及車標(biāo)識別準(zhǔn)確率的降低;文獻(xiàn)[11,15-16]利用不同的學(xué)習(xí)算法學(xué)習(xí)得到的車標(biāo)模型,利用滑窗,通過多尺度的檢測,從而檢測車標(biāo),這種方法對三種大型車輛車標(biāo)的檢測準(zhǔn)確率較高且較為一致,但由于車標(biāo)大小不一,形狀不定,影響定位的有效性,導(dǎo)致車標(biāo)定位重合度和車標(biāo)識別準(zhǔn)確率較低;本文算法通過Edge boxes算法檢測大型車標(biāo),并通過線性約束編碼檢測與識別車標(biāo),這種方法能夠有效地檢測三種大型車輛車標(biāo),從實(shí)驗(yàn)結(jié)果來看,在車標(biāo)定位重合度和識別準(zhǔn)確率方面,本文算法優(yōu)于以上四種算法。 實(shí)時性是衡量車標(biāo)檢測與識別算法有效性的另一指標(biāo),準(zhǔn)確且快速的車標(biāo)檢測與識別系統(tǒng)更符合實(shí)際需求,如表3為五種車標(biāo)檢測與識別算法與本文算法的計(jì)算速度對比。 表3 車標(biāo)與識別時間消耗對比 ms 文獻(xiàn)[10]利用車標(biāo)與車標(biāo)背景間的紋理差異,能夠快速檢測車標(biāo),耗時較短;文獻(xiàn)[11]提取車標(biāo)紋理特征,通過滑動窗口對車標(biāo)進(jìn)行檢測,因此速度較慢;文獻(xiàn)[15]利用多視角SIFT提取滑窗特征,通過關(guān)鍵點(diǎn)匹配進(jìn)行車標(biāo)定位與識別,計(jì)算復(fù)雜度最大;文獻(xiàn)[16]利用大型車標(biāo)進(jìn)行模板匹配,計(jì)算復(fù)雜度高,因此時間消耗最大;本文提出的車標(biāo)檢測與識別算法通過車標(biāo)候選區(qū)與Edge Boxes算法進(jìn)行車標(biāo)檢測,同時由于線性約束編碼采用線性分類器,所以計(jì)算速度明顯優(yōu)于窮舉搜索法等傳統(tǒng)車標(biāo)檢測與識別算法。 本文算法綜合考慮車標(biāo)檢測與識別準(zhǔn)確率和計(jì)算速度,在車標(biāo)檢測與識別實(shí)時性的基礎(chǔ)上,保證了車標(biāo)檢測與識別的準(zhǔn)確率。通過與其他車標(biāo)檢測與識別算法的對比,本文算法在車標(biāo)檢測與識別準(zhǔn)確率和運(yùn)算速度都取得了優(yōu)秀的成績。 本文算法未考慮卡口車輛車標(biāo)存在遮擋、缺失的情況。根據(jù)本文算法原理,車標(biāo)遮擋、缺失會造成算法運(yùn)算速度的指數(shù)型增長,這也是下一步工作亟待解決的問題。 大型車輛車體寬、車身長、難駕駛、易出事故,準(zhǔn)確且有效地識別大型車輛身份亟待解決。針對現(xiàn)今大型車輛相似性高的特點(diǎn),利用車標(biāo)信息輔助車輛識別是一種有效獲取車輛身份的方法。本文提出一種基于Edge Boxes算法的大型車輛車標(biāo)檢測與識別算法。針對現(xiàn)今大型車輛車標(biāo)檢測與識別算法三大難點(diǎn):大型車輛車標(biāo)空間位置不定、車標(biāo)難以定位和車標(biāo)難以定位完整,本文充分利用車標(biāo)與其他車輛部件空間位置關(guān)系,提出車標(biāo)候選區(qū)這一概念,以此保證了空間位置不定的大型車輛車標(biāo)檢測的準(zhǔn)確性;本文同時利用Edge Boxes算法,在精確檢測字符型、符號性和混合型車標(biāo)位置的基礎(chǔ)上保證了算法的實(shí)時性;本文構(gòu)建的串聯(lián)線性約束編碼分類器——車標(biāo)定位分類器和車標(biāo)識別分類器,定位結(jié)果與識別結(jié)果相互反饋,同時保證了車標(biāo)檢測與識別的準(zhǔn)確性,并且有效地解決了車標(biāo)難以檢測完整的難題。實(shí)驗(yàn)結(jié)果表明,本文算法在大型車輛車標(biāo)檢測與識別這一問題上是準(zhǔn)確且有效的。 在實(shí)際應(yīng)用中,針對無車標(biāo)或車標(biāo)遮擋現(xiàn)象的處理是下一步工作急需解決的難題。 [1]Xia Y,F(xiàn)eng J,Zhang B.Vehicle logo recognition and attributes prediction by multi-task learning with CNN[C]//InternationalConferenceon NaturalComputation &Fuzzy Systems&Knowledge Discovery,2016. [2]Tafazzoli F,F(xiàn)rigui H.Vehicle make and model recognition using local features and logo detection[C]//8th International Symposium on Signal,Image,Video and Communications,At Tunis,Tunisia,2016. [3]Xiang Z,Zou Y,Zhou X,et al.Robust vehicle logo recognition based on locally collaborative representation with principalcomponents[C]//Sixth InternationalConference on Information Science&Technology,2016. [4]尹瑞雪.基于數(shù)字圖像的車輛信息識別的研究與應(yīng)用[D].北京:北京交通大學(xué),2016. [5]余燁,聶振興,金強(qiáng),等.前背景骨架區(qū)域隨機(jī)點(diǎn)對策略驅(qū)動下的車標(biāo)識別方法[J].中國圖象圖形學(xué)報(bào),2016,21(10):1348-1356. [6]Psyllos A,Anagnostopoulos C N,Kayafas E.Vehicle model recognition from frontal view image measurements[J].Computer Standards&Interfaces,2011,33(2):142-151. [7]Huang Y,Wu R,Sun Y,et al.Vehicle logo recognition system based on convolutional neural networks with a pretraining strategy[J].IEEE Transactions on Intelligent Transportation Systems,2015,16(4):1-10. [8]Zhang Li,Zhang Dongming,Zheng Hong.Vehicle logo recognition using convolutional neural network combined with multiple layer feature[J].Journal of Computer Applications,2016,36(2):444-448. [9]杜小毅,于濂.基于聯(lián)合特征的車標(biāo)自動識別方法[J].智能交通技術(shù),2012(1):89-92. [10]Mao Songan,Ye Mao,Li Xue,et al.Rapid vehicle logo region detection based on information theory[J].Computers&Electrical Engineering,2013,39(3):863-872. [11]Wang Shengke,Liu Lili,Xu Xiaowei.Vehicle logo recognition based on local feature descriptor[J].Applied Mechanics&Materials,2012(263/266):2418-2421. [12]李玲,李文舉.基于車徽背景紋理識別的車徽定位新方法[J].遼寧師范大學(xué)學(xué)報(bào):自然科版,2009,32(2):171-173. [13]楊文文,楊國為,張魯波,等.基于Laws模板濾波的車標(biāo)定位算法[J].青島大學(xué)學(xué)報(bào):工程技術(shù)版,2012,27(3):45-50. [14]劉玉松,陳剛.基于邊緣投影的快速車標(biāo)定位方法[J].信息技術(shù),2015(11):102-104. [15]Psyllos A P,Anagnostopoulos C N,Kayafas E.Vehicle logo recognition using a SIFT-based enhanced matching scheme[J].IEEE Transactions on Intelligent Transportation Systems,2010,11(2):322-328. [16]Wang Y Q,Liu Z F,Xiao F.A fast coarse-to-fine vehicle logo detection and recognition method[C]//Proceedings of the 2007 IEEE International Conference on Robotics and Biomimetics,Sanya,China,December 15-18,2007:691-696. [17]Gu Q,Yang J,Cui G,et al.Multi-scale vehicle logo recognition by directional dense SIFT flow parsing[C]//IEEE International Conference on Image Processing,2016. [18]Yang Jianchao,Yu Kai,Gong Yihong,et al.Linear spatial pyramid matching using sparse coding for image classification[C]//Proceeding of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2009:1794-1801. [19]王建.基于圖像的智能交通系統(tǒng)中車標(biāo)識別技術(shù)研究[D].南京:南京理工大學(xué),2014. [20]Zitnick C L,Dollár P.Edge boxes:Locating object proposals from edges[C]//European Conference on Computer Version,2014:391-405. [21]Dollár P,Zitnick C L.Structured forests for fast edge detection[C]//2013 IEEE International Conference on Computer Vision,Sydney,Australia,Dec 3-5,2013:1841-1848. [22]Chang C C,Lin C J.LIBSVM:A library for support vector machines[J].ACM Transactions on Intelligent Systems and Technology,2011,27(2):1-27.3 實(shí)驗(yàn)結(jié)果
3.1 實(shí)驗(yàn)設(shè)置
3.2 實(shí)驗(yàn)結(jié)果及分析
4 結(jié)束語