李亞瓊 聶冰花
摘要:針對(duì)SIFT特征點(diǎn)檢測(cè)算法在進(jìn)行交通標(biāo)志識(shí)別過(guò)程中存在SIFT描述子生成復(fù)雜,維數(shù)較高,算法效率較低的問(wèn)題,本文將主成分分析算法PCA與SIFT特征點(diǎn)檢測(cè)算法結(jié)合起來(lái)進(jìn)行交通標(biāo)志的識(shí)別,利用PCA對(duì)高維數(shù)據(jù)進(jìn)行線性變換獲得數(shù)量較少的新數(shù)據(jù),從而達(dá)到降維的效果,解決SIFT描述子維數(shù)較高的問(wèn)題,大大減少特征匹配的時(shí)間。實(shí)驗(yàn)結(jié)果表明,基于PCA-SIFT 的特征描述子能有效降低特征空間維數(shù),提高識(shí)別匹配速度,完成交通標(biāo)志的有效分類,且計(jì)算簡(jiǎn)單,速度快,識(shí)別率高,具有更高的準(zhǔn)確性和匹配速度。
關(guān)鍵詞:SIFT;PCA;特征描述子;交通標(biāo)志識(shí)別
隨著社會(huì)進(jìn)步和經(jīng)濟(jì)的發(fā)展,我國(guó)的公路交通行業(yè)得到了持續(xù)、快速地發(fā)展。高度發(fā)達(dá)的現(xiàn)代交通為人類的生活帶來(lái)了便利,但同時(shí)交通安全、交通擁擠等問(wèn)題也變得越來(lái)越嚴(yán)重。為了解決這些問(wèn)題,智能交通系統(tǒng)(ITS)這一研究領(lǐng)域應(yīng)運(yùn)而生[1]。道路交通標(biāo)志識(shí)別系統(tǒng) (TSR)作為智能交通系統(tǒng)的主要研究方向,已成為國(guó)內(nèi)外學(xué)者研究的熱點(diǎn)之一?;谟?jì)算機(jī)視覺(jué)的交通標(biāo)志識(shí)別是智能車輛的關(guān)鍵技術(shù)和難點(diǎn)之一,如何快速、準(zhǔn)確地從自然場(chǎng)景圖像中識(shí)別出交通標(biāo)志,對(duì)于保證駕駛安全,避免交通事故具有重要意義[2]。
近年來(lái),在計(jì)算機(jī)視覺(jué)領(lǐng)域,基于局部不變量描述符的方法在目標(biāo)識(shí)別方面取得了顯著的進(jìn)展。在2004年,哥倫比亞大學(xué)的David G.Lowe提出了一種新的提取點(diǎn)特征的算法——SIFT(Scale Invariant Feature Transform)算法[3],這種基于尺度空間的算子,具有對(duì)圖像的平移、旋轉(zhuǎn)變換、尺度縮放、亮度變化良好的不變性,同時(shí)對(duì)視覺(jué)變化、仿射變換以及噪聲也保持一定程度的穩(wěn)定性,是目前比較流行的特征檢測(cè)算子。SIFT特征點(diǎn)檢測(cè)算法己經(jīng)被廣泛應(yīng)用于很多領(lǐng)域,但是由于圖像數(shù)據(jù)量一般較大,并且SIFT描述子的生成本身較為復(fù)雜,維數(shù)較高,直接加以應(yīng)用算法效率較低[4]。
交通標(biāo)志圖像包含大量彼此相關(guān)因素,從而會(huì)造成特征的重復(fù)和浪費(fèi),增加識(shí)別的復(fù)雜度。特征提取是一種有效的特征降維方法,在模式識(shí)別、圖像處理和計(jì)算機(jī)視覺(jué)中得到了成功的運(yùn)用。主成分分析法 (Principal Component Analysis,簡(jiǎn)稱PCA)作為一種特征提取的經(jīng)典方法[5],是一種常用的數(shù)學(xué)分析方法,它通過(guò)對(duì)高維數(shù)據(jù)進(jìn)行線性變換獲得數(shù)量較少的新數(shù)據(jù),并且這些新數(shù)據(jù)能夠充分描述原數(shù)據(jù)的特征,即這些變量在描述數(shù)據(jù)特征方面是比較重要的“主分量”,因此主成分分析又被稱作主分量分析。PCA方法的基本思想是在原始數(shù)據(jù)空間中尋找主要特征,由于主要特征消除了原數(shù)據(jù)之間的冗余性,其數(shù)量遠(yuǎn)小于初始數(shù)據(jù)量,使得數(shù)據(jù)可以在較低的維數(shù)空間被處理。圖像經(jīng)PCA處理后得到的特征在一般情況下是最佳描述特征,所以PCA方法在特征提取方面應(yīng)用廣泛,目前已經(jīng)應(yīng)用于圖像處理、信號(hào)處理和模式識(shí)別等多個(gè)領(lǐng)域。然而PCA方法首先要將圖像矩陣轉(zhuǎn)換成行向量,這就導(dǎo)致了圖像向量的維數(shù)相當(dāng)高,從而增加了計(jì)算的復(fù)雜度,使得后續(xù)的線性辨別分析耗費(fèi)大量的時(shí)間。因此,PCA的主要缺點(diǎn)是需要很大的存儲(chǔ)空間和計(jì)算復(fù)雜度[6]。
針對(duì)上述問(wèn)題,本文將SIFT算法與PCA算法結(jié)合起來(lái),應(yīng)用到交通標(biāo)志的識(shí)別過(guò)程中。充分利用PCA方法對(duì)原始變量進(jìn)行變換后提取少數(shù)新變量,新變量之間互不相關(guān),并且盡可能多的保留了原數(shù)據(jù)的所有信息。通過(guò)原始數(shù)據(jù)的方差找到一組向量,將原始數(shù)據(jù)向該向量投影以降低數(shù)據(jù)的維數(shù),并且保存了數(shù)據(jù)的主要信息的特點(diǎn),從而解決SIFT描述子維數(shù)較高的問(wèn)題,大大減少特征匹配的時(shí)間[7],實(shí)驗(yàn)結(jié)果表明,基于PCA-SIFT 的特征描述子能有效降低特征空間維數(shù),提高識(shí)別匹配速度,完成交通標(biāo)志的有效分類,且計(jì)算簡(jiǎn)單,速度快,識(shí)別率高,具有更高的準(zhǔn)確性和匹配速度。
1 SIFT算法介紹
SIFT算法可以在不同的空間和圖像區(qū)域中檢測(cè)到大量的特征點(diǎn),用于圖像的匹配,其匹配算法包括兩個(gè)階段,分別為從待匹配圖像中提取出對(duì)尺度縮放、旋轉(zhuǎn)、亮度變化無(wú)關(guān)的SIFT特征向量和SIFT特征向量的匹配[8]。具體步驟如下所述:
Step1:尺度空間的構(gòu)建及極值點(diǎn)檢測(cè):建立尺度空間即建立一幅圖像尺度從大到小的若干幅圖像的有機(jī)集合。在圖像二維平面空間和尺度空間同時(shí)尋找局部極值點(diǎn)以實(shí)現(xiàn)尺度不變性。Koenderink[9]和Lindber[10]指出,在一系列合理的假設(shè)下,高斯函數(shù)是尺度空間核函數(shù)中唯一的線性核。
Step4:計(jì)算特征點(diǎn)的特征描述子:把每個(gè)特征點(diǎn)附近的的窗口切成的子窗口,首先將每一個(gè)像素的梯度方向旋轉(zhuǎn)為特征點(diǎn)的主方向,以確保旋轉(zhuǎn)不變性;然后利用高斯平滑濾波為每一個(gè)方向做加權(quán),再在每一個(gè)子窗口中計(jì)算它的方向直方圖。這樣,每個(gè)特征點(diǎn)都可以得到一個(gè)128維的特征向量。最后對(duì)得到的特征向量進(jìn)行歸一化處理,以減少光照變化產(chǎn)生的影響。梯度方向直方圖反映了圖像的結(jié)構(gòu)信息,由于經(jīng)過(guò)歸一化后可以去除光照的影響,而梯度的計(jì)算本身與光照無(wú)關(guān),所以特征向量對(duì)光照的仿射變換是不變的[11]。
2 基于PCA-SIFT算法的交通標(biāo)志識(shí)別
雖然SIFT算子在目標(biāo)識(shí)別領(lǐng)域已達(dá)到良好的效果,但是在大規(guī)模的數(shù)據(jù)存儲(chǔ)和計(jì)算中,由于其維數(shù)過(guò)高導(dǎo)致計(jì)算量過(guò)大,耗時(shí)太長(zhǎng)。因此,本文采用一種基于PCA-SIFT算法的交通標(biāo)志識(shí)別方法,該算法利用PCA對(duì)圖像進(jìn)行降維處理,通過(guò)計(jì)算主成分將高維數(shù)據(jù)投影到較低維的空間,并且改變了描述子的生成方式。其主要步驟如下:
Step1: 計(jì)算或者載入投影矩陣
選擇一系列具有代表性的訓(xùn)練樣本,提取訓(xùn)練樣本圖像的特征點(diǎn),i為特征點(diǎn)的個(gè)數(shù),在每一個(gè)特征點(diǎn)區(qū)域劃定一個(gè)大小為40×40像素的區(qū)域塊。
計(jì)算40×40區(qū)域的水平和垂直方向的梯度。形成一個(gè)大小為40×40×2=3200的矢量,然后將該矢量放入i×3200大小的矩陣R中。
將特征值從大到小排列,選擇最大的前j個(gè)特征值對(duì)應(yīng)的特征向量作為主成分方向,并由這些向量組成j×3200的投影矩陣A;j確定了生成PCA-SIFT描述子的維數(shù),可以根據(jù)計(jì)算出的特征值來(lái)設(shè)定,也可以根據(jù)經(jīng)驗(yàn)設(shè)定一個(gè)值。投影矩陣只計(jì)算一次,并且儲(chǔ)存。
Step2:檢測(cè)特征點(diǎn):如第2節(jié)所述。
Step3:PCA- SIFT描述子的生成。
對(duì)于測(cè)試圖像的每一個(gè)特征點(diǎn),輸入其位置與方向信息,在同尺度提取一個(gè)40×40的區(qū)域塊并旋轉(zhuǎn)至由梯度直方圖得到的特征點(diǎn)的主方向。
計(jì)算40×40區(qū)域水平和垂直方向的梯度;形成大小為3200的矢量;并將之前構(gòu)建的投影矩陣A與此矢量相乘,生成一個(gè)維數(shù)為j的PCA-SIFT描述子。
此外,PCA-SIFT與SIFT算子具有相同的尺度、主方向和亞像素位置,但是在生成描述子的時(shí)候,它利用特征點(diǎn)鄰域40×40的區(qū)域塊提取主成分,并由提取的主成分來(lái)確定最后生成的PCA-SIFT算子的維數(shù),從而達(dá)到更精確的表示方法。當(dāng)然在進(jìn)行交通標(biāo)志識(shí)別之前,首先要對(duì)交通標(biāo)志圖像進(jìn)行一些必要的預(yù)處理,比如對(duì)齊正規(guī)化、直方圖均衡等,為了增加匹配的穩(wěn)定性,要對(duì)獲取的各個(gè)興趣點(diǎn)的特征向量進(jìn)行歸一化處理,以便對(duì)光照和形變有更強(qiáng)的適應(yīng)性。對(duì)于一些不怎么清晰的交通標(biāo)志圖像,可能提取到的特征數(shù)相對(duì)較少,這時(shí)為了提取到足夠多的特征點(diǎn)數(shù),可以將圖像尺度再擴(kuò)大一倍,以增加特征點(diǎn)數(shù)。
3 實(shí)驗(yàn)結(jié)果與分析
為了驗(yàn)證本文所采用的SIFT-PCA算法在圖像扭曲形變、旋轉(zhuǎn)、光照變化等情況下的匹配效果,并確定算法應(yīng)用到交通標(biāo)志識(shí)別過(guò)程中的可行性和有效性,進(jìn)行如下對(duì)比實(shí)驗(yàn)。
實(shí)驗(yàn)一:選取在不同光照環(huán)境下的同一個(gè)交通標(biāo)志如圖1中(a)、(b)所示,并對(duì)(a)、(b)進(jìn)行旋轉(zhuǎn)變形如圖1中(c)、(d)所示。本算法的實(shí)驗(yàn)平臺(tái)是在matlab2010a環(huán)境下實(shí)現(xiàn)對(duì)交通標(biāo)志的識(shí)別,識(shí)別效果如圖1所示。
實(shí)驗(yàn)二:選取在不同環(huán)境下不同的交通標(biāo)志如圖2 (a)、(b)、 (c)、(d)所示,進(jìn)行交通標(biāo)志識(shí)別,識(shí)別結(jié)果如圖2所示。
實(shí)驗(yàn)三:為了有效說(shuō)明本文基于PCA-SIFT算法的交通標(biāo)志識(shí)別方法的優(yōu)越性,選取PCA算法、SIFT算法和本文算法的耗時(shí)時(shí)間和識(shí)別率作為客觀評(píng)價(jià)指標(biāo)進(jìn)行對(duì)比試驗(yàn),實(shí)驗(yàn)結(jié)果如表1和表2所示。
綜合以上客觀與主觀評(píng)價(jià)可以得到以下結(jié)論:
(1)從圖1和圖2可以看出,本文所采用的基于PCA-SIFT算法的交通標(biāo)志識(shí)別方法在交通標(biāo)志識(shí)別過(guò)程中,對(duì)同一交通標(biāo)志在不同環(huán)境下的旋轉(zhuǎn)變形、光照變化等具有良好的不變性和較高的匹配率,說(shuō)明此方法可以應(yīng)用到不同環(huán)境、不同場(chǎng)景下的交通標(biāo)志識(shí)別中,是一種魯棒性較強(qiáng)的識(shí)別方法。
(2)從表1可以看出,雖然在特征描述子生成階段,PCA-SIFT算法的描述子生成時(shí)間要略長(zhǎng)于SIFT算法;但是在匹配階段,PCA-SIFT算法的算子匹配時(shí)間要比SIFT算法快很多,SIFT算法的描述子生成和匹配的總耗時(shí)為3.79秒,而PCA-SIFT算法的總耗時(shí)為2.22秒,因此充分說(shuō)明了本設(shè)計(jì)算法在進(jìn)行交通標(biāo)志識(shí)別的過(guò)程中總時(shí)間要快于SIFT算法,其實(shí)時(shí)性較強(qiáng),更加符合實(shí)際需要。
(3)從表2可以看出, PCA-SIFT算法在進(jìn)行交通標(biāo)志的識(shí)別過(guò)程中,其具有較高的識(shí)別率,識(shí)別正確率為95.6%;而SIFT算法的識(shí)別率較低,則為93.1%;PCA算法的識(shí)別率最低,為85.5%,因此,從識(shí)別率這一客觀指標(biāo)來(lái)看,本文方法的識(shí)別正確率要高于其他兩種方法,是一種更加有效的交通標(biāo)志識(shí)別方法。
綜上所述,無(wú)論從主觀視覺(jué)效果還是客觀評(píng)價(jià)指標(biāo)都可以得出相同的結(jié)論:在交通標(biāo)志識(shí)別的應(yīng)用中,本文方法明顯優(yōu)于PCA和SIFT兩種算法,不僅提高了正確識(shí)別率,節(jié)省了識(shí)別時(shí)間,而且在交通標(biāo)志的識(shí)別過(guò)程中表現(xiàn)出較強(qiáng)的識(shí)別魯棒性。
4 結(jié)語(yǔ)
本文針對(duì)SIFT特征點(diǎn)檢測(cè)算法在進(jìn)行交通標(biāo)志識(shí)別過(guò)程中存在SIFT描述子生成復(fù)雜,維數(shù)較高,算法效率較低的問(wèn)題,采用了一種將PCA算法與SIFT特征點(diǎn)檢測(cè)算法相結(jié)合的方法進(jìn)行交通標(biāo)志識(shí)別,以期利用PCA算法對(duì)特征點(diǎn)實(shí)現(xiàn)降維的效果,解決SIFT描述子維數(shù)較高的問(wèn)題。大大減少特征匹配的時(shí)間。實(shí)驗(yàn)結(jié)果表明:無(wú)論是主觀還是客觀衡量指標(biāo)兩個(gè)方面,本文方法較之PCA和SIFT兩種算法都有一定的改進(jìn)效果,提高了交通標(biāo)志識(shí)別的正確率,節(jié)省了匹配時(shí)間和識(shí)別時(shí)間,提高了系統(tǒng)的魯棒性,是一種比較有效的交通標(biāo)志識(shí)別算法。
參考文獻(xiàn) :
[1] 李祥熙,張航.交通標(biāo)志識(shí)別研究綜述[J].公路交通科技應(yīng)用技術(shù)版,2010,(6):253-257.
[2] 劉紅.自然場(chǎng)景下交通標(biāo)志識(shí)別研究[D].河南:鄭州大學(xué), 2011.
[3] Lowe D G.Distinctive image features from scale-invariant key points[J].International Journal of Computer Vision,2004,60(2): 91-110.
[4] 朱利成,姚明海.基于SIFT算法的目標(biāo)匹配和識(shí)別[J].機(jī)電工程, 2009,26(4):73-75.
[5] BAJORSKI P. Statistical inference in PCA for hyperpectral images[J].IEEE Journal of Selected Topics in Signal Processing, 2011,5(3): 438-435.
[6] 張潘潘.道路交通標(biāo)志檢測(cè)與識(shí)別算法的研究[D].山東:山東大學(xué), 2012.
[7] Yan Ke,Sukthankar R. PCA-SIFT:A More Distinctive Repres- entation for Local Image Descriptors[C]//2004 IEEE Computer Society Conference on Computer Vision and Pattern Recogni- tion,Washington:IEEE Computer Society,2004:506- 513.
[8] 李玲玲,李翠華,曾曉明,等.基于Harris-Affine和SIFT特征匹配的圖像自動(dòng)配準(zhǔn)[J].華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版),2008,36(8):13-16.
[9] Koenderink J J. The structure of images[J]. Biological Cyberne- tics, 1984, 50(5):363-370.
[10] Tony Lindeberg. Scale-space theory: A basic tool for analysing structures at different scales[J]. Journal of Applied Statistics,1994, 21(2):225-270.
[11] 霍春雷,周志鑫,劉青山,等.基于SIFT特征和廣義緊互對(duì)原型對(duì)距離的遙感圖像配準(zhǔn)方法[J].遙感技術(shù)與應(yīng)用,2007,22(4):524-530.
(作者單位:國(guó)家知識(shí)產(chǎn)權(quán)局專利局專利審查協(xié)作河南中心)
注:李亞瓊和聶冰花為本文做出同等貢獻(xiàn),為共同第一作者、(姓名右上角標(biāo)1是表示等同第一作者)