和曉軍 劉 歡
(沈陽(yáng)理工大學(xué)信息科學(xué)與工程學(xué)院,遼寧 沈陽(yáng) 110159)
交通標(biāo)志識(shí)別是應(yīng)用計(jì)算機(jī)視覺(jué)研究,且重點(diǎn)是交通場(chǎng)景圖像方面的自動(dòng)檢測(cè)和識(shí)別的一個(gè)新型研究領(lǐng)域。近年來(lái),交通標(biāo)志識(shí)別在道路維護(hù)、駕駛員支持系統(tǒng)以及自動(dòng)無(wú)人駕駛汽車(chē)等方面吸引了越來(lái)越多研究人員的關(guān)注[1]。
國(guó)外在交通標(biāo)志識(shí)別方面起步較早,在20世紀(jì)90年代,美國(guó)的Kehtarnavaz等人[2]就通過(guò)提取交通標(biāo)志在HSV彩色空間中的顏色特征和形狀特征完成了對(duì)交通標(biāo)志的檢測(cè),他們當(dāng)時(shí)已經(jīng)完成了STOP禁令標(biāo)志檢測(cè)系統(tǒng)的研發(fā)。Bascon等人[3]通過(guò)使用提取交通標(biāo)志牌的形狀特征的方法,基本完成了能夠檢測(cè)幾種比較常見(jiàn)的交通標(biāo)志牌的檢測(cè)算法,但是由于這個(gè)算法處理時(shí)間比較長(zhǎng)(單幀的處理時(shí)間已經(jīng)超過(guò)1.5秒),因此不能滿(mǎn)足實(shí)時(shí)處理的要求。德國(guó)的Hoferlin B等人[4]利用霍夫變換和尺度不變特征變換(Scale-invariantfeaturetransform,SIFT),實(shí)現(xiàn)了針對(duì)圓形交通標(biāo)志的檢測(cè)算法,而且該算法具有比較高的檢測(cè)率。Piccioli等人[5]通過(guò)提取交通標(biāo)志的幾何特征信息,接著利用相似性度量函數(shù)(Similarity Measuring Function,SMF)對(duì)將要檢測(cè)的圖像區(qū)域進(jìn)行相似性度量,從而實(shí)現(xiàn)了交通標(biāo)志的檢測(cè)。
在國(guó)內(nèi),雖然開(kāi)展相應(yīng)的交通標(biāo)志檢測(cè)的研究相對(duì)較晚,但是目前也有了一些令人欣喜的成果。郁梅等人[6]通過(guò)利用交通標(biāo)志的顏色特征,對(duì)交通標(biāo)志進(jìn)行了比較快速的檢測(cè)和識(shí)別,他們主要利用顏色特征增強(qiáng)、聚類(lèi)分析、形態(tài)學(xué)操作等幾個(gè)步驟,最終實(shí)現(xiàn)了視頻圖像中對(duì)交通標(biāo)志進(jìn)行定位這一功能的算法。谷明琴等人[7]提出了一種綜合形狀標(biāo)記圖和Gabor波的交通標(biāo)志檢測(cè)識(shí)別方法。該方法先是在RGB彩色空間下對(duì)候選的交通標(biāo)志區(qū)域進(jìn)行分割,接著使用形態(tài)學(xué)運(yùn)算消除噪聲,然后利用歐式距離對(duì)疑似交通標(biāo)志區(qū)域的標(biāo)記圖進(jìn)行粗分割,然后對(duì)候選交通標(biāo)志區(qū)域的Gabor小波圖像進(jìn)行特征提取,實(shí)現(xiàn)了對(duì)交通標(biāo)志的檢測(cè)和定位。
由于戶(hù)外環(huán)境的變化性和不確定性,交通標(biāo)志檢測(cè)成為了一項(xiàng)頗有難度的工作,主要面臨著以下幾個(gè)問(wèn)題:(1)具有相近特征(顏色和形狀等)的非交通標(biāo)志物體對(duì)真實(shí)交通標(biāo)志牌的干擾;(2)不能人為控制的光照對(duì)交通標(biāo)志牌的顏色和可見(jiàn)度的影響;(3)交通標(biāo)志在圖像中會(huì)有平移、旋轉(zhuǎn)和尺度等的變化,這會(huì)增加檢測(cè)識(shí)別的難度;(4)有時(shí)會(huì)有多個(gè)交通標(biāo)志聚集在一起,這會(huì)使得對(duì)它們各自的檢測(cè)與識(shí)別變得愈發(fā)困難;(5)交通標(biāo)志牌的某些部分被遮擋以及交通標(biāo)志牌本身信息的丟失會(huì)導(dǎo)致在檢測(cè)識(shí)別上的模糊性。
交通標(biāo)志檢測(cè)是交通標(biāo)志識(shí)別系統(tǒng)的一個(gè)重要組成部分。本文提出一種基于HSV彩色空間的交通標(biāo)志檢測(cè)方法。在HSV空間里進(jìn)行顏色分割,分割的閾值由統(tǒng)計(jì)計(jì)算得出,然后將分割出的區(qū)域進(jìn)行填充膨脹,并標(biāo)記下一系列特征,然后通過(guò)計(jì)算這些特征滿(mǎn)足的條件與否,進(jìn)行候選區(qū)域的篩選。最后在從原圖中把交通標(biāo)志的區(qū)域裁剪下來(lái),完成檢測(cè)。實(shí)驗(yàn)結(jié)果表明,本方法是尺度恒定的,能夠在復(fù)雜的交通場(chǎng)景中進(jìn)行可靠的交通標(biāo)志檢測(cè),方法簡(jiǎn)單有效。
一幅交通標(biāo)志圖像既包含感興趣的有價(jià)值信息,也包含大量的無(wú)用信息,在對(duì)交通標(biāo)志進(jìn)行檢測(cè)前,需要使用某些技術(shù)手段盡量減少那些無(wú)用信息,增強(qiáng)與復(fù)原高價(jià)值信息,為接下來(lái)的交通標(biāo)志檢測(cè)提供高質(zhì)量的輸入圖片,使得交通標(biāo)志的定位分割、特征提取的復(fù)雜度和難度也大為減少,從而有效地提升系統(tǒng)的準(zhǔn)確率和處理速度,由此可見(jiàn),圖像增強(qiáng)是交通標(biāo)志檢測(cè)過(guò)程中的一個(gè)重要環(huán)節(jié)。
直方圖均衡化是一種廣泛使用的圖像增強(qiáng)方法,可以有效的增強(qiáng)模糊圖像的細(xì)節(jié),提高圖像的對(duì)比度?;谝韵略韀8-9]:圖像灰度級(jí)為[0,L-1]范圍的數(shù)字圖像的直方圖是離散函數(shù)h(rk)=nk,其中rk是第k級(jí)灰度,nk是圖像中灰度級(jí)為rk的像素個(gè)數(shù),經(jīng)常用圖像中像素的總數(shù)n來(lái)除以它的每個(gè)灰度級(jí)的個(gè)數(shù)。得到歸一化的直方圖。如下式:
P(rk)=nk/n,k=0,1,…L-1
由上式可以看出:P(rk)給出了灰度級(jí)rk發(fā)生的概率估計(jì)值。且:
直方圖操作能有效地用于圖像增強(qiáng),圖像壓縮與分割,而且直方圖在軟件中易于計(jì)算,使用電子芯片實(shí)現(xiàn)起來(lái)比較簡(jiǎn)單,因此在實(shí)時(shí)圖像處理中是一個(gè)很有用的工具。
交通標(biāo)志的特定顏色為司機(jī)提供了重要的信息。顏色分割能夠很好地減少待處理信息的總量,把交通標(biāo)志所在的區(qū)域提取出來(lái)[10]。數(shù)字?jǐn)z像機(jī)輸出的原始圖像采用RGB彩色空間的表示方式,必須轉(zhuǎn)化到能夠更好地控制光照變化的色彩空間。由于與人類(lèi)視覺(jué)一致并且可分離彩色和非彩色,HSV(Hue,Saturation,Value)彩色空間被用來(lái)描述交通場(chǎng)景圖片里的顏色信息。其中色調(diào)的范圍在0到360度之間,飽和度和強(qiáng)度都在0和1之間。
圖像需要從RGB彩色空間轉(zhuǎn)換到HSV彩色空間,轉(zhuǎn)換公式為:令MAX為R、G、B三個(gè)分量的最大值,MIN為三個(gè)分量的最小值,
若 MAX=MIN,則:
由于在顏色分割過(guò)程中色調(diào)Hue起著核心作用,因?yàn)樗鼘?duì)于光照變化,陰影,強(qiáng)光以及其他存在飽和度變化的場(chǎng)合具有很高的穩(wěn)定性。所以令S和V分量都為1,輸出各個(gè)像素點(diǎn)的H值,H值歸一化為0~1的數(shù)。以紅色禁令標(biāo)志為例,通過(guò)對(duì)大量圖像的統(tǒng)計(jì)與計(jì)算,算出紅色的H閾值為0.0277~0.032。利用顏色閥值將紅色對(duì)象都顯示為白色,其余都為黑色,至此完成圖像的二值化。然后對(duì)圖像進(jìn)行形態(tài)學(xué)閉操作,填補(bǔ)空洞。然后將二值圖像膨脹化,再對(duì)圖像進(jìn)行填充,把內(nèi)部空洞填滿(mǎn)。對(duì)連通對(duì)象的各個(gè)分離部分進(jìn)行標(biāo)注,這里采用的是8連通。然后對(duì)標(biāo)注區(qū)域的一系列屬性進(jìn)行測(cè)量,本文采用3個(gè)特征,依次為圖像各個(gè)區(qū)域中像素總個(gè)數(shù),每個(gè)區(qū)域的質(zhì)心(重心),包含相應(yīng)區(qū)域的最小矩形。然后根據(jù)各填充塊的面積,找出其中最大的3個(gè)填充塊存儲(chǔ)下來(lái)。
以其中的一個(gè)填充塊為例,M是區(qū)域外接最小矩形的長(zhǎng)和寬的最小值,X是區(qū)域重心的橫坐標(biāo),Y是重心的縱坐標(biāo),H和L分別是原始圖像像素的行數(shù)和列數(shù),T是剛才進(jìn)行標(biāo)注前的二值圖的名字,A是該區(qū)域的像素總個(gè)數(shù),作為交通標(biāo)志候選區(qū)域,必須滿(mǎn)足以下五組條件:
通過(guò)以上條件,就確定了最多3個(gè)標(biāo)志區(qū)域,然后就是根據(jù)每個(gè)區(qū)域的對(duì)應(yīng)矩形的左上角那個(gè)像素的橫縱坐標(biāo),以及矩形的長(zhǎng)和寬,在原圖中進(jìn)行裁剪。裁剪下來(lái)的圖像即為定位后檢測(cè)出的交通標(biāo)志圖像。
圖1 原始彩色圖像
本文是在操作系統(tǒng)為Windows 8,CPU為Intel酷睿i7,系統(tǒng)內(nèi)存為8 GB的普通計(jì)算機(jī)上實(shí)現(xiàn)的。使用的軟件是Matlab2012。選取的圖像來(lái)源于網(wǎng)上的圖片。為了方便,程序事先把所有圖都調(diào)整為592*748的圖像。圖1是原始圖像,圖2是顏色分割后僅顯示紅色區(qū)域的二值圖像,圖3是進(jìn)行形態(tài)學(xué)閉操作后的圖像,圖4是填充后的圖像,圖5是篩選后留下的交通標(biāo)志區(qū)域,圖6是最后檢測(cè)定位出的交通標(biāo)志。
圖2 僅顯示紅色區(qū)域的二值圖像
圖3 閉操作后的圖像
圖4 填充后的圖像
圖5 篩選后留下的交通標(biāo)志區(qū)域
圖6 定位后裁剪下的禁令交通標(biāo)志
本文方法的評(píng)估是以檢測(cè)出交通標(biāo)志的檢出率來(lái)說(shuō)明的。交通標(biāo)志的檢出率定義為用本方法定位出交通標(biāo)志的圖像數(shù)目與總的圖像數(shù)目之比。經(jīng)過(guò)統(tǒng)計(jì),此方法基本可以實(shí)現(xiàn)對(duì)禁令交通標(biāo)志的檢測(cè),檢出率也基本平均在90%以上,而且由于方法較為簡(jiǎn)單迅速,在實(shí)時(shí)性上有很好的保證。但是那些沒(méi)有正確檢出的圖像大多是因?yàn)閳D像清晰度不高,背景過(guò)于復(fù)雜或者有和交通標(biāo)志顏色相似的物體,光照太強(qiáng)或太弱,以及標(biāo)志遮擋等等原因,這些原因都會(huì)造成檢出率的降低。
交通標(biāo)志的檢測(cè)對(duì)于交通標(biāo)志識(shí)別系統(tǒng)來(lái)說(shuō)是極為重要的一個(gè)步驟,標(biāo)志的檢測(cè)速度以及檢出率直接影響到后面識(shí)別的難易程度以及整個(gè)識(shí)別系統(tǒng)的優(yōu)劣,本文著重研究了禁令交通標(biāo)志的檢測(cè)系統(tǒng),利用基于HSV彩色空間的顏色分割,以及提取候選區(qū)域的一系列特征,通過(guò)計(jì)算特征完成對(duì)交通標(biāo)志區(qū)域的篩選,最終得以定位。由于檢測(cè)算法運(yùn)算量小,所以速度很快,實(shí)時(shí)性很好,但是考慮到背景較為負(fù)責(zé),標(biāo)志遮擋以及光照強(qiáng)度等等的問(wèn)題,本方法在交通標(biāo)志的檢出率上還有待提高。
[1]De La Escalera,A.Armingol,J.M.Mata,M.Traffic sign recognition and analysis for intelligent vehicles[J].Image Vision Computing,2003,21:247-258.
[2]Kehtarnavaz,N.Ahmad,A.Traffic sign recognition in noisy outdoor scenes[J].Intelligent Vehicles'95 Symposium,1995:460-465.
[3]Mal donado Bascon S,Lafuente Arroyo S,Gil-Jimenes P.Road sign deteetion and recognition based on Support Vector Machines[J].IEEE Transaction on Intelligent Transportation Systems,2007,8(2):264-278.
[4]Hoferlin B,Zitnmermann K.Towards reliable traffic sign recognition[C].In:2009 IEEE Intelligent Vehicles SymPosium,2009,pp.324-329.
[5]G.Piccioli,E.D.Michel,P.Parodi,and M.Campani.Robust method for road sign detection and recognition[J].Image and Vision Computing,1996,14(3):119-129.
[6]郁梅,郁伯康.基于彩色圖像的指示標(biāo)志檢測(cè)[J].計(jì)算機(jī)工程與應(yīng)用,2000,36(4):166-168.
[7]谷明琴,蔡自興,何芬芬.形狀標(biāo)記圖和Gabor小波的交通標(biāo)志識(shí)別[J].智能系統(tǒng)學(xué)報(bào),2011,6:526-530.
[8]岡薩雷斯,等,著.阮秋琦等譯,數(shù)字圖像處理[M].2版.北京:電子工業(yè)出版社,2007.
[9]岡薩雷斯.數(shù)字圖像處理(MATLAB版)[M].北京:電子工業(yè)出版社,2005.
[10]許少秋.戶(hù)外交通標(biāo)志檢測(cè)和形狀識(shí)別[J].中國(guó)圖象圖形學(xué)報(bào),2009,4:707-711.