城市環(huán)境中箭頭型交通信號(hào)燈的實(shí)時(shí)識(shí)別算法

谷明琴，蔡自興，黃振威，何芬芬

(中南大學(xué) 信息科學(xué)與工程學(xué)院，湖南 長(zhǎng)沙，410083)

近年來(lái)，城市環(huán)境中的智能車輛環(huán)境感知研究引起了廣泛關(guān)注，而交通信號(hào)燈的識(shí)別為其重要研究方向之一。國(guó)內(nèi)外許多研究者已提出了一些檢測(cè)和識(shí)別交通信號(hào)燈算法。Yung等[1]在視頻序列中檢測(cè)紅色、黃色和綠色交通信號(hào)燈，且假定相機(jī)固定在車輛頂部正中間。由于該算法要求交通信號(hào)燈區(qū)域的顏色清晰，因此能夠檢測(cè)到交通燈的距離較近。Chung等[2]需預(yù)先估計(jì)交通信號(hào)燈的背景圖像及光照的平均時(shí)間，用形態(tài)學(xué)方法的模糊算法來(lái)檢測(cè)交通信號(hào)燈的候選區(qū)域。由于它需要估計(jì)背景圖像，因此不適用于移動(dòng)的智能車輛。文獻(xiàn)[3]中的情況與文獻(xiàn)[2]類似，也不太適合智能車輛感知環(huán)境的需要，此外，交通信號(hào)燈的識(shí)別特征采用仿射不變矩，計(jì)算成本比較高。Hwang等[4]用6個(gè)顏色閾值來(lái)分割輸入圖像，得到候選區(qū)域。然而，它無(wú)法區(qū)分紅色和黃色交通信號(hào)燈，適應(yīng)性不強(qiáng)。Masako等[5-6]采用邊緣圖像檢測(cè)交通信號(hào)燈，由于邊緣圖像中包含大量類似交通信號(hào)燈的圓形區(qū)域，算法的誤檢率較高。Shen等[7]根據(jù)高斯分布構(gòu)建了色調(diào)和飽和度的模型，并用樣本訓(xùn)練參數(shù)；用參數(shù)和形狀信息來(lái)提取并判定測(cè)試圖像中的交通信號(hào)燈候選區(qū)域。但該方法需要對(duì)圖像進(jìn)行模型化，需大量的矩陣運(yùn)算，計(jì)算復(fù)雜度高。Gong等[8]采用HSV顏色空間的統(tǒng)計(jì)結(jié)果獲取分割閾值，對(duì)圖像進(jìn)行分割，用基于CAMSHIFT算法對(duì)交通信號(hào)燈進(jìn)行跟蹤。但該方法難以在較復(fù)雜環(huán)境中檢測(cè)和識(shí)別交通信號(hào)燈。Charette等[9]采用聚光燈檢測(cè)和模板匹配的方法來(lái)識(shí)別交通信號(hào)燈，雖然識(shí)別較為準(zhǔn)確，但是預(yù)處理階段需要進(jìn)行多次卷積運(yùn)算，時(shí)間復(fù)雜度高。Levinson等[10]利用GPS數(shù)據(jù)信息及先驗(yàn)的交通信號(hào)燈的位置，然后在線地檢測(cè)交通信號(hào)燈。這種方式需要大量的先驗(yàn)信息作為支撐，對(duì)系統(tǒng)構(gòu)建的要求非常高。谷明琴等[11]研究了圓形交通信號(hào)燈的檢測(cè)和識(shí)別算法，未對(duì)箭頭型交通信號(hào)燈加以研究。Cai[12]則研究了箭頭型交通信號(hào)燈識(shí)別算法。箭頭型交通信號(hào)燈是城市環(huán)境中常見的信號(hào)燈類型，能為行駛的車輛提供有用的十字路口環(huán)境信息，而上述算法主要是檢測(cè)和識(shí)別圓形交通信號(hào)燈，很少涉及箭頭型交通信號(hào)燈。針對(duì)該問題，本文作者提出了一種檢測(cè)和識(shí)別城市環(huán)境中箭頭型交通信號(hào)燈的新方法。

1 箭頭型交通信號(hào)燈檢測(cè)

圖1 城市環(huán)境中的箭頭型交通信號(hào)燈樣例Fig. 1 Examples of arrow traffic lights in urban environment

圖1所示為一些城市環(huán)境中較為常見的交通信號(hào)燈樣例，從圖1可以看出交通信號(hào)燈的背景比較復(fù)雜(交通標(biāo)志，建筑物等)，此外，由于光照，天氣條件及交通信號(hào)燈自身的發(fā)光性，檢測(cè)和識(shí)別交通信號(hào)燈較為困難。為此，本研究提出了如圖2所示框架來(lái)識(shí)別城市環(huán)境中的交通信號(hào)燈。

圖2 箭頭型交通信號(hào)燈的識(shí)別框架Fig. 2 Framework of traffic lights recognition

1.1 交通信號(hào)燈燈板定位

令 v(x，y)=[vR，vG，vB]是 RGB空間中的每個(gè)像素的顏色值，(x，y)是像素坐標(biāo)。由下面 2種方法來(lái)分割圖像中的黑色區(qū)域：

其中：T1=50和T2=20是分割閾值。則圖像中的黑色區(qū)域可由二值圖像Bin1(x，y)和Bin2(x，y)的并組成。

用結(jié)構(gòu)元素相同的腐蝕和膨脹形態(tài)學(xué)操作對(duì)Bin(x，y)進(jìn)行處理，以消除噪聲和斷裂區(qū)域。

對(duì)Bin(x，y)中像素個(gè)數(shù)大于300且小于3 000的連通區(qū)域進(jìn)行標(biāo)記，作為交通信號(hào)燈的候選區(qū)域。假設(shè)Bin(x，y)有Nr個(gè)候選區(qū)域，記為Ri，i=1，…，Nr。令Ri(height)和Ri(width)是候選區(qū)域Ri的高和寬，則區(qū)域的寬高比Ri(Rwh)定義如下：

令Ri(Saturation)表示區(qū)域Ri的凹形度，有

其中：Ri(Area)和Ri(ConvexArea)分別是區(qū)域Ri中的像素個(gè)數(shù)及其最小凸包中的像素個(gè)數(shù)。

對(duì)候選區(qū)域 Ri，由以下的形態(tài)濾波方法對(duì)其進(jìn)行過濾：

其中：TBwh，TUwh和 TStrt是其對(duì)應(yīng)的閾值，這里分別取2，4，0.6。經(jīng)過形態(tài)濾波后，去除了不滿足燈板形態(tài)的區(qū)域，如圖3所示，二值圖像中僅保留了符合燈板形態(tài)的候選區(qū)域。

1.2 交通信號(hào)燈定位

從輸入的原始圖像中剪切出候選燈板區(qū)域Ri的彩色圖像并轉(zhuǎn)換到Y(jié)CbCr顏色空間中。假設(shè)p(x，y)=[pY，pCb，pCr]是YCbCr空間中的每個(gè)像素的顏色值，(x，y)是其小圖像的坐標(biāo)。由于紅色和黃色交通信號(hào)燈難以僅用顏色信息將其分開，在YCbCr空間中，用閾值Tred對(duì)Cb通道進(jìn)行閾值分割：

由于燈板中的紅色和黃色的交通信號(hào)燈所處的位置不同(紅色信號(hào)燈在燈板的上1/3處，黃色信號(hào)燈在燈板的中1/3處)，則可以用交通信號(hào)燈與燈板的相對(duì)位置來(lái)區(qū)分紅色和黃色交通信號(hào)燈。

標(biāo)記二值圖像BRed(x，y)中像素個(gè)數(shù)大于50且小于1 000的連通區(qū)域，記為Rj，j=1，…，Ns，Ns是候選區(qū)域的個(gè)數(shù)。假設(shè)候選區(qū)域Rj的外接矩形框?yàn)镽etcj={Rx，Ry，Rwidth，Rheight}，如果 Rj的寬高比 Rj(Rwh)及與燈板Ri的相對(duì)位置滿足：

那么 Rj是一個(gè)交通信號(hào)燈候選區(qū)域。其中，Rj(Rwh)=Rheight/Rwidth，TRlower=0.5，TRupper=1.5。

圖3 交通信號(hào)燈檢測(cè)過程的結(jié)果Fig. 3 Results of detecting traffic light process

如果候選區(qū)域 Rj的左上角坐標(biāo)(Rx，Ry)滿足 Ry＜Ri(height)/3，那么Rj是一個(gè)紅色交通信號(hào)燈候選區(qū)域。否則，如果Rj的坐標(biāo)(Rx，Ry)滿足：

則Rj是一個(gè)黃色交通信號(hào)燈候選區(qū)域，否則，Rj為非交通信號(hào)燈，并從候選區(qū)域列表中移除。

為了檢測(cè)綠色交通信號(hào)燈，用閾值Tgreen對(duì)Cr通道進(jìn)行分割，得到二值圖像：

用標(biāo)記BRed(x，y)候選區(qū)域相同的方法對(duì)Bgreen(x，y)進(jìn)行處理，記候選區(qū)域?yàn)镽j，j=1，…，Ns，Ns是其個(gè)數(shù)。如果候選區(qū)域Rj的外接矩形框 Retcj={Rx，Ry，Rwidth，Rheight}滿足公式(10)，且 Rj的左上角坐標(biāo)(SRx，Ry)滿足 Ry＞2Ri(width)/3，那么 Rj是綠色交通信號(hào)燈候選區(qū)域。

圖 3(d)顯示了檢測(cè)到的交通信號(hào)燈候選區(qū)域結(jié)果。從燈板圖像中剪切候選區(qū)域Rj的彩色圖像，并灰度化，歸一化為 30×30的圖像大小，記為 I(x，y)，送入識(shí)別過程進(jìn)行分類。

2 交通信號(hào)燈識(shí)別

為了對(duì)交通信號(hào)燈候選圖像進(jìn)行分類，用二維的Gabor小波變換及二維獨(dú)立分量分析來(lái)表示圖像和降低分類特征的冗余性，最近鄰分類器來(lái)判定交通信號(hào)燈的方向。

2.1 圖像的二維Gabor小波表示

對(duì)檢測(cè)到的候選區(qū)域灰度圖像I(x，y)，可以用文獻(xiàn)[13]定義的 Gabor函數(shù) ψu(yù),v(x，y)與圖像 I(x，y)的卷積作為Gabor濾波后的圖像，即：

*表示卷積操作。

將幅值圖像Gu,v(x，y)，u={0，1，…，5}，v={0，1，…，5}隔2個(gè)像素點(diǎn)采樣，連接成為一個(gè)列向量χ，作為圖像的特征。

2.2 二維獨(dú)立分量分析特征降維

獨(dú)立分量分析能降低特征的冗余度，提高特征之間的獨(dú)立性[14]，二維獨(dú)立分量分析是其改進(jìn)方法，能大量減少特征的冗余性及相關(guān)性。

2.2.1 二維獨(dú)立分量分析算法

假設(shè)交通信號(hào)燈的模板庫(kù)特征為χ= { χ , i ∈ 1,2,… ,L }， χ ∈ Rn×n，L為其模板個(gè)數(shù)，ii其協(xié)方差矩陣為：

其中：W是分離矩陣。為了得到矩陣W，令W={w1，…，wr}T，向量wi的更新步驟如下：

(1) 隨機(jī)選擇一個(gè)初始向量wi(L)。

(6) 更新結(jié)束，令wi=wi(N)。

其中：wi(L)和wi(N)分別是上一次和本次更新的向量，g=tanh(a1u)，g′=1-(tanh(a1u))2，g′(u)是 g(u)的一階導(dǎo)數(shù)，取a1=1。

2.2.2 特征提取

對(duì)于圖像特征 χi=(χi1，χi2，…，χin)，用優(yōu)化特征向量矩陣S={s1，…，sr}來(lái)提取其特征：

映射特征向量Y1，…，Yr即為樣本特征χi的獨(dú)立主分量。樣本χi的特征矩陣可以降為n×r矩陣B=(Y1，Y2，…，Yr)。

2.3 交通信號(hào)燈分類

城市中交通信號(hào)燈的類別 ci(i=1，2，…，9)有 9種，分別是紅色(禁止左轉(zhuǎn)，禁止右轉(zhuǎn)，禁止直行)，綠色(左轉(zhuǎn)，右轉(zhuǎn)，直行)，黃色(左轉(zhuǎn)警告，右轉(zhuǎn)警告，直行警告)。每類均有 Ni=200個(gè)訓(xùn)練樣本是訓(xùn)練樣本的總個(gè)數(shù)。

已檢測(cè)到的交通信號(hào)燈候選區(qū)域的特征為 B，由式(17)度量交通信號(hào)燈與樣本庫(kù)特征間的相似性：

其中：||·||2為2個(gè)向量間的歐式距離[14]。

令

其中：T為相似性閾值。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

為了測(cè)試交通信號(hào)燈識(shí)別系統(tǒng)的性能，用配備工業(yè)相機(jī)的智能車在十字路口采集 25段有交通信號(hào)燈的視頻，幀率為25幀/s，分辨率為1 392×1 040，時(shí)長(zhǎng)為16 s。

3.2 交通信號(hào)燈識(shí)別結(jié)果及性能分析

圖 4所示為本研究算法的檢測(cè)和識(shí)別結(jié)果，圖4(a)～(d)為一段在 4個(gè)交通信號(hào)燈路口采集的視頻序列的第1，172，210，701幀的實(shí)驗(yàn)結(jié)果，圖4(e)～(h)則為有2個(gè)交通信號(hào)燈的視頻序列第1，95，110，608幀圖像的識(shí)別結(jié)果。交通信號(hào)燈的檢測(cè)結(jié)果用紅色矩形在圖中框出，識(shí)別結(jié)果則顯示在矩形框的左側(cè)。為了清楚起見，把交通信號(hào)燈區(qū)域的檢測(cè)和識(shí)別結(jié)果放大顯示在每幅圖的下方。實(shí)驗(yàn)結(jié)果表明本研究算法能有效的檢測(cè)出紅色、黃色、綠色交通信號(hào)燈及其箭頭方向信息。

表1列出了不同天氣和光照條件下交通信號(hào)燈的檢測(cè)和識(shí)別效果，從表1可以看出：系統(tǒng)的檢測(cè)和識(shí)別率均在95%以上，而總體識(shí)別率(檢測(cè)率和識(shí)別率的乘積)超過了91%。交通信號(hào)燈識(shí)別失敗的主要原因是背景較為復(fù)雜，圖像曝光過度或者曝光不足等。

3.3 計(jì)算時(shí)間分析

交通信號(hào)燈的識(shí)別系統(tǒng)用VC++.NET編寫，測(cè)試環(huán)境為2.5 GHz Pentium(R)雙核CPU，3 GB內(nèi)存。表2列出了交通信號(hào)燈識(shí)別過程的平均計(jì)算時(shí)間，單幅圖像的處理時(shí)間為152 ms，即可達(dá)到6.57幀/s的識(shí)別速度，滿足了交通信號(hào)燈進(jìn)行實(shí)時(shí)識(shí)別的要求。

圖4 2段視頻中的交通信號(hào)燈的檢測(cè)和識(shí)別結(jié)果Fig. 4 Traffic Light detection and recognition results with 2 videos in urban scenes

表1 交通信號(hào)燈檢測(cè)和識(shí)別率Table 1 Detection and recognition rate of traffic light

表2 計(jì)算時(shí)間分析Table 2 Computation time analysis

4 結(jié)論

(1) 從輸入圖像中分割出黑色區(qū)域，并根據(jù)交通信號(hào)燈的燈板形態(tài)特征，過濾明顯不符合的區(qū)域，以定位交通信號(hào)燈的黑色燈板區(qū)域。

(2) 從原圖中剪切出黑色燈板區(qū)域，并轉(zhuǎn)換到Y(jié)CbCr空間，以交通信號(hào)燈的顏色：對(duì)其進(jìn)行分割，根據(jù)交通信號(hào)燈的形態(tài)特征，與燈板的相對(duì)位置來(lái)判斷是否為交通信號(hào)燈的候選區(qū)域。在不同的天氣條件下，檢測(cè)率在 96%以上，表明程序的穩(wěn)定檢測(cè)能力較高。

(3) 對(duì)獲得的交通信號(hào)燈候選區(qū)域，進(jìn)行 Gabor小波變換，提取其特征信息，以二維獨(dú)立分量分析法來(lái)降低特征的冗余度，減少送入識(shí)別過程的特征數(shù)量。為提高算法的實(shí)時(shí)性，用簡(jiǎn)單的最近鄰分類法來(lái)判斷交通信號(hào)燈的狀態(tài)信息。實(shí)驗(yàn)表明該方法的識(shí)別率在95%以上，總共的計(jì)算時(shí)間為152 ms，能夠穩(wěn)定有效地識(shí)別城市環(huán)境中的箭頭型交通信號(hào)燈。

[1] Yung N H C, Lai A H S. An effective video analysis method for detecting red light runners[J]. IEEE Transactions on Vehicular Technology, 2001, 50(4): 1074-1084.

[2] Chung Y, Wang L, Chen S. A vision-based traffic light detection system at intersections[J]. Journal of National Taiwan Normal University: Mathematics, Science & Technology, 2002, 47:67-86.

[3] Shioyama T, Wu H, Nakamura N, et al. Measurement of the length of pedestrian crossing and detection of traffic lights from image data[J]. Measurement Science and Technology, 2002, 13:1450-1457.

[4] Hwang T H, Joo I H, Cho S I. Detection of traffic lights for vision-based car navigation systems[C]//Pacific-Rim Symposium on Image and Video Technology. Germany: Springer Verlag, 2006: 682-691.

[5] Masako O, Shinichiro O. Detection of traffic light using structural information[C]//2010 IEEE 10th International Conference on Signal Processing. Japan, USA: IEEE, 2010:809-812.

[6] Chinthaka H, Premachandra N, Yendo T, et al. Detection of LED traffic light by image processing for visible light communication system[C]//2009 IEEE on Intelligent Vehicles Symposium, USA.IEEE, 2009: 179-184.

[7] SHEN Yehu, Ozguner U, Redmill K, et al. A robust video based traffic light detection algorithm for intelligent vehicles[C]//2009 IEEE Intelligent Vehicles Symposium (IV). USA: IEEE, 2009:521-526.

[8] GONG Jianwei, JIANG Yanhua, XIONG Guangming, et al. The recognition and tracking of traffic lights based on color segmentation and CAMSHIFT for intelligent vehicles[C]//2010 IEEE Intelligent Vehicles Symposium. USA: IEEE, 2010:431-435.

[9] de Charette R, Nashashibi F. Real time visual traffic lights recognition based on spot light detection and adaptive traffic lights templates[C]//2009 IEEE Intelligent Vehicles Symposium(IV). USA: IEEE, 2009: 358-363.

[10] Levinson J, Askeland J, Dolson J, et al. Traffic light mapping,localization, and state detection for autonomous vehicles[C]//2011 IEEE International Conference on Robotics and Automation. USA: IEEE, 2011: 5784-5791.

[11] 谷明琴, 蔡自興, 李儀. 應(yīng)用圓形度和顏色直方圖的交通信號(hào)燈識(shí)別[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2012, 33(1): 243-247.GU Mingqin, CAI Zixing, LI Yi. Traffic light recognition with circularity and color histogram[J]. Computer Engineering &Design, 2012, 33(1): 243-247.

[12] CAI Zixing, GU Mingqin, LI Yi. Real-time arrow traffic light recognition system for intelligent vehicle[C]//The 16th International Conference on Image Processing, Computer Vision,& Pattern Recognition. Las Vegas, 2012: 848-854.

[13] Daugman J G. Two dimensional spectral analysis of cortical receptive field profile[J]. Vision Research, 1980, 20(10):847-856.

[14] Hyvarinen A, Oja E. Independent component analysis:Algorithms and applications[J]. Neural Networks, 2000, 13(4/5):411-430.

[15] Theodoridis S, Koutroumbas K. 模式識(shí)別[M]. 第4版. 李晶皎,王愛俠, 王驕, 等譯. 北京: 電子工業(yè)出版社, 2010: 96-123.Theodoridis S, Koutroumbas K. Pattern recognition[M]. 4th ed.LI Jing-jiao, WANG Ai-xia, WANG Jiao, et al. transl. Beijing:Publishing House of Electronics Industry. 2010: 96-123