基于遺傳優(yōu)化與深度學(xué)習(xí)的交通信號(hào)燈檢測(cè)*

熊 輝，郭宇昂，陳超義，許 慶，李克強(qiáng)

（清華大學(xué)車輛與運(yùn)載學(xué)院，汽車安全與節(jié)能國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100084）

前言

信號(hào)燈檢測(cè)研究是先進(jìn)駕駛輔助系統(tǒng)的重要組成部分，在傳統(tǒng)汽車過(guò)渡到自動(dòng)駕駛汽車的過(guò)程中，起著不可或缺的作用。因此，信號(hào)燈檢測(cè)的研究受到了國(guó)內(nèi)外學(xué)者的廣泛關(guān)注［1-2］。20世紀(jì)90年代初期的信號(hào)燈檢測(cè)只能通過(guò)固定位置的相機(jī)拍攝信號(hào)燈，并借助背景差分算法完成檢測(cè)功能。隨著技術(shù)的發(fā)展，現(xiàn)在的研究主要針對(duì)基于車載相機(jī)的動(dòng)態(tài)信號(hào)燈檢測(cè)，設(shè)計(jì)特征提取器和分類器，本文中也是基于車載相機(jī)的信號(hào)燈檢測(cè)進(jìn)行研究。

在基于車載視覺(jué)的信號(hào)燈檢測(cè)研究中，傳統(tǒng)的信號(hào)燈檢測(cè)方法主要圍繞著顏色信息和邊緣形狀等人工設(shè)計(jì)特征［3］，包含梯度方向直方圖特征（HOG）［4］，局部二值模式（LBP）［5］和類 Haar特征（Haar-like）［6］，并利用 SVM［6］或 AdaBoost［7］等分類器進(jìn)行分類。Jang等人［8］先基于形態(tài)學(xué)運(yùn)算獲取信號(hào)燈連通區(qū)域，再利用提取HOG特征和SVM分類。文獻(xiàn)［9］中基于模糊邏輯聚類進(jìn)行顏色分割，使用標(biāo)記區(qū)的密度和外部鄰接區(qū)域的密度進(jìn)行判別，并采用高斯分布驗(yàn)證邊框內(nèi)的像素是否滿足交通燈要求。雖然這些特性能夠很好地定位到信號(hào)燈，但也容易將尾燈、樹(shù)葉等背景誤判為信號(hào)燈。隨著軟硬件的快速發(fā)展，深度神經(jīng)網(wǎng)絡(luò)展示出強(qiáng)大的通用物體檢測(cè)性能［10-11］。

Weber等［12］基于簡(jiǎn)單的卷積網(wǎng)絡(luò) ConvNets［13］和全連接網(wǎng)絡(luò)FCN［14］設(shè)計(jì)的DeepTLR網(wǎng)絡(luò)來(lái)檢測(cè)和分類信號(hào)燈。文獻(xiàn)［15］中采用實(shí)時(shí)性較好的YOLO模型用于信號(hào)燈檢測(cè)，但召回率性能有待進(jìn)一步提高。

上述信號(hào)燈方法使用了SVM或Adaboost等傳統(tǒng)的機(jī)器學(xué)習(xí)方法和YOLO等深度學(xué)習(xí)方法，在特定場(chǎng)景下有較好的識(shí)別性能，但還存在以下改進(jìn)空間：通用深度學(xué)習(xí)檢測(cè)算法不適合信號(hào)燈這類小物體檢測(cè)；由信號(hào)燈種類變化帶來(lái)的滑動(dòng)窗口遍歷搜索的問(wèn)題沒(méi)有得到較好的解決；誤識(shí)別率較高，識(shí)別性能和實(shí)時(shí)性能的平衡難度大。因此，本文中提出基于遺傳優(yōu)化算法和深度學(xué)習(xí)模型的交通信號(hào)燈檢測(cè)方法，可快速準(zhǔn)確地識(shí)別交通路口的紅綠信號(hào)燈。在已公開(kāi)LISA交通信號(hào)燈［3］上進(jìn)行的對(duì)比試驗(yàn)說(shuō)明，該方法能有效識(shí)別并清楚區(qū)分不同類別的信號(hào)燈。

1 方法概述

本文中所提出的交通信號(hào)燈檢測(cè)方法可以分為兩部分：基于遺傳算法的信號(hào)燈候選區(qū)域生成和基于深度網(wǎng)絡(luò)模型的信號(hào)燈檢測(cè)方法。本文中研究重點(diǎn)為第一部分，由信號(hào)燈共用特征區(qū)域提取、候選區(qū)域參數(shù)采樣和候選區(qū)域參數(shù)優(yōu)化3部分組成。提出方法的系統(tǒng)架構(gòu)示意圖如圖1所示。

圖1 提出的信號(hào)燈檢測(cè)方法的架構(gòu)示意圖

該方法首先借鑒圖像特征區(qū)域提取的思想，設(shè)計(jì)了針對(duì)所有信號(hào)燈光斑區(qū)域的共有特征區(qū)域提取方法，在保證低漏檢率的原則下，快速搜索交通信號(hào)燈可能存在的位置；接著在檢測(cè)到的共有區(qū)域周圍，利用重要性采樣方法，對(duì)目標(biāo)候選區(qū)域參數(shù)進(jìn)行初始化；再基于遺傳算法對(duì)候選區(qū)域參數(shù)進(jìn)行優(yōu)化，保障信號(hào)燈目標(biāo)的定位精度；最終將生成的目標(biāo)候選區(qū)域送入深度卷積神經(jīng)網(wǎng)絡(luò)，過(guò)濾掉分值較低的誤檢的候選區(qū)域，即背景區(qū)域，同時(shí)獲得候選區(qū)域的分類和定位結(jié)果，從而實(shí)現(xiàn)交通信號(hào)燈目標(biāo)的快速定位和準(zhǔn)確分類。

2 基于遺傳算法的信號(hào)燈候選區(qū)域優(yōu)化

2.1 信號(hào)燈共用特征區(qū)域提取

針對(duì)交通信號(hào)燈，考慮不同種類信號(hào)燈所共有的特征，從而判斷當(dāng)前場(chǎng)景中是否存在交通信號(hào)燈。通過(guò)搜索這一共有特征，可快速定位可能包含目標(biāo)的信號(hào)燈矩形面板區(qū)域。不同種類的交通信號(hào)燈都包含了“光斑”這一顯著元素，如圖2所示，它具有較高的相似性和較強(qiáng)的分辨力，即相同類別間的方差較小，不同類別內(nèi)的方差較大，便于從當(dāng)前圖像幀背景中有效地辨別出交通信號(hào)燈，因此可以通過(guò)搜索信號(hào)燈光斑區(qū)域來(lái)確定可能出現(xiàn)信號(hào)燈的區(qū)域。

圖2 信號(hào)燈共有特征區(qū)域定義

定義信號(hào)燈共有特征區(qū)域?yàn)樾盘?hào)燈的光斑區(qū)域，為后續(xù)擴(kuò)展信號(hào)燈整個(gè)矩形面板（包圍框）的候選區(qū)域做準(zhǔn)備。如圖2所示，展示不同種類信號(hào)燈共有特征區(qū)域（H／3的正方形）和高度為H的整個(gè)面板區(qū)域的位置關(guān)系示意圖。若只存在一個(gè)信號(hào)燈，則光斑區(qū)域和面板區(qū)域的高度比例為1∶1。

該共有特征區(qū)域是位于信號(hào)燈上部或下部的正方形區(qū)域，正方形邊長(zhǎng)與信號(hào)燈寬度近似相等且均約等于信號(hào)燈高度的1／3。

定義好信號(hào)燈的共有特征區(qū)域后，在保障低漏檢率的原則下，對(duì)比ACF算法［15］后，選擇使用顏色閾值分割、圖像形態(tài)學(xué)處理（膨脹，腐蝕）和連通域提取算法來(lái)快速檢測(cè)信號(hào)燈的區(qū)域，存在的誤識(shí)別可以通過(guò)后續(xù)分類步驟過(guò)濾。受攝像機(jī)性能和實(shí)際場(chǎng)景的約束，顏色閾值分割得到的結(jié)果并不能很好地刻畫信號(hào)燈光斑的形態(tài)，因此需要使用形態(tài)學(xué)處理方法，對(duì)圖像進(jìn)行腐蝕和膨脹。經(jīng)過(guò)形態(tài)學(xué)處理后，信號(hào)燈光斑就擁有了較明顯的辨識(shí)度。此時(shí)可通過(guò)連通域提取的方法找出圖像中可能存在的信號(hào)燈的共有特征區(qū)域——光斑，如圖3所示，過(guò)濾面積閾值為16個(gè)像素。信號(hào)燈光斑的標(biāo)記框具有一定的幾何特征，例如光斑的標(biāo)記框長(zhǎng)寬比接近1∶1，光斑標(biāo)記框的面積通常大于某一固定值。根據(jù)這些特征，可以對(duì)提取到的標(biāo)記框做進(jìn)一步篩選，減少無(wú)效標(biāo)記框的數(shù)量。

圖3 共有特征提取示意圖（無(wú)漏檢）

2.2 候選區(qū)域參數(shù)采樣

信號(hào)燈候選區(qū)域由信號(hào)燈光斑通過(guò)映射模型生成。信號(hào)燈候選區(qū)域需要能充分覆蓋信號(hào)燈真實(shí)位置，因此一個(gè)信號(hào)燈光斑需要對(duì)應(yīng)生成多個(gè)信號(hào)燈候選區(qū)域。圖4所示為檢測(cè)到的信號(hào)燈光斑與生成的多個(gè)信號(hào)燈候選區(qū)域之間的關(guān)系示意圖。其中白色虛線表示檢測(cè)到的信號(hào)燈光斑，白色實(shí)線B1～B5表示由光斑生成的多個(gè)信號(hào)燈候選區(qū)域，可以看到眾多的信號(hào)燈候選區(qū)域中，B1能很好覆蓋了信號(hào)燈區(qū)域。因此后續(xù)信號(hào)燈候選區(qū)域優(yōu)化的目標(biāo)是：生成至少一個(gè)類似B1這樣與真實(shí)目標(biāo)重疊率高的候選區(qū)域。

圖4 信號(hào)燈共有特征區(qū)域與候選區(qū)域關(guān)系示意圖

式中：c為矩形目標(biāo)框的中心點(diǎn)；lx，ly，lw，lh分別為檢測(cè)到的信號(hào)燈光斑與信號(hào)燈真值框之間的中心點(diǎn)橫坐標(biāo)、中心點(diǎn)縱坐標(biāo)、寬度和高度的映射參數(shù)。

根據(jù)式（1）可得4個(gè)映射參數(shù)的計(jì)算公式為

信號(hào)燈候選區(qū)域生成算法的一個(gè)關(guān)鍵點(diǎn)在于生成的目標(biāo)候選區(qū)域框盡可能覆蓋所有可能存在信號(hào)燈的區(qū)域，這就要求參數(shù)既要有代表性，又要分布廣泛、覆蓋面大，根據(jù)式（2）計(jì)算獲得的 lx，ly，lw，lh4個(gè)映射參數(shù)的分布圖如圖5所示。常見(jiàn)的采樣方法有蒙特卡洛采樣、均勻采樣和重要性采樣。圖6為不同采樣方法對(duì)比結(jié)果。由圖可知，相比于均勻采樣法，重要性采樣法的樣本更多集中在高概率區(qū)域；相比于蒙特卡洛采樣法，重要性采樣法的樣本分布更加廣泛，更具有多樣性。故采用重要性采樣進(jìn)行映射參數(shù)的初始化采樣。

圖 5 lx，ly，l w，l h參數(shù)分布圖

2.3 候選區(qū)域參數(shù)優(yōu)化

基于重要性采樣得到的映射參數(shù)的初始化采樣結(jié)果，采用遺傳算法對(duì)重要性采樣得到的參數(shù)進(jìn)行迭代優(yōu)化，進(jìn)一步提高候選區(qū)域的召回率，這有助于在后續(xù)的檢測(cè)過(guò)程中保障交通信號(hào)燈這一前景目標(biāo)的低漏檢率，從而提高檢測(cè)精度。

圖6 不同采樣方法結(jié)果分布

表1為遺傳優(yōu)化算法用于候選區(qū)域參數(shù)優(yōu)化。將使用重要性采樣得到的初始參數(shù)看作初始種群。種群中的每個(gè)個(gè)體是一組待優(yōu)化參數(shù)pi，變量個(gè)數(shù)為4N，為減少異常數(shù)據(jù)和運(yùn)行速率，每組變量有效取值范圍為圖5參數(shù)分布圖中99.5%區(qū)域（兩條虛線間）；由于適應(yīng)函數(shù)用來(lái)表示種群的好壞，因此將當(dāng)前種群生成的信號(hào)燈包圍框與信號(hào)燈真值框的重疊率看作適應(yīng)函數(shù)值。在計(jì)算適應(yīng)度時(shí)，先保留重疊率大于50%的包圍框，并求出與每個(gè)真值框有最大重疊率值的包圍框，再將所篩選的包圍框的重疊率值求平均，作為個(gè)體的適應(yīng)度。

表1 遺傳算法用于候選區(qū)域參數(shù)優(yōu)化

根據(jù)個(gè)體的適應(yīng)度，采用輪盤賭的方式選擇適合的個(gè)體，并利用MATLAB軟件自帶優(yōu)化工具包中的gaoptimset和ga函數(shù)進(jìn)行迭代進(jìn)化：采用上面介紹的初始種群、變量范圍、選擇函數(shù)和適應(yīng)度函數(shù)，以及默認(rèn)的交叉函數(shù)和變異函數(shù)；遺傳優(yōu)化的結(jié)束條件為到達(dá)200次的最大進(jìn)化次數(shù)或連續(xù)超過(guò)50次迭代沒(méi)有進(jìn)化。

通過(guò)使用遺傳算法對(duì)參數(shù)初始值進(jìn)行優(yōu)化，重疊率閾值為0.5時(shí)，在公開(kāi)數(shù)據(jù)集的測(cè)試集上達(dá)到了91.8%的召回率（文獻(xiàn)［15］中YOLO_V3_1模型的最高召回率為88.91%），直觀地驗(yàn)證了遺傳算法對(duì)信號(hào)燈候選區(qū)域優(yōu)化的有效性。算法生成的信號(hào)燈包圍框位置更加精準(zhǔn)，為后續(xù)信號(hào)燈分類奠定了良好的基礎(chǔ)。

3 基于深度網(wǎng)絡(luò)模型的信號(hào)燈分類

設(shè)計(jì)一種基于深度網(wǎng)絡(luò)模型的信號(hào)燈分類算法，該算法參考已有研究成果［16］中的Fast RCNN融合框架，通過(guò)更改其網(wǎng)絡(luò)結(jié)構(gòu)，使其更適合應(yīng)用于信號(hào)燈分類。該算法的輸入為原始圖像和基于遺傳優(yōu)化算法生成的信號(hào)燈候選區(qū)域位置，輸出為各信號(hào)燈候選區(qū)域的位置信息和類別標(biāo)簽。

在原始的Fast R-CNN中目標(biāo)的候選區(qū)域是通過(guò)選擇性搜索（selective search，SS）［11］方法得到的。為了更好適應(yīng)交通信號(hào)燈目標(biāo)的特性，本文中使用上述介紹的信號(hào)燈目標(biāo)候選區(qū)域方法代替SS提取的候選區(qū)域，然后使用VGG16的深度卷積基礎(chǔ)網(wǎng)絡(luò)來(lái)計(jì)算特征圖，如圖7所示；再定位各候選區(qū)域在特征圖上對(duì)應(yīng)的位置，并使用池化層將其轉(zhuǎn)換為尺度相同的特征圖；最后使用全連接層將尺度一致的特征圖拉伸成一列表示特征向量，采用Softmax回歸分類器進(jìn)行目標(biāo)分類，輸出包圍框和目標(biāo)分類的結(jié)果。

圖7 基于深度卷積神經(jīng)網(wǎng)絡(luò)的分類結(jié)果圖

4 試驗(yàn)結(jié)果分析

為驗(yàn)證提出的交通信號(hào)燈檢測(cè)方法的性能，使用公開(kāi)的LISA信號(hào)燈數(shù)據(jù)庫(kù)訓(xùn)練并測(cè)試提出的方法。該數(shù)據(jù)集是由加州大學(xué)建立并公開(kāi)的應(yīng)用于智能車輛視覺(jué)研究的信號(hào)燈數(shù)據(jù)集，標(biāo)記有信號(hào)燈的真值框和信號(hào)燈光斑的真值框，箭頭均為左轉(zhuǎn)方向。本實(shí)驗(yàn)不考慮黃燈，即本實(shí)驗(yàn)將信號(hào)燈分為4類：紅色圓形信號(hào)燈、紅色箭頭形信號(hào)燈、綠色圓形信號(hào)燈和綠色箭頭形信號(hào)燈。

為對(duì)比候選區(qū)域的性能，采用通用標(biāo)準(zhǔn)［16］的召回率 重疊率曲線（Recall-IoU曲線）進(jìn)行候選區(qū)域性能的評(píng)價(jià)，對(duì)比了不同參數(shù)設(shè)置下的結(jié)果。提出的方法名稱“IP-FUSION-0.2-40_union”中，IP表示信號(hào)燈共用特征區(qū)域提取方法，F(xiàn)USION表示融合了HSV顏色空間，0.2表示候選區(qū)域參數(shù)初始化采樣時(shí)共有特征區(qū)域和真值框的匹配閾值，40表示遺傳優(yōu)化中一個(gè)共有特征區(qū)域?qū)?yīng)候選區(qū)域的個(gè)數(shù)。圖8為不同候選區(qū)域生成方法的對(duì)比。由圖可知，該方法平均召回率為0.630，比基準(zhǔn)算法提高了26%。

圖8 候選區(qū)域生成方法對(duì)比

為對(duì)比分類的效果，采用精度 召回率曲線（PR曲線）進(jìn)行分類結(jié)果的評(píng)價(jià)［15］，選擇的基準(zhǔn)算法為文獻(xiàn)［16］和文獻(xiàn)［17］中的最佳分類器ACF方法。對(duì)比結(jié)果如圖9所示，區(qū)域越靠近右上方性能越佳。右上方的曲線為本文中提出方法對(duì)紅色圓形信號(hào)燈、紅色箭頭形信號(hào)燈、綠色圓形信號(hào)燈和綠色箭頭形信號(hào)燈識(shí)別的單獨(dú)性能曲線，左下方的曲線為不同參數(shù)設(shè)置下ACF方法對(duì)信號(hào)燈識(shí)別的整體性能曲線。與ACF方法對(duì)比，本文中提出的方法在相同的召回率下，有更高的精度，從而驗(yàn)證了該方法的有效性。

圖9 本文中方法與不同設(shè)置的ACF方法性能對(duì)比

5 結(jié)論

針對(duì)傳統(tǒng)目標(biāo)識(shí)別和現(xiàn)有深度學(xué)習(xí)方法用于交通信號(hào)燈檢測(cè)的缺陷，就小尺寸物體召回率效果不佳、復(fù)雜場(chǎng)景下目標(biāo)誤檢漏檢頻繁、識(shí)別性能和實(shí)時(shí)性能的平衡難度大等挑戰(zhàn)性問(wèn)題，綜合考慮了傳統(tǒng)方法和深度學(xué)習(xí)方法的優(yōu)缺點(diǎn)，設(shè)計(jì)了結(jié)合遺傳優(yōu)化算法及深度學(xué)習(xí)的目標(biāo)檢測(cè)框架。

圍繞不同形狀的交通信號(hào)燈具有的共有特征區(qū)域，設(shè)計(jì)了基于遺傳優(yōu)化的候選區(qū)域生成方法，由于生成的信號(hào)燈候選區(qū)域包含了信號(hào)燈背板的特征，因此避免了只考慮信號(hào)燈光斑所造成的誤識(shí)別問(wèn)題，提高了信號(hào)燈檢測(cè)算法的準(zhǔn)確度。接著，結(jié)合基于Fast R-CNN深度學(xué)習(xí)框架設(shè)計(jì)的網(wǎng)絡(luò)模型，通過(guò)修改網(wǎng)絡(luò)結(jié)構(gòu)，使其更適合應(yīng)用于信號(hào)燈這類小物體的分類，實(shí)現(xiàn)了信號(hào)燈的準(zhǔn)確定位和分類。通過(guò)在公開(kāi)交通信號(hào)燈數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)對(duì)比分析可知，本文中融合遺傳優(yōu)化和深度學(xué)習(xí)的信號(hào)燈檢測(cè)方法的有效性是可以保證的，結(jié)論如下。

（1）設(shè)計(jì)了一種保障召回率的交通信號(hào)燈共有特征區(qū)域提取算法。由于不同種類的信號(hào)燈都具有光斑且光斑具有明顯的顏色特征，將信號(hào)燈光斑視為共有特征區(qū)域，并使用基于顏色閾值分割、圖像形態(tài)學(xué)處理和連通域提取算法的方法可以快速搜索各光斑在圖像中的位置，保障了較高的召回率。

（2）提出了一種適用于交通信號(hào)燈的基于遺傳優(yōu)化的候選區(qū)域生成算法。首先，利用遺傳算法優(yōu)化映射參數(shù)，擴(kuò)展光斑區(qū)域，使其生成可以覆蓋整個(gè)信號(hào)燈的區(qū)域。生成的信號(hào)燈候選區(qū)域包含了信號(hào)燈背板的特征，避免了只考慮信號(hào)燈光斑所造成的誤識(shí)別問(wèn)題，提高了信號(hào)燈檢測(cè)算法的準(zhǔn)確度；再設(shè)計(jì)一種結(jié)合遺傳優(yōu)化的信號(hào)燈分類算法，常用的深度卷積神經(jīng)網(wǎng)絡(luò)不適合應(yīng)用于信號(hào)燈這類小物體，基于Fast R-CNN檢測(cè)算法框架，通過(guò)修改網(wǎng)絡(luò)結(jié)構(gòu)，融入遺傳優(yōu)化生成的候選區(qū)域，使其更適合于交通信號(hào)燈這類小物體的分類。