基于卷積神經(jīng)網(wǎng)絡(luò)的前方車輛檢測(cè)系統(tǒng)研究

仇成群，李沛潤(rùn)，楊 鋒，朱 瑞

(1. 鹽城師范學(xué)院 江蘇省智能光電器件與測(cè)控工程研究中心，江蘇 鹽城 224007； 2. 鹽城工學(xué)院 機(jī)械工程學(xué)院，江蘇 鹽城 224051； 3.東北林業(yè)大學(xué) 土木工程學(xué)院，黑龍江 哈爾濱 150040)

0 引 言

在車輛越來(lái)越普及的現(xiàn)代生活中，對(duì)交通車輛的監(jiān)控和跟蹤越來(lái)越受到城市管理者的重視。交通車輛檢測(cè)[1]面臨的困難包括以下幾個(gè)方面：

1)復(fù)雜交通場(chǎng)景中的車輛檢測(cè)是一項(xiàng)多目標(biāo)、多尺度物體檢測(cè)任務(wù)，建立深度模型具有很大挑戰(zhàn)。

2)在圖像采集過(guò)程中，有些車輛總是被路上的其他物體遮擋，如綠化帶、路障、電線桿或其他車輛甚至偽裝，難以從圖像中獲得車輛有效信息。

3)在采集車輛圖像過(guò)程中，對(duì)光強(qiáng)度有一定的要求，實(shí)際識(shí)別中獲得的圖像往往不符合照明條件。

4)交通場(chǎng)景圖像通常捕獲移動(dòng)車輛，因此獲得的車輛運(yùn)動(dòng)目標(biāo)可能模糊不清。此外，在霧蒙蒙的天氣中，車輛圖像也有些模糊，增加了車輛檢測(cè)的難度。

目前智能汽車研究[2]的主要趨勢(shì)分為兩個(gè)，一個(gè)是智能輔助駕駛系統(tǒng)，另一個(gè)是無(wú)人駕駛系統(tǒng)。有關(guān)智能輔助駕駛技術(shù)與理論已經(jīng)在一定程度上應(yīng)用于實(shí)際場(chǎng)景中。R-CNN(region-convolutional neural networks)是將深度學(xué)習(xí)應(yīng)用到目標(biāo)檢測(cè)上的算法，其在對(duì)象檢測(cè)基準(zhǔn)測(cè)試中顯示了良好的性能[3-6]。RPN(region proposal network)以卷積特征映射作為輸入，并輸出潛在的投資回報(bào)率。車輛尺度的大變化導(dǎo)致RPN忽略了小物體。

定向梯度[7](HOG)和Haar[8]樣特征的直方狀圖是最常見(jiàn)的特征。最早的實(shí)時(shí)探測(cè)器之一是一個(gè)級(jí)聯(lián)檢測(cè)器，它達(dá)到了具有競(jìng)爭(zhēng)力的精度。基于部件的可變形模型(DPM)和支持向量機(jī)(SVM)是基于零件的模型方法的兩種著名模型[9]。

基于單目視覺(jué)的前方車輛障礙物檢測(cè)系統(tǒng)，該系統(tǒng)依靠安裝在車輛上的攝像頭，在行駛過(guò)程中收集前方道路的數(shù)據(jù)信息，并且在所獲取的圖像中，進(jìn)行假設(shè)區(qū)域生成和檢驗(yàn)，以便駕駛員實(shí)時(shí)獲得信息。實(shí)現(xiàn)前方車輛檢測(cè)的另一個(gè)關(guān)鍵是實(shí)時(shí)性，由于道路環(huán)境的不斷變化，加上車輛與車輛之間的距離關(guān)系，會(huì)導(dǎo)致在所獲取的圖像中，車的大小不一致。為了確保檢測(cè)的實(shí)時(shí)性，首先假設(shè)生成，根據(jù)通過(guò)車輛的形狀、車輛底部陰影等簡(jiǎn)單的特征，在圖像中確定車輛所在位置，避免對(duì)整個(gè)圖像進(jìn)行檢索，保證系統(tǒng)的實(shí)時(shí)性。然后假設(shè)檢驗(yàn)，對(duì)所選的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，利用其對(duì)假設(shè)生成的區(qū)域進(jìn)行檢驗(yàn)，提高系統(tǒng)檢測(cè)的準(zhǔn)確性。通過(guò)這種方法可以提高系統(tǒng)對(duì)檢測(cè)前方車輛的實(shí)時(shí)性和準(zhǔn)確性。

1 車輛假設(shè)區(qū)域生成

1.1 車輛輔助駕駛系統(tǒng)

一些先進(jìn)的車輛輔助駕駛系統(tǒng)(ADAS)正在進(jìn)行智能車輛的研究，該系統(tǒng)主要是要處理其他車輛的檢測(cè)和跟蹤。目前，商用設(shè)備基于距離傳感器，如雷達(dá)或激光。這種傳感器具有直接距離測(cè)量，能夠惡劣的天氣條件下工作。此類傳感器只檢測(cè)前面的車輛，視野范圍較窄。如果車輛被超過(guò)，系統(tǒng)有一個(gè)階躍輸入，響應(yīng)可能不穩(wěn)定。雖然視覺(jué)很難處理信息，但它能夠提供車輛周圍環(huán)境更豐富的描述。此外，目前許多交通事故都是人為的錯(cuò)誤造成的。由于這些原因，基于計(jì)算機(jī)視覺(jué)的ADAS可以在許多方面幫助駕駛員：

1)平臺(tái)管理。這些車輛在高速公路上以高速和近距離方式行駛有很多限制，比如，不會(huì)有突然的操作，道路環(huán)境能夠被很好的建模，所有的車輛都朝著同一方向行駛。只需要檢測(cè)到前面的車輛。

2)停車或起步。城市內(nèi)經(jīng)常會(huì)發(fā)生交通堵塞，自動(dòng)駕駛系統(tǒng)可以幫助駕駛員及時(shí)停止或啟動(dòng)車輛。雖然距離傳感器是最好的選擇，但它們之間會(huì)存在一定的干擾導(dǎo)致檢測(cè)錯(cuò)誤。

3)盲點(diǎn)感知能力。該系統(tǒng)能夠檢測(cè)到另一輛車正在超車并及時(shí)提示。

4)無(wú)人駕駛。該系統(tǒng)必須定位和跟蹤其周圍的所有車輛。車輛在高速公路和道路的同一個(gè)方向行駛。

基于計(jì)算機(jī)視覺(jué)的車輛檢測(cè)研究分為3類：

1)基于基本特征。定義車輛基本特征：對(duì)稱性、邊緣、陰影等，并在圖像中按順序查找。

2)基于模型的信息。該研究方法比基于基本特征的算法更健壯，但速度較慢。

3)基于深度學(xué)習(xí)的基礎(chǔ)。該研究方法主要是基于神經(jīng)網(wǎng)絡(luò)，而利用神經(jīng)網(wǎng)絡(luò)需要匯集許多的圖像。它們通常被用來(lái)確認(rèn)檢測(cè)結(jié)果。否則，必須掃描整個(gè)圖像，而且速度非常慢。

1.2 圖像的形態(tài)學(xué)處理

基于全局形狀模型[10]的圖像分割方案由以下各塊組成：

1)初始模型M。

2)可變形的模型M(Z)。該模型是通過(guò)前一個(gè)模型的變形參數(shù)Z得到的。

3)似然概率密度函數(shù)P(I|Z)，表示在圖像I中發(fā)生變形集Z的概率。

4)尋找后驗(yàn)概率P(I|Z)的最大值的搜索算法。

似然函數(shù)P(I|Z)必須被設(shè)計(jì)為在變形模型與圖像I匹配時(shí)達(dá)到其最大值。由于陰影、遮擋、天氣條件等，該模型(圖1)由7個(gè)參數(shù)定義：位置(x，y)、車輛寬度和高度、擋風(fēng)玻璃位置、保險(xiǎn)杠位置和車頂角度。這些參數(shù)具有以下范圍：

1)x位置：0～340像素。

2)y位置：0～240像素。

3)寬度：40～100像素。

4)高度：40～100像素。

5)擋風(fēng)玻璃位置：高度值的20%～30%。

6)保險(xiǎn)杠位置：高度值的50%～60%。

7)車頂角度：寬度值的0%～25%。

圖1 車輛的幾何模型Fig. 1 Geometric model of the vehicle

能量函數(shù)考慮了以下3個(gè)因素：對(duì)稱性、形狀和車輛陰影。

1.2.1 對(duì)稱性

考慮了垂直邊緣和水平邊緣的對(duì)稱性。因此，可以找到圖像的垂直和水平梯度分量。只考慮其中一個(gè)組件的高響應(yīng)和另一個(gè)組件的低響應(yīng)的像素。同行的像素對(duì)中心像素作為對(duì)稱軸，公式為：

(1)

(2)

式中：Dmin和Dmax分別為圖像中搜索車輛的最小和最大寬度；xi和xj分別為位置x方向的分量；yi和yj分別為y方向的分量；Gh和Gv分別為梯度的垂直分量和水平分量；Th和Tv為閾值。

對(duì)于具體模型，對(duì)稱能量的值為：

(3)

(4)

(5)

式中：h為車輛模型的高度；w為其寬度；Sv為垂直邊緣的對(duì)稱性測(cè)度；Sh為水平邊緣的對(duì)稱性測(cè)度；Esv為垂直邊緣的對(duì)稱能量；Esh為水平邊緣的對(duì)稱能量；Esim為整體對(duì)稱能量。

1.2.2 形 狀

對(duì)于具體的高度h、寬w、位置(x，y)、擋風(fēng)玻璃位置t和保險(xiǎn)杠位置m的特定模型，垂直梯度能量Egv和水平梯度能量Egh為：

(6)

(7)

以及整體梯度能量Eg為：

(8)

獲得一個(gè)距離圖像D，其中每個(gè)像素顯示到最近邊緣的距離。從該圖像計(jì)算到垂直邊緣能量的距離Dgv和水平邊緣能量Dgh為：

(9)

(10)

(11)

式中：Eα是整體距離能量。

1.2.3 陰 影

高度h、寬度w、位置(x、y)、保險(xiǎn)杠位置m的車輛陰影能量Esom由模型下部的平均灰色水平定義為：

(12)

如果為絕對(duì)黑色，則能量值為1，白色則為0。最終的能量E為：

E=-[kaEsom+kbEg-kcEd+kdEsom]

(13)

式中：ka、kb、kc、kd分別為能量項(xiàng)的加權(quán)參數(shù)。

對(duì)圖像I、P(I|Z)的給定變形Z的估計(jì)遵循吉布斯分布：

(14)

式中：k為正?；?shù)。

1.3 搜索算法

搜索算法必須在兩個(gè)相反的任務(wù)之間找到平衡，探索完整的搜索空間和對(duì)某些區(qū)域的開(kāi)發(fā)。哈希方法是探索的極端情況，其中基于梯度的爬山方法是最有效的方法。

遺傳算法在一個(gè)優(yōu)化過(guò)程后的幾個(gè)方向進(jìn)行平行搜索，模擬自然選擇和進(jìn)化。為了完成這項(xiàng)任務(wù)，可能產(chǎn)生解決方案，它們可以根據(jù)搜索全局最大值的結(jié)果的適合度來(lái)交換信息。

對(duì)遺傳算法中個(gè)體數(shù)量和迭代次數(shù)進(jìn)行實(shí)驗(yàn)以獲得最佳數(shù)量的個(gè)體。對(duì)于不到500個(gè)個(gè)體，沒(méi)有獲得能量函數(shù)的最大值。與許多個(gè)體一樣，達(dá)到該值的迭代次數(shù)較少，但迭代的減少并不能補(bǔ)償較高的計(jì)算成本(圖2)。另一項(xiàng)實(shí)驗(yàn)檢查兩個(gè)種群的適應(yīng)度進(jìn)化。如圖3中可以看出，有1 500個(gè)個(gè)體的種群在第1次迭代中具有更好的適應(yīng)度值，但差異很小，即使在一些迭代中，較小的種群也會(huì)有更好的結(jié)果。在第30次迭代后，這些值被穩(wěn)定下來(lái)。通過(guò)兩個(gè)實(shí)驗(yàn)，個(gè)體的數(shù)量被固定在550。

圖2 能量函數(shù)Fig. 2 Energy function

假設(shè)區(qū)域的生成是基于一個(gè)幾何模型，其能量函數(shù)包括車輛的形狀和對(duì)稱性及其產(chǎn)生的陰影的信息。并且利用一種遺傳算法來(lái)尋找最優(yōu)的參數(shù)值。第1步是進(jìn)行直方圖拉伸，這樣圖像就獨(dú)立于光照(天氣條件)；第2步得到梯度的垂直和水平分量，并進(jìn)行閾值計(jì)算，以得到垂直和水平邊界。將一些錯(cuò)誤的形態(tài)變換應(yīng)用于連接斷裂的邊緣；然后，釋放像素小于特定值或大于其他值的邊緣從這些圖像可以計(jì)算出到邊緣的距離和對(duì)稱性。

圖3 能量函數(shù)進(jìn)化的迭代次數(shù)Fig. 3 Number of iterations of energy function evolution

2 數(shù)據(jù)信息收集

為了訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，需要從網(wǎng)絡(luò)或者實(shí)際生活中收集樣本。所收集的樣本需要分為正樣本和負(fù)樣本。因?yàn)槭占瘶颖镜姆绞胶芏?，因此照片的大小?huì)有所不同，所以將圖像尺寸標(biāo)準(zhǔn)化為50×50。正樣本包括從各個(gè)角度截取的車輛，可以發(fā)現(xiàn)車輛后方的照片很多。

負(fù)樣本是收集于網(wǎng)絡(luò)或者實(shí)際拍攝。它們與正樣本相同，都需要將圖像尺寸標(biāo)準(zhǔn)化為50×50。為了將卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練范圍擴(kuò)大，所選取的圖像并不是車輛，且選取的種類多種多樣。負(fù)樣本包括人和建筑，船，樹(shù)木和其他物體。表1是所收集的正樣本和負(fù)樣本的數(shù)量。

表1 訓(xùn)練集信息Table 1 Training set information 個(gè)

為了將選取的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練范圍擴(kuò)大，筆者將收集的圖像進(jìn)行鏡像處理，如圖4。由于收集的圖像并非對(duì)稱，所以采用鏡像處理，可以增加訓(xùn)練的次數(shù)。

圖4 鏡像處理Fig. 4 Image processing

3 車輛檢測(cè)系統(tǒng)的仿真

3.1 算法平臺(tái)

采用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)(CNN)進(jìn)行性能的實(shí)現(xiàn)和優(yōu)化，并采用Python軟件編寫(xiě)程序，用Origin進(jìn)行模擬仿真。表2為所用電腦的配置。

表2 實(shí)驗(yàn)環(huán)境Table 2 Experiment environment

3.2 系統(tǒng)仿真

實(shí)驗(yàn)對(duì)重疊采樣與非重疊采樣的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行比較，其中選取CNN-1為非重疊采樣，選取的CNN-2為重疊采樣。這兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)都是由三層卷積層、三層池化層和兩層全連接層組合而成。如圖5，CNN-1池化采樣的區(qū)域S2為3×3，即采樣區(qū)域沒(méi)有重疊，CNN-2池化采樣的區(qū)域S2為4×4，即相鄰的采樣區(qū)域是會(huì)有重疊。

圖5 CNN-1和 CNN-2結(jié)構(gòu)對(duì)比Fig. 5 Comparison of CNN-1 and CNN-2 structures

由圖6和表3看出，CNN-2的準(zhǔn)確率更高達(dá)到了95.78%，CNN-1的準(zhǔn)確率只有94.21%，所以將池化采樣區(qū)域分為40×40可以提高卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率，即采用重疊采樣。

表3 結(jié)果對(duì)比Table 3 Comparison of results

因?yàn)槌鼗瘜拥牟煌矔?huì)對(duì)卷積神經(jīng)網(wǎng)絡(luò)的正確率造成影響，所以選取了不同池化層的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行比較，得到的結(jié)果為：Max+Ave+Ave相較于其他池化層性能最佳，準(zhǔn)確率達(dá)到了98.19%。而Ave+Ave+Max性能最差為94.21%。如果在S3層采用的池化層為平均值時(shí)，會(huì)降低檢測(cè)的準(zhǔn)確性，相反，如果在S1層采用最大池化值的話，性能則會(huì)有顯著的提高，且對(duì)S2、S3、S4層的池化層采用平均值。這樣所得出的卷積神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率最高。

圖6 CNN-1和 CNN-2迭代次數(shù)變化曲線對(duì)比Fig. 6 Comparison of iteration times curves of CNN-1 and CNN-2

3.3 檢測(cè)結(jié)果和評(píng)估

圖7展示了車輛檢測(cè)前方障礙物的結(jié)果，其中，圖7(a)和圖7 (b)兩幅圖為所生成的假設(shè)區(qū)域，圖7(c)和圖7(d)兩幅圖為系統(tǒng)經(jīng)過(guò)假設(shè)驗(yàn)證后的結(jié)果。

在簡(jiǎn)單場(chǎng)景下進(jìn)行車輛檢測(cè)，檢測(cè)較為容易，所需要的時(shí)間也少，可以保證一定的魯棒性和準(zhǔn)確性，能夠精確的定位出前方的車輛。在復(fù)雜場(chǎng)景下進(jìn)行車輛檢測(cè)，由于該場(chǎng)景中包括了較多的樹(shù)木，且由于高架的原因造成陰影較多，導(dǎo)致了生成的假設(shè)區(qū)域較多，檢測(cè)速率也會(huì)由此下降。雖然速率下降，但是通過(guò)假設(shè)檢驗(yàn)過(guò)程后，對(duì)于前方車輛的檢測(cè)還是較為準(zhǔn)確的。

根據(jù)多次統(tǒng)計(jì)計(jì)算，生成假設(shè)區(qū)域這一階段所需要的時(shí)間為145 ms，但是由于道路場(chǎng)景，特殊情況等問(wèn)題，會(huì)造成生成假設(shè)區(qū)域所需要的時(shí)間不同，也因此造成了假設(shè)檢驗(yàn)階段消耗的時(shí)間較多。

圖7 不同場(chǎng)景車輛檢測(cè)前方障礙物對(duì)比Fig. 7 Comparison of obstacles in front of vehicles detected in different scenes

4 結(jié) 語(yǔ)

在人工神經(jīng)網(wǎng)絡(luò)中，選取了由深度學(xué)習(xí)發(fā)展而來(lái)的卷積神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)具有訓(xùn)練集相對(duì)較少，結(jié)構(gòu)層次較多優(yōu)點(diǎn)，利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)捕捉的假設(shè)區(qū)域進(jìn)行檢驗(yàn)，最后反饋給駕駛員。

為提高在行駛過(guò)程中車輛檢測(cè)的準(zhǔn)確性和魯棒性，試驗(yàn)中利用遺傳算法對(duì)車輛形狀、陰影選取最優(yōu)值，其中包括了對(duì)圖像進(jìn)行灰度化處理，濾波去噪的過(guò)程。最后，從獲取的圖像中選擇出感興趣區(qū)域，減少檢測(cè)需要的時(shí)間。試驗(yàn)結(jié)果表明:采用重疊采樣的卷積神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率較高，并且系統(tǒng)穩(wěn)定性也較強(qiáng)。