基于改進(jìn)FCN的車道線檢測(cè)研究*

楊 瑩，何志琴

（貴州大學(xué)電氣工程學(xué)院，貴陽(yáng)550025）

1 引言

近年來(lái)，隨著無(wú)人駕駛技術(shù)的深入發(fā)展，無(wú)人車輛等新興的智能交通工具都處在實(shí)驗(yàn)落跑進(jìn)程中。如何有效地檢測(cè)出道路標(biāo)識(shí)線、保障車輛的安全行駛，目前仍是人工智能方向的研究熱點(diǎn)[1]。車道線是車輛行駛路面的重要交通標(biāo)志，能否準(zhǔn)確識(shí)別出車道線決定著車輛的行駛安全性能。傳統(tǒng)的車道線檢測(cè)方法主要包括特征法[2]與模型法[3]等。隨著深度神經(jīng)網(wǎng)絡(luò)在圖像處理領(lǐng)域受到廣泛應(yīng)用，一些經(jīng)典的分割網(wǎng)絡(luò)也被應(yīng)用到車道線的檢測(cè)中，例如MASK[4]、R-CNN[5]、FCN[6]、Unet[7]等，皆在車道線檢測(cè)中均表現(xiàn)出不俗的檢測(cè)性能。深度學(xué)習(xí)的方法不僅大大提高了檢測(cè)的準(zhǔn)確率，也加快了檢測(cè)速率。

在現(xiàn)有研究成果的基礎(chǔ)上，在此提出一種基于改進(jìn)FCN網(wǎng)絡(luò)的車道線分割算法。對(duì)FCN的特征提取網(wǎng)絡(luò)做出改進(jìn)，包括加深網(wǎng)絡(luò)層數(shù)和修改卷積核個(gè)數(shù)；引入U(xiǎn)net網(wǎng)絡(luò)并聯(lián)跳躍結(jié)構(gòu)，將編碼層的特征圖與解碼層的特征圖進(jìn)行連接，實(shí)現(xiàn)輸出結(jié)果與多層語(yǔ)義信息的結(jié)合；以Conv2DTranspose代替網(wǎng)絡(luò)層中的UpSampling2D來(lái)實(shí)現(xiàn)上采樣。由于存在學(xué)習(xí)的過(guò)程，可實(shí)現(xiàn)更好的分割效果。

2 FCN網(wǎng)絡(luò)原理

FCN是深度學(xué)習(xí)網(wǎng)絡(luò)，作為圖像分割應(yīng)用的基礎(chǔ)，它是一種“端到端”的圖像分割方法，其網(wǎng)絡(luò)中所有的層都是卷積層[8]。

FCN網(wǎng)絡(luò)從像素級(jí)別上實(shí)現(xiàn)了對(duì)圖像特征的分類，從而實(shí)現(xiàn)圖像的語(yǔ)義分割。經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)通常是在卷積層之后添加全連接層，將輸出特征表示為一定長(zhǎng)度的特征向量，然后再對(duì)其進(jìn)行概率預(yù)測(cè)從而實(shí)現(xiàn)分類。相比之下，F(xiàn)CN與之不同之處在于逐層卷積層提取特征圖后，會(huì)采用逐個(gè)反卷積將最后一個(gè)卷積層輸出的特征圖進(jìn)行逐層上采樣，最終的輸出圖像是與原圖像素?cái)?shù)目相同的特征圖，從而實(shí)現(xiàn)在原圖上對(duì)每個(gè)像素點(diǎn)的語(yǔ)義預(yù)測(cè)，同時(shí)也保留了原圖上的空間信息。傳統(tǒng)的FCN網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

3 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

由于FCN網(wǎng)絡(luò)本身結(jié)構(gòu)限制，上下文信息不足，可能存在梯度消失等問(wèn)題；在上采樣過(guò)程中需要插值填補(bǔ)空白區(qū)域，需要更多的輔助信息，將該網(wǎng)絡(luò)應(yīng)用到車道線檢測(cè)中，此類問(wèn)題亟待解決。更深層的卷積操作能更有效地提取特征，適當(dāng)?shù)卦黾泳W(wǎng)絡(luò)層數(shù)并修改卷積核個(gè)數(shù)能獲得更多的語(yǔ)義信息，結(jié)合并聯(lián)跳躍結(jié)構(gòu)就能融合不同維度的特征，逆卷積的替換也讓輸出層信息表達(dá)更加豐富。

3.1 網(wǎng)絡(luò)層數(shù)與并聯(lián)跳躍結(jié)構(gòu)

卷積層、逆卷積層的適當(dāng)增加能提取更高維度的特征信息并使輸出圖像信息更加豐富；增加卷積核個(gè)數(shù)即增加每個(gè)卷積層濾波器的數(shù)量，能獲得每個(gè)輸入特征上更多的語(yǔ)義信息。

單純的“編碼器-解碼器”架構(gòu)在編碼過(guò)程中會(huì)壓縮或丟失大量細(xì)節(jié)信息，其中包括對(duì)于分割任務(wù)非常重要的空間域信息，這些信息的丟失會(huì)大大影響解碼過(guò)程中分割任務(wù)的好壞，不利于精確的分割掩膜的生成。

并聯(lián)跳躍結(jié)構(gòu)將編碼器結(jié)構(gòu)中卷積層得到的特征圖“接合”（concatenate）到對(duì)應(yīng)的上采樣層，使得各卷積層輸出的特征圖能被有效地利用到后續(xù)計(jì)算中。它通過(guò)將淺層的卷積層連接到對(duì)應(yīng)的上采樣層，從而結(jié)合低等級(jí)特征圖中的特征，使得最終所得到的特征圖中既包含高等級(jí)的特征，也包含了很多低等級(jí)的特征，實(shí)現(xiàn)不同規(guī)模下的特征融合，更有利于生成分割掩膜。

改進(jìn)后的包含并聯(lián)跳躍結(jié)構(gòu)的網(wǎng)絡(luò)模型如圖2所示。圖中橫向兩層的連接即為卷積層對(duì)應(yīng)連接到上采樣層。

圖2 并聯(lián)跳躍結(jié)構(gòu)網(wǎng)絡(luò)

3.2 逆卷積

Conv2DTranspose是正常卷積的反向操作，通過(guò)可學(xué)習(xí)的參數(shù)獲得更好的卷積效果。這一逆卷積過(guò)程如圖3所示。

圖3 逆卷積過(guò)程示意圖

UpSampling2D是Pooling的反向操作，通過(guò)采用最近鄰插值法來(lái)將輸入特征圖進(jìn)行放大，主要通過(guò)復(fù)制行和列的數(shù)據(jù)來(lái)進(jìn)行擴(kuò)充。反向梯度傳播的時(shí)候，插值取每個(gè)單元格的梯度之和。

譬如，給定一個(gè)特征圖a，高和寬分別表示為Ha和Wa，相應(yīng)的卷積核設(shè)置為：卷積核尺寸MH×MW,步長(zhǎng)為S，零填充為P。逆卷積操作分為三步進(jìn)行：

第一步：在特征圖a原先高度和寬度方向的每?jī)蓚€(gè)相鄰像素間插上S-1列0，得到特征圖b；特征圖b的寬和高分別表示為Hb=Ha+(S-1)(Ha-1)、Wb=Wa+(S-1)(Wa-1)。

第二步：設(shè)置新的卷積核：S′=1，卷積核大小仍為MH×MW不變，P′=S-P-1。

第三步：用新的卷積核在特征圖b上做卷積運(yùn)算，得到的結(jié)果就是逆卷積的結(jié)果，亦即要求的結(jié)果特征圖c的大小。

上述過(guò)程的簡(jiǎn)單推導(dǎo)可概括為下式：

代入特征圖b及新卷積核設(shè)置，進(jìn)一步化簡(jiǎn)為：

特征圖c的寬度Wc同理可得。

4 網(wǎng)絡(luò)模型訓(xùn)練實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)操作系統(tǒng)為Windows10；深度學(xué)習(xí)框架為T(mén) ensor F low2.0.0；Python版本為3.6.8；顯卡為NVIDIA V100。

深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練需要大量?jī)?yōu)良數(shù)據(jù)的支撐。車道線數(shù)據(jù)集中包含結(jié)構(gòu)化路面及高速公路車道線圖片，給網(wǎng)絡(luò)提供了真實(shí)的標(biāo)準(zhǔn)數(shù)據(jù)，確保卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)得到更好的擬合。網(wǎng)絡(luò)訓(xùn)練過(guò)程中，通過(guò)將網(wǎng)絡(luò)預(yù)測(cè)的結(jié)果與真實(shí)結(jié)果進(jìn)行對(duì)比獲取損失值，同時(shí)自動(dòng)地調(diào)整模型權(quán)重，使模型輸出預(yù)測(cè)值逐漸接近真實(shí)值，實(shí)現(xiàn)車道線的分割檢測(cè)任務(wù)。因此，需要有標(biāo)簽Label記錄標(biāo)注點(diǎn)的位置，并且將數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集，之后再對(duì)模型進(jìn)行預(yù)訓(xùn)練，并將預(yù)訓(xùn)練模型在數(shù)據(jù)集上進(jìn)行調(diào)優(yōu)與測(cè)試。

分別對(duì)改進(jìn)前后的分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練，共包含訓(xùn)練集5400張、測(cè)試集720張。深度學(xué)習(xí)框架選用TensorFlow，優(yōu)化策略為Adam，初始學(xué)習(xí)率為0.001，batch_size為16，迭代次數(shù)（epoch）為200次。通過(guò)200次的迭代，改進(jìn)前的網(wǎng)絡(luò)結(jié)構(gòu)平均準(zhǔn)確率為82%，改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)平均準(zhǔn)確率為83%，比之前精度提升了1%，對(duì)模型的特征提取能力有一定的提升；改進(jìn)前的網(wǎng)絡(luò)模型的損失函數(shù)值為0.0097，改進(jìn)后的損失函數(shù)值為0.0053，改進(jìn)后的網(wǎng)絡(luò)模型的loss收斂效果更佳。

獲取兩種FCN網(wǎng)絡(luò)模型后，分別在同一環(huán)境中對(duì)車道線進(jìn)行測(cè)試，測(cè)試效果如圖4所示。改進(jìn)后的FCN網(wǎng)絡(luò)模型的分割精度比原模型的分割網(wǎng)絡(luò)提高1%，進(jìn)一步驗(yàn)證了改進(jìn)模型的有效性。

圖4 改進(jìn)前后網(wǎng)絡(luò)測(cè)試效果對(duì)比

5 結(jié)束語(yǔ)

在FCN網(wǎng)絡(luò)的基礎(chǔ)上，增加網(wǎng)絡(luò)層數(shù)并修改卷積核個(gè)數(shù)，提取出更多的語(yǔ)義信息，采用并聯(lián)跳躍結(jié)構(gòu)將encoding的feature map與decoding的feature map進(jìn)行連接，可以在進(jìn)行分類預(yù)測(cè)時(shí)利用多層信息，將UpSampling2D改為Conv2DTranspose實(shí)現(xiàn)上采樣的過(guò)程，獲得了更好的分割效果。改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)與原來(lái)的網(wǎng)絡(luò)結(jié)構(gòu)在分類精度上有所提高，在分割精度上也有一定的提升。后續(xù)研究中，還應(yīng)進(jìn)一步提高訓(xùn)練集數(shù)據(jù)的豐富度，增強(qiáng)模型的泛化能力。