劉 彬，魏為民

（上海電力大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，上海 201306）

車道線檢測(cè)是自動(dòng)駕駛的基礎(chǔ)技術(shù)之一，其檢測(cè)的準(zhǔn)確率和效率直接影響著自動(dòng)駕駛的性能。車道線檢測(cè)技術(shù)作為當(dāng)前自動(dòng)駕駛[1]領(lǐng)域尚未完全解決的問題之一，仍然具有較高的難度和挑戰(zhàn)性。

目前對(duì)車道線檢測(cè)的研究主要分為兩種，分別是基于傳統(tǒng)的圖像處理方法和基于深度學(xué)習(xí)的方法。

傳統(tǒng)的圖像處理方法[2-4]往往通過Canny邊緣檢測(cè)、Hough變換、最小二乘法等技術(shù)擬合出車道線，該方法具有實(shí)時(shí)性強(qiáng)、準(zhǔn)確率高的特點(diǎn)。但對(duì)于能見度較低的路況，比如雨雪天氣，其檢測(cè)準(zhǔn)確率將大大下降。

對(duì)于基于圖像分割的方法，PINet[5]模型提出了在車道線檢測(cè)時(shí)基于關(guān)鍵點(diǎn)信息，從而實(shí)現(xiàn)使用較少的參數(shù)便可以檢測(cè)不同數(shù)量，不同方向的車道線；HOU等[6]提出自注意力蒸餾算法（Self Attention Distillation, SAD），該使用語義分割及知識(shí)蒸餾的方式，增強(qiáng)了卷積神經(jīng)網(wǎng)絡(luò)的特征表達(dá)能力，從而使分割效果得到了大幅提升；胡序洋等[7]提出了基于LaneSegNet網(wǎng)絡(luò)的檢測(cè)方法，其綜合使用了基于編解碼的原理構(gòu)建Lane-Net、多尺度空洞卷積和混合注意力機(jī)制實(shí)現(xiàn)了對(duì)車道線的提取；何春明等[8]提出了空間卷積神經(jīng)網(wǎng)絡(luò)（Spa- tial CNN, SCNN）模型，基于模糊熵的灰度局部熵（Gray Level and Local Entropy, GLLE）熵閾值分割方法，相較于傳統(tǒng)的圖像分割方法，該方法得到更加準(zhǔn)確的閾值，提高了分割精度。這類基于圖像分割的方法在檢測(cè)準(zhǔn)確度上有著明顯的優(yōu)勢(shì)，但是在車道線提取速度上很難達(dá)到要求（+30 FPS）。

車道線檢測(cè)速度慢、精度差是目前以深度學(xué)習(xí)為基礎(chǔ)的車道線檢測(cè)方法普遍存在的問題。針對(duì)這些問題，本文新提出了LaneBezierNet，一種端到端的車道標(biāo)線檢測(cè)的卷積神經(jīng)網(wǎng)絡(luò)。如圖1所示，該算法從安裝在車輛前端的攝像頭得到圖像后，經(jīng)過LaneBezierNet直接輸出表示圖像中每條車道線的貝塞爾曲線控制點(diǎn)，不需要任何后處理來進(jìn)行車道估計(jì)。

圖1 LaneBezierNet工作流程

1 相關(guān)工作

1.1 LaneBezierNet

本文中使用3階貝塞爾曲線作為回歸方程式，如圖2所示，獲取圖像后先對(duì)圖像進(jìn)行數(shù)據(jù)增強(qiáng)，然后將處理后的數(shù)據(jù)作為主干網(wǎng)絡(luò)的輸入，并在主干網(wǎng)絡(luò)后加入一層全連接層，全連接層的輸出包含了貝塞爾曲線的控制點(diǎn)坐標(biāo)，通過這些控制點(diǎn)的坐標(biāo)信息便可得到整條車道線的數(shù)據(jù)。LUCAS等[9]提出的基于多項(xiàng)式回歸的方法，將每條車道線看作一條3階或更高階的多項(xiàng)式，比如y=ax3+bx2+cx+d。但是對(duì)于一些曲率較大的道路并不能很好地找到一條多項(xiàng)式曲線與之對(duì)應(yīng)。本文則是將每條車道線視為一條貝塞爾曲線，實(shí)驗(yàn)結(jié)果表明3階貝塞爾曲線便可準(zhǔn)確的描述各類車道線信息。

圖2 LaneBezierNet算法流程圖

1.2 數(shù)據(jù)增強(qiáng)

為了提高算法的泛化能力，本方法在將圖像傳給主干網(wǎng)絡(luò)之前加入了數(shù)據(jù)增強(qiáng)模塊，其中包括10°的隨機(jī)旋轉(zhuǎn)、隨機(jī)水平翻轉(zhuǎn)和隨機(jī)裁剪，如圖3所示。

圖3 數(shù)據(jù)增強(qiáng)

1.3 貝塞爾曲線

貝塞爾曲線是一種被大量應(yīng)用于圖形繪制的曲線。該曲線是由節(jié)點(diǎn)、節(jié)點(diǎn)與節(jié)點(diǎn)之間的線段組成，使用它可以精確地繪制出任何想要的曲線。下面以三級(jí)貝塞爾曲線為例，具體介紹如何通過控制點(diǎn)繪制出對(duì)應(yīng)的貝塞爾曲線，如圖4所示。

圖4 貝塞爾曲線

貝塞爾曲線依據(jù)四個(gè)坐標(biāo)點(diǎn)P0、P1、P2、P3來控制生成的一條曲線，其中P0為起始點(diǎn)，P3為終止點(diǎn)，P1和P2為曲率的控制點(diǎn)。

根據(jù)貝塞爾曲線方程定義，以t=0.25為例，令P0P1線段的1/4處為點(diǎn)Q0，P1P2線段的1/4處為點(diǎn)Q1，P2P3線段的1/4處為點(diǎn)Q2，連接點(diǎn)Q0和點(diǎn)Q1，并取Q0Q1線段的1/4處為點(diǎn)R0，同樣的方法得到R1，連接點(diǎn)R0和點(diǎn)R1，并取R0R1線段的1/4處為點(diǎn)B，B點(diǎn)所在位置即為t=0.25時(shí)該貝塞爾曲線對(duì)應(yīng)點(diǎn)的坐標(biāo)。當(dāng)t=0時(shí)對(duì)應(yīng)坐標(biāo)點(diǎn)P0，t=1時(shí)對(duì)應(yīng)坐標(biāo)點(diǎn)P3，由此t取[0,1]時(shí)，B點(diǎn)滑過的軌跡即為該控制點(diǎn)下的貝塞爾曲線。

1.4 主干網(wǎng)絡(luò)

本方法分別使用Resnet和EfficientNet作為主干網(wǎng)絡(luò)。

1.4.1 Resnet

在使用深度神經(jīng)網(wǎng)絡(luò)去解計(jì)算機(jī)視覺相關(guān)問題時(shí)，研究者往往會(huì)堆疊多層卷決積，試圖使該網(wǎng)絡(luò)能夠更有效地解決復(fù)雜問題。雖然堆疊大量卷積層可以豐富模型的特征，但更深層次的網(wǎng)絡(luò)可能會(huì)退化，即隨著卷積層數(shù)量的增加，模型的性能可能會(huì)降低。

殘差網(wǎng)絡(luò)[10]（ResNet）是利用殘差塊來提高模型的性能。其核心“跳躍連接”（Shortcut Connec- tions）是這種網(wǎng)絡(luò)的優(yōu)勢(shì)所在，如圖5右側(cè)從X到⊕的連接部分。圖5中，X表示殘差塊的輸入，F(xiàn)(x)為殘差塊在第二層激活函數(shù)之前的輸出，即

圖5 殘差塊

式中，w1為第一層的權(quán)重；w2為第二層的權(quán)重；σ為激活函數(shù)ReLU；σ(F(x)+x)為殘差塊最后的輸出。

跳躍連接在兩個(gè)方面起作用。第一，它們通過為梯度設(shè)置另一條捷徑，緩解了梯度消失的問題。第二，它們使模型能夠?qū)W習(xí)一個(gè)恒等函數(shù)（Identity），這確保了模型的高層不會(huì)比低層的表現(xiàn)差。因此，跳躍連接使得訓(xùn)練更深的網(wǎng)絡(luò)成為可能。

1.4.2 EfficientNet

為了提高模型的性能，當(dāng)?shù)玫揭粋€(gè)基礎(chǔ)模型后，往往都會(huì)對(duì)模型做適當(dāng)?shù)目s放，一般的做法有：增加模型的寬度，也就是增加每一個(gè)卷積層的通道數(shù)；增大模型的深度，將每一個(gè)重復(fù)的單元增加，比如Resnet34到Resnet101的擴(kuò)展；增加輸入圖片的分辨率。模型精度會(huì)隨著單一的縮放得到提升，但是它會(huì)很快就到達(dá)飽和狀態(tài)。

TAN等[11]提出了一種神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（Neural Architecture Search, NAS）的模型Effi- cientNet。該網(wǎng)絡(luò)提出了一種全新的模型縮放方法，將輸入圖片分辨率、寬度及網(wǎng)絡(luò)深度使用一種既容易計(jì)算又運(yùn)算效率高的系數(shù)來進(jìn)行三者之間的權(quán)衡。以EfficientNets模型為基礎(chǔ)，通過對(duì)其進(jìn)行放大，從而得到了一系列的EfficientNets模型。由于其綜合考慮了三方面的影響，使其無論在準(zhǔn)確率還是效率上都超越了之前所有的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）模型。將它和當(dāng)時(shí)準(zhǔn)確率最高的其他模型對(duì)比，效率提高了6.1倍的同時(shí)，大小也縮小到原來的11.9%。通過遷移學(xué)習(xí)，EfficientNets在許多知名的開放數(shù)據(jù)集上都取得了優(yōu)異的效果。

圖6 EfficientNet縮放示意圖

2 本文方法

2.1 模型定義

LaneBezierNet從前置攝像頭中得到輸入圖像后，為每個(gè)圖像輸出Lmax條車道線（表示為貝塞爾曲線控制點(diǎn)）。LaneBezierNet中包含一個(gè)用于提取車道線信息的主干網(wǎng)絡(luò)，在主干網(wǎng)絡(luò)之后添加了一個(gè)全連接層，共有N個(gè)輸出，其中N表示式（3）。

式中，n為貝塞爾曲線階數(shù)的參數(shù)；P為預(yù)測(cè)的貝塞爾曲線控制點(diǎn)；St為該條車道線的起始點(diǎn)縱坐標(biāo)；Hi為該車道線終止點(diǎn)縱坐標(biāo)，Co為預(yù)測(cè)的置信度。

LaneBezierNet采用貝塞爾曲線方程表示法而不是一組標(biāo)記點(diǎn)。而對(duì)應(yīng)的曲線則可通過該網(wǎng)絡(luò)輸出的P表示為

顯然，每條車道線的起點(diǎn)坐標(biāo)的t值為0，終點(diǎn)坐標(biāo)的t值為1。

LaneBezierNet的輸出可以表示為

式中，I為輸入圖像；θ為超參數(shù)，置信度Co≥閾值的車道線被視為有效車道線。

2.2 模型訓(xùn)練

對(duì)于單個(gè)攝像頭的輸入圖像，假設(shè)L為該圖像中的帶標(biāo)注的車道線的數(shù)量。通常交通場(chǎng)景中車道線的數(shù)量滿足L≤4。我們將每個(gè)帶標(biāo)注的車道標(biāo)記為j，j=1,...,L。在損失函數(shù)中，輸出L+ 1,...,Lmax有關(guān)的預(yù)測(cè)將被忽略。對(duì)于每個(gè)車道標(biāo)記j，置信度定義為

對(duì)于單個(gè)圖像，使用多任務(wù)損失函數(shù)進(jìn)行訓(xùn)練。

式中，Lreg為均方誤差（Mean Squared Error, MSE），Lcls為二進(jìn)制交叉熵（Binary Cross Entropy Loss, BCE）。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)參數(shù)與設(shè)置

實(shí)驗(yàn)采用 Windows 系統(tǒng)進(jìn)行訓(xùn)練及測(cè)試，編程語言為Python 3.9，深度學(xué)習(xí)框架為torch 1.11，服務(wù)器圖形處理器（Graphics Processing Unit, GPU）為NVIDIA GeForce RTX 3070 Ti 8GB。該方法選擇 Adam 優(yōu)化器對(duì)參數(shù)進(jìn)行優(yōu)化，學(xué)習(xí)率初始值為3.0e-4，并使用余弦退火變化策略。

3.2 數(shù)據(jù)集

為了使本文中提出的LaneBezierNet模型得到充分驗(yàn)證，該實(shí)驗(yàn)選取了公開數(shù)據(jù)集TuSimple進(jìn)行訓(xùn)練。TuSimple數(shù)據(jù)集采集了高速公路上的圖片，其圖片都是在晴好天氣下的高質(zhì)量圖片。數(shù)據(jù)集中包含的測(cè)試集、驗(yàn)證集和測(cè)試集的具體信息如表1所示。

表1 數(shù)據(jù)集介紹

3.3 算法評(píng)價(jià)標(biāo)準(zhǔn)

用來衡量所提出方法的性能的度量標(biāo)準(zhǔn)分別是準(zhǔn)確率（Accuracy, Acc）、假正例（False Positives, FP）率和假反例（False Negatives, FN）率。對(duì)于被認(rèn)為是真正例（即正確）的預(yù)測(cè)車道標(biāo)志，其精度定義為

3.4 結(jié)果與分析

3.4.1 TuSimple數(shù)據(jù)集對(duì)比

在TuSimple數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2所示，其為本文模型和其他模型的對(duì)比，可以看出本文模型在保持了較高的準(zhǔn)確率同時(shí)，每秒傳輸幀數(shù)（Frames Per Second, FPS）達(dá)到116的最高水平。

表2 TuSimple數(shù)據(jù)集上的比較

3.4.2 消融實(shí)驗(yàn)

從表3可以看出當(dāng)使用3階貝塞爾曲線方程時(shí)，檢測(cè)效果最佳。實(shí)驗(yàn)表明2階時(shí)的曲線檢測(cè)效果不好，而使用4階及以上時(shí)，曲線的自由度太大反而不好控制，從而導(dǎo)致生成的曲線效果更差。

表3 TuSimple數(shù)據(jù)集上貝塞爾曲線不同階的比較

如表4所示，EfficientNet-b1達(dá)到最高精度，其次是EfficientNet-b0和ResNet-34。這些結(jié)果表明，像ResNet-50這樣的大型網(wǎng)絡(luò)可能會(huì)過度收集數(shù)據(jù)。盡管EfficientNet-b1達(dá)到了最高的準(zhǔn)確度，但它的計(jì)算成本更高（更低的幀速率、更高的最大似然比和更長的訓(xùn)練時(shí)間）。

4 結(jié)論

本文提出了一種基于貝塞爾曲線回歸的車道線檢測(cè)新方法。與最先進(jìn)的方法相比，所提出的方法簡(jiǎn)單有效，在保持有競(jìng)爭(zhēng)力的準(zhǔn)確性的同時(shí)，檢測(cè)效率得到了極大的提升。目前，本文模型檢測(cè)準(zhǔn)確率和泛化能力上還有提升空間，在未來工作中，我們也將從這兩個(gè)方面提出更有效、靈活的建模方法，進(jìn)一步提升模型性能。