摘要:車道檢測作為計(jì)算機(jī)視覺技術(shù)在交通領(lǐng)域的關(guān)鍵應(yīng)用,具有深遠(yuǎn)的實(shí)用價(jià)值。盡管如此,現(xiàn)有的語義分割網(wǎng)絡(luò)模型在道路語義分割任務(wù)中仍面臨著精度不足和邊緣模糊等挑戰(zhàn)。針對(duì)這些問題,提出了一種基于UNet模型的改進(jìn)型車道線圖像分割網(wǎng)絡(luò)架構(gòu)。在UNet模型的跳躍連接中,引入雙重注意力機(jī)制,優(yōu)先突出了車道線的重要性,并有效降低了噪聲的干擾。此外,采用了動(dòng)態(tài)蛇形卷積來替代傳統(tǒng)的卷積方法,增強(qiáng)了網(wǎng)絡(luò)對(duì)車道線的識(shí)別能力??紤]到在曝光不足或光線較暗的背景下進(jìn)行車道線檢測的挑戰(zhàn),在圖像預(yù)處理階段引入了一種改進(jìn)的自適應(yīng)Gamma校正技術(shù),以增強(qiáng)檢測的全面性和準(zhǔn)確性。同時(shí),在編碼器末端引入了空洞金字塔池化技術(shù)。實(shí)驗(yàn)結(jié)果表明,在滿足實(shí)時(shí)性要求的前提下,該模型TuSimple數(shù)據(jù)集上達(dá)到了98.93%的準(zhǔn)確率,相較于其他5種基于語義分割的車道線檢測算法,展現(xiàn)出更優(yōu)越的識(shí)別效果,結(jié)果驗(yàn)證了應(yīng)用動(dòng)態(tài)蛇形卷積與雙注意力機(jī)制改進(jìn)的有效性。
關(guān)鍵詞:車道線檢測;語義分割;注意力機(jī)制;動(dòng)態(tài)蛇形卷積;Gamma校正算法
中圖分類號(hào):U491.6""" 文獻(xiàn)標(biāo)志碼:A""" 文章編號(hào):1002-4026(2025)01-0129-12
開放科學(xué)(資源服務(wù))標(biāo)志碼(OSID):
DOI:10.3976/j.issn.1002-4026.20240066【交通運(yùn)輸】
收稿日期:2024-04-30
基金項(xiàng)目:黑龍江省“百千萬工程”科技重大專項(xiàng)(2021ZX04A01)
作者簡介:宋百玲(1972—), 女,博士,副教授,研究方向?yàn)槠囯娍叵到y(tǒng)現(xiàn)代開發(fā)(硬件在環(huán)、快速控制原型)。E-mail:10559164@qq.com
*通信作者,李星禹,男,碩士研究生,研究方向?yàn)橹悄荞{駛,計(jì)算機(jī)視覺研究。E-mail:1695352162@qq.com
Lane segmentation algorithm based on attention mechanism
and dynamic snake convolution
SONG Bailing,LI Xingyu*,LIU Wei,DENG Junxi,MU Junqi
(College of Mechanical and Electrical Engineering,Northeast Forestry University, Harbin 150006, China)
Abstract∶Lane detection is a remarkable practical application of computer vision technology in the field of transportation. However, existing semantic segmentation network models still face certain challenges such as insufficient accuracy and blurred edges in road semantic segmentation tasks. To address these issues, an improved lane segmentation network architecture based on the UNet model is proposed. First, a dual attention module (DAM) is introduced in the skip connections of the UNet model, which prioritizes the importance of lane lines and effectively reduces noise interference. Additionally, dynamic snake convolution (DSConv) is employed to replace traditional convolution methods, enhancing the network’s lane detection ability. To enhance the comprehensiveness and accuracy of lane detection in underexposed or dark backgrounds, an improved adaptive Gamma correction method is introduced in the image preprocessing stage. Furthermore, atrous spatial pyramid pooling (ASPP) technology is introduced at the end of the encoder to enhance network performance. Experimental results show that this model achieves an accuracy of 98.93% on the TuSimple dataset while meeting real-time requirements. Compared to five other semantic segmentation-based lane detection algorithms, the proposed algorithm demonstrates superior recognition performance, thus validating its effectiveness.
Key words∶lane detection; semantic segmentation; attention mechanism; dynamic snake convolution; Gamma correction algorithm
車道線作為路面上的關(guān)鍵交通標(biāo)志,承擔(dān)著劃分車道、指示行進(jìn)方向以及為行人提供導(dǎo)航的重要角色,對(duì)于確保機(jī)動(dòng)車輛的安全行駛至關(guān)重要。在智能駕駛領(lǐng)域,車道線檢測作為核心技術(shù)之一,被廣泛應(yīng)用于高級(jí)輔助駕駛系統(tǒng)(advanced driver assistance system,ADAS)[1],用于實(shí)現(xiàn)車道偏離預(yù)警、車道保持輔助以及前向碰撞預(yù)警等功能。然而,在實(shí)際駕駛環(huán)境下,車道線可能因長期磨損、行人和車輛的遮擋而出現(xiàn)缺失或不連續(xù),其可見度也受到氣候、光照、路面陰影及車道線自身磨損等多種因素的影響。此外,車道線檢測任務(wù)還需要滿足實(shí)時(shí)性的要求,這給車道線檢測技術(shù)帶來了諸多挑戰(zhàn)。
在自動(dòng)駕駛的環(huán)境感知系統(tǒng)中,實(shí)現(xiàn)快速且準(zhǔn)確的車道線檢測對(duì)于保障自動(dòng)駕駛車輛的安全與可靠行駛至關(guān)重要?,F(xiàn)有車道檢測方法眾多,包括基于攝像機(jī)傳感器的計(jì)算機(jī)視覺方法、基于激光雷達(dá)的三維信息獲取方法以及GPS方法[2]等。近年來,鑒于計(jì)算機(jī)視覺方法具有成本低、適應(yīng)性強(qiáng)和實(shí)時(shí)性佳等優(yōu)勢,其在高速公路[3]及城市道路[4]等車道線檢測任務(wù)中得到了廣泛應(yīng)用。同時(shí),通過后續(xù)計(jì)算機(jī)技術(shù)的發(fā)展,從計(jì)算機(jī)視覺算法的角度進(jìn)行的優(yōu)化,有助于進(jìn)一步提升車道線檢測技術(shù)的準(zhǔn)確性及實(shí)時(shí)性。
在深度學(xué)習(xí)技術(shù)廣泛應(yīng)用于車道線之前,例如霍夫變換之類的傳統(tǒng)圖像處理方法是處理車道線檢測的主要方法。何旭光等[5]提出了一種使用霍夫變換進(jìn)行車道線檢測的方法。該方法首先采用圖像平滑技術(shù)對(duì)輸入圖像進(jìn)行預(yù)處理,以減少噪聲干擾,進(jìn)而更精確地提取圖像的關(guān)鍵特征。隨后,通過自適應(yīng)算法提煉關(guān)鍵特征信息,最終利用霍夫變換算法有效檢測車道線的位置。此外,TIAN等[6]提出了一種針對(duì)ADAS的車道線檢測與追蹤技術(shù),該技術(shù)融合了線段檢測器(LSD)、自適應(yīng)角度過濾器及雙重卡爾曼過濾系統(tǒng),著重分析了傳統(tǒng)車道線檢測技術(shù)的局限性,并指出了這些技術(shù)通常僅在特定環(huán)境條件下有效,其根源在于缺乏對(duì)復(fù)雜和動(dòng)態(tài)場景的適應(yīng)性。
為提高車道線檢測性能,PIZZATI等[7]設(shè)計(jì)了一個(gè)運(yùn)行于ROS框架之上的車道線檢測算法,該算法采用均方誤差不確定性評(píng)估技術(shù),并將其融入多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)訓(xùn)練過程中,顯著提升了性能。PAN等[8]的SCNN(spatial convolutional neural network)網(wǎng)絡(luò)模型在分割模塊中采用了獨(dú)特的卷積操作,更有效地利用視覺信息,這些操作專注于處理切片特征和整合多維信息,從而提升了網(wǎng)絡(luò)在提取車道線特征方面的能力。但是這種切片卷積模型的計(jì)算量過大,難以進(jìn)行實(shí)時(shí)的車道線檢測。CHEN等[9]提出的三分支車道線實(shí)例分割算法,該算法能夠自適應(yīng)分類分割結(jié)果,以適應(yīng)不同的車道線實(shí)例,展現(xiàn)出良好的檢測性能??偟膩碚f,這類算法對(duì)于車道線檢測的準(zhǔn)確度較高,但計(jì)算成本過大,并且在復(fù)雜路面檢測效果不佳。
為提高車道線檢測速度,NEVEN等[10]提出了一種將車道線視為實(shí)例分割問題的LaneNet模型,其由兩個(gè)分支構(gòu)成,分為像素嵌入分支和二值分割分支,結(jié)合兩個(gè)分支的結(jié)果完成車道線的提取。HOU等[11]開發(fā)出了一種稱為自注意蒸餾模塊的輕量級(jí)網(wǎng)絡(luò)模型,雖明顯提升了檢測速度,但會(huì)丟失車道線信息,對(duì)車道線缺失和復(fù)雜條件下的車道線檢測結(jié)果不佳。劉彬等[12]開發(fā)了一種基于改進(jìn)的Enet網(wǎng)絡(luò)模型的車道線檢測算法,與傳統(tǒng)方法相比,這一算法能夠滿足實(shí)時(shí)性的需求。KIM等[13]提出了一種車道線檢測方法,此技術(shù)采用了卷積神經(jīng)網(wǎng)絡(luò)(CNN)與隨機(jī)采樣一致(RANSAC)算法的融合,實(shí)現(xiàn)了車道線的實(shí)時(shí)檢測。
綜上,本文提出了一種基于語義分割的創(chuàng)新車道線檢測網(wǎng)絡(luò)架構(gòu)。該架構(gòu)通過改進(jìn)UNet((U-shape
d net))網(wǎng)絡(luò)[14],結(jié)合雙重注意力機(jī)制和動(dòng)態(tài)蛇形卷積技術(shù),顯著提升了車道線檢測的精度與實(shí)時(shí)性。同時(shí),采用Gamma矯正和多尺度ASPP架構(gòu)優(yōu)化圖像處理,增強(qiáng)了車道線的辨識(shí)度和模型的綜合性能。實(shí)驗(yàn)結(jié)果表明,該方法在精度和速度方面優(yōu)于多種現(xiàn)有的深度學(xué)習(xí)檢測方法。
1" 方法設(shè)計(jì)
提出了一個(gè)兩階段的車道線檢測框架,具體流程詳見圖1,包括訓(xùn)練階段和檢測階段。
訓(xùn)練階段如圖2所示,采用基于UNet網(wǎng)絡(luò)模型結(jié)構(gòu),利用TuSimple數(shù)據(jù)集進(jìn)行訓(xùn)練與驗(yàn)證。鑒于深度殘差網(wǎng)絡(luò)在圖像分類任務(wù)中的卓越性能,采用ResNet18[15]代替了傳統(tǒng)的VGG16作為UNet網(wǎng)絡(luò)編碼器的基礎(chǔ)。如圖3所示,每個(gè)ResNet18的block_x(x=1,2,3,4)均使用了3×3的卷積核,并且在每個(gè)模塊的第二層卷積中采用了步長為2的策略,實(shí)現(xiàn)了有效的下采樣。同時(shí),各模塊中卷積核的數(shù)量也與UNet模型的相應(yīng)部分相匹配??紤]到池化操作可能在擴(kuò)大感受野和聚合上下文信息時(shí)丟失位置信息和密集的語義信息,編碼器末端采用了具有多級(jí)空洞卷積分支和全局平均池化層分支的空洞金字塔池化(ASPP)結(jié)構(gòu),以在不同尺度上抽取圖像特征。在編碼器和解碼器之間,引入了結(jié)合動(dòng)態(tài)蛇形卷積的雙重注意力機(jī)制的跳躍連接,以更有效地預(yù)測車道線的具體位置。
在檢測階段中,采用了一種改進(jìn)的Gamma矯正算法來優(yōu)化輸入的車載圖像,增強(qiáng)每一張圖片的對(duì)比度,提升了圖像的質(zhì)量并改善低曝光或光照不足等因素對(duì)車道線檢測的影響。經(jīng)過訓(xùn)練的網(wǎng)絡(luò)模型將對(duì)這些優(yōu)化后的輸入圖像進(jìn)行車道線檢測。
1.1" 動(dòng)態(tài)蛇形卷積替換常規(guī)卷積
本節(jié)內(nèi)容旨在探討如何利用動(dòng)態(tài)蛇形卷積技術(shù)提取車道線窄結(jié)構(gòu)中的局部特征。在給定的標(biāo)準(zhǔn)二維卷積坐標(biāo)為K的情況下,中心坐標(biāo)被定義為Ki=(xi,yi)。3×3的內(nèi)核K在擴(kuò)張為1的情況下表示為:
K=x-1,y-1,x-1,y,…,x+1,y+1。(1)
為了使卷積核能夠更加靈活地捕捉目標(biāo)對(duì)象的復(fù)雜幾何特性,引入形變偏移量Δ。對(duì)于不同形狀、大小和尺度的對(duì)象,相應(yīng)的變形偏差值各異,且當(dāng)這些對(duì)象處于運(yùn)動(dòng)狀態(tài)時(shí),這種偏差關(guān)系難以直接觀測。若完全由模型自主學(xué)習(xí)形變偏差量,可能會(huì)導(dǎo)致感知場偏離目標(biāo)對(duì)象,特別是在處理車道線的細(xì)長結(jié)構(gòu)時(shí)。因此,采用了一種迭代策略如圖4所示,為每個(gè)待處理的目標(biāo)依次選擇要觀察的后續(xù)位置,以確保注意力的連續(xù)性,同時(shí)避免因形變偏移過大而導(dǎo)致感知范圍過度分散。
在動(dòng)態(tài)蛇形卷積(DSConv)中,對(duì)標(biāo)準(zhǔn)卷積核進(jìn)行了X軸和Y軸方向的拉直處理。考慮大小為9的卷積核,以 X 軸方向?yàn)槔琄中每個(gè)網(wǎng)格的具體位置表示為Ki±c=(xi±c,yi±c),其中c={0,1,2,3,4}表示與中心網(wǎng)格的水平距離。卷積核K中每個(gè)網(wǎng)格位置Ki±c的選擇是一個(gè)累積過程。從中心位置 Ki 開始,遠(yuǎn)離中心網(wǎng)格的位置取決于前一個(gè)網(wǎng)格的位置:與 Ki 相比,Ki+1增加了一個(gè)偏移量Δ={δ|δ∈[-1,1]}。因此,偏移量需要求和,從而確保卷積核符合線性形態(tài)結(jié)構(gòu)。
圖4的 X 軸方向變?yōu)椋?/p>
Ki±c=xi+c,yi+c=xi+c,yi+Σi+ciΔyxi-c,yi-c=xi-c,yi+Σii-cΔy。(2)
Y 軸方向上的公式(2)變?yōu)椋?/p>
Kj±c=xj+c,yj+c=xj+Σj+εjΔx,yj+cxj-c,yj-ε=xj+Σjj-εΔx,yj-c。(3)
如圖5所示,由于二維(X軸、Y軸)的變化,DSConv在變形過程中覆蓋了9×9的范圍。根據(jù)動(dòng)態(tài)結(jié)構(gòu)設(shè)計(jì)的DSConv能更好地適應(yīng)車道線的長窄狀結(jié)構(gòu),從而更好地感知關(guān)鍵特征。
1.2" 融合雙注意力機(jī)制的跳躍連接設(shè)計(jì)
跳躍連接是UNet網(wǎng)絡(luò)架構(gòu)與其他編碼器-解碼器模型的顯著區(qū)別之一。鑒于車道線檢測任務(wù)常伴隨邊界模糊的特性,因此需要較為充分地利用淺層特征以實(shí)現(xiàn)精準(zhǔn)的分割,而深層特征則有助于更準(zhǔn)確地識(shí)別圖像中的車道線。跳躍連接的設(shè)計(jì)思想在于將淺層和深層特征圖相互融合,以便有效地整合多尺度的信息,從而獲取更為準(zhǔn)確的上下文信息。
1.2.1" 空間注意力機(jī)制
局部信息無法很好地處理模糊車道的問題。在這種情況下,必須考慮全局上下文。因此,本研究使用空間注意力機(jī)制,旨在精準(zhǔn)捕捉圖像的全局上下文信息。該機(jī)制通過融合特征圖中每個(gè)像素的位置信息以及像素本身的特性,增強(qiáng)對(duì)車道線具體位置的準(zhǔn)確預(yù)測能力。
如圖6所示,在編碼過程的各個(gè)層級(jí)中,基于每層提取得到的特征F∈RC×H×W,利用前文介紹的動(dòng)態(tài)蛇形卷積技術(shù),能夠生成一系列新的特征圖F1、F2和F3,首先對(duì)F1和F2執(zhí)行變形操作,將這些特征圖重塑為RC×N的尺寸,其中N=H×W,對(duì)重塑后的特征圖進(jìn)行轉(zhuǎn)置處理,并執(zhí)行兩者之間的矩陣乘法。再通過引入softmax層來構(gòu)建空間注意力圖,該圖表示為S∈RN×N,其原理如式(4)所示:
Sji=expF1i·F2j∑Ni=1exp (F1i·F2j),(4)
其中,Sji映射了特征圖內(nèi)任意兩點(diǎn)位置i和j之間的相關(guān)性。然后對(duì)得到的特征圖序列F3∈RC×H×W 轉(zhuǎn)化為RC×N的形式,然后執(zhí)行該特征圖與經(jīng)過轉(zhuǎn)置的S矩陣乘法,并將結(jié)果變形為RC×H×W,將此結(jié)果與參數(shù)α執(zhí)行乘法操作,再與原始特征圖F進(jìn)行加法運(yùn)算,最終得到結(jié)果E∈RC×H×W。如式(5)所示:
Ej=α∑Ni=1SjiF3i+Fj,(5)
在該式中,參數(shù)α初始設(shè)定為零,并在網(wǎng)絡(luò)訓(xùn)練過程中進(jìn)行動(dòng)態(tài)調(diào)整與優(yōu)化。通過引入空間注意力機(jī)制,實(shí)現(xiàn)了對(duì)特征圖中各個(gè)空間位置的特征進(jìn)行加權(quán)處理,賦予了它們不同的重要性權(quán)重。此種方法優(yōu)化了特征提取過程,使得模型在處理圖像時(shí),能更準(zhǔn)確地識(shí)別圖像特征。
1.2.2" 通道注意力機(jī)制
如圖7所示的通道注意力機(jī)制首先將特征圖F∈RC×H×W通過變形處理轉(zhuǎn)化為F∈RC×N,F(xiàn)與其自身的轉(zhuǎn)置進(jìn)行乘法計(jì)算,在此基礎(chǔ)上,引入softmax層,從而獲得通道注意力特征圖F∈RC×C,該過程如公式(6)所示:
Xji=expFi·Fj∑Ci=1exp (Fi·Fj),(6)
Xji能展示特征通道i和j之間的相互關(guān)系。在此基礎(chǔ)上,將X進(jìn)行轉(zhuǎn)置處理,隨后與F進(jìn)行矩陣乘法,進(jìn)一步通過reshape變形至RC×H×W 。最終,通過將結(jié)果與參數(shù)β進(jìn)行乘法運(yùn)算并和F進(jìn)行加法運(yùn)算,得到的最終輸出為E∈RC×H×W。如公式(7)所示:
Ej=β∑ci=1xjiFi+Fj。(7)
與空間注意力機(jī)制相似,初始時(shí)將參數(shù)β設(shè)定為零。隨著網(wǎng)絡(luò)訓(xùn)練的進(jìn)行,該參數(shù)將不斷更新。
1.3" 基于改進(jìn)Gamma算法的圖像矯正
在圖像預(yù)處理階段中融入了改進(jìn)的自適應(yīng)Gamma校正算法,以提高在低照明或陰影條件下車道線檢測的準(zhǔn)確率,具體步驟如下所示:
(1)對(duì)待處理的輸入圖像進(jìn)行色彩空間轉(zhuǎn)換,由RGB轉(zhuǎn)至HSV,并將其標(biāo)識(shí)為I。隨后,從該圖像中提取亮度分量IV。
(2)利用雙邊濾波技術(shù)對(duì)亮度分量IV進(jìn)行處理,以提取出光照分量IS,并獲取相應(yīng)的空域核和值域核如公式(8)所示:
ISi,j=∑mnIVm,nωi,j,m,n∑mnωi,j,m,n。(8)
雙邊濾波算法結(jié)合了空間鄰近度和像素值相似度的考慮,使得算法能夠在盡可能保留車道線等重要邊緣特征的同時(shí),有效降低圖像噪聲。濾波核ω包括空域核和值域核,其計(jì)算過程如公式(9)所示:
ωi,j,m,n=exp-(i-m)2+(j-n)22σ2d-‖I(i,j)-I(m,n)‖22σ2r,(9)
式中:IS(i,j),IV(m,n)分別為坐標(biāo)(i,j)和(m,n)處的光照分量與亮度分量;σd,σr分別為空間鄰近高斯函數(shù)標(biāo)準(zhǔn)差和像素值相似度高斯函數(shù)標(biāo)準(zhǔn)差。
(3)在優(yōu)化版的Gamma校正方法中,校正參數(shù)γ對(duì)圖像中各個(gè)像素位置的照明分量IS(i,j) 執(zhí)行自適應(yīng)調(diào)整。該過程如公式(10)~(11)所示:
γ=ISi,j+α1+α,(10)
α=1-2 ISImaxi,j+Imini,j+1。(11)
校正后的像素光照分量見公式(12):
IS′i,j=255ISi,j255γ,(12)
式中:IS、Imax( i,j )、Imin ( i,j )為校正前圖像的平均光照分量、最大光照分量及最小光照分量。圖8展示了利用改進(jìn)版Gamma校正算法對(duì)車載圖像處理前后的效果對(duì)比。此算法調(diào)整導(dǎo)致了圖像中中等至高灰度動(dòng)態(tài)范圍顯著增加,并有效緩解了低灰度區(qū)域的像素聚集問題,從而提高了車輛、車道線及其周圍環(huán)境的對(duì)比度,進(jìn)而顯著提高了圖像的整體質(zhì)量。
2" 實(shí)驗(yàn)與結(jié)果分析
2.1" 測試環(huán)境
本研究模型主要在Windows 11操作系統(tǒng)環(huán)境下構(gòu)建,并采用Python語言作為主要編程工具。在圖像處理環(huán)節(jié),選擇OpenCV庫作為核心框架,借助其提供的豐富功能對(duì)圖像進(jìn)行預(yù)處理。而深度學(xué)習(xí)模型的構(gòu)建、訓(xùn)練、測試及性能驗(yàn)證則均基于PyTorch框架下進(jìn)行。實(shí)驗(yàn)的具體配置細(xì)節(jié)詳見表1。
2.2" 數(shù)據(jù)集
采用了TuSimple數(shù)據(jù)集來評(píng)估所提出的車道線檢測算法,并對(duì)模型執(zhí)行了詳細(xì)的訓(xùn)練與測試流程。該數(shù)據(jù)集包含3 626張用于訓(xùn)練的圖像以及2 782張用于測試的圖像,所有圖像均在晴朗或多云的天氣條件下捕獲,涵蓋了日間不同天氣狀況和交通情境下的高速公路場景。訓(xùn)練圖像附帶的標(biāo)注信息存儲(chǔ)于JSON格式,這為訓(xùn)練過程提供了便利。TuSimple數(shù)據(jù)集的樣本展示見圖9。
2.3" 評(píng)價(jià)標(biāo)準(zhǔn)
在相同條件下使用TuSimple數(shù)據(jù)集官方提供的準(zhǔn)確度(AC)、F值以及mIoU,AC的計(jì)算如公式(13)所示:
AC=∑CpCg,(13)
式中:Cp表示預(yù)測正確的車道線點(diǎn)數(shù),Cg表示標(biāo)注的車道線真值點(diǎn)數(shù)。
F值,也稱作F1得分,為評(píng)價(jià)模型表現(xiàn)的關(guān)鍵指數(shù),它將準(zhǔn)確率P與召回率R這兩項(xiàng)度量綜合運(yùn)算,得出的是這兩者的加權(quán)調(diào)和平均數(shù)。F1分?jǐn)?shù)通過平衡這兩個(gè)指標(biāo),提供了一個(gè)單一指標(biāo)來評(píng)估模型的整體性能,特別是在正負(fù)樣本不平衡的情況下。在模型性能評(píng)估中,F(xiàn)1分?jǐn)?shù)越高,表示模型的準(zhǔn)確率和召回率越均衡,模型的性能越優(yōu)秀。如公式(14)~(16)所示:
P=TpTp+Fp,(14)
R=TpTp+Fn,(15)
F1=1+β2·R·Pβ2·R+P,(16)
式中:Fp為假正例(將負(fù)樣本誤判為正樣本的情況),F(xiàn)n為假負(fù)例(將正樣本誤判為負(fù)樣本的情況),Tp為真正例(模型正確識(shí)別出的正樣本),β為準(zhǔn)確率和召回率的權(quán)重分?jǐn)?shù)。
此外,鑒于本研究采用的網(wǎng)絡(luò)屬于語義分割領(lǐng)域,因此平均交并比(mIoU)也被作為評(píng)價(jià)模型性能的關(guān)鍵指標(biāo)之一。mIoU的計(jì)算如公式(17)所示:
平均交并比=1nc∑iniiti+∑jnji-nii,(17)
式中:ti是實(shí)際情況下類別i的像素總數(shù),nc表示類別總數(shù),nji表示預(yù)測屬于類別j的i類像素的數(shù)量。
2.4" 定量評(píng)估
對(duì)近年來提出的多種車道線檢測算法進(jìn)行定量對(duì)比分析。實(shí)驗(yàn)中將本文提出的模型分別與PolyLaneNet[16],Segnet-Res34[17],SCNN,LaneNet,VGG-LaneNet進(jìn)行對(duì)比。表2為本文方法與其他幾種算法在TuSimple數(shù)據(jù)集上的實(shí)驗(yàn)對(duì)比結(jié)果。為了保證實(shí)驗(yàn)的公平性,所有模型的輸入圖像均經(jīng)過相同的預(yù)處理步驟。這些步驟包括統(tǒng)一調(diào)整圖像分辨率和應(yīng)用Gamma校正,以確保輸入數(shù)據(jù)的一致性。這些處理步驟在不同模型的訓(xùn)練和測試過程中均保持一致,以確保對(duì)比的公平性。
由表2可知,本研究開發(fā)的網(wǎng)絡(luò)模型在平均交并比(mIoU)上達(dá)到了70.11%,該結(jié)果超越了表中列出的其他基于分割的車道線檢測方法,從而充分證明了該網(wǎng)絡(luò)模型在準(zhǔn)確分割各種場景中的車道線方面的優(yōu)越性。值得注意的是,mIoU指標(biāo)并不適用于如PolyLaneNet這類基于檢測的車道線識(shí)別算法。
在處理速度方面,本文采用指標(biāo)幀率(frames per second,F(xiàn)PS)衡量算法的實(shí)時(shí)性,所提出的網(wǎng)絡(luò)模型能夠以每秒44.5幀的速度進(jìn)行車道線識(shí)別,這一速度與采用分割方法的其他車道線識(shí)別網(wǎng)絡(luò)相當(dāng)或略勝一籌,盡管與采用檢測技術(shù)的車道線識(shí)別網(wǎng)絡(luò)相比略低。但本模型在確保實(shí)時(shí)處理能力的前提下,在車道線檢測的準(zhǔn)確率上表現(xiàn)更為出色,達(dá)到了98.45%。這一結(jié)果凸顯了模型在保持高速處理能力的同時(shí),也能實(shí)現(xiàn)高精度檢測,顯示了在檢測精度與處理速度之間取得了有效的平衡,從而在車道線識(shí)別任務(wù)中展現(xiàn)了卓越的綜合性能。
2.5" 消融實(shí)驗(yàn)
為了進(jìn)一步評(píng)估本研究中所采用的網(wǎng)絡(luò)模塊的性能,在一致的實(shí)驗(yàn)參數(shù)設(shè)置下開展了一系列對(duì)比實(shí)驗(yàn)。首先,為了驗(yàn)證Gamma矯正預(yù)處理的有效性,在不改變模型結(jié)構(gòu)的情況下,單獨(dú)測試了預(yù)處理方法的影響。接著,在固定預(yù)處理方法的基礎(chǔ)上,對(duì)比不同模型結(jié)構(gòu)的性能,實(shí)驗(yàn)結(jié)果詳見表3。
分析結(jié)果表明,使用Gamma矯正預(yù)處理后,車道線的識(shí)別效率有所提升。這表明Gamma矯正能夠有效地增強(qiáng)圖像中的車道線特征,從而提高檢測性能。進(jìn)一步地,整合了雙重注意力機(jī)制后,車道線的識(shí)別效率進(jìn)一步增強(qiáng),表明雙注意力機(jī)制能夠有效集中對(duì)圖像中車道線特征的提取,同時(shí)抑制非關(guān)鍵的干擾信息。當(dāng)在雙重注意力機(jī)制中加入動(dòng)態(tài)蛇形卷積后,車道線檢測的準(zhǔn)確性獲得了進(jìn)一步的提高。這表明動(dòng)態(tài)蛇形卷積能夠更有效地捕捉車道線細(xì)長結(jié)構(gòu)的特征,從而提高檢測性能。
2.6" 可視化評(píng)估
設(shè)計(jì)的網(wǎng)絡(luò)模型與LaneNet模型的可視化對(duì)比實(shí)驗(yàn)結(jié)果展示于圖10,所用的實(shí)驗(yàn)圖像取自TuSimple數(shù)據(jù)集。通過圖10觀察可以發(fā)現(xiàn)LaneNet模型在車道線的擬合上存在不足,而提出的網(wǎng)絡(luò)模型在車道線檢測任務(wù)上,相較于真實(shí)標(biāo)注,展現(xiàn)出了更優(yōu)異的檢測性能。針對(duì)LaneNet模型在車道線檢測中出現(xiàn)的漏檢問題,在圖像中用紅色線框明確標(biāo)注出了未被識(shí)別的部分。通過整合動(dòng)態(tài)蛇形卷積與雙重注意力機(jī)制,提出的模型有效地捕獲了輸入圖像的全局上下文特征,并細(xì)致處理了車道線的細(xì)節(jié)。實(shí)驗(yàn)結(jié)果證明了改進(jìn)措施的有效性。
圖11展示了提出的網(wǎng)絡(luò)模型在TuSimple數(shù)據(jù)集的測試分組中的視覺效果圖,對(duì)多種典型情景進(jìn)行了分析。在本研究中,考慮到的場景涵蓋了遮擋、陰影、多車道以及曲線道路等復(fù)雜條件。觀察結(jié)果顯示,本文所采用的車道線檢測方法在這些環(huán)境下均展現(xiàn)了出色的性能表現(xiàn)。
3" 總結(jié)
(1)提出了一種高效的車道線語義分割方法。在模型訓(xùn)練階段,通過引入雙重注意力機(jī)制,使得模型更加集中于車道線特征的提取,顯著提升了其在車道線檢測方面的靈敏度及辨別能力。
(2)通過替換注意力機(jī)制中的標(biāo)準(zhǔn)3×3卷積層為動(dòng)態(tài)蛇形卷積層,有效地增強(qiáng)了模型對(duì)車道線幾何形態(tài)的學(xué)習(xí)能力。實(shí)驗(yàn)結(jié)果證實(shí),采用雙重注意力機(jī)制能顯著提高分割精度,而動(dòng)態(tài)蛇形卷積的應(yīng)用則在提升F1評(píng)分方面尤為突出。并通過整合ASPP模塊,既優(yōu)化了細(xì)節(jié)特征的表達(dá),也顯著降低了模型參數(shù)量,提高了處理效率。
(3)在檢測階段,引入了Gamma校正算法,以增強(qiáng)中高灰度區(qū)域的動(dòng)態(tài)范圍,改善低曝光區(qū)域的圖像亮度,有效提高了低曝光圖像中車道線的識(shí)別度,進(jìn)而減少了車道線的漏檢與誤檢情況。
參考文獻(xiàn):
[1]WAYKOLE S, SHIWAKOTI N, STASINOPOULOS P. Review on lane detection and tracking algorithms of advanced driver assistance system[J]. Sustainability, 2021, 13(20): 11417. DOI: 10.3390/su132011417.
[2]劉富強(qiáng), 張姍姍, 朱文紅, 等. 一種基于視覺的車道線檢測與跟蹤算法[J]. 同濟(jì)大學(xué)學(xué)報(bào)(自然科學(xué)版), 2010, 38(2): 223-229. DOI: 10.3969/j.issn.0253-374x.2010.02.013.
[3]胡彬, 趙春霞. 基于概率霍夫變換的快速車道線檢測方法[J]. 微電子學(xué)與計(jì)算機(jī), 2011, 28(10): 177-180. DOI: 10.19304/j.cnki.issn1000-7180.2011.10.046.
[4]ZRN J, VERTENS J, BURGARD W. Lane graph estimation for scene understanding in urban driving[J]. IEEE Robotics and Automation Letters, 2021, 6(4): 8615-8622. DOI: 10.1109/LRA.2021.3111433
[5]何旭光, 江磊, 羅一平, 等. 基于Hough變換的車道線檢測算法設(shè)計(jì)[J]. 農(nóng)業(yè)裝備與車輛工程, 2019, 57(11): 90-91. DOI: 10.3969/j.issn.1673-3142.2019.11.022.
[6]TIAN J, LIU S W, ZHONG X Y, et al. LSD-based adaptive lane detection and tracking for ADAS in structured road environment[J]. Soft Computing, 2021, 25(7): 5709-5722. DOI: 10.1007/s00500-020-05566-4.
[7]PIZZATI F, GARCIA F. Enhanced free space detection in multiple lanes based on single CNN with scene identification[C]//2019 IEEE Intelligent Vehicles Symposium (IV). Paris: IEEE, 2019: 2536-2541. DOI: 10.1109/ivs.2019.8814181.
[8]PAN X G, SHI J P, LUO P, et al. Spatial as deep: Spatial CNN for traffic scene understanding[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2018, 32(1).DOI: 10.1609/aaai.v32i1.12301.
[9]CHEN Q, WANG Z, LONG B, et al. Three branch net lane detection on complex road conditions[C]//2019 IEEE International Conference on Systems, Man and Cybernetics (SMC). IEEE, 2019: 3480-3485. DOI: 10.1109/SMC.2019.8913940.
[10]NEVEN D, DE BRABANDERE B, GEORGOULIS S, et al. Towards end-to-end lane detection: An instance segmentation approach[C]//2018 IEEE Intelligent Vehicles Symposium (IV). Changshu: IEEE, 2018: 286-291. DOI: 10.1109/ivs.2018.8500547.
[11]HOU Y N, MA Z, LIU C X, et al. Learning lightweight lane detection CNNs by self attention distillation[C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV). Seoul: IEEE, 2019: 1013-1021. DOI: 10.1109/iccv.2019.00110.
[12]劉彬, 劉宏哲. 基于改進(jìn)Enet網(wǎng)絡(luò)的車道線檢測算法[J]. 計(jì)算機(jī)科學(xué), 2020, 47(4): 142-149. DOI: 10.11896/jsjkx.190500021.
[13]KIM J, LEE M. Robust lane detection based on convolutional neural network and random sample consensus[M]//Neural Information Processing. Cham: Springer International Publishing, 2014: 454-461. DOI: 10.1007/978-3-319-12637-1_57.
[14]FU J, LIU J, TIAN H J, et al. Dual attention network for scene segmentation[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, CA, USA. IEEE, 2019: 3141-3149. DOI: 10.1109/cvpr.2019.00326.
[15]HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, USA. IEEE, 2016: 770-778. DOI: 10.1109/cvpr.2016.90.
[16]CHEN Z P, LIU Q F, LIAN C F. PointLaneNet: Efficient end-to-end CNNs for Accurate Real-Time Lane Detection[C]//2019 IEEE Intelligent Vehicles Symposium (IV). Paris, France. IEEE, 2019: 2563-2568. DOI: 10.1109/ivs.2019.8813778.
[17]CHEN L C, PAPANDREOU G, KOKKINOS I, et al. DeepLab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834-848. DOI: 10.1109/TPAMI.2017.2699184.