中國(guó)礦業(yè)大學(xué)信息與控制工程學(xué)院 王 超 王宇雷 姚 峰
車(chē)道線(xiàn)檢測(cè)作為先進(jìn)駕駛員輔助系統(tǒng)(ADAS)乃至智慧交通的重要組成部分,極大地改善了傳統(tǒng)駕駛模式中“道路-駕駛員-汽車(chē)”的信息獲取流程,提供有效的駕駛決策信息,提高行車(chē)安全性。目前,基于車(chē)道線(xiàn)特征的算法主要利用車(chē)道線(xiàn)的顏色以及邊緣梯度等信息,通過(guò)Canny算子、Sobel算子或轉(zhuǎn)換到其它顏色空間如HSL等進(jìn)行檢測(cè),而后利用Hough變換或最小二乘法進(jìn)行車(chē)道線(xiàn)的提取[1-4];但這類(lèi)方法易受到復(fù)雜的路面環(huán)境如陰影、積水等因素的影響,對(duì)路面狀況要求比較高。基于模型匹配的算法主要通過(guò)建立道路模型,當(dāng)檢測(cè)到的參數(shù)與模型相匹配時(shí)便將其當(dāng)作車(chē)道線(xiàn)[5-6];但該方法的時(shí)間復(fù)雜度較高,且易受到模型自身的影響。針對(duì)基于車(chē)道線(xiàn)特征算法對(duì)路面狀況要求高以及基于模型的算法時(shí)間復(fù)雜度高的缺點(diǎn),本文設(shè)計(jì)出一種結(jié)合基于特征檢測(cè)方法與基于模型匹配檢測(cè)方法兩種算法優(yōu)點(diǎn)的高效的車(chē)道線(xiàn)檢測(cè)算法。實(shí)驗(yàn)表明,該系統(tǒng)檢測(cè)效果優(yōu)良并具有較好的魯棒性,克服了陰影等不利因素的影響,同時(shí)具有一定的實(shí)時(shí)性。
圖1 系統(tǒng)檢測(cè)流程圖
系統(tǒng)檢測(cè)流程圖如圖1所示,首先在預(yù)定區(qū)域內(nèi)利用概率霍夫變換(HoughlinesP)和最小距離法求解出消失點(diǎn),以此為基礎(chǔ)建立梯形DROI,該過(guò)程除去掉大量無(wú)效與干擾區(qū)域,有效地降低后續(xù)過(guò)程的運(yùn)算量,提高了算法的實(shí)時(shí)性;其次進(jìn)行視角轉(zhuǎn)換與圖像預(yù)處理,包括通過(guò)在HLS和LAB顏色空間的光強(qiáng)和色度等參數(shù)分別建模,并根據(jù)模型在道路圖像中準(zhǔn)確識(shí)別出白色和黃色車(chē)道線(xiàn)區(qū)域[7];最后,通過(guò)小窗口直方圖搜索獲得車(chē)道線(xiàn)位置坐標(biāo)以后進(jìn)行擬合,獲取其模型參數(shù),將該參數(shù)與前N幀獲取的模型參數(shù)進(jìn)行比較,若差值超過(guò)所設(shè)閾值,則將該組參數(shù)拋棄,用前N幀模型的參數(shù)擬合車(chē)道線(xiàn),若未超過(guò)所設(shè)閾值,則更新模型參數(shù),擬合車(chē)道線(xiàn)。
圖2 消失點(diǎn)及梯形DROI示意圖
在結(jié)構(gòu)化的公路上,車(chē)道線(xiàn)信息主要集中在圖像的中下部[8],然而在實(shí)際過(guò)程中所采集的圖像會(huì)因路況以及攝像頭安裝角度的不同而產(chǎn)生一定差異,基于先驗(yàn)知識(shí)的圖像分割可能會(huì)丟失有效信息或保留干擾信息,不利于后續(xù)過(guò)程進(jìn)行車(chē)道線(xiàn)檢測(cè)。
圖2中藍(lán)線(xiàn)區(qū)域是通過(guò)消失點(diǎn)檢測(cè)以及先驗(yàn)知識(shí)而建立的梯形DROI,其過(guò)程分為如下幾步:
1)基于先驗(yàn)知識(shí)預(yù)先設(shè)定一個(gè)大梯形ROI區(qū)域,然后將圖像轉(zhuǎn)換到HLS空間,利用Canny算子對(duì)L通道進(jìn)行邊緣檢測(cè) 。
2)利用霍夫概率變換(HoughlinesP)提取直線(xiàn)。
3)利用公式(1)、(2)求取消失點(diǎn):
其中,I為成本函數(shù),Vp為消失點(diǎn),Pi為Hough直線(xiàn)上的點(diǎn),ni為與Hough直線(xiàn)垂直的線(xiàn),然后利用公式(2)最小化我們的成本函數(shù)即可得到消失點(diǎn)的坐標(biāo)。
4)如圖2所示,聲明2個(gè)從Vp均勻偏移且更靠近車(chē)輛的點(diǎn)P1,P2,基于先驗(yàn)知識(shí)設(shè)置另外兩個(gè)的P3,P4的共同縱坐標(biāo)y,利用公式(3)、(4)分別求解出其橫坐標(biāo),這樣找P3,P4分別在Vp和P1以及Vp和P2所在的直線(xiàn)上。構(gòu)成了上圖中藍(lán)色線(xiàn)以?xún)?nèi)的DROI區(qū)域。
圖像預(yù)處理主要分為三個(gè)部分:顏色空間變換(從RGB空間變換到HSL、LAB空間);在變換后的顏色空間中針對(duì)顏色的特征進(jìn)行濾波操作;利用自適應(yīng)閾值檢測(cè)算法準(zhǔn)確提取出車(chē)道線(xiàn)邊緣輪廓。第一部分,由于不同的顏色空間凸顯顏色不同的特征,在RGB顏色空間中難以表達(dá)的特征可以方便地在其他空間表達(dá)[9],將上文找到的梯形DROI區(qū)域進(jìn)行顏色空間變換,這樣做大大減小了后續(xù)提取車(chē)道邊緣的難度與計(jì)算量;第二部分,在HSL、LAB空間中對(duì)白色與黃色進(jìn)行建模,利用它們與路面和自然景物的不同特征分層濾波,準(zhǔn)確識(shí)別出黃色與白色車(chē)道線(xiàn)區(qū)域;第三部分,利用自適應(yīng)閾值檢測(cè)算法實(shí)現(xiàn)圖像的二值化,提取出車(chē)道線(xiàn)的邊緣輪廓。
本系統(tǒng)將圖像從RGB空間轉(zhuǎn)換到HSL、LAB空間,通過(guò)對(duì)圖像的亮度、色相和飽和度等分別建模和濾波,可以有效解決算法對(duì)光照條件敏感的問(wèn)題,大大增強(qiáng)算法的魯棒性。
車(chē)道線(xiàn)的顏色,幾何邊緣與路面都有較大的差異,車(chē)道線(xiàn)顏色主要有白色和黃色兩種。白色反射光線(xiàn)能力強(qiáng),在相同光照條件下,白色的光亮度最高,結(jié)合本文的調(diào)試結(jié)果,當(dāng)選取光亮度值(luminance)大于190時(shí),以圖3(a)為研究對(duì)象,得到白車(chē)道線(xiàn)如圖3(b)(圖中黃色部分):
圖3 HSL空間光亮度濾波結(jié)果
實(shí)際生活中,車(chē)道線(xiàn)的顏色會(huì)選取雜色較少的黃色(飽和度高),這樣有利于駕駛員從灰黑色的路面中分辨出車(chē)道位置,結(jié)合具體圖片的調(diào)試,設(shè)定飽和度(saturation)大于50;當(dāng)光亮度大于190時(shí),通過(guò)上文我們認(rèn)為是白色的區(qū)域,因此設(shè)定光亮度小于190。以圖3(a)為研究對(duì)象,得到包含黃色車(chē)道線(xiàn)在內(nèi)的自然景物區(qū)域,如圖4所示:
圖4 包含黃色車(chē)道線(xiàn)的自然景物
為了把黃車(chē)道線(xiàn)從上述處理過(guò)的圖中分離,把在HSL空間中濾波后的圖片轉(zhuǎn)換到LAB空間,利用B通道值大于190時(shí)表示黃色的特點(diǎn),對(duì)轉(zhuǎn)換后的圖片進(jìn)行濾波,有效濾去周?chē)拔铮崛〕鳇S色車(chē)道線(xiàn)。
HSL色彩空間是極坐標(biāo)空間結(jié)構(gòu),其中光強(qiáng)度分量與色度分量獨(dú)立,描述顏色更加直觀(guān),非常適合依靠人的顏色感知特性對(duì)圖片進(jìn)行處理和分析;LAB色彩空間具有感知均勻性,與人對(duì)色彩的感知非常接近,將兩個(gè)區(qū)域合并,可以達(dá)到最佳的處理效果。將得到的圖3(b)與圖(4)合并[10]得到去掉周?chē)拔锏腄ROI區(qū)域,如圖5所示:
圖5 去掉周?chē)拔锖蟮腄ROI區(qū)域
圖6 自適應(yīng)閾值算法得到的二值圖像
圖像邊緣是指圖像周?chē)袼鼗叶燃眲∽兓膮^(qū)域,傳統(tǒng)的車(chē)道線(xiàn)邊緣檢測(cè)常利用Sobel算子、Canny算子、Prewitt和Log等,其中,Sobel算子由于簡(jiǎn)單易操作,可以提供檢測(cè)邊緣方向信息而被廣泛使用。但是Sobel算子檢測(cè)精度不足,常常出現(xiàn)漏檢、偽邊緣的問(wèn)題。Canny算子以其三個(gè)嚴(yán)格的邊緣檢測(cè)標(biāo)準(zhǔn):(a)好的信噪比、(b)高的定位精度、(c)單邊緣響應(yīng)而被廣泛應(yīng)用,但是Canny算子需要人為地設(shè)定閾值,當(dāng)路面光照等情況發(fā)生變化時(shí),如果仍然單一地使用Canny算子進(jìn)行邊緣檢測(cè),一方面,難以自動(dòng)確定閾值大?。涣硪环矫?,對(duì)每一幀圖像都使用相同的閾值,很大可能會(huì)造成邊緣信息的丟失甚至是出現(xiàn)偽邊緣問(wèn)題[11]。本文采用自適應(yīng)閾值檢測(cè)算法來(lái)避免單一閾值造成的問(wèn)題。
在實(shí)際操作中,我們利用3×3的模板作為核與圖像中相同大小的區(qū)域做卷積運(yùn)算,再在運(yùn)算后的圖像中利用中值濾波與加權(quán)平均法實(shí)現(xiàn)自適應(yīng)閾值來(lái)實(shí)現(xiàn)圖像的二值化[12]。圖6為通過(guò)自適應(yīng)閾值算法得到的二值圖像。
圖7 5×5的核處理后的結(jié)果
圖8 3×3的核處理后的結(jié)果
我們首先選用5×5的模板作為核,如圖7所示,圖像中出現(xiàn)了許多噪點(diǎn),說(shuō)明我們選取的核太大了。當(dāng)我們選用3×3的核時(shí),可以明顯發(fā)現(xiàn)圖中的噪點(diǎn)非常少,而得到的車(chē)道邊緣比較令人滿(mǎn)意,如圖8所示。
圖9 直方圖小窗搜索
如圖9所示,取圖像底部垂直的一半,并通過(guò)直方圖計(jì)算像素值的垂直和,找到最大的位置,并將該點(diǎn)作為車(chē)道線(xiàn)的起始點(diǎn);然后自下而上沿著小框搜索最大像素密度的位置,該位置即為車(chē)道線(xiàn)的位置。利用最小二乘法擬合左右兩側(cè)車(chē)道線(xiàn)的參數(shù)方程,得到其曲線(xiàn)方程y = ax2+ bx + c 中的參數(shù)a,b,c。
在對(duì)序列圖像進(jìn)行實(shí)時(shí)處理時(shí),由于攝像機(jī)采集速度較快(如30幀/s),連續(xù)采集的兩幀圖像中車(chē)道位置偏差不會(huì)太大(在車(chē)速為120km/h時(shí),采集一幀圖像車(chē)向前行駛約1m),因此車(chē)道邊緣點(diǎn)的位置具有一定的可預(yù)測(cè)性[13]。在車(chē)道線(xiàn)檢測(cè)這樣一個(gè)連續(xù)過(guò)程中,前T幀的車(chē)道線(xiàn)模型參數(shù)對(duì)第(T+1)幀車(chē)道線(xiàn)參數(shù)具有良好的預(yù)測(cè)與約束作用。本文所設(shè)計(jì)的系統(tǒng)將會(huì)保存T(T=20)幀的有效車(chē)道線(xiàn)模型有關(guān)信息。當(dāng)系統(tǒng)處于初始化狀態(tài)則將當(dāng)前幀的候選車(chē)道線(xiàn)當(dāng)作穩(wěn)定車(chē)道線(xiàn),即作為最終檢測(cè)結(jié)果[14]。
當(dāng)?shù)冢═+1)幀檢測(cè)出的車(chē)道線(xiàn)模型與其之前T幀模型平均值差異較大時(shí)并超過(guò)所設(shè)閾值時(shí),舍棄該幀所得參數(shù)模型,采用第T幀的模型進(jìn)行擬合;否則,采用此幀的車(chē)道線(xiàn)參數(shù)進(jìn)行車(chē)道線(xiàn)擬合并更新已獲得的車(chē)道線(xiàn)模型。
為了驗(yàn)證所設(shè)計(jì)系統(tǒng)的有效性與實(shí)時(shí)行,筆者在徐州某市外高速公路,棗莊某市內(nèi)公路以及某森林公園內(nèi)等地進(jìn)行了行車(chē)視頻提取與車(chē)道檢測(cè),部分檢測(cè)效果統(tǒng)計(jì)如下:
表1 實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)表
通過(guò)對(duì)高速公路、棗莊市區(qū)道路、徐州郊區(qū)道路以及某環(huán)山公路進(jìn)行車(chē)道線(xiàn)檢測(cè)實(shí)驗(yàn),結(jié)果如表1所示,本系統(tǒng)的綜合檢測(cè)精確度可達(dá)到94%以上,基本實(shí)現(xiàn)了車(chē)道線(xiàn)的有效檢測(cè),滿(mǎn)足了結(jié)車(chē)道線(xiàn)檢測(cè)需求;同時(shí)由于梯形DROI的設(shè)立,有效的減少了運(yùn)算量,一定程度上提高了實(shí)時(shí)性。
本文首先通過(guò)求解出消失點(diǎn)建立梯形DROI,有效的減少了后續(xù)算法的運(yùn)算量,提高了系統(tǒng)的實(shí)時(shí)性;同時(shí)利用結(jié)構(gòu)化車(chē)道的特征,將圖像分別轉(zhuǎn)換到LAB與HSL顏色空間提取車(chē)道線(xiàn),有效的克服了陰影等不良因素的影響,提高了算法的魯棒性;最后通過(guò)直方圖小窗搜索找到車(chē)道線(xiàn)的位置以及與已獲得車(chē)道線(xiàn)模型進(jìn)行匹配,進(jìn)行車(chē)道線(xiàn)模型的更新與車(chē)道線(xiàn)的擬合。實(shí)驗(yàn)表明,該系統(tǒng)能夠?qū)Y(jié)構(gòu)化車(chē)道進(jìn)行有效的檢測(cè)。下一步將進(jìn)一步提高系統(tǒng)的實(shí)時(shí)性以及對(duì)于曲率較大的公路的擬合程度。
[1]孫偉,張小瑞,唐慧強(qiáng),等.Hough變換和最小二乘擬合的車(chē)道線(xiàn)協(xié)調(diào)檢測(cè)[J].光電工程,2011,38(10)∶13-19.
[2]趙穎,王書(shū)茂,陳兵旗.基于改進(jìn)Hough變換的公路車(chē)線(xiàn)快速檢測(cè)算法[J].中國(guó)農(nóng)業(yè)大報(bào),2006,11(3)∶104-108.