基于滅點(diǎn)查找的姿態(tài)角測(cè)量方法在路面三維重建中的應(yīng)用*

曹 毓，馮 瑩，楊云濤，趙立雙，向仁強(qiáng)，許 偉

(1.國(guó)防科學(xué)技術(shù)大學(xué)光電科學(xué)與工程學(xué)院，長(zhǎng)沙 410073;2.第20軍炮兵旅，河南 確山 463200)

基于多傳感器信息融合的路面三維重建技術(shù)廣泛應(yīng)用于高速公路及機(jī)場(chǎng)跑道等路面損毀狀況的自動(dòng)檢測(cè)領(lǐng)域。在道路快速維修能力建設(shè)中，毀傷程度評(píng)估是基礎(chǔ)中的基礎(chǔ)。傳統(tǒng)的道路毀傷評(píng)估主要依賴(lài)人工目視測(cè)量的方式來(lái)完成，精度低、速度慢。為此我們采用了一種自動(dòng)測(cè)量方法:將單線(xiàn)式激光掃描儀安裝于車(chē)輛上，在車(chē)輛行駛過(guò)程中對(duì)路面進(jìn)行不間斷掃描，從而獲得道路三維形貌。

根據(jù)車(chē)輛運(yùn)動(dòng)過(guò)程中對(duì)應(yīng)的三個(gè)歐拉角(航向角、俯仰角和橫滾角)性質(zhì)的不同，現(xiàn)有的角度測(cè)量傳感器可分為航向角傳感器(電子羅盤(pán))和傾角傳感器，前者應(yīng)用于航向角的測(cè)量，后者可以用來(lái)測(cè)量相對(duì)于水平面的傾角變化量。理論計(jì)算和實(shí)驗(yàn)證明:在實(shí)際應(yīng)用中由于車(chē)輛轉(zhuǎn)彎避障的需要，三個(gè)歐拉角中的航向角變化幅度較大，對(duì)路面三維重建效果影響也最大。目前廣泛應(yīng)用的航向角傳感器原理大都是基于地磁場(chǎng)方向來(lái)判斷角度變化量，因此它的精度不高，對(duì)使用環(huán)境的磁場(chǎng)穩(wěn)定性要求也較為苛刻。為此，我們結(jié)合使用相機(jī)和激光掃描儀，通過(guò)對(duì)一系列前視時(shí)序圖片中道路滅點(diǎn)坐標(biāo)的獲取來(lái)獲得車(chē)輛實(shí)時(shí)的航向角和俯仰角，以此為基礎(chǔ)來(lái)校正掃描儀得到的三維地形數(shù)據(jù)，進(jìn)而準(zhǔn)確實(shí)現(xiàn)路面的三維形貌重建。實(shí)驗(yàn)結(jié)果表明，通過(guò)定位圖像中滅點(diǎn)位置的方法獲得的實(shí)時(shí)姿態(tài)角精度高，校正后的路面三維形貌與真實(shí)的路面情況實(shí)現(xiàn)了較為準(zhǔn)確的吻合。

1 查找滅點(diǎn)法獲取姿態(tài)角

空間一組平行直線(xiàn)在圖像平面上所成的像僅有一個(gè)交點(diǎn)，即滅點(diǎn)(又稱(chēng)消失點(diǎn))，它蘊(yùn)含了直線(xiàn)的方向信息，對(duì)滅點(diǎn)進(jìn)行分析可以得到相機(jī)的角度姿態(tài)信息。因此，滅點(diǎn)估計(jì)在視覺(jué)導(dǎo)航［1－7］、三維重建［8］、相機(jī)定標(biāo)等方面都有廣泛的應(yīng)用，是計(jì)算機(jī)視覺(jué)和光學(xué)傳感領(lǐng)域內(nèi)一個(gè)重要的研究課題。

圖1給出了圖像坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系示意圖［3］。

圖1 圖像坐標(biāo)系與世界坐標(biāo)系的關(guān)系示意圖

假設(shè)角度定位相機(jī)在世界坐標(biāo)系中的位置坐標(biāo)為(l，d，h)，相機(jī)分辨率為m×n像素，視場(chǎng)角為 2α×2β 弧度，具體參數(shù)如圖2 所示［3］。

圖2 相機(jī)架設(shè)各參數(shù)示意圖

根據(jù)圖1和圖2的參數(shù)標(biāo)示，可以解算出世界坐標(biāo)系下的路面坐標(biāo)(x，y，0)與圖像坐標(biāo)系下的圖像坐標(biāo)(u，v)之間的關(guān)系，由式(1)給出［3－4］，其中 γ為航向角，θ為俯仰角:

可以解出用路面坐標(biāo)(x，y，0)表示的圖像坐標(biāo)(u，v):

為得到世界坐標(biāo)系中前方無(wú)窮遠(yuǎn)點(diǎn)(即滅點(diǎn))在圖像坐標(biāo)系下的坐標(biāo)，可令x→∞，則有:

從式(3)中可以發(fā)現(xiàn)，在相機(jī)分辨率和視場(chǎng)角等內(nèi)參數(shù)一定的情況下，滅點(diǎn)的縱坐標(biāo)和橫坐標(biāo)分別與航向角γ和俯仰角θ線(xiàn)性相關(guān)。因此，通過(guò)實(shí)時(shí)查找滅點(diǎn)在圖像中的位置，可以很方便的計(jì)算出相機(jī)所對(duì)應(yīng)時(shí)刻的航向角和俯仰角。

式(3)可改寫(xiě)為:

由式(4)可知，相機(jī)的視場(chǎng)角越小、分辨率越高，圖像中滅點(diǎn)的像素坐標(biāo)隨姿態(tài)角的變化越敏感，即小視場(chǎng)和高分辨率的相機(jī)可以對(duì)平臺(tái)的姿態(tài)角進(jìn)行高精度測(cè)量。但是視場(chǎng)角越小，拍攝區(qū)域也越小，在較大角度的姿態(tài)變化(如車(chē)輛大角度轉(zhuǎn)彎)時(shí)可能拍丟道路邊緣信息。因此若要保證大范圍高精度的平臺(tái)姿態(tài)角測(cè)量，則需使用大視場(chǎng)鏡頭或者組合多個(gè)相機(jī)同時(shí)采集前方圖像。

為檢驗(yàn)理論分析結(jié)果，進(jìn)行了標(biāo)定相機(jī)姿態(tài)角與滅點(diǎn)位置關(guān)系的實(shí)驗(yàn)。實(shí)驗(yàn)過(guò)程如下:在道路遠(yuǎn)處中心與相機(jī)等高位置(即滅點(diǎn)處)設(shè)置一合作目標(biāo)。相機(jī)固定架設(shè)于經(jīng)緯儀上，以小角度分別沿水平和垂直方向轉(zhuǎn)動(dòng)，每轉(zhuǎn)動(dòng)一個(gè)角度拍攝一張照片，對(duì)這些照片利用模板匹配的方法查找到合作目標(biāo)中心在圖像中的坐標(biāo)，這樣就建立了相機(jī)姿態(tài)角變化與滅點(diǎn)坐標(biāo)之間一一對(duì)應(yīng)的關(guān)系。實(shí)驗(yàn)中通過(guò)經(jīng)緯儀對(duì)相機(jī)的姿態(tài)角進(jìn)行精確調(diào)節(jié)，所用經(jīng)緯儀測(cè)角精度為1″。

實(shí)驗(yàn)中所用相機(jī)為加拿大Point Grey公司的Flea2－14S3型黑白數(shù)字相機(jī)，最大分辨率1 280×960像素。鏡頭參數(shù)為16 mm/F1.6，其視場(chǎng)角為16°×22.5°。對(duì)鏡頭標(biāo)定結(jié)果表明:當(dāng)相機(jī)的角度沿橫向或縱向每變化1'時(shí)，對(duì)應(yīng)圖像中滅點(diǎn)的坐標(biāo)沿橫向或縱向移動(dòng)約1個(gè)像素。圖3給出了相機(jī)沿圖片中心橫向或縱向移動(dòng)時(shí)，相機(jī)轉(zhuǎn)過(guò)角度和滅點(diǎn)坐標(biāo)改變值之間的關(guān)系。從圖中可以看出，標(biāo)定結(jié)果與理論計(jì)算結(jié)果吻合的很好，只是在鏡頭邊緣處出現(xiàn)了一定的偏差，這主要是由于鏡頭的稍許畸變?cè)斐傻摹?/p>

圖3 相機(jī)轉(zhuǎn)動(dòng)角度和滅點(diǎn)坐標(biāo)偏離值對(duì)應(yīng)關(guān)系

為檢驗(yàn)標(biāo)定結(jié)果并測(cè)試?yán)貌檎覉D像滅點(diǎn)法檢測(cè)姿態(tài)角的精度，隨機(jī)調(diào)節(jié)經(jīng)緯儀橫向與縱向角度拍攝了6張圖片，通過(guò)Hough變換查找道路邊緣線(xiàn)，進(jìn)一步求解出滅點(diǎn)像素坐標(biāo)并結(jié)合標(biāo)定結(jié)果內(nèi)插得出了平臺(tái)的姿態(tài)角，將該值與從經(jīng)緯儀讀出的角度值進(jìn)行對(duì)比，得到了測(cè)角精度。詳細(xì)的實(shí)驗(yàn)數(shù)據(jù)如表1所示。

表1 角度計(jì)算值和實(shí)際值的對(duì)比分析結(jié)果

根據(jù)表1的實(shí)驗(yàn)結(jié)果，可知利用查找圖像滅點(diǎn)法測(cè)角誤差一般不超過(guò)4'，因此可以認(rèn)為通過(guò)對(duì)圖像作Hough變換找直線(xiàn)并求解滅點(diǎn)坐標(biāo)，然后根據(jù)該坐標(biāo)反解平臺(tái)角度的精度是比較高的。產(chǎn)生誤差的原因主要有三點(diǎn):一是通過(guò)Hough變換解算出的滅點(diǎn)坐標(biāo)和實(shí)際滅點(diǎn)坐標(biāo)有偏差;二是相機(jī)初始化安裝時(shí)可能并未將光軸對(duì)準(zhǔn)正前方的滅點(diǎn)位置;三是鏡頭的微小畸變導(dǎo)致圖像滅點(diǎn)坐標(biāo)與平臺(tái)角度之間并非完全的線(xiàn)性關(guān)系，由此產(chǎn)生了測(cè)角誤差。

2 道路三維重建系統(tǒng)

2.1 系統(tǒng)設(shè)計(jì)

我們以實(shí)驗(yàn)用手推車(chē)為運(yùn)載平臺(tái)，組合相機(jī)和激光掃描儀搭建了道路三維重建的原理驗(yàn)證系統(tǒng)。系統(tǒng)工作前，先調(diào)整相機(jī)水平向前架設(shè)，將相機(jī)光軸對(duì)準(zhǔn)前方道路滅點(diǎn)，并牢牢固定以保證相機(jī)的穩(wěn)定。掃描儀以向下掃描的方式架設(shè)于相機(jī)下方，為避免掃描線(xiàn)被車(chē)輛自身遮擋，向前有一定的仰角。圖4給出了掃描儀和相機(jī)的詳細(xì)架設(shè)位置關(guān)系。系統(tǒng)中使用的相機(jī)和鏡頭參數(shù)與前述一致;掃描儀為德國(guó)SICK公司的單線(xiàn)式激光掃描儀LMS－291，它的最大角度分辨率為0.25°，最大測(cè)量距離80m，最大測(cè)量角度范圍180°。系統(tǒng)在工作過(guò)程中需解決相機(jī)與掃描儀同步數(shù)據(jù)采集控制的問(wèn)題。

圖4 傳感器聯(lián)合架設(shè)位置關(guān)系

2.2 實(shí)驗(yàn)及結(jié)果討論

為驗(yàn)證本文提出算法的有效性，選擇了一條平整的長(zhǎng)直道路進(jìn)行實(shí)驗(yàn)，如圖5所示。右圖即左圖進(jìn)行逆透視投影變換［3，15］變?yōu)楦┮晥D的結(jié)果。

圖5 實(shí)驗(yàn)選擇的道路場(chǎng)景圖及俯視效果圖

從圖5中可清晰的看出該路段邊緣直線(xiàn)特征明顯。為檢驗(yàn)系統(tǒng)的路面三維重建效果，詳細(xì)測(cè)量了道路的三維參數(shù):路面寬4.5 m，平整度良好，路面與一側(cè)人行道落差為0.118 m，道路邊緣線(xiàn)直線(xiàn)度良好。由于現(xiàn)有一般的航向角傳感器本身精度的限制，不足以直接驗(yàn)證本文姿態(tài)角檢測(cè)算法的精度，因此我們利用了實(shí)際道路邊緣線(xiàn)為直線(xiàn)且路面與人行道有一定高差的道路三維特征，考察系統(tǒng)重建出的道路三維形貌對(duì)該特征的恢復(fù)程度，以此來(lái)評(píng)價(jià)本文算法的角度檢測(cè)精度和系統(tǒng)三維重建效果。

相機(jī)與掃描儀的數(shù)據(jù)采集和同步控制是在VC++6.0環(huán)境下編程實(shí)現(xiàn)的，掃描儀使用的是RS422串口，以500k波特率的速度傳輸數(shù)據(jù)。圖6給出了實(shí)驗(yàn)過(guò)程中相機(jī)在不同時(shí)刻采集到的前視道路圖片，依次分別為圖片序列的第0幀、100幀、200幀和300幀圖像。

圖6 相機(jī)不同時(shí)刻采集到的道路前視圖片

得到多傳感器同步采集的數(shù)據(jù)以后，編程實(shí)現(xiàn)了數(shù)據(jù)的處理和三維重建。為得到圖片中滅點(diǎn)坐標(biāo)，首先需要找到道路的兩條邊緣線(xiàn)。程序采用形態(tài)學(xué)算法結(jié)合Hough變換檢測(cè)出道路邊線(xiàn)［16］，進(jìn)而計(jì)算出滅點(diǎn)坐標(biāo)并最終得到姿態(tài)角。為剔除圖片中的噪聲和雜散邊緣、強(qiáng)化道路邊緣線(xiàn)特征，將經(jīng)過(guò)濾波和邊緣檢測(cè)等步驟預(yù)處理的圖片分別使用不同的結(jié)構(gòu)元素進(jìn)行開(kāi)運(yùn)算。初始的結(jié)構(gòu)元素1和結(jié)構(gòu)元素2分別被設(shè)定為斜率1和－1的直線(xiàn)結(jié)構(gòu)元素，用以檢測(cè)道路左邊線(xiàn)和右邊線(xiàn)。由于車(chē)輛轉(zhuǎn)彎等原因，道路兩條邊緣線(xiàn)在圖片中的斜率是時(shí)刻變化的，所以不能使用一成不變的結(jié)構(gòu)元素對(duì)圖片進(jìn)行開(kāi)運(yùn)算?？紤]到相機(jī)幀頻為每秒15幀，相鄰兩幅圖片中道路邊緣線(xiàn)斜率變化不大，因此可以根據(jù)Hough變換得到的道路邊緣線(xiàn)的斜率，實(shí)時(shí)更新對(duì)應(yīng)斜率的直線(xiàn)結(jié)構(gòu)元素，為下一張圖片的邊緣線(xiàn)準(zhǔn)確查找打下基礎(chǔ)。程序流程如圖7所示。

圖7 計(jì)算姿態(tài)角程序流程圖

根據(jù)以上算法，程序得到了整個(gè)實(shí)驗(yàn)過(guò)程中航向角和俯仰角隨時(shí)間的變化關(guān)系，如圖8所示，從圖中可以看出，相對(duì)于航向角而言，俯仰角在整個(gè)過(guò)程中的變化幅度小，但變化頻率較高，這是由于車(chē)輛在推動(dòng)過(guò)程中的震動(dòng)造成的。

圖8 姿態(tài)角隨時(shí)間的變化關(guān)系

實(shí)驗(yàn)中我們測(cè)量了小車(chē)的平均推行速度，在假定小車(chē)一直以勻速率運(yùn)動(dòng)的前提下，我們由實(shí)時(shí)的航向角變化計(jì)算出了小車(chē)的運(yùn)行軌跡，如圖9所示。圖中看到，小車(chē)在前行過(guò)程中向道路右側(cè)橫向偏離了約1 m的距離。

圖9 車(chē)輛行駛軌跡

圖10為掃描儀點(diǎn)云數(shù)據(jù)按車(chē)輛運(yùn)動(dòng)軌跡配準(zhǔn)原理圖，為躲避障礙物(如道路上的損毀部分)，車(chē)輛選擇了曲線(xiàn)行駛繞過(guò)障礙物，為準(zhǔn)確獲取真實(shí)場(chǎng)景的三維重構(gòu)結(jié)果，掃描儀的每條掃描線(xiàn)必須依據(jù)車(chē)輛的實(shí)時(shí)位置、航向角在世界坐標(biāo)系下進(jìn)行修正，即依據(jù)車(chē)輛運(yùn)動(dòng)軌跡對(duì)掃描儀數(shù)據(jù)進(jìn)行配準(zhǔn)，以保證較為精確的獲得真實(shí)場(chǎng)景的三維重構(gòu)結(jié)果。

圖10 掃描儀點(diǎn)云數(shù)據(jù)按車(chē)輛運(yùn)動(dòng)軌跡配準(zhǔn)原理圖

圖11給出了在沒(méi)有對(duì)掃描儀數(shù)據(jù)進(jìn)行角度姿態(tài)校正的時(shí)候重建出的道路三維形貌的俯視偽彩色圖，圖中的深色區(qū)域?yàn)槁访?，淺色區(qū)域?yàn)槿诵械馈?duì)比圖5可以看出，原本直線(xiàn)度良好的道路經(jīng)三維重建以后出現(xiàn)了明顯的扭曲失真，道路邊緣沿道路橫向的最大移位約為1 m，與車(chē)輛行駛時(shí)的最大橫向偏離距離相當(dāng)。

圖11 未進(jìn)行姿態(tài)校正前道路的三維重建結(jié)果俯視圖

圖12給出了經(jīng)角度姿態(tài)校正后的道路三維重建結(jié)果俯視圖，從圖中可以看出，失真現(xiàn)象得到了糾正，道路的直線(xiàn)特征被較好的還原出來(lái)，由重建結(jié)果的數(shù)據(jù)可得到道路邊緣線(xiàn)的移位小于5 cm，且道路各三維參數(shù)與實(shí)地測(cè)量值吻合的很好。因此可以認(rèn)為，由本文算法得到實(shí)時(shí)姿態(tài)角是準(zhǔn)確可靠的。

圖12 進(jìn)行姿態(tài)校正后道路的三維重建結(jié)果俯視圖

3 結(jié)論

本文分析了一種應(yīng)用于道路三維重建的姿態(tài)角測(cè)量方法。實(shí)驗(yàn)結(jié)果表明，在車(chē)輛出現(xiàn)一定的航向角和俯仰角變化的情況下，重建后的三維形貌準(zhǔn)確恢復(fù)出了實(shí)際的道路特征。在特定領(lǐng)域的應(yīng)用中，該方法是除了慣導(dǎo)系統(tǒng)和角度傳感器之外的另一種低成本高精度的姿態(tài)角測(cè)量方法。

需要說(shuō)明的是，該方法的應(yīng)用領(lǐng)域存在一定的限制。例如當(dāng)?shù)缆窂澢鷩?yán)重以致不能保證路面較為平直的假設(shè)時(shí)，會(huì)導(dǎo)致滅點(diǎn)查找失敗的情況出現(xiàn);為保證車(chē)輛在以大的角度轉(zhuǎn)彎過(guò)程中不丟失圖像中的滅點(diǎn)信息，需要增加鏡頭視場(chǎng)角或者使用多臺(tái)相機(jī)多角度拍攝圖像。此外，受限于算法復(fù)雜度的影響，在CPU為Core2 Duo 2.8GHz的計(jì)算機(jī)平臺(tái)上，本方法目前的實(shí)時(shí)角度測(cè)量頻率僅達(dá)3 Hz～5 Hz。下一步的工作需要進(jìn)一步研究算法的優(yōu)化，從而提高實(shí)時(shí)測(cè)量頻率。

［1］毛可駿，周平，趙勻，等，基于機(jī)器視覺(jué)的自主插秧機(jī)導(dǎo)航信息的提取研究［J］.農(nóng)機(jī)化研究，2009，5(5):63－66.

［2］Li Xu，Zhang Weigong，Bian Xiaodong.Research on Detection of Lane Based on Machine Vision［J］.Journal of Southeast University(English Edition)，2004，20(2):176－179.

［3］Massimo Bertozzi，Alberto Broggi.GOLD:A Parallel Real-Time Stereo Vision System for Generic Obstacle and Lane Detection［J］.IEEE Transactions on Image Processing，1998，7(1):62－81.

［4］Massimo Bertozzi，Alberto Broggi，Alessandra Fascioli.Stereo Inverse Perspective Mapping:Theory and Applications［J］.Image and Vision Computing，1998，16:585－590.

［5］李紅，柴洪林，彭嘉雄.基于滅點(diǎn)查找的無(wú)人機(jī)姿態(tài)角估計(jì)［J］.華中科技大學(xué)學(xué)報(bào)，2007，35(6):4－7.

［6］劉士清，胡春華，朱紀(jì)洪.一種基于滅影線(xiàn)的無(wú)人直升機(jī)位姿估計(jì)方法［J］.計(jì)算機(jī)工程與應(yīng)用，2004，(9):50－54.

［7］蔣剛毅，郁梅.基于滅點(diǎn)查找的車(chē)道狀態(tài)估計(jì)［J］.電路與系統(tǒng)學(xué)報(bào)，2001，6(3):6－10.

［8］舒遠(yuǎn)，談?wù)?，丁禮儒.利用空間正交約束的相機(jī)自標(biāo)定和三維重建［J］.西安交通大學(xué)學(xué)報(bào)，2005，39(2):138－141.

［9］榮瑞霞，歐龍，張麗娜，等.基于滅點(diǎn)理論的普通數(shù)碼相機(jī)標(biāo)定方法［J］.工程地球物理學(xué)報(bào)，2007，4(2):152－156.

［10］張劍清，張勇，方芳.鉛垂線(xiàn)輔助城區(qū)航空影像的絕對(duì)定向［J］.武漢大學(xué)學(xué)報(bào)·信息科學(xué)版，2007，32(3):197－200.

［11］馬琳，鄭南寧，李青，等.自主車(chē)輛視覺(jué)系統(tǒng)的攝像機(jī)動(dòng)態(tài)自標(biāo)定算法［J］.西安交通大學(xué)學(xué)報(bào)，2005，39(10):1072－1076.

［12］胡釗政，談?wù)?一種基于二滅點(diǎn)的攝像機(jī)自標(biāo)定新算法［J］.空間電子技術(shù)，2005，(1):42－46.

［13］李青，鄭南寧，張雪濤.用三線(xiàn)法標(biāo)定車(chē)載攝像機(jī)的外部參數(shù)［J］.光電工程，2004，31(8):23－26.

［14］謝文寒，張祖勛，張劍清.一種新的基于滅點(diǎn)的相機(jī)標(biāo)定方法［J］.哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2003，35(11):1384－1387.

［15］鄧劍文，安向京，賀漢根.基于道路結(jié)構(gòu)特征的自主車(chē)視覺(jué)導(dǎo)航［J］.吉林大學(xué)學(xué)報(bào)，2004，22(4):415－419.

［16］朱彤，閻瑩，袁志業(yè).一種基于形態(tài)學(xué)變換的車(chē)道檢測(cè)方法［J］.山東交通學(xué)院學(xué)報(bào)，2006，14(1):13－16.