白永,關(guān)利海

(華晨汽車工程研究院,遼寧沈陽(yáng) 110141)

全景環(huán)視輔助泊車系統(tǒng)的研究

白永,關(guān)利海

(華晨汽車工程研究院,遼寧沈陽(yáng) 110141)

隨著城市道路越來越擁擠，駕駛員行車和停車的環(huán)境也日益復(fù)雜，能否為駕駛員提供車輛周圍全方位的可視監(jiān)控信息是提高行車安全性的關(guān)鍵。為此，對(duì)一種全景環(huán)視泊車輔助系統(tǒng)進(jìn)行了研究，該系統(tǒng)包括1個(gè)中央控制器、1個(gè)顯示器和分別安裝在車輛前、后和兩側(cè)的4個(gè)廣角攝像頭。4個(gè)攝像頭分別采集車輛前、后、左和右4個(gè)方向的圖像信息，傳送給中央控制器，經(jīng)過攝像頭參數(shù)校正、鏡頭扭曲校正、鳥瞰視角轉(zhuǎn)換、白平衡匹配和圖像縫合處理，最終在顯示器上顯示一個(gè)可直觀監(jiān)視車輛周圍環(huán)境的全景鳥瞰畫面。

全景環(huán)視；視角轉(zhuǎn)換；圖像縫合；泊車輔助

0 前言

隨著經(jīng)濟(jì)的發(fā)展，城市道路上的車輛越來越多，司機(jī)駕車和停車的環(huán)境越來越復(fù)雜。為此，能提高行車安全性的泊車輔助系統(tǒng)越來越受到人們的關(guān)注。因此各種汽車駕駛輔助系統(tǒng)應(yīng)運(yùn)而生，如超聲波測(cè)距的倒車?yán)走_(dá)系統(tǒng)、在車輛后方安裝攝像頭的后視影像系統(tǒng)等。這些系統(tǒng)都在一定程度上減輕了駕駛員的負(fù)擔(dān)，但都有不夠直觀、存在盲區(qū)的缺點(diǎn)，比較理想的輔助駕駛系統(tǒng)應(yīng)該能夠提供車輛四周全方位、無盲區(qū)的監(jiān)控信息[1]。因此，文中對(duì)一種全景環(huán)視泊車輔助系統(tǒng)進(jìn)行研究，旨在為駕駛員提供直觀的車輛周圍環(huán)境信息，從而更大程度地提高行車安全性。

1 全景環(huán)視系統(tǒng)組成、原理

該系統(tǒng)由1個(gè)中央控制器、1個(gè)顯示器和分別安裝在車輛前、后和兩側(cè)的4個(gè)廣角攝像頭組成，系統(tǒng)結(jié)構(gòu)如圖1所示。

4個(gè)攝像頭分別采集車輛前、后、左和右4個(gè)方向的圖像信息，傳送給中央控制器，經(jīng)過攝像頭參數(shù)校正、鏡頭扭曲校正、鳥瞰視角轉(zhuǎn)換、白平衡匹配和圖像縫合處理，最終在顯示器上顯示一個(gè)可直觀監(jiān)視車輛周圍環(huán)境的全景鳥瞰畫面，圖像處理過程如圖2所示。

2 攝像頭參數(shù)與鏡頭扭曲校正

全景環(huán)視系統(tǒng)的復(fù)雜程度取決于使用攝像頭數(shù)量的多少，為了降低系統(tǒng)實(shí)現(xiàn)的難度，就要盡可能采用較少的攝像頭，該系統(tǒng)采用4個(gè)攝像，即車輛每個(gè)方向用1個(gè)攝像頭進(jìn)行監(jiān)控。普通攝像頭受到視野范圍的局限，無法用單個(gè)攝像頭監(jiān)控車輛一側(cè)全部的范圍，因此該系統(tǒng)采用廣角攝像頭來采集車輛四周的圖像。廣角攝像頭的引入，增加了攝像頭的視野范圍，同時(shí)也造成了圖像的嚴(yán)重畸變，要反映實(shí)際景物，必須要進(jìn)行攝像頭參數(shù)校正和鏡頭扭曲校正。

2.1 攝像頭參數(shù)校正

利用攝像頭監(jiān)控時(shí)，首先要進(jìn)行的第一步是標(biāo)識(shí)攝像頭參數(shù)校正。對(duì)于尚未進(jìn)行校正的攝像頭而言，是無法辨別物體真正大小的，甚至相對(duì)大小都無法辨識(shí)。攝像頭參數(shù)校正的目的是為了建立實(shí)際3D空間和圖像投影平面的關(guān)系，如圖3所示。

攝像頭參數(shù)校正分為內(nèi)部參數(shù)校正和外部參數(shù)校正。內(nèi)部參數(shù)主要實(shí)現(xiàn)圖像坐標(biāo)和攝像頭坐標(biāo)之間的變換，它反映了攝像頭的內(nèi)部幾何學(xué)成像原理，也就是如何從光學(xué)系統(tǒng)形成圖像的過程，內(nèi)部參數(shù)校正在攝像頭安裝到車輛上之前即可完成。攝像頭外部參數(shù)實(shí)現(xiàn)實(shí)際3D空間坐標(biāo)到2D圖像平面坐標(biāo)的變換，反映了攝像頭在實(shí)際車輛上的安裝位置和方向。這些與車輛相關(guān)的外部參數(shù)要在攝像頭安裝到車輛上之后，才能完成校正[2]。

2.2 鏡頭扭曲校正

廣角鏡頭的一般定義為：鏡頭的焦距比CCD對(duì)角線的長(zhǎng)度短的攝像頭。由于廣角鏡頭焦距短，雖然視角會(huì)增大，可是光學(xué)成像的特性會(huì)造成離鏡頭中心越遠(yuǎn)的影像，其形變?cè)酱?，離鏡頭中心越近的影像，其形變?cè)叫。此^的扭曲失真[3]。光學(xué)成像特性如圖4所示。

扭曲的影像必須要經(jīng)過校正才能繼續(xù)進(jìn)行后續(xù)的處理，鏡頭扭曲校正的目的就是了為盡量減小3D空間中的物體映射到攝像頭圖像平面中所引起的圖像扭曲失真。鏡頭扭曲校正的效果如圖5—7所示。

圖5 原始圖像

圖6 扭曲校正圖像 圖7 扭曲校正后的圖像

3 鳥瞰視角轉(zhuǎn)換與白平衡匹配

3.1 鳥瞰視角轉(zhuǎn)換

由于安裝在車輛四周的每個(gè)攝像頭受到安裝位置的限制，光軸與地面存在一定的角度，獲取到的視頻圖像存在透視效果，而全景環(huán)視系統(tǒng)所要求的全景鳥瞰圖，從視覺效果上要求是90°的俯視效果，因此需要對(duì)車輛前、后、左和右4個(gè)方向的視頻圖像進(jìn)行逆投影變換，消除視頻圖像的透視效果，將視頻圖像轉(zhuǎn)換為鳥瞰圖。

為了得到視頻圖像的俯視圖，需要建立生成的俯視圖像與原始圖像之間的像素映射關(guān)系，如圖8所示，將俯視圖中每個(gè)像素與原始圖中的像素對(duì)應(yīng)。視角轉(zhuǎn)變后的效果如圖9、圖10所示。

圖8 像素坐標(biāo)對(duì)應(yīng)關(guān)系

圖9 原始圖像 圖10 視角轉(zhuǎn)換后的圖像

3.2 白平衡匹配

車輛在行駛中，車身周圍的環(huán)境會(huì)受到光照、天氣等因素的影響，視頻圖像的亮度、色彩和對(duì)比度容易降低，會(huì)影響對(duì)駕駛員的輔助功能。另一方面，車輛行駛過程中，每個(gè)攝像頭所處的光照環(huán)境不同，所獲取的圖像亮度、色彩也不一致，并且隨著車輛行駛，每個(gè)攝像頭的亮度、色彩時(shí)刻都在變化。因此，為了使得到的全景鳥瞰圖像亮度和色彩均勻、一致，必須對(duì)整個(gè)系統(tǒng)的白平衡參數(shù)進(jìn)行匹配。

白平衡的匹配過程如下：首先需要根據(jù)環(huán)境條件，對(duì)每個(gè)攝像頭的白平衡參數(shù)進(jìn)行調(diào)節(jié)，確保每個(gè)攝像頭的亮度、色彩良好，然后中央控制器會(huì)將4個(gè)攝像頭的白平衡參數(shù)進(jìn)行整合，重新均勻分配。這種調(diào)節(jié)是動(dòng)態(tài)、實(shí)時(shí)進(jìn)行的，從而使得車輛運(yùn)行過程中，全景畫面的色彩、亮度始終一致。

4 圖像縫合

攝像頭采集的圖像，在經(jīng)過扭曲校正、視角轉(zhuǎn)換和白平衡匹配之后，要通過一種圖像縫合算法，將4個(gè)攝像頭的圖像縫合成一幅完整的全景圖像，如圖11所示。

采用基于圖像特征的圖像縫合算法，對(duì)于不同特性的圖像，選擇圖像中容易提取并能夠在一定程度上代表縫合圖像相似性的特征作為縫合依據(jù)?；谔卣鞯姆椒ㄔ趫D像縫合中具有較強(qiáng)的適應(yīng)性，根據(jù)特征的選擇和特征匹配方法的不同，可衍生出許多具體的縫合方法。這些縫合方法的主要共同之處是首先要對(duì)待拼接的圖像進(jìn)行預(yù)處理，也就是特征提取的過程，再利用提取到的特征完成兩幅圖像特征之間的匹配，通過特征的匹配關(guān)系建立圖像之間的拼接映射變換?；趫D像特征的拼接方法分為以下3個(gè)步驟：計(jì)算并提取圖像的特征集；將這些特征作為控制結(jié)構(gòu)，尋找兩幅圖像控制結(jié)構(gòu)的映射關(guān)系；建立控制結(jié)構(gòu)件的空間域的集合變換。通常利用最小二乘法原則建立一個(gè)二維多項(xiàng)式函數(shù)來對(duì)集合變換進(jìn)行擬合。圖像縫合后實(shí)際效果如圖12所示。

圖11 圖像縫合示意圖

圖12 圖像縫合效果

5 總結(jié)

針對(duì)道路行車環(huán)境日益復(fù)雜、人們渴望通過一種先進(jìn)的輔助泊車系統(tǒng)來提高行車安全性，提出了一種全景環(huán)視輔助泊車系統(tǒng)。對(duì)整個(gè)系統(tǒng)的結(jié)構(gòu)和工作原理進(jìn)行了介紹，并對(duì)系統(tǒng)實(shí)現(xiàn)過程中的攝像頭參數(shù)校正、鏡頭扭曲校正、鳥瞰視角轉(zhuǎn)換、白平衡匹配和圖像縫合等關(guān)鍵技術(shù)進(jìn)行了分析和研究。相信文中對(duì)全景環(huán)視輔助泊車系統(tǒng)的研究將對(duì)汽車安全輔助系統(tǒng)的發(fā)展有一定的指導(dǎo)價(jià)值。

【1】 操虹.車載環(huán)視顯示系統(tǒng)設(shè)計(jì)[D].合肥：合肥工業(yè)大學(xué)，2009.

【2】 TSAI T Y.An efficient and accurate camera calibration technique for 3D machine vision[C]//IEEE Proceedings of Conf on Computer Vision and Pattern Recognition,1980.

【3】 袁輝.魚眼鏡頭視頻圖像實(shí)時(shí)校正算法研究與實(shí)現(xiàn)[D].廣州:中山大學(xué),2007.

ResearchonAroundViewMonitorSystemforParkingAssistance

BAI Yong, GUAN Lihai

(Brilliance Automotive Engineering Research Institute, Shenyang Liaoning 110141,China)

With the urban roads more crowded and the environment of driving and parking for driver more complicated, whether the driver can be provided the visible surrounding information of vehicle is the critical factor for improving the driving security. Therefore, a around view monitor (AVM) system for parking assistance was researched. This AVM system was composed by a controller, a monitor and four wide-angle cameras which were mounted in front, rear and both sides respectively. The complete surrounding image information in front, back and sides of vehicle were collected by cameras and sent to the controller. After the processing in camera calibration, lens distortion correction, bird-view transformation, white balance match and images mosaic, a complete surrounding bird-view picture which could be used to monitor the surrounding condition clearly was displayed on the screen.

Around view monitor; View transformation; Image stitch; Parking assistance

2013-10-23

白永(1982—)，男，本科，助理工程師，研究方向?yàn)樘綔y(cè)系統(tǒng)及電氣新技術(shù)。E-mail：yong.bai@brilliance-auto.com。