甘長紅,白 云,彭 俊,孫玉祥
(河南凱瑞車輛檢測認證中心有限公司,河南 焦作454900)
汽車全景影像監(jiān)測系統(tǒng)可以實時向駕駛人員展示車輛周圍的環(huán)境信息(360°鳥瞰圖像),同時也可顯示單一視圖,并配合標尺線確定與障礙物的距離,幫助駕駛員及時掌握車身周圍的交通環(huán)境,輔助駕駛員泊車入位、窄道會車、障礙規(guī)避等難題,有效減少行車剮蹭等交通事故,對提高行車安全性具有重大意義[1]。
汽車全景影像監(jiān)測系統(tǒng)尚處于發(fā)展階段,圖像拼接算法還在不斷優(yōu)化。但由于技術和成本制約,還存在圖像拼接品質(zhì)普遍不高,圖像拼接品質(zhì)評價以主觀評價為主的現(xiàn)象。對汽車全景影像監(jiān)測系統(tǒng)圖像拼接環(huán)節(jié),可能存在的形變、丟失、重影、算法過度美化等問題,還未有一致的實車測試方案。而這些新“盲區(qū)”的存在,會給駕駛員帶來額外的安全隱患。面對這種情況,本文設計一種汽車全景影像監(jiān)測系統(tǒng)圖像拼接品質(zhì)的測試方法,在棋盤格的基礎上,增加激光點掃描步驟,并進行了實際測試和總結思考。
汽車全景影像監(jiān)測系統(tǒng)的硬件一般由處理器、顯示器和4個魚眼鏡頭構成。4個魚眼鏡頭分別采集車輛前、后、左、右4個方向的圖像信息傳遞給處理器,經(jīng)過算法處理,在顯示器上顯示一個可直觀監(jiān)測車輛周圍環(huán)境的鳥瞰畫面[2]。
汽車全景影像監(jiān)測系統(tǒng)圖像的拼接環(huán)節(jié)主要包括:畸變校正、透視變換、圖像拼接和圖像融合。
首先要對原始圖像信息進行畸變校正,魚眼鏡頭雖可以采集到更多的圖像信息,但圖像邊緣區(qū)域會有較大畸變產(chǎn)生,對此一般采用張氏標定法進行校正。之后得到4個略微失真有重疊區(qū)域的圖像。這時圖像視角仍為攝像機視角,還要將4個校正后的圖像視角統(tǒng)一透視變換為鳥瞰視角 (紅線分割區(qū)域為校正、透視變換后圖像),見圖1。
變換視角后,通常用基于不變特征點的方法對圖像進行拼接,基于不變特征點的方法是通過識別重疊區(qū)域的相同特征點(黃色框內(nèi)區(qū)域為重疊區(qū)域),對4個畫面進行拼接。最后使用圖像融合算法消除拼接區(qū)域的縫隙[3],得到車輛鳥瞰畫面。
圖1 鳥瞰畫面
分析圖像拼接的全過程,找出主要測試需求點。
1)圖像畸變一般在圖像邊緣區(qū)域比較嚴重,而圖像拼接的區(qū)域也正是在圖像邊緣區(qū)域,因此要增加畸變校正品質(zhì)的測試要求,仍選用棋盤格圖卡。
2)圖像拼接過程一般采用基于不變特征點的方法。此時拼接用的圖像為校正畸變后的圖像(會有一定失真),基于不變特征點的算法在自動選取特征點時又有不確定性,這使得汽車全景影像監(jiān)測系統(tǒng)在圖像的拼接區(qū)域可能出現(xiàn)圖像畸變、圖像拼接不齊、拼接重影等問題,形成一種新的“盲區(qū)”。為此在棋盤格測試的基礎上,增加激光點掃描的測試方法。通過觀察車內(nèi)顯示器中激光點是否有形變、消失、重影等現(xiàn)象,測試汽車全景影像監(jiān)測系統(tǒng)拼接區(qū)域的圖像品質(zhì)。
本測試采用一套分辨率為360P的汽車全景影像監(jiān)測系統(tǒng),具體測試過程如下。
將汽車全景影像監(jiān)測系統(tǒng)打開,用黑色貼紙遮擋前后攝像頭。此時顯示器中車輛前后端出現(xiàn)扇形陰影區(qū)域,陰影區(qū)域即為此魚眼鏡頭的圖像采集區(qū)域。
接著對陰影區(qū)域進行標記畫線,畫線需兩人配合,一人在車內(nèi),一人在車外。車內(nèi)人員通過觀察顯示器畫面進行指揮,車外人員主要移動卷尺和做標記。車外人員先觀察顯示器,然后將卷尺拉長放在正常顯示區(qū)域和陰影區(qū)域的交界處,聽車內(nèi)人員指揮,調(diào)整卷尺位置,使其覆蓋在正常顯示區(qū)域和陰影區(qū)域的交界線上,接著把粉筆作為可移動標記,放在拉長后的卷尺上,前后移動確定線的起止點(線的中點也就確定了),用粉筆連接起止點。用同樣的方法畫出剩下的線,得到圖像拼接的重疊區(qū)域。
分區(qū)結果見圖2、圖3,其中前后魚眼鏡頭的采集區(qū)域用紅色粉筆線標記,左右魚眼鏡頭的采集區(qū)域用藍色粉筆標記,可見到4個重疊區(qū)域。
圖2 車前
圖3 車后
將棋盤格圖卡的長邊的中點與紅、藍色畫線的中點對齊,然后調(diào)整圖卡左右邊距離紅、藍色畫線的位置(用卷尺測量,使左右邊距離紅、藍畫線的距離相等),讓圖卡居中放置在圖像拼接的拼接區(qū)域,車內(nèi)人員通過顯示器用全景模式觀察記錄,結果見圖4。
車外人員用支架支撐激光筆,以每秒約一個小方格的速度,在棋盤格上進行左右掃描和上下掃描。車內(nèi)人員通過顯示器觀察記錄,結果見圖5。
圖4 放置圖卡后顯示器畫面
圖5 激光點掃描
1)棋盤格測試中,顯示器中的4個圖卡均有一定程度的重影現(xiàn)象,其中右后方最為嚴重,放大看,黑色方格成長條形。
2)激光掃描測試中,可在汽車全景影像監(jiān)測系統(tǒng)的顯示器上觀察到激光點的移動,但比較模糊,未觀察到激光點有明顯形變、消失、重影現(xiàn)象。在車外,激光點靜止時,拍照清晰可見,但在汽車全景影像監(jiān)測系統(tǒng)的顯示器中,由于拍攝造成的畫質(zhì)進一步損失,不易拍攝到。
由于攝像頭像素和顯示器分辨率的限制,肉眼雖可在顯示器上觀察到激光點的移動,但對激光點可能存在的形變、消失、重影問題顯現(xiàn)效果一般。可適用于顯示畫面良好汽車全景影像監(jiān)測系統(tǒng),因此該方法具有一定實用價值,但仍需進一步優(yōu)化,著重提高激光點的可見性。針對這些不足,提出幾點改進措施。
1)對于顯示器中激光點的清晰度問題,發(fā)現(xiàn)在黑色背景下,顯示器中的激光點更易可見。因此可在封閉室內(nèi)進行,標記好圖像拼接區(qū)域后,在微光環(huán)境下進行激光掃描。還可在保證安全性的前提下,增加激光的功率和激光點的大小。
2)為提高顯示器畫面的清晰度,可適當減少魚眼鏡頭和測試圖卡的距離,如在帶三軸旋轉的架子上放置圖卡,方便快速移動調(diào)整圖卡的位置和角度。
3)為提高效率,可采用多點激光陣列或激光圖案進行掃描。