基于多傳感器信息融合的車輛目標識別方法?

孫 寧，秦洪懋，張 利，葛如海

基于多傳感器信息融合的車輛目標識別方法?

孫 寧1，秦洪懋2，張 利3，葛如海1

(1.江蘇大學汽車與交通工程學院，鎮(zhèn)江 212013； 2.北京航空航天大學，車路協(xié)同與安全控制重點實驗室，北京 100191；3.東風商用車技術(shù)中心，武漢 430056)

鑒于傳統(tǒng)車輛避撞系統(tǒng)中，因采用單一傳感器進行目標識別，在感知范圍、識別準確性等方面存在的固有缺陷，本文中提出了一種基于雷達與機器視覺信息融合的目標識別方法。該方法獲取目標序列后，在目標級融合方法的基礎上，引入馬氏距離進行觀測值匹配。再應用聯(lián)合概率數(shù)據(jù)關聯(lián)(JPDA)算法進行數(shù)據(jù)融合，建立系統(tǒng)觀測模型與狀態(tài)模型，從而實現(xiàn)了基于信息融合的目標識別。試驗驗證結(jié)果表明，該方法基于雷達與攝像頭數(shù)據(jù)，可實現(xiàn)目標的準確識別與定位，其工程適應面更廣。

車輛識別；信息融合；狀態(tài)估計；觀測模型

前言

據(jù)有關統(tǒng)計[1]，交通事故中57%與車輛追尾碰撞有關。因此，車輛碰撞預警方法的研究以及相應系統(tǒng)的開發(fā)對減少交通事故、改善道路交通安全具有重大意義。

近年來，國內(nèi)外學者從不同角度提出了各種不同的車輛碰撞預警方法和系統(tǒng)[2-4]，目前已經(jīng)應用于工程領域的車輛避撞方法和系統(tǒng)一般是通過機器視覺或雷達識別出前方障礙物，然后進行避撞決策，最后將決策結(jié)果輸出到執(zhí)行器或預警人機接口(human machine interface，HMI)。但無論是雷達還是攝像頭都有自身缺陷，都會受到各種不利環(huán)境因素影響，導致在特定的場景中，目標識別的能力大大減弱[5]。因此，上述車輛避撞方法和系統(tǒng)，因受單傳感器的感知能力制約，都存在一定的缺陷，不能在實際全工況場景中，有效避免車輛碰撞。據(jù)此，本文中將毫米波雷達與攝像頭信息進行融合，提出一種車輛目標識別方法。

1 總體設計

目前國內(nèi)學者從不同角度出發(fā)，對信息融合的方法進行了劃分[6-7]。其中被廣泛應用的是將信息融合分為“數(shù)據(jù)級融合方法”與“目標級融合方法”。

數(shù)據(jù)級融合方法基本的思路是：利用攝像頭等傳感器探測到的目標位置，迅速確定圖像上的“感興趣區(qū)域”(region of interest，ROI)，然后調(diào)用圖像算法對該區(qū)域進行檢測，確定區(qū)域內(nèi)是否含有車輛。這類方法的主要目的是加速圖像的識別過程，提高系統(tǒng)的實時性[8]。

目標級融合方法基本的思路是：單傳感器先獨立分別給出各自的判斷結(jié)果，即目標序列。采用融合算法對這些結(jié)果進行綜合判斷，將算法認為有效的結(jié)果作為輸出結(jié)果。與數(shù)據(jù)級融合方法相比，目標級融合方法能更有效地發(fā)揮出傳感器的識別技術(shù)優(yōu)勢，系統(tǒng)魯棒性更強[9]。

因此，本文中采用“目標級”融合方法。具體的實現(xiàn)方法是：由攝像頭與雷達各自完成目標的檢測，然后進行數(shù)據(jù)融合，實現(xiàn)準確的目標識別。在車輛控制系統(tǒng)中的具體硬件框架如圖1所示。

圖1 信息融合系統(tǒng)硬件框架

首先雷達通過自身的信號處理解析出多個可能的目標，獲得其位置和速度信息。在此基礎上，結(jié)合攝像頭模塊所提供的目標位置和速度信息，對所有原始目標進行一一匹配和觀測值的融合，進行目標跟蹤與維護，同時處理邊界情況(目標的出現(xiàn)和消失)。最終的融合結(jié)果被發(fā)送到CAN總線上，為車輛避撞功能模塊的決策提供信息依據(jù)。

2 信息融合方法

該融合方法的前提條件是，雷達和攝像頭能提供有效目標序列。具體而言，雷達可提供目標的位置與縱向速度信息(x，y，vy)，攝像頭的圖像處理算法可以提供目標的位置、尺寸和類型信息(x，y，width，type)。兩個目標序列經(jīng)過融合后，輸出完整的位置、寬度和類型信息(x，y，width，type，quality)。融合系統(tǒng)的輸入輸出關系如圖2所示。

圖2 融合系統(tǒng)I/O

需要說明的是，完整的車輛識別功能包括兩部分：即每一個周期內(nèi)對目標的識別和對上一幀檢測到的目標的跟蹤。跟蹤的目的就是維護有效的“目標車輛庫”，為信息融合算法提供最終的目標序列[10]。因此這是完整的車輛識別與跟蹤的基礎，也是該融合方法的前提條件[11]。

本文中融合方法在獲得了雷達與攝像頭兩方面的目標序列后，解決以下3個問題。

(1)觀測值匹配問題 將本周期新識別到的目標與跟蹤目標相匹配。圖3中展示了雷達和攝像頭對目標探測誤差的特點：雷達在目標縱向距離上探測精度較高，但橫向探測誤差較大。攝像頭則恰好相反。因此每一周期獲得的雷達相對于攝像頭目標是有偏離的，需要一種有效的手段來確認雷達和攝像頭的哪些觀測值由同一輛車產(chǎn)生，然后進行融合。

圖3 雷達與攝像頭測量誤差示意圖

(2)數(shù)據(jù)融合問題 確認兩個分別來自雷達和攝像頭的觀測值對應著同一個車輛目標后，融合兩者給出最終結(jié)果。圖4示出雷達與攝像頭識別結(jié)果的融合概率。由圖4可知，以目標橫向距離探測為例，兩個傳感器有各自的觀測值分布。理論上，這兩個分布有著相同的平均值，但是由于傳感器特性的不同，它們有不同的方差，分布曲線也不盡相同[12]。融合算法需要從兩種傳感器的特性出發(fā)，綜合兩條分布曲線得到融合結(jié)果的概率分布。通?？芍庇^地認為融合結(jié)果應該介于兩個觀測值之間，如圖3中外橢圓區(qū)域I所示。

圖4 雷達與視覺識別結(jié)果的融合概率

(3)維護有效目標庫 每一周期可能會有新目標出現(xiàn)和舊目標的消失。對于沒有新觀測值的目標，需要從跟蹤序列中刪除。對于新的觀測值，需要建立一個新目標來初始化跟蹤。

3 信息融合算法設計與實現(xiàn)

3.1 基于馬氏距離的觀測值匹配

馬氏距離是印度統(tǒng)計學家提出的計算兩點間協(xié)方差距離的方法[13]。定義預測值與觀測值的馬氏距離為

式中：zi為本周期第 i個目標觀測值；zk｜k-1為基于前k-1時刻的本周期的目標預測值；Sk為兩個樣本間的協(xié)方差矩陣，它的第m行第n列元素定義為兩個樣本第m和第n個元素的協(xié)方差。

滿足條件的觀測值的集合為

式中：z為觀測值集合中的元素，若一觀測值在式(2)所定義的區(qū)域中，則認為它是有效的；C為限定閾值，一般 C取3時，有效觀測值都會包含在區(qū)域中。

而如上節(jié)所述，本文中的信息融合方法首先需要解決的是觀測值匹配問題。

其數(shù)學描述為

式中：{xk，k＝ 0，1，2，…}是離散時間的狀態(tài)向量序列。uk-1為已知的控制輸入(對車輛目標的追蹤中并沒有控制輸入)。 {vk，k＝0，1，2，…}是一個獨立于其他變量，且滿足正態(tài)分布的系統(tǒng)噪聲。

圖5示出了與式(1)數(shù)據(jù)關聯(lián)的場景。在某一時刻(第k步)得到了基于前k-1步信息的預測值z＾k｜k-1和一系列本周期的觀測值。本文中采用馬氏距離的方法來匹配雷達與攝像頭的觀測值，需確定觀測值的具體來源。

圖5 數(shù)據(jù)關聯(lián)問題示意圖

本文中的融合算法定義：當C＝3時，有效觀測值都會包含在式(2)描述的區(qū)域中。

3.2 基于JPDA數(shù)據(jù)融合模型

如上節(jié)所述，觀測值匹配之后，下一步是對它們進行有效融合。本文中采用JPDA(joint probability data association)方法進行數(shù)據(jù)融合[14]。

圖6示出了JPDA狀態(tài)估計的原理[15]，包括目標狀態(tài)更新與存在性概率更新。其中狀態(tài)更新的流程與標準卡爾曼濾波基本一致，存在性概率與其同時進行跟蹤。

在車輛跟蹤問題中，系統(tǒng)的狀態(tài)方程為

式中：xi，k為 nx維的狀態(tài)向量，下標 i表示第 i個目標；vk為平均值為0的白噪聲，只與狀態(tài)方程特性有關，同時觀測值與真實狀態(tài)的關系滿足：

圖6 JPDA算法流程

式中：zij，k為第j個傳感器對第i個目標的觀測值；Hj為真實值與觀測值數(shù)學模型中相關函數(shù)h的線性近似表示，它與不同傳感器觀測模型相關；wj，k為均值為0的白噪聲，值得注意的是它與不同的傳感器模型有關。它的協(xié)方差矩陣滿足：

完成第k-1步的狀態(tài)更新后，須對上一步的狀態(tài)值和觀測值進行預測：

然后是本周期的狀態(tài)更新過程：值得注意的是這為第i個目標根據(jù)第j個傳感器的測量值進行狀態(tài)更新的結(jié)果。Kij為卡爾曼增益矩陣，γij為觀測值與預測值的殘差向量，即

式中zij為上一節(jié)中驗證過的第i個目標的觀測值。此外，預測狀態(tài)的協(xié)方差定義為

式中Sij為殘差的協(xié)方差矩陣：

最后，計算卡爾曼增益矩陣：

接下來，最重要的是狀態(tài)值的更新，即將各觀測值預測狀態(tài)的加權(quán)平均，即

式中βij為目標xi產(chǎn)生觀測值zij的概率[12]。狀態(tài)量協(xié)方差更新為

式中ηij為假設偏差，定義為

由于視覺算法不能直接獲取目標車輛的速度信息，本文中采用“常速度模型”對車輛進行追蹤。在離散狀態(tài)模型中，狀態(tài)向量選取為

4個元素分別表示車輛目標的縱向位置、縱向速度、橫向位置和橫向速度。系統(tǒng)矩陣Fk滿足：

此外，觀測模型中觀測值向量為z＝[lylx]T。矩陣Hj滿足：

本文中的融合算法定義，當C＝3時，有效觀測值都會包含在描述區(qū)域中。

3.3 融合算法的實現(xiàn)

算法流程如圖7所示。具體步驟如下。

圖7 融合算法流程

步驟1 獲取新一周期雷達與攝像頭的目標序列后，利用馬氏距離將觀測值分配給現(xiàn)有的目標。需要注意的是，由于JPDA算法不能動態(tài)處理目標信息，此處須對車輛庫進行人工維護，即對未被分配的觀測值做一個簡單的處理，從而初始化目標。若有雷達和攝像頭目標的歐式距離小于一定范圍，則將它們?nèi)诤蠟橐粋€新的目標，狀態(tài)量取兩者平均值。

步驟2 對現(xiàn)有目標進行數(shù)據(jù)融合和狀態(tài)更新。

步驟3 對融合目標的參數(shù)進行整合，目標將直接獲得雷達提供的縱向速度信息和攝像頭提供的目標寬度信息。

4 試驗驗證

采用日本電產(chǎn)公司生產(chǎn)的6V60M1型毫米波雷達，松下GP-KD6Q01FC型攝像頭作為傳感器，表1和表2分別為雷達和攝像頭的主要性能參數(shù)。試驗車輛與設備如圖8所示。

表1 雷達基本性能參數(shù)

表2 攝像頭主要性能參數(shù)

為避免高峰期，試驗時間選擇上午 10：00～12：00。試驗路線為鎮(zhèn)江市環(huán)城公路(國道)，隨機識別社會車輛。

應用該融合算法，對試驗中雷達與攝像頭分別識別到的目標進行融合。圖9和圖10為同一段13s樣本的目標空間位置(橫/縱向位置)狀態(tài)估計結(jié)果。

圖8 試驗車輛與設備

圖9 目標橫向距離狀態(tài)估計結(jié)果

圖10 目標縱向距離狀態(tài)估計結(jié)果

由圖9和圖10可知，該融合算法有較好的狀態(tài)估計性能。為進一步統(tǒng)計本文中融合算法的識別性能，根據(jù)文獻[5]中的評價方案，針對超過7 000幀圖像，統(tǒng)計了5種不同的性能指標，分別為：(1)成功融合的目標；(2)只被雷達探測到的目標；(3)只被攝像頭探測到的目標；(4)未能成功融合的目標；(5)非車輛障礙物，一般是雷達探測到的護欄。表3為基于事件的統(tǒng)計數(shù)據(jù)。

由表3可知，在7 000幀圖像樣本中，未成功融合數(shù)量僅為4個，占總事件的6%。因此本文中的融合方法準確率較高，能彌補雷達與攝像頭各自的缺陷，有效地對目標進行識別。

表3 融合算法識別結(jié)果統(tǒng)計

5 結(jié)論

(1)針對目前車輛避撞系統(tǒng)工程領域中單一傳感器不能有效識別前方車輛目標的問題，提出一種基于雷達與攝像頭信息融合的目標識別方案。

(2)融合方案采用雷達為主、攝像頭為輔的硬件框架，引入馬氏距離進行目標序列的觀測值匹配，基于JPDA的數(shù)據(jù)融合算法構(gòu)建系統(tǒng)的觀測模型與狀態(tài)模型。

(3)試驗結(jié)果表明，該融合算法在測試事件中有效率高達94%，遠高于單一傳感器的識別效率(雷達11%，攝像頭17%)。

(4)該融合算法不足之處在于其高效檢測立足于雷達與攝像頭的有效目標識別區(qū)域(視野范圍)，如何將其擴展到只有單傳感器發(fā)揮作用的區(qū)域，還有待進一步研究。

[1] 譚華春，周洋，李克強，等.基于車尾部特征的對車輛的視覺精確定位[J].汽車安全與節(jié)能學報，2016，7(3)：285-290.

[2] VAHIDI A，ESKANDARIAN A.Research advances in intelligent collision avoidance and adaptive cruise control[J].IEEE Transactions on Intelligent Transportation Systems，2003，4(3)：143-153.

[3] DAGAN E，MANO O，STEIN G P，et al.Forward collision warning with a single camera[C].Intelligent Vehicles Symposium，IEEE Xplore，2004：37-42.

[4] MILLER R，HUANGQ.An adaptive peer-to-peer collision warning system[C].Vehicular Technology Conference， Vtc Spring 2002，IEEE.IEEE，2002：317-321.

[5] ALESSANDRETTI G，BROGGI A，CERRI P.Vehicle and guard rail detection using radar and vision data fusion[J].Intelligent Transportation Systems IEEE Transactions，2007，8(1)：95-105.

[6] 何友.多傳感器信息融合及應用[J].電子學報，2000，30(12)：60-61.

[7] 潘泉，王增福，梁彥，等.信息融合理論的基本方法與進展(Ⅱ)[J].控制理論與應用，2012，29(10)：599-615.

[8] 王海鵬，熊偉，何友，等.集中式多傳感器概率最近鄰域算法[J].儀器儀表學報，2010，31(11)：2500-2507.

[9] 宋強，熊偉，何友.多傳感器多目標系統(tǒng)誤差融合估計算法[J].北京航空航天大學學報，2012，38(6)：835-841.

[10] 劉貴如，周鳴爭，王陸林，等.城市工況下最小安全車距控制模型和避撞算法[J].汽車工程，2016，38(10)：1200-1205.

[11] SUN Z，BEBISG，MILLER R.On-road vehicle detection：a review[J].IEEETransactions on Pattern Analysis＆Machine Intelligence，2006，28(5)：694-715.

[12] 王寶鋒，齊志權(quán)，馬國成，等.一種基于雷達和機器視覺信息融合的車輛識別方法[J].汽車工程，2015，37(6)：674-678.

[13] MANJUNATH B S，MA W Y.Texture features for browsing and retrieval of image data[J].IEEE Transactions on Pattern Analysis＆ Machine Intelligence，1996，18(8)：837-842.

[14] ROECKER JA.Class of near optimal JPDA algorithms[J].IEEE Transactions on Aerospace ＆ Electronic Systems，1994，30(2)：504-510.

[15] LEE M S，KIM Y H.New multi-target data association using OSJPDA algorithm for automotive radar[J].Ieice Transactions on E-lectronics，2001，E84C(8)：1077-1083.

Vehicle Target Recognition Based on Multi-sensor Information Fusion

Sun Ning1， Qin Hongmao2， Zhang Li3＆ Ge Ruhai1

1.School of Automotive and Traffic Engineering， Jiangsu University， Zhenjiang 212013；2.Key Laboratory for Cooperative Vehicle Infrastructure Systems and Safety Control， Beihang University， Beijing 100191；3.Dongfeng Commercial Vehicle Technical Center，Wuhan 430056

In view of the inherent defects of traditional collison avoidance systems in respects of perception range， and recognition accuracy etc.due to adopting single sensor for target recognition， a target recognition method based on the information fusion of radar and machine vision is proposed.With the method，after target sequence is obtained，Mahalanobis distance is introduced to conduct observed values matching on the basis of taget level fusion method.Then joint probability data association(JPDA)algorithm is applied to data fusion，and the observation model and state model of the system are set up to achieve target recognition based on information fusion.The results of verification test show that the method based on radar and camera data can fulfill accurate target recognition and positioning with wider adaptive engineering field.

vehicle recognition； information fusion； state estimation； observation model

10.19562/j.chinasae.qcgc.2017.11.014

?國家自然科學基金(51505247)、江蘇省道路載運工具新技術(shù)應用重點實驗室開放基金(BM20082061501)和江蘇省研究生培養(yǎng)創(chuàng)新工程(KYLX16＿0882)資助。

原稿收到日期為2017年5月3日，修改稿收到日期為2017年6月6日。

秦洪懋，講師，E-mail：qinhongmao＠ buaa.edu.cn。