多傳感器信息融合在無人駕駛中的研究綜述

周文鵬 路林 王建明

（沈陽大學(xué)機械工程學(xué)院焊接無人化實驗室，沈陽110044）

主題詞：信號處理 模式和圖像識別 毫米波雷達 激光雷達 無人駕駛

MSIF Multi-Sensor Information Fusion

LiDAR Light Detection And Ranging

ToF Time of Flight

FMCW Frequency Modulated Continuous Wave

ADAS Advanced Driving Assistance System

LDW Lane departure warning

FCW Forward Collision Warning

TSR Traffic sign recognition

LKA Lane keep assistance

PCW Pedestrian Collision Warning

SVP Surround View Parking

MOT Moving object tracking

RJMCMC Reversible Jump Markov Chain Monte Carlo

JPDAF Joint Probabilistic Data Association Filter

ICP Iteration closest point

ROI region of interest

RGB red green blue

RPN Regional Proposal Network

BEV Bird's Eye View

CFCNet Correlation For Completion Network

2D2CCA 2DDeep Canonical Correlation Analysis

1 前言

智能交通系統(tǒng)是車輛有序運行的重要保障，道路環(huán)境感知技術(shù)是智能交通系統(tǒng)的基礎(chǔ)。傳感器感知并采集周圍環(huán)境數(shù)據(jù)在實現(xiàn)無人駕駛的各個階段都不可或缺。多傳感器信息融合（Multi-Sensor Infor?mation Fusion，MSIF）就是利用計算機科學(xué)技術(shù)將來自各個傳感器或多源頭的信息和數(shù)據(jù)在預(yù)定的規(guī)則下進行數(shù)學(xué)分析加上信息綜合，以完成相應(yīng)的決策和必要的估算而執(zhí)行的信息處理過程。在這個過程中要充分地利用多源數(shù)據(jù)進行合理操作與使用，信息融合不但運用了多個傳感器互相協(xié)同工作的優(yōu)勢，并且運用算法綜合處理了大量其它信息源數(shù)據(jù)，使得整個傳感器系統(tǒng)更加智能，信息融合的最終目的就是基于各個傳感器獲得的分離觀測信息，對信息多級別、多維度分析綜合之后推理出更多有價值的信息，對車輛的行為進行決策。在這個過程中，多傳感器信息融合算法有著不可替代的決策作用，所有的信息匯總之后經(jīng)由算法得出最終的決策判斷。近年來隨著芯片、計算機科學(xué)技術(shù)的快速發(fā)展，硬件算力的提升極大促進無人駕駛算法的發(fā)展，

本文從多傳感器的硬件配合應(yīng)用出發(fā)，重點介紹近年來用于無人駕駛的信息融合算法的研究與進展，提出基于機器學(xué)習(xí)的算法研究是未來的發(fā)展趨勢。

2 傳感器應(yīng)用現(xiàn)狀

無人駕駛車輛在面對復(fù)雜的路況環(huán)境下，需要大量的傳感器采集路況信息供車輛綜合分析得出決策，單一、同類型的傳感器無法滿足無人駕駛車輛分析路況信息的需求，在不同的道路環(huán)境下，不同傳感器有各自的獨特優(yōu)勢，目前國內(nèi)外應(yīng)用較多的主要分為3類：

（1）基于激光雷達;

（2）基于激光雷達加攝像頭；

（3）基于攝像頭。

基于激光雷達的定位方法完全依賴于激光雷達傳感器，具有測量精度高、處理方便的優(yōu)點。然而，盡管激光雷達行業(yè)努力降低生產(chǎn)成本，但與攝像頭比，它仍然有很高的價格。在典型的基于LiDAR+Camera的定位方法中，LiDAR數(shù)據(jù)僅用于建立地圖，并使用攝像頭數(shù)據(jù)估計無人駕駛汽車相對于地圖的位置，從而降低了成本?；跀z像機的定位方法是廉價和方便的，但是易受環(huán)境的影響，特別是遇到大風(fēng)、下雨、霧霾的惡劣天氣，單純基于攝像頭的定位通常不精確、不可靠。

2.1 激光雷達的應(yīng)用

激光雷達的工作原理：激光雷達(LiDAR)能釋放多束激光，接受物體反射信號，計算目標(biāo)與自身的距離。應(yīng)用較多的是利用反射信號的折返時間計算距離（ToF），也有調(diào)頻連續(xù)波（FMCW）方法。激光雷達具有分辨率高、隱蔽性好、抗有源干擾能力強、低空探測性好、輕便靈巧的優(yōu)點，不足是全天候性能低于微波雷達；波束窄，搜索目標(biāo)困難；技術(shù)上難度較大。在過去的幾年中，Mobile LiDAR取得了很大的進步。移動激光雷達捕獲不再需要專家精心組裝的大量電纜和配件?，F(xiàn)在，所有測繪級傳感器（例如Velodyne和Ouster的傳感器以及RIEGL、Trimble和Leica的測量級平臺）都更容易攜帶，即插即用。從寬的垂直視場或更長的測量范圍到多脈沖或更高的精度，每種傳感器都有其自身的優(yōu)勢。激光雷達的發(fā)展趨勢主要有2方面：（1）挑戰(zhàn)點密度和機器學(xué)習(xí)；（2）減少人工干預(yù)。

2.2 毫米波雷達的應(yīng)用

毫米波雷達發(fā)射電磁波并檢測回波來探測目標(biāo)物的有無、距離、速度和方位角。主要原理是：通過振蕩器形成持續(xù)變化的信號，在發(fā)出信號和接收信號之間形成頻率差，其差值與發(fā)射-接收時間差成線性關(guān)系，只要通過頻率差就能計算車輛與物體距離。毫米波雷達測速原理和普通雷達類似，有2種方法：

（1）基于多普勒原理，因發(fā)射的電磁波和被探測目標(biāo)產(chǎn)生相對移動，回波的頻率會和發(fā)射波的頻率不一樣，經(jīng)過檢測頻率差可測得目標(biāo)物相對于雷達的移動速度。但這種方法不能測得切向速度；

（2）通過跟蹤位置，進行微分求得速度。毫米波雷達的發(fā)展在對雷達傳感器選擇上是采用短距的24 GHz與長距的77 GHz組合還是全部采用77 GHz雷達一直是技術(shù)爭論的焦點，首先，77 GHz毫米波雷達的檢測精度更高，相對體積更小巧，利于車上器件安裝和布局，77 GHz的波長是3.9 mm，是真正意義上的毫米波。由于天線尺寸隨著載波頻率上升而變小，所以77 GHz波段的毫米波雷達系統(tǒng)尺寸也會比24 GHz更緊湊。77 GHz毫米波雷達正逐步取代24 GHz，成為汽車領(lǐng)域主流的傳感器。

2.3 攝像頭的應(yīng)用

車載攝像頭是ADAS系統(tǒng)的主要視覺傳感器。是實現(xiàn)眾多預(yù)警、識別類ADAS功能的基礎(chǔ)。通過鏡頭采集圖像，由內(nèi)部感光組件電路及控制組件對圖像進行處理并轉(zhuǎn)化為數(shù)字信號，從而感知車輛周圍的路況，實現(xiàn)圖像影像識別功能。在眾多ADAS功能中，視覺影像處理系統(tǒng)較為基礎(chǔ)，對于駕駛者也更為直觀，而攝像頭又是視覺影像處理系統(tǒng)的基礎(chǔ)，因此車載攝像頭對于智能駕駛必不可少。車道偏離預(yù)警（LDW）、前向碰撞預(yù)警（FCW）、交通標(biāo)志識別（TSR）、車道保持輔助（LKA）、行人碰撞預(yù)警（PCW）、全景泊車（SVP）、駕駛員疲勞預(yù)警眾多功能都可借助攝像頭實現(xiàn)，有的功能甚至只能通過攝像頭實現(xiàn)（表1）。車載攝像頭包括單目攝像頭、雙目攝像頭、廣角攝像頭。

表1 各類傳感器特點對比[16]

目前，隨著ADAS功能模塊使用率快速提升，較長時期內(nèi)傳感器市場的需求將主要被攝像頭、毫米波雷達、激光雷達這3類傳感器所驅(qū)動，只有各個傳感器互相配合使用，形成優(yōu)勢互補，再加上信息融合算法的優(yōu)化處理，才能更好的收集和處理無人駕駛中形成的海量環(huán)境數(shù)據(jù)，并給出相對更準(zhǔn)確的處理方案。

3 多傳感器信息融合的核心算法

無人駕駛感知模塊中傳感器融合已經(jīng)成為了標(biāo)配，只是這里融合的層次有不同，可以是硬件層（如禾賽，Innovusion的產(chǎn)品），也可以是數(shù)據(jù)層，還可以是任務(wù)層，如障礙物檢測（Obstacle detection）、車道線檢測（Lane detection）、分割（Segmentation）和跟蹤（Track?ing）以及車輛自身定位（Localization）等。對于多傳感器系統(tǒng)來說，時刻要面對多樣性、復(fù)雜性的環(huán)境信息，魯棒性和并行處理的能力便成了無人駕駛對信息融合算法的最基本要求。運算速度、識別精度、連接前端預(yù)處理系統(tǒng)以及后端信息識別系統(tǒng)的接口穩(wěn)定性、對不同技術(shù)和多種方法的上下兼容多方協(xié)調(diào)能力、對信息樣本和信息質(zhì)量的特殊要求的多種能力也都作為算法性能的考察方面；通常以非線性數(shù)學(xué)為基礎(chǔ)的方法，若同時具備容錯性、自適應(yīng)性、聯(lián)想記憶以及并行處理的能力，則均可作為融合算法使用。

3.1 隨機類

3.1.1 加權(quán)平均法

信號級融合最直接的方法是加權(quán)平均，對多個傳感器測量到的多條冗余信息進行加權(quán)平均，將最終的結(jié)果作為融合值。該方法直接對數(shù)據(jù)源進行處理，其所求得的平均數(shù)，已包含了長期變動趨勢。但是一般用于數(shù)據(jù)的前期處理，加權(quán)平均主要作為輔助算法使用。

3.1.2 卡爾曼濾波法

對一個運動物體，能直觀觀察到它當(dāng)前的運動狀態(tài)。然而，一般都無法精確測量物體當(dāng)前的運動狀態(tài)，而更多試驗中需要預(yù)測物體在下一時刻的運動狀態(tài)，對現(xiàn)場環(huán)境進行測量時，系統(tǒng)會存在相當(dāng)?shù)母蓴_噪聲。這時就需要估計當(dāng)前的運動狀態(tài),卡爾曼濾波（Kalman filtering）是一種利用線性系統(tǒng)狀態(tài)方程，通過系統(tǒng)輸入輸出觀測數(shù)據(jù)，對系統(tǒng)狀態(tài)進行最優(yōu)估計的算法。由于觀測數(shù)據(jù)中包括系統(tǒng)中的噪聲和干擾的影響，所以最優(yōu)估計也可看作是濾波過程?？柭鼮V波預(yù)測方程見圖1。

圖1 卡爾曼濾波預(yù)測方程和更新方程[21]

該方法通過測量模型的統(tǒng)計特性遞推，得出統(tǒng)計意義下的最優(yōu)融合和數(shù)據(jù)估算。在無人駕駛中，卡爾曼濾波應(yīng)用廣泛，包括濾波操作-時序信息融合、多傳感器的信號融合、在幀間位置插值，通過插值進行加速、對目標(biāo)框進行平滑處理。卡爾曼濾波器的歷史雖已經(jīng)超過半個世紀(jì),但是對于輸入數(shù)據(jù)的噪聲信息和狀態(tài)估計的平滑來說仍然是最有效的傳感器融合算法之一。它假定位置參數(shù)是符合高斯分布的,即完全可以被均值和協(xié)方差參數(shù)化:X～N(μ,σ)，當(dāng)傳感器的信息流開始的時候,卡爾曼濾波器使用一系列的狀態(tài)信息來預(yù)測和衡量更新步驟去更新被追蹤目標(biāo)的信心值(概率)。

3.1.3 多貝葉斯估計法

多貝葉斯估計將每1個傳感器作為1個貝葉斯估計，將多個獨立物體的關(guān)聯(lián)概率分布綜合成1個聯(lián)合的后驗概率分布，通過求聯(lián)合分布函數(shù)的最小似然，得出多傳感器信息綜合的最終融合值與實際環(huán)境的1個先驗?zāi)Ｐ?，從而對整個環(huán)境產(chǎn)生1個特征描述。貝葉斯估計的本質(zhì)是通過貝葉斯決策得到參數(shù)的最優(yōu)估計，使得總期望風(fēng)險最小(圖2)。

圖2 多貝葉斯估計法[25]

北京交通大學(xué)的樊俐彤針對運動單目攝像頭下的多目標(biāo)跟蹤問題,在基于檢測的跟蹤方法框架下,對基于Bayes后驗估計的多目標(biāo)跟蹤方法進行了研究。采用可逆跳躍馬爾科夫蒙特卡洛（RJMCMC）求解Bayes后驗估計,該算法通過隨機跳躍動作可以隨機的增加或移除目標(biāo),可以適應(yīng)目標(biāo)數(shù)目隨機變化的情況。

3.2 AI類

3.2.1 基于多傳感器體系結(jié)構(gòu)的算法

多傳感器融合在體系結(jié)構(gòu)上可分為3種：

（1）數(shù)據(jù)層融合處理，針對傳感器采集的數(shù)據(jù)，依賴于傳感器類型，進行同類數(shù)據(jù)的融合。數(shù)據(jù)級的融合要處理的數(shù)據(jù)都是在相同類別的傳感器下采集，所以數(shù)據(jù)融合不能處理異構(gòu)數(shù)據(jù)，流程如圖3所示；

圖3 數(shù)據(jù)層融合處理[28]

（2）特征層的融合處理，提取所采集數(shù)據(jù)包含的特征向量，用來體現(xiàn)所監(jiān)測物理量的屬性，這是面向監(jiān)測對象特征的融合。如在圖像數(shù)據(jù)的融合中，可以采用邊沿的特征信息，來代替全部數(shù)據(jù)信息有，流程如圖4所示；

圖4 特征層融合處理[28]

（3）決策層的融合處理，根據(jù)特征級融合所得到的數(shù)據(jù)特征，進行一定的判別、分類，以及簡單的邏輯運算，根據(jù)應(yīng)用需求進行較高級的決策，屬于高級融合（流程如圖5所示）。多傳感器融合在硬件層面并不難實現(xiàn)，重難點都在算法上。擁有很高的技術(shù)壁壘，因此算法將占據(jù)價值鏈的主要部分。

圖5 決策層融合處理[28]

基于傳感器體系結(jié)構(gòu)的方法融合來自各種傳感器（如激光雷達、雷達和攝像頭）的數(shù)據(jù)，以探索它們各自的特點，提高環(huán)境感知能力。Darms等介紹了無人駕駛汽車“Boss”采用的基于傳感器融合的運動車輛檢測與跟蹤方法（卡內(nèi)基梅隆大學(xué)的汽車在2007年DARPA城市挑戰(zhàn)賽中獲得第1名）。MOT子系統(tǒng)分為2層，傳感器層從傳感器數(shù)據(jù)中提取特征，這些特征可用于根據(jù)點模型或盒模型描述移動障礙物假設(shè)。傳感器層還嘗試將特征與來自融合層的當(dāng)前預(yù)測假設(shè)相關(guān)聯(lián)。無法與現(xiàn)有假設(shè)關(guān)聯(lián)的功能用于生成新的建議。對與給定假設(shè)相關(guān)聯(lián)的每個特征生成觀察，封裝更新假設(shè)狀態(tài)估計所需的所有信息。融合層根據(jù)傳感器層提供的建議和觀測，為每個假設(shè)選擇最佳跟蹤模型，并使用卡爾曼濾波器估計（或更新）假設(shè)狀態(tài)的估計。Cho等描述卡內(nèi)基梅隆大學(xué)新的試驗性自主車輛使用的新MOT子系統(tǒng)。以前的MOT子系統(tǒng)，由Darms等人提出。Mertz等使用可直接從二維激光雷達、從三維激光雷達投影到二維平面或從多個傳感器（激光雷達、雷達和攝像頭）融合獲得的掃描線。掃描線被轉(zhuǎn)換成世界坐標(biāo)并被分割。為每個線段提取直線和角點特征。分段與現(xiàn)有障礙物相關(guān)聯(lián)，并使用卡爾曼濾波器更新目標(biāo)的運動學(xué)。Byun等合并由多個傳感器（如雷達、二維激光雷達和三維激光雷達）生成的移動障礙物軌跡。將二維激光雷達數(shù)據(jù)投影到二維平面上，利用聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)濾波器（JP?DAF）跟蹤運動障礙物。三維激光雷達數(shù)據(jù)被投影到一幅圖像上，并使用區(qū)域增長算法分割成運動障礙物。最后，利用迭代最近點（ICP）匹配或基于圖像的數(shù)據(jù)關(guān)聯(lián)來估計或更新軌跡的姿態(tài)。Xu等描述了卡內(nèi)基梅隆大學(xué)的新型無人駕駛試驗車對用于保持距離的移動障礙物的上下文感知跟蹤。給定行為上下文，在道路網(wǎng)絡(luò)中生成ROI。找到感興趣區(qū)域內(nèi)的候選目標(biāo)并將其投影到道路坐標(biāo)中。通過將來自不同傳感器（激光雷達、雷達和攝像機）的所有候選目標(biāo)關(guān)聯(lián)起來，獲得距離保持目標(biāo)。薛等融合激光雷達和攝像機數(shù)據(jù)，提高行人檢測的準(zhǔn)確性。他們利用行人高度的先驗知識來減少錯誤檢測。他們根據(jù)針孔攝像機方程，結(jié)合攝像機和激光雷達的測量來估計行人的高度。

3.2.2 多傳感器數(shù)據(jù)結(jié)合深度圖的融合

多傳感器數(shù)據(jù)深度圖的融合是近幾年興起的基于深度學(xué)習(xí)的多傳感器信息融合算法。主要是用于激光雷達和攝像頭的數(shù)據(jù)融合，激光雷達深度傳感器的數(shù)據(jù)比較稀疏，分辨率低，優(yōu)點是數(shù)據(jù)可靠，而攝像頭傳感器獲取的圖像比較致密并分辨率高，缺點是獲取的深度數(shù)據(jù)可靠性差，利用多傳感器數(shù)據(jù)深度圖融合將兩者進行優(yōu)勢互補。

Deng和Czarnecki等提出一個多視圖標(biāo)記的目標(biāo)檢測器。檢測器將RGB圖像和激光雷達點云作為輸入，并遵循2步目標(biāo)檢測框架。第1步，區(qū)域提議網(wǎng)絡(luò)（RPN）在點云的鳥瞰視圖（BEV）投影中生成3D提議。第2步，將3D提議邊框投影到圖像和BEV特征圖，并將相應(yīng)的圖截取發(fā)送到檢測頭（Detector head），以進行分類和邊界框回歸。提供最終的分類、定位和定向結(jié)果。與其他多視圖方法不同，裁剪的圖像特征不直接饋送到檢測頭，而是被深度信息掩蓋以過濾掉3D邊框外的部分。圖像和BEV特征的融合具有挑戰(zhàn)性，因為它們來自不同的視角。這里引入了1種新檢測頭，不僅可以從融合層提供檢測結(jié)果，還可以從每個傳感器通道提供檢測結(jié)果。因此，可以用不同視圖標(biāo)記的數(shù)據(jù)訓(xùn)練目標(biāo)檢測器，以避免特征提取器的退化。

來自田納西大學(xué)諾克斯維爾分校的Nabati和Qi提出將攝像頭采集的圖像數(shù)據(jù)和雷達數(shù)據(jù)進行中間特征層的融合，以達到精確的3D目標(biāo)檢測。

（1）首先使用CenterNet算法，利用獲得的攝像頭數(shù)據(jù)預(yù)測目標(biāo)的中心點，并回歸得到目標(biāo)的3D坐標(biāo)、深度和旋轉(zhuǎn)信息。

（2）然后利用了視錐方法，將雷達檢測到的目標(biāo)數(shù)據(jù)和上面檢測到的目標(biāo)中心點進行關(guān)聯(lián)。

（3）將關(guān)聯(lián)后的目標(biāo)特征和雷達數(shù)據(jù)檢測到的深度與速度信息組成的特征圖并聯(lián)，再進行3D目標(biāo)深度、旋轉(zhuǎn)、速度和屬性的回歸。該算法解決了高度信息不準(zhǔn)確的問題，引入了雷達點云預(yù)處理步驟。

Zhong，Wu等提出的完整關(guān)聯(lián)網(wǎng)絡(luò)（CFCNet）是1種端到端的深度模型，用RGB信息做稀疏深度完整化。2D深度規(guī)范相關(guān)性分析（2D2CCA），作為網(wǎng)絡(luò)約束條件，可確保RGB和深度的編碼器捕獲最相似語義信息。該網(wǎng)絡(luò)將RGB特征轉(zhuǎn)換到深度域，并且互補的RGB信息用于完整丟失的深度信息。完整的密集深度圖被視為由兩部分組成。一個是可觀察并用作輸入的稀疏深度，另一個是無法觀察和恢復(fù)的深度。同樣，相應(yīng)深度圖的整個RGB圖像可以分解為2部分：

（1）稀疏RGB，在稀疏深度可觀察位置保留相應(yīng)的RGB值；

（2）互補RGB（Complementary RGB），即從整個RGB圖像中減去稀疏RGB（Sparse RGB）的部分。

在訓(xùn)練期間，CFCNet會學(xué)習(xí)稀疏深度和稀疏RGB之間的關(guān)系，并用所學(xué)知識從互補RGB中恢復(fù)不可觀察的深度。在此基礎(chǔ)上，Luc Van Gool提出了一種新方法，可以精確地完整化RGB圖像引導(dǎo)的稀疏激光雷達深度圖。該文提出一種融合方法，由單目相機提供RGB指導(dǎo)，利用目標(biāo)信息并糾正稀疏輸入數(shù)據(jù)的錯誤，這樣大大提高了準(zhǔn)確性。此外，利用置信度掩碼考慮來自每種模態(tài)深度預(yù)測的不確定性。

4 結(jié)論與展望

本文綜述了多傳感器信息融合在無人駕駛中的研究現(xiàn)狀，總結(jié)得出了多傳感器信息融合是一門跨多個學(xué)科的綜合理論和方法，這些理論和方法還處在不斷變化和持續(xù)發(fā)展過程中。

（1）隨著各傳感器硬件的快速迭代，多傳感器信息融合有了更好的解決方法，在硬件方面，傳感器的制造與研發(fā)是重點，如何將各個傳感器更加完美的配合在一起，更好更快的得到車輛行駛過程中的海量數(shù)據(jù)是實現(xiàn)無人駕駛技術(shù)的關(guān)鍵，其中包括攝像頭如何更好克服環(huán)境因素的干擾，77 GHz毫米波雷達的成熟生產(chǎn)制造工藝流程的設(shè)計，以及如何降低激光雷達的使用成本都是產(chǎn)業(yè)化需要克服的問題。

（2）在數(shù)據(jù)采集方面，多傳感器數(shù)據(jù)收集主要集中在攝像頭、激光雷達和毫米波雷達3類傳感器搭載在地面車輛上，但目前缺少針對中國復(fù)雜交通環(huán)境建立起來的數(shù)據(jù)集，交通部門相關(guān)工作的推進完善會為數(shù)據(jù)采集提供更好的環(huán)境，為加快無人駕駛的發(fā)展提供基礎(chǔ)支撐。另外，數(shù)據(jù)融合系統(tǒng)的設(shè)計還存在很多問題，包括還沒有很好解決融合系統(tǒng)中的容錯性和魯棒性問題，各傳感器如何克服惡劣交通環(huán)境下的信息融合也需要被關(guān)注。

（3）多傳感器融合算法性能的評價標(biāo)準(zhǔn)不一，未形成基本的理論框架和廣義的融合算法，都是在各自特定的領(lǐng)域特定的問題中展開的，建立多傳感器融合算法性能的評價標(biāo)準(zhǔn)是推動汽車行業(yè)多傳感器融合發(fā)展的重要舉措之一。