張 浩，楊堅(jiān)華，花海洋

（1. 中國(guó)科學(xué)院光電信息處理重點(diǎn)實(shí)驗(yàn)室，遼寧 沈陽(yáng) 110016；2. 中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所，遼寧 沈陽(yáng) 110016；3. 中國(guó)科學(xué)院機(jī)器人與智能制造創(chuàng)新研究院，遼寧 沈陽(yáng) 110169；4. 中國(guó)科學(xué)院大學(xué)，北京 100049）

1 引 言

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)的基本課題之一，也是自主車輛感知系統(tǒng)的重要組成部分［1-7］。目前，目標(biāo)檢測(cè)方法中使用了攝像機(jī)和激光雷達(dá)傳感器。該相機(jī)可以在高幀速率下工作，在光線充足的天氣下提供遠(yuǎn)距離密集信息。然而，作為一種被動(dòng)傳感器，它受到光照水平的強(qiáng)烈影響，而可靠的目標(biāo)檢測(cè)系統(tǒng)不應(yīng)受到光照因素的影響。激光雷達(dá)通過(guò)自身的激光脈沖感知環(huán)境，因此它只受到外部照明條件的輕微影響。此外，激光雷達(dá)還提供精確的距離測(cè)量。不過(guò)它們的范圍有限，提供的數(shù)據(jù)也很少［8］。通過(guò)對(duì)兩個(gè)傳感器優(yōu)缺點(diǎn)的分析，不難看出同時(shí)使用兩個(gè)傳感器可以提高整體可靠性。

在過(guò)去的幾年中，已經(jīng)出現(xiàn)了大量通過(guò)融合多個(gè)傳感器信息來(lái)解決目標(biāo)檢測(cè)問(wèn)題的方法［8-15］。其中對(duì)于點(diǎn)云的處理，目前大多數(shù)方法是將點(diǎn)云投影到可見(jiàn)光圖像生成深度圖、強(qiáng)度圖等圖像，再與可見(jiàn)光圖像融合。例如，Schlosser等人［16］根據(jù)基于激光雷達(dá)的深度圖計(jì)算了水平視差、高度和角度（Horizontal disparity，Height，Angle，HHA）數(shù)據(jù)通道，利用HHA 特征與可見(jiàn)光圖像進(jìn)行后期融合取得了良好的效果。Gupta等人［17］也根據(jù)深度圖計(jì)算了HHA 通道信息，然后利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）分別提取可見(jiàn)光圖像和HHA 的特征信息。最后，利用支持向量機(jī)分類器進(jìn)行目標(biāo)檢測(cè)。Asvadi 等人［9］提出將三維激光雷達(dá)點(diǎn)云信息的投影轉(zhuǎn)換為二維深度圖像和強(qiáng)度圖像，并采用決策級(jí)融合方法實(shí)現(xiàn)各種模態(tài)檢測(cè)的高級(jí)集成。

但是這種處理方式，會(huì)損失點(diǎn)云重要的三維空間信息。很多三維目標(biāo)檢測(cè)提出了運(yùn)用BEV（Bird Eye View）圖的想法。Chen 等人［10］和Liang 等人［11］使用基于體素的激光雷達(dá)表示，將點(diǎn)云體素化為3D 占用柵格，通過(guò)把高度切片處理為特征通道，將得到的3D 體素作為BEV 表示。其保留了點(diǎn)云完整的空間信息不受損失，但是這樣數(shù)據(jù)量會(huì)變得龐大，且點(diǎn)云與可見(jiàn)光圖像之間的對(duì)應(yīng)變得復(fù)雜。針對(duì)這些問(wèn)題，本文提出了FVOIRGAN-Detection 的多源信息融合檢測(cè)網(wǎng)絡(luò)，這種方法可以自適應(yīng)地保留點(diǎn)云的原始空間信息，并提高了可見(jiàn)光圖像紋理信息的利用程度。本文方法主要貢獻(xiàn)如下：

第一，本文提出了FVOI（Front View Based on Original Information）的點(diǎn)云處理新思路，將點(diǎn)云投影到前視視角，并把原始點(diǎn)云信息的各個(gè)維度切片為特征通道，不但保留了點(diǎn)云的原始信息，而且降低了數(shù)據(jù)量，減小了與可見(jiàn)光圖像的對(duì)應(yīng)復(fù)雜度。之后通過(guò)特征提取網(wǎng)絡(luò)提取原始點(diǎn)云中有利的信息，得到點(diǎn)云的前視二維特征圖，并將其與可見(jiàn)光圖像進(jìn)行融合。

第二，在融合過(guò)程中，為了使得融合圖像更好地保留可見(jiàn)光圖像的紋理信息，本文引進(jìn)了相對(duì)概率的思想［18］，用鑒別器鑒別圖像相對(duì)真實(shí)概率取代絕對(duì)真實(shí)概率，使得可見(jiàn)光中有利于目標(biāo)檢測(cè)的紋理信息可以更好、更真實(shí)地保留［19］。

2 FVOIRGAN-Detection

2.1 CrossGAN-Detection

CrossGAN-Detection 運(yùn)用生成對(duì)抗網(wǎng)絡(luò)［20］處理多源信息融合檢測(cè)的問(wèn)題，該方法由GAN和目標(biāo)檢測(cè)網(wǎng)絡(luò)組成。目標(biāo)檢測(cè)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中充當(dāng)GAN 的第二個(gè)鑒別器。該方法利用內(nèi)容損失函數(shù)和雙鑒別器為發(fā)生器提供直接可控的引導(dǎo)，通過(guò)交叉融合自適應(yīng)學(xué)習(xí)不同模式之間的關(guān)系。

CrossGAN-Detection 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，該網(wǎng)絡(luò)是一個(gè)具有雙鑒別器（檢測(cè)器和鑒別器）的生成性對(duì)抗網(wǎng)絡(luò)。輸入為可見(jiàn)光圖像、空間特征圖和強(qiáng)度特征圖。在訓(xùn)練過(guò)程中，檢測(cè)器的作用是促使發(fā)生器朝著有利于目標(biāo)檢測(cè)的方向訓(xùn)練，其與發(fā)生器的關(guān)系是正反饋的；鑒別器的作用是促使發(fā)生器在主觀設(shè)定方向上進(jìn)行訓(xùn)練，這是一種對(duì)抗性鑒別器。在檢測(cè)過(guò)程中，去除鑒別器，生成器承擔(dān)信息融合任務(wù)，檢測(cè)器承擔(dān)目標(biāo)檢測(cè)任務(wù)。

圖1 CrossGAN-Detection 的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network architecture of CrossGAN-Detection

為了同時(shí)保持可見(jiàn)光圖像豐富的紋理信息、空間特征圖的空間信息和強(qiáng)度特征圖的強(qiáng)度信息，推動(dòng)融合朝著有利于目標(biāo)檢測(cè)的方向發(fā)展，引入了生成對(duì)抗網(wǎng)絡(luò)的融合思想并添加一個(gè)目標(biāo)探測(cè)器作為鑒別器。鑒別器用于區(qū)分融合圖像和可見(jiàn)光圖像，檢測(cè)器用于檢測(cè)融合圖像的目標(biāo)。因此，提出的框架建立了生成器和鑒別器之間的對(duì)抗。在對(duì)抗過(guò)程中，融合圖像逐漸獲得豐富的圖像紋理信息［21］，增加了融合圖像的信息多樣性，不僅增加了目標(biāo)檢測(cè)的可用信息，提高了目標(biāo)檢測(cè)的效果，同時(shí)也降低了目標(biāo)檢測(cè)網(wǎng)絡(luò)過(guò)擬合的風(fēng)險(xiǎn)。同時(shí)，它在發(fā)生器和檢測(cè)器之間建立了正反饋對(duì)抗。在對(duì)抗過(guò)程中，由于兩個(gè)鑒別器的作用，融合圖像越來(lái)越有利于目標(biāo)檢測(cè)，檢測(cè)器的檢測(cè)能力也越來(lái)越強(qiáng)。此外，為了防止在鑒別器的作用下通道信息的丟失，為發(fā)生器設(shè)計(jì)了內(nèi)容損失函數(shù)：

其中，H，W分別表示輸入圖像的高度和寬度，F(xiàn)表示矩陣Frobenius 范數(shù)，?表示梯度算子，ξ是控制兩項(xiàng)之間權(quán)衡的正參數(shù)。第一項(xiàng)旨在保留強(qiáng)度特征圖IIntensity的反射率信息，第二項(xiàng)旨在保留可見(jiàn)光圖像IRGB中包含的梯度信息。

在現(xiàn)有方法中，融合僅由檢測(cè)結(jié)果控制。與該框架相比，它缺少一個(gè)鑒別器。這種缺乏將導(dǎo)致模型學(xué)習(xí)的不可控問(wèn)題。由于融合與檢測(cè)之間的關(guān)系是正反饋的，因此融合過(guò)程只受目標(biāo)檢測(cè)結(jié)果的引導(dǎo)，容易產(chǎn)生偏差。在融合框架中融合了哪些信息以及這些信息是否真的有助于目標(biāo)檢測(cè)是值得考慮的兩個(gè)問(wèn)題。在加入GAN后，利用鑒別器和內(nèi)容損失函數(shù)將真正有利于目標(biāo)檢測(cè)的信息融合到融合圖像中，從而為整個(gè)網(wǎng)絡(luò)設(shè)置正確的方向，指導(dǎo)學(xué)習(xí)過(guò)程，防止學(xué)習(xí)過(guò)程中的偏差，提高模型的穩(wěn)定性。

2.2 基于FVOI 的點(diǎn)云處理

針對(duì)將點(diǎn)云投影到可見(jiàn)光圖片方法的信息損失，Liang 等［11］使用基于體素的激光雷達(dá)表示，將點(diǎn)云體素化為3D 占用柵格，其中體素特征通過(guò)每個(gè)激光雷達(dá)點(diǎn)上的8 點(diǎn)線性插值計(jì)算。這種激光雷達(dá)表示能夠有效地捕捉細(xì)粒度點(diǎn)密度線索，通過(guò)把高度切片處理為特征通道，將得到的3D 體素作為BEV 表示，能夠在2D BEV 空間中進(jìn)行推理，從而在不降低性能的情況下顯著提高效率。3D BEV 表示非常巧妙地滿足各方面需求，但是其大多數(shù)三維體素是空的，這就造成了其數(shù)據(jù)量巨大的問(wèn)題，浪費(fèi)了內(nèi)存且降低了處理效率，而且其與可見(jiàn)光圖像對(duì)應(yīng)起來(lái)復(fù)雜度也較高。最重要的是對(duì)于二維目標(biāo)檢測(cè)來(lái)說(shuō)，3D BEV 的表示形式不合適。對(duì)此，本文提出了基于FVOI 的點(diǎn)云處理方法來(lái)配合二維目標(biāo)檢測(cè)。

如圖2 所示，為基于FVOI 的點(diǎn)云處理網(wǎng)絡(luò)框架。首先FVOI 的過(guò)程是將點(diǎn)云上的點(diǎn)投影到可見(jiàn)光圖像，將平面上的點(diǎn)像素化為柵格，然后通過(guò)把原始點(diǎn)云信息的各個(gè)維度切片為特征通道，將得到點(diǎn)云的二維表示（4×w×l），其也可以在不降低性能的情況下顯著提高效率，而且相比于3D 的BEV 表示（channels×h×w×l），大大減小了數(shù)據(jù)量。最重要的是，經(jīng)過(guò)點(diǎn)云投影到可見(jiàn)光圖像這一步驟，F(xiàn)VOI 已經(jīng)建立了點(diǎn)云與可見(jiàn)光圖像之間的對(duì)應(yīng)關(guān)系。

圖2 基于FVOI 的點(diǎn)云處理網(wǎng)絡(luò)框架Fig.2 Network architecture of point cloud processing based on FVOI

如圖2，在對(duì)點(diǎn)云的二維表示進(jìn)行特征提取的過(guò)程中，由于空間信息和強(qiáng)度信息是不同類別的信息，所以分為兩個(gè)信息流分別進(jìn)行提取點(diǎn)云的空間信息和強(qiáng)度信息。此外，由于點(diǎn)云數(shù)據(jù)本身比較稀疏，在卷積計(jì)算的過(guò)程中稀疏的點(diǎn)云數(shù)據(jù)極易損失，因此在特征提取的過(guò)程中加入了殘差的思想。最后，由于可見(jiàn)光圖像是三通道的，為了使得生成的特征圖更好地與可見(jiàn)光圖像進(jìn)行融合，分別生成三通道的空間特征圖和三通道的強(qiáng)度特征圖，使得每一類信息有著相同的初始權(quán)重。

2.3 相對(duì)概率的鑒別器思想

經(jīng)過(guò)對(duì)CrossGAN-Detection 的分析，很容易得知其利用生成器與鑒別器的對(duì)抗對(duì)可見(jiàn)光圖像的紋理信息進(jìn)行提取，鑒別器是為了區(qū)分可見(jiàn)光圖像和融合圖像，生成器是為了生成讓鑒別器區(qū)分不開(kāi)的融合圖像。例如，當(dāng)鑒別器鑒別一個(gè)可見(jiàn)光圖像的輸出是p時(shí)，同時(shí)也鑒別融合圖像輸出概率是p，那么這時(shí)候就可以認(rèn)為鑒別器已經(jīng)區(qū)分不開(kāi)可見(jiàn)光圖像和融合圖像，生成器效果已經(jīng)達(dá)到最優(yōu)，融合圖像已經(jīng)獲得了可見(jiàn)光圖像真實(shí)的信息。但是根據(jù)CrossGAN-Detection 的損失函數(shù)來(lái)看，生成器在這時(shí)候還要繼續(xù)優(yōu)化其參數(shù)進(jìn)而生成接近于D(Ifusion_image)=1 的融合圖像，這就出現(xiàn)了過(guò)度優(yōu)化的問(wèn)題，D(Ifusion_image)=1的融合圖像在鑒別器鑒別下已經(jīng)非常接近可見(jiàn)光圖像，但是真正意義上其已經(jīng)脫離了D(IRGB)=p的真實(shí)可見(jiàn)光圖像。

圖3 為相對(duì)概率工作原理的示意圖，在欠優(yōu)化區(qū)域和過(guò)度優(yōu)化區(qū)域的融合圖像融合的紋理信息都是不夠真實(shí)的，因此為了基于鑒別器的能力水平來(lái)訓(xùn)練生成器，本文加入了相對(duì)真實(shí)概率的思想。

圖3 相對(duì)概率工作原理示意圖Fig.3 Schematic diagram of working principle of relative probability

加入相對(duì)概率后的鑒別器和生成器損失函數(shù)修改為：

其中：f是端到端的函數(shù)，在本文方法中f(x)=x，R是可見(jiàn)光圖像的分布函數(shù)，F(xiàn)是融合圖像的分布函數(shù)。在相對(duì)概率思想的影響下，可以保證生成器可以最大程度地提取到可見(jiàn)光圖像真實(shí)的紋理信息，而不是脫離鑒別器的鑒別能力提取到一些偽真實(shí)的紋理信息。從而提升整個(gè)網(wǎng)絡(luò)的目標(biāo)檢測(cè)能力。

3 實(shí)驗(yàn)驗(yàn)證

本文使用平均精度（AP）［22］在KITTI［23］數(shù)據(jù)集的驗(yàn)證分割集［24］上評(píng)估提出的方法。

其中：rn為第n個(gè)recall 值，ρ(r?)為在recall 值為r?時(shí)的precision 值。

3.1 實(shí)驗(yàn)設(shè)計(jì)

本實(shí)驗(yàn)基于Python 3.6 和tensorflow-1.14，使用NVIDIA GTX-2080TI 進(jìn)行訓(xùn)練。在實(shí)驗(yàn)中，batchsize 大小設(shè)置為2，并使用Adam 優(yōu)化算法進(jìn)行迭代。初始學(xué)習(xí)率為0.000 1，然后通過(guò)余弦退火衰減為0.000 001。在訓(xùn)練過(guò)程中，在192×576、224×672和256×768 中隨機(jī)選擇輸入圖像的大小，并且隨機(jī)剪切和翻轉(zhuǎn)輸入圖像以進(jìn)行數(shù)據(jù)增強(qiáng)。

3.2 數(shù)據(jù)集

KITTI 數(shù)據(jù)集由德國(guó)卡爾斯魯厄理工學(xué)院和豐田美國(guó)理工學(xué)院共同創(chuàng)建。它是世界上最大的自動(dòng)駕駛場(chǎng)景下的計(jì)算機(jī)視覺(jué)算法評(píng)估數(shù)據(jù)集。該數(shù)據(jù)集用于評(píng)估計(jì)算機(jī)視覺(jué)技術(shù)的性能，如車輛環(huán)境中的立體圖像、光流、視覺(jué)里程計(jì)、三維目標(biāo)檢測(cè)和三維跟蹤。KITTI 包含從城市、農(nóng)村和高速公路場(chǎng)景收集的真實(shí)圖像數(shù)據(jù)。每個(gè)圖像中最多有15 輛車和30 名行人以及不同程度的遮擋和截?cái)唷Ｕ麄€(gè)數(shù)據(jù)集由389 對(duì)立體圖像和光流圖、39.2 km 視覺(jué)測(cè)距序列和200 K 多個(gè)3D 標(biāo)記對(duì)象的圖像組成，以10 Hz 的頻率采樣和同步。標(biāo)簽分為汽車、廂式貨車、卡車、行人、行人（坐著）、自行車、有軌電車和雜項(xiàng)。

3.3 消融分析

為了驗(yàn)證本文所提出的兩個(gè)模塊的有效性，將CrossGAN-Detection 作為Baseline 進(jìn)行了消融分析。

如表1 所示，Baseline 為CrossGAN-Detection，在此基礎(chǔ)上分別加入FVOI 的點(diǎn)云處理方法和相對(duì)概率的鑒別器思想，本文方法在簡(jiǎn)單、中等、困難類別分別比Baseline 高1.01%、0.71%、0.57%，結(jié)果表明FVOI 的點(diǎn)云處理方法和相對(duì)概率的鑒別器思想都有利于提高目標(biāo)檢測(cè)的精度。

表1 KITTI 驗(yàn)證集上Car 類2D 目標(biāo)檢測(cè)性能消融分析：平均精度Tab.1 Ablation analysis of 2D Car detection performance on KITTI verification set：average accuracy

由于以上AP指標(biāo)都是在IOU=0.7 的時(shí)候測(cè)得，為了更好、更全面地驗(yàn)證本文方法的優(yōu)越性，分析了AP隨著IOU變化的曲線圖。如圖4所示，為AP與IOU關(guān)系圖，實(shí)線表示的是Cross-GAN-Detection 方法的AP指標(biāo)隨著IOU的變化情況，虛線表示本文方法的AP指標(biāo)隨著IOU的變化情況。從圖中可見(jiàn)，本文方法曲線一直在Baseline 的上方，可見(jiàn)本文方法相比于Cross-GAN-Detection 方法不僅在IOU=0.7 的情形下表現(xiàn)較好，而是在各種IOU情形下都有著顯著的優(yōu)越性，進(jìn)一步全面證明了本文方法的有效性。

圖4 KITTI 驗(yàn)證集上的AP 與IOU 關(guān)系Fig.4 Relationship between AP and IOU on KITTI validation set

3.4 光照條件受限的場(chǎng)景

KITTI 數(shù)據(jù)集主要包括在相當(dāng)理想的光照和天氣條件下捕獲的示例。在這種情況下，攝像機(jī)圖像本身提供了豐富的信息和豐富的識(shí)別線索，配合深度圖像可以進(jìn)行準(zhǔn)確的車輛檢測(cè)。因此，通過(guò)上述實(shí)驗(yàn)，可能很難完全理解充分利用點(diǎn)云的空間信息的好處以及相對(duì)概率思想的作用?？紤]到這一點(diǎn)，從驗(yàn)證集中提取了14 組具有挑戰(zhàn)性的場(chǎng)景，特別是顯示陰影和強(qiáng)光反射的圖像。

如表2 所示，數(shù)據(jù)在14 組光照條件不好的挑戰(zhàn)性場(chǎng)景下測(cè)得，在此場(chǎng)景下，可見(jiàn)FVOI 的點(diǎn)云處理方法起到了重要作用，相比原始方法提升了1.92%，說(shuō)明充分利用點(diǎn)云的空間信息有利于彌補(bǔ)光照條件不好的劣勢(shì)，提高目標(biāo)檢測(cè)的效果。然而，在單獨(dú)加入相對(duì)概率的鑒別器思想時(shí)，網(wǎng)絡(luò)的性能下降2.57%，原因是相對(duì)概率的鑒別器思想原理是更真實(shí)地提取可見(jiàn)光圖像的紋理信息，而在光照條件不好的情形下，提取的信息是失真的，其對(duì)網(wǎng)絡(luò)性能進(jìn)而造成了不好的影響。但是本文的方法結(jié)合了FVOI 的點(diǎn)云處理方法和相對(duì)概率的鑒別器思想，充分地利用了點(diǎn)云的空間信息和可見(jiàn)光圖像的紋理信息，平衡二者的關(guān)系，在光照條件不好的情形下相比單獨(dú)使用每種方法更能發(fā)揮出好的效果，相比原始方法提升了2.37%。

表2 KITTI 挑戰(zhàn)性場(chǎng)景Car 類2D 目標(biāo)檢測(cè)性能消融分析：平均精度Tab.2 Ablation analysis of 2D Car detection performance on KITTI challenging scenarios：average accuracy

如圖5 所示，第一列是真實(shí)標(biāo)簽，第二列是CrossGAN-Detection 方法的檢測(cè)結(jié)果，第三列是本文方法的檢測(cè)結(jié)果。紅色橢圓框表示Cross-GAN-Detection 方法的誤檢目標(biāo)，紅色方框表示CrossGAN-Detection 方法檢測(cè)精度較低的目標(biāo)?？梢钥闯?，在光照條件有限的情況下，Cross-GAN-Detection 方法進(jìn)行目標(biāo)檢測(cè)會(huì)面臨誤檢和檢測(cè)精度低的問(wèn)題，而本文方法充分利用了點(diǎn)云的空間信息和可見(jiàn)光圖像的紋理信息，平衡了二者的關(guān)系，解決了這些問(wèn)題，提高了目標(biāo)檢測(cè)的準(zhǔn)確性。

圖5 挑戰(zhàn)性場(chǎng)景下目標(biāo)檢測(cè)結(jié)果對(duì)比示例Fig.5 Comparison example of target detection results in challenging scenes

同時(shí)為了證明本文的相對(duì)概率的思想可以更好地提取紋理特征，我們利用灰度共生矩陣提取了融合圖像的相關(guān)性特征值（COR），相關(guān)性是紋理特征比較有代表性的一種表達(dá)，其度量空間灰度共生矩陣元素在行或列方向上的相似程度，相關(guān)值大小反映了圖像中局部灰度相關(guān)性。

其中：(a，b)為灰度共生矩陣元素坐標(biāo)，PΦ，d(a，b)為該坐標(biāo)的元素值，結(jié)果如表3 所示。

表3 紋理信息提取性能比較：相關(guān)性特征值Tab.3 Comparison of texture information extraction performance：correlation eigenvalue（COR）

如表3 所示，本文提出的方法提取紋理特征與真實(shí)可見(jiàn)光圖像更為接近，驗(yàn)證了本文方法的有效性。

3.5 性能對(duì)比

為了證明本文的方法優(yōu)于現(xiàn)有方法，在KITTI 的驗(yàn)證分割集上將其與其他先進(jìn)的融合檢測(cè)方法進(jìn)行了比較。

表4 給出了Car 類目標(biāo)三個(gè)檢測(cè)難度等級(jí)上的平均準(zhǔn)確率，所提方法FVOIRGAN-Detection與近幾年多模態(tài)信息融合檢測(cè)方面的一些SOTA 算法進(jìn)行比較。從表中可以看出，本文提出的方法在簡(jiǎn)單類別中比其他高級(jí)方法具有顯著的優(yōu)勢(shì)，并且在中等和困難類別中與其他方法幾乎相同。

表4 KITTI 驗(yàn)證集Car 類2D 目標(biāo)檢測(cè)性能比較：平均精度Tab.4 Comparison of 2D Car detection performance on KITTI verification set：average accuracy

4 結(jié) 論

本文提出了一種新的多源信息融合檢測(cè)算法FVOIRGAN-Detection，用于融合攝像機(jī)圖像和激光雷達(dá)點(diǎn)云進(jìn)行車輛檢測(cè)。一方面，本文提出了FVOI（Front View Based on Original Information）的點(diǎn)云處理新思路，將點(diǎn)云投影到前視視角，然后通過(guò)把原始點(diǎn)云信息的各個(gè)維度切片為特征通道，不但保留了點(diǎn)云的原始信息，而且降低了數(shù)據(jù)量，減小了與可見(jiàn)光圖像的對(duì)應(yīng)復(fù)雜度。之后通過(guò)特征提取網(wǎng)絡(luò)提取原始點(diǎn)云中有利于目標(biāo)檢測(cè)的信息，得到點(diǎn)云的前視二維特征圖，并將其與可見(jiàn)光圖像進(jìn)行融合。另一方面，在融合過(guò)程中，為了使得融合圖像更好地保留可見(jiàn)光圖像真實(shí)的紋理信息，本文引進(jìn)了相對(duì)概率的思想，用鑒別器鑒別圖像相對(duì)真實(shí)概率取代絕對(duì)真實(shí)概率，提高融合圖像對(duì)可見(jiàn)光圖像中的紋理信息的復(fù)原程度，更好地提高目標(biāo)檢測(cè)的效果。

通過(guò)性能比較，F(xiàn)VOI 的點(diǎn)云處理方法和相對(duì)概率的鑒別器思想都對(duì)CrossGAN-Detection方法起到了很好的提升作用。在KITTI 的驗(yàn)證分割集上，本文方法優(yōu)于現(xiàn)有方法。本文還考慮了光照條件受限下的場(chǎng)景，進(jìn)一步證明了該方法的有效性。