基于多源信息融合的智能目標(biāo)檢測(cè)技術(shù)

宋文姝，侯建民，崔雨勇

（1.山西省無(wú)線電監(jiān)測(cè)中心，山西 太原 030009；2.晉西車軸股份有限公司，山西 太原 030027；3.西南技術(shù)物理研究所，四川 成都 610041）

0 引 言

目標(biāo)檢測(cè)（object detection）作為計(jì)算機(jī)視覺(jué)的基本技術(shù)，在無(wú)人駕駛和行為識(shí)別等方面具有廣泛應(yīng)用[1]，是計(jì)算機(jī)視覺(jué)應(yīng)用的重要方向。傳統(tǒng)的檢測(cè)方法，特別是基于圖像的方法有基于特征的方法，如方向梯度直方圖（Histogram of Oriented Gradient，HoG）和尺度不變特征變換（Scale invariant feature Transform，SIFT）[2]，特征的人為選取往往需要經(jīng)驗(yàn)，由于目標(biāo)的種類不同，因此特征構(gòu)建往往存在一定的差異。隨著深度卷積網(wǎng)絡(luò)技術(shù)的發(fā)展，當(dāng)前已經(jīng)能夠從更高層特征完成典型目標(biāo)的表征，同時(shí)具備更強(qiáng)的目標(biāo)細(xì)節(jié)表現(xiàn)能力。典型的IMGENet和COCO等標(biāo)準(zhǔn)庫(kù)[3]的構(gòu)建，在基于深度學(xué)習(xí)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方面具有重要優(yōu)勢(shì)，主要表現(xiàn)在兩方面：一是由于其深度學(xué)習(xí)特征模擬人的理解過(guò)程，可完成物體特征的深層抽象；二是樣本庫(kù)的豐富程度對(duì)深度網(wǎng)絡(luò)架構(gòu)訓(xùn)練的結(jié)果影響比較大，由于深度網(wǎng)絡(luò)參數(shù)豐富，因此具備很強(qiáng)的學(xué)習(xí)能力。大量的數(shù)據(jù)訓(xùn)練有助于激活深度網(wǎng)絡(luò)的神經(jīng)元，使其可以從物體的形態(tài)、環(huán)境屬性及顏色等多維度對(duì)目標(biāo)進(jìn)行深入認(rèn)知，因此深度網(wǎng)絡(luò)在目標(biāo)檢測(cè)中具有獨(dú)特的優(yōu)勢(shì)，且隨著樣本的豐富能夠獲得比普通方法更有效的檢測(cè)效果。

本文針對(duì)紅外和可見(jiàn)光獲取的不同目標(biāo)信息，采用two-stage模式，完成對(duì)同一目標(biāo)的不同成像條件下的深度特征提取，完成典型特征提取，并通過(guò)特征融合模式，形成深度學(xué)習(xí)網(wǎng)絡(luò)輸入，采用YOLOV3網(wǎng)絡(luò)思想，通過(guò)網(wǎng)絡(luò)的輕量化設(shè)計(jì)提升網(wǎng)絡(luò)訓(xùn)練和檢測(cè)效率，實(shí)現(xiàn)在機(jī)載平臺(tái)的應(yīng)用需求，最后通過(guò)典型實(shí)驗(yàn)驗(yàn)證，提高了多源圖像特征級(jí)融合的深度檢測(cè)網(wǎng)絡(luò)的效能。

1 相關(guān)工作

采用多源圖像特征完成典型目標(biāo)檢測(cè)具有重要的意義，特別是針對(duì)不同典型的目標(biāo)檢測(cè)。目前基于深度學(xué)習(xí)的目標(biāo)檢測(cè)已經(jīng)成為研究的熱點(diǎn)，依托深度卷積神經(jīng)網(wǎng)絡(luò)特征描述的優(yōu)勢(shì)，有效完成單一目標(biāo)或多種目標(biāo)的檢測(cè)，特別是在目標(biāo)受到干擾等情況下，具有一定的優(yōu)勢(shì)。當(dāng)前，two-stage系列算法有OverFeat[3]，Braham等利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）完成典型視頻序列目標(biāo)分析[4]，完成目標(biāo)訓(xùn)練，實(shí)現(xiàn)對(duì)背景與目標(biāo)的分離。文獻(xiàn)[5]提出一種深度自編碼網(wǎng)絡(luò)訓(xùn)練，設(shè)計(jì)一種代價(jià)函數(shù)，有效提高深度自編碼網(wǎng)絡(luò)提取背景效果。文獻(xiàn)[6]提出一種將視頻對(duì)比模式引入背景的高層特征，實(shí)現(xiàn)塊級(jí)別的快速運(yùn)動(dòng)目標(biāo)檢測(cè)。文獻(xiàn)[7]構(gòu)建多層自組織映射網(wǎng)絡(luò)完成背景模型訓(xùn)練，有效提高了目標(biāo)智能檢測(cè)效果。Fast R-CNN在R-CNN的基礎(chǔ)上，針對(duì)候選區(qū)域重疊問(wèn)題，進(jìn)行了多次特征迭代并多次參與卷積運(yùn)算，造成資源浪費(fèi)的情況，采用對(duì)特征一次提取并進(jìn)行歸一化表示的思想，檢測(cè)效率得到大幅提高，文獻(xiàn)[8]提出一種采用LSSVM和多數(shù)投票原則的遙感影像道路提取技術(shù)，構(gòu)建典型特征金子塔有效提取目標(biāo)信息，從而形成特征空間和尺度上完全活躍的特征交互，從而提高目標(biāo)檢測(cè)準(zhǔn)確度[9-10]。

2 基于多源信息融合的智能目標(biāo)檢測(cè)技術(shù)

2.1 圖像的深度特征提取

基于典型的卷積神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行典型的特征分析，在大規(guī)模訓(xùn)練級(jí)的基礎(chǔ)上，采用AlexNet網(wǎng)絡(luò)的模型前5層特征進(jìn)行典型圖像的深度特征提取。模型的初始參數(shù)通過(guò)訓(xùn)練傳統(tǒng)的數(shù)據(jù)集獲?。ū疚牟捎肐mageNet數(shù)據(jù)集）。通過(guò)對(duì)數(shù)據(jù)集的訓(xùn)練，可以對(duì)目標(biāo)模型進(jìn)行深度特征提取，采用典型的池化和卷積操作，提高典型目標(biāo)的特征提取模式。通過(guò)取消典型網(wǎng)絡(luò)的全連接層和最后的卷積層，完成典型特征的提取。通過(guò)5層卷積模型，完成圖像特征的逐層分解，形成目標(biāo)多層特征模型。訓(xùn)練特征獲取如圖1所示。

圖1 紅外/光電圖像融合

通過(guò)對(duì)可見(jiàn)光圖像和紅外圖像分別進(jìn)行特征提取，將圖像轉(zhuǎn)為3通道的7層金字塔圖像，針對(duì)典型圖像的特征訓(xùn)練，構(gòu)建如圖2的輸出圖像。由于傳統(tǒng)的網(wǎng)絡(luò)是224*224的，而本文圖像獲取的是512*512的，因此，為了能夠獲得其準(zhǔn)確數(shù)據(jù)，直接對(duì)其進(jìn)行第一層的網(wǎng)絡(luò)參數(shù)提取。

采用典型的圖像和可見(jiàn)光的圖像融合模式，形成典型特征分析結(jié)果，由于采用特征級(jí)的融合，具體的融合模式在章節(jié)3.2中敘述。在原始圖像的基礎(chǔ)上，形成典型的單源圖像提取模式，具體提取模式采用本文方法進(jìn)行。針對(duì)典型的飛機(jī)特征進(jìn)行提取，形成對(duì)典型目標(biāo)特征的提取模式，如圖3所示。

圖3 目標(biāo)不同層次特征模型

根據(jù)不同圖像融合的深度特征，形成典型目標(biāo)特征表達(dá)。由于深度學(xué)習(xí)的本質(zhì)是通過(guò)目標(biāo)的混合組件進(jìn)行檢測(cè)，通過(guò)訓(xùn)練得到最高得分的組件，形成典型的訓(xùn)練目標(biāo)特征，因此能夠針對(duì)不同目標(biāo)在不同數(shù)據(jù)源的特征表征，有效區(qū)分目標(biāo)和背景。

2.2 紅外/光電圖像特征深度融合模式

針對(duì)典型的打擊目標(biāo)和實(shí)際目標(biāo)信息特征的需求，需要根據(jù)不同的目標(biāo)特征進(jìn)行特征的融合模式分析，構(gòu)建紅外/光電圖像融合模式，形成特征級(jí)融合模式。

針對(duì)兩者在特征級(jí)檢測(cè)的優(yōu)勢(shì)，采用典型的特征檢測(cè)融合模式，形成多級(jí)特征檢測(cè)深度融合模式。通過(guò)對(duì)于兩種圖像目標(biāo)的顯著性區(qū)域特征檢測(cè)和融合，可以有效地獲得感興趣區(qū)域，減少數(shù)據(jù)量，提高計(jì)算效率?，F(xiàn)有的檢測(cè)顯著性目標(biāo)算法都取得了較好的效果，然而，由于融合影像中受到紅外圖像的信噪比低，邊緣擴(kuò)散效應(yīng)明顯的特點(diǎn)使得傳統(tǒng)的基于邊緣提取的分割算法在顯著目標(biāo)的精確位置定位及目標(biāo)實(shí)際大小獲取上存在一定的局限。采用深度特征完成典型目標(biāo)提取，形成顯著性目標(biāo)特征。通過(guò)在不同特征層次上進(jìn)行特征的融合，提升典型目標(biāo)的細(xì)節(jié)特征。這一過(guò)程不僅能準(zhǔn)確提取目標(biāo)的特征信息，同時(shí)有效處理包含多個(gè)顯著目標(biāo)的圖像，提高處理效率，而且能進(jìn)一步去除偽裝目標(biāo)。具體如圖4所示。

圖4 顯著性特征提取深度融合圖

顯著目標(biāo)的提取主要采用不同的特征，在融合前通過(guò)配準(zhǔn)完成典型目標(biāo)的融合，形成對(duì)典型目標(biāo)特征的模式，提升目標(biāo)細(xì)節(jié)特征，有助于提高融合后的目標(biāo)檢測(cè)效果。

紅外圖像與可見(jiàn)光圖像的成像機(jī)理不同，融合模式設(shè)置中需要根據(jù)成像機(jī)理進(jìn)行設(shè)置。針對(duì)同一層次的不同特征細(xì)節(jié)，采用多個(gè)特征關(guān)聯(lián)模式進(jìn)行評(píng)價(jià)，采用如下評(píng)判規(guī)則：

式中：α是采用的兩個(gè)圖像關(guān)聯(lián)參數(shù)向量，F(xiàn)(a,b)表示兩者的融合模式。一般而言，對(duì)于不同的特征融合，需要根據(jù)其特征進(jìn)行分選。因此，兩者的特征在互補(bǔ)時(shí)，特征向量可以認(rèn)為是稀疏的，構(gòu)建典型的特征融合模式，F(xiàn)(a,b)可以表示為：

式中：p(ai,j,bi,j)為兩者的特征關(guān)聯(lián)相關(guān)度量，用于衡量?jī)烧邎D像間的融合問(wèn)題。

2.3 基于融合圖像的智能目標(biāo)檢測(cè)技術(shù)

針對(duì)典型融合圖像的智能目標(biāo)檢測(cè)問(wèn)題，采用多源信息融合的智能目標(biāo)檢測(cè)模式，以紅外/可見(jiàn)光圖像深度特征融合為基礎(chǔ)，完成典型目標(biāo)檢測(cè)。如圖5所示。

圖5 基于多源信息融合的智能目標(biāo)檢測(cè)技術(shù)

根據(jù)紅外與可見(jiàn)光圖像的大小，假設(shè)原始圖像為Iop與IIR，由于圖像本身沒(méi)有大小和分辨率不一致，首先完成圖像的規(guī)則化處理：I′op=f(Iop)，I′IR=f(IIR)。其中：

在圖像處理過(guò)程中，均值采用紅外與光電圖像處理模式，δ為圖像的誤差值。在歸一化處理中，同時(shí)對(duì)圖像大小進(jìn)行統(tǒng)一變換，形成512*512圖像，在特征融合過(guò)程中，采用章節(jié)2.2給出的方法，完成典型特征在不同層次的融合，形成典型目標(biāo)的特征表示模式。候選區(qū)位置預(yù)測(cè)的目標(biāo)是預(yù)測(cè)哪些區(qū)域應(yīng)該作為中心點(diǎn)來(lái)生成候選區(qū)，是一個(gè)二分類問(wèn)題。形狀預(yù)測(cè)是給定候選區(qū)的中心點(diǎn)，預(yù)測(cè)最佳的長(zhǎng)和寬，這是一個(gè)回歸問(wèn)題?？梢允褂脙蓚€(gè)分支網(wǎng)絡(luò)來(lái)分別對(duì)候選區(qū)的位置和形狀進(jìn)行分類和回歸，生成候選區(qū)。通過(guò)采用融合特征進(jìn)行訓(xùn)練，形成典型目標(biāo)的特征輸出，形成目標(biāo)檢測(cè)結(jié)果。

為了能夠?qū)δ繕?biāo)精確檢測(cè)，采用最優(yōu)置信度模式，假設(shè)IoU是目標(biāo)檢測(cè)的真實(shí)方框區(qū)域，0標(biāo)記為非目標(biāo)區(qū)域。

分表表示配準(zhǔn)的檢測(cè)集與真實(shí)的標(biāo)注集。

3 實(shí)驗(yàn)和分析

3.1 實(shí)驗(yàn)環(huán)境

本文基于嵌入式應(yīng)用平臺(tái)進(jìn)行網(wǎng)絡(luò)模型結(jié)構(gòu)的設(shè)計(jì)，但由于嵌入式硬件平臺(tái)計(jì)算和存儲(chǔ)能力有限，難以實(shí)現(xiàn)在有效的時(shí)間內(nèi)完成模型的訓(xùn)練優(yōu)化任務(wù)。針對(duì)此問(wèn)題，本文采用服務(wù)器與嵌入式協(xié)同的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和測(cè)試。先將上述網(wǎng)絡(luò)模型結(jié)構(gòu)在高性能服務(wù)器平臺(tái)進(jìn)行訓(xùn)練，并在此硬件平臺(tái)上完成模型的實(shí)際性能測(cè)試，之后將模型導(dǎo)入到嵌入式硬件平臺(tái)上。實(shí)驗(yàn)環(huán)境詳細(xì)信息如表1所示。

表1 實(shí)驗(yàn)環(huán)境

3.2 實(shí)驗(yàn)結(jié)果及分析

由于同一場(chǎng)景的紅外和光電圖像在打擊武器視角下獲取困難，同時(shí)為了測(cè)試本算法的有效性，采用COCO數(shù)據(jù)集作為可見(jiàn)光圖像的飛機(jī)數(shù)據(jù)，而相應(yīng)的紅外圖像采用仿真軟件生成。同時(shí)，數(shù)據(jù)集中加入實(shí)際采集數(shù)據(jù)，形成完整的測(cè)試數(shù)據(jù)，紅外和可見(jiàn)光圖像各10 000張。

3.2.1 模型性能對(duì)比

針對(duì)單源圖像和融合后圖像分別計(jì)算其檢測(cè)結(jié)果，采用典型的融合模式，針對(duì)飛機(jī)和艦船目標(biāo)進(jìn)行多次實(shí)驗(yàn)。在COCO數(shù)據(jù)集算法性能方面，采用同樣的模型對(duì)以上3種輸入數(shù)據(jù)進(jìn)行訓(xùn)練，并完成性能測(cè)試，具體測(cè)試結(jié)果如表2所示。

表2 模型性能對(duì)比

考慮到本文算法的應(yīng)用背景，采用了一些原始數(shù)據(jù)，在COCO數(shù)據(jù)集飛機(jī)和艦船目標(biāo)的基礎(chǔ)上，對(duì)數(shù)據(jù)進(jìn)行了綜合，同時(shí)采用8 000張圖像進(jìn)行訓(xùn)練，2 000張圖像進(jìn)行測(cè)試?？梢钥闯?，融合特征檢測(cè)模式下的檢測(cè)準(zhǔn)確率較高，這是因?yàn)?，在具體的檢測(cè)中，目標(biāo)特征在深度特征提取后因池化操作而隱藏了很多關(guān)鍵點(diǎn)，但是特征融合又增強(qiáng)了池化特征的表征能力，因此獲得了較好的檢測(cè)效果。

3.2.2 模型復(fù)雜度對(duì)比實(shí)驗(yàn)

由于武器系統(tǒng)往往存在硬件資源受限的情況，模型的評(píng)價(jià)不僅需要從準(zhǔn)確率方面進(jìn)行判定，而且需要考慮資源和準(zhǔn)確度的關(guān)聯(lián)。因此針對(duì)本方法提取的模型的參數(shù)計(jì)算情況進(jìn)行分析，具體實(shí)驗(yàn)結(jié)果如表3所示。

表3 模型復(fù)雜度對(duì)比

可以看出，本文的特征融合算法在計(jì)算量方面相比單傳感器增加，同時(shí)，由于深度特征融合在特征層進(jìn)行，需要根據(jù)典型的特征相似性計(jì)算，因此計(jì)算時(shí)間較長(zhǎng)，但增加的時(shí)間在可控范圍內(nèi)。另外，由于特征需要同時(shí)存儲(chǔ)，因此內(nèi)存增加較多。

在模型準(zhǔn)確率方面，本文的特征融合算法相比單傳感器都有提高，相比紅外特征，增加了2.3%，而相比可見(jiàn)光則增加了3.4%，具體原因在于，目標(biāo)被遮擋和特征模糊時(shí)，由于紅外特征對(duì)可見(jiàn)光的補(bǔ)充性比較強(qiáng)，且由于選擇的目標(biāo)具有一定熱輻射，因此其紅外圖像單獨(dú)檢測(cè)準(zhǔn)確率略高于可見(jiàn)光圖像，針對(duì)典型目標(biāo)增加了可靠性，滿足精確打擊武器和相關(guān)車載目標(biāo)檢測(cè)的需求。

4 結(jié) 語(yǔ)

針對(duì)對(duì)地打擊的目標(biāo)檢測(cè)需求，提出一種紅外/可見(jiàn)光圖像融合算法，采用圖像深度特征融合模式，通過(guò)對(duì)紅外圖像和可見(jiàn)光圖像的深度特征融合，提升目標(biāo)深度特征的完整性，從而提升不同層次特征檢測(cè)的有效性，實(shí)現(xiàn)目標(biāo)的檢測(cè)，有效提升戰(zhàn)場(chǎng)目標(biāo)的發(fā)現(xiàn)和檢測(cè)概率。

本文通過(guò)在不同層特征的融合達(dá)到目標(biāo)檢測(cè)的目的，采用目標(biāo)深度特征融合檢測(cè)的模式，無(wú)法確定融合的層次或在哪個(gè)層次獲得的融合效果更佳，因此下一步將通過(guò)特征在不同層次的融合和對(duì)比，提高特征的利用率。