基于Faster R-CNN的無(wú)人機(jī)車輛目標(biāo)檢測(cè)

張 瑩，劉子龍，萬(wàn) 偉

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上海 200093)

隨著計(jì)算機(jī)視覺(jué)技術(shù)的快速發(fā)展，民用和軍用方面的高精度目標(biāo)檢測(cè)研究需求逐漸增多，具有目標(biāo)檢測(cè)功能的無(wú)人機(jī)巡檢系統(tǒng)逐漸成為新的研究熱點(diǎn)。但是無(wú)人機(jī)視角下的車輛目標(biāo)中，小目標(biāo)數(shù)量較大，在車輛密集場(chǎng)景下會(huì)出現(xiàn)多重疊目標(biāo)、不完整目標(biāo)，導(dǎo)致無(wú)人機(jī)車輛目標(biāo)檢測(cè)精度不高。本文以現(xiàn)階段目標(biāo)檢測(cè)算法為基礎(chǔ)，提出一種基于無(wú)人機(jī)平臺(tái)的車輛目標(biāo)檢測(cè)解決方案，進(jìn)而實(shí)現(xiàn)多目標(biāo)發(fā)現(xiàn)、處理和檢測(cè)。

近年來(lái)，深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域得到了越來(lái)越多的關(guān)注。利用深度學(xué)習(xí)進(jìn)行目標(biāo)檢測(cè)與識(shí)別已經(jīng)成為主流方法[1]。常見(jiàn)的用于目標(biāo)檢測(cè)的算法包括以YOLO(You Only Look Once)[2-4]系列算法、SSD(Single Shot Multi Box Detector)[5]算法為代表的一階段檢測(cè)算法和以R-CNN(Regions with Convolutional Neural Network)[6-8]系列為代表的二階段檢測(cè)算法。一階段的檢測(cè)算法運(yùn)算速度較快，但檢測(cè)精度較差，尤其是對(duì)于小目標(biāo)的檢測(cè)精度較低，因此在小目標(biāo)較多的場(chǎng)景下的無(wú)人機(jī)車輛目標(biāo)檢測(cè)應(yīng)用中，該系列算法效果欠佳。二階段的檢測(cè)算法具有較高的檢測(cè)精度，更適于在多場(chǎng)景下的無(wú)人機(jī)車輛檢測(cè)任務(wù)。

1 無(wú)人機(jī)車輛目標(biāo)檢測(cè)模型

本文針對(duì)無(wú)人機(jī)物體檢測(cè)任務(wù)，選擇Faster R-CNN(Faster Regions with Convolutional Neural Network)作為基礎(chǔ)檢測(cè)算法，并對(duì)其進(jìn)行優(yōu)化。本文選擇Faster R-CNN網(wǎng)絡(luò)模型為基礎(chǔ)算法的原因?yàn)椋?1) Faster R-CNN模型是高精度檢測(cè)算法的代表；(2)Faster R-CNN模型將Selective Search算法改進(jìn)為RPN(Region Proposal Network)網(wǎng)絡(luò)，提升了檢測(cè)速度，且Fast R-CNN網(wǎng)絡(luò)和RPN網(wǎng)絡(luò)共享特征參數(shù)，可進(jìn)一步提升檢測(cè)速度。

本文的具體檢測(cè)過(guò)程為：無(wú)人機(jī)到達(dá)指定區(qū)域后進(jìn)行圖像采集，并通過(guò)無(wú)線網(wǎng)絡(luò)將所拍攝圖像回傳至地面站；之后采用目標(biāo)檢測(cè)算法進(jìn)行所需目標(biāo)的檢測(cè)工作。旋翼無(wú)人機(jī)物體檢測(cè)模型框架如圖1所示，旋翼無(wú)人機(jī)物體檢測(cè)算法流程如圖2所示。

圖1 旋翼無(wú)人機(jī)物體檢測(cè)模型框架Figure 1. Rotor-wing UAV object detection model framework

圖2 旋翼無(wú)人機(jī)物體檢測(cè)算法流程圖Figure 2. Rotor-wing UAV object detection algorithm flowchart

2 數(shù)據(jù)準(zhǔn)備

無(wú)人機(jī)采集的數(shù)據(jù)集，必須具有多樣性。對(duì)于深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練來(lái)說(shuō)，圖像越多樣，得到的模型越有效，魯棒性也越高。為了增強(qiáng)圖像的多樣性，本文控制無(wú)人機(jī)在不同飛行高度進(jìn)行拍攝，并使無(wú)人機(jī)搭載的云臺(tái)相機(jī)角度和拍攝姿勢(shì)處于不同狀態(tài)，同時(shí)在多種場(chǎng)景下進(jìn)行圖像的采集，例如光線充足和光線較差場(chǎng)景、小區(qū)和道路場(chǎng)景等。由于時(shí)間限制，除了使用無(wú)人機(jī)采集到的車輛數(shù)據(jù)之外，本文還挑選了VisDrone數(shù)據(jù)集[9]中約2 000張包含車輛的圖像，并將其按照本文的標(biāo)注規(guī)則重新標(biāo)注，以便擴(kuò)充數(shù)據(jù)。本文采集到的無(wú)人機(jī)視角航拍圖像如圖3所示。本文數(shù)據(jù)集與相似類型的公開(kāi)數(shù)據(jù)集對(duì)比如表1所示。

圖3 無(wú)人機(jī)視角航拍圖像示例Figure 3. Examples of aerial images from UAV perspective

對(duì)已搜集到的數(shù)據(jù)采取隨機(jī)旋轉(zhuǎn)、反轉(zhuǎn)變換、添加顏色抖動(dòng)等幾種不影響模型檢測(cè)結(jié)果的數(shù)據(jù)增強(qiáng)方式來(lái)增加數(shù)據(jù)量。以上操作不僅減輕了模型的過(guò)擬合問(wèn)題，還使得數(shù)據(jù)具有較強(qiáng)的抗噪聲能力，進(jìn)而增強(qiáng)了模型的實(shí)用性和魯棒性。數(shù)據(jù)增強(qiáng)前后的效果示意圖如圖4所示。

表1 本文數(shù)據(jù)集與相似類型公開(kāi)數(shù)據(jù)集對(duì)比

數(shù)據(jù)集使用LabelImg來(lái)標(biāo)記，標(biāo)注文件格式為XML格式[15]。XML文件主要包含圖像的標(biāo)注信息，例如圖像名稱、圖像大小、object所屬類別以及目標(biāo)框左上頂點(diǎn)和右下頂點(diǎn)在當(dāng)前被標(biāo)注圖像上的像素坐標(biāo)信息。模型則根據(jù)標(biāo)注信息進(jìn)行分類和邊框回歸。

3 遷移學(xué)習(xí)初始化模型

遷移學(xué)習(xí)是將在一項(xiàng)任務(wù)中學(xué)習(xí)到的權(quán)重遷移到新的任務(wù)中，以提高新任務(wù)的泛化性。本文選擇數(shù)據(jù)集較大的PASCAL VOC數(shù)據(jù)集預(yù)訓(xùn)練模型來(lái)初始化模型參數(shù)。深度學(xué)習(xí)網(wǎng)絡(luò)淺層提取到的特征較泛化，深層提取到的特征與數(shù)據(jù)集的相關(guān)性更強(qiáng)，因此，深度學(xué)習(xí)模型的訓(xùn)練過(guò)程由淺入深。本文在特征提取網(wǎng)絡(luò)初始化時(shí)，不采用隨機(jī)初始化的方案，而是使用預(yù)訓(xùn)練獲得的參數(shù)來(lái)初始化模型，并在檢測(cè)訓(xùn)練時(shí)對(duì)無(wú)人機(jī)物體檢測(cè)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行微調(diào)。

4 模型評(píng)價(jià)指標(biāo)

本文采用IoU來(lái)衡量目標(biāo)檢測(cè)模型定位的準(zhǔn)確性，定位準(zhǔn)確度越高則IoU值越高。IoU為真實(shí)框和預(yù)測(cè)框重疊部分與兩者形成圖形總面積比值，如圖5所示，其中G為Ground truth box，P為Proposal truth box，所以真實(shí)框和預(yù)測(cè)框的IoU值為

IoU=(G∩P)/(G∪P)

(1)

圖5 IoU示意圖Figure 5. Schematic diagram of IoU

當(dāng)?shù)玫降腎oU值超過(guò)一定閾值時(shí)，說(shuō)明真實(shí)框被預(yù)測(cè)框命中。當(dāng)計(jì)算得到的IoU值小于等于一定閾值時(shí)，提示遺漏了目標(biāo)或者可能并未命中真實(shí)框。可能發(fā)生的事件為如下4種：(1)真陽(yáng)性事件(TP)。模型在某位置處給出了預(yù)測(cè)框，且在該處有正樣本；(2)假陽(yáng)性事件(FP)。模型在某位置處給出了預(yù)測(cè)框，但在該處并沒(méi)有正樣本，即預(yù)測(cè)框處為背景；(3)真陰性事件(TN)。模型在某位置處沒(méi)有給出預(yù)測(cè)框，且該位置為背景；(4)假陰性事件(FN)。模型在某位置處沒(méi)有給出預(yù)測(cè)框，但是該位置處為前景。

在檢測(cè)過(guò)程中，將上述4個(gè)事件發(fā)生次數(shù)加以統(tǒng)計(jì)，即可計(jì)算模型準(zhǔn)確率P(Precision，表示模型預(yù)測(cè)正確的概率)和召回率R(Recall，表示所有目標(biāo)被模型檢測(cè)到的概率)，計(jì)算式如下所示。

(2)

(3)

準(zhǔn)確率P和召回率R為負(fù)相關(guān)，即召回率升高準(zhǔn)確率會(huì)相應(yīng)下降，反之亦然。只用準(zhǔn)確率和召回率衡量模型整體性能并不科學(xué)，理想情況是準(zhǔn)確率P和召回率R都盡可能高。為了使兩者得到權(quán)衡，引入P-R曲線。AP(Average Precision)值為P-R曲線與x軸和y軸圍成圖形的面積，其取值為0～1，可體現(xiàn)算法模型的綜合性能。AP值越高表明檢測(cè)效果越好，所以最終采用AP值來(lái)評(píng)價(jià)模型性能。

5 模型優(yōu)化

ResNet卷積神經(jīng)網(wǎng)絡(luò)[16]引入殘差學(xué)習(xí)的概念，解決了梯度消失的問(wèn)題。ResNet卷積神經(jīng)網(wǎng)絡(luò)通過(guò)讓卷積層學(xué)習(xí)殘差映射，簡(jiǎn)化目標(biāo)檢測(cè)問(wèn)題難度。在深度相同時(shí)，ResNet卷積神經(jīng)網(wǎng)絡(luò)的性能優(yōu)于VGG卷積神經(jīng)網(wǎng)絡(luò)。為了使無(wú)人機(jī)目標(biāo)檢測(cè)具有更優(yōu)的性能，本文對(duì)Faster R-CNN網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò)部分加以改進(jìn)，棄用其默認(rèn)的VGG-16卷積神經(jīng)網(wǎng)絡(luò)，選用ResNet卷積神經(jīng)網(wǎng)絡(luò)。

本文分別采用ResNet-34、ResNet-50和ResNet-101作為特征提取網(wǎng)絡(luò)，通過(guò)實(shí)驗(yàn)對(duì)比性能數(shù)據(jù)，得到的實(shí)驗(yàn)結(jié)果如表2所示。由表2可知，在以上幾種特征提取網(wǎng)絡(luò)中，選擇ResNet-101作為本文的特征提取網(wǎng)絡(luò)效果最佳。

表2 不同特征提取網(wǎng)絡(luò)模型AP值

無(wú)人機(jī)飛行高度和角度會(huì)導(dǎo)致所要檢測(cè)目標(biāo)較小或者存在遮擋的情況。針對(duì)這些場(chǎng)景下的目標(biāo)檢測(cè)，本文在調(diào)整特征提取網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)一步改進(jìn)，具體做法為：(1)將每個(gè)RPN產(chǎn)生的候選區(qū)域進(jìn)行ROI池化，將池化所得的結(jié)果映射至Conv2和Conv4的特征圖中，從而得到該候選區(qū)域在Conv2和Conv4中的特征信息；(2)將該特征信息進(jìn)行池化處理，得到固定維度的特征圖；(3)將所選擇的需合并的特征信息進(jìn)行歸一化處理，在通道上施行信息融合；(4)使用1×1的卷積進(jìn)行降維，然后將最終得到的特征圖送入全連接層做分類回歸處理，其結(jié)構(gòu)如圖6所示。

圖6 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)示意圖Figure 6. Schematic diagram of the improved network structure

改進(jìn)后網(wǎng)絡(luò)除了使用特征提取網(wǎng)絡(luò)中最高卷積層輸出的特征，還將低層的Conv2輸出的特征和Conv4輸出的特征與高層特征相結(jié)合，達(dá)到填充小目標(biāo)和不完整目標(biāo)細(xì)節(jié)信息的目的，提高了網(wǎng)絡(luò)對(duì)小目標(biāo)和不完整目標(biāo)的檢測(cè)精度。采取此種措施是因?yàn)槟Ｐ偷蛯拥玫降膱D像特征語(yǔ)義信息較少，但目標(biāo)位置信息較準(zhǔn)確；模型高層得到的語(yǔ)義信息較多，但目標(biāo)位置信息準(zhǔn)確性較低，飛行高度較高時(shí)無(wú)人機(jī)目標(biāo)檢測(cè)效果欠佳。

Faster R-CNN模型使用的去除重疊檢測(cè)框的算法為NMS(Non-Maximum Suppression)算法[17]。NMS在處理過(guò)程中存在無(wú)法選擇相近框的情況，即在兩個(gè)目標(biāo)距離相近時(shí)存在漏檢問(wèn)題。為了提高目標(biāo)樣本在高密度情況下的召回率，對(duì)Faster R-CNN模型中的NMS進(jìn)行改進(jìn)。本文采用文獻(xiàn)[18]中的方式改進(jìn)Soft-NMS算法。

根據(jù)Soft-NMS算法[19-20]移除檢測(cè)框的過(guò)程可以看出，如果Soft-NMS算法的閾值選取的恰當(dāng)，F(xiàn)aster R-CNN算法的整體性能也會(huì)變好。然而在實(shí)際應(yīng)用中，選取使算法既有較高準(zhǔn)確率又有較高召回率的最優(yōu)閾值較為困難。因此，本文采用加入約束因子的Soft-NMS算法，其算法流程如下

算法1改進(jìn)Soft-NMS算法

Input:B={b1,b2,…,bn} //所有檢測(cè)框集合

S={s1,s2,…,sn} //檢測(cè)框Score集合

D={} //最優(yōu)檢測(cè)框集合，//初始化為空集合

Begin:

whileB≠ empty do

bm=max{B} //Score最高的檢測(cè)框

B=B-bm//移除Score最高檢測(cè)框bm(最優(yōu)框)

D=D∪bm//將bm加入集合D

forbiinBdo

ci=cif(IoU(bm,bi))

si=sici

ifsi<σ

B=B-bi

end

end

returnD,S

end

其中，bi為第i個(gè)檢測(cè)框；si為第i個(gè)檢測(cè)框的Score；bm為當(dāng)前迭代Score最高的檢測(cè)框。

Soft-NMS算法的計(jì)算式為

(4)

本論文中約束因子的計(jì)算方法為

ci=α(1-IoU(bm,bi)2)[18]

(5)

ci=α(IoU(bm,bi)-1)2

(6)

式中，ci為檢測(cè)框i的約束因子；IoU(bm,bi)為最優(yōu)檢測(cè)框bm與每一檢測(cè)框bi的IoU值；α為權(quán)重因子。根據(jù)檢測(cè)框的IoU值計(jì)算檢測(cè)框?qū)?yīng)的約束因子大小，且由式(5)和式(6)可以看到檢測(cè)框IoU值越大對(duì)該框Score的約束因子越大。在對(duì)重疊檢測(cè)框處理時(shí)加入約束因子的Soft-NMS算法，每次迭代循環(huán)都將約束因子加入，從而不斷衰減檢測(cè)框的Score，經(jīng)過(guò)數(shù)次循環(huán)之后將分?jǐn)?shù)低于σ的檢測(cè)框丟棄。對(duì)NMS算法和Soft-NMS算法而言，T值的選取對(duì)這兩種算法的性能影響較大，但是改進(jìn)的Soft-NMS算法中參數(shù)σ的選取對(duì)算法性能的影響較T的選取要小很多。在時(shí)間復(fù)雜度方面與原算法相同，均為O(n2)。

Faster R-CNN中使用的Anchor共包含3種尺寸{1282,2562,5122}，3種比例1∶1、1∶2和2∶1。但是因?yàn)镕aster R-CNN模型是根據(jù)Anchor所包含區(qū)域的特征來(lái)實(shí)現(xiàn)分類和回歸的，因此，如果Anchor的尺寸和比例更加貼近數(shù)據(jù)集目標(biāo)則可提高分類和回歸效果。

改變Faster R-CNN中原始設(shè)定的Anchor尺寸，相應(yīng)增加小尺寸的Anchor，將數(shù)據(jù)集所有目標(biāo)的面積和比例加以匯總統(tǒng)計(jì)，得到圖7和圖8所示分布圖。由面積直方圖可以看到大部分目標(biāo)大小集中在0～340之間，比例集中在0.7左右。根據(jù)直方圖分布，本文擬采用的Anchor比例為{1∶2,1∶7,2∶1}。同時(shí)使用不同組合的Anchor，得到如表3所示結(jié)果。如果基準(zhǔn)Anchor設(shè)置過(guò)多則會(huì)增加模型計(jì)算量，設(shè)置過(guò)少則會(huì)使得匹配目標(biāo)的Anchor較少，Anchor和目標(biāo)真實(shí)框間損失值較大，需要較長(zhǎng)時(shí)間訓(xùn)練。因此，本文在兼顧計(jì)算量和性能的原則上選擇{162,322,642,962,1282}作為本文Anchor的尺寸。

圖7 數(shù)據(jù)集Ground Truth面積直方圖Figure 7. The area histogram of dataset Ground Truth

圖8 數(shù)據(jù)集Ground Truth比例直方圖Figure 8. The scale histogram of dataset Ground Truth

表3 不同組合的Anchor下模型的性能

6 實(shí)驗(yàn)分析

6.1 基準(zhǔn)實(shí)驗(yàn)

按照Faster R-CNN模型的原始結(jié)構(gòu)，基準(zhǔn)實(shí)驗(yàn)選擇VGG-16作為其特征提取網(wǎng)絡(luò)。訓(xùn)練設(shè)定為60 000步，設(shè)置初始學(xué)習(xí)率為0.001，在模型訓(xùn)練達(dá)到50 000步時(shí)，步進(jìn)式地衰減其學(xué)習(xí)率，將其下降為0.000 1。這樣設(shè)置有利于在模型訓(xùn)練到后期時(shí)尋找最優(yōu)解。在網(wǎng)絡(luò)訓(xùn)練到后期，需要調(diào)整的幅度會(huì)越來(lái)越小，如果設(shè)置的學(xué)習(xí)率過(guò)大，可能會(huì)產(chǎn)生震蕩，導(dǎo)致模型不收斂或者收斂的地方不是最優(yōu)解。

模型訓(xùn)練具體操作步驟為：(1)隨機(jī)選取數(shù)據(jù)集中1 000張圖像組成小樣本集，在此小樣本集上驗(yàn)證是否過(guò)擬合，以確保代碼正確性。Faster R-CNN模型在小樣本集上的Loss曲線如圖9所示，模型在小樣本集上的損失下降明顯，其在小樣本集上過(guò)擬合，確定了代碼正確性；(2)在數(shù)據(jù)集上正式訓(xùn)練網(wǎng)絡(luò)。本文訓(xùn)練集、測(cè)試集和驗(yàn)證集的劃分比例為8∶1∶1，即訓(xùn)練集15 622張，測(cè)試集1 950張，驗(yàn)證集1 950張。在訓(xùn)練網(wǎng)絡(luò)的同時(shí)步進(jìn)地調(diào)整學(xué)習(xí)速率。若模型Loss曲線下降不明顯，可以通過(guò)衰減其學(xué)習(xí)速率調(diào)整，直到Loss基本上維持不變停止網(wǎng)絡(luò)訓(xùn)練；(3)將訓(xùn)練完成的模型在測(cè)試集上測(cè)試，并記錄測(cè)試數(shù)據(jù)及可視化測(cè)試結(jié)果。

圖9 在小樣本集上的Loss曲線Figure 9. Loss curve on a small sample set

基礎(chǔ)Faster R-CNN檢測(cè)效果如圖10所示，圖10(a)為白天小目標(biāo)檢測(cè)效果，個(gè)別小目標(biāo)被漏檢；圖10(b)為白天非小目標(biāo)檢測(cè)效果，有些不完整目標(biāo)和被遮擋目標(biāo)被漏檢；圖10(c)為夜晚非小目標(biāo)檢測(cè)效果；圖10(d)為夜晚小目標(biāo)檢測(cè)效果，也存在小目標(biāo)漏檢和重疊目標(biāo)檢測(cè)效果欠佳的現(xiàn)象。圖11～圖13展示了幾種漏檢的情況。實(shí)驗(yàn)AP值為80.57%，AP值表征算法模型的整體綜合性能，也是本文之后優(yōu)化實(shí)驗(yàn)的基準(zhǔn)實(shí)驗(yàn)結(jié)果。

(a)

(b)

(c)

(d)圖10 Faster R-CNN基礎(chǔ)模型的測(cè)試效果(a)白天小目標(biāo)檢測(cè)效果 (b)白天非小目標(biāo)檢測(cè)效果 (c)夜晚非小目標(biāo)檢測(cè)效果 (d)夜晚小目標(biāo)檢測(cè)效果Figure 10. Test effect of Faster R-CNN basic model(a)Detection effect of daytime small targets(b)Detection effect of daytime non-small targets(c)Detection effect of nighttime non-small targets(d)Detection effect of nighttime small targets

圖11 小目標(biāo)漏檢樣例Figure 11. Example of missed detection of small targets

圖12 不完整目標(biāo)漏檢樣例Figure 12. Example of missed detection of incomplete targets

圖13 檢測(cè)框重疊嚴(yán)重的目標(biāo)漏檢樣例Figure 13. Example of missed detection of targets with severe overlapping detection frames

6.2 改進(jìn)模型實(shí)驗(yàn)

為了驗(yàn)證加入約束因子的Soft-NMS算法不依賴于閾值T的選取，實(shí)驗(yàn)參數(shù)設(shè)置和基準(zhǔn)實(shí)驗(yàn)相同。首先，進(jìn)行NMS算法和Soft-NMS算法的測(cè)試實(shí)驗(yàn)，以確認(rèn)不同閾值T對(duì)算法性能的影響，得到兩種算法在不同閾值T下，模型AP值及其變化，如圖14所示。

圖14 不同閾值T對(duì)應(yīng)的NMS算法和Soft-NMS算法的AP值Figure 14. AP values of NMS algorithm and Soft-NMS algorithm corresponding to different thresholds T

不同閾值T所對(duì)應(yīng)的模型AP值差值較大，在閾值T上升的過(guò)程中，AP值逐漸減小。產(chǎn)生這種現(xiàn)象的主要原因是，當(dāng)閾值T增大時(shí)，一些本應(yīng)被抑制丟棄的檢測(cè)框，因閾值T過(guò)大沒(méi)有得到抑制。雖然閾值T的增加會(huì)降低重疊度高的檢測(cè)框被抑制的可能，但會(huì)導(dǎo)致真正目標(biāo)框的增加幅度低于假陽(yáng)性目標(biāo)框的增加幅度，進(jìn)而降低整體檢測(cè)精度。

對(duì)加入約束因子Soft-NMS算法進(jìn)行測(cè)試實(shí)驗(yàn)，設(shè)置同上，默認(rèn)σ取值為0.001，得到不同α下模型性能。如表4所示，表中改進(jìn)Soft-NMS算法1代表采用式(5)改進(jìn)算法；改進(jìn)Soft-NMS算法2代表采用式(6)改進(jìn)算法?？梢钥吹讲煌寥≈迪翧P值變化較平穩(wěn)，且精度也滿足需求，AP值在α為0.6時(shí)達(dá)到了91.81%。之后選取α值為0.6，測(cè)試不同σ值對(duì)模型性能的影響，得到如表5所示的AP值。σ為0.001時(shí)AP最高，且不同σ值對(duì)AP值的影響在小范圍內(nèi)平穩(wěn)波動(dòng)。該結(jié)果證明加入約束因子Soft-NMS算法在達(dá)到一定AP值的基礎(chǔ)上減小了閾值T對(duì)模型性能的影響。

表4 不同α取值對(duì)應(yīng)的AP值

表5 不同σ取值對(duì)應(yīng)的AP值

表6 改進(jìn)NMS算法前后模型AP值

表6為改進(jìn)NMS算法前后模型的評(píng)價(jià)指標(biāo)。NMS算法改進(jìn)之后AP值為91.81%，提高了1.17%。主要原因是NMS算法改進(jìn)之前相互重疊的目標(biāo)有一部分會(huì)被NMS算法抑制掉，而且閾值T選取不當(dāng)會(huì)降低模型整體精度。但是重疊的目標(biāo)在整個(gè)數(shù)據(jù)集中所占的比重相對(duì)來(lái)說(shuō)較小，故對(duì)于綜合性能的影響幅度較小。

對(duì)改進(jìn)前后的Faster R-CNN模型進(jìn)行無(wú)人機(jī)車輛目標(biāo)檢測(cè)實(shí)驗(yàn)，得到性能數(shù)據(jù)如表7所示。將各步改進(jìn)的Faster R-CNN模型和原Faster R-CNN模型性能指標(biāo)進(jìn)行對(duì)比。模型改進(jìn)前的AP值是80.57%，調(diào)整特征提取網(wǎng)絡(luò)后AP值上升了5.61%，改進(jìn)特征提取網(wǎng)絡(luò)后AP值再次上升1.89%。經(jīng)過(guò)之后的NMS算法改進(jìn)和Anchor改進(jìn)，進(jìn)一步完善Faster R-CNN對(duì)于小目標(biāo)和重疊目標(biāo)的檢測(cè)精度。最終，經(jīng)過(guò)本文改進(jìn)后，模型的AP值為94.03%，整體提升了13.46%，指標(biāo)總體向好發(fā)展，表現(xiàn)出比原Faster R-CNN模型更佳的綜合性能，尤其在特征提取網(wǎng)絡(luò)改進(jìn)之后，模型AP值上升幅度大于其他改進(jìn)措施的幅度，說(shuō)明該改進(jìn)方案對(duì)于模型全局性能優(yōu)化具有較大的積極作用。特征提取網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)主要針對(duì)小目標(biāo)和不完整目標(biāo)比較難以檢測(cè)的問(wèn)題，加之無(wú)人機(jī)視角下的車輛目標(biāo)存在小目標(biāo)占比較大、不完整目標(biāo)較多的特征，所以模型性能提升幅度較大。改進(jìn)后的Faster R-CNN模型對(duì)無(wú)人機(jī)車輛目標(biāo)檢測(cè)綜合性能有較顯著的提升。

表7 算法優(yōu)化前后測(cè)試指標(biāo)對(duì)比

圖15 改進(jìn)前Faster R-CNN網(wǎng)絡(luò)Loss曲線Figure 15. Faster R-CNN network Loss curve before improvement

圖16 改進(jìn)之后Faster R-CNN網(wǎng)絡(luò)Loss曲線Figure 16. Improved Faster R-CNN network Loss curve

改進(jìn)前后模型的損失函數(shù)曲線如圖15和圖16所示。改進(jìn)前的Loss曲線可以看到整體趨勢(shì)是逐漸下降的，但是在下降過(guò)程中存在較多相較于均值來(lái)說(shuō)的“突變值”。造成這種現(xiàn)象的主要原因是原Faster R-CNN網(wǎng)絡(luò)設(shè)置的Anchor值相較于本文所檢測(cè)的車輛目標(biāo)來(lái)說(shuō)過(guò)大，當(dāng)Anchor映射至原圖時(shí)，對(duì)于那些不完整目標(biāo)或小目標(biāo)來(lái)說(shuō)，用于訓(xùn)練的圖像對(duì)這類目標(biāo)的標(biāo)記框與Faster R-CNN網(wǎng)絡(luò)模型生成的目標(biāo)框之間差異過(guò)大，導(dǎo)致模型損失函數(shù)值過(guò)大，所以出現(xiàn)“突變值”。在改進(jìn)之后的模型Loss曲線中可以看到，相較于改進(jìn)前，“突變值”明顯減少，原因?yàn)閷?duì)Anchor的生成加以改進(jìn)之后，Anchor大小和目標(biāo)真實(shí)框之間的差異減小。雖然還是會(huì)有一些“突變值”，但是這些“突變值”大小明顯小于改進(jìn)之前“突變值”的大小，這是因?yàn)楦倪M(jìn)后Anchor和真實(shí)目標(biāo)標(biāo)記框之間的差異減小。

選取測(cè)試圖像，使用改進(jìn)后的Faster R-CNN模型進(jìn)行無(wú)人機(jī)車輛目標(biāo)檢測(cè)效果測(cè)試，效果如圖17所示。圖17(a)為白天小目標(biāo)檢測(cè)效果，相比較原Faster R-CNN模型檢測(cè)出了更多的目標(biāo)，重疊目標(biāo)也可以被準(zhǔn)確地檢測(cè)出。圖17 (b)為白天非小目標(biāo)檢測(cè)效果，相比原Faster R-CNN模型檢測(cè)定位更加精確。圖17(c)為夜晚非小目標(biāo)檢測(cè)效果，在光線不足的情況下，也能大部分被正確檢測(cè)。圖17 (d)為夜晚小目標(biāo)檢測(cè)效果，在光線不足場(chǎng)景下小目標(biāo)檢測(cè)也較精準(zhǔn)。

(a)

(b)

(c)

(d)圖17 本文改進(jìn)Faster R-CNN模型在不同環(huán)境下的檢測(cè)效果圖(a)白天小目標(biāo)檢測(cè)效果 (b)白天非小目標(biāo)檢測(cè)效果 (c)夜晚非小目標(biāo)檢測(cè)效果 (d)夜晚小目標(biāo)檢測(cè)效果Figure 17. Detection effect diagrams of improved Faster R-CNN model in different environments(a)Detection effect of daytime small targets(b)Detection effect of daytime non-small targets(c)Detection effect of nighttime non-small targets(d)Detection effect of nighttime small targets

6.3 與其他算法對(duì)比

在公開(kāi)數(shù)據(jù)集VEDAI上進(jìn)行各算法的對(duì)比試驗(yàn)，得到如圖18所示的各算法在數(shù)據(jù)集VEDAI上的實(shí)測(cè)效果和如表8所示的測(cè)試指標(biāo)對(duì)比。由于VEDAI數(shù)據(jù)集為衛(wèi)星拍攝圖像，目標(biāo)相較于本文的數(shù)據(jù)集在分辨率和尺度上會(huì)有一定的差距，所以一定程度上降低了檢測(cè)精度。但是由圖18和表8可知，本文算法的AP值最高、精度最好，實(shí)測(cè)效果中本文算法檢測(cè)框置信度較高，且誤檢的情況較其他算法也較少，所以本文算法在VEDAI數(shù)據(jù)集上的表現(xiàn)相較其他算法仍較優(yōu)。

(a)

(b)

(c)

(d)

(e)圖18 各算法在VEDAI數(shù)據(jù)集上的實(shí)測(cè)效果(a)Faster R-CNN算法實(shí)測(cè)示例 (b)R-FCN算法實(shí)測(cè)示例 (c)YOLOv3算法實(shí)測(cè)示例 (d)SSD算法實(shí)測(cè)示例 (e)本文算法實(shí)測(cè)示例Figure 18. Measurement effect of each algorithm on the VEDAI dataset(a)Measurement example of Faster R-CNN algorithm(b)Measurement example of R-FCN algorithm(c)Measurement example of YOLOv3 algorithm(d)Measurement example of SSD algorithm(e)Measurement example of algorithm proposed in this study

表8 5種車輛檢測(cè)算法在VEDAI數(shù)據(jù)集上的測(cè)試指標(biāo)對(duì)比

7 結(jié)束語(yǔ)

本文通過(guò)改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)、anchor生成和Soft-NMS算法，使得改進(jìn)后的Faster R-CNN算法的AP值達(dá)到94.03%，較原Faster R-CNN算法提升了13.46%，目標(biāo)檢測(cè)效果得到顯著優(yōu)化。與Faster R-CNN模型、YOLOv3模型、SSD模型、R-FCN模型相比，本文改進(jìn)的Faster R-CNN模型的實(shí)際檢測(cè)效果和性能數(shù)據(jù)更優(yōu)，具有一定的實(shí)際應(yīng)用價(jià)值。雖然本檢測(cè)算法在檢測(cè)精度方面有較大提高，但是該算法為二階段檢測(cè)算法，檢測(cè)速度還有所欠缺，今后將在保證其高檢測(cè)精度的同時(shí)進(jìn)一步提高該算法的檢測(cè)速度。