FRDet:一種基于候選框特征修正的多方向遙感目標快速檢測方法

涂 鑫，王 濱

(華北計算技術(shù)研究所基礎(chǔ)四部，北京 100083)

0 引 言

遙感圖像中的船、飛機等目標通常可以傳達出非常有價值的語義信息，因此，遙感圖像的目標檢測在計算機視覺領(lǐng)域引起了越來越多的關(guān)注。以前的研究[1-4]中利用滑動窗口或具有手工特征設(shè)計的組件占據(jù)主導(dǎo)地位，這種方法將任務(wù)劃分為一系列獨特的步驟，充分利用自底向上的策略對目標進行搜索。盡管這些方法已顯示出較好的性能，但由于遙感場景實例的多樣性和較差的圖像質(zhì)量，這些方法的使用會受到限制。隨著深度學(xué)習(xí)技術(shù)在自然場景目標檢測領(lǐng)域的快速發(fā)展，遙感圖像的目標檢測納入了通用的目標檢測框架。這些目標檢測框架可以分為2大類：基于proposal驅(qū)動的two-stage方法和基于proposal-free的one-stage方法。雖然two-stage的方法目前在各類公開數(shù)據(jù)集上有著更高的準確率，但是one-stage的方法在速度與精度上具有更好的平衡。

two-stage檢測方法可以通過proposal和region pooling操作對在任何位置出現(xiàn)的具有任何形狀的目標進行分類。而one-stage檢測方法則嚴重依賴高密度的候選框去覆蓋目標所在的區(qū)域，尤其是在遙感場景中，通常采用的實現(xiàn)高覆蓋率的方法是使用多種尺度和寬高比的候選框。例如，TextBoxes++[5]基于SSD[6]檢測網(wǎng)絡(luò)定義了7種特定的寬高比(包括1、2、3、5、1/2、1/3和1/5)的候選框。DMPNet[7]添加了幾個旋轉(zhuǎn)框，合計12個(6個常規(guī)和6個傾斜)用以完全覆蓋任意方向的目標。DeepTextSpotter[8]跟著YOLOv2[9]利用訓(xùn)練集上的k均值聚類(k=14)框以自動找到合適的候選框，而不是手動設(shè)計候選框。

以上檢測網(wǎng)絡(luò)的候選框設(shè)計方法會帶來3個問題：1)必須針對不同的檢測物體的外觀預(yù)先定義候選框的形狀和尺度，一旦設(shè)計錯誤會對檢測性能造成極大的損害[10]；2)大量的候選框會消耗較高的計算成本，尤其是當檢測網(wǎng)絡(luò)的分類層和回歸層有較多參數(shù)的時候該現(xiàn)象更為明顯；3)大量anchor的生成通常需要花費較多的時間。

在簡單的網(wǎng)絡(luò)架構(gòu)和高計算效率的吸引下，本文研究上面提到的one-stage檢測方法中的候選框設(shè)計問題。受到two-stage檢測方法中l(wèi)eaned proposal啟發(fā)，本文利用通過回歸操作所獲得的候選框來代替原來的框進入最終的分類層和回歸層,并且將特征圖的每個位置設(shè)置為僅與一個候選框關(guān)聯(lián)。值得注意的是，與two-stage中能把候選框數(shù)量降低至1000到2000的RPN不同，本文方法仍然保持原始的數(shù)量不變，此外仍能保持one-stage中的其余檢測架構(gòu)不變。為了進一步降低網(wǎng)絡(luò)計算復(fù)雜度，本文采用Mobilenetv2[11]作為主干結(jié)構(gòu)，并最終提出一個高效快速的遙感圖像目標檢測器，名為FRDet(Fast Rotation Detector)。本文方法在DOTA數(shù)據(jù)集上飛機的檢測率可達96.8%，虛警率為6.7%，mAP值達0.87,并且具有完全的實時結(jié)果。不僅如此，本文方法的性能超越了許多基于候選框特征提取的one-stage方法。

1 基于候選框特征修正的遙感目標快速檢測方法

1.1 Focal Loss

在one-stage目標檢測方法中，OverFeat[12]是第一個基于深度神經(jīng)網(wǎng)絡(luò)的one-stage目標檢測器，近年來研究者提出的SSD[6]和YOLOv2[9]重新引起了人們對one-stage方法的興趣。它們的關(guān)鍵思想是在特征圖每個位置的正中央預(yù)定義候選框，并根據(jù)這些預(yù)定義框出最終預(yù)測[13]。圖1顯示了通用的目標檢測框架，其中l(wèi)oc回歸指的是候選框位置坐標回歸，RP表示候選區(qū)域(Region Proposal)，SS表示選擇性搜索算法(Selective Search)。one-stage方法的基本結(jié)構(gòu)是基于全圖的特征抽取的骨干網(wǎng)絡(luò)和2個并行的子網(wǎng)絡(luò)，其中一個子網(wǎng)絡(luò)用來預(yù)測每個候選框的類別概率分布，另外一個用來預(yù)測每個候選框離最近的ground truth的位置偏移量。

圖1 2種通用檢測方法對比

與圖1所示的two-stage的模型(如R-CNN系列)相比，one-stage方法會跳過候選區(qū)域提取步驟直接基于原始的候選框給出最終預(yù)測。然而，它的檢測精度通常落后于two-stage的方法，主要原因之一是one-stage檢測網(wǎng)絡(luò)必須處理在整個圖像進行采樣的大量背景候選框,因此one-stage會遇到前景與背景類別不平衡的問題，并最終影響到模型的性能。所以在本文方法中，采用FL(Focal Loss)來解決類別不平衡問題。FL是由CE損失函數(shù)修改完成的。其中CE損失函數(shù)如下:

其中，y=1代表樣本的標簽ground-truth，p是在[0,1]區(qū)間的概率值,類別t的預(yù)測概率值pt定義如下：

令CE(p,y)=-log(pt)，則分類損失函數(shù)可以定義為：

Lcls=FL(pt)=-αt(1-pt)γlog(pt)

其中，αt是權(quán)重平衡因子，γ是focusing參數(shù)。在本文的實驗中，取αt=0.25,γ=2.0。

1.2 旋轉(zhuǎn)框回歸

在遙感圖像中，大量目標如艦船、飛機、車輛等往往多方向密集并排?？?。使用矩形框回歸會產(chǎn)生大量的背景噪聲以及會框選到多余目標導(dǎo)致網(wǎng)絡(luò)的檢測性能受到極大損失，如圖2所示。

圖2 正矩形框會框選到除船體之外的多余噪聲

因此，本文采用旋轉(zhuǎn)矩形框去覆蓋遙感場景的各種目標。每一個旋轉(zhuǎn)框由一個五維的向量進行描述。設(shè)x、y代表中心點，w、h代表寬、高，θ代表矩形的旋轉(zhuǎn)角度。旋轉(zhuǎn)框回歸操作的目標是將含有待檢測目標的候選框的位置回歸到與它最近的ground truth。為了保證回歸過程中的尺度不變性和平移不變性，距離向量Δ=(δx,δy,δw,δh,δθ)定義如下：

δx=(gx-bx)/bw,δy=(gy-by)/bt

δw=log(gw/bw),δh=log(gh/bh)

δθ=tan(gθ)-tan(bθ)

其中，b、g分別代表候選框、ground-truth(例如bx代表候選框中心點橫坐標，gx代表ground-truth的候選框中心點橫坐標)。同時回歸層的損失函數(shù)定義如下:

Lloc=smoothL1(Δt-Δp)

其中，smoothL1表示L1范數(shù)，Δt表示真實值的距離向量，Δp表示預(yù)測值的距離向量，這有助于加快檢測網(wǎng)絡(luò)模型的收斂。

1.3 候選框修正

通常情況下，one-stage檢測網(wǎng)絡(luò)[17-20]需要從數(shù)千個候選框中搜索到正樣本框，并調(diào)整位置和形狀，使得正樣本框和真實值更加緊密接近。由于數(shù)千個候選框中混合有正樣本框和負樣本框，從這些框中快速搜索出正樣本框比較困難。在實際算法中，通常采用ground truth和候選框IoU值快速配對的方式去解決該問題。在正框回歸中，如下公式經(jīng)常用于篩選正樣本：

其中，μ為篩選正樣本的IoU閾值。但是該式中的IoU計算方式并不適合旋轉(zhuǎn)框回歸任務(wù)。

同時由于原始的anchor往往是由人為預(yù)設(shè)固定的長寬比和尺度得到的，這些參數(shù)往往不是最優(yōu)的。而在two-stage的檢測網(wǎng)絡(luò)中，候選區(qū)域都是通過網(wǎng)絡(luò)學(xué)習(xí)得到的，它不僅減少了網(wǎng)絡(luò)的搜索空間，還優(yōu)化了候選區(qū)域的特征。受到該方法的啟發(fā)，本文在回歸層的前面添加一個候選區(qū)位置修正模塊，通過學(xué)習(xí)對候選框進行修正后，再將修正后的anchor送入到分類層和回歸層。

正如Wang等人[10]提到的，anchor的一個重要設(shè)計原則是anchor的中心與待檢測目標的中心對齊，即讓生成的anchor的中心盡可能與待檢測目標的中心接近，使得anchor能充分覆蓋住目標。因此可以僅修正位置參數(shù)Δ′=(δw,δh,δθ)。修正損失定義如下：

Lref=smoothL1(Δ′t-Δ′p)

其中，Δ′t表示修正位置真實值，Δ′p表示修正位置預(yù)測值，通過在各種公開數(shù)據(jù)集上的評估發(fā)現(xiàn)，與未修正前相比，目標的覆蓋程度有了較大范圍的提升。整個網(wǎng)絡(luò)總的損失函數(shù)為：

L=λrefLref+λlocLloc+λclsLcls

在實驗中，λref、λloc、λcls的值分別取0.5、0.5、1.0。

2 實驗及結(jié)果分析

2.1 實驗參數(shù)設(shè)置

網(wǎng)絡(luò)的主干結(jié)構(gòu)是在ImageNet數(shù)據(jù)集上充分預(yù)訓(xùn)練，網(wǎng)絡(luò)是用Adam優(yōu)化器訓(xùn)練。由于硬件資源的限制，batch size設(shè)置為4，學(xué)習(xí)率初始值設(shè)置為10-4。隨機從SynthText[14]中選取100,000張圖像做5個epochs的預(yù)訓(xùn)練，然后在DOTA數(shù)據(jù)集上微調(diào)25個epochs，在微調(diào)15個epochs后將學(xué)習(xí)率設(shè)置為10-5。訓(xùn)練過程中隨機從480～800的范圍內(nèi)改變輸入圖像的尺寸，同時采用隨機翻轉(zhuǎn)對數(shù)據(jù)進行增強。

為了更多地獲取含有目標的候選區(qū)域，在特征修正階段，將IoU值設(shè)置為0.3。在前向測試階段，置信度值設(shè)置為0.3，將NMS時的閾值設(shè)置為0.3。整個目標檢測算法由Pytorch框架實現(xiàn)，硬件配置為Intel i7-6800k和單張NVIDIA TITAN Xp。

2.2 消融實驗

為了驗證方法的有效性，進行了多個消融實驗，所有的模型都是在DOTA數(shù)據(jù)集和HRSC2016數(shù)據(jù)集上進行實驗。

表1 不同anchor設(shè)計參數(shù)對網(wǎng)絡(luò)性能的影響

圖3 IoU閾值變化曲線

2)修正模塊數(shù)量。和Cascade R-CNN類似，本文增加了多級anchor修正模塊去研究對網(wǎng)絡(luò)檢測性能的影響。在每個anchor修正模塊逐漸增大IoU值，結(jié)果見表2。增加多個級聯(lián)模塊并不會帶來精度的提升，甚至?xí)芯鹊南陆?。同時，多個級聯(lián)模塊會降低網(wǎng)絡(luò)的運行速度，因此，將網(wǎng)絡(luò)修正模塊的個數(shù)設(shè)置為1，可得到最好的實驗結(jié)果，是較好的選擇。

表2 修正模塊數(shù)量對網(wǎng)絡(luò)性能影響

2.3 與其他網(wǎng)絡(luò)的比較

在幾個公開數(shù)據(jù)集上評估本文的方法，并與多個state-of-the-art模型作比較，表3、表4展示了每個數(shù)據(jù)集的測試結(jié)果。

1)DOTA數(shù)據(jù)集?；鶞蔇OTA數(shù)據(jù)集用于航空圖像中的目標檢測，它包含了來自不同傳感器和平臺的2806幅航空圖像，圖像大小從800×800像素到4000×4000像素不等，包含顯示各種比例、方向和形狀的對象。這些圖像由專業(yè)人士使用15種常見的物體類別進行標注。完整注釋的DOTA基準測試包含188，282個實例，每個實例都由一個任意四邊形標記。該標記有2種檢測框:水平邊界框(HBB)和旋轉(zhuǎn)邊界框(OBB)。在本實驗中，選取旋轉(zhuǎn)邊界框。采用飛機目標隨機選取一半的原始圖像作為訓(xùn)練集，1/6作為驗證集，1/3作為測試集。將圖像分成600×600子圖像，并將其縮放到800×800。從表3可以看出，本文方法在DOTA數(shù)據(jù)集上具有最高的檢測精度，mAP值能達到0.87，而且檢測速度能達到26.5幀/s。該算法在DOTA數(shù)據(jù)集上的檢測結(jié)果如圖4所示。

表3 DOTA數(shù)據(jù)集檢測結(jié)果

圖4 DOTA數(shù)據(jù)集飛機檢測結(jié)果

2)HRSC2016。該數(shù)據(jù)集包含2種場景的圖像：海上船舶和近岸船舶。所有圖片都是從6個著名港口收集的。圖像大小從300×300像素到1500×900像素。訓(xùn)練集、驗證集和測試集分別包含436幅圖像、181幅圖像和444幅圖像。實驗用800×800圖像比例尺進行訓(xùn)練和測試。從表4可以看出，在HRSC2016數(shù)據(jù)集上，本文方法的檢測精度超過了SSD、YOLOv3、Textboxes++等，且具有最快的速度。該算法在HRSC2016數(shù)據(jù)集上的檢測結(jié)果如圖5所示。

表4 HRSC2016檢測結(jié)果

圖5 HRSC2016數(shù)據(jù)集檢測結(jié)果示意圖

3 結(jié)束語

本文提出了一種基于候選框特征修正的快速檢測算法，它具有每個特征圖僅設(shè)置一個候選框的特點。在各種公開數(shù)據(jù)集上的實驗結(jié)果表明，該方法檢測精度優(yōu)于SSD、YOLOv3等各種基于候選框特征提取的one-stage檢測方法[21-23]，同時，該方法還具有實時性的效果。由于該方法可以較少考慮候選框的先驗設(shè)計，因此可以廣泛適用于其他檢測任務(wù)，即插即用，具有良好的適應(yīng)性。在今后的工作中，筆者將研究將該方法遷移到其他檢測任務(wù)中，進一步驗證該方法的有效性。