旋轉目標檢測算法在衛(wèi)星影像中的應用

李 巍，戴朝霞，張向東，張 亮，沈沛意

1.西安電子科技大學 通信工程學院，西安710126

2.中國電子科技網絡信息安全有限公司，成都610041

3.西安電子科技大學 計算機科學與技術學院，西安710126

衛(wèi)星遙感目標檢測在軍事偵察、船舶管理、災害監(jiān)測、無人駕駛等領域有著十分重要的應用。隨著人工智能技術的蓬勃發(fā)展，深度學習在目標檢測領域不斷突破現(xiàn)有瓶頸，相比于傳統(tǒng)方法，其在圖像的目標檢測、分類分割上更加具有性能優(yōu)勢。深度學習技術所具備的高效通用、靈活易學性，使其成為衛(wèi)星數(shù)據處理領域一個熱門研究方向。深度學習在目標檢測領域可以分為“two-stage detection”和“one-stage detection”兩種檢測方法，兩者的不同之處在于，前者是一個從粗到細的兩階段處理過程，后者則是一步完成[1]。兩階段檢測模型主要包括R-CNN[2]、Fast R-CNN[3]、Faster R-CNN[4]、R-FCN[5]等，檢測過程的第一階段提供大量候選區(qū)域，第二階段則進行具體判定并篩選分數(shù)最高的區(qū)域。雖然兩階段方法的檢測準確率較高，但是不能應用于實時檢測。單階段檢測模型主要包括YOLOv1[6]、YOLOv2[7]、YOLOv3[8]、SSD[9]等系列方法。單階段檢測模型擁有更快的速度，可以直接完成端到端的預測，拋棄了兩階段粗檢測和精檢測的過程，但一定程度上降低了物體檢測的精度。

在衛(wèi)星影像目標檢測領域中，檢測算法需要維持檢測速度和精度之間的平衡。Benjdira等[10]對一階段檢測和兩階段檢測模型在衛(wèi)星影像數(shù)據集上進行了細致對比，在精度相當?shù)那闆r下，一階段檢測算法的靈敏度和處理時間均優(yōu)于兩階段檢測算法。Li等[11]設計了一個端到端的網絡用于檢測像素級標注的衛(wèi)星船舶數(shù)據，可以將不同級別的特征圖進行融合并提取多尺度特征，雖然其可以準確定位，但是標注成本過高且檢測速度慢。Adam[12]在YOLOv1上進行改進，解決衛(wèi)星影像的高圖像分辨率問題和小目標物體問題，但無法解決多尺度問題。戴偉聰?shù)萚13]將密集相連模塊加入到YOLOv3中去檢測衛(wèi)星遙感圖像的目標物體，提高了目標的檢測精度和召回率。魏瑋等[14]對YOLOv3的網絡結構和錨點進行改進，提高了YOLOv3在航拍目標檢測中的準確性，但是在物體密集的情況下，會存在預測框遮擋問題，視覺效果較差。

針對于如何精確定位，本文設計了基于旋轉矩形空間的YOLOv3改進網絡用于衛(wèi)星影像的實時檢測，使用旋轉矩形框對帶有角度的目標物體進行精確定位。主要有以下幾點改進：針對于實例角度會隨圖像縮放而改變的現(xiàn)象，提出了角度轉換算法，計算圖像縮放后實例的角度；提出了兩種旋轉框坐標用于回歸網絡的設計，可以更好地定位帶有角度的物體；添加角度錨點到先驗框中，幫助網絡穩(wěn)定角度的預測；使用逐邊裁剪算法和Green-Riemann定理計算旋轉矩形的IOU值；提出了基于旋轉矩形空間的非極大值抑制算法，可以有效去除多余的旋轉預測框，使算法的檢測精度得到較大提升。

1 模型總體設計

網絡結構如圖1，主要包括預處理部分和三個主體子模塊：53層卷積層構成基礎骨干網絡、特征金字塔網絡、用于提取旋轉矩形框的預測模塊。

圖1 模型網絡結構圖Fig.1 Model network structure diagram

1.1 預處理模塊

預處理模塊對輸入的數(shù)據進行調整及增強，使數(shù)據能夠適應當前網絡，得到更為精良的模型。主要具有兩個功能：（1）圖像縮放，因為本文網絡結構的輸入大小固定，所以需要將圖像縮放到合適的大小，對應于網絡結構輸入層的大??；（2）數(shù)據調整，圖像中的物體經過圖像縮放后，目標物體的角度信息相較于整個圖像會發(fā)生變化，需要對角度進行計算變換。圖2給出了目標物體角度變化的示意圖，以及角度坐標變換公式要用到的參數(shù)。坐標(x1,y1)和(x2,y2)為圖（a）目標物體上的兩點，物體的角度θ0為兩點直線與x軸正向所形成的夾角，(w0,h0)為圖（a）的寬高。將圖（a）縮放為圖（b），坐標(x3,y3)和(x4,y4)為圖（b）目標物體上的兩點，對應于圖（a）的(x1,y1)和(x2,y2)，物體的角度θ1為兩點直線與x軸正向所形成的夾角，(w1,h1)為圖（b）的寬高。圖（b）目標物體的角度與圖（a）目標物體的角度之間的換算公式為式（1）：

圖2 物體角度變化的示意圖Fig.2 Schematic diagram of object angle change

1.2 特征提取

目標檢測任務首先需要對輸入的圖形進行基礎特征提取工作，針對如何將圖形分解成基礎特征，再將分解的基礎特征逐漸抽象成更為高級的語義進行概念上表達這一問題，本文采用殘差網絡DarkNet-53和特征金字塔網絡相結合的方式進行提取特征。殘差網絡ResNet在2015年的ImageNet大規(guī)模視覺識別競賽中取得了圖像分類和物體識別的優(yōu)勝，跳躍式連接這一概念首次被應用在深度學習中[15]。殘差結構主要解決的是隨網絡層數(shù)增加帶來的網絡退化問題。Facebook在2017年CVPR論文中提出了特征金字塔網絡思想，用于提取特征[16]。衛(wèi)星影像上的目標物體比自然圖像具有更大的尺寸比，通過特征金字塔結構可以在速度上和準確性上兼顧，并獲得更加魯棒的多維度特征。

1.3 預測模塊

本文預測模塊將每層特征金字塔網絡的輸出作為輸入，兩個1×1的卷積層分別對輸入進行特征提取，得到兩種不同的旋轉框坐標預測以及它們各自的置信度和分類預測，如圖3所示。本文使用雙坐標參與網絡訓練可以改善網絡性能，優(yōu)化目標檢測的結果，其原理是通過網絡結構上的改變將兩種坐標信息加入到網絡回歸中，優(yōu)化最終的目標函數(shù)。其中坐標表示1（圖4（a））只在網絡訓練的過程中用于回歸，改善網絡性能。坐標表示2（圖4（b））用于網絡訓練時的回歸，并在測試階段輸出最終的結果。

圖3 預測模塊示意圖Fig.3 Schematic diagram of prediction module

圖4 兩種旋轉坐標示意圖Fig.4 Schematic diagram of two rotating coordinates

1.4 角度錨點提出與設計

本文將角度錨點加入到了RPN網絡中，不僅在每個格子中設置長寬比例不同的anchor box，而且還在每個長寬比上設置不同的旋轉角度，具有不同旋轉角度和長寬比的anchor box可以盡可能地覆蓋圖像上不同角度、不同位置、不同尺度的物體。一些大物體可能會占據圖像的中心，本文將最后一層特征圖的大小設置成奇數(shù)，這樣會有一個物體位置預測占據圖像中心。因此在本文網絡結構中，特征金字塔有3層，其特征層大小對應不同大小的RPN網絡格子，分別為13×13、26×26、52×52，每層的每個格子有3種不同長寬比的anchor box以及每個長寬比有3種角度的預設，這樣每個網格將產生9個anchor box，這些anchor box將作為神經網絡的候選區(qū)域并預測其中是否有物體，同時調整預測框的位置。圖5為本文加入角度錨點后RPN的示意圖。

圖5 角度錨點示意圖Fig.5 Angle anchor point diagram

1.5 旋轉矩形的交并比計算

目標之間的交并比（IOU）計算是現(xiàn)在主流目標檢測算法中的關鍵步驟，主要應用于后處理階段，是目標檢測算法中測量指標mAP計算的重要參數(shù)。本文設計了一個簡單且能夠處理旋轉矩形框的IOU算法。將要計算的兩個旋轉矩形的坐標按順時針排列，然后使用由Sutherland和Hodgman提出的逐邊裁剪算法找到兩個旋轉矩形相交的點[17]。其基本思想是將兩個多邊形中的一個當作窗口，將多邊形關于窗口的裁剪分解為多邊形關于窗口各邊所在直線的裁剪。裁剪算法中的裁剪線由窗口的每條邊及其延長線構成，裁剪線將平面分為可見與不可見兩部分。另一個多邊形每條邊有兩個端點s、p，按順時針順序排列，經過裁剪線裁剪后有四種輸出情況，如圖6所示。圖（a）中s、p端點同位于外側，沒有輸出；圖（b）中s端點位于內側，p端點位于外側，輸出sp與邊界交點I；圖（c）中s、p端點同位于內側，輸出p；圖（d）中s端點位于外側，p端點位于內側，輸出sp與邊界交點I以及p。

圖6 多邊形與裁剪線的位置關系Fig.6 Position relationship between polygon and cutting line

圖7 為兩個旋轉矩形使用逐邊裁剪算法進行裁剪過程的示意圖，按照從左到右、從上到下的順序進行裁剪。通過逐邊裁剪算法得到兩個旋轉矩形按順時針旋轉的交點，然后對交點使用Green-Riemann定理簡單高效地計算兩個旋轉矩形的交叉面積[18]，如式（2）所示：

圖7 逐邊裁剪算法裁剪過程的示意圖Fig.7 Schematic diagram of Sutherland-Hodgman cutting process

式（2）中A為兩個旋轉矩形的交叉面積，(xi,yi)為兩個旋轉矩形的交點，n為兩個旋轉矩形交點的數(shù)量（注：兩個旋轉矩形的交點按照順時針排序）。

1.6 基于旋轉矩形的非極大值抑制

本文的后處理階段主要為非極大值抑制處理，主要針對衛(wèi)星影像這種帶有角度的目標物體。假設有兩個同心且形狀相同的旋轉矩形框，保持兩個旋轉矩形框的角度差不變，逐漸加大兩者的長寬比，兩者IOU的計算值會隨著長寬比的變化急劇減??；保持兩個旋轉矩形框的長寬比不變，逐漸加大兩者的角度差，兩者IOU的計算值會隨著角度差的變化急劇減小。圖8展示了上述兩種情況。

圖8 物體的角度和長寬比與IOU關系示意圖Fig.8 Schematic diagram of relationship between angle and aspect ratio of object and IOU

圖8 （a）、（b）、（c）中兩個旋轉矩形框之間都具有相同的角度差（角度為45°），但是其長寬比不同，分別為1∶3、1∶6、1∶9，三個IOU的計算值相差巨大，分別為0.308、0.134、0.085。圖8（d）、（e）、（f）中兩個旋轉矩形框長寬比相同（長寬比為1∶6），但是其角度差不同，分別為15°、30°、45°，三個IOU的計算值同樣相差巨大，分別為0.444、0.200、0.134。如果按照非極大值抑制算法設定一個閾值I，兩個預測框之間的交并比計算超過這個閾值I，則過濾掉預測分數(shù)小的預測框，那么遇到圖8中類似兩個預測框中心離得較近且角度差極大或者長寬比極高的情況就會變得難以處理，因為兩個預測框的IOU通常值很小。將閾值下調，一般需要設置一個非常小的值才可以將上述情況去除掉，但是閾值設置小的數(shù)值時又會遇到新的問題，因為衛(wèi)星影像檢測中往往會遇到如圖9所示的情況。在圖9中，紅色實線框為真實物體，黑色虛線框為神經網絡預測框，淺藍的顏色區(qū)域為兩個黑色虛線框交叉的面積。在閾值較小的情況下圖中一些有效的檢測框會被抑制掉。

圖9 衛(wèi)星影像檢測目標預測之間的位置關系Fig.9 Position relationship between satellite image detection target prediction

本文對傳統(tǒng)的非極大值抑制算法進行改進，通過在不同的角度差和長寬比下設置不同閾值來抑制多余的預測框，保留有效的預測框。在兩個旋轉框同心的情況下，保持角度差和長寬比其中一個變量，調整另一個變量，參考兩個旋轉矩形的交并比值大小來設置不同的閾值，并根據檢測的效果不斷對每個閾值進行調整。

2 實驗與分析

2.1 實驗數(shù)據集

本文使用3個公開的高分辨率可見光衛(wèi)星影像數(shù)據集來評估模型的性能，分別是中國科學院自動化研究團隊建立的High Resolution Ship Collection 2016（HRSC2016）數(shù)據集[19]、武大遙感國家重點實驗室夏桂松和華科電信學院白翔一起建立的Dota數(shù)據集[20]和中科院大學高清航拍目標數(shù)據集合UCAS_AOD。

HRSC2016數(shù)據集主要由各類艦船圖像組成，艦船所在場景有海面和近岸兩種。數(shù)據集主要來源于Google Earth。數(shù)據集的圖像從Mumansk、Everett、NewpotRhode Island、Mayport Naval Base、Norfolk Naval Base、San Diego Naval Base這6個著名港口收集。數(shù)據集圖像一般分辨率為0.4~2.0 m。圖像大小在300×300至1 500×900之間，大部分圖像分辨率超過了1 000×600。數(shù)據使用xml格式保存圖像的分辨率層級、港口信息、地理坐標、數(shù)據源、標尺信息、圖像采集日期等信息。HRSC2016數(shù)據集總共有1 061張圖像，通過科學的方法將其分為包含436幅圖像和1 207個實例樣本的訓練集，181幅圖像和541個實例樣本的驗證集，444幅圖像和1 228個實例樣本的測試集。

HRSC2016數(shù)據集主要數(shù)據類別為艦船，并將其分為3個等級的識別任務：（1）L1級任務，艦船檢測任務，種類只有船舶一種，任務是將目標物體從背景中分離。（2）L2級任務，根據艦船用途進行劃分的識別任務，將船舶分為4大類，包括軍艦、潛艇、航母以及商船。（3）L3級任務，根據艦船型號進行劃分的識別任務，在L2任務的基礎上，將軍艦和航母按照大小型號進行細致的分類，比如軍艦具體細分為阿利伯克驅逐艦（Arleigh Burke）、佩里級護衛(wèi)艦（Perry）、奧斯汀級船塢登陸艦（Austen）等，航母具體細分為企業(yè)級航母（Enterprise）、小鷹級航母（Kitty Hawk）以及尼米茲級航母（Nimitz）等，商船則按照用途劃分為運輸汽車船、氣墊船以及游艇等。其位置標注信息包括矩形框：左上點(x1,y1)、右下點(x2,y2)；帶有角度的矩形框：中心點(xc,yc)，寬w,高h,角度θ以及像素級別的分割掩膜。

Dota數(shù)據集總共有2 806張衛(wèi)星圖像，分為16個類別，包括飛機、集裝箱起重機、船只、游泳池、儲蓄罐、環(huán)形路線、棒球內場、網球場、英式足球場、直升飛機、大型車輛、橋、籃球場、小型車輛、田徑場、海港，共計188 282個實例。大部分圖像分辨率約為4 000×4 000，需要進行裁剪才能使用神經網絡訓練。其數(shù)據主要來源為衛(wèi)星JL-1、衛(wèi)星GF-2、中國資源衛(wèi)星數(shù)據和應用中心以及Google Earth。Dota數(shù)據集中每個實例的位置采用標注4個頂點坐標的方式，可以定位不同方向和形狀的四邊形，4個點按順時針方向依次排序，標注形式為(x1,y1,x2,y2,x3,y3,x4,y4)。同時每個實例還被分配類別和是否難以檢測的標簽。數(shù)據集使用txt格式進行保存。在數(shù)據劃分上，隨機將原始數(shù)據集劃分為1/2、1/6、1/3作為訓練集、驗證集和測試集。Dota數(shù)據集的實例在各種角度方向上表現(xiàn)得非常平衡，通過數(shù)據集去觀察實例物體時可以進一步接近真實場景，這對神經網絡模型的學習訓練有著至關重要的作用。在最新的Dota數(shù)據集標注還包含10像素以下的小目標實例。

UCAS數(shù)據集總共有1 510張衛(wèi)星圖像，包含飛機和汽車兩個類別，共計14 596個實例。所有圖像分辨率都為1 280×659、1 372×941、1 280×685這三種。數(shù)據集中每個實例的標注形式為(x1,y1,x2,y2,x3,y3,x4,y4,θ,x,y,width,height)，帶角標的(xi,yi)為旋轉矩形的4個頂點坐標，θ為目標的旋轉角度，(x,y)為水平邊界框的左上點，(width,height)為水平邊界框寬高。數(shù)據主要來源為Google Earth。數(shù)據集使用txt格式進行保存。因為原數(shù)據沒有將數(shù)據集進行劃分，本文將按照兩個類別的實例數(shù)量1/2、1/6、1/3作為訓練集、驗證集和測試集。同樣數(shù)據集實例的角度分布均衡。

2.2 實驗結果及分析

（1）檢測結果定量分析

本文通過在HRSC2016數(shù)據集、Dota數(shù)據集和UCAS_AOD數(shù)據集使用均值平均精度（mean Average Precision，mAP）來評估本文算法。表1展示了模型在HRSC2016數(shù)據集3個等級任務下每個類別的召回率、精確度和平均精度等指標，gts表示每個類別下測試數(shù)據中真實目標的數(shù)量，dets表示每個類別下模型預測此類目標的數(shù)量。模型從L1任務到L3任務mAP不斷下降。先從模型預測目標的數(shù)量分析，模型在3個任務下的預測總數(shù)量為2 948、3 027、5 942。由于HRSC2016數(shù)據集上L1、L2、L3是不同等級的分類任務，三者在訓練集訓練的實例總數(shù)并沒有改變，只是單個種類實例的數(shù)量隨著種類的細分而下降，模型預測數(shù)量卻急劇上升，保持了高召回率的同時卻精確度快速下降，導致在L3任務上mAP大幅下降。

表1 HRSC2016數(shù)據集測試實驗的詳細結果Table 1 Detailed results of HRSC2016 data set test experiment

Dota數(shù)據集的測試結果如表2所示。結果相比于HRSC2016數(shù)據集測試的結果，其檢測準確率下降，模型的mAP為38.2%。模型在Dota數(shù)據集上性能整體下降主要有三點原因：（1）Dota數(shù)據集具有很多小目標物體，10~50像素的目標占比57%，還包含10像素以下的小目標。（2）Dota數(shù)據集包含多種實例密度不同的圖像，特別是有很多小目標高度聚集的圖像。（3）Dota訓練集各個類別的實例數(shù)量極端不平衡。

表2 Dota數(shù)據集測試實驗的詳細結果Table 2 Detailed results of Dota data set test experiment

為了驗證單階段網絡的準確率會受到類別不平衡的影響，本文還使用類別實例數(shù)量較為平衡的UCAS_AOD數(shù)據集進行對比驗證，表3展示了其詳細的實驗結果，模型的mAP為92.1%。結合表4中3個訓練集每個類別實例數(shù)量的統(tǒng)計，發(fā)現(xiàn)UCAS_AOD訓練集兩個類別的實例數(shù)量分布平衡，模型檢測效果最好，HRSC2016訓練集L1任務到L3任務，每個類別實例數(shù)量差異變大，檢測效果從高到底，Dota訓練集中實例數(shù)量差異最大，最高類別實例數(shù)量與最低類別實例數(shù)量之比約1 000∶1，模型檢測效果最差。

表3 UCAS_AOD數(shù)據集測試實驗的詳細結果Table 3 Detailed results of UCAS_AOD data set test experiment

表4 訓練集每個類別的實例數(shù)量統(tǒng)計Table 4 Statistics of number of instances of each category in training set

（2）可視化檢測結果

圖10 和圖11展示了算法改進前后使用非旋轉矩形候選框和旋轉矩形候選框的檢測效果。圖10為HRSC2016數(shù)據集的3個識別任務的檢測結果，圖11為Dota數(shù)據集和UCAS_AOD數(shù)據集的檢測結果。圖10中從左到右3列分別為L1艦船檢測任務、L2艦船種類識別任務、L3艦船型號識別任務。

圖10 HRSC2016數(shù)據集檢測結果對比圖Fig.10 Comparison chart of HRSC2016 data set test results

圖11 Dota和UCAS_AOD數(shù)據集檢測結果對比圖Fig.11 Comparison chart of Dota and UCAS_AOD data set test results

圖10 （a）、（b）和（c）分為兩行，第一行為使用非旋轉矩形候選框的檢測結果，第二行為使用旋轉矩形候選框的檢測結果。圖11中左列為使用非旋轉矩形候選框的檢測結果，右列為使用旋轉矩形候選框的檢測結果。在目標背景簡單以及目標為單個情況下，旋轉矩形框和非旋轉矩形框在可視化效果方面較為相同，如圖10（a）和（b）所示。當物體相鄰較近或者相互挨著的情況下，如圖10（c）和圖11所示，旋轉矩形框標定的圖像更為清晰，可以幫助工作人員快速定位目標并分析處理數(shù)據。非旋轉矩形框標定的圖像會存在幾點問題：大物體預測框囊括相鄰小物體預測框的問題，相鄰物體間預測框相互覆蓋和重疊的問題，以及一個預測框覆蓋多個實例的問題，這對快速發(fā)現(xiàn)目標物體的位置信息影響較大，特別是當較小物體排布特別緊密時，大量重疊的預測矩形框會遮擋小目標物體。綜上所述，在可視化效果方面，基于旋轉矩形框檢測識別的效果更好，因為旋轉矩形框更貼合衛(wèi)星圖像目標，而非旋轉矩形框則在預測旋轉目標的同時還會覆蓋多余的區(qū)域，如果遇到目標物體密集度非常高且目標物體處于多角度的場景時，非旋矩形框標定的圖像顯得特別雜亂。

（3）與其他算法的比較

使 用Faster R-CNN[4]、Cascade R-CNN[21]、SSD[9]、YOLOv3[8]以及本文改進方法進行對比，結果如表5所示。

表5 不同算法的檢測結果對比Table 5 Comparison of detection results of different algorithms

由表5、圖10和圖11可見，改進的YOLOv3算法與原YOLOv3相比，時間上由于引入旋轉檢測框，導致平均檢測時間稍長0.002 6 s，但是在3個數(shù)據集的5個任務上平均mAP提高了0.8個百分點，可視化效果更好。兩階段方法Faster R-CNN和Cascade R-CNN檢測準確率更高，但是本文改進的方法檢測速度是兩者檢測速度的10倍、25倍。而SSD算法無論在檢測精度還是檢測速度上都較差。因此，本文改進的YOLOv3算法在實時性及檢測精度上達到了較好的平衡，可視化效果更佳。

3 結束語

本文設計了基于旋轉矩形空間的單階段衛(wèi)星影像目標檢測模型，使用多種方法對其進行改進，是本文的主要工作內容。使用殘差網絡結構和特征金字塔網絡結構相結合的方式提取特征。針對實例角度會隨著圖像縮放而改變的現(xiàn)象，對角度標簽在輸入網絡時進行了預處理，使角度符合縮放后實例的實際情況。提出了兩種旋轉框坐標用于網絡回歸的設計，添加角度錨點到先驗框中，優(yōu)化了目標函數(shù)。使用逐邊裁剪算法和Green-Riemann定理計算旋轉矩形的IOU值，并針對衛(wèi)星影像提出了基于旋轉矩形空間的非極大值抑制算法。

但本文工作還存在不足，單階段檢測模型如果遇到種類實例數(shù)量不平衡的數(shù)據集，檢測準確率會降低，接下來還需要克服這方面的影響。本文基于旋轉矩形的非極大值抑制算法，雖然效果比傳統(tǒng)的非極大值抑制算法可視化效果好，但是需要人工按照不同的情況去精細設置多個不同角度和不同長寬比下的NMS閾值，朝著自適應化的方向改進算法同樣是值得研究的重點。