胥小我 張曉玲 張?zhí)煳?邵子康 徐彥欽 曾天嬌

①(電子科技大學(xué)信息與通信工程學(xué)院 成都 611731)

②(電子科技大學(xué)航空航天學(xué)院 成都 611731)

1 引言

合成孔徑雷達(dá)(Synthetic Aperture Radar,SAR)是一種主動(dòng)式微波成像傳感器，在地質(zhì)遙感、災(zāi)害監(jiān)測(cè)、應(yīng)急救援、海洋監(jiān)視等領(lǐng)域[1–4]得到了廣泛應(yīng)用。SAR具有全天時(shí)、全天候工作特點(diǎn)，十分適用于監(jiān)視氣候多變的海洋。目前，越來(lái)越多學(xué)者開始關(guān)注SAR艦船檢測(cè)，并將其應(yīng)用于海洋交通監(jiān)測(cè)、港口艦船調(diào)度、海洋主權(quán)維護(hù)、海上應(yīng)急救援、海洋漁業(yè)管理等領(lǐng)域[5–8]。

近年來(lái)，深度學(xué)習(xí)在計(jì)算機(jī)視覺等領(lǐng)域推動(dòng)著多種算法演進(jìn)和各項(xiàng)技術(shù)革新，受此啟發(fā)，越來(lái)越多SAR智能解譯領(lǐng)域?qū)W者開始研究基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的SAR艦船檢測(cè)。例如，Tang等人[9]提出了一種噪聲分類器和一個(gè)目標(biāo)提取器，用于在不同程度噪聲下進(jìn)行艦船檢測(cè)。Zhang等人[10]提出了用于復(fù)雜場(chǎng)景艦船檢測(cè)的混合級(jí)聯(lián)網(wǎng)絡(luò)，其中結(jié)合了目標(biāo)檢測(cè)和實(shí)例分割思想。He等人[11]提出了一種基于成對(duì)分支子網(wǎng)絡(luò)和特征增強(qiáng)模塊的艦船檢測(cè)網(wǎng)絡(luò)用于斜框SAR艦船檢測(cè)。Xu等人[12]針對(duì)實(shí)時(shí)星載SAR艦船檢測(cè)問題，建立了一種基于YOLOv5的輕量級(jí)檢測(cè)器用于實(shí)時(shí)艦船檢測(cè)。Zhang等人[13]提出了一種超輕型深度學(xué)習(xí)網(wǎng)絡(luò)(A Hyper-Light Deep Learning Network,HyperLi-Net)，在保障檢測(cè)效率的前提下有效提升了SAR艦船檢測(cè)精度。Zhang等人[14]還建立了掩模注意交互和尺度增強(qiáng)網(wǎng)絡(luò)來(lái)同時(shí)提升SAR艦船檢測(cè)和實(shí)例分割精度。Xu等人[15]針對(duì)雙極化SAR圖像中艦船檢測(cè)問題，構(gòu)建了一種分組增強(qiáng)融合網(wǎng)絡(luò)(A Group-Wise Feature Enhancement-and-Fusion Network,GWFEF-Net)用于提取雙極化SAR艦船特征。此外，Li等人[16]總結(jié)了177篇基于深度學(xué)習(xí)的SAR艦船檢測(cè)算法，并對(duì)SAR艦船檢測(cè)領(lǐng)域的過(guò)去、現(xiàn)狀和未來(lái)發(fā)展趨勢(shì)進(jìn)行了分析。

上述方法大多基于錨框與真實(shí)邊框的交并比(Intersection over Union,IOU)手工閾值來(lái)將艦船錨框分配為正負(fù)樣本，然而這種經(jīng)典錨框分配準(zhǔn)則存在不合理現(xiàn)象。該準(zhǔn)則忽略了錨框與真實(shí)邊框相交區(qū)域的實(shí)際內(nèi)容，對(duì)于復(fù)雜場(chǎng)景下的靠岸艦船、并排艦船而言，一方面，被分配為正樣本的錨框包含背景噪聲、相鄰目標(biāo)等干擾信息；另一方面，被分配為負(fù)樣本的錨框也包含有利于網(wǎng)絡(luò)分類回歸的有價(jià)值信息。然而，在SAR艦船復(fù)雜場(chǎng)景中，可能沒有一個(gè)錨框與真實(shí)邊框有高IOU值，經(jīng)典錨框準(zhǔn)則不會(huì)將某些有價(jià)值錨框分配為正樣本，而會(huì)將所有錨框都分配為背景負(fù)樣本。因此，經(jīng)典錨框分配準(zhǔn)則易導(dǎo)致正樣本多、負(fù)樣本少的不合理錨框分配現(xiàn)象，這將導(dǎo)致復(fù)雜場(chǎng)景下的艦船樣本學(xué)習(xí)能力低下，最終影響模型檢測(cè)性能。同時(shí)，現(xiàn)有研究大多只采用分類得分評(píng)估檢測(cè)框質(zhì)量，忽略了利用定位信息，導(dǎo)致了有限的艦船定位精度。此外，現(xiàn)有方法大多不能有效排除靠岸金屬設(shè)施、相鄰艦船等復(fù)雜場(chǎng)景下的背景雜波干擾，這給進(jìn)一步提高復(fù)雜場(chǎng)景SAR艦船檢測(cè)精度帶來(lái)了困難。

為此，本文提出了一種基于自適應(yīng)錨框分配與IOU監(jiān)督的復(fù)雜場(chǎng)景SAR艦船檢測(cè)方法A3-IOUSNet，主要?jiǎng)?chuàng)新性工作如下：

(1) 自適應(yīng)錨框分配：建立高斯混合模型來(lái)自適應(yīng)分配錨框，增強(qiáng)了復(fù)雜場(chǎng)景的艦船樣本學(xué)習(xí)能力。

(2) IOU監(jiān)督：增加IOU預(yù)測(cè)頭來(lái)監(jiān)督檢測(cè)框定位質(zhì)量，使得網(wǎng)絡(luò)能夠精確定位復(fù)雜場(chǎng)景艦船目標(biāo)；此外，在該IOU預(yù)測(cè)分支中引入了坐標(biāo)注意力模塊，抑制了背景雜波干擾，進(jìn)一步提高了艦船檢測(cè)精度。

2 方法描述

2.1 網(wǎng)絡(luò)框架

A3-IOUS-Net網(wǎng)絡(luò)結(jié)構(gòu)基于主流單階段檢測(cè)器(即RetinaNet[17])設(shè)計(jì)。RetinaNet兼顧檢測(cè)速度與檢測(cè)精度，因此選擇該網(wǎng)絡(luò)作為模型基線進(jìn)行研究。

A3-IOUS-Net網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。其網(wǎng)絡(luò)結(jié)構(gòu)由骨干網(wǎng)絡(luò)、特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network,FPN)和檢測(cè)頭組成。此外，A3-IOUS-Net核心貢獻(xiàn)是自適應(yīng)錨框分配機(jī)制和IOU監(jiān)督機(jī)制。

圖1 A3-IOUS-Net網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Overall framework of A3-IOUS-Net

首先，A3-IOUS-Net使用骨干網(wǎng)絡(luò)提取艦船特征。在不失一般性情況下，選擇ResNet-50作為骨干網(wǎng)絡(luò)[18]。然后，使用FPN對(duì)骨干網(wǎng)絡(luò)提取到的特征進(jìn)行空間信息增強(qiáng)。最后，使用FPN生成的特征進(jìn)行分類、回歸及IOU預(yù)測(cè)，獲得檢測(cè)結(jié)果。特別地，A3-IOUS-Net通過(guò)自適應(yīng)錨框分配機(jī)制合理分配正負(fù)樣本。此外，A3-IOUS-Net通過(guò)IOU監(jiān)督機(jī)制來(lái)提高檢測(cè)框定位質(zhì)量并抑制背景雜波干擾。

2.2 錨框分配策略

2.2.1 經(jīng)典錨框分配

RetinaNet在光學(xué)目標(biāo)檢測(cè)領(lǐng)域提供了先進(jìn)檢測(cè)性能，但在SAR艦船檢測(cè)領(lǐng)域的檢測(cè)性能卻欠佳。這可能是由于其采用的經(jīng)典錨框分配準(zhǔn)則不適配于SAR艦船復(fù)雜場(chǎng)景。

一般地，經(jīng)典錨框分配準(zhǔn)則由預(yù)測(cè)框和真實(shí)邊框之間的IOU閾值確定樣本分配，IOU即為預(yù)測(cè)框和真實(shí)邊框的交并比，定義為

其中，BP表示預(yù)測(cè)框(即Predicted Box)，BG表示真實(shí)邊框(即Ground Truth Box)，則IOU表示預(yù)測(cè)框和真實(shí)邊框交集和并集的面積比值，如圖2所示。

圖2 預(yù)測(cè)框和真實(shí)邊框之間的IOU示意圖Fig.2 Schematic diagram of IOU between the predicted box and the ground truth box

具體而言，對(duì)于每個(gè)真實(shí)邊框，若存在錨框與真實(shí)邊框的IOU超過(guò)閾值，對(duì)應(yīng)錨框分配為正樣本，其余錨框分配為負(fù)樣本或者忽略樣本，定義為

其中，錨框→正樣本表示錨框被分配為正樣本，忽略樣本表示錨框被分配為不參與網(wǎng)絡(luò)訓(xùn)練的樣本，錨框→忽略樣本表示錨框被分配為忽略樣本，錨框→負(fù)樣本表示錨框被分配為負(fù)樣本。

經(jīng)典錨框分配準(zhǔn)則下SAR艦船復(fù)雜場(chǎng)景的錨框分布如圖3所示，其中綠色矩形代表艦船真實(shí)邊框，藍(lán)色矩形代表負(fù)樣本錨框，紅色矩形代表正樣本錨框。根據(jù)經(jīng)典錨框分配準(zhǔn)則，圖3中的艦船真實(shí)邊框只與單個(gè)錨框的IOU(即0.56)大于指定閾值(即0.50)，該錨框分配為唯一正樣本。然而，真實(shí)邊框附近的另一錨框(即圖3中棕色矩形框)也包含了目標(biāo)艦船的有價(jià)值區(qū)域，具有分配為正樣本的潛力，應(yīng)當(dāng)定義為正樣本來(lái)參與網(wǎng)絡(luò)訓(xùn)練。因此，經(jīng)典錨框使用固有的IOU閾值來(lái)分配正負(fù)樣本，這往往導(dǎo)致復(fù)雜場(chǎng)景下正樣本少、負(fù)樣本多的不合理分配，限制了復(fù)雜場(chǎng)景下網(wǎng)絡(luò)的艦船樣本學(xué)習(xí)能力。

圖3 經(jīng)典錨框分配準(zhǔn)則下SAR艦船復(fù)雜場(chǎng)景的錨框分布Fig.3 The detection result of complex scenes under the classical anchor box allocation criteria

綜上，在進(jìn)行實(shí)際復(fù)雜場(chǎng)景SAR艦船檢測(cè)時(shí)，經(jīng)典錨框分配準(zhǔn)則與實(shí)際模型當(dāng)前學(xué)習(xí)場(chǎng)景存在嚴(yán)重失衡。這將導(dǎo)致網(wǎng)絡(luò)的艦船樣本學(xué)習(xí)能力低下，最終影響模型檢測(cè)性能。

2.2.2 自適應(yīng)錨框分配

為了使得錨框分配準(zhǔn)則能夠適用于SAR艦船復(fù)雜場(chǎng)景，提出了一種自適應(yīng)錨框分配機(jī)制，該機(jī)制能夠根據(jù)概率分布模型擬合當(dāng)前學(xué)習(xí)場(chǎng)景下的錨框得分分布，自適應(yīng)地將錨框分配為正負(fù)樣本，從而避免了IOU閾值和正樣本數(shù)量的手工設(shè)定。具體而言，該機(jī)制首先計(jì)算錨框在當(dāng)前學(xué)習(xí)場(chǎng)景下的得分，其次利用得分進(jìn)行概率分布建模，最后利用該概率分布模型來(lái)自適應(yīng)分配正負(fù)樣本。

自適應(yīng)錨框分配如圖4所示。其中，黃色矩形代表錨框，圓點(diǎn)代表基于分類分?jǐn)?shù)和定位分?jǐn)?shù)的錨框得分。錨框得分越高，圓點(diǎn)顏色越紅；錨框得分越低，圓點(diǎn)顏色越藍(lán)。自適應(yīng)錨框分配機(jī)制首先計(jì)算錨框分?jǐn)?shù)并將錨框分?jǐn)?shù)建模為雙模態(tài)(一種用于正樣本，一種用于負(fù)樣本)高斯混合模型的分布樣本。然后根據(jù)分布模型指導(dǎo)錨框自適應(yīng)分配為正負(fù)樣本，這避免了預(yù)設(shè)IOU閾值或正樣本數(shù)量。

圖4 自適應(yīng)錨框分配示意圖Fig.4 Schematic diagram of adaptive anchor assignment

首先，自適應(yīng)錨框分配機(jī)制定義了錨框的評(píng)分準(zhǔn)則，該評(píng)分準(zhǔn)則可以反映出當(dāng)前場(chǎng)景下錨框的正負(fù)樣本分類及定位質(zhì)量，其初步定義為

其中，a表示錨框，x表示輸入的SAR圖像，fh表示具有超參數(shù)h的網(wǎng)絡(luò)模型，g表示真實(shí)邊框，Scls表示錨框的分類得分，Sloc表示錨框的定位得分，E1表示分類得分權(quán)重，E2表示定位得分權(quán)重。不同于文獻(xiàn)[19]，該評(píng)分準(zhǔn)則的分類得分權(quán)重及定位得分權(quán)重由網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)得到，有利于提升當(dāng)前復(fù)雜場(chǎng)景下的錨框?qū)W習(xí)能力。

特別地，錨框的分類得分可以由分類檢測(cè)頭的分類得分直接得出，然而錨框的定位得分并不能由定位檢測(cè)頭直接得出，這是由于定位檢測(cè)頭的輸出是編碼后的坐標(biāo)偏置量而非定位得分?？紤]到預(yù)測(cè)框與真實(shí)邊框的IOU能夠體現(xiàn)定位質(zhì)量且其取值范圍為[0,1]，采用預(yù)測(cè)框與真實(shí)邊框的IOU作為定位得分，定義為

將式(3)等號(hào)兩邊取負(fù)對(duì)數(shù)：

其中，Lcls表示交叉熵?fù)p失函數(shù)，LIOU表示IOU損失函數(shù)。因此，給定一個(gè)真實(shí)邊框，自適應(yīng)錨框分配機(jī)制將上述兩個(gè)損失函數(shù)的和作為錨框評(píng)分準(zhǔn)則。

其次，該機(jī)制利用上一步驟得到的錨框得分進(jìn)行概率分布建模。概率分布建模目標(biāo)是根據(jù)錨框分?jǐn)?shù)樣本區(qū)分正負(fù)樣本，由于目標(biāo)檢測(cè)任務(wù)錨框分?jǐn)?shù)樣本分布符合高斯混合分布模型[19]，采用雙模態(tài)高斯混合模型(Gaussian Mixture Model,GMM)[20]來(lái)建模錨框得分分布。具體而言，采用最大似然估計(jì)來(lái)確定概率模型的分布參數(shù)。高斯混合模型定義如下：

其中，N1表示正模態(tài)高斯模型，w1表示正模態(tài)高斯模型權(quán)重，μ1表示正模態(tài)高斯模型均值，q1表示正模態(tài)高斯模型標(biāo)準(zhǔn)差；N2表示負(fù)模態(tài)高斯模型，w2表示負(fù)模態(tài)高斯模型權(quán)重，μ2表示負(fù)模態(tài)高斯模型均值，q2表示負(fù)模態(tài)高斯模型標(biāo)準(zhǔn)差，s表示錨框分?jǐn)?shù)。實(shí)現(xiàn)過(guò)程中，給定一組錨框分?jǐn)?shù)，通過(guò)使用期望最大化函數(shù)(Expectation-Maximization,EM)[21]來(lái)優(yōu)化GMM的似然函數(shù)并估計(jì)出GMM的參數(shù)。

最后，自適應(yīng)錨框分配機(jī)制利用概率分布模型來(lái)自適應(yīng)分配正負(fù)樣本，從而避免了手工調(diào)優(yōu)IOU閾值等超參數(shù)。具體而言，通過(guò)估計(jì)的GMM參數(shù)，可以確定每個(gè)錨框自適應(yīng)分配為正樣本或者負(fù)樣本的概率值。如圖4左側(cè)所示，通過(guò)將正樣本分布曲線與負(fù)樣本分布曲線的交點(diǎn)視為分配邊界，可以將錨框分?jǐn)?shù)大于該邊界的錨框分配為正樣本，將其余錨框分配為負(fù)樣本。為了便于將該機(jī)制嵌入到網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，自適應(yīng)錨框分配機(jī)制具體實(shí)現(xiàn)如下：

其中，Ppos(a,h,g)和Pneg(a,h,g)分別代表一個(gè)錨框被判定為正樣本或者負(fù)樣本的概率，Spos(a,h,g)和Sneg(a,h,g)分別代表被分配為正樣本或者負(fù)樣本的錨框?qū)?yīng)得分，?代表背景類。因此，在每次訓(xùn)練迭代過(guò)程中，網(wǎng)絡(luò)會(huì)先計(jì)算Ppos和Pneg，然后再通過(guò)隨機(jī)梯度下降法(Stochastic Gradient Descent,SGD)進(jìn)行梯度優(yōu)化。

自適應(yīng)錨框分配基本流程詳見算法1。首先，為了計(jì)算錨框分?jǐn)?shù)，采用式(5)定義的錨框評(píng)分函數(shù)來(lái)獲得統(tǒng)一的分類和定位得分。然后，為了使用錨框分?jǐn)?shù)進(jìn)行概率分布建模，采用EM來(lái)估計(jì)GMM相應(yīng)參數(shù)。最后，使用得到的概率分布模型指導(dǎo)錨框分配為正負(fù)樣本。

通過(guò)自適應(yīng)錨框分配，網(wǎng)絡(luò)可以自適應(yīng)地將錨框分配為正負(fù)樣本，這有助于增強(qiáng)復(fù)雜場(chǎng)景下SAR艦船樣本學(xué)習(xí)能力，有利于提高SAR艦船檢測(cè)性能。

2.3 IOU監(jiān)督

以往深度學(xué)習(xí)SAR艦船檢測(cè)算法在推理階段往往只采用分類得分作為檢測(cè)框分配準(zhǔn)則，然而這些算法檢測(cè)框的分類得分缺乏定位信息，導(dǎo)致復(fù)雜場(chǎng)景下有限的艦船定位質(zhì)量。同時(shí)，復(fù)雜場(chǎng)景下艦船檢測(cè)常常受到靠岸金屬設(shè)施、相鄰艦船等背景雜波干擾，這給進(jìn)一步提高SAR艦船檢測(cè)精度帶來(lái)了困難。此外，受到光學(xué)遙感目標(biāo)檢測(cè)領(lǐng)域同時(shí)考慮分類分?jǐn)?shù)以及位置分?jǐn)?shù)的思想啟發(fā)[22]，提出了一種IOU監(jiān)督機(jī)制，在檢測(cè)器預(yù)測(cè)頭部增加IOU預(yù)測(cè)分支來(lái)監(jiān)督網(wǎng)絡(luò)推理階段的非極大值抑制(Non-Maximum Suppression,NMS)后處理中的檢測(cè)框定位質(zhì)量。此外，在IOU預(yù)測(cè)分支中引入了坐標(biāo)注意力模塊，抑制了背景雜波干擾，從而提高最終的SAR艦船檢測(cè)性能。

算法 1 自適應(yīng)錨框分配基本流程Alg.1 Basic process of adaptive anchor assignment

具體而言，IOU監(jiān)督在NMS后處理中使用了IOU預(yù)測(cè)分支監(jiān)督檢測(cè)框定位得分，監(jiān)督了檢測(cè)框定位質(zhì)量；在IOU預(yù)測(cè)分支中引入了坐標(biāo)注意力模塊，抑制了背景雜波干擾。結(jié)合IOU監(jiān)督的NMS后處理基本流程詳見算法2。

IOU預(yù)測(cè)分支示意圖如圖5所示。可以看出，IOU預(yù)測(cè)分支具有兩部分：坐標(biāo)注意力模塊和IOU預(yù)測(cè)頭。具體而言，首先，通過(guò)坐標(biāo)注意力模塊精煉輸入特征，提取更顯著的全局方位信息。然后，遍歷IOU預(yù)測(cè)頭對(duì)應(yīng)特征圖每個(gè)像素點(diǎn)xi,j ∈RH×W×1，則可以得到每個(gè)金字塔層級(jí)上所有錨框的IOU預(yù)測(cè)輸出標(biāo)量，其中xi,j表示空間坐標(biāo)為(i,j)的像素點(diǎn)，H表示特征圖高度，W表示特征圖寬度。接下來(lái)將詳細(xì)介紹坐標(biāo)注意力模塊。

圖5 IOU預(yù)測(cè)分支示意圖Fig.5 Schematic diagram of IOU prediction branch

坐標(biāo)注意模塊示意圖如圖6所示，該模塊可以學(xué)習(xí)獲取方位感知的特征圖，有利于關(guān)注感興趣艦船特征，抑制背景雜波干擾。經(jīng)典SE-Net通過(guò)二維全局平均池化獲得全局空間信息[23]，但丟失了目標(biāo)位置信息。與之不同，坐標(biāo)注意力模塊應(yīng)用兩個(gè)一維平均池化來(lái)解耦垂直方向和水平方向，以便保持兩個(gè)方向的位置信息。對(duì)于給定的輸入特征I=[i1,i2,...,ic]∈RH×W×C，使用H ×1池化層來(lái)編碼垂直坐標(biāo)，使用1×W池化層來(lái)編碼水平坐標(biāo)。以上編碼操作的具體實(shí)現(xiàn)如下：

算法2 結(jié)合IOU監(jiān)督的NMS后處理基本流程Alg.2 Basic process of NMS combined with IOU supervision

圖6 坐標(biāo)注意力模塊示意圖Fig.6 Schematic diagram of coordinate attention module

通過(guò)上述過(guò)程，生成的特征同時(shí)具有方向和位置感知，這可以促使網(wǎng)絡(luò)更加關(guān)注艦船目標(biāo)。

在上述空間方向解耦之后，得到具有精確位置信息的方向張量X(h)∈RH×1×C和X(w)∈R1×W×C。然后通過(guò)卷積運(yùn)算生成自適應(yīng)坐標(biāo)注意力，其定義為

其中，Conv(?)是共享的1×1卷積層，BN(?)代表批歸一化層，此外，的通道數(shù)是C/r，其中超參數(shù)r是通道壓縮比，將其設(shè)置為16。然后，將分別輸入到不同的1×1卷積層，以恢復(fù)通道原始數(shù)量，其定義為

其中，sigmoid(·)是sigmoid激活函數(shù)，Y(h)和Y(w)被視為自適應(yīng)坐標(biāo)注意力權(quán)重。

根據(jù)輸出Y(h)和Y(w)，沿著垂直和水平方向進(jìn)行注意力加權(quán)。此時(shí)，坐標(biāo)注意力模塊的最終輸出Y=[y1,y2,...,yc]∈RH×W×C定義為

不同于文獻(xiàn)[24]，這里把坐標(biāo)注意力模塊集成到IOU預(yù)測(cè)分支中，如圖5所示。最終，得到細(xì)化的艦船語(yǔ)義特征，這有助于關(guān)注艦船邊界位置信息，有利于抑制背景雜波干擾。

特別地，為了便于將該機(jī)制嵌入到網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，該機(jī)制引入了IOU預(yù)測(cè)損失函數(shù)來(lái)監(jiān)督錨框的定位質(zhì)量。此時(shí)，訓(xùn)練階段的損失函數(shù)為

其中，LIOUP表示真實(shí)IOU和預(yù)測(cè)IOU間的交叉熵，即IOU預(yù)測(cè)損失函數(shù)，E3表示IOU預(yù)測(cè)損失權(quán)重。

具體地，采用了GIOU Loss作為IOU預(yù)測(cè)損失函數(shù)。其定義為

其中，BP代表綠色預(yù)測(cè)框，BG代表藍(lán)色真實(shí)邊框，BS表示兩者的紅色最小矩形包圍框(即Smallest Rectangle Enclosing Box)。圖7為預(yù)測(cè)框和真實(shí)邊框之間的GIOU示意圖。考慮到IOU Loss對(duì)于兩個(gè)目標(biāo)框的距離不敏感，而GIOU Loss能反映兩個(gè)非重疊目標(biāo)間的距離，這有利于提高模型檢測(cè)定位性能。因此，使用GIOU Loss作為IOU預(yù)測(cè)損失函數(shù)。

圖7 預(yù)測(cè)框和真實(shí)邊框之間的GIOU示意圖Fig.7 Schematic diagram of GIOU between the predicted box and the ground truth box

此外，F(xiàn)ocal Loss作為分類損失函數(shù)，定義為

其中，pt表示預(yù)測(cè)類別概率，at表示平衡因子，b表示調(diào)制因子。

通過(guò)IOU監(jiān)督，網(wǎng)絡(luò)可以提升復(fù)雜場(chǎng)景下SAR艦船檢測(cè)框定位質(zhì)量，同時(shí)抑制靠岸金屬設(shè)施、相鄰艦船等背景雜波干擾，從而進(jìn)一步提高最終的SAR艦船檢測(cè)性能。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文使用國(guó)內(nèi)公開的SAR艦船檢測(cè)數(shù)據(jù)集(SAR Ship Detection Dataset,SSDD)[25]來(lái)驗(yàn)證所提出網(wǎng)絡(luò)A3-IOUS-Net的有效性。SSDD數(shù)據(jù)集的信息概覽如表1所示。從表1中可以看出，SSDD數(shù)據(jù)集有1160張來(lái)自3個(gè)不同SAR衛(wèi)星的SAR圖像，其中包含了2587艘船，即平均一張圖像中有2.23艘船。該數(shù)據(jù)集中的SAR圖像來(lái)自不同的衛(wèi)星傳感器，具有不同的海況、不同的極化模式、不同的分辨率、不同的地點(diǎn)、復(fù)雜的場(chǎng)景和豐富的艦船數(shù)量和艦船尺寸等特點(diǎn)。因此，本文使用SSDD數(shù)據(jù)集來(lái)驗(yàn)證A3-IOUS-Net的有效性。

表1 SSDD數(shù)據(jù)集信息概覽Tab.1 Information of SSDD

3.2 實(shí)驗(yàn)配置

本文使用SGD優(yōu)化器對(duì)A3-IOUS-Net進(jìn)行優(yōu)化，一共訓(xùn)練12個(gè)epoch。網(wǎng)絡(luò)輸入大小設(shè)置為512像素×512像素，學(xué)習(xí)率設(shè)置為0.005，動(dòng)量設(shè)置為0.9，權(quán)重衰減設(shè)置為0.0001。學(xué)習(xí)率在每個(gè)第8和第11個(gè)時(shí)期減少10倍。此外，由于GPU能力有限，訓(xùn)練批次大小(Batch Size)設(shè)置為8。為了加速收斂，訓(xùn)練過(guò)程加載了ResNet-50的ImageNet預(yù)訓(xùn)練權(quán)重。其他未提及的超參數(shù)與RetinaNet保持一致。在網(wǎng)絡(luò)推理過(guò)程中，NMS的IOU閾值設(shè)置為0.60。

實(shí)驗(yàn)運(yùn)行在GPU型號(hào)為NVIDIA RTX3090、CPU型號(hào)為i9-9900K、內(nèi)存大小為32 GB的個(gè)人計(jì)算機(jī)上。該計(jì)算機(jī)采用基于Python 3.10語(yǔ)言的Pytorch[26]和MMDetection[27]作為深度學(xué)習(xí)框架。此外，實(shí)驗(yàn)中使用CUDA11.7調(diào)用GPU進(jìn)行訓(xùn)練加速。

3.3 評(píng)估指標(biāo)

精度(P)定義如下：

其中，TP是True Positives的縮寫，表示正確檢測(cè)的艦船樣本數(shù)量；FP是False Positives的縮寫，表示錯(cuò)誤檢測(cè)的艦船樣本數(shù)量。P可以衡量模型的查準(zhǔn)率。

召回率(R)定義如下：

其中，F(xiàn)N是False Negatives的縮寫，表示漏檢的艦船樣本數(shù)量。R可以衡量模型的查全率。

平均精度(AP)定義如下：

AP可以全面衡量檢測(cè)模型的查準(zhǔn)率和查全率，反映了模型的綜合性能。因此，本文將其作為核心評(píng)價(jià)指標(biāo)。此外，還使用參數(shù)量(Parameter Size,Params)來(lái)衡量模型的計(jì)算空間復(fù)雜度。

3.4 實(shí)驗(yàn)結(jié)果

由表2可知，相比其他15種模型(其中前10種模型屬于通用目標(biāo)檢測(cè)領(lǐng)域，后5種模型屬于SAR艦船檢測(cè)領(lǐng)域)，A3-IOUS-Net在所有場(chǎng)景上取得了最高SAR艦船檢測(cè)精度，Libra R-CNN在全部場(chǎng)景上取得了次優(yōu)SAR艦船檢測(cè)精度。A3-IOUS-Net在全部場(chǎng)景上的AP指數(shù)高達(dá)94.05%，與次優(yōu)方法Libra R-CNN相比，AP值高出2.46%。特別地，A3-IOUS-Net在復(fù)雜靠岸場(chǎng)景上的精度優(yōu)勢(shì)顯著，其復(fù)雜靠岸場(chǎng)景對(duì)應(yīng)的AP值達(dá)到了82.04%，比次優(yōu)方法Libra R-CNN高出8.38%，這表明了A3-IOUSNet優(yōu)越的復(fù)雜場(chǎng)景SAR艦船目標(biāo)檢測(cè)性能。特別地，Quad-FPN和GWFFE-Net均為本課題組所提出的SAR艦船目標(biāo)檢測(cè)方法，其中Quad-FPN局限于網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化策略，GWFFE-Net旨在利用SAR艦船極化特征，然而上述兩種方法忽略了正負(fù)樣本分配不合理及定位質(zhì)量較差的問題，導(dǎo)致了受限的SAR艦船檢測(cè)精度。此外，A3-IOUS-Net的復(fù)雜靠岸場(chǎng)景上的各項(xiàng)評(píng)估指標(biāo)均高于其他方法，因此A3-IOUS-Net可以在復(fù)雜場(chǎng)景中提供更準(zhǔn)確、更全面的艦船檢測(cè)結(jié)果，即在P,R和AP指標(biāo)上的結(jié)果均最優(yōu)。以上結(jié)果顯示了A3-IOUS-Net優(yōu)越的復(fù)雜場(chǎng)景SAR艦船檢測(cè)性能。

表2 A3-IOUS-Net和其他方法性能對(duì)比Tab.2 Comparison of performance of A3-IOUS-Net and other methods

圖8展示了不同方法在不同場(chǎng)景(即全部場(chǎng)景、復(fù)雜靠岸場(chǎng)景和簡(jiǎn)單離岸場(chǎng)景)上的精度-召回率曲線(Precision Recall Curve,PRC)，圖中PRC越靠近坐標(biāo)軸右上方代表檢測(cè)性能越好。如圖8所示，與其他方法相比，A3-IOUS-Net對(duì)應(yīng)曲線在不同場(chǎng)景上始終位于最右上方。特別地，A3-IOUS-Net對(duì)應(yīng)曲線在復(fù)雜靠岸場(chǎng)景上的精度優(yōu)勢(shì)更為顯著，這直觀地揭示了A3-IOUS-Net具有最優(yōu)越的復(fù)雜場(chǎng)景SAR艦船檢測(cè)性能。此外，A3-IOUS-Net在原始網(wǎng)絡(luò)上只增加了少量模型參數(shù)。

圖8 不同方法在不同場(chǎng)景上的精度-召回率曲線Fig.8 Precision-Recall curves of different methods in different scenes

圖9展示了在SSDD數(shù)據(jù)集上不同模型的復(fù)雜場(chǎng)景SAR艦船檢測(cè)定性結(jié)果對(duì)比，圖中展示了A3-IOUS-Net和次優(yōu)模型Libra R-CNN的SAR艦船檢測(cè)定性對(duì)比結(jié)果。圖9中，綠色框表示真實(shí)邊框，黃色橢圓表示漏檢艦船，紅色橢圓表示虛警艦船。圖9(a)展示了復(fù)雜場(chǎng)景下的SAR艦船真實(shí)邊框，圖9(b)展示了Libra R-CNN在復(fù)雜場(chǎng)景下的SAR艦船檢測(cè)結(jié)果。圖9(c)展示了A3-IOUS-Net在復(fù)雜場(chǎng)景下的SAR艦船檢測(cè)結(jié)果?？梢园l(fā)現(xiàn)，A3-IOUSNet提供了更優(yōu)的復(fù)雜場(chǎng)景SAR艦船檢測(cè)性能。例如，對(duì)比圖9(b)與圖9(c)第1行第1列圖像的艦船檢測(cè)結(jié)果，A3-IOUS-Net檢測(cè)出靠岸金屬設(shè)施干擾下的靠岸艦船，Libra R-CNN卻漏檢了該艘艦船。例如，對(duì)比圖9(b)與圖9(c)第1行第3列圖像的艦船檢測(cè)結(jié)果，A3-IOUS-Net準(zhǔn)確無(wú)誤地檢測(cè)出3艘靠岸艦船，Libra R-CNN卻錯(cuò)誤地漏檢了1艘并排靠岸艦船。以上都表明了A3-IOUS-Net具有更優(yōu)越的復(fù)雜場(chǎng)景SAR艦船檢測(cè)性能。

3.5 消融實(shí)驗(yàn)

3.5.1 自適應(yīng)錨框分配機(jī)制消融分析

本節(jié)共開展了兩組實(shí)驗(yàn)對(duì)自適應(yīng)錨框分配機(jī)制進(jìn)行消融分析。其中，實(shí)驗(yàn)1驗(yàn)證了是否使用自適應(yīng)錨框分配機(jī)制對(duì)檢測(cè)精度的影響，如表3所示；實(shí)驗(yàn)2驗(yàn)證了使用不同的概率分布模型對(duì)檢測(cè)精度的影響，如表4所示。

表3 A3-IOUS-Net是否使用自適應(yīng)錨框分配機(jī)制對(duì)精度的影響(%)Tab.3 Effect of whether A3-IOUS-Net using adaptive anchor assignment mechanism (%)

表4 自適應(yīng)錨框分配機(jī)制使用不同概率分布模型對(duì)精度的影響(%)Tab.4 Effect of adaptive anchor assignment mechanism using different probability distribution models (%)

表3展示了是否使用自適應(yīng)錨框分配機(jī)制對(duì)艦船檢測(cè)精度的影響。如表3所示，在加入自適應(yīng)錨框分配后，由于實(shí)現(xiàn)了自適應(yīng)地將錨框分配為正負(fù)樣本，提高了網(wǎng)絡(luò)中艦船樣本學(xué)習(xí)能力，模型在復(fù)雜靠岸場(chǎng)景上的檢測(cè)精度AP值提高了11.17%，模型在全部場(chǎng)景上的檢測(cè)精度AP值提高了3.33%，這充分表明了自適應(yīng)錨框分配機(jī)制的有效性。在表4中展示了使用不同的概率分布模型對(duì)艦船檢測(cè)精度的影響。如表4所示，高斯混合模型能夠更好地建模SAR艦船復(fù)雜場(chǎng)景下的錨框得分分布，有利于網(wǎng)絡(luò)將錨框合理地分配為正負(fù)樣本，這與高斯混合分布模型能夠形成任意形狀密度分布的平滑近似[20]以及目標(biāo)檢測(cè)任務(wù)中錨框分?jǐn)?shù)樣本分布符合高斯混合分布模型[19,41]的理論一致。如圖10所示，采樣訓(xùn)練階段的2013個(gè)錨框得分，將錨框分?jǐn)?shù)建模為雙模態(tài)(一種用于正樣本，一種用于負(fù)樣本)高斯混合模型的分布樣本；可以發(fā)現(xiàn)，錨框分?jǐn)?shù)樣本分布符合高斯混合分布模型，其中錨框負(fù)樣本分?jǐn)?shù)符合一種均值為0.57標(biāo)準(zhǔn)差為0.16的高斯分布，錨框正樣本分?jǐn)?shù)符合一種均值為0.67標(biāo)準(zhǔn)差為0.10高斯分布；然后通過(guò)將正樣本分布曲線與負(fù)樣本分布曲線的交點(diǎn)視為分配邊界(圖中為0.56)，可以將錨框分?jǐn)?shù)大于該邊界的錨框分配為正樣本，將其余錨框分配為負(fù)樣本。相較于采用次優(yōu)概率分布模型，網(wǎng)絡(luò)在復(fù)雜靠岸場(chǎng)景上的檢測(cè)精度AP值提高了8.75%，網(wǎng)絡(luò)在全部場(chǎng)景上的檢測(cè)精度AP值提高了3.04%，這充分表明了高斯混合模型的有效性。此外，采用部分其他分布(如狄利克雷混合分布和T混合分布)的實(shí)驗(yàn)效果較差，說(shuō)明了自適應(yīng)錨框機(jī)制對(duì)于概率分布模型的類型選擇比較敏感，若采用不適配的概率分布模型擬合符合高斯混合分布分?jǐn)?shù)樣本，這種不合理擬合模型反而會(huì)加劇正負(fù)樣本的不合理分配，導(dǎo)致最終效果可能會(huì)比基于IOU閾值的錨框分配方法更差。

圖10 錨框分?jǐn)?shù)樣本分布圖Fig.10 The distribution figure of anchor score samples

3.5.2 IOU監(jiān)督機(jī)制消融分析

本小節(jié)共開展了3組實(shí)驗(yàn)對(duì)IOU監(jiān)督機(jī)制進(jìn)行消融分析。其中，實(shí)驗(yàn)1驗(yàn)證了是否使用IOU監(jiān)督機(jī)制對(duì)檢測(cè)精度的影響，如表5所示；實(shí)驗(yàn)2驗(yàn)證了IOU監(jiān)督機(jī)制使用不同的IOU預(yù)測(cè)損失函數(shù)對(duì)檢測(cè)精度的影響，如表6所示；實(shí)驗(yàn)3驗(yàn)證了IOU監(jiān)督機(jī)制是否使用坐標(biāo)注意力模塊對(duì)檢測(cè)精度的影響，如表7所示。

表5 A3-IOUS-Net是否使用IOU監(jiān)督機(jī)制對(duì)精度的影響(%)Tab.5 Effect of whether A3-IOUS-Net using IOU supervise mechanism (%)

表6 IOU監(jiān)督機(jī)制使用不同IOU預(yù)測(cè)損失函數(shù)對(duì)精度的影響(%)Tab.6 Effect of IOU supervise mechanism using different IOU prediction loss functions (%)

表7 IOU監(jiān)督機(jī)制是否使用坐標(biāo)注意力模塊對(duì)精度的影響(%)Tab.7 Effect of whether IOU supervise mechanism using coordinate attention module (%)

如表5所示，在單獨(dú)加入IOU監(jiān)督后，由于獲取了IOU預(yù)測(cè)得分，提高了檢測(cè)框定位質(zhì)量，模型在復(fù)雜靠岸場(chǎng)景上的檢測(cè)精度AP值提高了17.38%，模型在全部場(chǎng)景上的檢測(cè)精度AP值共提高了6.86%，這充分表明了IOU監(jiān)督機(jī)制的有效性。

如表6所示，IOU監(jiān)督機(jī)制采用GIOU Loss相較于采用IOU Loss對(duì)模型具有更佳的增益效果。這是由于IOU Loss對(duì)于兩個(gè)目標(biāo)框的距離不敏感，而GIOU Loss能夠反映兩個(gè)非重疊目標(biāo)間的距離，所以后者有利于進(jìn)一步提高模型檢測(cè)定位性能。在IOU監(jiān)督機(jī)制采用GIOU Loss后，模型在復(fù)雜靠岸場(chǎng)景上的檢測(cè)精度AP值提高了7.54%，模型在全部場(chǎng)景上的檢測(cè)精度AP值共提高了2.37%，這充分表明了GIOU Loss的顯著優(yōu)勢(shì)。

如表7所示，IOU監(jiān)督機(jī)制采用坐標(biāo)注意力模塊后，由于關(guān)注了艦船方位信息，抑制了背景雜波干擾，模型在復(fù)雜靠岸場(chǎng)景上的檢測(cè)精度AP值提高了5.4%，模型在全部場(chǎng)景上的檢測(cè)精度AP值共提高了1.31%，這充分表明了坐標(biāo)注意力模塊的有效性。

3.6 大場(chǎng)景SAR圖像遷移實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證A3-IOUS-Net的復(fù)雜場(chǎng)景SAR艦船檢測(cè)性能，使用在SSDD數(shù)據(jù)集上訓(xùn)練得到的深度學(xué)習(xí)模型在高分辨率SAR艦船檢測(cè)數(shù)據(jù)集AIR-SARShip-1.0[42]上進(jìn)行遷移實(shí)驗(yàn)，如圖11所示。測(cè)試圖片包括近岸大場(chǎng)景下的多尺度艦船目標(biāo)，由于海況復(fù)雜、靠岸建筑干擾等元素導(dǎo)致檢測(cè)場(chǎng)景相對(duì)復(fù)雜。圖11展示了A3-IOUS-Net遷移到大場(chǎng)景SAR圖像上的檢測(cè)結(jié)果。其中藍(lán)色框代表檢測(cè)目標(biāo)，紅色框代表誤檢艦船目標(biāo)，黃色框代表漏檢艦船目標(biāo)。從圖11中可以看出，A3-IOUS-Net可以準(zhǔn)確檢測(cè)出所有離岸艦船，可以檢測(cè)出部分靠岸艦船，但在密集河道區(qū)域仍存在一定的虛警。由此得出結(jié)論，A3-IOUS-Net具有一定的遷移能力，能夠一定程度上適應(yīng)多傳感器下的復(fù)雜場(chǎng)景SAR艦船檢測(cè)。

圖11 大場(chǎng)景SAR圖像艦船檢測(cè)結(jié)果圖Fig.11 Ship detection results in large scene SAR images

4 結(jié)語(yǔ)

針對(duì)復(fù)雜場(chǎng)景SAR艦船檢測(cè)任務(wù)中艦船目標(biāo)錨框分配不合理和檢測(cè)網(wǎng)絡(luò)定位精度不理想的問題，本文提出了一種名為A3-IOUS-Net的基于自適應(yīng)錨框分配與IOU監(jiān)督的復(fù)雜場(chǎng)景SAR艦船檢測(cè)方法。首先，文中設(shè)計(jì)了自適應(yīng)錨框分配機(jī)制，通過(guò)建立概率分布模型將錨框合理地分配為正負(fù)樣本，以增強(qiáng)網(wǎng)絡(luò)對(duì)于復(fù)雜場(chǎng)景艦船樣本的學(xué)習(xí)能力，以提升檢測(cè)精度。其次，提出了IOU監(jiān)督機(jī)制，通過(guò)在預(yù)測(cè)頭部增加IOU預(yù)測(cè)分支來(lái)對(duì)檢測(cè)框的定位質(zhì)量進(jìn)行監(jiān)督，使得網(wǎng)絡(luò)能夠精確地定位復(fù)雜場(chǎng)景艦船目標(biāo)。另外，通過(guò)在該預(yù)測(cè)分支中引入坐標(biāo)注意力模塊，可以抑制背景雜波干擾，從而進(jìn)一步提高檢測(cè)精度?；诠_數(shù)據(jù)集SSDD開展了實(shí)驗(yàn)，結(jié)果表明所提出的A3-IOUS-Net具有優(yōu)越的復(fù)雜場(chǎng)景SAR艦船檢測(cè)性能。特別地，A3-IOUS-Net在復(fù)雜場(chǎng)景中SAR艦船檢測(cè)精度AP值較次優(yōu)模型Libra R-CNN提高了8.38%。消融實(shí)驗(yàn)也證明了A3-IOUS-Net每項(xiàng)改進(jìn)的有效性。在未來(lái)工作中，將更加關(guān)注復(fù)雜場(chǎng)景下并列和靠岸的艦船目標(biāo)檢測(cè)，采用更適用于長(zhǎng)寬比大艦船的斜框檢測(cè)數(shù)據(jù)集Official SSDD[25]，結(jié)合斜框檢測(cè)思想對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，進(jìn)一步提高檢測(cè)模型的魯棒性和適應(yīng)性。