柳碧輝，王培元

（海軍航空大學(xué)，山東 煙臺(tái) 264001）

0 引言

艦船目標(biāo)識(shí)別技術(shù)在許多領(lǐng)域具有廣泛的應(yīng)用。在民用領(lǐng)域上，有利于監(jiān)視海運(yùn)交通、維護(hù)海洋權(quán)益；在軍事領(lǐng)域上，有利于進(jìn)行預(yù)警探測(cè)、對(duì)敵偵查識(shí)別、精確制導(dǎo)打擊、提高海防預(yù)警防范能力，因此，對(duì)海洋實(shí)際場(chǎng)景中艦船目標(biāo)的準(zhǔn)確識(shí)別具有重要意義。

在復(fù)雜應(yīng)用背景下，近些年來(lái)，人們對(duì)機(jī)器視覺(jué)系統(tǒng)的需求逐步提升，對(duì)圖像的判讀、目標(biāo)的全方位精確識(shí)別也提出了更高的要求，獲取的艦船二維圖像還存在著抗干擾性、適應(yīng)性較差的問(wèn)題，自然也無(wú)法進(jìn)行全方位的目標(biāo)識(shí)別。例如，仇榮超等人對(duì)不同波段的紅外圖像進(jìn)行采集，并在艦船目標(biāo)候選區(qū)域進(jìn)行拓展以融入局部上下文信息，生成檢測(cè)區(qū)域，但該過(guò)程太過(guò)于復(fù)雜，紅外圖像易受海洋復(fù)雜環(huán)境影響。孫嘉赤等人在遙感影像中設(shè)計(jì)出旋轉(zhuǎn)回歸器對(duì)艦船目標(biāo)進(jìn)行精細(xì)識(shí)別，但是存在著背景冗余過(guò)多、二維圖像并不能表征目標(biāo)深度信息的問(wèn)題。魏存?zhèn)サ热颂岢隽伺灤暯菂?shù)估計(jì)方法，但對(duì)于雷達(dá)回波信號(hào)的目標(biāo)識(shí)別來(lái)說(shuō)，目標(biāo)是主動(dòng)的，觀察者是被動(dòng)的，觀察者無(wú)法在所有視向上對(duì)目標(biāo)取樣，導(dǎo)致目標(biāo)特征提取困難。因此，能夠較好地呈現(xiàn)出物體空間信息、表征出物體細(xì)節(jié)、全面體現(xiàn)出客觀事實(shí)的三維模型在目標(biāo)識(shí)別方面具有明顯的應(yīng)用優(yōu)勢(shì)。

根據(jù)利用的特征及提取方式的不同，可以將現(xiàn)有的三維識(shí)別方法分類如下：基于特征匹配的目標(biāo)識(shí)別、基于圖匹配的目標(biāo)識(shí)別以及基于深度學(xué)習(xí)的目標(biāo)識(shí)別方法?；谏疃葘W(xué)習(xí)的三維識(shí)別算法已經(jīng)應(yīng)用于國(guó)內(nèi)外眾多領(lǐng)域。針對(duì)艦船的目標(biāo)識(shí)別，陳東等人提出基于改進(jìn)型YOLOv3 的SAR 圖像艦船目標(biāo)檢測(cè)方法，實(shí)現(xiàn)了嵌入式的應(yīng)用，但存在著泛化性差的問(wèn)題。王冰提出利用深度殘差網(wǎng)絡(luò)結(jié)合超像素方法對(duì)目標(biāo)進(jìn)行分割來(lái)識(shí)別艦船目標(biāo)，但在實(shí)驗(yàn)中深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練層數(shù)不夠，使得魯棒性不高，從而影響了檢測(cè)精度。如今在瞬息萬(wàn)變的海洋戰(zhàn)場(chǎng)環(huán)境中，艦船目標(biāo)的三維識(shí)別越來(lái)越注重于“時(shí)效性、準(zhǔn)確性、適用性”，因此，本文采用基于Faster R-CNN 方法對(duì)艦船目標(biāo)進(jìn)行三維識(shí)別研究。

針對(duì)艦船目標(biāo)三維識(shí)別中存在的問(wèn)題，本文所提的算法框架主要包含3 部分：1）利用三維重建軟件生成艦船目標(biāo)的三維模型；2）通過(guò)增加滑動(dòng)窗口的方法，改進(jìn)Faster R-CNN 的卷積層結(jié)構(gòu)，采用合適的錨點(diǎn)對(duì)目標(biāo)進(jìn)行識(shí)別；3）設(shè)計(jì)了一個(gè)根據(jù)實(shí)景模型標(biāo)識(shí)框與區(qū)域建議相結(jié)合的識(shí)別方法得到目標(biāo)信息，最后，利用非極大值抑制的方法對(duì)冗余矩形標(biāo)識(shí)框進(jìn)行過(guò)濾去除，實(shí)現(xiàn)對(duì)三維艦船實(shí)景目標(biāo)的準(zhǔn)確識(shí)別。

1 Faster R-CNN 算法

基于區(qū)域建議方法的R-CNN 識(shí)別模型是深度學(xué)習(xí)在目標(biāo)識(shí)別領(lǐng)域的重要發(fā)展。R-CNN 突破性地解決了傳統(tǒng)方法對(duì)目標(biāo)進(jìn)行特征選擇的問(wèn)題，在此基礎(chǔ)上Faster R-CNN創(chuàng)新性地改善了選擇性搜索方法，引入?yún)^(qū)域生成網(wǎng)絡(luò)（region proposal network，RPN），真正意義上實(shí)現(xiàn)了端到端的目標(biāo)識(shí)別，從目標(biāo)識(shí)別算法的功能上看，F(xiàn)aster R-CNN 是由RPN 候選區(qū)域框生成模塊與Fast R-CNN 識(shí)別模塊兩部分組成，如圖1 所示。

圖1 Faster R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)

1.1 RPN 網(wǎng)絡(luò)結(jié)構(gòu)

區(qū)域提議網(wǎng)絡(luò)RPN 的輸入是任意大小的圖像，利用CNN 卷積操作后特征圖以一組矩形生成區(qū)域提議（region proposals），并且每一個(gè)提議都會(huì)有相應(yīng)的目標(biāo)得分。替代了選擇性搜索等方法，明顯提升了識(shí)別速度，是Faster-RCNN 的核心組成網(wǎng)絡(luò)。

為了生成區(qū)域提議，在最后的共享卷積層輸出的卷積特征映射上面滑動(dòng)一個(gè)小網(wǎng)絡(luò)。這個(gè)小網(wǎng)絡(luò)將卷積特征映射的空間窗口作為輸入，如圖2所示。

圖2 RPN 網(wǎng)絡(luò)結(jié)構(gòu)示意圖

每個(gè)滑動(dòng)窗口映射到一個(gè)低維艦船特征，得到的艦船特征對(duì)應(yīng)關(guān)系為：256 維長(zhǎng)度與ZF 網(wǎng)絡(luò)相對(duì)應(yīng)，512 維長(zhǎng)度與VGG 網(wǎng)絡(luò)相對(duì)應(yīng)，將提取特征輸入到兩個(gè)子全鏈接層，分別為分類層（cls）和回歸層（reg）。分類層的主要作用是與區(qū)域提案中心錨點(diǎn)的寬度、高度以及二維坐標(biāo)相對(duì)應(yīng)，進(jìn)行艦船的分類判斷；回歸層主要是對(duì)矩形識(shí)別框內(nèi)的物體進(jìn)行識(shí)別回歸，判斷其屬于前景還是后景，以便對(duì)艦船目標(biāo)進(jìn)行更準(zhǔn)確地識(shí)別?；瑒?dòng)窗口可以對(duì)多個(gè)區(qū)域同時(shí)進(jìn)行提議預(yù)測(cè)，每滑動(dòng)一次就會(huì)預(yù)測(cè)出k 個(gè)區(qū)域建議，其中分類層輸出2k 個(gè)分?jǐn)?shù)；回歸層具有4k個(gè)分?jǐn)?shù)的輸出。把每個(gè)滑窗的中心點(diǎn)稱為一個(gè)錨點(diǎn)。錨點(diǎn)具有平移不變性。無(wú)論是計(jì)算錨點(diǎn)還是計(jì)算相對(duì)于錨點(diǎn)的區(qū)域提議函數(shù)，如果在圖像中平移目標(biāo)，提議也會(huì)平移，并且同樣的函數(shù)在任一位置被預(yù)測(cè)提議，這樣會(huì)減少模型的大小、降低過(guò)擬合的問(wèn)題，有助于RPN 在很大尺度范圍內(nèi)獲得艦船目標(biāo)。經(jīng)過(guò)端到端訓(xùn)練后的RPN 網(wǎng)絡(luò)，可以生成高質(zhì)量的區(qū)域提議，最后，對(duì)得到的矩形標(biāo)識(shí)邊框進(jìn)行坐標(biāo)編碼，即區(qū)域建議作為Fast R-CNN 框架的輸入，繼續(xù)進(jìn)行系統(tǒng)的訓(xùn)練。

1.2 訓(xùn)練RPN

為了訓(xùn)練RPN，要給每個(gè)錨點(diǎn)分配一個(gè)二值類別標(biāo)簽，根據(jù)矩形邊框及其分類得分?jǐn)?shù)判斷該目標(biāo)是否為艦船目標(biāo)。對(duì)以下兩種類型的錨點(diǎn)分配正標(biāo)簽：1）具有與實(shí)際邊界框（訓(xùn)練集中人工標(biāo)識(shí)出的真實(shí)艦船目標(biāo)矩形包圍框）的重疊最高交并比（IoU，intersection over union）的錨點(diǎn)；2）與實(shí)際邊界框的重疊超過(guò)0.7IoU 的錨點(diǎn)。對(duì)于與實(shí)際邊界框重疊的IoU 比率低于0.3 的一個(gè)錨點(diǎn)，分配一個(gè)負(fù)標(biāo)簽。舍棄未得到正標(biāo)簽或者負(fù)標(biāo)簽的錨點(diǎn)，不參與訓(xùn)練目標(biāo)函數(shù)。

根據(jù)以上定義，對(duì)目標(biāo)函數(shù)Fast R-CNN 采用最小化的多任務(wù)損失函數(shù)，將損失函數(shù)定義為：

另外，目前對(duì)艦船目標(biāo)識(shí)別應(yīng)用中，方程式（1）中cls 項(xiàng)通過(guò)小批量數(shù)據(jù)的大?。碞=256）進(jìn)行歸一化，reg 項(xiàng)根據(jù)錨點(diǎn)位置的數(shù)量（即N～2 400）進(jìn)行歸一化。上面的歸一化不是必須的，可以簡(jiǎn)化。

對(duì)于從錨盒到鄰近的實(shí)際邊界框的邊界框回歸（bounding box regression），如式（5）所示：

式中，x，y，ω 和h 表示邊界框的中心坐標(biāo)及其寬和高；變量x，x和x分別表示預(yù)測(cè)邊界框，錨盒和實(shí)際邊界框（y，ω 和h 同理）。

1.3 聯(lián)合訓(xùn)練

采用4 步交替優(yōu)化學(xué)習(xí)共享特征的方法來(lái)訓(xùn)練由RPN 和Fast R-CNN 組成的具有共享卷積層的統(tǒng)一網(wǎng)絡(luò)，如圖3 所示。

圖3 Faster R-CNN 目標(biāo)識(shí)別網(wǎng)絡(luò)

Step 1 單獨(dú)訓(xùn)練RPN 網(wǎng)絡(luò)，使用ImageNet 的預(yù)訓(xùn)練模型對(duì)該網(wǎng)絡(luò)進(jìn)行初始化，并針對(duì)區(qū)域提議任務(wù)進(jìn)行了端到端的微調(diào)。

Step 2 單獨(dú)訓(xùn)練Fast R-CNN 網(wǎng)絡(luò)，將Step 1 RPN 生成的提議作為識(shí)別網(wǎng)絡(luò)的輸入。該識(shí)別網(wǎng)絡(luò)也由ImageNet 的預(yù)訓(xùn)練模型進(jìn)行初始化。此時(shí)兩個(gè)網(wǎng)絡(luò)不共享卷積層。

Step 3 又一次訓(xùn)練RPN，固定網(wǎng)絡(luò)公共部分的參數(shù)，并且只對(duì)RPN 特有的層進(jìn)行微調(diào)?，F(xiàn)在這兩個(gè)網(wǎng)絡(luò)共享卷積層。

Step 4 保持共享卷積層的固定，對(duì)Fast R-CNN網(wǎng)絡(luò)進(jìn)行微調(diào)。因此，兩個(gè)網(wǎng)絡(luò)共享相同的卷積層形成統(tǒng)一的網(wǎng)絡(luò)。至此網(wǎng)絡(luò)訓(xùn)練結(jié)束，類似的交替訓(xùn)練可以運(yùn)行更多的迭代。

2 本文算法描述

本文提出的算法框架主要包含3 部分：1）通過(guò)增加滑動(dòng)窗口的方法，使用卷積層改進(jìn)的Faster R-CNN 的結(jié)構(gòu)，采用合適的錨點(diǎn)對(duì)目標(biāo)進(jìn)行準(zhǔn)確識(shí)別；2）根據(jù)得出的圖像設(shè)計(jì)了一個(gè)根據(jù)實(shí)景模型標(biāo)注框與區(qū)域建議相結(jié)合識(shí)別的方法得到目標(biāo)信息，其后利用非極大值抑制的方法對(duì)多余不準(zhǔn)確矩形標(biāo)識(shí)框進(jìn)行過(guò)濾去除，實(shí)現(xiàn)對(duì)三維艦船實(shí)景目標(biāo)的識(shí)別。本文所提出的基于改進(jìn)的Faster RCNN 的艦船目標(biāo)三維識(shí)別流程如圖4 所示。

圖4 本文改進(jìn)方法的流程圖

2.1 改進(jìn)的Faster R-CNN 的結(jié)構(gòu)

原始的Faster R-CNN 中的AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)共有8 層，前面5 層為卷積層，后面3 層為全連接層，殘差塊在TOP-5 的錯(cuò)誤率達(dá)到了16.4豫，而且隨著網(wǎng)絡(luò)深度的增加，優(yōu)化較為困難，使得深層網(wǎng)絡(luò)表現(xiàn)反而不如淺層網(wǎng)絡(luò)，為了解決這類“退化”問(wèn)題，選擇由殘差塊（residual block）構(gòu)建的RetNet網(wǎng)絡(luò)。在TOP-5 的錯(cuò)誤率僅為4.6豫，所以，使用殘差塊能夠訓(xùn)練更深的神經(jīng)網(wǎng)絡(luò)，可以減少梯度過(guò)擬合的現(xiàn)象。

通過(guò)實(shí)驗(yàn)證明，選擇預(yù)訓(xùn)練的ResNet-101 模型比其他預(yù)訓(xùn)練模型（如VGG和Inception）可以獲得更好的性能。之后，默認(rèn)情況下，我們選擇ResNet-101 模型作為Faster R-CNN 中的主干。RetNet101 網(wǎng)絡(luò)結(jié)構(gòu)如下頁(yè)圖6 所示。

圖5 RetNet101 網(wǎng)絡(luò)結(jié)構(gòu)

圖6 本文改進(jìn)的基于ResNet101 的Faster RCNN 結(jié)構(gòu)

本文將利用基于ResNet101 的Faster RCNN 結(jié)構(gòu)。RetNet101 網(wǎng)絡(luò)由輸入圖片、conv1、conv2_x、conv3_x、conv4_x 和conv5_x 組成，該模型由ImageNet 分類模型初始化。在conv2_x、conv3_x、conv4_x和conv5_x 每層使用3 個(gè)殘差塊。在conv4_x 最后的輸出為RPN 和RoI Pooling 共享的部分，然后將RPN 的輸出一起作用于RoI Pooling 之后的特征圖，作為conv5_x 的輸入，conv5_x 后加入一層卷積層，對(duì)conv5_x 的輸出進(jìn)行線性形變，使用2 048 個(gè)1*1，步長(zhǎng)為1 的卷積核輸出為2 048 維特征，將分別用于分類和框回歸。

由于三維模型是立體的，可以比較真實(shí)地還原物體特征，所以對(duì)細(xì)節(jié)采集讀取非常關(guān)鍵。原始的RPN 網(wǎng)絡(luò)中只有一種3×3 的滑動(dòng)窗口，通過(guò)一種感受野是不夠的，限制了模型目標(biāo)識(shí)別能力，但也會(huì)帶來(lái)更多的參量。本文在原始的RPN 網(wǎng)絡(luò)采用兩個(gè)連續(xù)的3×3 與5×5 的卷積層來(lái)代替單個(gè)的3×3。3×3 與5×5 級(jí)聯(lián)的卷積層參數(shù)個(gè)數(shù)為36，原有的參數(shù)個(gè)數(shù)為10。計(jì)算量作對(duì)比：輸入記為x，為了方便討論，假設(shè)padding=0，stride=1。利用卷積計(jì)算公式可得如表1 所示。

表1 計(jì)算過(guò)程

總的來(lái)說(shuō)，雖然參量變多了，但是采用兩個(gè)卷積核級(jí)聯(lián)的方式在計(jì)算量上占有優(yōu)勢(shì)識(shí)別性能優(yōu)于單個(gè)滑動(dòng)窗口的性能，感受野范圍也得到了提高，可以較為全面細(xì)致地識(shí)別出三維圖形的艦船目標(biāo)，如圖6 所示。

2.2 區(qū)域組合識(shí)別模型

我們將設(shè)計(jì)一個(gè)新的區(qū)域組合模型，以更好地利用三維模型提供的區(qū)域信息。利用三維重建生成三維模型，艦船的邊緣輪廓相對(duì)平滑，在艦船輪廓的延長(zhǎng)線上，圖像梯度變化是非常緩慢的，在艦船輪廓垂直方向上的梯度變化較為明顯。所以，首先通過(guò)canny邊緣檢測(cè)算子，提高模糊邊界的清晰度，同時(shí)抑制噪聲，進(jìn)而再對(duì)模型提供的艦船信息進(jìn)行分析。同時(shí)經(jīng)過(guò)在RPN 階段生成對(duì)象建議后，基于Faster RCNN 階段的卷積網(wǎng)絡(luò)步幅，使用ROI 池層將每個(gè)區(qū)域建議投影到共享特征圖上。然后，將與每一個(gè)區(qū)域建議對(duì)應(yīng)的特征圖進(jìn)行編碼，編碼為具有預(yù)定義空間分辨率的固定尺寸的表達(dá)形式。之后，這些表示將作為幾個(gè)完全連接的層的輸入，以進(jìn)行分類和邊界框回歸。

由于三維模型有助于物體識(shí)別，而且無(wú)人機(jī)拍攝艦船目標(biāo)遠(yuǎn)，得到的艦船目標(biāo)小，因此，考慮將三維模型實(shí)際框出的目標(biāo)與經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別后的目標(biāo)進(jìn)行提案區(qū)域結(jié)合，這樣將有助于識(shí)別遠(yuǎn)距離小型物體。此外，由于小型對(duì)象通常占據(jù)的圖像區(qū)域較小，與較小候選提案相對(duì)應(yīng)的特征圖（在經(jīng)過(guò)多次卷積處理后得到的其空間分辨率可能不足1×1）難以分辨。因此，本文選擇區(qū)域組合識(shí)別的方法來(lái)提高小型目標(biāo)識(shí)別的性能。如圖7 所示，分別在三維模型進(jìn)行框選后的區(qū)域和在ROI 池層之后得到的提案區(qū)域合并在一起，候選區(qū)域中的空間分辨率遵循默認(rèn)設(shè)置，即7×7。這是用來(lái)合并上下文信息的簡(jiǎn)單且直觀的方式，在我們的實(shí)驗(yàn)中證明了這種方法是有效的。此外，我們從沒(méi)有完全連接的層的預(yù)訓(xùn)練ResNet101 模型中，構(gòu)造了所有卷積層的共享特征圖。因此，在最終分類和邊界框回歸之前，附加兩個(gè)隱藏的1 024 維全連接層，它們通過(guò)Xavier 方法隨機(jī)初始化，如圖7 所示。

圖7 區(qū)域組合識(shí)別模型

2.3 非極大值抑制（NMS）

為了減少冗余，建議區(qū)域根據(jù)其框分類得分采用非極大值抑制（NMS，non maximum suppression）。非極大值抑制在很多計(jì)算機(jī)視覺(jué)任務(wù)中都有廣泛應(yīng)用，如：邊緣檢測(cè)、目標(biāo)識(shí)別等。步驟如下：1）將所有框的得分進(jìn)行升序排序，選中最高分及其對(duì)應(yīng)的框；2）遍歷其余的框，如果和當(dāng)前最高分框的重疊最高交并比（IoU）大于一定閾值，就將這個(gè)框刪除；3）從未處理的框中繼續(xù)選一個(gè)得分最高的，重復(fù)上述過(guò)程。經(jīng)試驗(yàn)，將本文中NMS 的IoU 閾值固定為0.5。如圖8 所示。

圖8 NMS 處理結(jié)果

3 數(shù)據(jù)實(shí)測(cè)與分析

3.1 數(shù)據(jù)準(zhǔn)備

目前，國(guó)內(nèi)和國(guó)際上沒(méi)有公開(kāi)的關(guān)于真實(shí)海面場(chǎng)景下的艦船三維實(shí)景目標(biāo)識(shí)別數(shù)據(jù)集，無(wú)法在統(tǒng)一平臺(tái)上比較艦船目標(biāo)三維識(shí)別各方法的性能，給出定量精度指標(biāo)。故文中自建了某退役軍艦的數(shù)據(jù)集。使用無(wú)人機(jī)對(duì)該退役軍艦艦船進(jìn)行360 °實(shí)景航拍，利用photoscan 軟件重建三維模型，經(jīng)過(guò)對(duì)齊照片、形成點(diǎn)云、形成紋理等步驟作出該艦船的三維實(shí)景立體模型，如圖9 所示。

圖9 某退役軍艦艦船三維實(shí)景模型圖

實(shí)驗(yàn)訓(xùn)練數(shù)據(jù)集分別來(lái)自三維網(wǎng)格模型、三維點(diǎn)云模型、三維紋理模型、退役軍艦的航拍圖片和退役軍艦艦船三維手工建模模型等5 種數(shù)據(jù)集，如圖10 所示。訓(xùn)練集樣本已被調(diào)整為406×720 像素，以方便查看。這些訓(xùn)練數(shù)據(jù)集包含了艦船的各個(gè)角度、清晰、背景簡(jiǎn)單等特征，還專門(mén)采集了背景冗雜、艦船特征部位較相近的干擾圖像，人為增加了數(shù)據(jù)集圖片，以驗(yàn)證本文方法的有效性和魯棒性。為了進(jìn)行評(píng)估，我們的數(shù)據(jù)集被隨機(jī)分為70豫用于訓(xùn)練和30豫用于測(cè)試。圖10 為部分訓(xùn)練圖像示例圖。實(shí)驗(yàn)硬件環(huán)境為：Intel Core i5 CPU、NVIDIA GeForce GTX 1 650 顯卡和8 G 內(nèi)存。

圖10 5 種訓(xùn)練集部分示例圖

3.2 實(shí)驗(yàn)步驟

Step 1 實(shí)驗(yàn)對(duì)目標(biāo)識(shí)別時(shí)的檢測(cè)器統(tǒng)一使用ResNet101 模型，按照2.1 和2.2 節(jié)的模型框圖進(jìn)行網(wǎng)絡(luò)模型的構(gòu)建，并對(duì)模型進(jìn)行初始化。

Step 2 將數(shù)據(jù)集使用canny 邊緣檢測(cè)算子進(jìn)行降噪處理，作為網(wǎng)絡(luò)模型的輸入。

Step 3 RPN 中的區(qū)域建議窗口分別采用3 種尺度比例（1∶1，1∶2，2∶1）和3 個(gè)長(zhǎng)寬比（128×128，256×256，512×512）條件進(jìn)行設(shè)置，產(chǎn)生9 種候選框。

Step 4 分別利用原始Faster R-CNN 方法和本文改進(jìn)的Faster R-CNN 方法，對(duì)上述退役軍艦艦船3 種實(shí)拍照片、民船實(shí)拍圖片、郵輪實(shí)拍圖片進(jìn)行測(cè)試實(shí)驗(yàn)，均使用IoU 閾值固定為0.5。

Step 5 經(jīng)過(guò)Step 4 后得出標(biāo)識(shí)框的位置并進(jìn)行分析對(duì)比。利用MATLAB 中自帶的evaluate Detection Precision 函數(shù)進(jìn)行評(píng)估，并計(jì)算精準(zhǔn)率-召回率（precision-recall，p-r）曲線指標(biāo)來(lái)作為評(píng)估標(biāo)準(zhǔn)。

3.3 本文方法性能評(píng)估測(cè)試

3.3.1 三維紋理模型數(shù)據(jù)集進(jìn)行測(cè)試實(shí)景數(shù)據(jù)

本小節(jié)利用的是三維紋理模型，分別基于原始ResNet-101 的Faster R-CNN 網(wǎng)絡(luò)，和基于本文改進(jìn)后ResNet-101 的Faster R-CNN 網(wǎng)絡(luò)測(cè)試實(shí)際場(chǎng)景下拍攝的3 種退役軍艦艦船圖片、民船圖片和郵輪圖片。得到的矩形標(biāo)示框如圖11 所示。其中，青藍(lán)色矩形標(biāo)識(shí)框?yàn)槭褂没谠糝esNet-101 的Faster R-CNN 網(wǎng)絡(luò)對(duì)艦船識(shí)別的結(jié)果，黃色矩形標(biāo)識(shí)框?yàn)槭褂没诒疚母倪M(jìn)后ResNet-101 的Faster R-CNN 網(wǎng)絡(luò)對(duì)艦船識(shí)別的結(jié)果。由于本實(shí)驗(yàn)的輸入訓(xùn)練集均為某退役軍艦艦船，利用原始網(wǎng)絡(luò)和本文改進(jìn)后的網(wǎng)絡(luò)均無(wú)法識(shí)別出民船和郵輪，故無(wú)法繪制出二者的矩形標(biāo)識(shí)框。因此，表明本實(shí)驗(yàn)方法對(duì)此退役軍艦的目標(biāo)識(shí)別是有效可行的。從圖中可以看出，改進(jìn)后的方法得到的標(biāo)識(shí)框包圍的區(qū)域比原始方法標(biāo)識(shí)框包圍的區(qū)域大，改進(jìn)后的方法所包含的冗余少于原始方法標(biāo)識(shí)框框選的區(qū)域，并且改進(jìn)后的方法識(shí)別數(shù)據(jù)值高于原始方法識(shí)別數(shù)據(jù)值，直觀說(shuō)明了使用基于本文改進(jìn)后ResNet-101 的Faster R-CNN 網(wǎng)絡(luò)能夠更大范圍、更全面地識(shí)別出該艦船目標(biāo)。

圖11 三維紋理模型測(cè)試結(jié)果

對(duì)以上3 種實(shí)測(cè)數(shù)據(jù)下的退役軍艦艦船目標(biāo)識(shí)別的p-r 曲線如下頁(yè)圖13 所示，圖中3 種顏色的數(shù)據(jù)線分別表示3 種實(shí)測(cè)數(shù)據(jù)，圖12 中左圖為原始網(wǎng)絡(luò)測(cè)試的結(jié)果，右圖為利用本文改進(jìn)網(wǎng)絡(luò)測(cè)試取得的結(jié)果。左圖曲線在召回率r 升高的過(guò)程中出現(xiàn)了大幅度下降，這說(shuō)明原始方法識(shí)別準(zhǔn)確率較低，僅正確檢測(cè)到船只但未能識(shí)別正確，而右圖曲線較為平滑，在同樣在召回率r 升高的過(guò)程中，仍有50豫的精準(zhǔn)率，利用改進(jìn)的方法對(duì)于艦船目標(biāo)識(shí)別準(zhǔn)確率較高。經(jīng)過(guò)計(jì)算左圖mAP 值為0.73，右圖mAP 值為0.83，識(shí)別精確率提高了10豫，顯然右圖的精確度更高，相比于原始網(wǎng)絡(luò)，本文改進(jìn)的方法識(shí)別效果有明顯提升。

圖12 兩種網(wǎng)絡(luò)識(shí)別結(jié)果p-r 曲線

圖13 其他模型測(cè)試結(jié)果

3.3.2 其他模型數(shù)據(jù)集進(jìn)行測(cè)試實(shí)景數(shù)據(jù)

本小節(jié)使用的模型分別是三維網(wǎng)格模型、三維點(diǎn)云模型、退役軍艦航拍圖片和退役軍艦艦船三維手工建模模型，與3.3.1 節(jié)使用的測(cè)試數(shù)據(jù)一樣，同樣分別在基于原始ResNet-101 的Faster R-CNN 網(wǎng)絡(luò)和基于本文改進(jìn)后ResNet-101 的Faster R-CNN 網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)實(shí)測(cè)。得到的矩形標(biāo)示框如圖13 所示。其中，同樣使用青藍(lán)色框?yàn)槭褂没谠糝esNet-101的Faster R-CNN 網(wǎng)絡(luò)對(duì)艦船識(shí)別的結(jié)果，黃色框?yàn)槭褂没诒疚母倪M(jìn)后ResNet-101 的Faster R-CNN網(wǎng)絡(luò)對(duì)艦船識(shí)別的結(jié)果。得到的實(shí)驗(yàn)結(jié)論與3.3.1得出的結(jié)論是一致的。利用以上數(shù)據(jù)集經(jīng)原始網(wǎng)絡(luò)和本文改進(jìn)的網(wǎng)絡(luò)后均無(wú)法識(shí)別出民船和郵輪，無(wú)法得到二者的矩形標(biāo)識(shí)框，因此，表明本文采用的實(shí)驗(yàn)方法對(duì)此退役軍艦的目標(biāo)識(shí)別是可行的。

在以上測(cè)試集上實(shí)驗(yàn)得p-r 曲線如圖14 所示。其中，圖中3 種顏色的數(shù)據(jù)線分別表示3 種實(shí)測(cè)數(shù)據(jù)，圖14（a）中左圖為三維點(diǎn)云模型經(jīng)原始網(wǎng)絡(luò)測(cè)試的結(jié)果，其mAP 值為0.71，右圖為三維點(diǎn)云模型利用本文改進(jìn)網(wǎng)絡(luò)測(cè)試取得的結(jié)果，其mAP 值為0.8。14（b）中左圖為三維網(wǎng)格模型利用原始網(wǎng)絡(luò)測(cè)試的結(jié)果，其mAP 值為0.61，右圖為利用三維網(wǎng)格模型經(jīng)本文改進(jìn)網(wǎng)絡(luò)測(cè)試取得的結(jié)果，其mAP 值為0.7。14（c）中左圖為退役軍艦航拍圖片基于原始網(wǎng)絡(luò)測(cè)試的結(jié)果，其mAP 值為0.57，右圖為退役軍艦航拍圖片利用本文改進(jìn)網(wǎng)絡(luò)測(cè)試取得的結(jié)果，其mAP 值為0.60。14（d）中左圖為三維手工建模模型使用原始網(wǎng)絡(luò)測(cè)試的結(jié)果，其mAP 值為0.63，右圖為三維手工建模模型在本文改進(jìn)網(wǎng)絡(luò)測(cè)試后取得的結(jié)果，其mAP 值為0.67。由圖中數(shù)據(jù)也可以看出，右一側(cè)的圖識(shí)別精度以及召回率均好于左一側(cè)的圖，即本文改進(jìn)后的基于ResNet-101 的Faster R-CNN 網(wǎng)絡(luò)目標(biāo)識(shí)別效果要優(yōu)于原始基于ResNet-101 的Faster R-CNN 網(wǎng)絡(luò)目標(biāo)識(shí)別效果，我們的方法提高了卷積神經(jīng)網(wǎng)絡(luò)魯棒性。

圖14 兩種網(wǎng)絡(luò)識(shí)別結(jié)果p-r 曲線

圖14 經(jīng)過(guò)計(jì)算得出，識(shí)別精確率右圖比左圖分別提高了9豫、9豫、3豫、4豫，將三維模型作為數(shù)據(jù)集經(jīng)過(guò)本文改進(jìn)的網(wǎng)絡(luò)進(jìn)行目標(biāo)識(shí)別訓(xùn)練得到的測(cè)試效果要好于其他類型的數(shù)據(jù)集。兩種方法識(shí)別性能的詳細(xì)對(duì)比如表2 所示。對(duì)比可得將三維紋理模型作為訓(xùn)練集對(duì)艦船目標(biāo)識(shí)別準(zhǔn)確率最高，基于本文改進(jìn)的方法比原始方法對(duì)5 種艦船目標(biāo)的識(shí)別準(zhǔn)確率提高了6豫，經(jīng)試驗(yàn)證實(shí)本文提出的方法是有效的。

表2 識(shí)別性能的詳細(xì)對(duì)比

4 結(jié)論

本文提出了一種改進(jìn)的Faster R-CNN 方法，以解決艦船目標(biāo)識(shí)別中二維圖像提供信息少、遠(yuǎn)海識(shí)別艦船困難的問(wèn)題。合理使用了三維重建軟件重建三維模型。其次，針對(duì)原始Faster R-CNN 網(wǎng)絡(luò)存在過(guò)擬合、小物體識(shí)別困難的問(wèn)題，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了優(yōu)化，然后為了改善感受野獲取信息有限問(wèn)題，在原始的RPN 網(wǎng)絡(luò)中選取級(jí)聯(lián)的方法增加滑動(dòng)窗口數(shù)量，提高了模型信息攝取范圍，并同時(shí)提出區(qū)域組合識(shí)別模型，來(lái)進(jìn)一步提高訓(xùn)練過(guò)程中的艦船目標(biāo)識(shí)別性能。最后結(jié)合非極大值抑制的方法對(duì)冗余框進(jìn)行過(guò)濾去除，實(shí)現(xiàn)對(duì)三維艦船實(shí)景目標(biāo)的識(shí)別。為了驗(yàn)證所提算法的有效性，本文進(jìn)行了充分的實(shí)驗(yàn)，使用某退役軍艦的5 種艦船目標(biāo)信息來(lái)源作為數(shù)據(jù)集分別經(jīng)過(guò)Faster R-CNN 方法和改進(jìn)的Faster R-CNN 方法進(jìn)行了訓(xùn)練，使用5 種實(shí)際海景下的艦船目標(biāo)為測(cè)試集進(jìn)行測(cè)試，對(duì)艦船目標(biāo)識(shí)別任務(wù)上的性能進(jìn)行了全面分析，實(shí)驗(yàn)結(jié)果表明了利用改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)算法對(duì)三維實(shí)景模型目標(biāo)識(shí)別的優(yōu)越性與魯棒性。