• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看

      ?

      基于無(wú)錨框網(wǎng)絡(luò)的航拍航道船舶檢測(cè)算法

      2021-08-06 08:23:52光睿智安博文潘勝達(dá)
      關(guān)鍵詞:骨干網(wǎng)邊框尺度

      光睿智,安博文,潘勝達(dá)

      上海海事大學(xué) 信息工程學(xué)院,上海 201306

      伴隨著國(guó)內(nèi)航運(yùn)事業(yè)的迅猛發(fā)展,內(nèi)河航道愈發(fā)擁擠,給海事部門的監(jiān)管帶來(lái)許多困難。隨著無(wú)人機(jī)技術(shù)的快速進(jìn)步,采用無(wú)人機(jī)航拍影像進(jìn)行航道船舶目標(biāo)檢測(cè)已經(jīng)成為較有成效的輔助手段,其優(yōu)勢(shì)在于覆蓋面廣,可以實(shí)現(xiàn)目標(biāo)航道無(wú)死角的監(jiān)控。然而,無(wú)人機(jī)影像中船舶目標(biāo)較小,尺度變換較大,具有易抖動(dòng)、易模糊和航道兩邊背景特征復(fù)雜的問(wèn)題,進(jìn)行船舶目標(biāo)檢測(cè)的難度較高。傳統(tǒng)的目標(biāo)檢測(cè)算法一般基于人工設(shè)計(jì)特征,如HOG[1]、SIFT[2]、SURF[3]等,因此在實(shí)際使用時(shí)檢測(cè)效果不夠理想,且泛化能力較弱。

      現(xiàn)今計(jì)算機(jī)視覺領(lǐng)域中基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法已經(jīng)在目標(biāo)檢測(cè)方向得到廣泛的應(yīng)用。這類算法若根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)上的差異進(jìn)行劃分,依照是否有候選區(qū)域網(wǎng)絡(luò)分為單階段和兩階段兩類。單階段目標(biāo)檢測(cè)算法的檢測(cè)精度普遍較之兩階段算法稍差,但其一般具有更快的檢測(cè)速度,更適合工程應(yīng)用。此外,依據(jù)不同的邊框回歸策略,基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法也分成基于錨框(anchor-base)和無(wú)錨框(anchor-free)兩類。錨框是由數(shù)據(jù)集預(yù)處理產(chǎn)生的一種超參數(shù),通過(guò)預(yù)先規(guī)范檢測(cè)框的形狀來(lái)提高網(wǎng)絡(luò)召回率和精度。雖然使用錨框可以在一定程度上的優(yōu)化算法性能,但是其存在并不符合人眼視覺特性,也不利于算法的泛化。因此,設(shè)計(jì)基于無(wú)錨框的算法實(shí)現(xiàn)目標(biāo)檢測(cè)已經(jīng)成為該領(lǐng)域的重要方向。對(duì)于單階段目標(biāo)檢測(cè)算法,基于錨框的算法有YOLOV3[4]、SSD[5]、RetinaNet[6]等,無(wú)錨框的算法也有FoveaBox[7]、FCOS[8]等算法。

      作為目標(biāo)檢測(cè)中的重要分支,基于深度學(xué)習(xí)的航拍圖像船舶檢測(cè)是當(dāng)前目標(biāo)檢測(cè)領(lǐng)域的研究熱點(diǎn)之一。但航拍影像中目標(biāo)普遍偏小、物體尺度變化較大,因此需要對(duì)這類算法進(jìn)行一些有針對(duì)性的改進(jìn)。在小目標(biāo)檢測(cè)精度提升方面,裴偉等[9]使用基于SSD 的方法,改進(jìn)了算法的特征提取網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)的結(jié)構(gòu);史文旭等[10]在SSD算法上增加特征增強(qiáng)模塊,同時(shí)采用候選框匹配的方式改善檢測(cè)框的定位問(wèn)題。這兩種方式均在目標(biāo)數(shù)據(jù)集獲得了較好效果,但受限于算法中特征提取網(wǎng)絡(luò)的分類性能,其小目標(biāo)檢測(cè)精度仍有待提高。對(duì)于待測(cè)目標(biāo)大范圍尺度變換方面,謝學(xué)立等[11]基于RetinaNet 算法,使用網(wǎng)絡(luò)旁路構(gòu)造動(dòng)態(tài)感受野改善尺度變換問(wèn)題;李曉光等[12]使用改進(jìn)的Faster R-CNN[13]算法進(jìn)行多尺度檢測(cè);Gui等[14]在Faster R-CNN中添加尺度變換模塊,對(duì)殘差網(wǎng)絡(luò)的輸出特征進(jìn)行處理。這三者均在檢測(cè)對(duì)象尺度變換較大的情況下實(shí)現(xiàn)算法精度提高,但其定位匹配方式均基于錨框,需要借助較多的超參數(shù),限制了算法遷移。對(duì)于待測(cè)目標(biāo)背景復(fù)雜方面,王健林等[15]基于R-FCN 網(wǎng)絡(luò)通過(guò)在殘差塊中混合卷積尺度提高檢測(cè)精度;于野等[16]使用改進(jìn)的A-FPN網(wǎng)絡(luò)改善特征提取方式,提高了復(fù)雜背景下的算法性能。這類算法著重于提高船舶檢測(cè)準(zhǔn)確率,但算法復(fù)雜度較高。

      由上述分析可知,面對(duì)航道船舶目標(biāo)較小、尺度變換大、背景復(fù)雜等問(wèn)題,目前存在的大部分單階段算法的檢測(cè)精度稍顯不足,兩階段算法雖提高了準(zhǔn)確率卻使網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜化,同時(shí)這兩類算法多數(shù)基于錨框?qū)崿F(xiàn)回歸策略。為此,本文提出了一種無(wú)錨框的單階段目標(biāo)檢測(cè)算法FoveaSDet。首先,F(xiàn)oveaSDet算法為提高小目標(biāo)和整體檢測(cè)精度,在算法特征提取部分提出了基于殘差網(wǎng)絡(luò)[17](Residual Network,ResNet)的骨干網(wǎng)SEResNeXt-I,該網(wǎng)絡(luò)在ResNeXt[18]的基礎(chǔ)上改進(jìn)了輸入數(shù)據(jù)的特征提取結(jié)構(gòu),同時(shí)也優(yōu)化了網(wǎng)絡(luò)特征層中數(shù)據(jù)的空間關(guān)聯(lián)性;其次,為改善尺度變換對(duì)檢測(cè)精度的影響,同時(shí)實(shí)現(xiàn)無(wú)錨框的邊框回歸,算法中引入了FoveaBox中的Foveahead模塊實(shí)現(xiàn)目標(biāo)分類和定位;最后,為增加復(fù)雜背景下的定位精度和檢測(cè)框的交并比(Intersection over Union,IOU),使用完全交并比損失[19](Complete-IOU,CIOU)作為邊框回歸損失。

      1 FoveaSDet目標(biāo)檢測(cè)算法

      1.1 FoveaSDet算法檢測(cè)流程

      本文所提出的FoveaSDet 算法主要由三個(gè)模塊構(gòu)成:特征提取網(wǎng)絡(luò)、無(wú)錨框檢測(cè)模塊和損失函數(shù)。

      特征提取網(wǎng)絡(luò),即骨干網(wǎng),負(fù)責(zé)提取圖像中包含的不同層次的特征信息。旨在提高FoveaSDet 算法整體的檢測(cè)精度及小目標(biāo)檢測(cè)性能,本文優(yōu)化了基于ResNeXt的骨干網(wǎng)及網(wǎng)絡(luò)塊的內(nèi)部結(jié)構(gòu)兩個(gè)部分,并稱改進(jìn)后的骨干網(wǎng)為SEResNeXt-I。同時(shí),為了適配多尺度檢測(cè),進(jìn)一步提升算法的整體性能,在骨干網(wǎng)中增加了特征金字塔網(wǎng)絡(luò)[20](Feature Pyramid Network,F(xiàn)PN)結(jié)構(gòu)。

      無(wú)錨框檢測(cè)模塊旨在拋卻傳統(tǒng)算法基于錨框的邊框回歸的策略,使得算法的檢測(cè)方式更符合人眼視覺,預(yù)設(shè)的超參數(shù)更少,并擁有更好的泛化能力。本文選擇Foveahead 實(shí)現(xiàn)該目標(biāo),其優(yōu)勢(shì)在于該算法使用了語(yǔ)義分割的思想設(shè)計(jì)正負(fù)樣本區(qū)域劃分,并與FPN 相結(jié)合,用簡(jiǎn)潔的方法實(shí)現(xiàn)了無(wú)錨框的邊框回歸。

      損失函數(shù)對(duì)算法的學(xué)習(xí)能力有決定性影響,可將其分為兩類:分類損失函數(shù)及邊框損失函數(shù)。針對(duì)本文要實(shí)現(xiàn)的船舶檢測(cè)任務(wù),選擇分類損失函數(shù)FocalLoss 實(shí)現(xiàn)分類,同時(shí)引入邊框損失函數(shù)CIOU。

      FocalLoss用以緩解數(shù)據(jù)集樣本不平衡的問(wèn)題,CIOU旨在進(jìn)一步挖掘圖像特征信息與樣本真值(GroundTruth,GT)之間的聯(lián)系,提升算法檢測(cè)框的定位精度。

      FoveaSDet 算法實(shí)現(xiàn)目標(biāo)檢測(cè)的流程如圖1 所示。首先將待測(cè)圖片輸入特征提取網(wǎng)絡(luò),通過(guò)SEResNeXt-I及FPN完成對(duì)圖片基本特征的提取,獲得5層不同尺度的特征映射,每層的數(shù)據(jù)均需通過(guò)Foveahead 分成兩個(gè)子網(wǎng)絡(luò),分別完成目標(biāo)的分類和檢測(cè)框的預(yù)測(cè)。最后在各層完成檢測(cè)之后按尺度融合,并對(duì)檢測(cè)框進(jìn)行軟非極大值抑制[21](Soft Non-Maximum Suppression,Soft-NMS)獲得最后的檢測(cè)結(jié)果。

      圖1 FoveaSDet船舶檢測(cè)流程Fig.1 Process of FoveaSDet ship detection

      1.2 SEResNeXt-I骨干網(wǎng)

      殘差網(wǎng)絡(luò)作為現(xiàn)今常用的特征提取網(wǎng)絡(luò),其特點(diǎn)在于通過(guò)在網(wǎng)絡(luò)塊中構(gòu)造恒等映射的方式,緩解了深層網(wǎng)絡(luò)學(xué)習(xí)能力退化的問(wèn)題。同時(shí)在殘差塊中增加批量歸一化[22](Batch Normalization,BN)層及Relu 激活函數(shù),降低了學(xué)習(xí)成本,并且改善了網(wǎng)絡(luò)的訓(xùn)練環(huán)境。然而,即便殘差網(wǎng)絡(luò)具有很多良好的特性,其對(duì)于小目標(biāo)的特征提取能力稍顯遜色。為此,本文對(duì)骨干網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu)和殘差塊的內(nèi)部結(jié)構(gòu)兩部分內(nèi)容進(jìn)行了改進(jìn)。

      首先,本文優(yōu)化了骨干網(wǎng)用來(lái)處理輸入數(shù)據(jù)的網(wǎng)絡(luò)結(jié)構(gòu),旨在減少輸入特征損失,保留更多特征信息,提高對(duì)小目標(biāo)的檢測(cè)精度,其改變?nèi)鐖D2(a)所示。左側(cè)為主流的殘差網(wǎng)絡(luò)結(jié)構(gòu)ResNeXt101,在進(jìn)入殘差網(wǎng)絡(luò)前使用步長(zhǎng)為2的7×7卷積處理輸入圖片。雖然這種方式使用大小為7的卷積核來(lái)提高感受野,但是較大的步長(zhǎng)仍使網(wǎng)絡(luò)在處理輸入數(shù)據(jù)時(shí)便損失了許多圖片特征。為了減少特征損失,并且保留充足的感受野,將網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)為圖2(a)右側(cè)所示。將7×7卷積核拆分成3個(gè)3×3卷積核,同時(shí)步長(zhǎng)變?yōu)?,輸入通道縮減為16。這樣既能保留網(wǎng)絡(luò)的空間感知能力,又增加了輸出特征數(shù)量。此外,通過(guò)降低網(wǎng)絡(luò)的初始通道數(shù),后續(xù)網(wǎng)絡(luò)輸入?yún)?shù)也隨之減少。隨后在網(wǎng)絡(luò)結(jié)構(gòu)中增加了2 個(gè)跳躍連接結(jié)構(gòu),這使得網(wǎng)絡(luò)中添加了更多的非線性映射,同時(shí)令不同層次的特征在塊之間流動(dòng)。本文將完成結(jié)構(gòu)改進(jìn)后的網(wǎng)絡(luò)稱為ResNeXt-I。當(dāng)設(shè)定其網(wǎng)絡(luò)深度為101時(shí),用ResNeXt-I101 表示,文中的骨干網(wǎng)名稱均采用此類方式命名。

      圖2 骨干網(wǎng)結(jié)構(gòu)和殘差塊結(jié)構(gòu)改進(jìn)Fig.2 Improvement of backbone and residual block structure

      其次,為了提高網(wǎng)絡(luò)層中不同特征的利用率,建立通道之間的依賴關(guān)系,同時(shí)改善網(wǎng)絡(luò)全局的檢測(cè)精度,本文對(duì)網(wǎng)絡(luò)殘差塊的內(nèi)部結(jié)構(gòu)進(jìn)行改進(jìn),將壓縮激勵(lì)[23](Squeeze and Excitation,SE)模塊引入殘差塊中,其樣式如圖2(b)所示。SE模塊能使特征提取網(wǎng)絡(luò)在學(xué)習(xí)過(guò)程中不斷更新各個(gè)特征通道的重要程度,篩選出重要特征并拋棄掉無(wú)用的特征,這一步也剔除了冗余的參數(shù),降低網(wǎng)絡(luò)整體的計(jì)算開銷。SE模塊可分為壓縮和激勵(lì)兩個(gè)部分。首先為壓縮部分,對(duì)于ResNeXt殘差塊輸出的數(shù)據(jù),使用全局平均池化完成對(duì)二維數(shù)據(jù)的空間壓縮,將特征通道壓縮成一個(gè)實(shí)數(shù),該實(shí)數(shù)映射了對(duì)應(yīng)特征通道的全局表達(dá)。令該值為zc,通道的高為h,寬為w,二維平面的數(shù)據(jù)為xc(i,j),則壓縮部分的表達(dá)式為:

      完成壓縮操作后,算法將要實(shí)現(xiàn)的是激勵(lì)操作。對(duì)特征通道壓縮后獲得了當(dāng)前通道的特征權(quán)重,為了平衡數(shù)據(jù)集整體的特征權(quán)重,使用全連接層建立不同通道的相關(guān)性。此外,為降低計(jì)算量,第一個(gè)全連接層將輸入降低為原來(lái)1/16,隨之再經(jīng)過(guò)一個(gè)全連接層用以實(shí)現(xiàn)特征通道在整體上的關(guān)聯(lián)。這種方式也為輸入輸出增添了更多非線性元素,有助于更好地呈現(xiàn)特征。在完成激勵(lì)操作后,通過(guò)Sigmoid激活函數(shù)完成歸一化,并通過(guò)縮放操作將獲得的權(quán)重加權(quán)到各個(gè)特征上,完成SE 模塊的整體流程。

      最后,在特征提取網(wǎng)絡(luò)的末端使用FPN結(jié)構(gòu)。FPN在原始的特征映射上進(jìn)行步長(zhǎng)為2 的下采樣,縮放出4個(gè)不同尺度的特征層。每個(gè)特征層不僅包含原始輸入層的特征信息,還與經(jīng)過(guò)上采樣的下一層特征層相融合。這使得每層特征映射既包含了當(dāng)前尺度的特征細(xì)節(jié),又結(jié)合了來(lái)自上層的更抽象的語(yǔ)義信息。這4層特征與原始特征一起構(gòu)成了5個(gè)不同尺度的特征映射,其輸出數(shù)據(jù)將用于之后的無(wú)錨框模塊,完成目標(biāo)的分類和定位。相較而言,進(jìn)行過(guò)兩點(diǎn)改進(jìn)并添加FPN 結(jié)構(gòu)的SEResNeXt-I 網(wǎng)絡(luò)比單純的ResNeXt 有更低的分類誤差。

      1.3 無(wú)錨框檢測(cè)模塊

      傳統(tǒng)的基于錨框的目標(biāo)檢測(cè)算法,在檢測(cè)前首先通過(guò)聚類等手段計(jì)算與數(shù)據(jù)集相適應(yīng)的N組錨框,隨后在檢測(cè)時(shí)根據(jù)錨框的大小進(jìn)行邊框回歸。為實(shí)現(xiàn)無(wú)錨框邊框回歸策略,同時(shí)更好地處理船舶檢測(cè)時(shí)尺度變換較大的問(wèn)題,引入FoveaBox算法中Foveahead的實(shí)現(xiàn)無(wú)錨框檢測(cè),具體的檢測(cè)流程如圖3所示。Foveahead首先對(duì)特征施行尺度劃分。對(duì)于由FPN結(jié)構(gòu)輸出的5類尺寸的特征層,F(xiàn)oveahead設(shè)定每層用于檢測(cè)的基礎(chǔ)大小為Sl,Sl∈{322,642,1282,2562,5122} 。該檢測(cè)面積可以通過(guò)常數(shù)η控制縮放,使得每層的尺寸范圍為[Sl/η2,Sl?η2]。本文設(shè)定η=2,這會(huì)使不同特征層的尺度范圍存在相交的現(xiàn)象。因此Foveahead將根據(jù)GT的尺寸,在一個(gè)或多個(gè)符合尺度的特征層中完成檢測(cè)并融合結(jié)果。

      圖3 Foveahead檢測(cè)流程Fig.3 Process of Foveahead prediction

      在確定各個(gè)特征層的尺度劃分后,F(xiàn)oveahead 將特征映射劃分為正、負(fù)樣本兩部分,輔助完成目標(biāo)的分類和回歸。Foveahead 先通過(guò)樣本的GT 計(jì)算出在第l個(gè)尺度的特征映射中,位于目標(biāo)中心的位置(c′x,c′y),其公式如式(2)所示:

      樣本劃分完成后,對(duì)于正樣本區(qū)域上每一個(gè)坐標(biāo),F(xiàn)oveahead都將回歸其分類結(jié)果和檢測(cè)框。因各個(gè)特征層上坐標(biāo)點(diǎn)位于不同尺度的特征映射,需要將坐標(biāo)變換到原始圖像。隨后引入損失函數(shù)計(jì)算分類結(jié)果及檢測(cè)框的定位結(jié)果,并衡量與GT 的差異。最后通過(guò)大小為0.05 的置信度閾值篩選出排名前1 000 的檢測(cè)框,并使用閾值為0.5的Soft-NMS獲得最終的檢測(cè)結(jié)果。

      1.4 損失函數(shù)

      對(duì)于FoveaSDet 算法的分類損失,本文采用的是FocalLoss,旨在緩解正負(fù)樣本區(qū)域的不平衡,降低分類誤差,其公式為:

      式中,y為GT的標(biāo)簽,代表樣本正負(fù),y′為檢測(cè)分類置信值。α用于區(qū)分樣本的重要性,γ用來(lái)分辨樣本的難易度,此兩者共同約束了訓(xùn)練時(shí)獲得的損失,本文設(shè)定α=0.5,γ=4。對(duì)于容易訓(xùn)練的樣本,其損失Lfl相對(duì)較小,反之難于訓(xùn)練的樣本的分類損失將會(huì)放大。

      FoveaSDet算法的邊框回歸損失選取CIOU,該損失函數(shù)屬于IOU 損失函數(shù)中的一類。CIOU 損失繼承了IOU 損失具有的尺度不變性、非負(fù)性等優(yōu)點(diǎn),同時(shí)也克服了IOU損失無(wú)法反映檢測(cè)框之間狀態(tài)的缺點(diǎn),該損失函數(shù)的優(yōu)勢(shì)為:

      (1)衡量了IOU=0 時(shí)的情況,使不相交的目標(biāo)之間也存在梯度損失進(jìn)行計(jì)算。

      (2)考慮了邊框重合時(shí)的情況,通過(guò)計(jì)算中心點(diǎn)距離使檢測(cè)框更好地趨向GT中心移動(dòng)。

      (3)引入寬高比概念,使得檢測(cè)框和GT有更相近的矩形框形狀。

      若令檢測(cè)框?yàn)镻,GT 框?yàn)門,則IOU 的公式為式(5)所示:

      為評(píng)估在框的集合S中不相交的框P和T,設(shè)C為S集合中包含P、T的最小框,則廣義交并比損失函數(shù)[24](Generalized-IOU,GIOU)的公式為:

      該公式計(jì)算出C中P、T以外的部分與C的比值,修正了IOU 損失的計(jì)算值,可以更好反映檢測(cè)框相交的情況,可將其視作IOU的下界。

      在GIOU 基礎(chǔ)上,為了提升損失函數(shù)的整體性能,CIOU 引入了對(duì)檢測(cè)框與GT 框的中心點(diǎn)距離和寬高比的計(jì)算,在相交面積和形狀比例兩方面實(shí)現(xiàn)對(duì)檢測(cè)框的約束。設(shè)ρ為中心點(diǎn)的距離,b,bgt為兩框的中心點(diǎn),c為最小包圍框C的對(duì)角線距離,α為比例平衡系數(shù),v為一致性系數(shù),則CIOU損失的表示式為:

      該算式首先將GIOU 設(shè)定的區(qū)域比值轉(zhuǎn)化為距離比值,這能更好地反映兩框之間的關(guān)系。其次,該方法降低了訓(xùn)練所需的計(jì)算量,使得函數(shù)收斂得更快,邊框能較快地移動(dòng)到目標(biāo)位置。最后,為更好地獲得邊框形狀,進(jìn)一步提高檢測(cè)結(jié)果,CIOU增加參數(shù)v來(lái)評(píng)估兩框一致性,同時(shí)使用α控制尺度及梯度移動(dòng)方向,規(guī)范邊框的收斂樣式。

      2 實(shí)驗(yàn)及結(jié)果分析

      2.1 實(shí)驗(yàn)環(huán)境

      本文采用的數(shù)據(jù)集源自于大疆M100無(wú)人機(jī)在黃浦江上空的實(shí)景拍攝,共5 743 張圖片,分辨率均大于1 280×720,包含船舶和背景兩類,其樣本示例如圖4 所示。相較于目前的許多公開數(shù)據(jù)集而言,本文數(shù)據(jù)集的檢測(cè)難度較高,目標(biāo)的尺度會(huì)隨無(wú)人機(jī)的航跡發(fā)生變化,船舶目標(biāo)較小且樣本數(shù)量偏少。通過(guò)考慮上述因素,選擇擴(kuò)大訓(xùn)練集的比例,將數(shù)據(jù)集的訓(xùn)練集、驗(yàn)證集和測(cè)試集劃分比例為7∶1∶2,同時(shí)將數(shù)據(jù)集標(biāo)注為COCO格式方便進(jìn)行更細(xì)致的結(jié)果展示。

      圖4 數(shù)據(jù)集樣本示例Fig.4 Samples of dataset

      本文實(shí)驗(yàn)在Ubuntu16.04 操作系統(tǒng)下完成,算法部署于Pytorch1.1框架,使用RTX2080Ti進(jìn)行訓(xùn)練及測(cè)試,并基于CUDA10.0 及CUDNN7.3 完成計(jì)算加速和算法優(yōu)化。

      本文在訓(xùn)練時(shí)采取了一系列數(shù)據(jù)增強(qiáng)[25]手段,旨在改善部分特征的展現(xiàn)形式,提高算法最終的檢測(cè)精度。首先,通過(guò)對(duì)樣本進(jìn)行上下、左右翻折,圖像隨機(jī)旋轉(zhuǎn)和抖動(dòng),圖像扭曲模糊及亮度調(diào)整等操作,完成了數(shù)據(jù)集的增廣。這些手段也能使訓(xùn)練出的權(quán)重更加魯棒,抗干擾失真的能力更強(qiáng)。其次,在訓(xùn)練中增加了多尺度訓(xùn)練、隨機(jī)剪裁等技巧。多尺度訓(xùn)練通過(guò)在訓(xùn)練時(shí)縮放輸入數(shù)據(jù)改變算法輸入,既提高了算法的訓(xùn)練速度,又增強(qiáng)了魯棒性。輸入圖像的隨機(jī)剪裁變相擴(kuò)大了數(shù)據(jù)集的樣本數(shù),也使樣本展現(xiàn)的形式更加豐富。最后,使用預(yù)熱學(xué)習(xí)率(warm-up)的方式設(shè)定學(xué)習(xí)率,提高了算法學(xué)習(xí)的上限。

      此外,為減少超參數(shù)及訓(xùn)練樣本數(shù)據(jù)差異對(duì)算法的影響,在對(duì)各類算法進(jìn)行測(cè)試時(shí)均未使用預(yù)訓(xùn)練權(quán)重,旨在單純測(cè)試算法在設(shè)定環(huán)境下的學(xué)習(xí)能力。本文算法選取隨機(jī)梯度下降法完成梯度計(jì)算,初始學(xué)習(xí)率為0.001,動(dòng)量為0.9,衰減系數(shù)為0.000 1,迭代輪數(shù)為24輪。

      2.2 評(píng)價(jià)標(biāo)準(zhǔn)

      本文使用平均準(zhǔn)確率(Average Precision,AP)、召回率(Recall)、交并比(IOU)及PR曲線來(lái)評(píng)估算法檢測(cè)結(jié)果。平均準(zhǔn)確率展示算法的檢測(cè)精度;召回率表征樣本被正確檢測(cè)的概率;交并比作為衡量檢測(cè)精度的門限,影響邊框回歸與檢測(cè)精度的關(guān)系;PR 曲線展示不同IOU 閾值下準(zhǔn)確率和召回率之間的比例關(guān)系,該曲線閉合區(qū)域的面積數(shù)值即為對(duì)應(yīng)算法的平均準(zhǔn)確率。準(zhǔn)確率P、召回率R和平均準(zhǔn)確率AP的公式如式(8)、(9)所示:

      其中,NTP表示算法檢測(cè)正確的正樣本數(shù),NFP表示算法檢測(cè)錯(cuò)誤的正樣本數(shù),兩者相和為總的正樣本數(shù),NFN指代檢測(cè)錯(cuò)誤的負(fù)樣本數(shù)。

      2.3 消融實(shí)驗(yàn)

      將FoveaSDet 的骨干網(wǎng)和損失函數(shù)部分進(jìn)行消融實(shí)驗(yàn),旨在測(cè)試算法對(duì)小目標(biāo)的檢測(cè)優(yōu)勢(shì)及其邊框定位性能。首先對(duì)骨干網(wǎng)的性能進(jìn)行測(cè)試,主要比較SEResNeXt-I 和殘差網(wǎng)絡(luò)對(duì)小目標(biāo)檢測(cè)精度APS、網(wǎng)絡(luò)中所含參量及Flops。當(dāng)骨干網(wǎng)深度為101,分組數(shù)為32且寬度為4 時(shí),SEResNeXt-I 與各網(wǎng)絡(luò)的對(duì)比結(jié)果展示在表1中。

      表1 骨干網(wǎng)對(duì)算法性能影響Table 1 Influence of backbone on algorithm performance

      由表1中可知,將骨干網(wǎng)從ResNeXt改進(jìn)為ResNeXt-I時(shí),小目標(biāo)檢測(cè)精度提高了約0.7%。增加SE 模塊后,SEResNeXt-I 小目標(biāo)精度相較原版ResNeXt 提高6.4%,其中SE 模塊貢獻(xiàn)約5.7%的準(zhǔn)確率增益。SEResNeXt-I通過(guò)改變網(wǎng)絡(luò)結(jié)構(gòu),并使用SE模塊進(jìn)行特征篩選,兩者相結(jié)合降低了網(wǎng)絡(luò)整體的參量。

      隨后測(cè)試邊框損失CIOU損失對(duì)FoveaSDet算法目標(biāo)檢測(cè)性能的影響。為了衡量在較高IOU 閾值下邊框回歸的檢測(cè)精度,使用IOU 閾值為0.75 的AP 及邊框平均召回率進(jìn)行評(píng)估。將CIOU損失與L1[26]損失、GIOU損失比較,其結(jié)果如表2所示。經(jīng)測(cè)試證明采用CIOU對(duì)算法的整體性能有一定提高,其檢測(cè)精度提升了2.9%,平均召回率上升了1.5%。使用CIOU 損失改善了網(wǎng)絡(luò)的訓(xùn)練效率,同時(shí)也對(duì)算法檢測(cè)精度提升做出了貢獻(xiàn)。

      表2 邊框損失函數(shù)對(duì)算法性能影響Table 2 Influence of bounding box loss function on algorithm performance%

      消融實(shí)驗(yàn)的測(cè)試結(jié)果證明,本文改進(jìn)所得的骨干網(wǎng)及邊框損失兩個(gè)模塊均在原有基礎(chǔ)上提高了算法的檢測(cè)精度。骨干網(wǎng)SEResNeXt-I 在提高小目標(biāo)檢測(cè)精度的同時(shí)降低了網(wǎng)絡(luò)參量,損失函數(shù)CIOU為算法的邊框定位提供了增益。

      2.4 算法對(duì)比結(jié)果及分析

      將FoveaSDet算法與基于錨框的算法SSD、YOLOV3、RetinaNet,無(wú)錨框的算法FCOS 及FoveaBox 進(jìn)行比較,其測(cè)試結(jié)果如表3所示。FoveaSDet在使用網(wǎng)絡(luò)深度為101,分組數(shù)為32且寬度為4時(shí)的骨干網(wǎng)SEResNeXt-I101-32×4d時(shí),其在整體AP上相較于使用ResNeXt101-32×4d的FoveaBox上升了4.9%。對(duì)于高IOU判決下的檢測(cè)精度,兩算法的差異更為明顯,F(xiàn)oveaSDet算法的AP75較后者提高了約8.6%,同時(shí)對(duì)小目標(biāo)的準(zhǔn)確率APS也提高了約6.2%,各項(xiàng)性能均實(shí)現(xiàn)了對(duì)FoveaBox 的超越。隨后比較FoveaSDet 算法使用L1、GIOU 和CIOU 回歸損失的性能差異。GIOU相比L1損失對(duì)于算法整體AP均有提升,而算法采用CIOU 相較于GIOU 而言雖然各項(xiàng)數(shù)值提升較小,但改善了算法的訓(xùn)練及收斂情況,其測(cè)試結(jié)果受數(shù)據(jù)集及骨干網(wǎng)性能影響。最后分析FoveaSDet算法的計(jì)算效率。在骨干網(wǎng)相同的情況下,該算法相較于FoveaBox的幀率提高了23%,在使用SEResNeXt-I骨干網(wǎng)后,其幀率相較ResNeXt 版本降低了0.5 至1 幀。雖然SEResNeXt-I 使用SE 模塊提高了檢測(cè)性能,同時(shí)壓縮了網(wǎng)絡(luò)參數(shù),但其較為復(fù)雜的數(shù)據(jù)處理方式仍對(duì)檢測(cè)速率產(chǎn)生了影響。

      將FoveaSDet 與常用的一些單階段檢測(cè)算法,如YOLOV3和SSD算法進(jìn)行比較,本文算法的AP較其中性能最好的SSD512提升了約9.6%。與同樣使用Focal-Loss 進(jìn)行分類的RetinaNet 相比,本文算法在整體精度上也有較大提升,同時(shí)擁有更快的檢測(cè)速率。相較于另一種較好的無(wú)錨框單階段檢測(cè)算法FCOS,其AP比之高了2.2%,檢測(cè)速率也與之基本持平。

      圖5顯示FoveaSDet算法在使用不同骨干網(wǎng)的情況下,與表3中其余算法在IOU閾值分別為0.5和0.75時(shí)的PR曲線,該圖表明本文算法相較于其他算法在檢測(cè)精度和召回率兩部分都有一定優(yōu)勢(shì)。圖6展示了FoveaSDet算法對(duì)測(cè)試集部分?jǐn)?shù)據(jù)的檢測(cè)結(jié)果。從圖中可以看出,本文算法在航道兩邊的背景極為復(fù)雜,光線、陰影、視角及船舶尺度因素各不相同的情況下,仍能很好地實(shí)現(xiàn)船舶的目標(biāo)檢測(cè),其對(duì)于小目標(biāo)的檢測(cè)效果較好。并且FoveaSDet算法在尺度變換較大并且背景較復(fù)雜的情況下,檢測(cè)框的定位良好。

      圖5 兩種閾值IOU下PR曲線比較Fig.5 Comparison of PR curves under two thresholds IOU

      圖6 FoveaSDet航道船舶目標(biāo)檢測(cè)樣例Fig.6 Samples of FoveaSDet channel target detection

      表3 多種算法船舶檢測(cè)精度及召回率Table 3 Multiple algorithms for ship detection accuracy and recall rate

      圖7展示了在不同環(huán)境下,YOLOV3、SSD與Fovea-SDet 三種算法的檢測(cè)結(jié)果。圖中錯(cuò)檢漏檢的部分用紅框標(biāo)注,檢測(cè)框偏移等問(wèn)題用黃框標(biāo)出。對(duì)于不同背景分布、光照環(huán)境不同、船舶數(shù)量尺度不一的四類圖片中,YOLOV3 和SSD 因精度等問(wèn)題出現(xiàn)了一定的錯(cuò)檢漏檢情況,同時(shí)伴有檢測(cè)框堆疊的情況。相較而言,F(xiàn)oveaSDet算法在相同場(chǎng)景下實(shí)現(xiàn)了更好的檢測(cè)結(jié)果,其檢測(cè)框的定位相對(duì)較好。對(duì)小目標(biāo)檢測(cè)精度和檢測(cè)框定位精度的提升得益于算法對(duì)骨干網(wǎng)和邊框回歸損失的改進(jìn)。

      圖7 三種算法對(duì)不同環(huán)境場(chǎng)景檢測(cè)結(jié)果比較Fig.7 Comparison of prediction results of three algorithms for different environmental scenarios

      3 結(jié)束語(yǔ)

      本文提出了一種單階段的無(wú)錨框目標(biāo)檢測(cè)算法FoveaSDet,旨在解決復(fù)雜背景下船舶目標(biāo)小、尺度變換大、難以檢測(cè)定位的問(wèn)題,提高對(duì)航拍航道船舶小目標(biāo)的檢測(cè)精度。對(duì)于船舶目標(biāo)較小的特點(diǎn),改善了特征提取網(wǎng)絡(luò)的結(jié)構(gòu),并在殘差塊內(nèi)增加SE模塊實(shí)現(xiàn)對(duì)于小目標(biāo)提升;針對(duì)目標(biāo)尺度變換較大的問(wèn)題,使用Foveahead無(wú)錨框檢測(cè)模塊實(shí)現(xiàn)多尺度檢測(cè);針對(duì)檢測(cè)框難以定位的問(wèn)題,使用了CIOU 損失函數(shù)予以改善,使檢測(cè)框的定位精度更高,提升算法的整體性能。經(jīng)過(guò)實(shí)驗(yàn)證實(shí),F(xiàn)oveaSDet 算法能夠很好地實(shí)現(xiàn)航道船舶檢測(cè)功能,算法的魯棒性和泛化能力較強(qiáng),可以推廣到更廣泛的應(yīng)用場(chǎng)景。下一階段的任務(wù)為使FoveaSDet 算法更為輕量化,需要提高其檢測(cè)速率,使其能部署在邊緣計(jì)算設(shè)備上,更好地實(shí)現(xiàn)落地應(yīng)用。

      猜你喜歡
      骨干網(wǎng)邊框尺度
      一模六產(chǎn)品篩板模具的設(shè)計(jì)與應(yīng)用
      智能制造(2022年4期)2022-08-18 16:21:14
      財(cái)產(chǎn)的五大尺度和五重應(yīng)對(duì)
      有軌電車信號(hào)系統(tǒng)三層骨干網(wǎng)傳輸方案分析
      用Lightroom添加寶麗來(lái)邊框
      NGB骨干網(wǎng)中QoS 保證實(shí)現(xiàn)機(jī)制研究
      電子制作(2017年14期)2017-12-18 07:08:19
      給照片制作專業(yè)級(jí)的邊框
      宇宙的尺度
      太空探索(2016年5期)2016-07-12 15:17:55
      擺脫邊框的束縛優(yōu)派
      OTN和PTN技術(shù)在高速公路骨干網(wǎng)中的應(yīng)用
      9
      崇仁县| 靖安县| 松阳县| 柳州市| 亚东县| 安康市| 枞阳县| 惠东县| 克什克腾旗| 鹿泉市| 肥乡县| 资阳市| 阆中市| 佛冈县| 根河市| 阿巴嘎旗| 张北县| 宽城| 公安县| 子长县| 仁怀市| 县级市| 察隅县| 武山县| 石嘴山市| 麟游县| 惠州市| 长葛市| 郑州市| 新建县| 塔城市| 神农架林区| 隆回县| 临海市| 渭南市| 崇仁县| 年辖:市辖区| 宁夏| 正定县| 五常市| 资源县|