面向光學(xué)遙感圖像典型目標(biāo)檢測(cè)的SSD模型優(yōu)化①

薛俊達(dá),朱家佳,李曉輝,張 靜,竇 帥,米 琳,李子揚(yáng),苑馨方,李傳榮

1（中國科學(xué)院 空天信息創(chuàng)新研究院 定量遙感信息技術(shù)重點(diǎn)實(shí)驗(yàn)室,北京 100094）

2（中國科學(xué)院大學(xué) 光電學(xué)院,北京 100049）

隨著計(jì)算機(jī)處理能力的顯著提升以及深度學(xué)習(xí)、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）技術(shù)在自然圖像目標(biāo)檢測(cè)應(yīng)用中取得巨大成功,為實(shí)現(xiàn)高精度、自動(dòng)、高效的遙感圖像目標(biāo)檢測(cè)提供了新的技術(shù)途徑與動(dòng)力.2016年,Liu等[1]提出了SSD（Single Shot multibox Detector）模型.作為單階段目標(biāo)檢測(cè)模型的代表之一,SSD模型在目標(biāo)定位與分類過程中借鑒了雙階段模型Faster-R-CNN[2]的“anchor boxes”以及多尺度特征提取的思想,使其在保持單階段目標(biāo)檢測(cè)模型的高檢測(cè)效率的同時(shí),檢測(cè)精度有了很大提升.SSD在自然圖像PASCAL VOC 2007數(shù)據(jù)集的平均檢測(cè)精度mAP達(dá)到75.1%,每秒檢測(cè)幀率（Frame Per Second,FPS）達(dá)到58,很大程度上實(shí)現(xiàn)了檢測(cè)精度與速度的平衡.SSD的上述技術(shù)特點(diǎn),使其在遙感圖像目標(biāo)檢測(cè)任務(wù)中展現(xiàn)出很好的適用性和技術(shù)潛力,受到關(guān)注.

相比自然圖像,遙感圖像的圖幅更大、場景和目標(biāo)更為復(fù)雜,將SSD模型直接應(yīng)用于遙感圖像目標(biāo)檢測(cè)中難以獲得滿意的效果,必須針對(duì)遙感圖像特點(diǎn)與目標(biāo)分布特征對(duì)SSD模型進(jìn)行適當(dāng)?shù)母倪M(jìn)與優(yōu)化.朱敏超等[3]針對(duì)遙感圖像目標(biāo)檢測(cè)提出了改進(jìn)的FDSSD網(wǎng)絡(luò),借鑒特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks,FPN）[4]增強(qiáng)低層特征空間語義信息,在DOTA遙感圖像數(shù)據(jù)集[5]的檢測(cè)精度較原SSD模型有一定提升,對(duì)飛機(jī)、小汽車的檢測(cè)精度分別為71.98%和41.56%.史文旭等[6]提出了改進(jìn)的FESSD模型,分別利用多分支卷積和雙路徑網(wǎng)絡(luò)思想增強(qiáng)網(wǎng)絡(luò)特征特征提取能力,在自己構(gòu)建的遙感圖像數(shù)據(jù)集上的mAP達(dá)到79.36%,對(duì)飛機(jī)的檢測(cè)精度為80.96%.Wang等[7]提出了一種特征融合FMSSD模型,通過采用空洞空間特征金字塔模塊、區(qū)域加權(quán)代價(jià)函數(shù)以及優(yōu)化Loss計(jì)算方法等優(yōu)化措施,對(duì)DOTA遙感圖像數(shù)據(jù)集的飛機(jī)和小汽車等典型目標(biāo)的檢測(cè)精度分別達(dá)到89.11%和69.23%.

在光學(xué)遙感圖像目標(biāo)檢測(cè)研究與應(yīng)用中,飛機(jī)、汽車是最為典型且使用最為普遍的目標(biāo).一方面,這些目標(biāo)在日常生活中非常普遍,包含這些目標(biāo)的光學(xué)遙感圖像非常容易獲得,目標(biāo)樣本量大,對(duì)目標(biāo)檢測(cè)模型/方法進(jìn)行訓(xùn)練和驗(yàn)證的可行性非常高.另一方面,飛機(jī)在光學(xué)遙感圖像中表現(xiàn)為形態(tài)特征較明顯、目標(biāo)與背景對(duì)比度較高、目標(biāo)樣本尺度分布較寬（小到幾十乘幾十像素、大到幾百乘幾百像素）等特點(diǎn); 汽車在光學(xué)遙感圖像中則表現(xiàn)為與背景對(duì)比度較低、目標(biāo)尺寸小且樣本尺度分布窄（絕大部分目標(biāo)框尺寸在50×50像素以下）、密集分布、數(shù)量很大等特點(diǎn).在光學(xué)遙感圖像目標(biāo)檢測(cè)研究中,這兩類目標(biāo)在形態(tài)、樣本尺度分布、樣本數(shù)量以及特征提取難度等方面具有非常顯著的差異,對(duì)于分析和驗(yàn)證目標(biāo)檢測(cè)模型/方法的通用性和適用性具有實(shí)際意義.

本文面向光學(xué)遙感圖像目標(biāo)檢測(cè)應(yīng)用,以提升SSD模型對(duì)光學(xué)遙感圖像中的飛機(jī)和汽車類典型目標(biāo)的檢測(cè)精度為目標(biāo),提出一種結(jié)合多尺度特征融合與目標(biāo)框聚類分析的SSD優(yōu)化模型:1）借鑒特征金字塔多尺度特征融合思想設(shè)計(jì)并引入多尺度特征融合模塊,實(shí)現(xiàn)深層特征與淺層特征的融合以獲得更多的特征上下文信息,增強(qiáng)網(wǎng)絡(luò)對(duì)目標(biāo)特征的提取能力; 2）根據(jù)數(shù)據(jù)集目標(biāo)樣本尺寸分布特征進(jìn)行聚類分析獲得更準(zhǔn)確的默認(rèn)目標(biāo)框參數(shù),以有效提升網(wǎng)絡(luò)對(duì)目標(biāo)位置信息的提取能力.

1 模型設(shè)計(jì)

本文模型框架如圖1所示.

圖1 本文模型框架圖

本文模型充分考慮各特征層之間的上下文聯(lián)系,在SSD模型的基礎(chǔ)上引入由效率更高的反池化實(shí)現(xiàn)上采樣的多尺度特征融合模塊,同時(shí)輔以分類別K-means聚類分析獲得更符合數(shù)據(jù)集目標(biāo)框尺寸分布的模型默認(rèn)目標(biāo)框參數(shù).在不顯著增加模型運(yùn)算量的情況下,提升SSD模型的特征提取能力以及目標(biāo)定位精度.

1.1 多尺度特征融合

原始的SSD模型由改造后的VGG-16網(wǎng)絡(luò)增加5個(gè)卷積層（FC7、Conv8_2、Conv9_2、Conv10_2、Con11_2）組成.SSD模型使用網(wǎng)絡(luò)中的6個(gè)不同尺度的特征層組對(duì)目標(biāo)進(jìn)行分類和定位:淺層特征層（Conv4_3和FC7）主要用來預(yù)測(cè)小尺寸目標(biāo),深層特征層（Conv8_2、Conv9_2、Conv10_2、Con11_2）主要用來預(yù)測(cè)大尺寸目標(biāo),從而提升了SSD模型對(duì)于不同尺度目標(biāo)檢測(cè)的適用性.以上設(shè)計(jì)雖然考慮了多尺度特征的使用,但沒有考慮不同尺度特征之間的關(guān)聯(lián)信息,目標(biāo)特征提取并不充分,特別是對(duì)小尺寸目標(biāo)（如汽車）的檢測(cè)精度提升有限.

為了能更充分提取目標(biāo)特征,提升模型對(duì)小尺寸目標(biāo)的檢測(cè)精度,本文借鑒FPN思想,設(shè)計(jì)并引入了多尺度特征融合模塊,采用如圖2所示的“由深至淺+橫向連接”的方式,提取SSD網(wǎng)絡(luò)中的7個(gè)不同尺度的特征層（Conv4_3、Conv5_3、FC7、Conv8_2、Conv9_2、Conv10_2、Con11_2）的輸出特征進(jìn)行目標(biāo)特征融合.

圖2 多尺度特征融合模塊結(jié)構(gòu)

由于反池化操作不需要參數(shù)學(xué)習(xí),可以有效減少模型參數(shù)、提高學(xué)習(xí)及檢測(cè)效率[8]; 并且反池化操作在非感興趣特征處補(bǔ)0,可以更有效區(qū)分感興趣特征與背景、更容易檢出目標(biāo)特征,本文在“由深至淺”過程中采用反池化操作代替目前普遍采用的反卷積操作來實(shí)現(xiàn)融合特征圖上采樣.表1顯示了SSD模型在分別引入由反卷積與反池化實(shí)現(xiàn)上采樣的多尺度特征融合后的目標(biāo)檢測(cè)效率對(duì)比; 圖3顯示了兩種特征融合方式得到的融合特征圖的對(duì)比.

從表1可以看出,SSD模型在使用反池化實(shí)現(xiàn)上采樣后,檢測(cè)效率沒有明顯下降,FPS僅減少了2,性能表現(xiàn)優(yōu)于反卷積.從圖3中可以看出,使用反池化實(shí)現(xiàn)上采樣得到的融合特征圖中的目標(biāo)紋理更加清晰,與背景的區(qū)別度更高,更利于提取目標(biāo)特征.

圖3 兩種特征融合方式所得融合特征圖對(duì)比

表1 3種目標(biāo)檢測(cè)模型的目標(biāo)檢測(cè)效率對(duì)比

另外,為了支持多尺度特征融合模塊進(jìn)行多尺度特征融合,在SSD網(wǎng)絡(luò)生成多尺度特征層的池化過程中采用最大值池化,并輸出最大值位置索引,用于多尺度特征融合模塊“由深至淺”過程中的反池化操作.

1.2 聚類分析設(shè)置默認(rèn)目標(biāo)框參數(shù)

本文模型利用多尺度特征融合模塊輸出的7個(gè)尺度的融合特征圖進(jìn)行目標(biāo)預(yù)測(cè),需要在模型訓(xùn)練前預(yù)設(shè)各融合特征圖上的默認(rèn)目標(biāo)框參數(shù).SSD模型利用經(jīng)驗(yàn)公式設(shè)置默認(rèn)目標(biāo)框參數(shù).但是,SSD使用的經(jīng)驗(yàn)公式源于自然圖像,并不能很好契合遙感圖像中的目標(biāo)分布特征,這也是SSD模型直接應(yīng)用于遙感圖像目標(biāo)檢測(cè)難以取得滿意效果的原因之一.

如前文所述,在光學(xué)遙感圖像中,飛機(jī)與汽車除了在形態(tài)上具有顯著差異,在目標(biāo)尺寸、數(shù)量以及尺度分布等方面都具有顯著差異.以當(dāng)前應(yīng)用最廣、樣本最豐富的DOTA遙感圖像數(shù)據(jù)集為例,表2列出了數(shù)據(jù)集中飛機(jī)和汽車樣本目標(biāo)框尺寸分布情況.

表2 DOTA數(shù)據(jù)集樣本目標(biāo)框尺寸分布統(tǒng)計(jì)表

從表2中可以看出,飛機(jī)樣本的目標(biāo)框尺寸在51×51-454×454像素間,其中,85.02%的樣本尺寸在51×51-200×200像素間; 汽車樣本的目標(biāo)框尺寸在2×2-200×200像素之間,但87.75%的樣本尺寸小于50×50像素,目標(biāo)尺寸總體偏小.飛機(jī)比汽車具有更寬的目標(biāo)樣本尺度分布,同時(shí)汽車的樣本量遠(yuǎn)大于飛機(jī)的樣本量,占總樣本量的95.37%.上述差異都為預(yù)設(shè)目標(biāo)框參數(shù)增加了一定難度.

YOLOv3模型[9]使用基于全局目標(biāo)框K-means聚類方法來進(jìn)行預(yù)設(shè)目標(biāo)框大小,但此方法容易導(dǎo)致聚類結(jié)果偏向樣本量大的一方.本文借鑒聚類方法預(yù)設(shè)目標(biāo)框參數(shù)的思路,采用分類別K-means聚類分析法,以得到更具代表性的默認(rèn)目標(biāo)框參數(shù).

圖4顯示了對(duì)DOTA數(shù)據(jù)集的訓(xùn)練數(shù)據(jù)集中的兩類目標(biāo)樣本的目標(biāo)框進(jìn)行分類別K-means聚類分析得到的聚類個(gè)數(shù)k值與目標(biāo)平均覆蓋度[9]的變化關(guān)系.由圖4可以看出,隨著聚類個(gè)數(shù)的增加,平均覆蓋度變化趨于穩(wěn)定,且根據(jù)函數(shù)趨勢(shì)可以看出,兩類目標(biāo)的平均覆蓋度變化開始趨于穩(wěn)定的臨界點(diǎn)均在聚類個(gè)數(shù)k=8附近,可以認(rèn)為聚類個(gè)數(shù)k>8時(shí)的聚類結(jié)果比較理想.

圖4 兩類樣本目標(biāo)框K-means聚類折線統(tǒng)計(jì)

經(jīng)過進(jìn)一步的聚類分析,針對(duì)汽車和飛機(jī)分別選擇k=8和k=15時(shí)的目標(biāo)框聚類結(jié)果進(jìn)行整合得到最終的23個(gè)默認(rèn)目標(biāo)框參數(shù),分別為[5,10]、[10,6]、[9,11]、[9,18]、[20,11]、[21,20]、[14,21]、[36,37]、[47,48]、[28,29]、[56,67]、[41,39]、[18,18]、[44,61]、[142,135]、[68,67]、[90,69]、[94,93]、[77,84]、[55,54]、[108,110]、[178,174]、[254,256].圖5給出了采用分類別聚類方法和全局聚類方法獲得的目標(biāo)框尺寸聚類結(jié)果對(duì)比.表3顯示了采用SSD經(jīng)驗(yàn)公式、全局聚類和分類別聚類方法獲得默認(rèn)目標(biāo)框參數(shù)的目標(biāo)尺寸平均覆蓋度定量評(píng)估結(jié)果.

從表3可以看出,采用分類別聚類方法獲得默認(rèn)目標(biāo)框參數(shù),對(duì)飛機(jī)和汽車目標(biāo)的平均覆蓋度均優(yōu)于80%,說明該方法獲得的默認(rèn)目標(biāo)框參數(shù)能夠更好反映遙感數(shù)集中飛機(jī)和汽車這兩類目標(biāo)的尺寸分布.從圖5和表3可以看出,基于全局K-means聚類方法得到的聚類結(jié)果大多集中在50×50像素以下,在50×50-512×512 像素之間僅有一個(gè)聚類中心,對(duì)飛機(jī)目標(biāo)的平均覆蓋度較低,極大限制了模型對(duì)于飛機(jī)目標(biāo)的檢測(cè);而分類別K-means聚類方法在保證平均覆蓋度有一定提升的情況下,避免了聚類結(jié)果偏向樣本數(shù)量大的一方的問題,聚類結(jié)果能夠同時(shí)很好契合汽車和飛機(jī)目標(biāo)的分布特征,能夠獲得更高和更均衡的目標(biāo)平均覆蓋度.

表3 3種默認(rèn)目標(biāo)框參數(shù)設(shè)置結(jié)果的平均覆蓋度對(duì)比（%）

圖5 分類別聚類方法與全局聚類方法的聚類結(jié)果分布對(duì)比圖

本模塊最終選用Conv4_3、Conv5_3、FC7、Conv6_2、Conv7_2、Conv8_2以及Conv9_2 七層特征用于后續(xù)目標(biāo)預(yù)測(cè).同時(shí)沿用SSD模型默認(rèn)目標(biāo)框在各特征層上的分布范圍,將分類別聚類結(jié)果設(shè)置到各特征圖上,分布結(jié)果見表4.

表4 各特征層默認(rèn)目標(biāo)框參數(shù)設(shè)置

2 實(shí)驗(yàn)結(jié)果與分析

2.1 模型訓(xùn)練

本文選擇DOTA數(shù)據(jù)集中的飛機(jī)和小汽車兩個(gè)目標(biāo)類別組成數(shù)據(jù)集進(jìn)行模型訓(xùn)練和驗(yàn)證.由于DOTA數(shù)據(jù)集原圖較大,為了便于訓(xùn)練,將影像按200像素重疊裁剪為512×512,并將裁剪所得影像1/2用于訓(xùn)練,1/6用于驗(yàn)證,1/3用于測(cè)試.

實(shí)驗(yàn)配置的顯卡為兩塊NVIDIA TITAN V,操作系統(tǒng)為Ubuntu 18.04,深度學(xué)習(xí)框架為Caffe.在模型訓(xùn)練階段,設(shè)置初始學(xué)習(xí)率=0.001,batch size=16,decay=0.0005,momentum=0.9; 當(dāng)訓(xùn)練迭代次數(shù)在40 000及60 000次時(shí),設(shè)置學(xué)習(xí)率衰減率=0.1,以使模型更快收斂.

圖6為模型訓(xùn)練過程中損失值與mAP隨迭代次數(shù)的變化.模型收斂在損失值2.5左右,mAP達(dá)到86.67%.

圖6 損失值及mAP隨迭代次數(shù)變化

2.2 目標(biāo)檢測(cè)定量評(píng)價(jià)

在相同訓(xùn)練方式下,將本文訓(xùn)練好的模型與SSD模型、YOLOv3模型對(duì)比,各模型在DOTA遙感數(shù)據(jù)集的測(cè)試數(shù)據(jù)集與NWPU VHR-10遙感數(shù)據(jù)集[10]中的檢測(cè)精度（mAP）與效率（FPS）如表5所示.其中,SSD*及YOLOv3*分別表示模型使用本文分類別聚類方法設(shè)置默認(rèn)目標(biāo)框參數(shù).

從表5中可以看出,針對(duì)光學(xué)遙感圖像中飛機(jī)和汽車典型目標(biāo)檢測(cè),本文模型在DOTA數(shù)據(jù)集中的mAP較SSD及YOLOv3分別提升了26.78%和18.32%,在NWPU VHR-10數(shù)據(jù)集中的mAP較SSD及YOLOv3分別提升了20.42%和10.19%; 由于本文模型在設(shè)計(jì)時(shí),通過引入多尺度特征融合以及設(shè)置默認(rèn)目標(biāo)框參數(shù)等措施,對(duì)尺寸小的汽車目標(biāo)給予了更多的關(guān)注,使得本文模型相比SSD模型,對(duì)于汽車的檢測(cè)精度提升更為顯著,在DOTA數(shù)據(jù)集和NWPU VHR-10數(shù)據(jù)集中,分別提升了34.46%和32.63%.在使用本文提出的分類別聚類方法設(shè)置默認(rèn)目標(biāo)框參數(shù)后,SSD*及YOLOv3*對(duì)于兩類典型目標(biāo)的檢測(cè)精度相比SSD和YOLOv3也均有一定提升,尤其是對(duì)于小尺寸目標(biāo)占絕大多數(shù)的汽車目標(biāo)的檢測(cè)精度有了較大的提升,驗(yàn)證了分類別聚類方法設(shè)置默認(rèn)目標(biāo)框參數(shù)的有效性.在檢測(cè)速度方面,由于默認(rèn)目標(biāo)框參數(shù)有所增加,導(dǎo)致模型運(yùn)算量相應(yīng)增加,本文模型的檢測(cè)速度（FPS=16）較SSD模型（FPS=26）有所下降,但優(yōu)于模型更為復(fù)雜的YOLOv3（FPS=13）.

表5 各模型在DOTA、NWPU VHR-10數(shù)據(jù)集檢測(cè)精度與速度對(duì)比

2.3 目標(biāo)檢測(cè)結(jié)果目視判別

圖7為SSD模型和本文模型對(duì)DOTA數(shù)據(jù)集目標(biāo)檢測(cè)結(jié)果對(duì)比,藍(lán)色框?yàn)槠囶惸繕?biāo)的檢測(cè)結(jié)果,綠色框?yàn)轱w機(jī)類目標(biāo)的檢測(cè)結(jié)果.從圖7中可以看出,SSD模型針對(duì)汽車與飛機(jī)目標(biāo)進(jìn)行檢測(cè)時(shí)均存在一定程度的漏檢,而本文模型對(duì)SSD模型的漏檢情況有一定的改善,檢測(cè)精度大大提升.

圖7 檢測(cè)結(jié)果對(duì)比

3 結(jié)論與展望

本文針對(duì)光學(xué)遙感圖像中的飛機(jī)和汽車類典型目標(biāo)檢測(cè)提出一種改進(jìn)的SSD模型:通過引入多尺度特征融合模塊增強(qiáng)模型對(duì)目標(biāo)特征的提取能力; 采用分類別聚類方法設(shè)置更符合目標(biāo)樣本尺寸分布特征的默認(rèn)目標(biāo)框參數(shù),以優(yōu)化網(wǎng)絡(luò)對(duì)目標(biāo)位置信息的提取能力.模型既對(duì)小尺寸、數(shù)量大、密集分布的汽車目標(biāo)進(jìn)行了重點(diǎn)關(guān)注,又很好兼顧了尺度分布寬的飛機(jī)目標(biāo),從而實(shí)現(xiàn)對(duì)這兩類典型目標(biāo)檢測(cè)精度的提升.

通過在當(dāng)前常用、公開的DOTA遙感圖像數(shù)據(jù)集和NWPU VHR-10遙感數(shù)據(jù)集上的測(cè)試結(jié)果表明,相比SSD、YOLOv3等當(dāng)前典型單階段目標(biāo)檢測(cè)模型,本文提出的SSD改進(jìn)模型在檢測(cè)速度優(yōu)于YOLOv3的情況下,對(duì)于飛機(jī)和汽車目標(biāo)的檢查精度有了很大提升,驗(yàn)證了上述改進(jìn)措施的有效性.