基于改進(jìn)YOLOv4的遙感圖像目標(biāo)檢測算法

劉 敏，樊永生

（中北大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，山西 太原 030051）

0 引言

遙感圖像目標(biāo)檢測廣泛應(yīng)用于智能監(jiān)控、城市規(guī)劃、港口管理和軍事偵察等。與自然場景圖像不同，遙感圖像通常是從鳥瞰圖中捕獲，這給檢測任務(wù)帶來了額外的挑戰(zhàn)：如圖像由復(fù)雜的背景和許多密集的物體組成、位置分布不平衡、范圍廣而目標(biāo)較小等問題，使遙感圖像難以檢測識別。

早期的目標(biāo)檢測模型是由人工制作的特征提取器組成，如Viola-Jones 檢測器［1］、方向梯度直方 圖（Histogram of Oriented Gradient，HOG）［2］等，這些模型速度慢、準(zhǔn)確率低，應(yīng)用環(huán)境改變后效果不佳。卷積神經(jīng)網(wǎng)絡(luò)（CNNs）的提出改變了視覺感知。AlexNet 在2012 年ImageNet 大規(guī)模視覺識別挑戰(zhàn)賽（ILSVRC）中的應(yīng)用［3］，激發(fā)了CNNs在計算機(jī)視覺中應(yīng)用的進(jìn)一步研究。如今，目標(biāo)檢測應(yīng)用在自動駕駛、人臉識別等多領(lǐng)域［4］。

長期以來，各行各業(yè)的技術(shù)人員都試圖通過計算機(jī)模擬遙感專家，進(jìn)行遙感圖像識別的復(fù)雜過程［5］。然而，他們未能實(shí)現(xiàn)足夠高的信息提取精度和準(zhǔn)確性。由于遙感圖像的復(fù)雜性，最成功的遙感圖像識別方法為視覺判讀，而海量遙感數(shù)據(jù)與人類有限的識別能力之間的矛盾，制約了目前遙感服務(wù)于發(fā)展中社會潛力的發(fā)揮。

YOLOv4 算法由于其準(zhǔn)確性和速度優(yōu)勢被廣泛用于目標(biāo)檢測，有數(shù)據(jù)顯示，YOLOv4 是YOLO 系列中最佳的目標(biāo)檢測框架。檢測遙感圖像的困難在于目標(biāo)較小、背景復(fù)雜、分布密集，所以應(yīng)該考慮其檢測速度和泛用性，本文將基于深度學(xué)習(xí)的YOLOv4 檢測算法應(yīng)用于遙感目標(biāo)的檢測，通過對數(shù)據(jù)集進(jìn)行重新聚類、重新選擇激活函數(shù)并且對PANet 結(jié)構(gòu)進(jìn)行優(yōu)化，改進(jìn)對遙感圖像中小目標(biāo)的識別準(zhǔn)確率和識別效率。

1 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)分析

1.1 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv4 算法主要由三部分組成：用于特征提取的Backbone 結(jié)構(gòu)、用于提取特征語義表示的Neck 結(jié)構(gòu)和用于預(yù)測的Head 結(jié)構(gòu)，如圖1 所示。主干采用CSPDarknet53 結(jié)構(gòu)，并且應(yīng)用SPP 的思想增加感受野，采用PANet 中的路徑聚合模塊作為Neck 部分。在主干網(wǎng)絡(luò)中使用Mish 激活函數(shù)，之后的網(wǎng)絡(luò)中使用的激活函數(shù)都是Leaky_relu激活函數(shù)。

圖1 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure diagram of YOLOv4

1.2 YOLOv4檢測過程

YOLOv4 算法將輸入圖像大小調(diào)整為608×608×3，然后放入主干網(wǎng)絡(luò)CSPDarknet53 結(jié)構(gòu)中訓(xùn)練進(jìn)行特征提取，得到3 個有效特征層，大小分別為76×76，38×38，19×19，再進(jìn)入Neck進(jìn)行處理，在SPP 模塊中進(jìn)行多尺度融合，3 張?zhí)卣鲌D就是YOLOv4算法的輸出檢測結(jié)果。

YOLOv4使用K-means聚類得到的先驗(yàn)框適用于自然界中一般圖像的目標(biāo)檢測，但對遙感圖像小目標(biāo)的檢測效果不佳，因此，本文對數(shù)據(jù)集重新聚類；遙感圖像的背景復(fù)雜、分布密集，而YOLOv4在主干中使用的Mish函數(shù)屬于靜態(tài)激活函數(shù)，不能自適應(yīng)不同的輸入特征，所以本文把Mish函數(shù)改換為動態(tài)激活函數(shù)，自適應(yīng)地學(xué)習(xí)激活函數(shù)的結(jié)構(gòu)，決定是否激活神經(jīng)元；遙感圖像的目標(biāo)較小，所以特征融合方法對本文至為重要。因此，本文對YOLOv4算法中的PANet進(jìn)行改進(jìn)，以加強(qiáng)淺層特征提取，提高對小目標(biāo)的檢測精度。

2 改進(jìn)的YOLOv4

YOLOv4 算法是在Microsoft Common Objects in Context（MS COCO）數(shù)據(jù)集上訓(xùn)練來的，并不適用于遙感圖像目標(biāo)檢測［6］。所以，根據(jù)遙感圖像目標(biāo)的特點(diǎn)，對YOLOv4 算法進(jìn)行了以下改進(jìn)，以提高遙感圖像目標(biāo)檢測的能力。

1）采用K-means 方法對錨框數(shù)量和尺寸進(jìn)行優(yōu)化，以提升檢測精度和速度；

2）將YOLOv4 算法干網(wǎng)絡(luò)中的Mish 激活函數(shù)改為動態(tài)激活函數(shù)，自適應(yīng)網(wǎng)絡(luò)輸入特征，以提高模型的泛化能力；

3）對YOLOv4的Neck部分的PANet結(jié)構(gòu)進(jìn)行改進(jìn)，豐富淺層網(wǎng)絡(luò)，提高對小目標(biāo)的檢測能力。

2.1 優(yōu)化錨框

YOLOv4 使用的K-means 聚類算法，將所有樣本分成K個聚類，以歐幾里得距離計算，產(chǎn)生有效的數(shù)據(jù)挖掘結(jié)果［7］。距離計算為

式中：xn為邊界框中心的標(biāo)準(zhǔn)水平軸；yn為邊界框中心的標(biāo)準(zhǔn)數(shù)軸。不同的數(shù)據(jù)集和錨機(jī)制可能會對檢測器性能產(chǎn)生很大影響。YOLOv4 算法中使用的錨框（anchor box）尺寸主要適用于大自然中一般目標(biāo)，不適用于遙感圖像目標(biāo)檢測。因此，本文對遙感圖像目標(biāo)重新聚類出合適的參數(shù)，提升檢測精度和速度。

IoU（Intersection over Union）值是指先驗(yàn)框和真實(shí)框的重合區(qū)域［8］，定義為

從式（2）中可以看出，當(dāng)先驗(yàn)框和預(yù)測框重合度越高時，IoU值越大，說明模型預(yù)測越準(zhǔn)確；當(dāng)重合度越低時，模型性能越差。如圖2 所示，將K的區(qū)間設(shè)置為1～9，錨框數(shù)目為3時是K的拐點(diǎn)，平衡了avg IoU和模型復(fù)雜度，因此，聚類中心的數(shù)量設(shè)置為3，并且在此基礎(chǔ)上獲得的增強(qiáng)邊界框的大小分別為（11，11）、（10，51）、（56，10）。

圖2 不同錨框數(shù)目所對應(yīng)的Avg IoUFig.2 Avg IoU for different number of anchor frames

原始YOLOv4 算法為 3 個特征圖分別分配3 個邊界框，用于預(yù)測的尺度分別為52×52、26×26 和13×13。26×26 和13×13 是語義豐富信息的深層特征，具有更大的感受野。研究表明，有限的感受野很難檢測到小目標(biāo)［9］。因此，本研究丟棄了小尺度特征圖，保留了52×52的特征圖，這也降低了網(wǎng)絡(luò)的復(fù)雜性。

2.2 設(shè)計激活函數(shù)

原YOLOv4 算法中使用的激活函數(shù)是Mish函數(shù)，屬于靜態(tài)激活函數(shù)，無法通過調(diào)整激活函數(shù)以適應(yīng)不同輸入特征來改善對復(fù)雜數(shù)據(jù)的處理。為了解決這個問題，本文引入了一個動態(tài)激活函數(shù)，通過網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)激活函數(shù)結(jié)構(gòu)，決定是否激活神經(jīng)元。

網(wǎng)絡(luò)可以通過學(xué)習(xí)ε1和ε2自適應(yīng)調(diào)整激活函數(shù)。平滑因子α控制是否激活神經(jīng)元。

式中：W1和W2為2 個卷積層的參數(shù)。通過此方式形成新的激活層，替換原YOLOv4 算法主干網(wǎng)絡(luò)中的激活層，可以自適應(yīng)不同的輸入特征，使在面對背景復(fù)雜、分布密集的遙感小目標(biāo)時，可以更好分開正負(fù)樣本，提高了模型泛化能力［10］。

2.3 PANet結(jié)構(gòu)優(yōu)化

缺乏淺層特征提取會導(dǎo)致小目標(biāo)漏檢并降低檢測精度，因此，改進(jìn)YOLOv4 算法中的PANet以保留淺層特征信息。深度語義豐富的特征可以增強(qiáng)淺層特征信息［11］。特征融合是多個不同特征信息的融合，既可以獲得深層特征信息，也可以獲得淺層特征信息。所以，特征融合方法在本文研究中至為重要。

圖3 為YOLOv4算法中的PANet結(jié)構(gòu)，包含了淺層特征信息和深層特征信息。然而，該結(jié)構(gòu)對于小目標(biāo)檢測有一些缺陷，例如，26×26直接向上采樣到104×104可能會丟失用于預(yù)測的信息，信道數(shù)量從256減少到128也可能丟失信息。

圖3 YOLOv4的PANet結(jié)構(gòu)Fig.3 PANet structure for YOLOv4

改進(jìn)的PANet結(jié)構(gòu)如圖4 所示。直接將26×26上采樣到104×104，在SPP之后，分別對具有512個通道的26×26、具有128 個通道的52×52 和具有128個通道的104×104的每個特征圖進(jìn)行特征融合。

圖4 改進(jìn)的PANet結(jié)構(gòu)Fig.4 Improved PANet structure

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境設(shè)置

本實(shí)驗(yàn)所使用的實(shí)驗(yàn)環(huán)境如表1 所示。

表1 實(shí)驗(yàn)環(huán)境Tab.1 Experimental setting

3.2 數(shù)據(jù)集

為評估實(shí)驗(yàn)方法的有效性，本文使用2 個數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。

1）DOTA 數(shù)據(jù)集：用于目標(biāo)檢測的大規(guī)模數(shù)據(jù)集，每個圖像的大小約為4 k×4 k 像素，包含不同尺度、方向和形狀的目標(biāo)。完全注釋的DOTA 數(shù)據(jù)集包含188 282 個實(shí)例，涉及15 個常見目標(biāo)類別：飛機(jī)、棒球場（BD）、橋梁、場地跑道（GFT）、小型車輛（SV）、大型車輛（LV）、網(wǎng)球場（TC）、籃球場（BC）、儲罐（ST）、足球場（SBF）、環(huán)形交叉路口（RA）、游泳池（SP）、以及港口和直升機(jī)（HC）。數(shù)據(jù)集隨機(jī)選擇一半的原始圖像作為訓(xùn)練集，1/6作為驗(yàn)證集，1/3作為測試集［10］。根據(jù)高度將所有目標(biāo)分為3 個部分：10～50 像素范圍為小，50～300 像素范圍為中，300 像素以上為大。因此，將高度范圍為10～50 像素的目標(biāo)定義為小對象。圖5 為訓(xùn)練集和驗(yàn)證集中不同類別的小目標(biāo)的占比。

圖5 DATO數(shù)據(jù)集中不同類別的小目標(biāo)占比Fig.5 Percentage of small targets in different categories in the DATO dataset

2）DIOR-R：它包含192 518個實(shí)例和23 463個圖像，分辨率從0.5～30 m不等。DIOR-R共有20個常見類別，包括飛機(jī)、機(jī)場、棒球場、籃球場等。圖像被分成訓(xùn)練和測試數(shù)據(jù)集，比例為9∶1。原始數(shù)據(jù)集使用數(shù)據(jù)增強(qiáng)方法進(jìn)行了擴(kuò)展，包括幾何變換和馬賽克方法。馬賽克數(shù)據(jù)增強(qiáng)基于Cut-Mix理論。不同的是，在Cut-Mix中拼接了2幅圖像，但馬賽克使用了4幅圖像。使用馬賽克的優(yōu)點(diǎn)是它豐富了圖像數(shù)據(jù)集的背景［12］。首先，使用鏡像和旋轉(zhuǎn)將數(shù)據(jù)集擴(kuò)展到原始大小的8倍；然后，使用馬賽克方法合并圖像。

為降低CO2在合成氣中比例，CaO強(qiáng)化的CO2捕集技術(shù)也在化學(xué)鏈氣化、制氫、重整等工藝中被研究[23-24]。通常利用CaO對含碳原料氣化的粗燃?xì)膺M(jìn)行CO2捕集，提升H2產(chǎn)率[25-26]。CaO強(qiáng)化的直接固體原料化學(xué)鏈氣化相關(guān)研究較少。

3.3 評價指標(biāo)

本文使用真實(shí)數(shù)據(jù)（Ground Truth）和預(yù)測邊界框（IOU）之間的平均精度（AP）和平均精度均值（mAP）、準(zhǔn)確率（Precision）、召回率（Recall）來評估目標(biāo)檢測性能［13］。計算公式為

3.4 實(shí)驗(yàn)結(jié)果

根據(jù)上式驗(yàn)證優(yōu)化的特征融合網(wǎng)絡(luò)的結(jié)果，本研究在DIOR-R 數(shù)據(jù)集和DOTA 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。

表2 展示了本文方法和其他方法在DOTA數(shù)據(jù)集上的mAP比較，實(shí)驗(yàn)證明，本文方法在DOTA數(shù)據(jù)集上的mAP較其他方法都有所提高，證明了本文方法對于遙感小目標(biāo)圖像的有效性。

表2 本文方法和其他方法在DOTA數(shù)據(jù)集上的mAP比較Tab.2 Comparison of the mAP of the method in this paper with other methods on the DOTA dataset

表3 為YOLOv4 和本文方法在DIOR-R 數(shù)據(jù)集的性能比較。

表3 YOLOv4和改進(jìn)YOLOv4比較Tab.3 Comparison of YOLOv4 and improved YOLOv4

如表3 所示，mAP從82.59% 增加到86.76%，根據(jù)之前的錨框的選擇，改進(jìn)的YOLOv4 的IoU 低于YOLOv4。改進(jìn)的YOLOv4具有更好的性能，并且平衡了精度和速度。

表格中數(shù)據(jù)顯示，本文方法在DOTA數(shù)據(jù)集的各個類別上都優(yōu)于其他方法，證明本文方法的有效性。

3.5 消融實(shí)驗(yàn)

表4 消融實(shí)驗(yàn)結(jié)果對比Tab.4 Comparison of results of ablation experiments

方法1）和方法2）對比表明，K-means 對遙感圖像小目標(biāo)重新聚類，對錨框的數(shù)量和尺寸進(jìn)行優(yōu)化，有效提高了實(shí)驗(yàn)的精度和速度；方法1）和方法3）對比表明，使用動態(tài)激活函數(shù)自適應(yīng)不同的輸入特征，提高了YOLOv4 算法的性能；YOLOv4 和本文方法對比，mAP 提高了3.7%，檢測速度達(dá)到了23.5 fps，對比結(jié)果證明了本文改進(jìn)算法的合理性和有效性。

3.6 檢測結(jié)果對比

實(shí)際檢測效果對比如圖6 所示。其中圖6（a）為原版YOLOv4 的檢測效果，圖6（b）為本文改進(jìn)后的YOLOv4的檢測效果。

圖6 改進(jìn)前后的YOLOv4算法檢測效果對比Fig.6 Comparison of detection effects before and after improving YOLOv4 algorithm

由圖6 可以直觀看出：原版的YOLOv4 算法對目標(biāo)的檢測效果不佳，改進(jìn)后的YOLOv4 算法提高了特征提取能力，檢測效果有了很大的提高。

4 結(jié)論

針對遙感圖像小目標(biāo)檢測效果不佳的問題，對YOLOv4 算法的K-means 重新聚類，優(yōu)化了錨框的數(shù)量和尺寸，提升檢測的精度和速度；將激活函數(shù)改為了動態(tài)激活函數(shù)，自適應(yīng)輸入特征，提高了模型的泛化能力；同時，對PANet 結(jié)構(gòu)進(jìn)行改進(jìn)，豐富了淺層網(wǎng)絡(luò)，更好地提高對小目標(biāo)的檢測能力。實(shí)驗(yàn)結(jié)果表明，改進(jìn)的YOLOv4 在檢測遙感小目標(biāo)時，在參數(shù)數(shù)量、檢測精度方面優(yōu)于原始的YOLOv4模型。