雷榮智，楊維芳，蘇小寧

（1.蘭州交通大學(xué) 測繪與地理信息學(xué)院，甘肅 蘭州 730070；2.甘肅省地理國情監(jiān)測工程實驗室，甘肅蘭州 730070；3.地理國情監(jiān)測技術(shù)應(yīng)用國家地方聯(lián)合工程研究中心，甘肅蘭州 730070）

近年來，隨著“建設(shè)社會主義新農(nóng)村”和“鄉(xiāng)村振興”等惠農(nóng)惠民政策的實施[1]，農(nóng)村土地利用和規(guī)劃工作也在緊鑼密鼓地進行中，地物識別和分類在土地利用和規(guī)劃中起著至關(guān)重要的作用，是觀察農(nóng)村土地變化和經(jīng)濟發(fā)展的重要手段[2]。

基于此，文中提出一種基于改進YOLO-v3 的無人機遙感圖像建筑物和農(nóng)田目標(biāo)檢測算法，該算法引入SPP（Spatial Pyramid Pooling）層和PAN 結(jié)構(gòu)對YOLO-v3 網(wǎng)絡(luò)進行改進。添加SPP 層，使得網(wǎng)絡(luò)能夠在多種尺度學(xué)習(xí)圖像的特征，同時在YOLO-v3 原生FPN（Feature Pyramid Networks）基礎(chǔ)上添加PAN結(jié)構(gòu)，增加語義特征，提高識別精度。實驗結(jié)果表明，與原生的YOLO-v3 算法相比，改進后的YOLO-v3 網(wǎng)絡(luò)對建筑物和農(nóng)田的識別更快速、更準確，具有一定的優(yōu)勢。

1 算法原理

1.1 算法簡介

YOLO 算法是使用深度神經(jīng)網(wǎng)絡(luò)對對象的位置進行檢測和分類的算法，其優(yōu)點有檢測速度足夠快，而且相較其他算法，準確率也較高[3]。YOLO 算法的工作模式是對目標(biāo)對象的邊界框直接預(yù)測，將目標(biāo)區(qū)域預(yù)測和目標(biāo)類別預(yù)測兩個步驟合二為一[4]。

在以往的檢測算法中，檢測模型的核心原理都是使用分類器對目標(biāo)圖像的不同切片進行評判。YOLO 算法則將對象檢測定義為一個回歸問題，直接將原始圖像分割成不重合的網(wǎng)格[5]，然后對于每個網(wǎng)格，網(wǎng)絡(luò)預(yù)測邊界框及其與每個類別相對應(yīng)的概率，最后對于每個類的對象，應(yīng)用非最大抑制（Non Max Suppression）方法過濾出置信度小于閾值的邊界框?；谏鲜龇治?，可以認為特征圖的每個元素也是對應(yīng)原始圖像的一個小方塊，利用每個元素可以預(yù)測中心點在該小方格內(nèi)的目標(biāo)[6]，這就是YOLO算法的樸素思想。YOLO-v3 算法作為YOLO 算法中經(jīng)典的一代，在以往的結(jié)構(gòu)上做出了改進，增加了多尺度檢測和更深的網(wǎng)絡(luò)結(jié)構(gòu)Darknet53，上述的改進是YOLO 算法最主要的改進，其他的變動都是對網(wǎng)絡(luò)的細節(jié)進行微調(diào)。

1.2 算法原理

YOLO 的主要思想是利用單獨的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks,CNN）進行預(yù)測，YOLO 網(wǎng)絡(luò)的工作原理是使輸入的圖像經(jīng)過神經(jīng)網(wǎng)絡(luò)的重重變換后變?yōu)橐粋€輸出的張量[7]。

下面以最初的YOLO-v1 算法為例介紹YOLO 系列算法。YOLO-v1 算法的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)來源于卷積神經(jīng)網(wǎng)絡(luò)，其主體結(jié)構(gòu)由24 個卷積層和兩個全連接層構(gòu)成，卷積層負責(zé)提取圖像特征，全連接層負責(zé)每個類別位置的檢測[8]，提供概率信息，最后輸出層使用線性函數(shù)作為激活函數(shù)，其他層的激活函數(shù)都是Leaky ReLU。

YOLO 算法的優(yōu)點在于速度非?？?，將目標(biāo)檢測的流程進行簡化，化為回歸問題。測試時將新的圖像輸入至神經(jīng)網(wǎng)絡(luò)中進行預(yù)測。其次，YOLO 在進行預(yù)測時，會對圖像進行全面推理[9]。在目標(biāo)檢測的背景誤檢方面，YOLO 的誤檢數(shù)量比Faster R-CNN 少了一半。由于YOLO 具有高度泛化能力，因此在應(yīng)用于新領(lǐng)域或碰到意外輸入時，不易出現(xiàn)故障[10]。文中使用目前較成熟的YOLO-v3 算法作為基礎(chǔ)網(wǎng)絡(luò)，YOLO-v3 由三個主體結(jié)構(gòu)組成，主要包括輸入層、基礎(chǔ)網(wǎng)絡(luò)和三個網(wǎng)絡(luò)分支，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 YOLO-v3網(wǎng)絡(luò)結(jié)構(gòu)

2 實驗和分析

2.1 研究區(qū)與數(shù)據(jù)集

以江西省豐城市某村的無人機遙感圖像為數(shù)據(jù)源，該圖像采用多旋翼無人機低空傾斜攝影實時航拍得到。無人機搭載索尼IL CE-6000 數(shù)碼相機進行圖像獲取，空間分辨率可達0.02 m，傳感器尺寸為23.5 mm，鏡頭焦距為35.3 mm、25 mm，獲取時間為2019 年3 月。對獲取的圖像進行圖像畸變校正，篩選校正過的圖像，然后對所篩選的圖像進行裁剪和壓縮，最后對圖像進行增光處理，共獲得740 幅圖像。隨機抽取540 幅圖像作為訓(xùn)練樣本，200 幅作為測試樣本，訓(xùn)練樣本與測試樣本不重復(fù)。將540 幅訓(xùn)練樣本圖像在labelImg 進行數(shù)據(jù)集的制作，數(shù)據(jù)集命名為Air，數(shù)據(jù)集制作過程如圖2 所示。

圖2 Air1數(shù)據(jù)集制作過程

文中所采用的無人機遙感圖像的空間分辨率較高，不但可以使地物信息更加豐富，還可以使地物信息的幾何結(jié)構(gòu)和紋理信息顯示更加清晰。研究區(qū)內(nèi)的農(nóng)田多為水稻田，呈不規(guī)則形狀分布，建筑物是二層或三層獨棟建筑，在無人機遙感圖像中紋理清晰，兩者在顏色和形狀上有明顯差別。

2.2 環(huán)境配置

實驗環(huán)境基于Linux Ubuntu 18.04 操作系統(tǒng)，采用Pytorch-1.7 框架，以CPU intel i7-10700K 和GPU RTX3090處理器作為硬件支持，運行環(huán)境是Anaconda Python。

2.3 網(wǎng)絡(luò)改進

為了提高模型的檢測和識別能力，文中在YOLO-v3模型中引入SPP結(jié)構(gòu)和PAN 結(jié)構(gòu)對YOLO-v3 模型進行改進，融入SPP 結(jié)構(gòu)使模型可以接收任意尺寸的圖像數(shù)據(jù)，從多種尺度上對圖像特征進行池化，解決了輸入圖像數(shù)據(jù)尺寸需固定的難題，提高了模型對多尺寸目標(biāo)的適應(yīng)能力；同時，利用PAN 結(jié)構(gòu)增強了語義特征信息，形成“FPN+PAN”模塊，傳遞定位信息，提高模型的識別精度。

2.3.1 SPP

CNN 的結(jié)構(gòu)由卷積層、池化層、全連接層、激活層等部分組成，其中卷積層對于輸入數(shù)據(jù)的大小并沒有要求，唯一對數(shù)據(jù)大小有要求的是全連接層。在以往的卷積神經(jīng)網(wǎng)絡(luò)中，往往要求數(shù)據(jù)的大小是固定的，比如著名的VGG-16 要求輸入數(shù)據(jù)大小為224×224。

數(shù)據(jù)以固定的大小輸入時，往往存在諸多問題。首先，在所制作的Air1 數(shù)據(jù)集中，所得到的圖像數(shù)據(jù)的尺寸并不是固定的。在實地踏勘研究區(qū)域發(fā)現(xiàn)，房屋和田地面積大小不一，呈不規(guī)則分布。因此，在無人機圖像中的房屋和田地中，圖像高寬比并不是固定的，所得到的數(shù)據(jù)集也存在數(shù)據(jù)大小不同的情況，如圖3 所示，對房屋和田地框出的地物類別高寬比不同；其次，由于數(shù)據(jù)大小不一，如果不能滿足模型的輸入需求，圖像將不會在模型中進行運算。為了滿足模型的輸入需求，必須對圖像進行裁剪或變形拉伸，改變特征的尺寸，從而使圖像產(chǎn)生失真，這不但不利于模型的識別，直接降低模型的檢測精度，而且模型的運行效率也大打折扣。

圖3 Air1數(shù)據(jù)集中的田地與房屋

文中在網(wǎng)絡(luò)結(jié)構(gòu)中引入SPP 結(jié)構(gòu)，解決了CNN輸入圖像大小必須固定的問題，使得輸入圖像的高寬比和大小可以為任意值，同時SPP 從多種尺度上對圖像特征進行池化，解決了CNN 對圖像特征重復(fù)提取的問題，提高了選框的速度，在一定程度上提高了模型對多尺寸目標(biāo)的適應(yīng)能力，節(jié)省了計算成本，提高了模型的運行效率。

圖4 所示為SPP 結(jié)構(gòu)示意圖。SPP 結(jié)構(gòu)被添加在卷積神經(jīng)網(wǎng)絡(luò)的卷積層和全連接層之間，最上面為卷積層，最下面為全連接層，通過SPP 結(jié)構(gòu)接收不同尺寸的數(shù)據(jù)圖像。

圖4 SPP結(jié)構(gòu)示意圖

除此之外，對于池化層來說，池化核和步長的大小對網(wǎng)絡(luò)性能是有影響的，且不同的任務(wù)通常也需要不同參數(shù)的池化。在網(wǎng)絡(luò)中，SPP 結(jié)構(gòu)可以融合多種池化參數(shù)，通過這種方式，可以提高網(wǎng)絡(luò)的適應(yīng)能力，因此可以在一定程度上提高模型的性能。

該實驗中，在YOLO-v3 的Res4 結(jié)構(gòu)之后添加SPP 結(jié)構(gòu)，使得網(wǎng)絡(luò)能夠在多種尺度學(xué)習(xí)圖像的特征，適應(yīng)了Air 數(shù)據(jù)集中所呈現(xiàn)出的不同圖像尺寸。

2.3.2 PAN結(jié)構(gòu)

為了提高模型的性能和特征識別能力，在原始的YOLO-v3 網(wǎng)絡(luò)的FPN 層之后添加一個向上的金字塔結(jié)構(gòu)，將低層的強定位信息傳遞上去。在YOLO-v3 原生FPN 的基礎(chǔ)上添加PAN 結(jié)構(gòu)形成雙塔結(jié)構(gòu)，如圖5 所示。

圖5 PAN結(jié)構(gòu)示意圖

FPN 作為通用的特征提取器，在目標(biāo)檢測和分類任務(wù)上給模型帶來顯著的性能提升。其主要原理是通過上采樣和對低層特征做融合得到預(yù)測的特征圖，采取自頂向底的模式，將高層的強語義特征傳遞下來，將高級特征與低級特征進行融合，增加了語義特征，但是對定位信息沒有傳遞，而定位信息對于特征識別也具有一定的影響。

2.3.3 實驗結(jié)果

為了驗證所提出的改進YOLO-v3 算法的有效性，將其與YOLO-v3算法進行對比，改進的YOLO-v3算法運行實驗結(jié)果可視化如圖6 所示。

文中采用的評價指標(biāo)為AP、Recall 和Precision。AP 表示平均精度，使用積分的方式計算Precision-Recall 曲線與坐標(biāo)軸圍成圖形的面積，AP 值越大，說明分類模型的檢測精度越高。mAP（mean Average Precision）為所有AP 值的平均值。

Recall 表示召回率，主要針對的是某一類樣本的預(yù)測信息，表示原始樣本中預(yù)測正確的樣本正確率[11]。計算公式如下：

式中，TP 是實際為正樣本預(yù)測為正樣本的數(shù)量，F(xiàn)N 是實際為正樣本預(yù)測為負樣本的數(shù)量。Recall越高，說明模型對正樣本的識別能力越強[12]。

Precision 表示準確率，主要針對的是預(yù)測結(jié)果，表示原始樣本中預(yù)測為正確樣本中真正正樣本的比率，計算公式如下：

式中，F(xiàn)P 是實際為負樣本預(yù)測為正樣本的數(shù)量。Precision 越高，說明模型對負樣本的區(qū)分能力越強[13]。

F1-score 是Recall 和Precision的綜合，F(xiàn)1-score越高，說明分類模型越穩(wěn)健[14]，其計算公式如下：

為了驗證文中算法的有效性，將Air 數(shù)據(jù)集分別在YOLO-v3 模型和改進的YOLO-v3 模型中進行對比實驗，其中YOLO-v3 是未進行改進的模型，骨干網(wǎng)絡(luò)采用Darknet-53[15]。在改進的YOLO-v3 模型中添加SPP 層和PAN 結(jié)構(gòu)，目的是提高目標(biāo)檢測的精度和提高檢測速度。

Air 數(shù)據(jù)集在YOLO-v3 模型的各種評價指標(biāo)效果如圖7 所示，左邊部分是農(nóng)田在YOLO-v3 的測試效果，在圖中以ground 命名，右邊部分是房屋在YOLO-v3 的測試效果，在圖中以house 命名。該實驗取閾值為0.5，閾值的取值范圍在[0,1]之間，該值的設(shè)定沒有絕對的標(biāo)準，需要根據(jù)數(shù)據(jù)集和模型的實際情況進行調(diào)整。實驗中經(jīng)過調(diào)整發(fā)現(xiàn)，當(dāng)閾值取0.5 時，模型的運行效果最佳，每個指標(biāo)都趨于平衡，不會出現(xiàn)非常優(yōu)秀或者非常差的情形。因此，選擇該實驗的閾值為0.5。模型在運行中，使用0.5 閾值區(qū)分正負樣本，小于0.5 為負樣本，反之為正樣本。從圖7 可以看出，Air 數(shù)據(jù)集中的房屋在YOLO-v3 模型的識別效果較為突出，農(nóng)田的分類效果較好。

圖7 YOLO-v3在Air數(shù)據(jù)集上的AP、Recall、Precision

Air 數(shù)據(jù)集在改進YOLO-v3 模型的各種評價指標(biāo)效果如圖8 所示，左邊部分是農(nóng)田在YOLO-v3改進版的測試效果，右邊部分是房屋在改進的YOLO-v3 的測試效果，同樣以ground 和house 進行命名，閾值同樣選取0.5。從圖8 可以看出，改進的YOLO-v3 模型對房屋的識別效果比對農(nóng)田的識別效果好。

由圖7 和圖8 可知，從AP、Recall 和Precision 三個指標(biāo)來看，在農(nóng)田的識別方面，改進的YOLO-v3模型的預(yù)測效果略高于YOLO-v3 模型，其中AP 值和Recall略微提升，在平均精度方面稍遜色于YOLO-v3模型。而在房屋的識別方面，改進的YOLO-v3 模型的預(yù)測效果有顯著提升，AP 值提升3.85%，說明模型對房屋的識別效果更高。在房屋類別的識別準確率方面也得到了提升，在召回率方面，改進的YOLOv3 模型對房屋的識別效果是最優(yōu)秀的。

圖8 YOLO-v3改進版在Air數(shù)據(jù)集上的AP、Recall、Precision

在圖9 和表1 對農(nóng)田和房屋兩個類別的AP 值和mAP 進行了再次說明和計算。根據(jù)計算，YOLO-v3模型對于農(nóng)田和房屋兩個類別的mAP 值為0.706 7，改進的YOLO-v3 模型的mAP 值為0.726 0，相比較，后者的檢測分類效果優(yōu)于前者。在農(nóng)田的檢測分類方面，兩個模型的AP 值相差非常小，而在房屋的檢測分類方面，改進的YOLO-v3 模型的AP 值高于YOLO-v3 模型。mAP 值是對兩個類別AP 值進行平均得到的評測值，通過對比發(fā)現(xiàn)，改進的模型mAP值更高，比YOLO-v3 模型高0.02，說明經(jīng)過添加SPP層和PAN 結(jié)構(gòu)，模型能夠在多種尺度上學(xué)習(xí)圖像的特征，并且融合了低級特征和高級特征的信息。同時，從精度和召回率兩個指標(biāo)來看，改進的YOLO-v3模型在房屋的識別上優(yōu)于YOLO-v3模型?？偟膩碚f，在房屋和農(nóng)田兩種地物的識別上，改進的YOLO-v3模型均優(yōu)于YOLO-v3 模型。

表1 兩個模型的訓(xùn)練結(jié)果比較

圖9 YOLO-v3和改進的YOLO-v3模型的AP和mAP

3 結(jié)論

文中針對模型精度高、性能更優(yōu)和檢測速度快等需求，提出基于改進的YOLO-v3 模型，針對實際需求和數(shù)據(jù)集的需要做出改進，即添加SPP 層和PAN 結(jié)構(gòu)，通過SPP 層解決數(shù)據(jù)集存在的輸入圖像尺寸必須固定的問題，從多種尺度上對圖像特征進行池化，提高了模型對多尺寸目標(biāo)的適應(yīng)能力；PAN結(jié)構(gòu)可以自底向上傳遞強定位特征，結(jié)合FPN 層自頂向下傳遞強語義特征，形成“雙塔結(jié)構(gòu)”，從主干層對檢測層進行參數(shù)聚合，通過PAN 結(jié)構(gòu)增強多個尺度的定位能力，提升模型的分類效果。改進的YOLO-v3 模型的提出，針對Air 數(shù)據(jù)集的農(nóng)田和房屋，基本滿足了兩種地物分類檢測的準確性和實時性需求，對農(nóng)村地物分類和新農(nóng)村的建設(shè)起到重要的作用。在之后的工作中，將針對主干網(wǎng)絡(luò)進一步升級和優(yōu)化，旨在于提高檢測精度、速度和模型泛化能力。