耿利川，王忠豐，秦永志，馬 莉

（1.許昌學(xué)院城市與環(huán)境學(xué)院，河南 許昌 461000；2. 92493 部隊，遼寧 葫蘆島 125000；3. 61206 部隊，北京 100042）

煙草種植信息是煙草信息化生產(chǎn)管理的重要依據(jù)，精確測算煙株數(shù)量，可為煙草管理部門及時、準確掌握煙草生產(chǎn)形勢、調(diào)整煙草指導(dǎo)性種植計劃以及評估有關(guān)政策執(zhí)行情況等提供參考依據(jù)，為煙草的科學(xué)研究和定量化管理奠定基礎(chǔ)。傳統(tǒng)煙株數(shù)量核查方法主要通過人工實地量算，耗時費力，且無法保證精度。自動化定位與提取煙株數(shù)量，有利于提高核查速度和準確率，對加快農(nóng)業(yè)智能化發(fā)展有重要意義。

隨著遙感技術(shù)的進步，利用遙感影像對煙草種植信息進行提取已經(jīng)受到國內(nèi)外諸多研究人員的關(guān)注。從所利用的影像數(shù)據(jù)源來看，目前主要分為兩大類。一類為衛(wèi)星遙感影像。劉明芹等[1]基于資源三號衛(wèi)星遙感影像對山區(qū)套種煙草面積進行了估測，經(jīng)過分類后處理提取的煙草面積精度達到94.63%；張陽等[2]采用決策樹分類方法提取了Sentinel-2A 數(shù)據(jù)中的煙草種植區(qū)域信息，精度達到90.29%；羅貞寶等[3]利用高分1/2 遙感衛(wèi)星影像，以畢節(jié)市七星關(guān)區(qū)大河鄉(xiāng)為試驗區(qū)，開展了多源、多時相遙感數(shù)據(jù)與面向?qū)ο蠓诸愊嘟Y(jié)合的煙草種植區(qū)提取方法研究。另一類為無人機遙感影像。無人機遙感技術(shù)相較于衛(wèi)星遙感技術(shù)，具有機動靈活、成本低、高分辨率、不受重訪周期限制、可實現(xiàn)云下飛行的特點，有利于快速獲取高精度地表地理空間信息，在煙草種植面積核查工作中也得到較多應(yīng)用。董梅等[4]利用面向?qū)ο蟮姆诸惙椒▽o人機遙感影像中的煙草種植面積進行了提取，擴展了煙草種植面積遙感監(jiān)測的手段；ZHU 等[5]提出了一種組合監(jiān)督分類和圖像形態(tài)學(xué)方法的無人機遙感影像數(shù)據(jù)煙草識別方法，總體精度達到95.93%；夏炎等[6]提出了一種基于模糊超像素分割算法的無人機煙株提取方法，達到80%以上的檢測精度；付靜等[7]結(jié)合形態(tài)學(xué)方法與Otsu 算法，對無人機遙感影像中的煙草苗期株數(shù)進行了提取。綜合分析近年來國內(nèi)外針對煙草信息的提取研究可知，目前針對煙草種植信息的提取大多集中于種植面積，對于煙株數(shù)量提取方面則研究較少。前期研究中，多采用圖像多尺度分割算法和形態(tài)學(xué)分割算法，存在邊界依附性差，分割尺度難以確定以及分割錯誤等問題。由于無人機煙草遙感影像具有煙株形狀差異大、目標較小且尺度不一致等特點，對煙株信息自動提取帶來了諸多困難。圖1 為無人機航拍影像，從中可以發(fā)現(xiàn)，煙草植株個體較小，呈現(xiàn)局部聚集，并且由于生長狀況不同植株外形尺寸差異較大。

圖1 煙草無人機遙感影像Fig. 1 Tobacco plant UAV remote sensing images

近年來，基于深度學(xué)習(xí)的目標檢測技術(shù)發(fā)展迅速，其代表算法有R-CNN[8]、Fast R-CNN[9]、Faster R-CNN[10]、YOLO 系列算法[11-13]、SSD 算法[14]等。在無人機遙感影像目標檢測算法的研究中，付虹雨等[15]利用YOLOv5 算法實現(xiàn)了無人機遙感影像中的苧麻植株計數(shù)。陳旭等[16]基于YOLOv5s 設(shè)計了一種改進的淺層網(wǎng)絡(luò)YOLOv5sm，提高了無人機影像目標的檢測精度。張瑞倩等[17]在YOLOv5 算法的基礎(chǔ)上，增加了多尺度的空洞卷積模塊，加大視野感知域，提高網(wǎng)絡(luò)對無人機影像中的目標分布、尺寸差異等的學(xué)習(xí)能力，進一步提升網(wǎng)絡(luò)對無人機影像中多尺度、復(fù)雜背景下的目標檢測精度。楊蜀秦等[18]針對玉米雄蕊提取問題，提出去除CenterNet網(wǎng)絡(luò)中對圖像尺度縮小的特征提取模塊，在降低模型參數(shù)的同時，提高了檢測速度。馬永康等[19]提出使用有效通道注意力機制對CSPDarknet53 骨干網(wǎng)絡(luò)進行改進，避免降維的同時增強特征表達能力，實現(xiàn)了紅樹林單木目標檢測。受上述研究的啟發(fā)，本文針對無人機遙感影像煙草植株自動檢測問題，提出了一種優(yōu)化后的YOLOv7[20]模型。為提高模型跨長序列學(xué)習(xí)關(guān)聯(lián)特征能力，將SimAM 注意力機制[21]引入到Y(jié)OLOv7 算法中，同時為提高算法對小目標的檢測精度，對原始YOLOv7 算法增加了小目標檢測層，在損失函數(shù)方面引入了EIOU 函數(shù)[22]，進一步優(yōu)化模型對目標框與預(yù)測框之間的相似性計算，針對原始圖像太大的問題，采用了分塊裁剪檢測后再合并的策略[23]，最后，利用河南省駐馬店市泌陽縣某地?zé)o人機航拍煙草影像，構(gòu)建了UAVTob 煙草數(shù)據(jù)集，對該模型提取檢測煙草株數(shù)的效果進行了驗證。

1 材料與方法

1.1 數(shù)據(jù)集來源

本實驗基于Pytorch 深度學(xué)習(xí)框架，利用GPU進行訓(xùn)練，具體配置如表1 所示。

表1 實驗環(huán)境配置Table 1 Experimental environment configuration

本實驗數(shù)據(jù)分別使用了VisDrone2019 數(shù)據(jù)集[24]和UAVTob 數(shù)據(jù)集。VisDrone2019 數(shù)據(jù)集由天津大學(xué)機器學(xué)習(xí)與數(shù)據(jù)挖掘?qū)嶒炇褹ISKYEYE 隊伍負責(zé)收集，包括288 個視頻片段，總共包括261908幀和10209 個靜態(tài)圖像，由各種無人機安裝的相機拍攝，涵蓋位置、環(huán)境、物體和密度等方面，影像分辨率無固定大小。UAVTob 數(shù)據(jù)集由本課題組利用無人機航拍建立，獲取地點泌陽縣位于河南省駐馬店市西南部，介于北緯 32°34?～33°09?，東經(jīng)113°06?～113°48?之間，年平均日照時數(shù)2 066.3 h，年平均氣溫14.6 ℃，年平均降水量960 mm，地處淺山丘陵區(qū)，地勢中部高，東西低，平均海拔142.1 m，屬大陸性季風(fēng)氣候。UAVTob 數(shù)據(jù)集由85 幅大疆精靈4P 無人機航拍影像組成，航拍時間為2022 年5月，為避免云層遮擋及太陽光照陰影影響，選擇晴朗無風(fēng)天氣，10：00—14：00 時間段進行航飛，影像原始大小為5472×3648 像素，地面分辨率為3 厘米。在圖像標注前，將原始影像裁剪為1312 幅912×912 像素分塊影像。

1.2 研究方法

在目標檢測領(lǐng)域，YOLO 系列算法作為單階段檢測算法得到了廣泛應(yīng)用，YOLO 算法將目標檢測看作回歸問題，利用卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，并直接從中獲取目標類別與位置。YOLO 算法將圖像劃分為S×S 大小網(wǎng)格單元，針對每個網(wǎng)格單元生成若干邊界框，如果某目標的中心落入一個網(wǎng)格單元中，該網(wǎng)格單元負責(zé)檢測該目標，并預(yù)測出目標的位置、類別與置信概率。

1.2.1 YOLOv7 算法介紹 YOLOv7 算法由Wang等[20]于2022 年提出，為YOLO 系列算法的進一步改進。其網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，主要由骨干網(wǎng)絡(luò)、頸部以及預(yù)測層3 部分組成。骨干網(wǎng)絡(luò)利用卷積神經(jīng)網(wǎng)絡(luò)在不同圖像細粒度上聚合并形成圖像特征。頸部網(wǎng)絡(luò)通過一系列操作來混合和組合圖像特征，并將圖像特征傳遞到預(yù)測層。預(yù)測層對圖像特征進行預(yù)測，生成邊界框并預(yù)測類別。YOLOv7 算法輸入端整體沿用了YOLOv5 的預(yù)處理方式和相關(guān)源碼，融合了Mosaic 數(shù)據(jù)增強、自適應(yīng)錨框計算、自適應(yīng)圖片縮放等操作。骨干網(wǎng)絡(luò)使用了ELAN 和MP 結(jié)構(gòu)。頸部層采用了SPPCSPC 結(jié)構(gòu)，同時也使用了ELAN 與MP 結(jié)構(gòu)。預(yù)測部分使用了CIOU 損失函數(shù)。

圖2 YOLOv7 算法網(wǎng)絡(luò)結(jié)構(gòu)圖Fig. 2 YOLOv7 network structure

1.2.2 YOLOv7 算法改進 （1）注意力機制改進。為了全局聚合網(wǎng)絡(luò)提取的圖像特征，基于卷積的架構(gòu)需要堆疊多層網(wǎng)絡(luò)特征[25]。盡管堆疊更多的層確實提高了網(wǎng)絡(luò)的性能[26]，但計算量隨之增加。注意機制通過基于內(nèi)容的尋址機制可以實現(xiàn)成對的實體交互，從而能夠跨長序列學(xué)習(xí)關(guān)聯(lián)特征層次結(jié)構(gòu)，極大縮短遠距離依賴特征之間的距離，更有效地利用遠距離網(wǎng)絡(luò)特征。本文受此啟發(fā)將SimAM 注意力機制引入到Y(jié)OLOv7 算法中，其原理如圖3 所示[21]?，F(xiàn)有注意力機制普遍存在2 個問題：（1）只能沿通道或空間維度細化特征，限制了它們學(xué)習(xí)不同通道和空間中變化的注意力權(quán)重的靈活性；（2）結(jié)構(gòu)上通常由一系列復(fù)雜因子建立組成，計算復(fù)雜。SimAM 模塊無需向原始網(wǎng)絡(luò)添加參數(shù)，而是在一層中推斷特征圖的3-D 關(guān)注權(quán)重。通過優(yōu)化一個能量函數(shù)來挖掘每個神經(jīng)元的重要性，該模塊能夠根據(jù)定義的能量函數(shù)解對特征進行增強處理，避免在結(jié)構(gòu)調(diào)整上花費太多精力，提高網(wǎng)絡(luò)的表達能力。

圖3 SimAM 注意力機制原理圖Fig. 3 Schematic of the attention mechanism of SimAM

（2）增加小目標檢測層。在無人機影像上，煙草植株目標均小于32×32 像素，與其他類型影像相比可被看作是為小目標，如圖1 中所示。如果針對原始影像進行訓(xùn)練，YOLOv7 在訓(xùn)練過程中會將圖像下采樣為80×80、40×40、20×20 像素大小，由于圖像過度下采樣會導(dǎo)致圖像中的小目標特征信息丟失。針對小目標的檢測，本文在原始算法中新增加了160×160 的檢測特征圖，用于檢測4×4 以上的目標錨框，同時在訓(xùn)練時利用K-means 均值和遺傳算法對數(shù)據(jù)集進行分析，自動學(xué)習(xí)新的預(yù)定錨框，獲得更適合該數(shù)據(jù)集的預(yù)設(shè)錨框。

（3）損失函數(shù)優(yōu)化。YOLOv7 采用CIOU 作為目標定位損失函數(shù)，其損失函數(shù)如公式（1）所示，

其中，ρ2（b,bgt）表示真實框與預(yù)測框中心的歐式距離，c表示真實框與預(yù)測框最小閉包區(qū)域?qū)蔷€距離，a為損失函數(shù)的權(quán)衡參數(shù)，具體定義如公式（2）所示；v表示真實框與預(yù)測框的長寬比，具體定義如公式（3）所示，其中w和h是包含預(yù)測框和真實框的最小閉包區(qū)域的寬度和高度。

CIOU 損失雖然考慮了邊界框回歸的重疊面積、中心點距離、縱橫比，但是其公式中的v反映的是縱橫比的差異，而不是寬高分別與其置信度的真實差異，所以會阻礙模型對邊界框相似性的有效優(yōu)化。針對這一問題，Zhang 等[22]在CIOU 的基礎(chǔ)上將縱橫比拆開，提出了EIOU 損失函數(shù)，定義如公式（4）所示。該損失函數(shù)包含3 個部分：重疊損失、中心距離損失、寬高損失。前兩部分延續(xù)CIOU 中的方法，但是寬高損失直接使目標框與錨框的寬度和高度之差最小，使得收斂速度更快。將縱橫比損失項拆分成預(yù)測框?qū)捀叻謩e與真實框?qū)捀叩牟钪?，加速了收斂，提高了回歸精度。本文對YOLOv7 算法中的損失函數(shù)進行了改進，利用EIOU 損失函數(shù)，代替原始YOLOv7 算法中的CIOU 損失函數(shù)。

其中，c、cw、cw分別代表能夠同時包含預(yù)測框和真實框的最小外接矩形的對角線長度、寬度和高度。

（4）影像分塊檢測策略。無人機獲取的原始影像大小為5472×3648 像素，直接利用原始影像進行訓(xùn)練或測試，會將圖像縮放為640×640 像素大小，導(dǎo)致煙株像素值太小，從而檢測困難。本文采用了YOLT 算法[23]方式，利用滑窗方式將原始圖像裁剪為912×912 像素的圖像作為模型的輸入，裁剪后的區(qū)域稱為chip，為了保證每個區(qū)域都能被完整檢測到，相鄰的chip 會有15%的重疊，圖4 為分塊策略示意圖，之后將檢測結(jié)果合并，經(jīng)非極大值抑制（NMS）處理后獲得最終的檢測結(jié)果。

圖4 原始影像分塊策略示意圖Fig. 4 Schematic diagram of the original image segmentation strategy

2 煙株檢測結(jié)果與評價

2.1 評價標準

本文實驗評價標準包括:召回率R（Recall），精確率P（Precision），平均精確率AP（Average precision）和均值平均精確率mAP（Mean average precision），各標準的具體公式如公式（5）-（8）所示：

式（5）-（8）中，TP表示正樣本被正確識別為正樣本，F(xiàn)P表示負樣本被錯誤識別為正樣本，F(xiàn)N表示正樣本被錯誤識別為負樣本。此外，本文還使用MS COCO[27]中的評估標準來評估檢測算法的結(jié)果，包括mAP@0.5、mAP@0.5:0.95。其中，mAP@0.5 即將IOU 設(shè)為0.5 時，計算每一類的所有圖片的AP，然后所有類別求平均，即mAP。mAP@0.5:0.95 表示在不同IOU閾值（從0.5 到0.95，步長0.05）上的平均mAP，該值被用作排名的主要依據(jù)。

2.2 VisDrone2019 數(shù)據(jù)集實驗結(jié)果與對比

為驗證改進算法的有效性，本文首先在VisDrone2019 數(shù)據(jù)集上進行了實驗驗證，實驗選取YOLOv7 模型作為參考基準，在此基礎(chǔ)上對其進行優(yōu)化。實驗基于算法原有配置，批處理大?。╞atch size）設(shè)置為4，輪次（epochs）設(shè)置為150。圖5給出了算法優(yōu)化前后的P-R 曲線和mAP@0.5 對比。由圖5 對比結(jié)果可以看出，優(yōu)化后的YOLOv7-Sim模型在VisDrone2019 數(shù)據(jù)集上取得了較好的結(jié)果。YOLOv7 模型優(yōu)化后mAP@0.5 由49.6%提高到49.9%，精度提高了0.3%。表2 給出了FPN[28]、CornerNet[29]、 Light-RCNN[30]、 DetNet59[31]、RetinaNet[32]、Cascade R-CNN[33]、RefineDet[34]各算法在該數(shù)據(jù)集上的實驗結(jié)果與本文算法的實驗結(jié)果對比，表中標粗數(shù)據(jù)為該類別精確率最高值。由表2 對比結(jié)果可以看出，優(yōu)化后的算法精確率較優(yōu)化前在多數(shù)類別上均有不同程度的提升，僅在bicyle、tricycle 和motor 類別上出現(xiàn)了精確率略微下滑現(xiàn)象，可能在參數(shù)上需要進一步優(yōu)化，但相比于其他算法結(jié)果，優(yōu)化后的YOLOv7 算法均取得了最優(yōu)的檢測結(jié)果，尤其是對ped、car、van、bus 的檢測提升效果明顯，驗證了本文算法的有效性。

表2 各算法AP 與mAP 結(jié)果對比Table 2 Comparison of each algorithms’ AP and mAP results %

圖5 YOLOv7 優(yōu)化前后的P-R 曲線、精確率與mAP@0.5 對比Fig. 5 P-R curves, AP and mAP@0.5 before and after YOLOv7 optimization

2.3 UAVTob 數(shù)據(jù)集實驗結(jié)果與對比

為進一步驗證本文算法針對無人機遙感影像中煙株的檢測效果，本實驗對自建UAVTob 數(shù)據(jù)集進行了實驗驗證。實驗中批處理大小（batch size）設(shè)置為6，輪次（epochs）設(shè)置為150。圖6 給出了YOLOv7 與優(yōu)化后的YOLOv7 在訓(xùn)練過程中，召回率、精確率、均值平均精確率 mAP@0.5、mAP@0.5:0.95 的增長曲線對比。其中紅色曲線為優(yōu)化前，綠色曲線代表優(yōu)化后，橫坐標表示訓(xùn)練epoch 數(shù)，縱坐標表示各評價參數(shù)值。通過各指標的對比可以發(fā)現(xiàn)，在訓(xùn)練過程中優(yōu)化后的算法召回率、精確率以及均值平均精確率增長速度和最終值均優(yōu)于原算法，算法在訓(xùn)練到100 epoch 時接近收斂。

圖6 訓(xùn)練中YOLOv7 優(yōu)化前后各評價標準增長對比曲線Fig. 6 The growth curve between YOLOv7 and optimized YOLOv7 during training

為了驗證各優(yōu)化模塊對YOLOv7 模型的改進，對各改進模塊單獨與原YOLOv7 模型進行組合，并測試了其結(jié)果。各改進模塊間的消融實驗結(jié)果如表3 所示。其中標記“√”的表格表示使用了該模塊。由表3 的消融實驗結(jié)果可以看出，本文提出的每一個改進模塊對提升均值平均準確率mAP@0.5 都有一定的作用，綜合各優(yōu)化方式后的改進算法檢測煙草的平均精確率均值mAP@0.5 達到94.5%，相比原算法提高了6.3%。改進算法的均值平均準確率mAP@0.5:0.95 達到47.7%，相比原算法提高了18.3%。圖7 給出了兩組檢測結(jié)果，其中每組中左圖為YOLOv7 算法結(jié)果，右圖為YOLOv7-Sim 算法結(jié)果。對比后可以發(fā)現(xiàn)，改進后的算法對影像邊緣部分的不完整與較小煙株的檢測結(jié)果要優(yōu)于原算法，說明YOLOv7-Sim 算法對遙感影像中的小目標檢測具有一定的優(yōu)越性。

表3 YOLOv7-Sim 各模塊間消融實驗的mAP 對比Table 3 mAP comparison of ablation experiments between modules of YOLOv7-Sim %

圖7 不同方法在UAVTob 數(shù)據(jù)集上檢測結(jié)果對比Fig. 7 Detection results comparison of different methods on UAVTob dataset

3 討 論

本文研究發(fā)現(xiàn)YOLOv7 深度學(xué)習(xí)算法對煙草植株數(shù)自動清點具有顯著作用，通過從注意力機制、小目標檢測、損失函數(shù)、檢測策略4 個方面對原始YOLOv7 算法進行改進，利用召回率、精確率、均值平均精確率mAP@0.5，mAP@0.5:0.95 4 個評價指標對原始算法與改進算法性能進行對比分析。本文利用無人機航拍煙田遙感影像構(gòu)建了UAVTob 數(shù)據(jù)集，YOLOv7 算法在該數(shù)據(jù)集上測試的均值平均精確率mAP@0.5 為88.2%，通過引入注意力機制后該指標達到93.0%，增加小目標層后該指標為90.9%，利用改進的EIOU 損失函數(shù)后該指標為93.5%，綜合3 種改進模塊后mAP@0.5 達到94.5%。YOLOv7 算法對UAVTob 數(shù)據(jù)集上的均值平均精確率mAP@0.5:0.95 為29.4%，通過添加3 種改進模塊后該指標分別達到44.7%、43.6%、46.6%，提升幅度均超過 14%，綜合 3 種改進模塊后mAP@0.5:0.95 達到47.7%。對比結(jié)果說明本文的改進方法對提高原始YOLOv7 算法在檢測煙草植株數(shù)量方面具有較高的適用性，相對于夏炎等[6]提出的基于模糊超像素分割的煙株提取方法約80%的檢測精度，本文檢測結(jié)果更加精確。

煙草長勢對煙株數(shù)檢測算法有重要影響，如果煙草長勢較快，航飛時間滯后，煙草葉片交叉連成片的情況下，利用無人機遙感影像進行煙株數(shù)清點將面臨巨大挑戰(zhàn)，因為在該情況下，煙草植株在影像上不再是獨立個體，而是成行或成片，利用視覺算法很難將其獨立區(qū)分，因此在利用無人機遙感方式進行煙草植株數(shù)清點時，需要在煙草葉片還未連接成片的時間節(jié)點前完成航拍作業(yè)。

影像地面分辨率（Ground Sample Distance，GSD）是遙感影像的一個重要指標，它與航拍高度及鏡頭焦距相關(guān)。不同GSD 影像中煙草植株的大小、紋理特征有明顯區(qū)別，航拍高度越高，影像地面分辨率越低，GSD 越大，煙草植株的特征信息越模糊，特別是細節(jié)特征被忽略。研究表明，利用高分辨率影像構(gòu)建的模型具有更加穩(wěn)定的性能，能夠顯著提高目標識別的精度。因此應(yīng)該在不影響航拍效率的基礎(chǔ)上，盡可能獲取高分辨率影像。

本研究僅在單個煙株影像數(shù)據(jù)集上構(gòu)建了模型，很難擴展到其他作物。當(dāng)出現(xiàn)新的作物品種需要檢測時，還需要針對該作物單獨構(gòu)建模型，因為模型的性能主要取決于訓(xùn)練樣本集的數(shù)量及其多樣性，由于樣本標記過程比較繁瑣，高效開發(fā)穩(wěn)定的模型仍然面臨挑戰(zhàn)。研究如何提高模型的通用性，或在少量訓(xùn)練樣本的基礎(chǔ)上，保持模型的檢測精度具有重要意義。

4 結(jié) 論

結(jié)果表明，針對無人機遙感影像中煙株目標檢測存在的煙株形狀差異大、目標較小且局部聚集的問題，對YOLOv7 算法進行了優(yōu)化，提出了一種改進的模型YOLOv7-Sim。通過加入SimAm 注意力機制，強化了卷積捕獲特征之間的聚合能力，加入小目標檢測層增強算法對小目標的檢測能力，選取了EIOU 定位損失函數(shù)，直接利用目標框與錨框的寬度和高度之差信息，加快了算法收斂速度，針對遙感影像尺寸過大問題采用了分塊檢測后拼接的策略。實驗結(jié)果表明，優(yōu)化后的YOLOv7 算法在VisDrone2019 數(shù)據(jù)集以及課題組自建UAVTob 煙草數(shù)據(jù)集上的目標檢測精度得到有效提升，本文方法為精確檢測煙草種植位置及數(shù)量提供了有效手段。