黃書琴 黃福樂 羅柳茗 覃鋒 李巖舟

摘要：為提高自然環(huán)境下蔗田雜草檢測準(zhǔn)確率，提出一種基于改進(jìn)的Faster R-CNN的蔗田雜草檢測算法。在特征提取階段使用BFP模塊均衡各級(jí)語義特征來加強(qiáng)對(duì)雜草圖像深層特征的提??；采用DLA策略動(dòng)態(tài)調(diào)整網(wǎng)絡(luò)的標(biāo)簽預(yù)測閾值，解決訓(xùn)練前期正樣本稀缺問題；使用Soft-NMS對(duì)模型進(jìn)行優(yōu)化，通過改進(jìn)原模型的NMS減少單類目標(biāo)漏檢并提高目標(biāo)定位精度。試驗(yàn)結(jié)果表明，優(yōu)化后算法的mAP值達(dá)81.3%，與原Faster R-CNN算法相比，精度提升6.2%，平均每幅圖像測試耗時(shí)0.132 s，且在AP₅₀、AP_s、AP_l指標(biāo)上分別有6.5%、4.7%、5.1%的提高。改進(jìn)后的算法具有較高的檢測精度和穩(wěn)定性，可以滿足復(fù)雜自然環(huán)境下的蔗田雜草檢測需求。

關(guān)鍵詞：雜草檢測；Faster R-CNN；均衡特征金字塔；動(dòng)態(tài)分配標(biāo)簽策略；軟非極大抑制

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2095-5553 （2024） 06-0208-08

收稿日期：2022年11月14日

修回日期：2023年2月1日

*基金項(xiàng)目：國家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2022YFD2301100）；廣西科技重大專項(xiàng)經(jīng)費(fèi)資助（桂科AA22117007，桂科AA22117005）

第一作者：黃書琴，女，1997年生，廣西桂林人，碩士；研究方向?yàn)橛?jì)算機(jī)視覺和圖像處理。E-mail：2877707484@qq.com

通訊作者：李巖舟，男，1979年生，廣西桂林人，博士，副教授；研究方向?yàn)檗r(nóng)業(yè)機(jī)械、傳感器應(yīng)用與智能控制。E-mail：lyz197916@126.com

Research on weed detection algorithm in sugarcane field based on Faster R-CNN

Huang Shuqin^{1， 2}， Huang Fule¹， Luo Liuming¹， Qin Feng^{1， 3}， Li Yanzhou¹

（1. School of Mechanical Engineering， Guangxi University， Nanning， 530004， China; 2. School of Intelligent

Manufacturing， Nanning University， Nanning， 530200， China; 3. Agricultural Genomics Institute at Shenzhen，

Chinese Academy of Agricultural Sciences， Shenzhen Branch， Guangdong Laboratory of Lingnan Modern

Agriculture， Shenzhen， 518120， China）

Abstract： In order to improve the accuracy of weed recognition in cane fields under natural environment， a weed detection algorithm based on improved Faster Region-based Convolutional Neural Network （Faster R-CNN） was proposed. Firstly， in the feature extraction stage， the balanced feature pyramid module was used to balance the semantic features at all levels to strengthen the extraction of deep features of weed images. Secondly， the dynamic label assignment was used to dynamically adjust the label prediction threshold of the network to solve the problem of scarcity of positive samples in the early stage of training. Finally， soft non-maximum suppression was used to optimize the model， which was able to reduce the missed detection of single-type targets and improve the positioning accuracy of targets by improving the non-maximum suppression of the original model.The experimental results showed that the mean average precision of the optimized algorithm reached 81.3%， which compared with the original Faster R-CNN algorithm， the precision was improved by 6.2%， and the average test time for each image was 0.132 s. There were 6.5%， 4.7%， and 5.1% improvements in the average precision of the intersection over union of 0.5 and the across scale of small and medium， respectively. The proposed algorithm has high detection precision and stability， which can meet the needs of sugarcane field weed detection in complex natural environment.

Keywords： weeds detection; Faster R-CNN; balanced feature pyramid; dynamic label assignment; soft non-maximum suppression

0 引言

甘蔗是我國最主要的糖料作物，其蔗糖產(chǎn)量占我國食糖總產(chǎn)量的90%以上，而廣西作為全國最大的蔗糖生產(chǎn)?。▍^(qū)），其糖料蔗種植面積及食糖產(chǎn)量占全國總產(chǎn)量的60%以上^{[1， 2]}。在甘蔗的生產(chǎn)種植中，田間雜草嚴(yán)重影響了糖料蔗生長和食糖產(chǎn)量，給食糖生產(chǎn)造成了一定程度的經(jīng)濟(jì)損失，所以及時(shí)有效地去除雜草是保證農(nóng)作物高產(chǎn)穩(wěn)產(chǎn)的一項(xiàng)重要措施。

準(zhǔn)確高效地識(shí)別田間雜草目標(biāo)不僅有助于自動(dòng)化除草作業(yè)和自動(dòng)水肥變量噴施，還能節(jié)約成本并減少傳統(tǒng)除草方式造成的農(nóng)藥殘留^[3]。因此，將深度學(xué)習(xí)應(yīng)用到田間雜草識(shí)別具有重要意義^{[4， 5]}。傳統(tǒng)的田間雜草檢測主要是從作物和雜草之間的顏色、形狀、紋理等特征的差異性著手，進(jìn)行圖像特征的手動(dòng)提取，特征提取單一且效率較低，對(duì)于復(fù)雜背景環(huán)境下的雜草識(shí)別檢測泛化性和實(shí)用性均不高^[6-8]。隨著機(jī)器視覺的發(fā)展，深度學(xué)習(xí)逐步應(yīng)用于農(nóng)業(yè)，其不僅在作物種節(jié)識(shí)別檢測、作物生長狀態(tài)監(jiān)測、田間作物病蟲害檢測等領(lǐng)域取得較好的效果，還為田間雜草識(shí)別的研究提供了新思路^[9-17]。孟慶寬等^[18]通過構(gòu)建輕量特征提取單元替代原SSD模型中相應(yīng)模塊，提高了自然環(huán)境下作物與雜草的識(shí)別精度；李春明等^[19]通過在網(wǎng)絡(luò)池化層后添加生成對(duì)抗網(wǎng)絡(luò)（GAN）噪聲層的方法來解決當(dāng)前除草機(jī)器人雜草識(shí)別實(shí)時(shí)性差的問題；孫鵬飛^[20]采用Mask R-CNN算法，對(duì)自然光照下的白菜幼苗和雜草幼苗進(jìn)行識(shí)別，并取得良好效果。以上研究的開展為優(yōu)化深度學(xué)習(xí)模型進(jìn)一步提高田間雜草檢測精度提供了參考和依據(jù)。

由于蔗田雜草與其他作物田間雜草種類稍有不同，且甘蔗葉片交錯(cuò)重疊對(duì)雜草識(shí)別造成一定干擾，經(jīng)過實(shí)驗(yàn)室測試，現(xiàn)有方法對(duì)于蔗田雜草識(shí)別效果并不理想。目前尚未有CNN（Convolutional Neural Network）網(wǎng)絡(luò)用于蔗田田間雜草識(shí)別的相關(guān)報(bào)導(dǎo)。本文針對(duì)蔗田雜草種類較多、分布狀態(tài)較為復(fù)雜，自然環(huán)境背景下雜草識(shí)別率低、魯棒性差等問題，以蔗田雜草爆發(fā)的兩個(gè)時(shí)期的6種雜草為研究對(duì)象，提出一種優(yōu)化的Faster R-CNN模型以提高檢測蔗田雜草目標(biāo)的精度。

1 材料與方法

1.1 制作數(shù)據(jù)集

桂糖42號(hào)是廣西農(nóng)業(yè)科學(xué)院甘蔗研究所選育的甘蔗品種，由新臺(tái)糖22號(hào)×桂糖92-66雜交組合選育而成^[21]。因其相比于新臺(tái)糖22號(hào)獲得了約10%的增產(chǎn)和約14%含糖量的提高，而在廣西區(qū)內(nèi)廣泛種植，成為廣西主要糖蔗品種，試驗(yàn)主要以種植有桂糖42號(hào)甘蔗的甘蔗地常見雜草為研究對(duì)象。

1.1.1 圖像采集

根據(jù)調(diào)查，廣西甘蔗地中雜草主要爆發(fā)于甘蔗幼苗期6～7葉齡以及伸長期封行前高1.2～1.5m兩個(gè)時(shí)期，本文主要以這兩個(gè)時(shí)期的雜草為研究對(duì)象。由于甘蔗地常見雜草多達(dá)二十幾種，考慮到時(shí)間以及硬件設(shè)備的負(fù)載問題，該研究選取其中生長數(shù)量較多且危害最為嚴(yán)重的6種作為主要研究對(duì)象，它們分別是野辣子、木薯、馬唐、牽牛、勝紅薊、小飛蓬。試驗(yàn)數(shù)據(jù)采集于廣西亞熱帶農(nóng)科新城同一宿根甘蔗種植地，采集時(shí)間為2021年4月中下旬甘蔗幼苗期以及7月中旬甘蔗伸長期封行前。甘蔗幼苗期植株較?。▓D1（a）），有較多地面暴露在陽光下，給雜草生長提供了條件，可在甘蔗田間采集到以上6種雜草圖片，如圖2所示。而甘蔗伸長期植株高、葉片多（圖1（b）），遮擋了大部分陽光，在很大程度上抑制了雜草的生長，但牽牛等藤蔓型雜草卻并不受影響，所以在該階段，可在甘蔗田間采集牽牛1種雜草圖片（為了方便區(qū)分，下文以牽牛-2表示），如圖3所示。

結(jié)合除草設(shè)備通常在甘蔗行間作業(yè)的特點(diǎn)，取行間距約1.5m的一半，水平方向距離甘蔗行約0.75m處作為數(shù)據(jù)采集位置。在拍攝時(shí)，根據(jù)雜草形態(tài)不同，可采用豎向（人像模式）或橫向（風(fēng)景模式）進(jìn)行拍攝，并使雜草植株位于相機(jī)取景框之內(nèi)。相機(jī)鏡頭過高會(huì)使設(shè)備重心升高，不利于壟間行走作業(yè)，鏡頭過低不利于雜草植株采集的完整性，故鏡頭水平位置應(yīng)低于1m，略高于幼苗期甘蔗（約0.4～0.6m），故取0.7～0.8m作為相機(jī)鏡頭水平高度。拍攝角度與水平方向向下夾角約為0°、45°和90°，拍攝開始前鎖定自動(dòng)變焦開關(guān)（禁止自動(dòng)調(diào)焦）?？紤]到樣本的多樣性，通過相機(jī)共采集了不同光照條件（陰天、晴天），不同拍攝角度下的蔗田雜草圖片2165張，剔除模糊圖片，共保留858張清晰圖片。各種雜草的圖片數(shù)量如表1所示。

1.1.2 圖像預(yù)處理

本次試驗(yàn)采集并有使用價(jià)值的甘蔗雜草圖像共858張，為了訓(xùn)練后續(xù)模型以及減少訓(xùn)練所占用的內(nèi)存和顯存，需要將圖像分辨率為4160pixel×3120pixel的圖像進(jìn)行壓縮處理，分辨率降至768pixel×576pixel。使用Labelme工具按照COCO數(shù)據(jù)集格式進(jìn)行數(shù)據(jù)標(biāo)注，在標(biāo)注數(shù)據(jù)時(shí)，由于牽牛類雜草為藤蔓纏繞型雜草，若以整株雜草作為一個(gè)標(biāo)注對(duì)象，其包括的背景信息過多，不利于模型訓(xùn)練，所以除牽牛和牽牛-2使用葉片作為標(biāo)注對(duì)象，其他種類雜草均以單棵植株作為標(biāo)注對(duì)象。數(shù)據(jù)標(biāo)注完成后，將全部標(biāo)注圖片按照4∶1的比例劃分為訓(xùn)練集和測試集，并且由于識(shí)別雜草為7種6類且圖像數(shù)量不同，各種雜草按圖像總數(shù)所占比例劃分訓(xùn)練集和測試集。各數(shù)據(jù)集的圖片數(shù)如表2所示。

為了實(shí)現(xiàn)圖像數(shù)據(jù)增強(qiáng)，以增加樣本的多樣性，本文對(duì)標(biāo)注后的圖像進(jìn)行隨機(jī)水平翻轉(zhuǎn)、隨機(jī)垂直翻轉(zhuǎn)、隨機(jī)亮度、隨機(jī)飽和度、高斯模糊5種處理操作。經(jīng)過圖像數(shù)據(jù)增強(qiáng)，數(shù)據(jù)集由858張擴(kuò)充到5148張，其中訓(xùn)練集由772張圖像擴(kuò)充為4116張圖像，測試集由86張圖像擴(kuò)充到1032張圖像。

1.2 試驗(yàn)方法

蔗田雜草的自動(dòng)化防除的基礎(chǔ)是雜草目標(biāo)的識(shí)別檢測，即包括雜草類別的確認(rèn)和雜草目標(biāo)位置的鎖定，而二階段的Faster R-CNN算法不僅能滿足以上需求，而且具有優(yōu)良的性能以及較好的通用性，故本試驗(yàn)基于Faster R-CNN模型進(jìn)行蔗田雜草目標(biāo)檢測算法的優(yōu)化。

1.2.1 Faster R-CNN基本原理

Faster R-CNN是由Ren等^[22]通過對(duì)R-CNN和Fast R-CNN模型的分析和優(yōu)化從而提出來的目標(biāo)檢測網(wǎng)絡(luò)模型，該模型較之前的深度卷積模型在訓(xùn)練速度上有較大提升。本文選用Faster R-CNN作為蔗田雜草識(shí)別檢測的基礎(chǔ)框架，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

由圖4可以看出蔗田雜草圖像在模型中訓(xùn)練的全過程。蔗田雜草圖像首先經(jīng)過骨干網(wǎng)絡(luò)（Backbone）中的特征提取網(wǎng)絡(luò)進(jìn)行特征提取，再由特征金字塔網(wǎng)絡(luò)（Feature Pyra-mid Network，F(xiàn)PN）進(jìn)行特征融合得到雜草特征圖。接著將生成的雜草特征圖喂入RPN（Region Proposal Network）網(wǎng)絡(luò)中，進(jìn)行雜草目標(biāo)候選框的選取，該網(wǎng)絡(luò)替換原有的SS（Selective Search）方法，有效降低提取候選框所需要的時(shí)間成本。將雜草目標(biāo)候選框與特征圖中對(duì)應(yīng)位置的雜草目標(biāo)選取出來，得到帶有候選框的雜草特征圖，輸入到ROI Pooling層，再利用最大池化將特征圖調(diào)整為固定大小。最后輸入到FC（Fully Connected）層，經(jīng)過分類器進(jìn)行雜草分類以及位置定位。

1.2.2 優(yōu)化方法

本研究檢測識(shí)別的目標(biāo)為蔗田雜草，類別較多，且樣本均采集于自然環(huán)境狀態(tài)下，背景復(fù)雜多樣，多存在甘蔗植株、甘蔗秸稈以及其他種類雜草，為了進(jìn)一步提高模型的檢測能力，本研究對(duì)原始模型進(jìn)行優(yōu)化改進(jìn)。

1） 平衡特征金字塔（Balanced Feature Pyramid，BFP）^[23]。為了進(jìn)一步提高模型的特征提取能力，獲得更多信息的雜草特征圖，采用特征層平衡策略。不同于傳統(tǒng)的橫向融合多級(jí)特征的方法，本試驗(yàn)采用按同一深度融合來均衡各層級(jí)語義達(dá)到增強(qiáng)多級(jí)特征的方法。雜草圖像經(jīng)過骨干網(wǎng)絡(luò)的下采樣，得到編號(hào)為C₂、C₃、C₄、C₅的多層級(jí)特征映射圖，各層特征映射圖為W_n×H_n×E_n的特征矩陣，W_n×H_n表示第n層特征映射圖的圖像信息，E_n代表第n層特征圖深度，使用插值和最大池化將各級(jí)特征映射圖調(diào)整至與C₄尺度相同，再通過式（1）得到平衡后的語義特征。

C=1N∑n_maxn=n_minC_n（1）

式中：C_n——第n層特征，n=2，3，…；

N——特征總層數(shù)；

n_max——最高層數(shù)；

n_min——最低層數(shù)。

完成尺寸調(diào)整和特征融合（integrate）后，各級(jí)特征層集成并保留各自的語義信息，再通過細(xì)化提煉（Refine）特征進(jìn)一步增強(qiáng)集成特征，最后對(duì)每層特征使用相反過程進(jìn)行重新縮放，輸出為P₂、P₃、P₄、P₅，使該多層級(jí)特征映射圖與C₂、C₃、C₄、C₅大小保持一致（Identity），P_n表示特征融合后的輸出特征圖，能按照原始目標(biāo)檢測流程繼續(xù)進(jìn)行。優(yōu)化具體結(jié)構(gòu)如圖5所示。

2） 動(dòng)態(tài)分配標(biāo)簽策略（Dynamic Label Assignment，DLA）^[24]。本次試驗(yàn)使用的蔗田雜草是自采集的小數(shù)據(jù)集，為了保證訓(xùn)練數(shù)據(jù)的正樣本數(shù)量，更好的訓(xùn)練分類器，解決在原有網(wǎng)絡(luò)訓(xùn)練之初設(shè)置較高的交并比（IoU）閾值往往會(huì)導(dǎo)致正樣本數(shù)量稀少的問題，采用動(dòng)態(tài)標(biāo)簽分配策略。即在訓(xùn)練前期，loss值較高時(shí)，RPN無法給出高質(zhì)量的目標(biāo)候選框，為了保證更多的特征被模型學(xué)習(xí)，需要設(shè)置較低的IoU閾值；隨著迭代次數(shù)的增加，loss值逐漸降低，模型精度不斷提高，為了保證高質(zhì)量的目標(biāo)檢測，需要提高正樣本的質(zhì)量來訓(xùn)練高質(zhì)量的分類器，則IoU閾值也應(yīng)設(shè)置較高。傳統(tǒng)的標(biāo)簽分類策略如式（2）所示。

label=1maxIoU（b，G）≥T₊0maxIoU（b，G）-－1otherwise（2）

式中：b——候選框，表示以候選框的中心坐標(biāo)、寬和高構(gòu)成的1×4向量（b_x，b_y，b_w，b_h）；

G——雜草目標(biāo)真實(shí)邊界框，表示以真實(shí)邊界框的中心坐標(biāo)、寬和高構(gòu)成的1×4向量（G_x，G_y，G_w，G_h）；

maxIoU（b，G）——b和G的IoU最大值；

T₊、T_－——正負(fù)閾值，此處取值為T₊=T_－=0.5；

1、0、-1——正樣本、負(fù)樣本和忽略樣本。

優(yōu)化后的標(biāo)簽分配策略如式（3）所示。

label=1maxIoU（b，G）≥T_now0maxIoU（b，G）now（3）

式中：T_now——當(dāng)前的IoU閾值，初始閾值設(shè)為0.4。

3） 軟非極大抑制方法（Soft Non-Maximum Suppression，Soft-NMS）。自然環(huán)境條件下的蔗田雜草通常是成片生長，而在本研究中的雜草，如牽牛和牽牛-2就存在大量密集的同類雜草重疊的情況，這就導(dǎo)致模型的整體檢測精度較高，但單類別雜草（如牽牛-2）檢測精度較低。為了在提高整體檢測精度的同時(shí)提高單類雜草的定位精度，本研究引入了Bodla等^[25]提出的軟非極大抑制方法，該方法可以在幾乎不影響對(duì)稀疏目標(biāo)的預(yù)選框檢測的同時(shí)，提高對(duì)密集同類雜草的一框一物體定位效果。用B表示目標(biāo)對(duì)象周圍能檢測到的所有的候選框集合，原有NMS公式如式（4）所示。

s_i=s_iIoU（M，c_i）i）≥J（4）

式中：s_i——B中第i個(gè)候選框包含物體可能性大小，即第i個(gè)候選框的得分，取值為（0，1]；

M——最有可能包含物體的框，即當(dāng)前得分最高的框，是一個(gè)1×4的向量，向量中各元素分別表示框的中心坐標(biāo)、寬和高；

c_i——去掉M后剩下的候選框中的第i個(gè)，是一個(gè)1×4的向量，向量中各元素分別表示框的中心坐標(biāo)、寬和高；

IoU（M，c_i）——M和c_i的IoU值；

J——自定義閾值，此處取值為0.85。

改進(jìn)后的軟非極大抑制算法如式（5）所示。

s_i=s_iIoU（M，c_i）

s_i[1－IoU（M，c_i）]IoU（M，c_i）≥J（5）

當(dāng)與M越近的c_i檢測框的IoU值越大，所受到的衰減就會(huì)越大，s_i值也就越小。改進(jìn)后的算法與原算法不同在于，當(dāng)M和c_i的IoU值不小于閾值J時(shí)，不是直接把c_i的得分置0，而是保留該框，減小s_i的值。式（5）中，為保證衰減函數(shù)的連續(xù)性，需滿足式（6）的關(guān)系，D表示框的集合。s_i=s_ie^{－IoU（M，c}_i^）2σ c_iD（6）

1.3 試驗(yàn)條件與訓(xùn)練設(shè)置

本試驗(yàn)在mmdetection深度學(xué)習(xí)工具箱的基礎(chǔ)上實(shí)現(xiàn)甘蔗地雜草目標(biāo)識(shí)別模型的訓(xùn)練和測試，硬件配置采用16GB運(yùn)行內(nèi)存的Intel（R） Core（TM） i7-11800H處理器和8GB運(yùn)行顯存的NVIDIA GeForce RTX 3050 Ti 顯卡，使用Windows11操作系統(tǒng)，pytorch1.8.1，python3.8搭建模型運(yùn)行環(huán)境。除此之外，模型訓(xùn)練時(shí)用ResNet50作為骨干網(wǎng)絡(luò)，使用ReLU激活函數(shù)，SGD優(yōu)化器，權(quán)重衰減為0.0001，動(dòng)量因子為0.9，初始學(xué)習(xí)率為0.0025，BatchSize設(shè)為1，max_epochs設(shè)為30，迭代次數(shù)為100000次。

2 結(jié)果與分析

2.1 優(yōu)化模型訓(xùn)練損失

在上述試驗(yàn)條件和訓(xùn)練設(shè)置下，采用優(yōu)化后的模型對(duì)4116張蔗田雜草圖像進(jìn)行訓(xùn)練，耗時(shí)9h，模型的訓(xùn)練損失曲線如圖6所示。

由圖6可以看出，優(yōu)化后的Faster R-CNN模型的整體損失隨著迭代次數(shù)的增加而不斷下降，在40000次迭代后損失值降至0.096，并且在之后的訓(xùn)練中損失基本穩(wěn)定在0.1左右，模型基本收斂表明優(yōu)化后的模型訓(xùn)練效果良好。

2.2 訓(xùn)練結(jié)果對(duì)比分析

為更加全面地評(píng)價(jià)分析優(yōu)化后的Faster R-CNN對(duì)蔗田雜草目標(biāo)識(shí)別的可靠性，采用目標(biāo)檢測常用評(píng)價(jià)指標(biāo)（AP，AP₅₀，AP₇₅，AP_s，AP_m，AP_l）比較三種算法對(duì)模型性能的影響，如表3所示。

從表3可以看出，在原始模型的基礎(chǔ)上使用BFP、DLA、Soft-NMS三種優(yōu)化策略進(jìn)行優(yōu)化時(shí)，模型性能均得到一定提升，與原始Faster R-CNN模型相比，三種優(yōu)化策略單獨(dú)使用時(shí)雜草目標(biāo)檢測的平均精度AP（Average-Precision）分別提高了4.0%、2.8%、3.9%，這表明，三種優(yōu)化策略均能在一定程度上促進(jìn)原模型性能。而在同時(shí)使用三種優(yōu)化策略，也就是本文所使用方法時(shí)，平均精度AP達(dá)到最高，比原始模型高出4.9個(gè)百分點(diǎn)，且在AP₅₀、AP_s、AP_l指標(biāo)上分別有6.5%、4.7%、5.1%的提高，可見優(yōu)化后模型不僅提高了對(duì)中、大目標(biāo)雜草的識(shí)別準(zhǔn)確性，而且對(duì)小目標(biāo)雜草的檢測精度也有一定提升。

2.3 測試結(jié)果對(duì)比分析

優(yōu)化模型訓(xùn)練完成后，對(duì)測試集雜草圖像進(jìn)行檢測，采用平均召回率AR（Average Recall），AP和均值平均精度mAP（Mean Average Precious）作為評(píng)價(jià)指標(biāo)。當(dāng)IoU=0.75時(shí)，單類檢測結(jié)果如表4所示。

AR值表示正樣本的查全率，AP值表示正樣本的查準(zhǔn)率。結(jié)果顯示，除了馬唐和牽牛-2以外，優(yōu)化后模型的單類別平均召回率和平均精度都有提升，數(shù)值均能達(dá)到80%以上，且均值平均精度mAP提高了6.2%。在7種雜草中馬唐的AR值和AP值最低，結(jié)合實(shí)際情況進(jìn)行分析，其主要原因可能有：一馬唐生長緊貼地面，且成傘狀展開，目標(biāo)尺寸大，地面背景占比多；二蔗田存在大量其他種類雜草，大多數(shù)雜草均高于馬唐，極易造成馬唐遮擋從而未被識(shí)別；三田間背景環(huán)境復(fù)雜多樣，甘蔗秸稈較多，馬唐植株相對(duì)過小，易因遮擋而未被檢測。除此之外，牽牛-2的AR值和AP值也較低，僅高于馬唐，分析得其原因可能為：一牽牛屬藤蔓型雜草，多纏繞于甘蔗植株上，形狀位置各異，不利于檢測識(shí)別；二甘蔗伸長期時(shí)葉片比幼苗期大，甘蔗和牽牛葉片之間交錯(cuò)，易造成遮擋導(dǎo)致牽牛的錯(cuò)檢和漏檢；三甘蔗伸長期時(shí)甘蔗株間葉片交疊，或密或疏，數(shù)據(jù)采集明暗條件無法保持一致，對(duì)牽牛的檢測產(chǎn)生一定影響；四甘蔗伸長期蔗田環(huán)境復(fù)雜，背景為錯(cuò)亂的甘蔗葉片和蔗節(jié)，不利于牽牛的檢測識(shí)別。如圖7所示，圖中黃色曲線標(biāo)出了未檢測出的馬唐和牽牛-2。

除此之外，為了比較模型的實(shí)時(shí)性與應(yīng)用性，采用模型訓(xùn)練時(shí)間以及測試圖像平均測試時(shí)間對(duì)優(yōu)化前后模型進(jìn)行對(duì)比分析，結(jié)果如表5所示。

平均測試時(shí)間=測試運(yùn)行時(shí)間測試的圖片總數(shù)（7）

從表5可以看出，優(yōu)化后模型訓(xùn)練時(shí)間略有增加，最主要的原因就是本文所用方法是基于Faster R-CNN模型的二階段目標(biāo)檢測算法，其基本網(wǎng)絡(luò)框架沒有改變，增加了3種優(yōu)化策略，模型整體框架較原模型更大，所以訓(xùn)練時(shí)間增加，而平均測試時(shí)間與原模型基本持平，加之優(yōu)化后模型性能更優(yōu)，說明本文方法具有一定的適用性。

2.4 與其他模型的性能比較

除此之外，為了更加客觀地評(píng)價(jià)模型的性能，采用兩種經(jīng)典目標(biāo)檢測算法SSD、RetinaNet和優(yōu)化后的模型進(jìn)行對(duì)比試驗(yàn)。為了保證對(duì)比試驗(yàn)的有效性，3種方法均使用本文自制數(shù)據(jù)集在mmdetection開源框架進(jìn)行模型的訓(xùn)練和測試，學(xué)習(xí)率統(tǒng)一設(shè)置為0.0025，使用SGD優(yōu)化器，最大迭代次數(shù)112000次。當(dāng)IoU=0.5時(shí)，3種方法的P-R（Precision-Recall）曲線如圖8所示。

在P-R曲線圖中，AR反映了分類器對(duì)正樣本的覆蓋能力，AP是對(duì)P-R曲線的積分，其值越大，表示模型檢測效果越好。從圖8可以看出，與其他模型相比，本文優(yōu)化后的網(wǎng)絡(luò)模型P-R曲線的積分值最大，說明本文方法優(yōu)于前兩者，在雜草目標(biāo)檢測中性能較好。

2.5 雜草目標(biāo)檢測結(jié)果

為了更加直觀地看出模型優(yōu)化前后在復(fù)雜背景環(huán)境下雜草目標(biāo)檢測的效果之差，從測試集中隨機(jī)抽取7張圖像在相同的試驗(yàn)條件下進(jìn)行測試，如圖9所示。

圖9中每組對(duì)比圖中左列為原始模型的檢測結(jié)果，右列為優(yōu)化后的模型檢測結(jié)果，最后一組檢測圖像是通過mosaic數(shù)據(jù)增強(qiáng)形成。從圖9中發(fā)現(xiàn)，優(yōu)化后的模型相較于原始模型，降低了自然背景環(huán)境下雜草目標(biāo)的漏檢率，即雜草真檢率提高，并且在一定程度上提高了總體檢測精度。

3 結(jié)論

1） 本文提出一種基于Faster R-CNN改進(jìn)的蔗田雜草檢測算法。采用均衡特征金字塔增強(qiáng)各級(jí)語義特征，加強(qiáng)圖像深層特征提??；為了緩解小數(shù)據(jù)集訓(xùn)練樣本不足的問題，使用動(dòng)態(tài)標(biāo)簽分配策略（DLA）取代傳統(tǒng)標(biāo)簽分配方法；此外，軟非極大抑制Soft-NMS代替?zhèn)鹘y(tǒng)的NMS，能在一定程度上減少自然環(huán)境下同類密集雜草的錯(cuò)檢和漏檢，在優(yōu)化后的模型算法在自制數(shù)據(jù)集上進(jìn)行訓(xùn)練和測試驗(yàn)證，通過與經(jīng)典目標(biāo)檢測算法SSD和RetinaNet進(jìn)行縱向?qū)Ρ仍囼?yàn)，以及模型優(yōu)化前后檢測結(jié)果橫向?qū)Ρ?，?yàn)證了本文模型對(duì)于蔗田雜草識(shí)別的準(zhǔn)確性和穩(wěn)定性，同時(shí)減少了蔗田雜草錯(cuò)檢和漏檢現(xiàn)象。

2） 改進(jìn)后的Faster R-CNN模型與原模型算法相比，均值平均精度提升6.2%，mAP值達(dá)81.3%，在AP₅₀、AP_s、AP_l指標(biāo)上分別有6.5%、4.7%、5.1%的提高，滿足在復(fù)雜背景環(huán)境下的檢測需求，為自然環(huán)境下的蔗田雜草目標(biāo)檢測提供了理論依據(jù)，同時(shí)也為后續(xù)蔗田自動(dòng)除草機(jī)構(gòu)的識(shí)別模塊研究提供了理論保障。

3） 改進(jìn)后的Faster R-CNN模型平均每幅圖像測試耗時(shí)0.132s，與原模型算法平均測試時(shí)間相當(dāng)，這可能是因?yàn)閮?yōu)化后的模型仍然屬于二階段目標(biāo)檢測算法，檢測速度慢，模型框架較大，不方便小型處理器的搭載，未來可以在輕量化模型方面進(jìn)一步研究，以達(dá)到實(shí)時(shí)檢測的目標(biāo)。

參 考 文 獻(xiàn)

[1]謝金蘭， 吳建明， 黃杏， 等. 我國甘蔗新品種（系）的抗旱性研究[J]. 江蘇農(nóng)業(yè)科學(xué)， 2015， 43（3）： 108-112.

[2]黃基杰. 甘蔗地快速識(shí)別的樣本庫建設(shè)——以廣西崇左為例[J]. 南方國土資源， 2019（4）： 45-47.

[3]張樂， 金秀， 傅雷揚(yáng)， 等. 基于Faster R-CNN深度網(wǎng)絡(luò)的油菜田間雜草識(shí)別方法[J]. 激光與光電子學(xué)進(jìn)展， 2020， 57（2）： 304-312.

Zhang Le， Jin Xiu， Fu Leiyang， et al. Recognition method for weeds in rapeseed field based on faster R-CNN deep network [J]. Laser & Optoelectronics Progress， 2020， 57（2）： 304-312.

[4]孫俊， 譚文軍， 武小紅， 等. 多通道深度可分離卷積模型實(shí)時(shí)識(shí)別復(fù)雜背景下甜菜與雜草[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2019， 35（12）： 184-190.

Sun Jun， Tan Wenjun， Wu Xiaohong， et al. Real-time recognition of sugar beet and weeds in complex backgrounds using multi-channel depth-wise separable convolution model [J]. Transactions of the Chinese Society of Agricultural Engineering， 2019， 35（12）： 184-190.

[5]趙輝， 曹宇航， 岳有軍， 等. 基于改進(jìn)DenseNet的田間雜草識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2021， 37（18）： 136-142.

Zhao Hui， Cao Yuhang， Yue Youjun， et al. Field weed recognition based on improved DenseNet [J]. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（18）： 136-142.

[6]毛文華， 王輝， 趙博， 等. 基于株心顏色的玉米田間雜草識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2009， 25（S2）： 161-164.

Mao Wenhua， Wang Hui， Zhao Bo， et al. Weed detection method based the center color of corn seedling [J]. Transactions of the Chinese Society of Agricultural Engineering， 2009， 25（S2）： 161-164.

[7]談蓉蓉， 朱偉興. 基于圖像處理技術(shù)的雜草特征提取方法研究[J]. 傳感器與微系統(tǒng)， 2009， 28（2）： 56-59， 65.

Tan Rongrong， Zhu Weixing. Research of weed feature extraction method based on image processing technology [J]. Transducer and Microsystem Technologies， 2009， 28（2）： 56-59， 65.

[8]曹晶晶， 王一鳴， 毛文華， 等. 基于紋理和位置特征的麥田雜草識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2007（4）： 107-110.

Cao Jingjing， Wang Yiming， Mao Wenhua， et al. Weed detection method in wheat field based on texture and position features [J]. Transactions of the Chinese Society for Agricultural Machinery， 2007（4）： 107-110.

[9]李向輝. 基于卷積神經(jīng)網(wǎng)絡(luò)的甘蔗切種機(jī)莖節(jié)特征識(shí)別系統(tǒng)[D]. 南寧： 廣西民族大學(xué)， 2020.

Li Xianghui. A feature recognition system for sugarcane seed cutter based on convolutional neural network [D]. Nanning： Guangxi University for Nationalities， 2020.

[10]孫哲， 張春龍， 葛魯鎮(zhèn)， 等. 基于Faster R-CNN的田間西蘭花幼苗圖像檢測方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2019， 50（7）： 216-221.

Sun Zhe， Zhang Chunlong， Ge Luzhen， et al. Image detection method for broccoli seedlings in field based on faster R-CNN [J]. Transactions of the Chinese Society for Agricultural Machinery， 2019， 50（7）： 216-221.

[11]朱永寧， 周望， 楊洋， 等. 基于Faster R-CNN的枸杞開花期與果實(shí)成熟期識(shí)別技術(shù)[J]. 中國農(nóng)業(yè)氣象， 2020， 41（10）： 668-677.

Zhu Yongning， Zhou Wang， Yang Yang， et al. Automatic identification technology of lycium barbarum flowering period and fruit ripening period based on Faster R-CNN [J]. Chinese Journal of Agro meteorology， 2020， 41（10）： 668-677.

[12]李就好， 林樂堅(jiān)， 田凱， 等. 改進(jìn)Faster R-CNN的田間苦瓜葉部病害檢測[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2020， 36（12）： 179-185.

Li Jiuhao， Lin Lejian， Tian Kai， et al. Detection of leaf diseases of balsam pear in the field based on improved Faster R-CNN [J]. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（12）： 179-185.

[13]樊湘鵬， 周建平， 許燕， 等. 基于優(yōu)化Faster R-CNN的棉花苗期雜草識(shí)別與定位[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2021， 52（5）： 26-34.

Fan Xiangpeng， Zhou Jianping， Xu Yan， et al. Identification and localization of weeds based on optimized Faster R-CNN in cotton seedling stage [J]. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（5）： 26-34.

[14]金小俊， 孫艷霞， 于佳琳， 等. 基于深度學(xué)習(xí)與圖像處理的蔬菜苗期雜草識(shí)別方法[J]. 吉林大學(xué)學(xué)報(bào)（工學(xué)版）， 2023， 53（8）： 2421-2429.

Jin Xiaojun， Sun Yanxia， Yu Jialin， et al. Weed recognition in vegetable at seedling stage based on deep learning and image processing [J]. Journal of Jilin University （Engineering and Technology Edition）， 2023， 53（8）：2421-2429.

[15]尚文卿， 齊紅波. 基于改進(jìn)Faster R-CNN與遷移學(xué)習(xí)的農(nóng)田雜草識(shí)別算法[J]. 中國農(nóng)機(jī)化學(xué)報(bào)， 2022， 43（10）： 176-182.

Shang Wenqing， Qi Hongbo. Identification algorithm of field weeds based on improved Faster R-CNN and transfer learning [J]. Journal of Chinese Agricultural Mechanization， 2022， 43（10）： 176-182.

[16]易佳昕， 張榮華， 劉長征， 等. 基于低空無人機(jī)影像和改進(jìn)Faster R-CNN的棉田雜草識(shí)別方法[J]. 石河子大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2022， 40（4）： 520-528.

Yi Jiaxin， Zhang Ronghua， Liu Changzheng， et al. Weed detection method in cotton field based on low altitude UAV image and improved Faster R-CNN [J]. Journal of Shihezi University （Natural Science）， 2022， 40（4）： 520-528.

[17]彭明霞， 夏俊芳， 彭輝. 融合FPN的Faster R-CNN復(fù)雜背景下棉田雜草高效識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2019， 35（20）： 202-209.

Peng Mingxia， Xia Junfang， Peng Hui， et al. Efficient recognition of cotton and weed in field based on Faster R-CNN by integrating FPN [J]. Transactions of the Chinese Society of Agricultural Engineering， 2019， 35（20）： 202-209.

[18]孟慶寬， 張漫， 楊曉霞， 等. 基于輕量卷積結(jié)合特征信息融合的玉米幼苗與雜草識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2020， 51（12）： 238-245， 303.

Meng Qingkuan， Zhang Man， Yang Xiaoxia， et al. Recognition of maize seedling and weed based on light weight convolution and feature fusion [J]. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（12）： 238-245， 303.

[19]李春明， 逯杉婷， 遠(yuǎn)松靈， 等. 基于Faster R-CNN的除草機(jī)器人雜草識(shí)別算法[J]. 中國農(nóng)機(jī)化學(xué)報(bào)， 2019， 40（12）： 171-176.

Li Chunming， Lu Shanting， Yuan Songling， et al. Weed identification algorithm of weeding robot based on Faster R-CNN[J]. Journal of Chinese Agricultural Mechanization， 2019， 40（12）： 171-176.

[20]孫騰飛. 白菜田的雜草識(shí)別研究[D]. 昆明：昆明理工大學(xué)， 2019.

Sun Tengfei. Study on weed identification in cabbage field [D]. Kunming：Kunming University of Science and Technology， 2019.

[21]韋保特. 甘蔗新品種桂糖42號(hào)在百色市的種植表現(xiàn)及高產(chǎn)栽培技術(shù)[J]. 現(xiàn)代農(nóng)業(yè)科技， 2016（12）： 101， 105.

[22]Ren Shaoqing. Faster R-CNN： Towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.

[23]Pang J， Chen K， Shi J， et al. Libra R-CNN： Towards balanced learning for object detection [C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019： 821-830.

[24]Zhang H， Chang H， Ma B， et al. Dynamic R-CNN： Towards high quality object detection via dynamic training [C]. Computer Vision-ECCV 2020： 16th European Conference， Glasgow， 2020： 260-275.

[25]Bodla N， Singh B， Chellappa R， et al. Soft-NMS-improving object detection with one line of code [C]. Proceedings of the IEEE International Conference on Computer Vision， 2017： 5561-5569.