doi:10.15889/j.issn.1002-1302.2024.20.027
摘要:針對(duì)圖像背景噪聲干擾大、有限標(biāo)注信息利用不充分所導(dǎo)致的對(duì)玉米葉片病蟲(chóng)害目標(biāo)檢測(cè)效果不佳的問(wèn)題,利用支持分支和查詢(xún)分支的雙分支網(wǎng)絡(luò)構(gòu)建了一種基于原型自適應(yīng)對(duì)齊網(wǎng)絡(luò)的小樣本玉米病蟲(chóng)害檢測(cè)方法。該方法首先對(duì)傳統(tǒng)的VGG-16網(wǎng)絡(luò)進(jìn)行改進(jìn),并在玉米病蟲(chóng)害檢測(cè)數(shù)據(jù)集上進(jìn)行微調(diào),增強(qiáng)模型對(duì)特定任務(wù)的泛化性能;其次,利用交叉注意力機(jī)制建立雙分支間信息的交互,挖掘分支間的共有語(yǔ)義;再次,借助支持圖片的真實(shí)掩碼將交互特征細(xì)粒度的分離為支持前景和背景,并在前景和背景特征上生成前景指導(dǎo)原型和背景輔助原型;最后,通過(guò)計(jì)算查詢(xún)混合特征和每一原型的相似度值,并根據(jù)相似度值給出預(yù)測(cè)結(jié)果。在自建的玉米病蟲(chóng)害檢測(cè)數(shù)據(jù)集上進(jìn)行測(cè)試,所提出方法的精準(zhǔn)率、召回率、F1和交并比(IoU)分別達(dá)到96.49%、96.03%、96.50%和83.19%,此外前景和背景的二分類(lèi)評(píng)價(jià)指標(biāo)前景背景交并比(FB-IoU)也達(dá)到93.62%,結(jié)果驗(yàn)證了本研究方法的優(yōu)越性。
關(guān)鍵詞:玉米;病蟲(chóng)害;小樣本;自適應(yīng)對(duì)齊;原型;交互特征;雙分支網(wǎng)絡(luò)
中圖分類(lèi)號(hào):TP391.41;S126" 文獻(xiàn)標(biāo)志碼:A
文章編號(hào):1002-1302(2024)20-0228-08
收稿日期:2024-07-15
基金項(xiàng)目:河南省高等學(xué)校重點(diǎn)科研項(xiàng)目(編號(hào):22B520039);河南省本科高校研究性教學(xué)改革研究與實(shí)踐項(xiàng)目(編號(hào):2022SYJXLX134);河南省本科高等學(xué)校智慧教學(xué)專(zhuān)項(xiàng)研究項(xiàng)目(編號(hào):83)。
作者簡(jiǎn)介:郝惠惠 (1989—),女,河南開(kāi)封人,碩士,講師,主要從事農(nóng)業(yè)信息化研究。E-mail:haohuhui@163.com。
玉米作為全球主要糧食作物之一,其產(chǎn)量和品質(zhì)直接關(guān)系到糧食安全和農(nóng)業(yè)經(jīng)濟(jì)的可持續(xù)發(fā)展。然而,玉米葉片病蟲(chóng)害嚴(yán)重威脅著玉米的健康生長(zhǎng)和產(chǎn)量,每年造成的經(jīng)濟(jì)損失巨大[1-2]。據(jù)統(tǒng)計(jì),全球因玉米病蟲(chóng)害導(dǎo)致的產(chǎn)量損失高達(dá)20%~30%,在某些嚴(yán)重發(fā)病年份甚至可達(dá)50%以上[3]。因此,及時(shí)、準(zhǔn)確地檢測(cè)和識(shí)別玉米葉片病蟲(chóng)害對(duì)于制定有效的防控措施、減少經(jīng)濟(jì)損失具有重要的意義。
傳統(tǒng)的病蟲(chóng)害檢測(cè)方法主要依賴(lài)于農(nóng)業(yè)專(zhuān)家的經(jīng)驗(yàn)判斷,這不僅耗時(shí)耗力,而且在面對(duì)大規(guī)模種植區(qū)域時(shí)往往力不從心[4]。隨著計(jì)算機(jī)視覺(jué)和人工智能技術(shù)的快速發(fā)展,基于圖像識(shí)別的自動(dòng)化病蟲(chóng)害檢測(cè)方法逐漸成為研究熱點(diǎn)[5-7]。這些方法不僅能夠提高檢測(cè)的效率和準(zhǔn)確性,還可以實(shí)現(xiàn)大規(guī)模、實(shí)時(shí)的監(jiān)測(cè),為精準(zhǔn)農(nóng)業(yè)提供有力支持。例如,施杰等利用輕量級(jí)模塊對(duì)YOLO v5s網(wǎng)絡(luò)進(jìn)行改進(jìn),并在層間引入注意力機(jī)制,增強(qiáng)模型對(duì)目標(biāo)區(qū)域的聚焦能力[8]。李英輝等利用主成分分析方法對(duì)不同尺度的特征進(jìn)行加權(quán)組合,并在重組的特征上構(gòu)建決策模型,有效提高了模型對(duì)病蟲(chóng)害的定位性能[9]。蘭玉彬等在原始的YOLO v5s網(wǎng)絡(luò)中引入輕量級(jí)模塊Ghost,有效降低了模型在推演階段的時(shí)間開(kāi)銷(xiāo),此外為了增強(qiáng)模型對(duì)小目標(biāo)區(qū)域的定位性能,引入注意力機(jī)制[10]。周一帆等利用作物病害的文本標(biāo)注和視覺(jué)圖片信息,建立了一種多模態(tài)特征對(duì)齊網(wǎng)絡(luò),并在馬鈴薯、番茄、蘋(píng)果等多種作物上驗(yàn)證了有效性[11]。張家瑜等針對(duì)復(fù)雜環(huán)境對(duì)檢測(cè)性能的影響,提出了一種選擇性注意力網(wǎng)絡(luò),通過(guò)多重注意力機(jī)制對(duì)不同的特征進(jìn)行加權(quán)融合,提升模型對(duì)關(guān)鍵信息的捕獲能力[12]。
雖然上述基于深度學(xué)習(xí)方法的作物病蟲(chóng)害葉片檢測(cè)方法可以提升檢測(cè)效率和檢測(cè)精度,然而現(xiàn)有的深度學(xué)習(xí)方法通常需要大量標(biāo)注樣本進(jìn)行訓(xùn)練,這在實(shí)際應(yīng)用中面臨著樣本獲取困難、標(biāo)注成本高等挑戰(zhàn)。雖然鄭旭康等等利用半監(jiān)督的方法降低了標(biāo)注樣本費(fèi)時(shí)費(fèi)力的問(wèn)題[13],然而該類(lèi)方法對(duì)未見(jiàn)過(guò)的病害類(lèi)型或和已見(jiàn)過(guò)病害類(lèi)型差異性較大的病害泛化性不強(qiáng),仍難以應(yīng)對(duì)實(shí)際生活中農(nóng)作物的病蟲(chóng)害檢測(cè)。因此,本研究提出一種基于原型自適應(yīng)對(duì)齊網(wǎng)絡(luò)的小樣本玉米作物病蟲(chóng)害檢測(cè)新方法。一方面利用小樣本學(xué)習(xí)網(wǎng)絡(luò)來(lái)解決玉米病蟲(chóng)害樣本稀缺條件下,檢測(cè)模型的性能過(guò)度依賴(lài)數(shù)據(jù)集的問(wèn)題,另一方面通過(guò)建立分支間信息的交互,以及細(xì)粒度挖掘病害區(qū)域、非病害區(qū)域的原型表示,增強(qiáng)模型對(duì)未知作物病蟲(chóng)害的泛化性和魯棒性。
1" 數(shù)據(jù)集介紹
本研究自建了一個(gè)玉米葉片病蟲(chóng)害數(shù)據(jù)集,包含5 000張高質(zhì)量的玉米葉片圖像,并選擇對(duì)玉米產(chǎn)量和品質(zhì)影響較大的6種常見(jiàn)病蟲(chóng)害黏蟲(chóng)、草地貪夜蛾、灰飛虱、銹病、斑病、葉枯病。不同類(lèi)型的病蟲(chóng)害如圖1所示。
所拍攝圖片的質(zhì)量直接影響模型的識(shí)別性能,本研究的所有圖片來(lái)源于網(wǎng)絡(luò)圖片和實(shí)際田間拍攝2個(gè)部分,其中田間拍攝照片采用高分辨率數(shù)碼相機(jī)(Canon EOS 5D Mark IV),拍攝地點(diǎn)為河南開(kāi)封通許縣,圖像的采集時(shí)間在7—9月。拍攝過(guò)程中采用了多角度、多光照條件的采集方法,以模擬實(shí)際應(yīng)用場(chǎng)景中可能遇到的各種情況。此外,采用LabelImg軟件對(duì)采集的4 600張圖像進(jìn)行人工標(biāo)注。為了進(jìn)一步提高數(shù)據(jù)集的質(zhì)量和可用性,筆者還進(jìn)行了數(shù)據(jù)增強(qiáng)處理,包括隨機(jī)旋轉(zhuǎn)、翻轉(zhuǎn)、亮度調(diào)整和對(duì)比度調(diào)整等,最終將數(shù)據(jù)集的規(guī)模擴(kuò)充到 13 800 張圖像,表1給出了數(shù)據(jù)集的詳細(xì)信息。
2" 原型自適應(yīng)對(duì)齊網(wǎng)絡(luò)
2.1" 任務(wù)定義
本研究利用支持分支和查詢(xún)分支的雙分支網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建了小樣本玉米作物病蟲(chóng)害檢測(cè)模型,旨在利用少量帶標(biāo)注的支持集指導(dǎo)查詢(xún)圖片中未知目標(biāo)的定位與識(shí)別,其中支持分支的輸入是玉米作物病蟲(chóng)害圖片和對(duì)應(yīng)的標(biāo)注信息,查詢(xún)分支的輸入是待測(cè)試的圖片。該任務(wù)涉及到2個(gè)數(shù)據(jù)集,即Base類(lèi)和Novel類(lèi),其中Base類(lèi)用于模型的訓(xùn)練,Novel類(lèi)用于模型的測(cè)試,并且Base類(lèi)和Novel類(lèi)沒(méi)有交集,即CBase∩CNovel=Φ。
此處采用現(xiàn)有小樣本學(xué)習(xí)的基本流程[14-15],即將Base類(lèi)和Novel劃分為多個(gè)子任務(wù),在每個(gè)子任務(wù)中建立支持集指導(dǎo)查詢(xún)分支中未知目標(biāo)的定位與識(shí)別的學(xué)習(xí)任務(wù)。具體地,給定支持集S={(Imsi,Msi)ki=1},其中:Imsi和Msi分別表示第i張支持圖片和對(duì)應(yīng)的支持掩碼;k表示支持樣本的個(gè)數(shù)。小樣本玉米作物病蟲(chóng)害檢測(cè)模型在支持集S上學(xué)習(xí)定位與識(shí)別能力,并將其遷移到查詢(xún)集Q={(Imq,Mq)}未知目標(biāo)的定位與識(shí)別任務(wù)上,其中:Imq和Mq分別表示查詢(xún)圖片及對(duì)應(yīng)的查詢(xún)掩碼,并且查詢(xún)掩碼僅在訓(xùn)練階段可見(jiàn),在測(cè)試階段不可用。
2.2" 模型結(jié)構(gòu)
圖2為本研究提出的基于原型自適應(yīng)對(duì)齊網(wǎng)絡(luò)的小樣本玉米病蟲(chóng)害檢測(cè)模型的結(jié)構(gòu)圖,包括特征編碼與交互、原型自適應(yīng)生成、病害檢測(cè)等部分。首先,利用ImageNet數(shù)據(jù)集預(yù)訓(xùn)練的 VGG-16 網(wǎng)絡(luò)作為基礎(chǔ)編碼器,并在該編碼器末端新添加2層卷積層和注意力層,旨在增強(qiáng)模型對(duì)特定任務(wù)的自適應(yīng)能力。其次,建立雙分支編碼特征間的信息交互,并借助支持圖片的真實(shí)掩碼將交互特征分離為目標(biāo)前景和背景特征。再次,在分離后的前景特征上以粗粒度方式生成前景原型,以細(xì)粒度方式生成背景原型。最后,通過(guò)計(jì)算查詢(xún)圖片在每個(gè)位置處的編碼特征與每一原型的相似度值,給出對(duì)應(yīng)的預(yù)測(cè)結(jié)果。
2.3" 特征編碼與交互
利用特征編碼器來(lái)提取圖片在深度特征空間中的抽象表示,是計(jì)算機(jī)視覺(jué)任務(wù)中的基礎(chǔ)步驟,此處以ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的VGG-16網(wǎng)絡(luò)為基礎(chǔ)編碼器,并借助遷移學(xué)習(xí)將預(yù)訓(xùn)練的模型參數(shù)遷移至小樣本玉米病蟲(chóng)害檢測(cè)特定任務(wù)中,充分利用VGG-16網(wǎng)絡(luò)在大規(guī)模圖像分類(lèi)任務(wù)中對(duì)通用特征的提取能力[16-17]。
首先,考慮到病蟲(chóng)害的多變性,包括生長(zhǎng)階段、尺寸、形體等的變化,僅采用預(yù)訓(xùn)練的VGG-16網(wǎng)絡(luò)作為編碼器,很難適應(yīng)小樣本玉米病蟲(chóng)害檢測(cè)的特定任務(wù),為此在VGG-16網(wǎng)絡(luò)的末端添加2層卷積層,其中第1層卷積層使用256個(gè)3×3的卷積核,第2層使用128個(gè)3×3的卷積核,2層的步長(zhǎng)均設(shè)置為1且均采用ReLU激活函數(shù)。此外,在新增加的每層卷積層后添加注意力層,旨在學(xué)習(xí)不同空間位置的重要性,使模型更好地關(guān)注病蟲(chóng)害癥狀的關(guān)鍵區(qū)域。
其次在自建數(shù)據(jù)集上對(duì)新添加的卷積層和注意力層進(jìn)行微調(diào),以增強(qiáng)模型對(duì)特定任務(wù)的泛化性。改進(jìn)的模型結(jié)構(gòu)如圖3所示。改進(jìn)后VGG-16網(wǎng)絡(luò)的前13層卷積層參數(shù)是凍結(jié)的,即仍然使用ImaeNet數(shù)據(jù)集上預(yù)訓(xùn)練的部分,新添加的2層卷積層和注意力層的參數(shù)是在自建的玉米病蟲(chóng)害數(shù)據(jù)集上進(jìn)行微調(diào)。然后,用改進(jìn)后的VGG-16網(wǎng)絡(luò)作為特征編碼器,將支持分支和查詢(xún)分支的輸入圖片映射到深度特征空間,即Fs和Fq。最后,為了挖掘分支間的共有語(yǔ)義,利用交叉注意力機(jī)制建立分支間信息的交互與對(duì)齊,交互特征可表示為公式(1)。
Fsq=Fs·(Fq)Td(FsFq)。(1)
式中:Fsq表示交互特征;d表示特征矩陣維度;表示特征拼接。
2.4" 原型自適應(yīng)生成
在雙分支網(wǎng)絡(luò)中,只有支持分支的輸入包含真實(shí)的標(biāo)注,此處以支持圖片的真實(shí)標(biāo)注作為監(jiān)督信號(hào),將分支間的交互特征進(jìn)行特征分離,即分離為目標(biāo)前景區(qū)域和背景區(qū)域特征,分離特征可表示為公式(2)。
Fsqf=Fsq·ζ(Fsq,Ms)
Fsqb=Fsq·ζ(Fsq,Lc-Ms)。(2)
式中:Fsqf和Fsqb分別表示分離后的前景和背景特征;ζ(·)表示維度轉(zhuǎn)換函數(shù),即將標(biāo)注圖片的維度下采樣至和Fsq相同的維度;Ms表示支持圖片的真實(shí)標(biāo)注;Lc表示當(dāng)前類(lèi)的類(lèi)標(biāo)簽值。分離后的前景特征區(qū)域中更多的是玉米作物病蟲(chóng)害的相關(guān)信息,是完整的目標(biāo), 因此采用粗粒度的編碼方式生成原
型,即將全局平均特征作為前景區(qū)域的原型。采用全局平均池化生成前景區(qū)域原型的好處在于:細(xì)粒度編碼方式更多采用的是局部編碼特征,這種編碼方式極易造成上下文語(yǔ)義的丟失以及目標(biāo)區(qū)域語(yǔ)義的破壞,另外目標(biāo)前景區(qū)域主要是完整的作物病蟲(chóng)害,利用全局編碼特征可以防止無(wú)關(guān)噪聲信息的引入。前景原型可表示為公式(3)。
Pf=1K×∑Kk=1Fsqfλ[Ms∈c]∑Kk=1λ[Ms∈c],c∈C。(3)
式中:Pf表示前景原型;k表示支持樣本個(gè)數(shù);λ(·) 表示真實(shí)函數(shù)。背景區(qū)域較為復(fù)雜,一方面目標(biāo)較多,另一方面無(wú)關(guān)噪聲干擾較大,僅利用粗粒度的編碼方式極易造成信息混亂。因此,本研究采用細(xì)粒度的編碼方式生成背景原型,此處采用超像素聚類(lèi)算法,將整張背景特征圖劃分為多個(gè)區(qū)域,并且滿(mǎn)足區(qū)域內(nèi)具有強(qiáng)相關(guān)性、區(qū)域間具有明確的強(qiáng)區(qū)分性的條件。超像素聚類(lèi)的原理如圖4所示。
超像素聚類(lèi)算法根據(jù)周?chē)袼亻g的相似性,將整張圖片劃分為多個(gè)區(qū)域[18-19],在每個(gè)超像素區(qū)域中利用平均池化技術(shù)生成原型,即整張圖片包含多個(gè)原型。這樣做是因?yàn)楸尘皡^(qū)域相比前景區(qū)域更復(fù)雜,目標(biāo)也更多,利用多個(gè)原型表示背景區(qū)域有助于降低因全局平均池化造成語(yǔ)義空間破壞的問(wèn)題;另外,相比單一原型表示多個(gè)目標(biāo),多個(gè)原型攜帶的語(yǔ)義信息更全,更具有代表性。此處在超像素區(qū)域中生成的原型可表示為公式(4)。
Pb(xi)=1K×∑Kk=1∑NxiFsqb(xi)·λ[Msc]∑Kk=1λ[Msc]。(4)
式中:Pb(xi)表示在超像素區(qū)域xi上生成的背景原型;N表示超像素的數(shù)量,個(gè)。將所有超像素拼接起來(lái),得到背景特征圖中的原型集,即Pb={Pb(x1),Pb(x2),…,Pb(xN)}。將前景原型和背景原型合并,得到最終的原型集P={Pf,Pb}。
2.5" 病蟲(chóng)害檢測(cè)
為了定位與識(shí)別查詢(xún)圖片中的病蟲(chóng)害區(qū)域,以常見(jiàn)的無(wú)參數(shù)度量方法逐位置計(jì)算查詢(xún)混合特征與原型集上每一原型間的相似度值,并根據(jù)相似度值給出匹配結(jié)果。匹配流程如圖5所示。
考慮到實(shí)際場(chǎng)景中對(duì)于硬件設(shè)備和成本的要求,此處采用無(wú)參數(shù)度量方法,即利用余弦相似度函數(shù)計(jì)算查詢(xún)特征Fq與原型P={Pf,Pb}上每一原型間的相似度值,并將每一位置處的最大相似度值對(duì)應(yīng)的像素值作為當(dāng)前位置的定位和分類(lèi)信息,具體計(jì)算如公式(5)所示。
Mq=argmax[cossim(Fq,pj)],
mqx,y=∑h,wx,y(Fq)T×pj‖F(xiàn)q‖‖pj‖。(5)
式中:mqx,y表示位置(x,y)處的相似度值;Mq表示查詢(xún)圖片Imq對(duì)應(yīng)的預(yù)測(cè)掩碼;h和w表示特征圖的長(zhǎng)和寬。通過(guò)計(jì)算預(yù)測(cè)標(biāo)簽和真實(shí)標(biāo)簽之間的交叉熵?fù)p失函數(shù),實(shí)現(xiàn)模型端到端的優(yōu)化。
3" 結(jié)果與分析
3.1" 試驗(yàn)環(huán)境與評(píng)價(jià)指標(biāo)
采用Python 3.8編程語(yǔ)言,深度學(xué)習(xí)框架選擇PyTorch 1.9.0,模型在NVIDIA GeForce RTX 3080 12 GB上訓(xùn)練,CUDA版本為11.1,cuDNN版本為8.0.5,CPU環(huán)境為Intel Core i9-10900K RAM: 64 GB DDR4。選擇Adam作為優(yōu)化器,設(shè)定初始學(xué)習(xí)率為1×10-4,權(quán)重衰減項(xiàng)設(shè)定為1×10-3。batch大小設(shè)定為8,模型迭代次數(shù)設(shè)定為200,模型訓(xùn)練與測(cè)試階段的損失曲線(xiàn)和精準(zhǔn)率曲線(xiàn)如圖6所示。
選擇當(dāng)前主流的評(píng)價(jià)指標(biāo)精準(zhǔn)率(P)、召回率(R)、F1分?jǐn)?shù)、交并比(IoU)和前景背景交并比(FB-IoU)來(lái)評(píng)估本研究模型的優(yōu)越性[20],具體計(jì)算如公式(6)和公式(7)所示。
P=TPTP+FP
R=TPTP+FN
F1分?jǐn)?shù)=2×P×RP+R。(6)
IoU=TPTP+FP+FN
FB-IoU=12∑2c=1IoUc。(7)
式中:TP表示預(yù)測(cè)正確的像素總數(shù);FP表示模型預(yù)測(cè)的標(biāo)簽是前景區(qū)域,但真是類(lèi)別是背景的像素總數(shù);FN表示模型預(yù)測(cè)的標(biāo)簽是背景區(qū)域,但真是類(lèi)別是目標(biāo)前景的像素總數(shù);c表示類(lèi)別。
3.2" 模型性能分析
3.2.1" 對(duì)比試驗(yàn)" 為了驗(yàn)證本研究提出的基于原型自適應(yīng)對(duì)齊網(wǎng)絡(luò)的小樣本玉米作物病蟲(chóng)害檢測(cè)模型的優(yōu)越性,選擇當(dāng)前主流的目標(biāo)檢測(cè)方法進(jìn)行對(duì)比試驗(yàn),包括Yolo v5s、Faster R-CNN、Inception v4、DeepLab v3+、Mask-RCNN。對(duì)比結(jié)果如表2所示,表中的結(jié)果是模型在6種病蟲(chóng)害上的平均檢測(cè)結(jié)果。
從表2可以看出,本研究方法分別獲得了96.49%的P、96.03%的R、96.50%的F1分?jǐn)?shù)、83.19%的IoU以及93.62%的FB-IoU。與當(dāng)前經(jīng)典的5種目標(biāo)檢測(cè)方法相比,本研究方法性能優(yōu)勢(shì)明顯。特別是相比所有對(duì)比方法中表現(xiàn)最好的Inception v4,這5個(gè)指標(biāo)分別提升了2.73、2.32、2.96、4.13、2.39百分點(diǎn)。以上結(jié)果驗(yàn)證了本研究方法在玉米病蟲(chóng)害檢測(cè)任務(wù)的綜合性能更優(yōu),具有一定的實(shí)際應(yīng)用價(jià)值。
3.2.2" 細(xì)粒度的檢測(cè)試驗(yàn)" 為了分析不同模型在小樣本玉米病蟲(chóng)害測(cè)試集上的性能,利用圖7所示的混淆矩陣反映不同模型對(duì)每種病蟲(chóng)害的識(shí)別性能。結(jié)果顯示,本研究方法對(duì)玉米病蟲(chóng)害的識(shí)別效果最佳,誤報(bào)和漏報(bào)的病蟲(chóng)害數(shù)量最少,尤其是在銹病、灰飛虱的識(shí)別性能上尤為明顯。部分黏蟲(chóng)會(huì)誤報(bào)為草地貪夜蛾和銹病,斑病會(huì)誤報(bào)為銹病和灰飛虱,這主要是因?yàn)樵缙陔A段的黏蟲(chóng)和草地貪夜蛾、銹病以及斑病和灰飛虱在顏色、形狀以及紋理方面具有高度的相似性,易于混淆;且所采用的數(shù)據(jù)集可能沒(méi)有充分覆蓋黏蟲(chóng)與銹病、草地貪夜蛾的特征變化,導(dǎo)致已訓(xùn)練模型在特定情況下無(wú)法準(zhǔn)確區(qū)分。為了進(jìn)一步驗(yàn)證本研究模型對(duì)不同病蟲(chóng)害的識(shí)別性能,分別在各病蟲(chóng)害的測(cè)試集上進(jìn)行試驗(yàn),詳細(xì)結(jié)果如表3所示。
從表3可以看出,本模型對(duì)6種病蟲(chóng)害的整體檢測(cè)效果較好,尤其是在銹病、灰飛虱、黏蟲(chóng)等作物病害上結(jié)果較佳。主要原因是銹病、灰飛虱、黏蟲(chóng)等作物病蟲(chóng)害發(fā)病癥狀較為明顯,與背景目標(biāo)的區(qū)分性較大,F(xiàn)B-IoU指標(biāo)也驗(yàn)證了該發(fā)現(xiàn),即目標(biāo)前景和背景的區(qū)分性較為明顯,同時(shí)也說(shuō)明了外觀、發(fā)病癥狀相似的不同病蟲(chóng)害的區(qū)分性是影響模型整體性能的關(guān)鍵因素。
3.3" 消融試驗(yàn)
為了分析本研究提出的基于原型自適應(yīng)對(duì)齊網(wǎng)絡(luò)的小樣本玉米病蟲(chóng)害檢測(cè)模型中不同模塊的性能(包括主干網(wǎng)絡(luò)中新添加卷積塊和注意力機(jī)制的作用、前景區(qū)域和背景區(qū)域的粗粒度和細(xì)粒度編碼模塊的作用),分別設(shè)計(jì)了3組消融試驗(yàn),詳細(xì)結(jié)果如表4所示。
本研究選擇的基線(xiàn)模型為VGG-16網(wǎng)絡(luò),并使用ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練過(guò)的網(wǎng)絡(luò)參數(shù),此外,在前景區(qū)域采用平均池化生成原型。變體方法一:主干網(wǎng)絡(luò)VGG-16的編碼層新添加2層卷積層和注意力層,并且在小樣本玉米病蟲(chóng)害數(shù)據(jù)集上進(jìn)行新添加層的微調(diào);變體方法二:在“變體方法一”的基礎(chǔ)上,在背景區(qū)域中采用超像素聚類(lèi)算法,以細(xì)粒度的方式生成多個(gè)原型。
從表4可以獲得以下發(fā)現(xiàn):(1)基線(xiàn)模型的識(shí)別精準(zhǔn)率為84.72%,IoU為60.34%,整體性能不佳,主要原因是基線(xiàn)模型僅采用了目標(biāo)前景區(qū)域特征,并且主干網(wǎng)絡(luò)是在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的模型,很難泛化到特定任務(wù)中。(2)在主干網(wǎng)絡(luò)中新添加卷積層和注意力層,可以顯著提升模型的識(shí)別性能,尤其是在前景和背景的二分類(lèi)定位任務(wù)上提升效果顯著,主要原因是在主干網(wǎng)絡(luò)的末端新添加可學(xué)習(xí)的卷積層可以提高模型對(duì)特定任務(wù)的自適應(yīng)能力,增強(qiáng)模型的泛化性,另外注意力機(jī)制的引入可以提高模型對(duì)目標(biāo)關(guān)鍵信息的捕獲能力,提升特征表達(dá)的可靠性。(3)背景區(qū)域的細(xì)粒度挖掘策略是有效的,尤其是在目標(biāo)前景的定位,以及前景和背景二分類(lèi)定位任務(wù)上提升效果較為明顯,主要原因是背景區(qū)域較為復(fù)雜,目標(biāo)類(lèi)型以及數(shù)量較多,僅用平均特征表示多個(gè)目標(biāo)的信息,極易造成信息的破壞、混亂以及語(yǔ)義歧義,不利于目標(biāo)的定位與識(shí)別。
綜上,通過(guò)聯(lián)合使用上述模塊,本研究模型的性能得到了顯著的提升,綜合性能表現(xiàn)最佳,驗(yàn)證了本研究模型的有效性。此外,為了直觀展示本研究不同變體模型對(duì)目標(biāo)區(qū)域的定位能力,將高維特征圖進(jìn)行可視化,可視化結(jié)果如圖8所示。可以看出,變體方法二(本研究模型)在病蟲(chóng)害區(qū)域定位和識(shí)別方面的性能優(yōu)于基線(xiàn)模型和變體方法一, 進(jìn)一
步驗(yàn)證了本研究模型的優(yōu)越性。
4" 結(jié)論
本研究基于支持分支和查詢(xún)分支的雙分支網(wǎng)絡(luò)結(jié)構(gòu),提出了一種新的小樣本玉米病蟲(chóng)害檢測(cè)方法,并通過(guò)對(duì)比試驗(yàn)和消融試驗(yàn)驗(yàn)證了模型的優(yōu)越性,主要結(jié)論如下:(1)在主干網(wǎng)絡(luò)中引入新的卷積層和注意力層有助于增強(qiáng)模型對(duì)特定任務(wù)的泛化性,與原始基線(xiàn)模型相比,精準(zhǔn)率、召回率、F1分?jǐn)?shù)、IoU和FB-IoU指標(biāo)均顯著提升。(2)前景區(qū)域的
粗粒度編碼策略能夠緩解因局部特征破壞導(dǎo)致上下文信息丟失的問(wèn)題。(3)背景區(qū)域的細(xì)粒度挖掘有助于降低無(wú)關(guān)背景信息的干擾,增強(qiáng)模型對(duì)前景和背景區(qū)域的定位能力。
未來(lái)工作中,將該項(xiàng)研究擴(kuò)展到蘋(píng)果、番茄、馬鈴薯等作物病蟲(chóng)害檢測(cè)任務(wù)中,并嘗試在田間實(shí)際場(chǎng)景中應(yīng)用,提高農(nóng)作物的品質(zhì)和產(chǎn)量,為農(nóng)戶(hù)增加經(jīng)濟(jì)收益助力。
參考文獻(xiàn):
[1]吳葉輝,李汝嘉,季榮彪,等. 基于隨機(jī)增強(qiáng)Swin-Tiny Transformer的玉米病害識(shí)別及應(yīng)用[J]. 吉林大學(xué)學(xué)報(bào)(理學(xué)版),2024,62(2):381-390.
[2]李名博,任東悅,郭俊旺,等. 基于改進(jìn)YOLOX-S的玉米病害識(shí)別[J]. 江蘇農(nóng)業(yè)科學(xué),2024,52(3):237-246.
[3]Xu W,Li W,Wang L,et al. Enhancing corn pest and disease recognition through deep learning: a comprehensive analysis[J]. Agronomy,2023,13(9): 2242-2251.
[4]張彥通,蘇前敏. 基于遷移學(xué)習(xí)的玉米病害圖像識(shí)別[J]. 中國(guó)農(nóng)業(yè)科技導(dǎo)報(bào),2023,25(10):119-125.
[5]zden C. Corn disease detection using transfer learning[J]. Black Sea Journal of Engineering and Science,2023,6(4): 387-393.
[6]蘇俊楷,段先華,葉趙兵. 改進(jìn)YOLO v5算法的玉米病害檢測(cè)研究[J]. 計(jì)算機(jī)科學(xué)與探索,2023,17(4):933-941.
[7]張友為,王鑫鑫,范曉飛. 基于深度學(xué)習(xí)的玉米和番茄病蟲(chóng)害檢測(cè)技術(shù)研究進(jìn)展[J]. 江蘇農(nóng)業(yè)科學(xué),2024,52(10):10-20.
[8]施" 杰,林雙雙,張" 威,等. 基于輕量化改進(jìn)型YOLO v5s的玉米病蟲(chóng)害檢測(cè)方法[J]. 江蘇農(nóng)業(yè)學(xué)報(bào),2024,40(3):427-437.
[9]李英輝,王曉寰,趙翠儉. 多特征融合方法在馬鈴薯圖像快速檢測(cè)中的應(yīng)用[J]. 機(jī)械設(shè)計(jì)與制造,2024(8):54-58.
[10]蘭玉彬,孫斌書(shū),張樂(lè)春,等. 基于改進(jìn)YOLO v5s的自然場(chǎng)景下生姜葉片病蟲(chóng)害識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào),2024,40(1):210-216.
[11]周一帆,劉東洋,周宇平. 基于多模態(tài)特征對(duì)齊的作物病害葉片檢測(cè)[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào),2024,45(7):180-187.
[12]張家瑜,朱" 銳,邱" 威,等. 基于選擇性注意力神經(jīng)網(wǎng)絡(luò)的木薯葉病害檢測(cè)算法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2024,55(5):254-262,272.
[13]鄭旭康,李志忠,秦俊豪. 基于半監(jiān)督學(xué)習(xí)的梨葉病害檢測(cè)[J]. 江蘇農(nóng)業(yè)科學(xué),2024,52(5):192-201.
[14]Song Y,Zhang H,Li J,et al. High-accuracy maize disease detection based on attention generative adversarial network and few-
shot learning[J]. Plants,2023,12(17):1-8.
[15]Rezaei M,Diepeveen D,Iaga H,et al. Plant disease recognition in a low data scenario using few-shot learning[J].Computers and Electronics in Agriculture,2024,219:1-9.
[16]趙恒謙,楊屹峰,劉澤龍,等. 農(nóng)作物葉片病害遷移學(xué)習(xí)分步識(shí)別方法[J].測(cè)繪通報(bào),2021(7):34-38.
[17]Shahoveisi F,Taheri Gorji H,Shahabi S,et al. Application of image processing and transfer learning for the detection of rust disease[J]. Scientific Reports,2023,13(1):14-26.
[18]Abbas A,Zhang Z,Zheng H,et al. Drones in plant disease assessment,efficient monitoring,and detection: a way forward to smart agriculture[J]. Agronomy,2023,13(6):15-24.
[19]尚增強(qiáng),楊東福,馬質(zhì)璞. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的大豆葉片多種病害分類(lèi)識(shí)別[J].大豆科學(xué),2021,40(5):662-668.
[20]Ahmad A,Saraswat D,El Gamal A. A survey on using deep learning techniques for plant disease diagnosis and recommendations for development of appropriate tools[J].Smart Agricultural Technology,2023,3:1-9.