牛玉霞 孫宙紅 任偉 陳林琳 陳莉莉

摘要：針對傳統(tǒng)馬鈴薯病害葉片檢測方法過度依賴大量訓(xùn)練數(shù)據(jù)以及對未知病害識別泛化性不強(qiáng)的問題，提出一種基于分層特征對齊網(wǎng)絡(luò)的小樣本馬鈴薯病害葉片檢測模型。首先，收集并整理包含多種病害類型的弱標(biāo)注馬鈴薯病害葉片數(shù)據(jù)集。其次，在支持分支中建立文本語義和視覺語義的多模態(tài)雙層特征語義表示，并利用預(yù)訓(xùn)練網(wǎng)絡(luò)生成多個候選框。再次，利用卷積神經(jīng)網(wǎng)絡(luò)將候選框區(qū)域映射到深度特征空間，并借助無參數(shù)的度量方法實(shí)現(xiàn)文本語義與視覺語義的特征對齊。最后，將查詢分支中的未知類病害圖片與多模態(tài)視覺和文本語義關(guān)聯(lián)集進(jìn)行度量計算，根據(jù)相似度值快速給出待測圖片中未知新類的病害類別。通過在自建的馬鈴薯病害葉片數(shù)據(jù)集和開源數(shù)據(jù)集上進(jìn)行測試，所提出模型分別可以實(shí)現(xiàn)93.55%和96.35%的識別精度，在跨域數(shù)據(jù)集上可以實(shí)現(xiàn)95.15%和94.06%的識別精度，優(yōu)于當(dāng)前經(jīng)典的目標(biāo)檢測模型，具有一定的實(shí)際應(yīng)用價值。

關(guān)鍵詞：馬鈴薯病害；葉片檢測；分層特征對齊網(wǎng)絡(luò)；文本語義；視覺語義

中圖分類號：TP391

文獻(xiàn)標(biāo)識碼：A

文章編號：20955553 （2024） 02025009

收稿日期：2023年9月20日 ?修回日期：2023年11月1日

基金項目：江蘇省農(nóng)業(yè)農(nóng)村污染防治技術(shù)與裝備工程研究中心開發(fā)資金資助（GCZXYB2305）

第一作者：牛玉霞，女，1981年生，山西壺關(guān)人，碩士，講師；研究方向為計算機(jī)應(yīng)用技術(shù)、智慧農(nóng)業(yè)、病害檢測。Email： niuyuxia533@sina.com

通訊作者：陳林琳，女，1979年生，江蘇南通人，碩士，副教授；研究方向為數(shù)字農(nóng)業(yè)、大數(shù)據(jù)技術(shù)。Email： youjiu1640628ke@163.com

Fewshot potato disease leaf detection based on hierarchical feature alignment network

Niu Yuxia1， 2， Sun Zhouhong3， Ren Wei1， 2， Chen Linlin1， 2， Chen Lili1， 2

（1. School of Information and Intelligent Engineering， Nantong College of Science and Technology， Nantong，

226007， China; 2. Jiangsu Province Engineering Research Center of Agricultural and Rural Pollution Prevention

Technology and Equipment， Nantong， 226007， China; 3. Yunnan University， Kunming， 650000， China）

Abstract：

In order to address the problems of the overreliance on large amounts of training data and the poor generalization of unseen disease identification in traditional potato disease leaf detection methods， a fewshot potato disease leaf detection model based on hierarchical feature alignment network is proposed. Firstly， a weakly labeled dataset containing various types of potato diseases were collected and annotated. Secondly， the multimodal bimodal feature semantic representations of textual and visual semantics in the support branch were established， and multiple candidate boxes were generated using a pretrained region proposal network. Thirdly， a convolutional neural network was adopted to map the candidate box regions into deep feature space， and feature alignment was performed between textual and visual semantics using an unparameterized metric method. Finally， the similarity was computed between the unseen class disease images in the query branch and the multimodal visual and textual semantic association set， and the disease category of the unseen new class was quickly provided according to the similarity value. Through testing on selfbuilt potato disease leaf datasets and open source datasets， the proposed models can achieve recognition accuracy of 93.55% and 96.35% on the test sets， respectively， and 95.15% and 94.06% on the crossdomain datasets， which is superior to the current classical object detection models. The proposed method has certain practical application value.

Keywords：

potato disease; leaf detection; hierarchical feature alignment network; textual semantics; visual semantics

0 引言

作為全球最重要的糧食作物之一，馬鈴薯在主食領(lǐng)域發(fā)揮著重要作用，同時在工業(yè)和飼料方面也具有巨大潛力。然而，隨著全球氣候變化的不斷加劇，馬鈴薯葉片的病害頻率和嚴(yán)重程度也在不斷上升，這給馬鈴薯的產(chǎn)量和質(zhì)量帶來了巨大的挑戰(zhàn)。因此，研究馬鈴薯病害葉片檢測技術(shù)顯得尤為重要。

傳統(tǒng)的馬鈴薯病害葉片檢測主要依賴于人工田間巡查和肉眼觀察，這種方法存在耗時、費(fèi)力且準(zhǔn)確性不高的問題［12］。近年來，隨著機(jī)器學(xué)習(xí)和圖像處理技術(shù)的快速發(fā)展，基于計算機(jī)視覺的馬鈴薯病害檢測技術(shù)應(yīng)運(yùn)而生［3］。這種技術(shù)利用高精度設(shè)備獲取馬鈴薯植株的圖像數(shù)據(jù)，并結(jié)合深度學(xué)習(xí)算法進(jìn)行圖像分析和識別，從而實(shí)現(xiàn)對馬鈴薯病害的自動檢測和分類［4］。如趙越等［5］利用Faster RCNN設(shè)計了一種新的馬鈴薯葉片病害檢測方法，針對數(shù)據(jù)集有限的問題，利用數(shù)據(jù)增強(qiáng)的方式對多種病害圖片進(jìn)行擴(kuò)展，并采用參數(shù)遷移的方式對模型進(jìn)行初始化，通過與Yolo V3和V4等模型進(jìn)行對比，驗證了所設(shè)計模型在處理馬鈴薯病害葉片識別任務(wù)中的優(yōu)越性。類似的工作還包括王林柏等［6］提出的基于卷積神經(jīng)網(wǎng)絡(luò)的馬鈴薯葉片病害識別方法，該方法通過改進(jìn)Inception V3網(wǎng)絡(luò)提出了一種新的CenterSPP模型，并在多個場景下驗證了模型的有效性。肖志云等［7］提出了一種基于自適應(yīng)特征融合網(wǎng)絡(luò)的馬鈴薯葉片病害識別方法，通過利用多種機(jī)器學(xué)習(xí)算法定位給定圖片中的病害區(qū)域，根據(jù)顏色、紋理和形狀等特征對病害區(qū)域特征進(jìn)行主成分分析，利用分析結(jié)果快速判定病害類型。雖然上述利用機(jī)器學(xué)習(xí)或?qū)＜医?jīng)驗進(jìn)行病害區(qū)域定位的方法在多個場景下取得了令人滿意的結(jié)果，但該類方法的識別性能過度依賴大量帶標(biāo)注的訓(xùn)練樣本，不利于實(shí)際應(yīng)用。

針對識別性能過于依賴訓(xùn)練數(shù)據(jù)的問題，章廣傳等［8］利用遷移學(xué)習(xí)算法提出了一種馬鈴薯病害葉片識別方法，首先在特征提取階段利用多種遷移方式進(jìn)行特征提取，其次，借助混淆矩陣對多種遷移效果進(jìn)行評估，最后，在自建數(shù)據(jù)集上進(jìn)行測試，驗證了所設(shè)計模型的有效性。邢鵬康等［9］提出了一種小樣本學(xué)習(xí)的馬鈴薯葉片病害檢測模型，旨在緩解數(shù)據(jù)樣本標(biāo)注費(fèi)時費(fèi)力、新類識別的泛化性能不強(qiáng)的問題，該方法主要借助動態(tài)卷積神經(jīng)網(wǎng)絡(luò)捕獲病害區(qū)域特征，提高了不規(guī)則病害區(qū)域的定位精度。上述利用參數(shù)遷移或模型遷移的方式可以有效緩解模型因數(shù)據(jù)樣本不足導(dǎo)致過擬合的問題，并且在開源和自建數(shù)據(jù)集上驗證了模型的有效性。然而在實(shí)際應(yīng)用中，馬鈴薯早期病害類型診斷難度大，只有確定病害類型后才將病害圖片加入馬鈴薯病害葉片數(shù)據(jù)集中，這使得已訓(xùn)練過的深度神經(jīng)網(wǎng)絡(luò)模型很難泛化到未知馬鈴薯葉片新病害識別任務(wù)中，識別性能難以滿足實(shí)際應(yīng)用。

針對傳統(tǒng)馬鈴薯葉片病害識別方法的性能過度依賴帶標(biāo)注的數(shù)據(jù)樣本問題以及已訓(xùn)練過的深度模型對未知新類病害泛化性能不強(qiáng)的問題，本文提出一種基于視覺和文本語義分層特征對齊網(wǎng)絡(luò)的小樣本馬鈴薯病害葉片識別模型。首先，利用預(yù)訓(xùn)練網(wǎng)絡(luò)生成多個候選框，并利用卷積神經(jīng)網(wǎng)絡(luò)將候選框區(qū)域映射到深度特征空間；其次，建立病害文本庫；再次，借助一種無參數(shù)的度量實(shí)現(xiàn)視覺語義與文本語義的特征對齊；最后，將待識別的查詢圖片映射到深度特征空間，并計算特征與文本視覺語義對之間的相似度值，根據(jù)相似度值快速判定待測馬鈴薯病害葉片的類型。

1 馬鈴薯病害葉片數(shù)據(jù)集

依托甘肅定西某馬鈴薯生產(chǎn)基地構(gòu)造本文所采用的馬鈴薯葉片病害葉片數(shù)據(jù)集，采用佳能（Canon）EOS R8 RF 24-50搭載STM鏡頭作為拍攝設(shè)備。拍攝的所有圖片統(tǒng)一大小為448像素×448像素，總共包含1137張原始圖片，并經(jīng)過旋轉(zhuǎn)、遮擋、部分裁剪、濾鏡等方式進(jìn)行數(shù)據(jù)增強(qiáng)，最后獲得7534張圖片作為模型的訓(xùn)練集，107張圖片作為測試集。其中，訓(xùn)練集包含炭疽病、葉枯病、黑斑病、灰霉病、黃葉病和健康葉片等六種，測試集包含葉斑病、褐斑病和銹病三種，詳細(xì)信息如表1所示。訓(xùn)練集中的不同病害樣本和健康樣本示例如圖1所示。經(jīng)過數(shù)據(jù)增強(qiáng)的訓(xùn)練樣本示例如圖2所示。

2 馬鈴薯病害葉片檢測方法

2.1 模型結(jié)構(gòu)

本文提出的基于分層特征對齊網(wǎng)絡(luò)的小樣本馬鈴薯病害葉片檢測方法采用小樣本元學(xué)習(xí)框架，即在支持分支中學(xué)習(xí)遷移知識，并將其推廣到查詢集中未知新類的定位與識別任務(wù)中，主要包括5部分。（1）候選區(qū)域生成：利用預(yù)訓(xùn)練的區(qū)域生成網(wǎng)絡(luò)裁剪出多個目標(biāo)的候選區(qū)域；并借助上采樣操作統(tǒng)一區(qū)域特征圖的大小。（2）視覺特征提取：利用預(yù)訓(xùn)練的Vgg16網(wǎng)絡(luò)提取多個候選區(qū)域的特征，并構(gòu)造特征集。（3）利用預(yù)訓(xùn)練的BERT將病害庫中的文本映射到文本語義空間。（4）利用無參數(shù)的度量方法實(shí)現(xiàn)文本與視覺語義的特征對齊。（5）在測試階段，將利用預(yù)訓(xùn)練的特征提取器將查詢圖片映射到視覺語義空間，通過計算每一位置處的特征與文本—視覺特征之間的相似度，快速定位病害區(qū)域并給出病害類型。模型結(jié)構(gòu)如圖3所示。

2.2 候選區(qū)域生成

整張圖片中馬鈴薯葉片病害區(qū)域占比較小，尤其是早期病害區(qū)域極小、并且病害區(qū)域顏色較模糊，這給利用整張圖片進(jìn)行病害區(qū)域定位與識別增加了難度。為此，本文首先利用候選區(qū)域生成網(wǎng)絡(luò)（Region Proposal Network，RPN）［1011］細(xì)粒度地提取目標(biāo)對應(yīng)的局部區(qū)域，有效緩解整張圖片中無關(guān)背景噪聲對模型性能的干擾。RPN網(wǎng)絡(luò)是目標(biāo)檢測領(lǐng)域常用的神經(jīng)網(wǎng)絡(luò)框架，自從2014年Jitendra等提出后，其在計算機(jī)視覺領(lǐng)域得到了廣泛的應(yīng)用。RPN的原理是基于卷積神經(jīng)網(wǎng)絡(luò)，首先使用預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型將給定圖片映射到深度特征空間，并利用滑動窗口、偏移轉(zhuǎn)置等操作在提取的特征圖中生成一系列候選區(qū)域框，并通過不斷調(diào)整使得候選框區(qū)域盡可能包含目標(biāo)前景信息，這在一定程度上會降低無關(guān)噪聲信息的干擾。RPN的工作原理如圖4所示。

值得注意的是，由于候選框設(shè)定的比例不同，導(dǎo)致生成滑動窗口區(qū)域大小也不盡相同［12］，此處采用的滑動窗口大小設(shè)定為3×3、5×5和7×7，并利用非極大值抑制方法對生成的候選區(qū)域框進(jìn)行篩選，最終設(shè)定候選框的縱橫比為1∶1、1∶2和2∶1，對應(yīng)的區(qū)域框圖大小為128×128、256×256和512×512。

然而，提取不同大小的候選框區(qū)域勢必導(dǎo)致特征圖大小不相同，增加了特征提取階段的運(yùn)算成本［13］。為此，在特征提取之前，利用RoI Alignment技術(shù)將不同候選框?qū)?yīng)的特征圖統(tǒng)一為相同大?。?4］。具體地，此處選擇所有候選框中最大面積區(qū)域的長和寬，并采用雙線性插值算法將不同候選框統(tǒng)一為預(yù)定的長和寬，并以歸一化后的特征圖作為視覺特征提取模型的輸入。

2.3 視覺特征提取

利用預(yù)訓(xùn)練的主干網(wǎng)絡(luò)將圖片映射到深度特征空間已成為計算機(jī)視覺任務(wù)中一個標(biāo)準(zhǔn)的步驟［15］?？紤]到深度模型對硬件資源的高要求，選擇在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的Vgg16、ResNet50和ResNet101網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)提取多個候選區(qū)域的深度視覺語義特征。馬鈴薯葉片病害區(qū)域相比整張圖片占比較小，利用當(dāng)前主流的大模型或深度網(wǎng)絡(luò)極易造成深度語義特征的丟失，尤其是經(jīng)過16倍率或32倍率的下采樣后，小目標(biāo)病害區(qū)域的特征極易被當(dāng)做背景而忽略［1617］。以Vgg16網(wǎng)絡(luò)為例，進(jìn)行闡述特征提取的流程，Vgg16網(wǎng)絡(luò)總共包括16層，其中13層為卷積層和池化層，剩余3層為全連接層。利用Vgg16提取的多個候選框的視覺語義特征可表示為式（1）。

Fv=∑H×Wh×wσ（Fs）

（1）

式中：

h、w——滑動窗口的長、寬；

H、W——原始圖片的長、寬；

σ（·）——Vgg-16網(wǎng)絡(luò)；

Fs——候選框區(qū)域?qū)?yīng)的特征圖；

Fv——多個候選框?qū)?yīng)的特征集。

2.4 文本特征提取

傳統(tǒng)的馬鈴薯病害葉片識別方法過多依賴已見過的病害，對于未知的病害識別性能不佳［18］。存在的潛在原因是馬鈴薯病害類型多樣，前期病害類型的診斷與命名需要依賴專家經(jīng)驗，并且病害類型與對應(yīng)的圖片需要人工建立監(jiān)督信息。這極大地增加了人工標(biāo)注的開銷，并且模型的泛化性能依賴網(wǎng)絡(luò)模型的微調(diào)，不利于實(shí)際應(yīng)用。針對上述問題，本文設(shè)計了一種離線式的文本與視覺語義對齊網(wǎng)絡(luò)，主要優(yōu)勢是當(dāng)新的馬鈴薯病害類添加時，所提出的模型無需進(jìn)一步微調(diào)網(wǎng)絡(luò)模型，僅在病害文本庫中添加對應(yīng)的病害文本，并經(jīng)過詞向量轉(zhuǎn)換模型建立與視覺語義的對齊。此處，采用預(yù)訓(xùn)練的BERT詞向量映射網(wǎng)絡(luò)模型［19］，BERT網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

BERT是一種自然語言處理模型，近年來在文本分類、情感分析和說話人識別領(lǐng)域應(yīng)用廣泛。結(jié)合圖5，每一文本標(biāo)簽可表示為lb={l1，l2，…，ln}，馬鈴薯病害文本標(biāo)簽集可表示為LB={lb1，lb2，…，lbm}，其中m表示病害類型的總數(shù)，n表示詞向量的長度，TE表示預(yù)訓(xùn)練的多層雙向Transformer編碼器［18］，利用TE將每一文本標(biāo)簽轉(zhuǎn)換為對應(yīng)的詞向量矩陣V，具體計算如式（2）所示。

V=∑ni=1s（li）

（2）

式中：

V——

每一病害類型的詞向量矩陣，V={v1，v2，…，vn}；

li——

文本標(biāo)簽中第i個詞的向量化表示；

s（·）——文本詞向量轉(zhuǎn)換函數(shù)。

最后，將所有詞向量矩陣存儲在列表中，構(gòu)造馬鈴薯病害詞庫VB={V1，V2，…，Vm}。

2.5 視覺文本語義對齊

為了實(shí)現(xiàn)馬鈴薯病害葉片的視覺語義特征與文本詞庫之間的語義對齊，采用無參數(shù)的度量方法計算視覺語義與文本詞庫中每一標(biāo)簽語義的相似度［20］，根據(jù)相似度值快速給出待測馬鈴薯葉片區(qū)域的標(biāo)簽，實(shí)現(xiàn)病害區(qū)域的定位與分類。此處，考慮到視覺語義特征與文本語義特征在深度空間中分布的一致性［21］，選擇余弦相似度方法計算視覺語義特征與文本語義特征間的相似度，具體計算如式（3）所示。

Sc=Fvi·Vj‖F(xiàn)vi‖‖Vj‖

（3）

式中：

Sc——相似度分?jǐn)?shù)。

根據(jù)相似度值建立視覺與文本語義對之間的關(guān)聯(lián)，即構(gòu)造視覺—文本語義對{（Fv1，v1），（Fv2，v2），…，（Fvn，vn）}。

2.6 病害葉片識別

為了提高模型對未知馬鈴薯病害葉片的泛化性能，采用小樣本元學(xué)習(xí)范式，即將任務(wù)劃定為多個子任務(wù)，在每個子任務(wù)中利用支持圖片和對應(yīng)的標(biāo)簽信息指導(dǎo)查詢圖片中未知新類的識別與定位。在測試階段采用相同的學(xué)習(xí)范式，將測試集劃分為多個子任務(wù)，每個任務(wù)中利用支持信息指導(dǎo)查詢圖片中未知病害區(qū)域的定位和病害類型的識別，這極大地促進(jìn)了模型對于未知新類的泛化性能。此處，仍然采用無參數(shù)的度量實(shí)現(xiàn)待測馬鈴薯病害葉片的視覺特征與文本標(biāo)簽庫中每一標(biāo)簽之間的相似度值，并根據(jù)相似度值給出對應(yīng)的預(yù)測標(biāo)簽。具體計算如式（4）所示。

Scq=

w1×Fvqi·Vj‖F(xiàn)vqi‖‖Vj‖+w2×

Fvqi·Fvsi‖F(xiàn)vqi‖‖F(xiàn)vsi‖

（4）

式中：

w1、w2——可學(xué)習(xí)參數(shù)；

Scq——

測試階段查詢圖片中病害區(qū)域與已知特征集和文本集之間的相似度值；

Fvqi——測試階段的查詢特征；

Fvsi——支持特征。

為實(shí)現(xiàn)模型端到端的優(yōu)化，建立預(yù)測標(biāo)簽與真實(shí)標(biāo)簽之間的交叉熵?fù)p失［22］，具體計算如式（5）所示。

ls=－∑lb×log（pl）

（5）

式中：

ls——

預(yù)測值與真實(shí)值間的交叉熵?fù)p失；

pl——預(yù)測的馬鈴薯病害葉片標(biāo)簽；

lb——真實(shí)的標(biāo)簽；

log（·）——對數(shù)函數(shù)。

3 試驗

3.1 試驗環(huán)境與評價指標(biāo)

所有試驗均基于Linux操作系統(tǒng)，搭載cuDNN深度學(xué)習(xí)加速庫、NVIDIA CUDA 11.1。深度學(xué)習(xí)框架選擇PyTorch，編程語言采用Python 3.7.1，編輯器選擇PyCharm，GPU為NVIDIA Tesla A100 80GB。設(shè)定初始學(xué)習(xí)率為0.008，batch的大小設(shè)定為8，選擇SGD作為優(yōu)化器。模型迭代次數(shù)設(shè)定為300，候選框的個數(shù)設(shè)定為3。所有超參數(shù)的設(shè)定依據(jù)如圖6、圖7所示。

（a） 學(xué)習(xí)率與精準(zhǔn)率的對應(yīng)關(guān)系

（b） 候選框個數(shù)與精準(zhǔn)率的對應(yīng)關(guān)系

（c） Batch大小與精準(zhǔn)率的對應(yīng)關(guān)系

為了公平地與當(dāng)前主流的馬鈴薯病害葉片檢測模型相比，選擇主流的評價指標(biāo)：精準(zhǔn)率Precision、召回率Recall和F1score。具體計算如式（6）～式（8）所示。

Precision=TPTP+FP×100%

（5）

Recall=TPTP+FN×100%

（6）

F1score=2×Precision×RecallPrecision+Recall×100%

（7）

式中：

TP——

模型正確預(yù)測的馬鈴薯病害葉片總數(shù)；

FP——

模型將健康樣本錯誤的預(yù)測為病害葉片的總數(shù)；

FN——

模型沒有檢測出的馬鈴薯病害葉片總數(shù)。

（a） 精準(zhǔn)率曲線

（b） 損失曲線

3.2 試驗結(jié)果與分析

本文模型的訓(xùn)練和測試在自建的馬鈴薯病害葉片數(shù)據(jù)集和開源的AI Challenger 2018數(shù)據(jù)集上進(jìn)行［23］。開源馬鈴薯病害葉片數(shù)據(jù)集中主要包括健康馬鈴薯葉片、黑痣病、黃葉病、炭疽病、青枯病、灰霉病。選擇3000張圖片，并按照7∶3的比例劃分為訓(xùn)練集和測試集。

1） 開源數(shù)據(jù)集上測試結(jié)果。為驗證所設(shè)計模型的有效性，在相同的數(shù)據(jù)集和評價指標(biāo)下與當(dāng)前經(jīng)典的馬鈴薯病害葉片檢測模型進(jìn)行對比試驗，詳細(xì)結(jié)果如表2所示?？梢钥闯?，所提出的三個模型檢測性能均優(yōu)于當(dāng)前經(jīng)典的馬鈴薯病害葉片識別方法。以Vgg16、ResNet50和ResNet101作為主干網(wǎng)絡(luò)時，所提出模型的性能呈現(xiàn)遞增趨勢，主要原因是ResNet網(wǎng)絡(luò)比Vgg網(wǎng)絡(luò)具有更多的卷積層和池化層，更能捕獲深度空間中病害區(qū)域的關(guān)鍵信息。相比所有對比模型中性能最好的FLDNet模型，以ResNet101為主干網(wǎng)絡(luò)的檢測模型在精準(zhǔn)率方面提高了2.54%，在召回率方面提高了3.07%。特別是，在F1score方面，相比Transformer網(wǎng)絡(luò)提高了2.78%。

上述結(jié)果也驗證了所設(shè)計模型在開源數(shù)據(jù)集上的有效性，究其原因是：所提出模型利用區(qū)域生成網(wǎng)絡(luò)細(xì)粒度提取了多個包含目標(biāo)信息的候選區(qū)域，更有助于模型捕獲到更有效的病害信息，極大程度降低了無關(guān)噪聲的干擾；所提出模型結(jié)合了文本語義和視覺語義的多模態(tài)信息，更有助于提高模型的泛化性能，因為在文本標(biāo)簽庫中標(biāo)簽特征映射模型無需再次微調(diào)，新添加標(biāo)簽可以實(shí)時更新；采用的小樣本元學(xué)習(xí)范式在多個子任務(wù)中學(xué)習(xí)泛化性能，并將其學(xué)習(xí)規(guī)則推廣到未知新病害類的識別任務(wù)中，進(jìn)一步提高了模型對未知新類的定位與識別能力。

此外，為了進(jìn)一步展示所提出模型的有效性，選擇部分測試樣本進(jìn)行可視化，并與多種經(jīng)典模型進(jìn)行對比，不同模型的可視化結(jié)果如圖8所示。可以看出，所提出模型可以捕獲到更多的細(xì)節(jié)信息。

2） 自建數(shù)據(jù)集上的測試結(jié)果。為驗證所提出模型在實(shí)際場景中的識別性能，在自建的馬鈴薯病害葉片小樣本數(shù)據(jù)集上進(jìn)行測試，并與上述提到的經(jīng)典模型進(jìn)行對比試驗，詳細(xì)結(jié)果如表3所示。

從表3可以看出，相比開源數(shù)據(jù)集上的測試結(jié)果，在自建數(shù)據(jù)集上的測試結(jié)果整體性能呈現(xiàn)下降趨勢，因為自建數(shù)據(jù)集樣本量較少，另外人工標(biāo)注還不夠完善，在一定程度上增加了誤差。具體地，與所有經(jīng)典的目標(biāo)檢測模型相比，所提出模型仍然具有很大的優(yōu)勢，在精準(zhǔn)率方面，相比Faster RCNN和FLDNet，以ResNet101為主干網(wǎng)絡(luò)的檢測模型提高了2.72%和2.84%；在召回率方面，相比FLDNet和Transformer網(wǎng)絡(luò)，提高了2.74%和2.87%；在F1score方面，相比Transformer網(wǎng)絡(luò)和Faster RCNN模型，提高了1.90%和1.92%。上述結(jié)果進(jìn)一步驗證了所設(shè)計模型在更復(fù)雜的環(huán)境下同樣具有可競爭性。

為進(jìn)一步驗證所提出模型對每一種病害葉片的識別精度，設(shè)計了如圖9所示的混淆矩陣。可以看出，所設(shè)計的模型在葉斑病、褐斑病和銹病三種病害類型上實(shí)現(xiàn)了92.07%、93.59%和93.28%的識別精度。上述結(jié)果進(jìn)一步驗證了所提出模型在實(shí)際場景中的有效性，這為實(shí)現(xiàn)智能農(nóng)業(yè)提供了理論和技術(shù)指導(dǎo)。

3） 交叉域上的測試結(jié)果。雖然開源數(shù)據(jù)集和自建數(shù)據(jù)集存在相同的病害類別，但由于病害區(qū)域的大小、外觀形態(tài)、遮擋和光照等因素的影響，導(dǎo)致相同類別之間存在類內(nèi)變化，這種跨域測試可以看做是一種更加嚴(yán)格的泛化性測試。此處，為驗證所提出模型的泛化性能，設(shè)計了兩組交叉域驗證試驗，一組是模型在開源數(shù)據(jù)集上進(jìn)行訓(xùn)練，在自建數(shù)據(jù)集上進(jìn)行測試；另一組是在自建數(shù)據(jù)集上進(jìn)行訓(xùn)練，在開源數(shù)據(jù)集上進(jìn)行測試。詳細(xì)的試驗結(jié)果如表4所示。

從表4中可以看出，所設(shè)計模型在以開源數(shù)據(jù)集為訓(xùn)練集，自建數(shù)據(jù)集為測試集的任務(wù)中，三個主干網(wǎng)絡(luò)上的檢測結(jié)果均高于單一自建數(shù)據(jù)集上的測試結(jié)果。這些結(jié)果表明，只要訓(xùn)練數(shù)據(jù)樣本充足，所提出模型的識別性能有望進(jìn)一步提高，這也為后期的工作提供了一種新的思路。其次，在以自建數(shù)據(jù)集為訓(xùn)練集，開源數(shù)據(jù)集為測試集的任務(wù)中，三個主干網(wǎng)絡(luò)上的識別結(jié)果均低于先前單一的開源數(shù)據(jù)集測試結(jié)果，主要原因是自建數(shù)據(jù)集的樣本數(shù)量遠(yuǎn)少于開源數(shù)據(jù)集，這些結(jié)果也進(jìn)一步驗證了上述的猜想。

3.3 消融試驗

為分析所提出模型中候選區(qū)域生成和無參數(shù)度量在模型識別性能中扮演的角色，設(shè)計了以下兩組消融試驗。此處，以支持圖片的全局特征為視覺語義，以有參數(shù)學(xué)習(xí)的解碼器為度量工具，并利用上述設(shè)定為基線模型，詳細(xì)的試驗結(jié)果如表5所示。

在表5中，對比試驗1和試驗2可以發(fā)現(xiàn)，本文利用候選區(qū)域生成網(wǎng)絡(luò)生成多個特征圖對識別性能是有效的。具體地，相比基線模型，在開源數(shù)據(jù)集上利用候選區(qū)域生成網(wǎng)絡(luò)生成多個特征圖可以提高13.74%的精準(zhǔn)率，在自建數(shù)據(jù)集上可以提高12.08%的精準(zhǔn)率。對比試驗1和試驗3可以發(fā)現(xiàn)，無參數(shù)的度量方法可以有效降低目標(biāo)識別的時間開銷，主要原因是本文使用的度量方法采用余弦相似度，沒有任何可學(xué)習(xí)的參數(shù)參考，通過減少模型參數(shù)降低了系統(tǒng)的識別時間開銷，這有助于促進(jìn)所提出模型在實(shí)際場景中的應(yīng)用。

此外，從試驗2和試驗4中可以發(fā)現(xiàn)，有參數(shù)學(xué)習(xí)的編碼方式有助于提高模型的識別性能，但提升效果不明顯，然而有參數(shù)學(xué)習(xí)的編碼方式涉及的網(wǎng)絡(luò)參數(shù)較多，導(dǎo)致模型測試時間開銷較大。綜合識別性能和時間開銷，在利用候選區(qū)域生成多個特征圖的基礎(chǔ)上，利用無參數(shù)的度量方式整體效果最佳，這也驗證了本文模型設(shè)計的合理性和有效性。

4 結(jié)論

本文提出了一種基于分層特征對齊網(wǎng)絡(luò)的小樣本馬鈴薯病害葉片檢測方法，主要包括視覺特征提取、文本特征提取和視覺與文本語義對齊三部分。本文主要借助支持分支和查詢分支的雙分支網(wǎng)絡(luò)建立支持圖片和查詢圖片之間的視覺與文本語義關(guān)聯(lián)，旨在提高模型對未知新類的泛化性能。通過在自建的馬鈴薯病害葉片數(shù)據(jù)集和開源的數(shù)據(jù)集上進(jìn)行測試，驗證了所提出模型的有效性。

1） 在自建的馬鈴薯病害葉片數(shù)據(jù)集上，所提出模型可以實(shí)現(xiàn)93.55%的識別精度，在開源數(shù)據(jù)集上可以實(shí)現(xiàn)96.35%的識別精度。此外，還設(shè)計了兩組跨域測試，分別可以實(shí)現(xiàn)95.15%和94.06%的識別精度。

2） 利用區(qū)域生成網(wǎng)絡(luò)將馬鈴薯葉片劃分為多個候選區(qū)域，并利用卷積神經(jīng)網(wǎng)絡(luò)將每個區(qū)域映射到深度特征空間，這有助于捕獲到更加細(xì)粒度的病害區(qū)域，緩解無關(guān)背景噪聲對于模型識別性能的干擾。

3） 在文本和視覺語義特征關(guān)聯(lián)集相似度計算過程中，采用無參數(shù)度量方法可以顯著降低時間開銷，所提出方法的時間開銷僅為12 ms。

未來工作中，將嘗試?yán)蒙疃瓤煞蛛x卷積對Vgg16、ResNet50和ResNet101主干網(wǎng)絡(luò)進(jìn)行改進(jìn)，通過減少網(wǎng)絡(luò)參數(shù)來降低模型對GPU等硬件資源的依賴，進(jìn)一步降低模型時間開銷，為模型應(yīng)用在實(shí)際場景的病害檢測任務(wù)中提供可能。

參 考 文 獻(xiàn)

［1］趙建敏， 蘆建文. 基于字典學(xué)習(xí)的馬鈴薯葉片病害圖像識別算法［J］. 河南農(nóng)業(yè)科學(xué)， 2018， 47（4）： 154-160.

Zhao Jianmin， Lu Jianwen. Identification algorithm of potato diseases on leaves using dictionary learning theory ［J］. Journal of Henan Agricultural Sciences， 2018， 47（4）： 154-160.

［2］Pal A， Kumar V. AgriDet： Plant leaf disease severity classification using agriculture detection framework ［J］. Engineering Applications of Artificial Intelligence， 2023， 119： 105754.

［3］趙建敏， 李艷， 李琦， 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的馬鈴薯葉片病害識別系統(tǒng)［J］. 江蘇農(nóng)業(yè)科學(xué)， 2018， 46（24）： 251-255.

Zhao Jianmin， Li Yan， Li Qi， et al. Potato leaf disease identification system based on convolutional neural network ?［J］. Jiangsu Agricultural Sciences， 2018， 46（24）： 251-255.

［4］Chakraborty K K， Mukherjee R， Chakroborty C， et al. Automated recognition of optical image based potato leaf blight diseases using deep learning ［J］. Physiological and Molecular Plant Pathology， 2022， 117： 101781.

［5］趙越， 趙輝， 姜永成， 等. 基于深度學(xué)習(xí)的馬鈴薯葉片病害檢測方法［J］. 中國農(nóng)機(jī)化學(xué)報， 2022， 43（10）： 183-189.

Zhao Yue， Zhao Hui， Jiang Yongcheng， et al. Detection method of potato leaf diseases based on deep learning ［J］. Journal of Chinese Agricultural Mechanization， 2022， 43（10）： 183-189.

［6］王林柏， 張博， 姚竟發(fā)， 等. 基于卷積神經(jīng)網(wǎng)絡(luò)馬鈴薯葉片病害識別和病斑檢測［J］. 中國農(nóng)機(jī)化學(xué)報， 2021， 42（11）： 122-129.

Wang Linbai， Zhang Bo， Yao Jingfa， et al. Potato leaf disease recognition and potato leaf disease spot detection based on Convolutional Neural Network ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（11）： 122-129.

［7］肖志云， 劉洪. 馬鈴薯典型病害圖像自適應(yīng)特征融合與快速識別［J］. 農(nóng)業(yè)機(jī)械學(xué)報， 2017， 48（12）： 26-32.

Xiao Zhiyun， Liu Hong. Adaptive features fusion and fast recognition of potato typical disease images ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2017， 48（12）： 26-32.

［8］章廣傳， 李彤， 何云， 等. 基于遷移模型集成的馬鈴薯葉片病害識別方法［J］. 江蘇農(nóng)業(yè)科學(xué)， 2023， 51（15）： 216-224.

Zhang Guangchuan， Li Tong， He Yun， et al. A method for identifying potato leaf diseases based on migration model integration ［J］. Jiangsu Agricultural Science， 2023， 51（15）： 216-224.

［9］邢鵬康， 李久朋. 基于小樣本學(xué)習(xí)的馬鈴薯葉片病害檢測［J］. 江蘇農(nóng)業(yè)科學(xué)， 2023， 51（15）： 203-210.

Xing Pengkang， Li Jiupeng. Potato leaf disease detection based on small sample learning ［J］. Jiangsu Agricultural Science， 2023， 51（15）： 203-210.

［10］Zhou Ji， Li Jiuxi， Wang Chunshan， et al. A vegetable disease recognition model for complex background based on region proposal and progressive learning ［J］. Computers and Electronics in Agriculture， 2021， 184： 106101.

［11］劉闐宇， 馮全. 基于卷積神經(jīng)網(wǎng)絡(luò)的葡萄葉片檢測［J］. 西北大學(xué)學(xué)報（自然科學(xué)版）， 2017， 47（4）： 505-512.

Liu Tianyu， Feng Quan. Detecting grape leaves based on convolutional neural network ［J］. Journal of Northwest University （Natural Science Edition）， 2017， 47（4）： 505-512.

［12］Bifta S， Mdnahidul I， Mamunur R， et al. A realtime approach of diagnosing rice leaf disease using deep learningbased faster RCNN framework ［J］. PeerJ Computer Science， 2021， 7： e432.

［13］Prabhjot K， Shilpi H， Vinay G， et al. An approach for characterization of infected area in tomato leaf disease based on deep learning and object detection technique ［J］. Engineering Applications of Artificial Intelligence， 2022， 115： 105210.

［14］范振軍， 李小霞. 基于ROI快速檢測與融合特征的馬鈴薯病害識別［J］. 西南農(nóng)業(yè)學(xué)報， 2019， 32（3）： 544-550.

Fan Zhenjun， Li Xiaoxia. Recognition of potato diseases based on fast detection and fusion features of ROI ［J］. Southwest China Journal of Agricultural Sciences， 2019， 32（3）： 544-550.

［15］Kavitha R， Savarimuthu N， Savarimuthu N. DPDDS for plant disease detection based on instance segmentation［J］. Journal of Ambient Intelligence and Humanized Computing， 2021： 1-11.

［16］Mao B， Wang L， Xiang S， et al. Taskaware adaptive attention learning for fewshot semantic segmentation ［J］.Neurocomputing， 2022， 494： 104-115.

［17］盧珊妹， 郭強(qiáng)， 王任， 等. 基于多特征注意力循環(huán)網(wǎng)絡(luò)的顯著性檢測［J］. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報， 2020， 32（12）： 1926-1937.

Lu Shanmei， Guo Qiang， Wang Ren， et al. Salient object detection using multiscale features with attention recurrent mechanism ［J］. Journal of ComputerAided Design & Computer Graphics， 2020， 32（12）： 1926-1937.

［18］楊國峰， 楊勇. 基于BERT的常見作物病害問答系統(tǒng)問句分類［J］. 計算機(jī)應(yīng)用， 2020， 40（6）： 1580-1586.

Yang Guofeng， Yang Yong. Question classification of common crop disease question answering system based on BERT ［J］. Journal of Computer Applications， 2020， 40（6）： 1580-1586.

［19］徐艷蕾， 孔朔琳， 陳清源， 等. 基于Transformer的強(qiáng)泛化蘋果葉片病害識別模型［J］. 農(nóng)業(yè)工程學(xué)報， 2022， 38（16）： 198-206.

Xu Yanlei， Kong Shuolin， Chen Qingyuan， et al. Model for identifying strong generalization apple leaf disease using Transformer ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（16）：198-206.

［20］Zhong Y， Yang J， Zhang P， et al. RegionCLIP： Regionbased languageimage pretraining ［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2022： 16793-16803.

［21］Yang K， Deng J， An X， et al. ALIP： Adaptive languageimage pretraining with synthetic caption ［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2023： 2922-2931.

［22］Chen Yipeng， Xu Ke， Zhou Peng， et al. Improved cross entropy loss for noisy labels in vision leaf disease classification ［J］. IET Image Processing， 2022， 16（6）： 1511-1519.

［23］杜海順， 張春海， 安文昊， 等. 基于多層信息融合和顯著性特征增強(qiáng)的農(nóng)作物病害識別［J］. 農(nóng)業(yè)機(jī)械學(xué)報， 2023， 54（7）： 214-222.

Du Haishun， Zhang Chunhai， An Wenhao， et al. Crop disease recognition based on multilayer information fusion and saliency feature enhancement ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2023， 54（7）： 214-222.