基于多尺度特征度量元學習的玉米葉片病害識別模型研究

惠巧娟 孫婕

摘要：傳統(tǒng)基于深度學習的玉米葉片病害檢測模型檢測精度不高、模型參數(shù)量大，基于此，提出一種融合多尺度、無參數(shù)度量學習的玉米葉片病害識別算法模型。首先，利用Vgg-16、Swin Transformer網(wǎng)絡(luò)，將玉米葉片病害圖片映射到全局和局部特征空間；然后，利用多尺度特征融合網(wǎng)絡(luò)，實現(xiàn)全局和局部特征的深度融合，強化特征的分類能力；最后，利用無參數(shù)元學習網(wǎng)絡(luò)，實現(xiàn)待測玉米葉片病害圖片與特征集之間的度量，根據(jù)度量結(jié)果，實現(xiàn)玉米葉片病害的快速定位與識別。在開源Plant Village數(shù)據(jù)集、自建玉米葉片病害數(shù)據(jù)集上進行了測試，所提出模型的識別準確率分別為97.45%、96.39%，同時保持了較低的識別時間開銷；相比其他經(jīng)典玉米葉片病害識別模型，具有更強的魯棒性和泛化性能。

關(guān)鍵詞：玉米葉片病害識別；多尺度特征；度量元學習；全局和局部特征；Swin Transformer

中圖分類號：TP391.41??文獻標志碼：A??文章編號：1002-1302（2023）09-0199-06

基金項目：寧夏高等學校科學研究項目（編號：NGY2020114）；寧夏種業(yè)提升工程農(nóng)作物新品種展示示范項目。

作者簡介：惠巧娟（1981—），女，寧夏隆德人，副教授，主要研究方向為計算機視覺、智能農(nóng)業(yè)。E-mail：huiqj0308@sina.com。

玉米具有產(chǎn)量高、適應環(huán)境能力強的優(yōu)點，是畜牧業(yè)、養(yǎng)殖業(yè)、化工業(yè)等領(lǐng)域重要的食品和飼料加工原料。然而，近年來由于全球氣候變化反常以及過度使用農(nóng)藥等，導致玉米葉片病害的發(fā)病率明顯增加，直接影響玉米的產(chǎn)量和質(zhì)量［1］?？焖贉蚀_地識別玉米葉片病害，對玉米作物的穩(wěn)定生產(chǎn)具有重要意義。

常見的玉米葉片病害包括銹病、葉斑病、紋枯病等多種類型［2］，傳統(tǒng)識別方法主要依靠人工觀察玉米葉片上形成的斑點顏色和形狀進行判斷［3］。然而，缺乏經(jīng)驗的觀察者容易出現(xiàn)診斷錯誤，極易錯過最佳治療時間；同時，人工識別方法費時費力，在一定程度上存在主觀性。近年來，深度學習技術(shù)在計算機視覺領(lǐng)域應用廣泛，并且取得了突破性的進展［4］。眾多研究者開始嘗試將深度學習相關(guān)算法應用于農(nóng)作物的葉片病害檢測任務中。Sun等提出了一種基于遷移學習的玉米葉片病害檢測模型，并在Inception-V3、Inception-V4、Vgg-16、AlexNet等分類模型上進行改進與測試［5］。鄧朋飛等利用遷移學習的方法提出了一種玉米病害識別模型，首先利用Inception對VGG-16網(wǎng)絡(luò)的卷積塊進行改進，并借助遷移學習和壓縮迭代技術(shù)對深度特征進行編碼壓縮，降低模型的參數(shù)［6］。董萍等為了進一步降低玉米病害識別模型的時間開銷，將Inception V3模型中的5×5卷積核分解成2個大小為3×3卷積核，并借助遷移學習的思想提升了模型的泛化性能［7］。Bao等針對傳統(tǒng)卷積網(wǎng)絡(luò)參數(shù)多、收斂慢、泛化能力局限的問題，通過重新組合卷積層和池化層對原始卷積網(wǎng)絡(luò)進行改進，并應用到玉米葉片病害檢測任務中［8］。雖然上述玉米葉片病害識別模型在一定程度上可以緩解模型識別時間開銷大的問題，但改進后的模型仍然需要在大規(guī)模數(shù)據(jù)集上進行預訓練；同時，該類基于遷移學習的玉米葉片病害識別模型對于新品種病害葉片的泛化性能具有局限性。曹藤寶等針對傳統(tǒng)玉米葉片病害識別模型精度不高的問題，利用注意力機制和稠密塊網(wǎng)絡(luò)強化模型對玉米葉片病害區(qū)域的定位精度與識別性能［9］。Chen等提出了一種基于注意力嵌入的輕量級玉米葉片病害識別模型，通過利用深度可分離卷積替換DenseNet網(wǎng)絡(luò)中的卷積塊，降低了模型的識別時間開銷；此外，在每一層卷積層嵌入注意力機制，聚焦葉片病害區(qū)域的特征，強化特征的分類能力［10］。

雖然上述模型在一定程度上降低了模型的時間開銷、提高了識別精度，然而大多模型仍然存在如下問題：（1）現(xiàn)有模型大多采用遷移學習的思想或改進卷積網(wǎng)絡(luò)降低模型時間開銷；然而，該類方法仍需要在大規(guī)模數(shù)據(jù)集上做進一步微調(diào)或預訓練，限制了模型對于新品種玉米葉片病害檢測的泛化性能。（2）現(xiàn)有的主流玉米葉片病害檢測模型大多采用單一的局部或全局特征進行下游病害識別任務，極易導致信息利用不充分。針對上述問題，提出一種基于多尺度特征無參數(shù)度量學習的玉米葉片病害檢測新模型，結(jié)合玉米葉片病害圖片的局部特征和全局特征，構(gòu)造多尺度特征；其次，利用無參數(shù)的度量學習算法緩解模型時間開銷大的問題，快速定位與識別玉米葉片病害區(qū)域。

1?數(shù)據(jù)集

利用開源數(shù)據(jù)集和自建數(shù)據(jù)集進行模型的訓練與測試，其中開源數(shù)據(jù)集選擇Plant Village數(shù)據(jù)集［11］，選取數(shù)據(jù)集中的3 852幅玉米病害及健康葉片圖像，主要為健康葉片、銹病、葉斑病、紋枯病4種類型。自建數(shù)據(jù)集主要來源于寧夏當?shù)赜衩追N植基地，包括大小斑病、銹病、灰斑病、健康葉片4類，總共包含1 380幅玉米病害及健康葉片圖像。上述數(shù)據(jù)集均按照8 ∶?2的比例劃分為訓練集和測試集，詳細數(shù)據(jù)信息見表1，數(shù)據(jù)集的部分可視化樣本見圖1。

2?方法論

2.1?模型結(jié)構(gòu)

基于多尺度特征度量元學習的玉米葉片病害識別模型結(jié)構(gòu)如圖2所示。主要包括全局和局部特征提取、多尺度特征融合模塊、無參數(shù)度量學習模塊。首先，利用Vgg-16網(wǎng)絡(luò)、Swin Transformer網(wǎng)絡(luò)將玉米葉片病害圖片分別映射到全局特征空間和局部特征空間；其次，提出一種多尺度特征融合模塊，將全局和局部特征進行深度特征融合；最后，利用元學習網(wǎng)絡(luò)框架并結(jié)合無參數(shù)的度量學習算法，實現(xiàn)待測試玉米葉片的定位與識別。

2.2?特征提取

當前主流玉米葉片病害檢測模型大多僅利用傳統(tǒng)卷積網(wǎng)絡(luò)，提取單一的全局特征，導致給定圖片信息利用不充分，尤其是對于早期農(nóng)作物病害區(qū)域小、特征不明顯的測試樣本，極易造成漏報或誤報，進而耽誤最佳治療時間。為此，本研究通過提取全局和局部特征，深度挖掘玉米病害區(qū)域的深層次特征，提高特征的區(qū)分能力。

2.2.1?全局特征提取?為了將玉米葉片病害圖片映射到深度全局特征空間，采用圖3所示的Vgg-16網(wǎng)絡(luò)［12］挖掘玉米葉片病害區(qū)域的整體屬性，包括顏色、紋理、形狀特征。其中，Vgg-16網(wǎng)絡(luò)由13個卷積層和5個池化層組成，此處，將全連接層截斷，僅將第5個池化層的輸出作為全局特征。具體計算如公式（1）所示。

式中：Fsvgg表示全局特征；Pool（·）表示全局平均池化層；Conv13（·）表示卷積層操作；Is表示玉米葉片病害圖片。

2.2.2?局部特征提取?現(xiàn)有玉米葉片病害識別模型大多僅采用單一的全局特征，對于局部特征利用不充分。受SwinTransformer網(wǎng)絡(luò)在小目標檢測任務中應用成功的啟發(fā)［13-14］，本研究嘗試利用SwinTransformer將玉米葉片病害圖片映射到局部特征空間。SwinTransformer網(wǎng)絡(luò)在VisionTransformer網(wǎng)絡(luò)的基礎(chǔ)上，利用多倍率的下采樣操作，細粒度地捕獲多層次特征，緩解玉米葉片早期病害區(qū)域小、特征不明顯造成的特征丟失問題。此外，SwinTransformer網(wǎng)絡(luò)引入了窗口機制，進一步提高了對目標區(qū)域細節(jié)特征的捕獲能力。SwinTransformer網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

SwinTransfromer網(wǎng)絡(luò)的核心部分主要為窗口多頭自注意力（windows multi-head self-attention，W-MHSA）和偏移窗口多頭自注意力（shifted windows multi-head self-attention，SW-MHSA）模塊。假設(shè)玉米葉片病害圖片經(jīng)過Patch Partition后，首先在W-MHSA窗口內(nèi)將整個映射特征圖劃分為W個窗口；Swin Transformer網(wǎng)絡(luò)4個階段的窗口個數(shù)分別為4、8、16、32；然后，在窗口內(nèi)部計算多頭自注意力，具體計算如公式（2）、公式（3）所示。

式中：FW-MHSA′表示窗口多頭自注意力機制的輸出特征圖；W_MHSA（·）表示窗口多頭自注意力機制；LN表示特征標準化；FW-MHSA表示窗口多頭自注意力模塊的最終輸出； MLP表示多層感知機。雖然利

用窗口機制可以捕獲玉米葉片病害區(qū)域的局部特征，然而僅在窗口內(nèi)部進行多頭注意力運算，極易忽略窗口間的信息流動。為此，將多頭自注意力機制的輸出，作為偏移窗口多頭自注意力SW-MHSA的輸入，利用窗口之間的偏移量，來細粒度劃分玉米葉片病害特征圖，在保持窗口間信息交互的同時，捕獲玉米葉片病害區(qū)域的細粒度局部特征。偏移窗口多頭自注意力SW-MHSA內(nèi)部運算流程如公式（4）、公式（5）所示。

式中：SW_MHSA（·）表示偏移窗口多頭自注意力機制；FSW-MHSA表示偏移窗口多頭自注意力機制的輸出特征圖，即玉米葉片映射到局部特征空間中的局部特征圖。

2.3?多尺度特征融合

為了強化玉米葉片病害特征的區(qū)分能力，將提取的全局和局部特征進行深度融合，構(gòu)造多尺度特征集F，緩解傳統(tǒng)玉米葉片病害識別模型僅利用單一特征而造成信息丟失的問題。特征融合詳細流程如圖5所示。

首先，計算全局特征Fsvgg和局部特征FSW-MHSA的融合矩陣F′，用于多尺度特征之間的信息交互，計算如公式（6）所示。

然后，利用SoftMax函數(shù)按矩陣行計算注意力分布權(quán)重w，權(quán)重值越大表示特征相關(guān)性越大，融合特征更具有區(qū)分能力，計算如公式（7）所示。

最后，將全局特征與注意力分布權(quán)重進行矩陣乘法運算，獲取全局特征注意力圖Fsvgg′；并在此基礎(chǔ)上將局部特征FSW-MHSA與全局特征注意力圖進行相乘，得到最終的多尺度融合特征集F，用于表示玉米葉片病害區(qū)域的分類特征。計算如公式（8）、公式（9）所示。

2.4?無參數(shù)度量學習

為了降低玉米葉片病害識別模型的時間開銷，采用無參數(shù)的度量學習計算融合特征集和待識別玉米葉片映射特征之間的相似度，根據(jù)相似度值快速定位與識別葉片的病害區(qū)域。首先利用卷積網(wǎng)絡(luò)將待測試玉米葉片圖片映射到深度特征空間；然后，利用余弦相似度，逐區(qū)域逐位置計算映射到深度特征空間的待測試圖片特征與融合特征F之間的相似度分數(shù)，并借助argmax函數(shù)計算每個位置處的最大相似度值，最終將所有位置的識別結(jié)果進行拼接，得到玉米葉片病害區(qū)域的識別結(jié)果。具體計算如公式（10）至公式（12）所示。

式中：S′（x，y）i表示位置（x，y）處映射到深度特征空間的待測試圖片特征F（x，y）test與融合特征F（x，y）之間的相似度分數(shù)；cos（·）表示余弦相似度函數(shù)；S（x，y）i表示第i個區(qū)域位置（x，y）處的最大相似度分數(shù)；cat（·） 表示拼接函數(shù)；Rs表示待測玉米葉片病害區(qū)域的總分數(shù)值。最后，為了優(yōu)化所提出玉米葉片病害檢測模型的識別性能，采用交叉熵損失函數(shù)進行損失計算，根據(jù)損失值實現(xiàn)模型端到端的優(yōu)化。

3?試驗與分析

3.1?試驗環(huán)境與評價指標

選擇64位Windows 10操作系統(tǒng)，搭載NVIDIA V100的32 GB GPU，并采用PyTorch 1.7.1深度學習框架編碼，編程語言采用Python 3.7，顯卡Cuda版本為10.0；優(yōu)化器選擇SGD，初始學習率為1×10-3，batch大小設(shè)定為8。模型在訓練集、測試集上的準確率變化、損失函數(shù)曲線如圖6所示。模型約經(jīng)過60個epoch后基本收斂，并且此時準確率已超過97%，loss值也達到了最低；為此，所提出模型的所有試驗均在epoch為60的基礎(chǔ)上進行。

選擇當前主流的評價指標：準確率（Accuracy）、精準率（Precision）和召回率（Recall），計算如公式（13）至（15）所示。

式中：TP表示模型判斷為正樣本的個數(shù)；TN表示模型判斷為負樣本的個數(shù)；FN表示將樣本錯誤判斷為負樣本的個數(shù)；FP表示將樣本錯誤判斷為正樣本的個數(shù)。

3.2?消融試驗

為了分析玉米葉片病害圖片的全局和局部特征對所提出模型識別性能的影響，在2個數(shù)據(jù)集上進行了表2所示的消融試驗?？梢钥闯觯陂_源的Plant Village數(shù)據(jù)集上，雖然單一使用局部或全局特征可以實現(xiàn)91%以上的識別準確率，但結(jié)合局部和全局多尺度特征，所提出模型可以實現(xiàn)96.39%的準確率、96.22%的精準率、97.63%的召回率。此外，在自建的玉米葉片病害小樣本數(shù)據(jù)集上有類似的發(fā)現(xiàn)，即單一使用全局特征或局部特征不足以充分表示玉米葉片的病害區(qū)域，結(jié)合多尺度特征可以有效提高識別性能。

3.3?對比試驗

3.3.1?識別性能分析?為了驗證所提出模型的有效性，在開源Plant Village數(shù)據(jù)集上與當前經(jīng)典玉米葉片病害識別模型進行對比試驗，結(jié)果如表3所示。

由表3可以看出，所提出模型在準確率、精準率、召回率上均具有較強的競爭力。雖然在精準率上，所提出模型比Improved-CNN模型有所差距，但Improved-CNN模型的識別性能是在原始數(shù)據(jù)樣本經(jīng)過平移、濾鏡等數(shù)據(jù)增強操作場景下取得。尤其是在準確率上，所提出模型比識別性能最好的LeNet-5、TNN模型分別提高了0.15、1.11百分點；在精準率上，比AEL-Net模型提高了14.73百分點；在召回率上，比Improved-CNN、AEL-Net模型，分別提升了0.16、14.07百分點。究其原因，所提出模型結(jié)合全局和局部特征構(gòu)造了多尺度特征，充分挖掘了玉米葉片病害區(qū)域的特征，強化了特征的區(qū)分能力。

3.3.2?時間性能分析?傳統(tǒng)玉米葉片病害識別模型大多利用遷移學習或利用深度可分離卷積改進傳統(tǒng)卷積塊，通過降低模型參數(shù)量來降低時間開銷；然而，該類模型仍然需要在大規(guī)模數(shù)據(jù)集上進行微調(diào)或預訓練，并且對于新測試類型的玉米葉片病害圖片的泛化能力具有局限性。針對上述問題，本研究從無參數(shù)度量學習角度出發(fā)，利用無參數(shù)學習的余弦相似度來計算特征之間的相似度值，根據(jù)相似度值快速定位與識別玉米葉片病害區(qū)域，進而緩解模型的時間開銷。為了驗證所提出模型在時間開銷方面的性能，選擇當前經(jīng)典的玉米葉片病害模型TNN、YOLOv5、AEL-Net、ResNet、AlexNet［18］等進行時間開銷對比，結(jié)果如圖7所示。

由圖7可以看出，所有對比模型中，所提出模型在時間開銷方面表現(xiàn)仍然具有較強的競爭力。進一步驗證了所提出模型在利用多尺度特征提高識別性能的同時，還可以利用無參數(shù)度量學習緩解模型的時間開銷。

3.4?不同類型病害的識別效果分析

由于玉米葉片病害類型不同，病害區(qū)域的紋理、顏色、形狀也不盡相同，為了測試所提出模型對多類型玉米葉片病害的識別性能，進行了多個分類測試。圖8給出了所提出模型在Plant Village和自建數(shù)據(jù)集的測試圖像上進行預測的混淆矩陣。所提出模型在Plant Village數(shù)據(jù)集上對銹病、健康葉片、葉斑病、紋枯病的平均識別準確率分別為92.00%、97.00%、95.00%、97.00%。在自建數(shù)據(jù)集上對銹病、健康葉片、灰斑病、大小斑病的平均識別準確率分別為93.00%、97.00%、96.00、94.00%。圖9給出了所提出模型在2個數(shù)據(jù)集上對多類型玉米葉片病害的可視化測試結(jié)果?？梢钥闯觯岢瞿Ｐ蜔o論在開源Plant Village數(shù)據(jù)集上還是自建數(shù)據(jù)集上均實現(xiàn)了較好的識別性能，進一步驗證了局部和全局特征聯(lián)合使用對于識別性能提升的積極作用。

4?討論和結(jié)論

本研究探究了玉米葉片病害圖片的全局和局部特征對于玉米葉片病害識別模型的影響程度，并結(jié)合無參數(shù)度量學習緩解模型識別時間開銷大的問題。通過在開源數(shù)據(jù)集和自建數(shù)據(jù)集上，對多種玉米葉片病害進行識別與分類，試驗結(jié)果與相關(guān)結(jié)論如下。

（1）在開源的Plant Village數(shù)據(jù)集上，實現(xiàn)了97.45%的準確率、98.18%的精準率、97.52%的召回率；在自建數(shù)據(jù)集上，實現(xiàn)了96.39%的準確率、96.22%的精準率、97.63%的召回率。

（2）所提出模型在Plant Village開源數(shù)據(jù)集上的測試時間為17.8 s，驗證了使用無參數(shù)度量學習可以較好地降低玉米葉片病害識別模型的時間開銷。

（3）雖然單一的局部或全局特征可以實現(xiàn)部分玉米葉片病害的定位與識別；但是，結(jié)合全局和局部特征，構(gòu)造多尺度融合特征，可以有效提升模型的識別性能。

參考文獻：

［1］Zhang X H，Qiao Y，Meng F F，et al. Identification of maize leaf diseases using improved deep convolutional neural networks［J］. IEEE Access，2018，6：30370-30377.

［2］Lin Z Q，Mu S M，Shi A J，et al. A novel method of maize leaf disease image identification based on a multichannel convolutional neural network［J］. Transactions of the ASABE，2018，61：1461-1474.

［3］Ahila Priyadharshini R，Arivazhagan S，Arun M，et al. Maize leaf disease classification using deep convolutional neural networks［J］. Neural Computing and Applications，2019，31（12）：8887-8895.

［4］Li Z C，Zhou G X，Hu Y W，et al. Maize leaf disease identification based on WG-MARNet［J］. PLoS One，2022，17（4）：e0267650.

［5］Sun X L，Wei J S. Identification of maize disease based on transfer learning［J］. Journal of Physics：Conference Series，2020，1437（1）：012080.

［6］鄧朋飛，官?錚，王宇陽，等. 基于遷移學習和模型壓縮的玉米病害識別方法［J］. 計算機科學，2022，49（S2）：444-449.

［7］董?萍，衛(wèi)夢華，時?雷，等. 遷移學習在玉米葉片病害識別中的研究與應用［J］. 中國農(nóng)機化學報，2022，43（3）：146-152.

［8］Bao W X，Huang X F，Hu G S，et al. Identification of maize leaf diseases using improved convolutional neural network［J］. Transactions of the Chinese Society of Agricultural Engineering，2021，37（6）

［9］曹藤寶，張?欣，陳孝玉龍，等. 融合空間注意力機制和DenseNet的玉米病害分類方法［J］. 無線電工程，2022，52（10）：1710-1717.

［10］Chen J D，Wang W H，Zhang D F，et al. Attention embedded lightweight network for maize disease recognition［J］. Plant Pathology，2021，70（3）：630-642.

［11］張開興，呂高龍，賈?浩，等. 基于圖像處理和BP神經(jīng)網(wǎng)絡(luò)的玉米葉部病害識別［J］. 中國農(nóng)機化學報，2019，40（8）：122-126.

［12］Sibiya M，Sumbwanyambe M. Automatic fuzzy logic-based maize common rust disease severity predictions with thresholding and deep learning［J］. Pathogens，2021，10（2）：131.

［13］Bi C G，Hu N，Zou Y Q，et al. Development of deep learning methodology for maize seed variety recognition based on improved swin transformer［J］. Agronomy，2022，12（8）：1843.

［14］Tao Y，Chang F L，Huang Y H，et al. Cotton disease detection based on ConvNeXt and attention mechanisms［J］. IEEE Journal of Radio Frequency Identification，2022，6：805-809.

［15］蘇俊楷，段先華，葉趙兵. 改進YOLOv5算法的玉米病害檢測研究［J］. 計算機科學與探索，2023，17（4）：933-941.

［16］熊夢園，詹?煒，桂連友，等. 基于ResNet模型的玉米葉片病害檢測與識別［J］. 江蘇農(nóng)業(yè)科學，2022，50（23）：1-8.

［17］何?前，郭峰林，方皓正，等. 基于改進LeNet-5模型的玉米病害識別［J］. 江蘇農(nóng)業(yè)科學，2022，50（20）：35-41.

［18］Lv M J，Zhou G X，He M F，et al. Maize leaf disease identification based on feature enhancement and DMS-robust alexnet［J］. IEEE Access，2020，8：57952-57966.