基于多尺度特征增強(qiáng)的輕量化黃瓜病害識(shí)別模型

doi：10.15889/j.issn.1002-1302.2024.20.032

摘要：在復(fù)雜的背景環(huán)境下對(duì)農(nóng)作物病害進(jìn)行準(zhǔn)確識(shí)別與分類，為農(nóng)作物病害的診斷及防治提供可靠依據(jù)，具有重要經(jīng)濟(jì)意義。提出了一種新的網(wǎng)絡(luò)模型——MeNet（multiscale enhance on me），用于對(duì)大田中黃瓜的8種形態(tài)（其中包含6種病害和鮮黃瓜、鮮葉）進(jìn)行精準(zhǔn)識(shí)別。該模型的設(shè)計(jì)包括適用于網(wǎng)絡(luò)前端的特征增強(qiáng)模塊，對(duì)原始圖像進(jìn)行像素級(jí)多尺度特征增強(qiáng)，從而提升模型的特征表達(dá)效率；運(yùn)用特征挑選的思想進(jìn)行后續(xù)的特征提取和增強(qiáng)，再加入基于空域抑制的SimAM注意力，進(jìn)一步突出了顯著特征，提高特征效用；運(yùn)用逐點(diǎn)卷積對(duì)特征圖進(jìn)行通道間信息交互，再以全局平均池化總結(jié)特征圖。結(jié)果表明，相較于其他模型，本研究的MeNet性能更為優(yōu)越，在復(fù)雜背景病害數(shù)據(jù)集上，平均準(zhǔn)確率達(dá)到92.38%，最高準(zhǔn)確率達(dá)到了92.92%，而模型的參數(shù)量?jī)H為0.33 M，浮點(diǎn)運(yùn)算量?jī)H為 0.30 G，證明MeNet模型在圖像識(shí)別領(lǐng)域具有實(shí)際應(yīng)用的潛力和繼續(xù)研究的價(jià)值。

關(guān)鍵詞：黃瓜病害；圖像識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；輕量化；多尺度特征增強(qiáng)；空域抑制

中圖分類號(hào)：S126；S436.421.1；TP391.41" 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1002-1302（2024）20-0267-10

收稿日期：2023-11-09

基金項(xiàng)目：河北省自然科學(xué)基金（編號(hào)：F2015209308-PT）；唐山市科技計(jì)劃項(xiàng)目（編號(hào)：20150212C）；河北省高等學(xué)?？茖W(xué)技術(shù)研究項(xiàng)目（編號(hào)：ZD2016070）；河北省省級(jí)研究生示范課程建設(shè)項(xiàng)目（編號(hào)：KCJSX2021061）。

作者簡(jiǎn)介：李" 帥（1996—），男，安徽阜陽(yáng)人，碩士，主要從事檢測(cè)技術(shù)及智能裝置研究。E-mail：ncstlishuai@163.com。

通信作者：龔瑞昆，博士，教授，碩士生導(dǎo)師，主要從事檢測(cè)技術(shù)及智能裝置研究。E-mail：ncstgongruikun@163.com。

生物防治是農(nóng)業(yè)可持續(xù)發(fā)展模式的重要內(nèi)容，生物防治學(xué)科為農(nóng)業(yè)可持續(xù)發(fā)展提供了重要的科學(xué)支撐。近年來(lái)，我國(guó)已進(jìn)入加快推進(jìn)農(nóng)業(yè)可持續(xù)發(fā)展的歷史階段，這為生物防治學(xué)科的發(fā)展提供了新的機(jī)遇，同時(shí)也對(duì)生物防治學(xué)科的發(fā)展提出了更高的要求［1］。

在深度學(xué)習(xí)興起之前，人們主要使用傳統(tǒng)的機(jī)器學(xué)習(xí)方法來(lái)解決圖像分類問(wèn)題。這些方法通常涉及人工設(shè)計(jì)的特征提取器和分類器，如支持向量機(jī)（SVM）、隨機(jī)森林等。這些方法在小規(guī)模問(wèn)題上效果較好，但在復(fù)雜圖像數(shù)據(jù)上的分類任務(wù)中表現(xiàn)不佳。但是，關(guān)于深度學(xué)習(xí)的探索一直都在進(jìn)行，一直到2012年Alex等的AlexNet在ImageNet圖像分類比賽中獲勝，標(biāo)志著卷積神經(jīng)網(wǎng)絡(luò)（CNN）正式嶄露頭角。隨著卷積提取特征的特性被認(rèn)可，深度學(xué)習(xí)開(kāi)始向著更深的網(wǎng)絡(luò)進(jìn)發(fā)，此后的VGG和ResNet都將網(wǎng)絡(luò)推向了更深的方向，而GoogleNet則提出了多尺度卷積的概念，又讓網(wǎng)絡(luò)變得更寬，通過(guò)大量卷積的疊加，追求網(wǎng)絡(luò)的識(shí)別性能，因?yàn)槿藗兤毡檎J(rèn)為卷積神經(jīng)網(wǎng)絡(luò)中特征的復(fù)雜性是隨網(wǎng)絡(luò)深度加深而提高的［2］。在卷積不能滿足需求后，又發(fā)展出了疊加注意力機(jī)制的網(wǎng)絡(luò)模型，進(jìn)一步提升識(shí)別準(zhǔn)確度。

劉陽(yáng)等以PlantVillage數(shù)據(jù)集為對(duì)象，對(duì)經(jīng)典輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)SqueezeNet進(jìn)行改進(jìn)，通過(guò)修剪模型，更改通道參數(shù)，以犧牲小部分性能換取了大幅度參數(shù)量減少［3］；孫俊等以Kaggle網(wǎng)站收集到的11類病害萬(wàn)張數(shù)據(jù)為對(duì)象，將CA坐標(biāo)注意力和多尺度特征金字塔融入MobileNet v2，使網(wǎng)絡(luò)準(zhǔn)確率提高了2.91%［4］；彭紅星等以自IP102和PlantVillage收集到的葡萄病蟲害數(shù)據(jù)為對(duì)象，用深度可分離卷積構(gòu)建雙分支特征提取，輔以CA坐標(biāo)注意力改進(jìn)MobileNet v2，取得了1.83百分點(diǎn)的準(zhǔn)確率提升［5］；賈璐等以自農(nóng)管家平臺(tái)收集到的3種病害為對(duì)象，用Inception結(jié)構(gòu)和加入SE注意力的倒殘差結(jié)構(gòu)自建模型，在其自建數(shù)據(jù)集上取得了平均識(shí)別準(zhǔn)確率87.93%的成績(jī)［6］；王煥鑫等以PlantVillage中的4種作物為對(duì)象，用ECA注意力和AFF特征融合改進(jìn)MobileNet v2，取得了參數(shù)量減少15.37%，識(shí)別準(zhǔn)確率提升0.9百分點(diǎn)的成績(jī)［7］；朱學(xué)巖等以自采集的油橄欖自建數(shù)據(jù)集為對(duì)象，以EfficientNet-B0為主干，輔以CBAM注意力和雙線性池化層，搭建雙線性網(wǎng)絡(luò)，提升了識(shí)別準(zhǔn)確率［8］；杜海順等以AI challenger 2018數(shù)據(jù)集為對(duì)象，用大量的平均池化組成的特征信息融合改進(jìn)ConvNeXt網(wǎng)絡(luò)，使ConvNeXt識(shí)別準(zhǔn)確率提升了2.01百分點(diǎn)［9］；李建威等以國(guó)際皮膚影像合作組織的2018挑戰(zhàn)賽數(shù)據(jù)集為對(duì)象，用SE通道注意力和SimAM無(wú)參注意力改進(jìn)ConvNeXt網(wǎng)絡(luò)，也取得了較好的成績(jī)［10］；Chen等以自采集的橡膠樹病害數(shù)據(jù)集為對(duì)象，用倒殘差結(jié)構(gòu)、SE注意力、EIoU損失函數(shù)改進(jìn)了 YOLO v5 模型，在其自建數(shù)據(jù)集上平均精度達(dá)到了70%，比YOLO v5提高了5.4百分點(diǎn)［11］。

經(jīng)過(guò)對(duì)參考文獻(xiàn)及其他諸多文獻(xiàn)的細(xì)致分析，總結(jié)了以往深度學(xué)習(xí)模型的一些關(guān)鍵問(wèn)題：

（1）在圖像分類的研究中出現(xiàn)的數(shù)據(jù)集大致分為2類，一類是單一背景的實(shí)驗(yàn)室條件圖片，另一類是復(fù)雜背景的大田條件圖片。通常情況下，后者的圖像識(shí)別準(zhǔn)確率普遍較低，這是一個(gè)重要的挑戰(zhàn)。

（2）盡管已有的網(wǎng)絡(luò)模型已經(jīng)在植物病害識(shí)別中取得了較好的效果，但由于其本身的參數(shù)量和存儲(chǔ)空間的需求量很大，使其很難應(yīng)用在移動(dòng)或嵌入式設(shè)備中大量推廣［12］。傳統(tǒng)的網(wǎng)絡(luò)模型通常具有大量參數(shù)，且單個(gè)參數(shù)的利用率較低，也正因?yàn)槿绱俗屔疃葘W(xué)習(xí)變得難以解釋，宛如一個(gè)黑匣子。因此，精簡(jiǎn)模型參數(shù)不僅有利于推廣應(yīng)用，還有利于進(jìn)一步解釋深度學(xué)習(xí)，這是一項(xiàng)很有意義的工作。

本研究基于以上2個(gè)問(wèn)題，著眼于精簡(jiǎn)模型參數(shù)和參數(shù)的可解釋性，設(shè)計(jì)了一種輕量化深度學(xué)習(xí)網(wǎng)絡(luò)用以解決黃瓜病害的分類問(wèn)題。

1" 黃瓜病蟲害數(shù)據(jù)集構(gòu)建及增廣處理

本研究所使用的數(shù)據(jù)集是來(lái)源于Mendeley Data的一個(gè)黃瓜病害數(shù)據(jù)集，其中包含8種類型的黃瓜，即炭疽病、細(xì)菌性枯萎病、肚腐病、霜霉病、苜蓿果腐病、蔓枯病、鮮葉和鮮黃瓜，每類160張，共 1 280 張圖片。其黃瓜病害分類是在農(nóng)業(yè)專家的合作下完成的，該數(shù)據(jù)集原材料取自真實(shí)田間，對(duì)比實(shí)驗(yàn)室條件下采集的數(shù)據(jù)集背景噪聲更復(fù)雜，也具有更強(qiáng)的真實(shí)性。

為降低病害診斷模型在訓(xùn)練過(guò)程中的過(guò)擬合風(fēng)險(xiǎn)，并提高其泛化效果，在現(xiàn)有圖像數(shù)據(jù)基礎(chǔ)上，采用數(shù)據(jù)增廣方法對(duì)樣本進(jìn)行擴(kuò)充。采用的主要方法包括翻轉(zhuǎn)、亮度、對(duì)比度、飽和度和色調(diào)技術(shù)生成增強(qiáng)圖像，用以模擬不同的拍攝角度和不同的拍攝距離，以盡可能地還原真實(shí)的拍攝條件并增加數(shù)據(jù)數(shù)量，這些方法均采用torchvision庫(kù)中的transforms方法實(shí)現(xiàn)。從數(shù)據(jù)集中分別隨機(jī)抽取80%作為訓(xùn)練集，在訓(xùn)練集上使用上述數(shù)據(jù)增廣方法；剩余20%作為測(cè)試集，不使用數(shù)據(jù)增廣方法，用于后續(xù)試驗(yàn)。樣本質(zhì)量如圖1所示。

為了普適性地反映網(wǎng)絡(luò)模型的性能，評(píng)估模型的泛化性能，本研究還給出了在PlantVillage數(shù)據(jù)集上的測(cè)試結(jié)果，這是一個(gè)公開(kāi)的農(nóng)作物病害數(shù)據(jù)集，其中的所有圖像均是由專業(yè)人士出于科學(xué)研究目的而拍攝并標(biāo)注的，具有很強(qiáng)的專業(yè)性，其中共包含13種農(nóng)作物的38類葉片圖像信息，這38類圖像細(xì)分為26類病害葉片和12類健康葉片，總計(jì)有54 305張圖片。該數(shù)據(jù)集的特點(diǎn)是數(shù)據(jù)量大，標(biāo)注清晰，但其背景是單一的實(shí)驗(yàn)室背景，背景便于區(qū)分。在試驗(yàn)中，擾亂數(shù)據(jù)集的次序，并按照比例 8 ∶2 將其分成訓(xùn)練集和測(cè)試集。同時(shí)將數(shù)據(jù)集中的原始圖像統(tǒng)一裁剪為3×224×224，使其適應(yīng)模型的輸入。樣本質(zhì)量如圖2所示。

2" 相關(guān)方法

2.1" MeNet模型設(shè)計(jì)思想和結(jié)構(gòu)

本研究提出了一種輕量化深度學(xué)習(xí)模型，能夠在黃瓜病害的分類任務(wù)中實(shí)現(xiàn)較高的識(shí)別準(zhǔn)確率。

與主流網(wǎng)絡(luò)相比，該模型具有更精簡(jiǎn)的參數(shù)，更容易解釋，同時(shí)滿足小型模型的要求，有利于推廣應(yīng)用。

在圖像分類任務(wù)中，每張圖片是以1個(gè)三通道的數(shù)值矩陣的形式呈現(xiàn)的，每個(gè)數(shù)值對(duì)應(yīng)1個(gè)像素點(diǎn)，通過(guò)卷積操作后得到特征圖，在反向傳播的時(shí)候不斷修正，直到特征圖適應(yīng)我們的預(yù)期。也就是說(shuō)可以把原圖片看作一個(gè)原始特征圖集合；把原圖片的每一個(gè)通道看作一個(gè)原始特征圖；把組成原圖片的數(shù)值矩陣中的每個(gè)數(shù)值看作是一個(gè)原始特征；將源自同一張圖片的原始特征圖集合、原始特征圖、原始特征看作原始特征集合。已有網(wǎng)絡(luò)只在第一層卷積中利用了上述的原始特征集合，隨后便以最淺層特征集合代替原始特征集合向前傳播，之后的每一層都是如此更替的模式。筆者提出一種新的主張，不再用卷積得到的特征集合替代上一層的特征集合，而是將卷積得到的特征集合看作一種關(guān)注，疊加在原始特征集合上，以原始特征集合為“骨”，貫穿整個(gè)模型，以每一層卷積得到的特征集合為“肉”，不斷地附著在“骨”上。在前向傳播的過(guò)程中，單位“骨”上“肉”越多，卷積時(shí)所獲得的關(guān)注越多，作用越大。用這樣的方式可以規(guī)范特征圖的更新路徑，進(jìn)而精簡(jiǎn)模型參數(shù)，并且能最大化地將原始圖片中的有效信息保留在每一層的特征圖上傳遞出來(lái)，以提高識(shí)別的準(zhǔn)確率。

本研究將其命名為MeNet（multiscale enhance on me）。MeNet的整體模型如圖3所示。

結(jié)合圖3可知，MeNet模型主要由多尺度特征增強(qiáng)模塊（MFE）、特征挑選和空域抑制模塊（CC）、最大池化層、可分離卷積層、平均池化層和全連接層構(gòu)成。將上述思想用于黃瓜圖像分類的任務(wù)。

2.2" 多尺度特征增強(qiáng)模塊（multi-scale feature enhancement module，MFE）

在許多模型中，第一次下采樣操作通常通過(guò)控制卷積操作的步長(zhǎng)來(lái)實(shí)現(xiàn)，用以縮小特征圖，后續(xù)提取圖像的高層特征以支持識(shí)別任務(wù)［12］。然而，由于這種下采樣方式導(dǎo)致原始圖像中不同像素點(diǎn)的計(jì)算次數(shù)不同，不同的計(jì)算次數(shù)先天性地給予了不同像素點(diǎn)不同的重要性，這可能會(huì)使模型丟失一些原始圖像的重要特征［13］。尤其是對(duì)于真實(shí)田間背景這種復(fù)雜情況，這種損失很可能會(huì)導(dǎo)致模型忽略圖像邊緣的特征，進(jìn)而影響模型的性能。為解決這個(gè)問(wèn)題，本研究提出了一種新的方法：在第一次下采樣前，讓所有像素點(diǎn)的計(jì)算次數(shù)相同，提取底層特征后對(duì)原始圖像進(jìn)行像素級(jí)特征增強(qiáng)，使網(wǎng)絡(luò)在進(jìn)行第一次下采樣前能夠保留更多的有效特征，從而提升網(wǎng)絡(luò)的表達(dá)上限，搭配最大池化下采樣，起到突出特征、過(guò)濾噪聲的效果。

多尺度結(jié)構(gòu)的核心思想在于利用不同感受野的卷積核提取不同尺度的信息，其實(shí)質(zhì)是讓網(wǎng)絡(luò)學(xué)習(xí)一個(gè)不同尺度局部區(qū)域內(nèi)像素之間的上下文關(guān)系，這有助于更好地捕捉不同尺寸的特征信息［14-15］。

本模塊（MFE）學(xué)習(xí)輸入圖像不同尺度的特征信息，并且給予不同尺度特征圖不同的權(quán)重后，再疊加相應(yīng)尺度的特征增強(qiáng)；其中的權(quán)重由特征圖整體平均池化后經(jīng)過(guò)線性變換和sigmoid激活后得到，特征增強(qiáng)所用的增強(qiáng)矩陣由相應(yīng)尺度的最大池化和1×1卷積得到；最后將原始特征集合增維后與權(quán)重矩陣和增強(qiáng)矩陣進(jìn)行像素級(jí)融合。

本模塊包含2個(gè)感受野，分別是3×3和5×5，2個(gè)分支分別提取不同感受野的特征，由于輸入圖像都是3通道的RGB圖像，為了每個(gè)通道的特征圖都能均勻得到增強(qiáng)，本模塊所得到的特征圖通道須為3的倍數(shù)。

本模塊的結(jié)構(gòu)圖如圖4所示。

2.3" 特征挑選和空域抑制模塊（feature selection and spatial suppression module，SS）

本模塊（SS）的主要目的是提取圖像特征，并用不同尺寸的最大池化對(duì)不同感受野內(nèi)的特征進(jìn)行挑選，之后將挑選出來(lái)的突出特征與上一層特征圖進(jìn)行像素級(jí)融合，讓網(wǎng)絡(luò)在提取特征的同時(shí)挑選更為突出的特征來(lái)加強(qiáng)自身。

在近些年，注意力機(jī)制一直是一個(gè)重要的研究方向［16］。Yang等認(rèn)為應(yīng)由神經(jīng)科學(xué)中的一些統(tǒng)一原則來(lái)指導(dǎo)注意力機(jī)制的計(jì)算，因此基于一些成熟的神經(jīng)科學(xué)理論提出了一種新的方法［17］，可以有效地產(chǎn)生真正的三維權(quán)重。要想成功地實(shí)現(xiàn)注意力，需要根據(jù)特征圖來(lái)估算單個(gè)神經(jīng)元的重要性。在神經(jīng)科學(xué)中，信息量最大的神經(jīng)元通常是那些在周圍神經(jīng)元中顯示出獨(dú)特放電模式的神經(jīng)元。而且，一個(gè)活躍的神經(jīng)元通常會(huì)抑制周圍神經(jīng)元的活動(dòng)，

這種現(xiàn)象被稱為空域抑制。由此得到啟發(fā)，在視覺(jué)加工過(guò)程中，表現(xiàn)出明顯空域抑制效應(yīng)的神經(jīng)元應(yīng)被賦予更高的優(yōu)先權(quán)（即重要性）。在尋找重要神經(jīng)元時(shí)，最簡(jiǎn)單的方法就是度量神經(jīng)元之間的線性可分性。基于這一思想，為每個(gè)神經(jīng)元定義以下能量函數(shù)。

et（wt，bt，y，xi）=（y-t＾）2+1M-1∑M-1i=1（y-x＾i）2

t＾=wtt+bt

x＾i=wtxi+bt 。（1）

式中：t和xt為輸入特征X∈RC×H×W的單個(gè)通道中的目標(biāo)神經(jīng)元和其他神經(jīng)元；i是空間維度上的索引；M=H×W是該通道上的神經(jīng)元數(shù)量；wt還有bt是計(jì)算中的權(quán)重和偏置。經(jīng)過(guò)研究人員一步步的計(jì)算后，最終給出了一個(gè)可以簡(jiǎn)單計(jì)算的能量公式：

e*t=4（σ2+φ）（t-μ）2+2σ2+2φ。（2）

式中：μ和σ2是除t以外的所有神經(jīng)元的平均值和方差，系數(shù)φ在0.000 1時(shí)取得較好的性能。其能量越低，意味著神經(jīng)元t與周圍神經(jīng)元的差異越大，其重要性也越高。因此，神經(jīng)元的重要性可以通過(guò)1e*得到。最后，根據(jù)各神經(jīng)元的重要性，對(duì)特征圖進(jìn)行優(yōu)化，并將其總結(jié)在一個(gè)通道上，則SimAM的計(jì)算流程可概況為

X=sigmoid1E·X。（3）

式中：輸出結(jié)果X為增強(qiáng)后的特征，X為輸入特征，·為點(diǎn)積運(yùn)算，E為每個(gè)通道上所有神經(jīng)元能量函數(shù)的值列表，sigmoid則用來(lái)限制E值的范圍。

通過(guò)這種方式，可以更準(zhǔn)確地在神經(jīng)元群體中捕捉到在特定任務(wù)中扮演關(guān)鍵角色的神經(jīng)元以重現(xiàn)人腦中的注意力協(xié)同機(jī)制，并將其體現(xiàn)在SimAM注意力模塊中。

整體的模塊結(jié)構(gòu)如圖5所示。

2.4" 通道混合和壓縮模塊（channels and compression module，CC）

深度可分離卷積（DP）由1個(gè)卷積核大小為3的深度卷積（DW）和1個(gè)卷積核大小為1的逐點(diǎn)卷積（PW）組成。相比于普通卷積，DW能節(jié)省非常多的參數(shù)量和運(yùn)算量，而特征提取效果與普通卷積相比相差不大，且PW可以讓各通道間的信息進(jìn)行融合，在降低計(jì)算成本的同時(shí)增加非線性容量，這有助于模型擬合數(shù)據(jù)分布，故而深度可分離卷積模塊對(duì)于輕量型模型來(lái)說(shuō)是最好的選擇之一。

上述幾個(gè)模塊不斷將模型的關(guān)注點(diǎn)聚焦到病害特征所在位置，這就使得此時(shí)的特征圖中包含2類特征點(diǎn)：其一為病灶位置的特征點(diǎn)，特征效率高，越靠近病灶位置的特征值就越高；其二為非病灶位置的特征點(diǎn)，離病灶位置越遠(yuǎn)特征值就越低。非病灶位置的特征點(diǎn)在分類器中是有害的，一方面增加運(yùn)算量，一方面干擾分類結(jié)果。要解決這一問(wèn)題需要在最后分類前對(duì)特征圖進(jìn)行優(yōu)化，采用全局平均池化將特征圖壓縮為一個(gè)值，由一個(gè)值的輸出來(lái)總結(jié)一個(gè)特征圖的關(guān)鍵信息，這將會(huì)使模型忽略非病灶位置的特征點(diǎn)，從而提高分類性能，同時(shí)能進(jìn)一步減少參數(shù)量。

本模塊（CC）的計(jì)算過(guò)程公式化表達(dá)為

X2=PW［DW（X）］

X3=MP{ReLU［BN（X2）］}

X4=AVG（X3）。（4）

式中：X為模塊輸入；X4為模塊輸出；DW為分組卷積；PW為點(diǎn)卷積；ReLU為激活函數(shù)；BN為歸一化層；MP為最大池化操作；AVG為平均池化操作。

3" 試驗(yàn)結(jié)果

3.1" 試驗(yàn)平臺(tái)

本研究采用的試驗(yàn)平臺(tái)硬件環(huán)境：處理器為12 vCPU Intel Xeon Platinum 8255C CPU @ 2.50 GHz，內(nèi)存為40 GB，顯卡為NVIDIA GeForce RTX 2080 Ti，顯存為11 GB。編程語(yǔ)言為Python，深度學(xué)習(xí)框架：Pytorch 1.11.0，CUDA版本為11.3，進(jìn)行模型的搭建和訓(xùn)練。

3.2" 訓(xùn)練參數(shù)

為試驗(yàn)的有效性考量，所有試驗(yàn)均采用相同的環(huán)境參數(shù)：模型在訓(xùn)練和測(cè)試時(shí)均采用相同的批處理的方式，每批數(shù)據(jù)包含64幅圖像，即批訓(xùn)練數(shù)據(jù)量的大小（batch）設(shè)置為64。模型訓(xùn)練的迭代總次數(shù)（Epoch）設(shè)置為300，采用Adam優(yōu)化器，初始學(xué)習(xí)率設(shè)置為0.001，betas設(shè)置為（0.9，0.999），損失函數(shù)使用交叉熵?fù)p失函數(shù)。

3.3" 模型評(píng)價(jià)指標(biāo)

本研究是輕量化分類模型在黃瓜病害圖像上的應(yīng)用，所以將采用5個(gè)指標(biāo)［18］來(lái)判斷模型的整體性能，分別是最高準(zhǔn)確率、平均準(zhǔn)確率、參數(shù)量、浮點(diǎn)運(yùn)算數(shù)、混淆矩陣。

其中的平均準(zhǔn)確率為10次試驗(yàn)在測(cè)試集上準(zhǔn)確率的平均值，且平均準(zhǔn)確率更高意味著模型的穩(wěn)定性更好；最高準(zhǔn)確率為10次試驗(yàn)在測(cè)試集上的最高值，最高準(zhǔn)確率更高意味著模型的上限更好。

參數(shù)量、浮點(diǎn)運(yùn)算量由thop庫(kù)中的profile方法導(dǎo)出，其中浮點(diǎn)運(yùn)算量為1張224像素×224像素分辨率的RGB圖像輸入網(wǎng)絡(luò)后前向傳播時(shí)共執(zhí)行的浮點(diǎn)運(yùn)算次數(shù)。

混淆矩陣是由sklearn庫(kù)中的metrics方法導(dǎo)出，經(jīng)過(guò)pandas庫(kù)對(duì)混淆矩陣進(jìn)行美化，方便分析。本研究混淆矩陣的縱坐標(biāo)為預(yù)測(cè)值，橫坐標(biāo)為真實(shí)值?；煜仃囍凶宰笊现劣蚁碌膶?duì)角線數(shù)值為模型對(duì)于每種圖像預(yù)測(cè)正確的數(shù)量，哪種圖像對(duì)應(yīng)的數(shù)值越大則說(shuō)明模型在此種圖像上的分類效果越好。

3.4" 消融試驗(yàn)

由于本研究的目的是完成一種輕量化模型的設(shè)計(jì)，大體上有13層的卷積結(jié)構(gòu)，故而以VGG16網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)剪枝，以只保留13層卷積的CNN網(wǎng)絡(luò)為基礎(chǔ)模型，以下稱為BaseCNN，以此為基礎(chǔ)在試驗(yàn)中驗(yàn)證所包含的模塊性能。

按照基礎(chǔ)模型（BaseCNN）中的特征圖尺寸變化規(guī)律，將BaseCNN中的普通卷積全部替換為深度可分離卷積模塊（DP），該模型以DPNet代指；將DPNet中的第1次下采樣（第1個(gè)DP）替換為本研究所采用的多尺度特征增強(qiáng)模塊（MFE），稱為MFE_DP；將模型的中間部分每一個(gè)DP都（中間3個(gè)DP）替換為本研究所采用的特征挑選和空域抑制模塊（SS），稱為MFE_SS_DP；將MFE_SS_DP中的SimAM空域抑制刪去，稱為MFE_S_DP；最后將模型的尾部（最后一個(gè)DP）替換為本研究所采用的通道混合和壓縮模塊（CC），稱為MFE_SS_CC（MeNet）。

由表1可知，DPNet的最高準(zhǔn)確率和平均準(zhǔn)確率均比BaseCNN要高，而且參數(shù)量和運(yùn)算量均超大幅度減少。這是因?yàn)樯疃瓤煞蛛x卷積（DP）本身分

組卷積加點(diǎn)卷積的組合可以大幅降低參數(shù)量和運(yùn)算量；DP中的點(diǎn)卷積能有效進(jìn)行跨通道的特征整合，且點(diǎn)卷積的本質(zhì)也可以對(duì)原特征圖的每一個(gè)像素點(diǎn)進(jìn)行1次像素級(jí)的加權(quán)，這使得其準(zhǔn)確率也有大幅度提高，這個(gè)優(yōu)點(diǎn)將保留在CC模塊中。

MFE_DP的最高準(zhǔn)確率和平均準(zhǔn)確率均比DPNet要高，MFE模塊給DPNet帶來(lái)了1.45百分點(diǎn)的平均準(zhǔn)確率提升和1.56百分點(diǎn)的最高準(zhǔn)確率提升，運(yùn)算量減少17.07%，參數(shù)量略微減少。因?yàn)镸FE模塊為模型保留了不同感受野的完整圖像信息，對(duì)圖像邊緣的特征保留得也更全面，且能夠針對(duì)不同尺寸的病害信息給予特征圖相應(yīng)的增強(qiáng)信號(hào)。

MFE_SS_DP和MFE_DP的比較說(shuō)明SS模塊給MFE_DP帶來(lái)了1.72百分點(diǎn)的平均準(zhǔn)確率提升和1.17百分點(diǎn)的最高準(zhǔn)確率提升，參數(shù)量減少17.19%，運(yùn)算量減少了11.76%。其中，MFE_S_DP中只包含了特征挑選，可以使MFE_DP的平均準(zhǔn)確率提升0.33百分點(diǎn)，最高準(zhǔn)確率提升0.39百分點(diǎn)。從MFE_SS_DP和MFE_S_DP的比較中看出，在特征挑選的基礎(chǔ)上加入SimAM（神經(jīng)元挑選）后平均準(zhǔn)確率提升了1.39百分點(diǎn)，最高準(zhǔn)確率提升了0.78百分點(diǎn)，說(shuō)明空域抑制和特征挑選是可以配合使用的，并不會(huì)沖突，且空域抑制模塊挑選出的重要神經(jīng)元在分類中發(fā)揮了更強(qiáng)大的作用。通過(guò)反復(fù)3次的特征挑選和神經(jīng)元挑選，特征有效性大大提高，這是輕量化模型可以用少量參數(shù)實(shí)現(xiàn)較好分類效果的重要條件。

MFE_SS_CC（MeNet）和MFE_SS_DP的比較說(shuō)明CC模塊給MFE_SS_DP帶來(lái)了2.93百分點(diǎn)的平均準(zhǔn)確率提升和3.08百分點(diǎn)的最高準(zhǔn)確率提升，參數(shù)量減少了37.74%，運(yùn)算量幾乎不變。CC模塊與被替換掉的DP模塊相比，雖然只多了一個(gè)特征圖壓縮的步驟，但是這個(gè)壓縮的過(guò)程正是貫徹設(shè)計(jì)思想的關(guān)鍵一招，大量非病灶位置的特征點(diǎn)的取值比較小，對(duì)分類任務(wù)起不利影響，用壓縮特征圖的方式將取值較小的特征點(diǎn)忽略，只有這樣才能真正地將前2個(gè)模塊處理好的高效特征的作用發(fā)揮出來(lái)，篩選有效的特征進(jìn)入分類器。這種做法直接將下一步全連接分類時(shí)的輸入特征數(shù)減少為原來(lái)的 1/49，減少了大量的冗余連接，而保留了重要連接，讓分類更加準(zhǔn)確，也大大減少了參數(shù)量。

從整體上來(lái)看，試驗(yàn)驗(yàn)證了“2.1”節(jié)中的設(shè)計(jì)思想，可以實(shí)現(xiàn)黃瓜病害的分類，且大大提高了特征的有效性，讓模型用更少的參數(shù)完成了分類的任務(wù)。接下來(lái)，將用MeNet和其他主流模型對(duì)比以證明其優(yōu)越性。

3.5" 對(duì)比試驗(yàn)

將本研究的網(wǎng)絡(luò)模型與主流網(wǎng)絡(luò)模型在相同數(shù)據(jù)集和訓(xùn)練環(huán)境下作對(duì)比試驗(yàn)，以評(píng)估MeNet的網(wǎng)絡(luò)性能，結(jié)果如表2所示。

由表2可知，本研究提出的模型在復(fù)雜背景的黃瓜數(shù)據(jù)集上有著出色的性能表現(xiàn)。與老牌網(wǎng)絡(luò)VGG16相比，MeNet無(wú)論是參數(shù)量、浮點(diǎn)運(yùn)算量還是準(zhǔn)確率都更優(yōu)秀，充分說(shuō)明對(duì)于深度學(xué)習(xí)來(lái)說(shuō)，特征數(shù)量不是越多越好；與模型體量最接近的GhostNet、ShuffleNet v1、MobileNet v3網(wǎng)絡(luò)相比，MeNet在參數(shù)量和準(zhǔn)確率上更具有優(yōu)勢(shì)，參數(shù)量?jī)H為ShuffleNet v1的15.64%，但是浮點(diǎn)運(yùn)算數(shù)卻比GhostNet高出了0.08 G，平均準(zhǔn)確率則是最高的，比GhostNet高出5.08百分點(diǎn)，比ShuffleNet v1高出4.42百分點(diǎn)，比MobileNet v3高出2.58百分點(diǎn)；與準(zhǔn)確率表現(xiàn)最接近的EfficientNetB0、Inception v2網(wǎng)絡(luò)相比，MeNet在網(wǎng)絡(luò)體量上有著巨大的優(yōu)勢(shì)，參數(shù)量不足它們的1/20，浮點(diǎn)運(yùn)算數(shù)也只有它們的1/6，MeNet準(zhǔn)確率也高出二者至少1.13百分點(diǎn)；這說(shuō)明MeNet提取的特征更加簡(jiǎn)潔、高效，具有更強(qiáng)的可解釋性，繼續(xù)研究的價(jià)值也更高。

3.6" 可視化分析

使用Grad-CAM++方法對(duì)模型的最后一層卷積層進(jìn)行可視化分析，用疊加熱力圖的方式查看網(wǎng)絡(luò)經(jīng)過(guò)特征增強(qiáng)和挑選后所關(guān)注的特征。

計(jì)算網(wǎng)絡(luò)模型的混淆矩陣，通過(guò)數(shù)據(jù)集內(nèi)容和混淆矩陣的對(duì)照，可以觀察出數(shù)據(jù)集的難分點(diǎn)和網(wǎng)絡(luò)模型的缺點(diǎn)，這對(duì)指明以后的研究方向很有幫助。

可視化結(jié)果如圖6和圖7所示。

由圖6可知，MeNet模型可以很好地將關(guān)注集中在病灶區(qū)域，這是模型能夠正確分類的保障，同時(shí)也驗(yàn)證了模型切實(shí)提高了特征表達(dá)效率，使得模型在參數(shù)減少的同時(shí)保證準(zhǔn)確率。

由圖7可知，MeNet模型整體分類效果較好，最影響結(jié)果的是炭疽?。╝nthracnose）和蔓枯病（gummy stem blight），這2種病害的識(shí)別最為困難，因2種病害病灶區(qū)域極其相似，故而容易相互混淆。2種病害的圖像如圖8所示。

3.7" 泛化性試驗(yàn)

將本研究的模型在大型公開(kāi)數(shù)據(jù)集PlantVillage上運(yùn)行，訓(xùn)練集與測(cè)試集比例均為8 ∶2，用以測(cè)試模型的泛化能力。在對(duì)比試驗(yàn)中挑選參數(shù)量最接近的和準(zhǔn)確率最接近的模型共同參與。試驗(yàn)結(jié)果如表3所示。

從表3可以明顯看出，與GhostNet和EfficientNetB0模型相比，本研究提出的MeNet模型不僅在準(zhǔn)確率方面表現(xiàn)更出色，而且模型的體積也更小。就MeNet模型本身而言， 其準(zhǔn)確率完全滿足需求。且依據(jù)MeNet在大型數(shù)據(jù)集上的表現(xiàn)可以推斷，MeNet模型同樣可以很好地?cái)M合大型數(shù)據(jù)集，

有著很大的移植應(yīng)用空間。

4" 結(jié)論

以往神經(jīng)網(wǎng)絡(luò)模型存在復(fù)雜背景下病害識(shí)別困難和參數(shù)量大2個(gè)問(wèn)題，導(dǎo)致網(wǎng)絡(luò)難解釋、難推廣、難應(yīng)用，歸根結(jié)底是由于以往模型提取的特征有效性不高所致。本研究據(jù)此展開(kāi)研究并得出以下結(jié)論：采用“2.1”節(jié)提出的以輸入圖像原始特征集合為“骨”，以特征矩陣為“肉”構(gòu)建圖像特征的方法是可行的；本研究的模型以0.33 M的參數(shù)在復(fù)雜背景下達(dá)到了92.92%的準(zhǔn)確率，優(yōu)于現(xiàn)有主流模型，證實(shí)本研究的方法是有效的；模型可視化結(jié)果證實(shí)了本研究的方法可以規(guī)范特征圖的更新路徑，讓特征更易解釋；參數(shù)量的大幅降低驗(yàn)證了本方法能用少量高質(zhì)量特征替換大量低質(zhì)量特征，提高了特征效率，顯著降低了模型參數(shù)。

本研究模型參數(shù)量與運(yùn)算量極小，可以輕松移植到許多性能較低的設(shè)備上使用。這不僅降低了設(shè)備成本，增強(qiáng)了模型的可移植性；還有助于生產(chǎn)商減小設(shè)備的體積，增強(qiáng)設(shè)備便攜性，對(duì)于廣泛推廣電子設(shè)備用于農(nóng)作物病害的識(shí)別具有巨大的推動(dòng)作用。

參考文獻(xiàn)：

［1］陳學(xué)新，杜永均，黃健華，等. 我國(guó)作物病蟲害生物防治研究與應(yīng)用最新進(jìn)展［J］. 植物保護(hù)，2023，49（5）：340-370.

［2］Li Z W，Liu F，Yang W J，et al. A survey of convolutional neural networks：analysis，applications，and prospects［J］. IEEE Transactions on Neural Networks and Learning Systems，2022，33（12）：6999-7019.

［3］劉" 陽(yáng)，高國(guó)琴. 采用改進(jìn)的SqueezeNet模型識(shí)別多類葉片病害［J］. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37（2）：187-195.

［4］孫" 俊，朱偉棟，羅元秋，等. 基于改進(jìn)MobileNet v2的田間農(nóng)作物葉片病害識(shí)別［J］. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37（22）：161-169.

［5］彭紅星，徐慧明，劉華鼐. 融合雙分支特征和注意力機(jī)制的葡萄病蟲害識(shí)別模型［J］. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38（10）：156-165.

［6］賈 "璐，葉中華. 基于注意力機(jī)制和特征融合的葡萄病害識(shí)別模型［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2023，54（7）：223-233.

［7］王煥鑫，沈志豪，劉" 泉，等. 基于改進(jìn)MobileNet v2模型的農(nóng)作物葉片病害識(shí)別研究［J］. 河南農(nóng)業(yè)科學(xué)，2023，52（4）：143-151.

［8］朱學(xué)巖，陳鋒軍，鄭一力，等. 融合雙線性網(wǎng)絡(luò)和注意力機(jī)制的油橄欖品種識(shí)別［J］. 農(nóng)業(yè)工程學(xué)報(bào)，2023，39（10）：183-192.

［9］杜海順，張春海，安文昊，等. 基于多層信息融合和顯著性特征增強(qiáng)的農(nóng)作物病害識(shí)別［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2023，54（7）：214-222.

［10］李建威，呂曉琪，谷" 宇. 基于改進(jìn)ConvNeXt的皮膚鏡圖像分類方法［J］. 計(jì)算機(jī)工程，2023，49（10）：239-246，254.

［11］Chen Z Y，Wu R H，Lin Y Y，et al. Plant disease recognition model based on improved YOLO v5［J］. Agronomy，2022，12（2）：365.

［12］王" 軍，馮孫鋮，程" 勇. 深度學(xué)習(xí)的輕量化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)研究綜述［J］. 計(jì)算機(jī)工程，2021，47（8）：1-13.

［13］吳建成，郭榮佐，成嘉偉，等. 注意力特征融合的快速遙感圖像目標(biāo)檢測(cè)算法［J］. 計(jì)算機(jī)工程與應(yīng)用，2024，60（1）：207-216.

［14］Ioffe S，Szegedy C. Batch normalization：Accelerating deep network training by reducing internal covariate shift［C］. 32nd International Conference on Machine Learning，ICML 2015，2015，1：448-456.

［15］齊國(guó)紅，許新華，師曉麗. 基于多尺度注意力U-Net的結(jié)球甘藍(lán)青蟲檢測(cè)方法［J］. 江蘇農(nóng)業(yè)學(xué)報(bào)，2023，39（6）：1349-1357.

［16］Wang Q L，Wu B G，Zhu P F，et al. ECA-net：efficient channel attention for deep convolutional neural networks［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle，WA，USA.IEEE，2020：11531-11539.

［17］Yang L，Zhang R Y，Li L，et al. Simam：A simple，parameter-free attention module for convolutional neural networks［C］//International conference on machine learning. Virtual：IEEE，2021：11863-11874.

［18］Sandler M，Howard A，Zhu M L，et al. MobileNet v2：inverted residuals and linear bottlenecks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City，UT.IEEE，2018：4510-4520.

［19］Tan M X，Le Q V. EfficientNet：rethinking model scaling for convolutional neural networks［EB/OL］. （2019-05-28）［2023-11-09］. http：//arxiv.org/abs/1905.11946.

［20］Han K，Wang Y H，Tian Q，et al. GhostNet：more features from cheap operations［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle，WA，USA.IEEE，2020：1577-1586.

［21］Liu Z，Mao H Z，Wu C Y，et al. A ConvNet for the 2020s［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans，LA，USA.IEEE，2022：11966-11976.