基于知識(shí)蒸餾與EssNet 的田間農(nóng)作物病害識(shí)別

溫釗發(fā)，蒲智，程曦，趙昀杰

(新疆農(nóng)業(yè)大學(xué)計(jì)算機(jī)與信息工程學(xué)院，新疆烏魯木齊 830052)

如今，降低病害對(duì)農(nóng)業(yè)生產(chǎn)的影響依然是全球重大挑戰(zhàn)[1]。 在中歐等集約化農(nóng)業(yè)生產(chǎn)地區(qū)因病害導(dǎo)致的產(chǎn)量減少高達(dá)50%[2]，全球因病蟲害造成的糧食生產(chǎn)損失在20%～40%之間[3]。 因此，作物病害的快速精準(zhǔn)判別對(duì)糧食生產(chǎn)與農(nóng)業(yè)發(fā)展具有重要意義。

傳統(tǒng)病害判別需要農(nóng)業(yè)人員實(shí)地考察判別或使用專業(yè)設(shè)備檢測(cè)，時(shí)效性低[4]、主觀性強(qiáng)、投入成本高，易誤判或錯(cuò)過(guò)病害早期防治[5]。 隨著圖像處理技術(shù)的發(fā)展，研究者們將其與病害識(shí)別相結(jié)合并取得了較好的成果，但該方法需要人工選定病害特征并進(jìn)行提取分割，耗時(shí)耗力且造成全局信息割裂，產(chǎn)生語(yǔ)義鴻溝[6]。 而深度學(xué)習(xí)不需要前期冗雜的數(shù)據(jù)處理工作，采用端到端的方式提取病害高級(jí)特征，在保持良好性能的同時(shí)降低其他負(fù)面影響。

冀常鵬等[7]使用Ghost 模塊搭建的卷積神經(jīng)網(wǎng)絡(luò)在PlantVillage 數(shù)據(jù)集上對(duì)番茄葉面病害的識(shí)別準(zhǔn)確率達(dá)到98.53%，參數(shù)量為2.51 M；郭利進(jìn)等[8]通過(guò)修改LeNet 參數(shù)建立的深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)，在PlantVillage 玉米數(shù)據(jù)集上對(duì)其葉部3 種病害的識(shí)別準(zhǔn)確率達(dá)到97.89%；孫文斌等[9]基于可見光譜在殘差網(wǎng)絡(luò)(ResNet)中引入注意力機(jī)制建立SMLP_ResNet18 網(wǎng)絡(luò)，該網(wǎng)絡(luò)在AI Challenger_2018 數(shù)據(jù)集上對(duì)多種農(nóng)作物病害的識(shí)別準(zhǔn)確率達(dá)到86.93%，模型權(quán)重為48.6 MB。 Ni等[10]結(jié)合密集連接思想改進(jìn)ResNet50，相比原網(wǎng)絡(luò)對(duì)作物病害識(shí)別的準(zhǔn)確率提高了0.8%。 以上研究都是基于簡(jiǎn)單背景下的病害識(shí)別研究，網(wǎng)絡(luò)模型的魯棒性低、泛化性差，在實(shí)際復(fù)雜的農(nóng)業(yè)生產(chǎn)環(huán)境中應(yīng)用時(shí)易受外界因素干擾，準(zhǔn)確率大幅降低。

在復(fù)雜背景病害識(shí)別研究中，孫俊等[11]在MobileNet-V2 模型中引入特征金字塔與注意力機(jī)制，使改進(jìn)模型對(duì)復(fù)雜背景農(nóng)作物葉片病害的識(shí)別準(zhǔn)確率達(dá)到92.20%，參數(shù)量為3.5 M；葉中華等[12]使用目標(biāo)檢測(cè)SSD 模型，對(duì)復(fù)雜背景農(nóng)作物病害圖像識(shí)別的精度值達(dá)到83.90%；帖軍等[13]通過(guò)減少ResNet34 的殘差數(shù)量與網(wǎng)絡(luò)寬度使對(duì)自然背景下柑橘病害圖像的識(shí)別準(zhǔn)確率達(dá)到93.6%；劉斌等[14]在Inception-ResNetV2 中引入注意力機(jī)制與Focal Loss 損失函數(shù)，并通過(guò)快照集成法集成模型，可使蘋果葉部病害的識(shí)別準(zhǔn)確率達(dá)到90.82%。 黃林生等[15]在ResNet18 中引入Inception 模塊，并加入注意力機(jī)制，對(duì)田間8 種農(nóng)作物病害的識(shí)別準(zhǔn)確率達(dá)到95.62%，權(quán)重文件為44.2 MB。 這些研究雖然提高了復(fù)雜環(huán)境中模型的魯棒性與泛化性，但依舊存在準(zhǔn)確率不夠理想、參數(shù)過(guò)多、權(quán)重文件過(guò)大，難以搭載至移動(dòng)端進(jìn)行實(shí)地應(yīng)用等問(wèn)題。

針對(duì)上述問(wèn)題，本文以復(fù)雜背景下的玉米和蘋果病害葉片為研究對(duì)象，提出一種基于知識(shí)蒸餾與EssNet 的病害識(shí)別方法，不僅實(shí)現(xiàn)了復(fù)雜環(huán)境下的農(nóng)作物病害高效精準(zhǔn)識(shí)別，還滿足了模型輕量化要求，易于搭載至移動(dòng)端，同時(shí)利用對(duì)比試驗(yàn)與消融試驗(yàn)證實(shí)了網(wǎng)絡(luò)有效性，為以后基于深度學(xué)習(xí)的移動(dòng)端病害識(shí)別模型研究提供了思路。

1 材料與方法

1.1 數(shù)據(jù)來(lái)源及預(yù)處理

1.1.1 數(shù)據(jù)采集 綜合考慮模型對(duì)病害特征的顯著性提取能力以及在復(fù)雜環(huán)境的魯棒性應(yīng)用，本文使用簡(jiǎn)單背景和復(fù)雜背景兩大類葉片圖像構(gòu)成原始數(shù)據(jù)集，如圖1 所示。 數(shù)據(jù)集共包含2 種作物(玉米、蘋果)的9 種病害圖像(蘋果斑點(diǎn)落葉病、蘋果褐斑病、蘋果灰斑病、蘋果花葉病、蘋果銹病、蘋果黑星病、玉米灰斑病、玉米大斑病、玉米銹病)和2 種健康圖像(蘋果健康、玉米健康)，共6763 張。 圖像數(shù)據(jù)從PlantVillage 數(shù)據(jù)集、New Plant Diseases Dataset 數(shù)據(jù)集、Apple Scab LDs 數(shù)據(jù)集以及實(shí)地拍攝圖像中通過(guò)人工篩選、數(shù)據(jù)清洗得到，各類病害葉片圖像數(shù)量如表1 所示。

表1 原始數(shù)據(jù)集樣本分布

圖1 作物病害圖像樣例

1.1.2 數(shù)據(jù)預(yù)處理 首先將原始數(shù)據(jù)集以8∶2 的比例劃分為訓(xùn)練集與測(cè)試集，確保數(shù)據(jù)的相對(duì)獨(dú)立性[16]。 然后在訓(xùn)練集上采用數(shù)據(jù)增強(qiáng)操作模擬多種田間復(fù)雜環(huán)境，提升數(shù)據(jù)多樣性，緩解訓(xùn)練階段的過(guò)擬合現(xiàn)象，提高模型的抗干擾能力[17]。顏色特征是病害表現(xiàn)的關(guān)鍵特征之一[18]，為避免降低模型對(duì)病害特征的提取能力，在數(shù)據(jù)增強(qiáng)階段不對(duì)顏色特征進(jìn)行操作，僅采用左右翻轉(zhuǎn)、垂直翻轉(zhuǎn)、角度旋轉(zhuǎn)、亮度調(diào)整、對(duì)比度調(diào)整5 種方式，效果如圖2 所示。 為提高增強(qiáng)效果的隨機(jī)性，同時(shí)避免數(shù)據(jù)增強(qiáng)過(guò)度，通過(guò)隨機(jī)選取多種增強(qiáng)方法的方式進(jìn)行增強(qiáng)操作，參數(shù)如表2 所示。

表2 圖像增強(qiáng)操作

圖2 圖像增強(qiáng)效果展示

1.2 模型選取與方法改進(jìn)

1.2.1 知識(shí)蒸餾 增加網(wǎng)絡(luò)結(jié)構(gòu)的深度與寬度是提高模型特征提取能力最直接的方法，但該操作會(huì)引起模型參數(shù)量變多、復(fù)雜度提高等問(wèn)題。知識(shí)蒸餾(knowledge distillation，KD)[19]借助混合損失函數(shù)將學(xué)習(xí)能力強(qiáng)、性能優(yōu)異但臃腫的教師模型先驗(yàn)知識(shí)萃取出來(lái)，然后傳授給輕量級(jí)學(xué)生模型[20]，在保證學(xué)生模型輕量化的同時(shí)使其概率分布趨近于教師模型，提高學(xué)生模型的收斂速度與性能表現(xiàn)。 KD 學(xué)習(xí)結(jié)構(gòu)如圖3 所示。 首先對(duì)教師模型標(biāo)簽與學(xué)生模型預(yù)測(cè)標(biāo)簽引入蒸餾溫度進(jìn)行處理，并使用KL 散度損失函數(shù)(Kullback-Leibler Divergence，KL)得到軟損失函數(shù)值，如式(1)所示；再對(duì)學(xué)生模型預(yù)測(cè)標(biāo)簽與真實(shí)標(biāo)簽使用交叉熵?fù)p失函數(shù)(Cross Entropy Loss，CE)得到硬損失函數(shù)值，如式(2)所示；最后對(duì)兩個(gè)損失函數(shù)值進(jìn)行加權(quán)計(jì)算得到混合損失值，如式(3)所示。

圖3 知識(shí)蒸餾學(xué)習(xí)結(jié)構(gòu)

式中:XTi代表教師模型輸出，XSi代表學(xué)生模型輸出，SL 代表軟損失函數(shù)值，HL 代表硬損失函數(shù)值，Tb 代表真實(shí)標(biāo)簽值，KDLoss代表混合損失值，i代表索引序號(hào)，n 代表i 的總數(shù)，α 代表?yè)p失權(quán)重值。

1.2.2 模型選取 隨著深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)提出了許多新的結(jié)構(gòu)與思想，在各個(gè)領(lǐng)域都取得了較好效果。 本研究將各主流網(wǎng)絡(luò)在數(shù)據(jù)集上進(jìn)行從頭訓(xùn)練，各網(wǎng)絡(luò)表現(xiàn)如表3 所示。 可見，EfficientNetB0 在測(cè)試集上的準(zhǔn)確率、平均精確率以及平均F1 分?jǐn)?shù)均最高， ShuffleNetV2_0.5 的網(wǎng)絡(luò)參數(shù)量與訓(xùn)練出的模型權(quán)重最小。 因此，選取ShuffleNetV2_0.5 為基礎(chǔ)網(wǎng)絡(luò)，EfficientNetB0 為教師模型。

表3 網(wǎng)絡(luò)在測(cè)試集的表現(xiàn)對(duì)比

1.2.3 ECA 通道重排模塊 ShuffleNetV2_0.5 是Ma 等[21]提出的一種輕量級(jí)網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)的通道重排模塊由通道拆分、逐點(diǎn)卷積、深度卷積以及通道重排4 部分構(gòu)成，如圖4 所示。 其中通道拆分減少了ShuffleNetV1[22]中的卷積分組數(shù)，降低了網(wǎng)絡(luò)碎片化程度，提高了模型運(yùn)行速度；逐點(diǎn)卷積與深度卷積降低了卷積過(guò)程運(yùn)算量，降低了模型運(yùn)算復(fù)雜度；通道重排增強(qiáng)了拆分后各組的通道信息流動(dòng)，提高了模型對(duì)全局信息的獲取交互。

圖4 ShuffleNetV2_0.5 的通道重排模塊

但針對(duì)復(fù)雜背景下的作物病害圖像識(shí)別任務(wù)，ShuffleNetV2_0.5 存在一些不足。 由于外界干擾因素過(guò)多、病斑面積大小不一，在網(wǎng)絡(luò)特征提取過(guò)程中會(huì)出現(xiàn)特征丟失或特征提取錯(cuò)誤等問(wèn)題，使網(wǎng)絡(luò)關(guān)注于葉片其他區(qū)域，基于此本文提出了ECA 通道重排模塊，如圖5(a、b)所示。 高效通道注意力(ECA)[23]綜合考慮了輸入特征各通道間的聯(lián)系性與獨(dú)立性，使用步長(zhǎng)為1、大小為k 的一維卷積對(duì)輸入通道計(jì)算權(quán)重，在不破壞特征信息的基礎(chǔ)上實(shí)現(xiàn)了無(wú)降維的權(quán)重計(jì)算，增加了圖像病害區(qū)域權(quán)重，提高了網(wǎng)絡(luò)對(duì)病害區(qū)域特征的提取能力，如圖5(c)所示，一維卷積尺寸k 計(jì)算如式(4)所示。 ECA 通道重排模塊是在原深度卷積后面引入ECA 注意力機(jī)制，在不破壞病害整體特征信息的同時(shí)提高網(wǎng)絡(luò)對(duì)復(fù)雜背景下病斑特征的關(guān)注度，從而提高網(wǎng)絡(luò)收斂速度。 同時(shí)，在深度卷積后加入激活函數(shù)操作，并使用SiLU 激活函數(shù)作為全局激活函數(shù)，使網(wǎng)絡(luò)在深層時(shí)具有更高精度，提高模型準(zhǔn)確率，如圖5(a、b)所示。

圖5 ECA 通道重排模塊

式中:｜t ｜odd代表取最近整數(shù)，k 代表一維卷積大小，C 代表當(dāng)前卷積核數(shù)量，γ＝2，b ＝1。

1.2.4 余弦退火策略 在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，學(xué)習(xí)率是控制模型學(xué)習(xí)進(jìn)度的步長(zhǎng)，也是網(wǎng)絡(luò)權(quán)重更新的超參數(shù)。 學(xué)習(xí)率越高，模型收斂速度越快，但此時(shí)模型容易跳過(guò)最優(yōu)解位置；學(xué)習(xí)率太低，網(wǎng)絡(luò)權(quán)重更新速度極慢，模型也可能會(huì)陷入局部最優(yōu)解。 因此，本文選用周期性的余弦函數(shù)來(lái)調(diào)整學(xué)習(xí)率變化，即余弦退火策略(cosine annealing)，如圖6 所示。 該方法使學(xué)習(xí)率在規(guī)定周期內(nèi)多次由大到小重復(fù)變化，當(dāng)學(xué)習(xí)率處于較大值時(shí)，可以提高模型收斂速度，擺脫陷入局部最優(yōu)解的困境；當(dāng)學(xué)習(xí)率較小時(shí)，模型可以平滑地尋找全局最優(yōu)解，提高模型準(zhǔn)確率。

圖6 學(xué)習(xí)率的不同調(diào)整策略

1.2.5 EssNet 網(wǎng)絡(luò)結(jié)構(gòu) 為滿足作物病害識(shí)別的任務(wù)要求，本文設(shè)計(jì)了一種輕量化的網(wǎng)絡(luò)結(jié)構(gòu)EssNet，如圖7 所示。 該網(wǎng)絡(luò)以ShuffleNetV2_0.5為基礎(chǔ)框架，由2 個(gè)卷積層、2 個(gè)池化層、16 個(gè)卷積模塊以及2 個(gè)全連接層構(gòu)成。 為了提高模型對(duì)病斑特征的提取能力與關(guān)注度，將原網(wǎng)絡(luò)的通道重排模塊使用ECAStage 模塊進(jìn)行替換，降低復(fù)雜背景對(duì)目標(biāo)區(qū)域的影響，提高了網(wǎng)絡(luò)準(zhǔn)確率。 改進(jìn)的網(wǎng)絡(luò)得到任意像素的RGB 圖像后首先將圖像縮放為224×224 大小，然后對(duì)圖像進(jìn)行歸一化處理，接著通過(guò)初始卷積層與最大池化層對(duì)特征進(jìn)行提取，再將特征傳入16 個(gè)ECA 通道重排模塊提取高級(jí)特征，最后利用Softmax 得到葉片各類病害概率，選取最大概率作為模型輸出。 網(wǎng)絡(luò)相關(guān)參數(shù)如表4 所示。

圖7 EssNet 網(wǎng)絡(luò)結(jié)構(gòu)

1.3 模型評(píng)價(jià)標(biāo)準(zhǔn)

設(shè)立評(píng)價(jià)標(biāo)準(zhǔn)可以更客觀地對(duì)模型性能進(jìn)行評(píng)估。 本文選用分類準(zhǔn)確率、平均精確率、平均F1 分?jǐn)?shù)、參數(shù)量、權(quán)重大小共5 個(gè)指標(biāo)作為模型整體評(píng)價(jià)標(biāo)準(zhǔn)，如式(5～9)所示。

式中:Acc 代表分類準(zhǔn)確率，Pre 代表精確率，F(xiàn)1_Score 代表F1 分?jǐn)?shù)，Avg_Pre 代表平均精確率，Avg_F1 代表平均F1 分?jǐn)?shù)，k 代表某種作物的病害種類，n 代表作物病害種類數(shù)量，TP 代表正樣本被正確劃分的個(gè)數(shù)；FP 代表負(fù)樣本被劃分為正樣本的個(gè)數(shù)；FN 代表正樣本被劃分為負(fù)樣本的個(gè)數(shù)；TN 代表負(fù)樣本被正確劃分的個(gè)數(shù)。

1.4 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

1.4.1 實(shí)驗(yàn)環(huán)境 所有網(wǎng)絡(luò)模型的訓(xùn)練均在本地采用相同實(shí)驗(yàn)環(huán)境。 硬件方面CPU 處理器使用Intel?CoreTM i7-10875H CPU＠2.30GHz，GPU圖形處理器使用NVIDIA GeForce RTX 2060，顯存6 G，運(yùn)行內(nèi)存16 G。 軟件配置方面Pytorch 1.10作為深度學(xué)習(xí)框架，使用Python 3.8 編程語(yǔ)言在Pycharm 2020.3 平臺(tái)完成網(wǎng)絡(luò)的結(jié)構(gòu)搭建與訓(xùn)練。

1.4.2 參數(shù)設(shè)置 本實(shí)驗(yàn)訓(xùn)練知識(shí)蒸餾溫度設(shè)置為7，使用交叉熵?fù)p失函數(shù)(CE)與KL 散度損失函數(shù)(KL)，選用Adam 優(yōu)化器，訓(xùn)練過(guò)程中更新所有參數(shù)，初始學(xué)習(xí)率為0.01，最小學(xué)習(xí)率為0.0001，學(xué)習(xí)率變化周期為10 趟/次，訓(xùn)練趟數(shù)(Epoch)為50 趟，批處理圖像數(shù)(Batch Size)為32 張/批。

2 結(jié)果與分析

2.1 不同網(wǎng)絡(luò)的病害識(shí)別結(jié)果分析

為驗(yàn)證本文所提基于知識(shí)蒸餾與EssNet 病害識(shí)別方法的有效性，另選取基礎(chǔ)網(wǎng)絡(luò)Shuffle-NetV2_0.5、教師網(wǎng)絡(luò)EfficientNetB0、輕量化網(wǎng)絡(luò)MobileNetV2、ConvNext 在同一數(shù)據(jù)集上進(jìn)行訓(xùn)練，并與本文建立方法進(jìn)行對(duì)比，結(jié)果(圖8)顯示，由于余弦退火策略影響，本文建立的EssNet網(wǎng)絡(luò)訓(xùn)練準(zhǔn)確率出現(xiàn)了與學(xué)習(xí)率同周期變化的波動(dòng)，但收斂速度明顯高于其他4 種網(wǎng)絡(luò)，更容易訓(xùn)練收斂。 由表5 可知，與原始網(wǎng)絡(luò)相比，EssNet 準(zhǔn)確率提高2.11 個(gè)百分點(diǎn)，平均精確率提高2.10 個(gè)百分點(diǎn)，平均F1 分?jǐn)?shù)提高2.20 個(gè)百分點(diǎn)，模型的準(zhǔn)確性、泛化性與魯棒性更加優(yōu)異。 EssNet 與MobileNetV2 性能相近且參數(shù)量?jī)H為其15.6%，權(quán)重大小僅為其17.01%；雖然EssNet 性能比EfficientNetB0 低1 個(gè)百分點(diǎn)左右，但參數(shù)量減少91.29%，權(quán)重文件降低90.45%，進(jìn)一步體現(xiàn)了本文建立方法的輕量化與優(yōu)異性。

表5 不同網(wǎng)絡(luò)在測(cè)試集的表現(xiàn)對(duì)比

圖8 不同網(wǎng)絡(luò)訓(xùn)練準(zhǔn)確率變化曲線

2.2 不同超參數(shù)對(duì)網(wǎng)絡(luò)的影響分析

2.2.1 不同溫度值對(duì)知識(shí)蒸餾訓(xùn)練的影響 在訓(xùn)練過(guò)程中，蒸餾溫度值與學(xué)生模型對(duì)教師模型病害識(shí)別錯(cuò)誤的樣本關(guān)注程度具有正相關(guān)性，溫度值越高，學(xué)生模型對(duì)識(shí)別錯(cuò)誤的樣本關(guān)注度就越高。 本部分選用蒸餾溫度分別為3、5、7 的ShuffleNetV2_0.5 網(wǎng)絡(luò)進(jìn)行訓(xùn)練，分析溫度值對(duì)模型的影響，結(jié)果(表6)顯示，當(dāng)蒸餾溫度為5 時(shí)，模型性能處于最低水平；當(dāng)蒸餾溫度為3 時(shí)，模型性能處于上升階段；當(dāng)蒸餾溫度為7 時(shí)，模型性能最優(yōu)。 因此，選定蒸餾溫度值7 作為本文建立方法的超參數(shù)之一。

表6 不同蒸餾溫度在ShuffleNetV2_0.5 的效果

2.2.2 不同最大學(xué)習(xí)率值對(duì)余弦退火策略的影響 最大學(xué)習(xí)率的數(shù)值高低影響余弦退火策略對(duì)網(wǎng)絡(luò)訓(xùn)練的最終效果。 數(shù)值過(guò)高會(huì)導(dǎo)致學(xué)習(xí)率在本周期內(nèi)波動(dòng)劇烈，從而出現(xiàn)跳過(guò)局部最優(yōu)點(diǎn)進(jìn)入下一周期的情況；數(shù)值過(guò)低會(huì)導(dǎo)致網(wǎng)絡(luò)收斂過(guò)慢，在本周期還未到達(dá)局部最優(yōu)點(diǎn)便進(jìn)入下一周期。 本部分選用最大學(xué)習(xí)率值分別為0.1、0.01、0.001 的同一網(wǎng)絡(luò)進(jìn)行訓(xùn)練，研究最大學(xué)習(xí)率對(duì)模型訓(xùn)練的影響，結(jié)果(圖9)顯示，當(dāng)最大學(xué)習(xí)率為0.1 或0.001 時(shí)，網(wǎng)絡(luò)尚未達(dá)到局部最優(yōu)點(diǎn)便進(jìn)入下一周期，導(dǎo)致模型準(zhǔn)確率低，收斂速度慢；當(dāng)最大學(xué)習(xí)率為0.01 時(shí)，每個(gè)周期內(nèi)的網(wǎng)絡(luò)訓(xùn)練都取得了最優(yōu)準(zhǔn)確率且收斂速度最快。 因此，選定最大學(xué)習(xí)率值0.01 作為本文建立方法的超參數(shù)之一。

圖9 最大學(xué)習(xí)率對(duì)余弦退火策略的影響

2.3 消融實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文使用方法對(duì)模型性能提升的有效性，本部分采用消融實(shí)驗(yàn)對(duì)各模塊改進(jìn)網(wǎng)絡(luò)在同一數(shù)據(jù)集上訓(xùn)練，并將結(jié)果進(jìn)行對(duì)比分析。 由圖10 及表7 可知，在原始網(wǎng)絡(luò)上引入知識(shí)蒸餾理論，使用教師模型對(duì)學(xué)生模型進(jìn)行學(xué)習(xí)指導(dǎo)，加快了學(xué)生模型在訓(xùn)練前20 輪次中的收斂速度，在模型參數(shù)量與權(quán)重大小不變的同時(shí)，提高模型在測(cè)試集上的準(zhǔn)確率1.16 個(gè)百分點(diǎn)、平均精確率1.37個(gè)百分點(diǎn)、平均F1 分?jǐn)?shù)1.21 個(gè)百分點(diǎn)；在引入知識(shí)蒸餾的基礎(chǔ)上，進(jìn)一步引入ECA 注意力機(jī)制，提高了初始改進(jìn)網(wǎng)絡(luò)在特征提取過(guò)程中對(duì)病害區(qū)域的關(guān)注度，降低了復(fù)雜環(huán)境背景對(duì)模型的多因素干擾，進(jìn)一步加快了模型的收斂速度，模型的準(zhǔn)確率、平均精確率、平均F1 分?jǐn)?shù)在初始改進(jìn)網(wǎng)絡(luò)的基礎(chǔ)上分別提高了0.58、0.38、0.70 個(gè)百分點(diǎn)；進(jìn)一步引入余弦退火策略的EssNet 網(wǎng)絡(luò)結(jié)構(gòu)由于學(xué)習(xí)率的周期動(dòng)態(tài)變化，模型在網(wǎng)絡(luò)訓(xùn)練中不僅可以更快速地趨于收斂，還可以更平滑地找到網(wǎng)絡(luò)最優(yōu)點(diǎn)，模型的收斂速度最快，性能最優(yōu)，最終網(wǎng)絡(luò)的準(zhǔn)確率、平均精確率、平均F1 分?jǐn)?shù)分別達(dá)到95.21%、94.88%、94.64%，比二次改進(jìn)網(wǎng)絡(luò)分別提高了0.37、0.35、0.29 個(gè)百分點(diǎn)，比基礎(chǔ)網(wǎng)絡(luò)分別提高了2.11、2.10、2.20 個(gè)百分點(diǎn)，驗(yàn)證了知識(shí)蒸餾理論、ECA 注意力機(jī)制以及余弦退火策略的消融性與有效性。

表7 各類方法在測(cè)試集的表現(xiàn)

圖10 各類方法對(duì)網(wǎng)絡(luò)訓(xùn)練準(zhǔn)確率的影響

2.4 混淆矩陣結(jié)果分析

混淆矩陣可以清晰體現(xiàn)出模型對(duì)各類病害的識(shí)別效果，其橫軸代表圖像的真實(shí)病害標(biāo)簽，縱軸代表模型識(shí)別的預(yù)測(cè)病害標(biāo)簽。 本部分選取獨(dú)立測(cè)試集圖像數(shù)據(jù)對(duì)建立模型進(jìn)行測(cè)試，結(jié)果(圖11)顯示，本文建立模型對(duì)2 種作物11 種病害中的大部分病害都可以達(dá)到很好的識(shí)別效果，但對(duì)蘋果灰斑病的識(shí)別準(zhǔn)確率相對(duì)較低，容易識(shí)別為蘋果斑點(diǎn)落葉病。 這可能是由于兩種病害在病斑形狀、病斑顏色等特征上具有高度相似性，在病害前期或病斑不明顯時(shí)容易出現(xiàn)識(shí)別混淆。 總之，本文所建立方法的整體表現(xiàn)優(yōu)于現(xiàn)有其他網(wǎng)絡(luò)識(shí)別方法，實(shí)現(xiàn)了對(duì)兩種作物各類葉部病害的很好識(shí)別。

圖11 EssNet 網(wǎng)絡(luò)模型混淆矩陣

3 結(jié)論

本文針對(duì)現(xiàn)有農(nóng)作物病害識(shí)別模型實(shí)地應(yīng)用存在的多種問(wèn)題，提出了一種基于知識(shí)蒸餾的EssNet 輕量級(jí)病害識(shí)別方法，實(shí)現(xiàn)了田間復(fù)雜背景下玉米、蘋果葉部病害的快捷精準(zhǔn)識(shí)別。 Ess-Net 網(wǎng)絡(luò)以ShuffleNetV2_0.5 為基礎(chǔ)網(wǎng)絡(luò)，通過(guò)引入ECA 注意力機(jī)制降低了復(fù)雜背景與病斑面積大小不一對(duì)模型特征提取過(guò)程的干擾；利用SiLU激活函數(shù)替換ReLU 激活函數(shù)提高了在網(wǎng)絡(luò)深層對(duì)正負(fù)標(biāo)簽的精度需求；基于知識(shí)蒸餾理論使用EfficientNetB0 對(duì)EssNet 網(wǎng)絡(luò)進(jìn)行訓(xùn)練指導(dǎo)，提高了模型的學(xué)習(xí)能力與收斂速度；最后通過(guò)余弦退火策略對(duì)學(xué)習(xí)率進(jìn)行動(dòng)態(tài)調(diào)整，使模型性能達(dá)到最優(yōu)。 測(cè)試結(jié)果表明，本文建立方法在復(fù)雜背景測(cè)試集上的準(zhǔn)確率達(dá)到95.21%，參數(shù)量?jī)H為0.35 M，權(quán)重文件為1.49 MB，充分體現(xiàn)了該方法在解決復(fù)雜背景農(nóng)作物病害識(shí)別問(wèn)題上的優(yōu)越性，可為以后的輕量級(jí)病害識(shí)別方法研究提供參考。