基于改進(jìn)ShuffleNet V2模型的蘋果葉部病害識(shí)別及應(yīng)用

張 旭，周云成，劉忠穎，李昕澤

（沈陽農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院,沈陽 110161）

我國(guó)是世界上最大的蘋果生產(chǎn)國(guó)和消費(fèi)國(guó)，蘋果產(chǎn)業(yè)在國(guó)民經(jīng)濟(jì)中占據(jù)著重要地位，大力發(fā)展蘋果產(chǎn)業(yè)有利于提高蘋果種植戶的收入水平，促進(jìn)當(dāng)?shù)亟?jīng)濟(jì)發(fā)展，是帶動(dòng)種植戶脫貧致富的有效途徑。然而，在蘋果種植過程中，經(jīng)常會(huì)發(fā)生病害，從而影響蘋果的產(chǎn)量和質(zhì)量，給種植戶帶來經(jīng)濟(jì)損失。因此，快速、準(zhǔn)確地識(shí)別出蘋果病害，并及時(shí)給出相應(yīng)措施，指導(dǎo)種植戶正確用藥，對(duì)降低病害造成的經(jīng)濟(jì)損失，增加蘋果產(chǎn)量，以及促進(jìn)蘋果產(chǎn)業(yè)的發(fā)展等具有重要意義。

近年來，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）在圖像識(shí)別任務(wù)中取得了巨大的進(jìn)展，并逐漸在植物病害識(shí)別中得到了應(yīng)用。龍滿生等應(yīng)用AlexNet網(wǎng)絡(luò)，通過遷移學(xué)習(xí)實(shí)現(xiàn)了油茶病害的識(shí)別；趙立新等應(yīng)用改進(jìn)AlexNet網(wǎng)絡(luò)對(duì)棉花葉部病蟲害進(jìn)行識(shí)別；許景輝等通過改進(jìn)VGG16網(wǎng)絡(luò)，在小樣本玉米葉部病害識(shí)別上獲得了理想的識(shí)別效果；王忠培等使用5種經(jīng)典網(wǎng)絡(luò)模型對(duì)常見水稻病害的識(shí)別進(jìn)行了分析比較；張文靜等使用Inception V3網(wǎng)絡(luò)實(shí)現(xiàn)了5種常見煙草病害的識(shí)別；張寧等基于該網(wǎng)絡(luò)，提出了一種基于多尺度和注意力機(jī)制的番茄病害識(shí)別方法；DECHANT等對(duì)多個(gè)CNN進(jìn)行集成，實(shí)現(xiàn)了玉米斑病的識(shí)別；金瑛等用ResNet-50網(wǎng)絡(luò)實(shí)現(xiàn)了4種常見果樹病害的識(shí)別，且取得較高的精度。

盡管CNN已經(jīng)在植物病害識(shí)別中取得了較好的效果，但由于其本身的計(jì)算復(fù)雜度和存儲(chǔ)空間的需求量，使其很難應(yīng)用在移動(dòng)或嵌入式設(shè)備中。輕量級(jí)CNN的發(fā)展使得在移動(dòng)設(shè)備上部署病害識(shí)別模型成為了可能。劉洋等比較了MobileNet和Inception V3兩種網(wǎng)絡(luò)模型在手機(jī)上的識(shí)別精度、運(yùn)算速度和網(wǎng)絡(luò)尺寸等；馮曉等基于MobileNet V2網(wǎng)絡(luò)，在手機(jī)上實(shí)現(xiàn)了3種小麥葉部病害的快速識(shí)別；石晨宇等基于改進(jìn)GhostNet網(wǎng)絡(luò)，實(shí)現(xiàn)了3種番茄葉部病害的識(shí)別；洪惠群等在ShuffleNet V2 0.5×網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)，實(shí)現(xiàn)了多種作物葉部病害的快速識(shí)別。然而輕量級(jí)CNN的識(shí)別準(zhǔn)確率一般會(huì)低于大型網(wǎng)絡(luò)模型。因而如何提升準(zhǔn)確率，并在精度和速度上適當(dāng)平衡，是輕量級(jí)CNN設(shè)計(jì)的一個(gè)待解決的問題。

鑒于以上問題，本研究構(gòu)建不同場(chǎng)景下的蘋果葉部病害圖像數(shù)據(jù)集，在分析輕量級(jí)CNN模型ShuffleNet V2結(jié)構(gòu)的基礎(chǔ)上，對(duì)該網(wǎng)絡(luò)模型進(jìn)行改進(jìn)，以期構(gòu)建一個(gè)輕量、準(zhǔn)確且適用于不同場(chǎng)景下蘋果葉部病害識(shí)別的診斷模型，并實(shí)現(xiàn)其在移動(dòng)設(shè)備上的應(yīng)用部署。

1 蘋果葉部病害數(shù)據(jù)集構(gòu)建及增廣處理

蘋果葉部病害圖像數(shù)據(jù)集來源于PlantVillage工程和Kaggle植物病理學(xué)2021挑戰(zhàn)賽中使用的數(shù)據(jù)。其中PlantVillage圖像數(shù)據(jù)為簡(jiǎn)單背景下的蘋果葉片圖像，拍攝于實(shí)驗(yàn)室，背景為白、黑板，葉片位于圖像中心，且占主要位置。Kaggle圖像數(shù)據(jù)則拍攝于果園真實(shí)環(huán)境，背景復(fù)雜，且圖像中含多個(gè)葉片。圖像數(shù)據(jù)集共包括4個(gè)類別，分別為蘋果健康、瘡痂病、黑腐病和銹病葉片，各類別圖像的數(shù)量及來源見表1。

表1 各類別圖像的數(shù)量及來源
Table 1 Number and source of imges in each class

?

為降低葉部病害診斷模型在訓(xùn)練過程中的過擬合風(fēng)險(xiǎn)，并提高其泛化效果，在現(xiàn)有圖像數(shù)據(jù)基礎(chǔ)上，采用數(shù)據(jù)增廣方法對(duì)樣本進(jìn)行擴(kuò)充。采用的主要方法包括添加高斯噪聲、添加椒鹽噪聲、圖像平移、調(diào)整圖像明暗度和圖像旋轉(zhuǎn)（分別逆時(shí)針旋轉(zhuǎn)90°，180°，270°），這些方法均采用OpenCV開源計(jì)算機(jī)視覺庫中的相關(guān)函數(shù)實(shí)現(xiàn)。經(jīng)過數(shù)據(jù)增廣后的最終數(shù)據(jù)集，共包含40000張RGB圖像，每類圖像各10000張。從最終數(shù)據(jù)集中分別隨機(jī)抽取70%作為訓(xùn)練集，20%作為驗(yàn)證集，10%作為測(cè)試集，用于后續(xù)試驗(yàn)。

2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)及改進(jìn)

2.1 ShuffleNet V2網(wǎng)絡(luò)模型

現(xiàn)有研究通常采用FLOPs（浮點(diǎn)數(shù)運(yùn)算量）作為網(wǎng)絡(luò)計(jì)算復(fù)雜度的評(píng)價(jià)標(biāo)準(zhǔn)。然而FLOPs只能在理論上評(píng)估模型的復(fù)雜程度，僅將其作為衡量網(wǎng)絡(luò)模型好壞的評(píng)價(jià)指標(biāo)是不充分的，還應(yīng)考慮網(wǎng)絡(luò)的實(shí)際推理速度和計(jì)算延遲等。在網(wǎng)絡(luò)推理過程中，除卷積運(yùn)算以外，還存在一些影響計(jì)算速度的其他因素，如內(nèi)存訪問成本和并行等級(jí)等，且相同F(xiàn)LOPs的網(wǎng)絡(luò)在不同計(jì)算平臺(tái)上消耗的時(shí)間也是不同的。MA等提出了網(wǎng)絡(luò)高效設(shè)計(jì)的4條準(zhǔn)則：（1）卷積層輸入和輸出特征圖的通道數(shù)應(yīng)保持一致，此時(shí)內(nèi)存消耗最小、運(yùn)行速度最快；（2）分組卷積中分組的數(shù)量與網(wǎng)絡(luò)運(yùn)行速度成反比；（3）降低網(wǎng)絡(luò)的分支數(shù)量，能降低并行度，提升運(yùn)行效率；（4）不能忽視元素級(jí)操作對(duì)網(wǎng)絡(luò)運(yùn)行速度的影響。根據(jù)上述4條準(zhǔn)則，設(shè)計(jì)了基本殘差單元（圖1a），并在此基礎(chǔ)上，構(gòu)建了ShffleNet V2網(wǎng)絡(luò)（圖1b）。

圖1 ShuffleNet V2模型Figure 1 ShuffleNet V2 model

基本殘差單元（block）是一種高效的輕量級(jí)卷積模塊，其共有兩種結(jié)構(gòu)。其中一種首先在輸入端進(jìn)行一次通道分割，將輸入特征圖分為兩個(gè)分支，其中主分支含3個(gè)卷積操作，中間操作為3×3深度可分卷積，兩端為1×1點(diǎn)卷積，側(cè)分支則為恒等映射。另一種結(jié)構(gòu)為了加倍輸出特征圖，在輸入端不進(jìn)行通道分割，該結(jié)構(gòu)的主分支同樣為3個(gè)卷積操作，其中深度可分卷積的步長(zhǎng)（stride）為2，側(cè)分支則包含1個(gè)stride=2的深度可分卷積和1個(gè)點(diǎn)卷積。block在輸出端通過通道拼接（concat）合并兩個(gè)分支的輸出特征圖，并進(jìn)一步對(duì)合并后的特征圖進(jìn)行通道混洗（channel shuffle）。該操作采取一種通道稀疏連接的方式，首先將輸入特征圖按通道劃分為若干個(gè)子組，再分別交由不同的卷積核做組卷積。為了解決堆疊多個(gè)組卷積可能會(huì)造成某個(gè)通道的輸出只來自于一小部分輸入通道的問題，隨機(jī)地抽取不同子組進(jìn)行重新排列成新的特征圖，使下一次組卷積能融合來自不同組的輸入特征信息，從而加強(qiáng)了通道組之間的信息流動(dòng)，保證了輸入和輸出通道之間是完全相關(guān)的。Shuf?fleNet V2網(wǎng)絡(luò)包括Conv1層、MaxPool層、Stage2層、Stage3層、Stage4層、Conv5層和FC層，其中Stage2層、Stage3層、Stage4層是由上述block堆疊組成，Stage2層和Stage4層共堆疊4個(gè)block，Stage3層共堆疊8個(gè)block，每個(gè)Stage中的第一個(gè)block的stride=2，主要用于下采樣，其他均為stride=1的block?？梢酝ㄟ^縮放網(wǎng)絡(luò)結(jié)構(gòu)中各層的輸出通道數(shù)量來設(shè)計(jì)不同復(fù)雜度的網(wǎng)絡(luò)，以ShuffleNet V2 1×為基準(zhǔn)網(wǎng)絡(luò)，其Conv1層、MaxPool層、Stage2層、Stage3層、Stage4層、Conv5層、FC層的輸出通道數(shù)量分別為24，24，116，232，464，1024，1000。本研究參考該網(wǎng)絡(luò)，設(shè)計(jì)蘋果葉部病害診斷模型。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

在CNN中，點(diǎn)卷積通常用于調(diào)整特征圖通道數(shù)和通道間信息融合。在block中，由于主分支各卷積操作的輸入、輸出通道數(shù)一致，兩端的點(diǎn)卷積不會(huì)用于通道調(diào)整，只起到信息融合的作用，保留兩端的信息融合有可能是冗余的。因此，本研究移除了主分支末端的點(diǎn)卷積，用于降低計(jì)算量，修改后的結(jié)構(gòu)如圖2a。為了減少可能由此產(chǎn)生的精度損失，進(jìn)一步對(duì)ShuffleNet V2網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn)，設(shè)計(jì)出一種名為ShuffleNet#的網(wǎng)絡(luò)。首先重新設(shè)計(jì)了網(wǎng)絡(luò)寬度，將Conv1層、MaxPool層、Stage2層、Stage3層、Stage4層、Conv5層、FC層的輸出通道數(shù)分別設(shè)計(jì)為32，32，240，480，960，1024，4。改進(jìn)后的block和網(wǎng)絡(luò)結(jié)構(gòu)如圖2b?，F(xiàn)有研究表明，在CNN模型中，引入自注意力機(jī)制，可顯著提高模型的性能，因此本研究也采用這一思想，分別在Stage2層、Stage3層、Stage4層的最后一個(gè)block之后加入一個(gè)CBAM模塊（圖2c）。該模塊“串連”了通道注意力模塊（channel attention mod?ule，CAM）和空間注意力模塊（spartial attention module，SAM）。在CAM中首先將輸入特征圖分別基于寬高進(jìn)行一次全局最大池化（global max pooling，GMP）和全局平均池化（global average pooling，GAP），將得出的結(jié)果送入到一個(gè)兩層的多層感知器（multilayer perceptron，MLP）中，將MLP的輸出進(jìn)行相加并使用Sigmoid進(jìn)行激活作為該模塊的輸出。SAM是將CAM的輸出和原始輸入特征圖做乘法的結(jié)果作為該模塊的輸入，首先進(jìn)行一次基于通道的GMP和GAP，再將輸出的2個(gè)單通道的特征圖進(jìn)行concat，然后進(jìn)行一次卷積操作并使用Sigmoid進(jìn)行激活作為該模塊的輸出。最終將經(jīng)過這2個(gè)模塊的輸出和原始特征圖做乘法作為最終的輸出特征圖。原始特征圖通過CBAM模塊后，分別進(jìn)行了一次通道注意力加權(quán)和空間注意力加權(quán)，加強(qiáng)了各通道之間的聯(lián)系并使網(wǎng)絡(luò)更加關(guān)注特征圖中對(duì)分類起決定性作用的像素區(qū)域，從而使網(wǎng)絡(luò)可以有選擇性地強(qiáng)調(diào)和抑制某些信息，提升了網(wǎng)絡(luò)的性能。并且該模塊是一個(gè)即插即用的輕量級(jí)模塊，將其集成到現(xiàn)有網(wǎng)絡(luò)架構(gòu)中并不會(huì)打亂網(wǎng)絡(luò)原有的主體結(jié)構(gòu)且只會(huì)增加少量的計(jì)算量。

圖2 改進(jìn)模型Figure 2 Improved model

3 模型試驗(yàn)及評(píng)估方法

3.1 模型訓(xùn)練及測(cè)試

在PyTorch深度學(xué)習(xí)計(jì)算框架基礎(chǔ)上，采用Python實(shí)現(xiàn)了ShuffleNet#網(wǎng)絡(luò)模型及相應(yīng)評(píng)估程序。采用Ad?am優(yōu)化算法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化訓(xùn)練。在訓(xùn)練過程中，將圖像尺寸調(diào)整為224×224像素，并進(jìn)行數(shù)據(jù)增廣后輸入網(wǎng)絡(luò)模型。用小批量隨機(jī)梯度下降法更新網(wǎng)絡(luò)參數(shù)，每批次樣本數(shù)設(shè)置為64，初始學(xué)習(xí)率設(shè)置為0.02，每訓(xùn)練一個(gè)代次（epoch）學(xué)習(xí)率乘以0.95。預(yù)試驗(yàn)表明，經(jīng)過50個(gè)epoch迭代后，模型的損失函數(shù)和精度可收斂到穩(wěn)定值。所有試驗(yàn)均在一臺(tái)配置為Inter Xeon E5 V3 2600處理器、NVIDIA GeForce RTX 2080 Ti 11GB計(jì)算卡、Linux Ubuntu 18.04操作系統(tǒng)的服務(wù)器上進(jìn)行。

3.2 模型評(píng)估標(biāo)準(zhǔn)

采用精確率（precision）、召回率（recall）、特異度（specificity）、

F

1分?jǐn)?shù)（

F

1 score）和準(zhǔn)確率（accuracy）評(píng)估網(wǎng)絡(luò)性能。其中，精確率反映的是模型識(shí)別出的所有正樣本中，識(shí)別正確的比例；召回率反映的是所有真實(shí)正樣本中，模型識(shí)別正確的正樣本的比例；特異度反映的是所有真實(shí)負(fù)樣本中，模型識(shí)別正確的負(fù)樣本的比例；

F

1分?jǐn)?shù)為精確率和召回率的調(diào)和平均數(shù)，是兼顧了二者的綜合評(píng)價(jià)指標(biāo)；準(zhǔn)確率反映的是模型識(shí)別出的所有正樣本占總樣本數(shù)的比例。其公式分別為式（1）~式（5）。

式中：

TP

（true positive）為網(wǎng)絡(luò)識(shí)別正確的正樣本的數(shù)量；

TN

（true negative）為網(wǎng)絡(luò)識(shí)別錯(cuò)誤的負(fù)樣本的數(shù)量；

FN

（false negative）為網(wǎng)絡(luò)識(shí)別正確的負(fù)樣本的數(shù)量；

FP

（false positive）為網(wǎng)絡(luò)識(shí)別錯(cuò)誤的正樣本的數(shù)量。

4 結(jié)果與分析

4.1 不同CNN模型對(duì)比

為分析比較ShuffleNet#網(wǎng)絡(luò)的性能，本研究引入4種大型CNN模型ResNet18、ResNet34、ResNet50、ResNet101和9種輕量級(jí)CNN模型EfficientNet-B0、MobileNet V2、MobileNet V3-small、MobileNet V3-large、GhostNet、ShuffleNet V2 0.5×、ShuffleNet V2 1×、ShuffleNet V2 1.5×、ShuffleNet V2 2×。不同網(wǎng)絡(luò)訓(xùn)練過程中圖像預(yù)處理方式和超參數(shù)等設(shè)置相同。對(duì)上述網(wǎng)絡(luò)的訓(xùn)練集準(zhǔn)確率、驗(yàn)證集準(zhǔn)確率、測(cè)試集準(zhǔn)確率、FLOPs、參數(shù)規(guī)模、內(nèi)存消耗、模型大小和推理時(shí)間8個(gè)評(píng)價(jià)指標(biāo)進(jìn)行統(tǒng)計(jì)，結(jié)果見表2。其中推理時(shí)間是將網(wǎng)絡(luò)部署到型號(hào)為vivo iQOOV1824A，處理器為8核驍龍855，運(yùn)行內(nèi)存為12GB的Android手機(jī)上進(jìn)行推理測(cè)試，以識(shí)別100張圖像的平均時(shí)間作為最終結(jié)果。

由表2可知，本研究構(gòu)建的ShuffleNet#網(wǎng)絡(luò)的訓(xùn)練集準(zhǔn)確率為98.63%，在所有模型中最高。驗(yàn)證集準(zhǔn)確率為98.73%，低于ResNet34、ResNet50、ResNet101、EfficientNet-B0模型。測(cè)試集準(zhǔn)確率為98.95%，僅低于ResNet101模型，在輕量級(jí)CNN模型中最高。FLOPs、參數(shù)規(guī)模、內(nèi)存消耗、模型大小、推理時(shí)間分別為3.52×10，3.95×10，30.00MB，11.35MB，39.38ms，上述5個(gè)性能評(píng)價(jià)指標(biāo)在輕量級(jí)CNN模型中表現(xiàn)并非最好，但是相比于大型CNN模型具有較大的優(yōu)勢(shì)。和大型ResNet101模型相比，本模型在測(cè)試集準(zhǔn)確率僅降低0.05%的情況下將FLOPs、參數(shù)規(guī)模、內(nèi)存消耗、模型大小、推理時(shí)間分別縮減95.51%、91.12%、81.45%、93.03%、87.94%。通過上述分析可知，ShuffleNet#網(wǎng)絡(luò)是一個(gè)高效的輕量級(jí)網(wǎng)絡(luò)模型，綜合診斷性能良好，很好地解決了大型CNN模型在移動(dòng)設(shè)備上部署困難以及輕量級(jí)CNN模型識(shí)別精度不高的問題，更適合在移動(dòng)設(shè)備上部署。

表2 不同模型的對(duì)比
Table 2 Comparison of different models

?

4.2 蘋果診斷模型性能及類間誤識(shí)別分析

為進(jìn)一步分析蘋果葉部病害診斷模型在各類蘋果葉部病害上的識(shí)別性能，用其對(duì)測(cè)試集中的4000張圖像進(jìn)行分類識(shí)別，結(jié)果如表3。同時(shí)為分析類別間的誤識(shí)別問題，采用混淆矩陣來可視化各類別間的易混淆程度，結(jié)果如圖3。

由表3可知，病害診斷模型對(duì)4個(gè)類別圖像的識(shí)別精確率均在97.93%以上，召回率均在97.80%以上，特異度均在99.30%以上，

F

1分?jǐn)?shù)均在98.49%以上。其中對(duì)蘋果健康的識(shí)別效果最好，精確率為99.50%，召回率為100%，特異度為99.83%，

F

1分?jǐn)?shù)為99.75%，與其他3個(gè)類別相比4項(xiàng)數(shù)值均最高，其次為蘋果黑腐病，對(duì)瘡痂病和銹病的識(shí)別效果較差?？傮w來看，該模型在測(cè)試集上的平均識(shí)別準(zhǔn)確率為98.95%，識(shí)別效果較為理想，基本能夠滿足種植戶對(duì)識(shí)別精度的需求。

表3 模型在測(cè)試集上的試驗(yàn)結(jié)果
Table 3 Test results of the model on the test set

?

由圖3可知，病害診斷模型對(duì)蘋果健康的識(shí)別效果最好，沒有被錯(cuò)分類為其他類別；對(duì)銹病的識(shí)別效果最差，有16張圖像被錯(cuò)分類為瘡痂病，分別有3張圖像被錯(cuò)分類為蘋果健康和黑腐?。缓诟》謩e有7，5，2張圖像被錯(cuò)分類為銹病、瘡痂病和蘋果健康；瘡痂病分別有5和1張圖像被錯(cuò)分類為黑腐病和銹病。結(jié)合混淆矩陣和原始數(shù)據(jù)集中的圖像可以發(fā)現(xiàn)，不同類別之間差異較小是病害易被錯(cuò)分類為其他類別的主要原因，某些病害葉片僅在患病中后期才會(huì)出現(xiàn)明顯的病斑，在患病初期并沒有明顯的病征，人工也難以準(zhǔn)確區(qū)分，從而增加了識(shí)別的難度。另外在復(fù)雜背景圖像中周圍自然環(huán)境因素的影響也可能會(huì)導(dǎo)致圖像被錯(cuò)分類。通過上述分析可知，雖然本模型無法對(duì)測(cè)試集中所有圖像給出準(zhǔn)確的類別，但從總體來看絕大多數(shù)測(cè)試數(shù)據(jù)分布在混淆矩陣的對(duì)角線上，依然能準(zhǔn)確地識(shí)別出大部分圖像的類別，被錯(cuò)分類的圖像依然占少數(shù)，基本可以滿足實(shí)際應(yīng)用的需求。

圖3 混淆矩陣Figure 3 Confusion matrix

4.3 葉部病害診斷模型機(jī)理分析

4.3.1 網(wǎng)絡(luò)特征提取能力分析 為了更直觀地了解病害診斷模型的特征提取能力，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)中的Conv1層、Max?Pool層、Stage2層、Stage3層、Stage4層和Conv5層的輸出特征圖進(jìn)行可視化，由于篇幅限制，只展示每層的前5張輸出特征圖（圖4）。可通過觀察特征圖中區(qū)域的明暗程度來理解每張?zhí)卣鲌D所關(guān)注到的一些特征信息，亮度高的區(qū)域即為該特征圖感興趣的區(qū)域。由圖4可知，每張?zhí)卣鲌D都能學(xué)習(xí)到原始圖像中一些有助于分類的特征信息，并且在同一層中不同特征圖所提取到的特征幾乎都不相同，如在Conv1層的前5張?zhí)卣鲌D中，第1和第4張?zhí)卣鲌D能夠?qū)W習(xí)到病害葉片以外的其他葉片的部分特征信息，對(duì)應(yīng)區(qū)域高亮，且明暗程度不同，第2和第3張?zhí)卣鲌D能夠?qū)W習(xí)到病害葉片上3處明顯病斑區(qū)域的特征信息，第5張?zhí)卣鲌D則能夠?qū)W習(xí)到病害葉片以外的樹枝區(qū)域的特征信息。在淺層網(wǎng)絡(luò)中提取到的特征信息一般比較完整，如在Conv1和MaxPool層中的特征圖依然可以肉眼辨別出圖像中病害葉片的形狀和輪廓等，從Stage2層開始隨著網(wǎng)絡(luò)深度不斷增加，特征圖的抽象化程度不斷增高，網(wǎng)絡(luò)提取到的特征信息也更加細(xì)小，在深層的Conv5層則只保留了原始圖像中的一些高階像素信息。通過上述分析可知，本研究構(gòu)建的病害診斷模型具有很強(qiáng)的特征提取能力，能充分地學(xué)習(xí)到原始圖像中足夠多的特征信息，對(duì)后續(xù)給出病害的準(zhǔn)確類別具有關(guān)鍵性的作用。

圖4 可視化部分輸出特征圖Figure 4 Visualized part of the output feature map

4.3.2 模型可解釋性分析 近年來，CNN的可解釋性已成為深度學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)之一。CNN的可解釋性可以認(rèn)為是一種映射過程，是將參數(shù)化表示的特征映射到如圖像或文字等人類可以直觀感受的表達(dá)形式，目的是以某種人類能夠理解的方式來描述CNN的內(nèi)部機(jī)制。

CAM（class activation mapping）類激活映射是一種通過生成類激活圖來表達(dá)CNN“可解釋性”的一種方式。類激活圖是采取將類別相關(guān)區(qū)域高亮的方式來可視化感興趣的區(qū)域，其原理是將具有豐富語義信息的最后一個(gè)卷積層之后的全連接層替換為GAP層，再將GAP層的特征圖分別求均值作為新的特征圖送入到Soft?max層中，之后將每一個(gè)特征圖和Softmax層之間對(duì)應(yīng)的權(quán)重分別相乘相加，采樣到原始輸入圖像的尺寸，即可生成能夠區(qū)分類別信息的類激活圖。

由于使用CAM對(duì)CNN進(jìn)行可視化時(shí)往往需要對(duì)網(wǎng)絡(luò)進(jìn)行重新改造并訓(xùn)練，這無疑大大增加了工作量，為解決這個(gè)問題，SELVARAJU等提出了一種基于梯度加權(quán)類激活映射Grad-CAM（gradient-weighted class acti?vation mapping）的技術(shù)。Grad-CAM在技術(shù)上基本和CAM等價(jià)，區(qū)別在于Grad-CAM不再依賴GAP層，而是將CNN的最后一個(gè)卷積層中每個(gè)特征圖的所有像素值進(jìn)行求導(dǎo)并取平均值作為該特征圖的權(quán)重，因而不再需要重新改造網(wǎng)絡(luò)結(jié)構(gòu)并訓(xùn)練，可以減少大部分工作量。

本研究使用Grad-CAM對(duì)病害診斷模型進(jìn)行類激活映射可視化，以測(cè)試集中的部分圖像為例，結(jié)果如圖5（圖中的

P

為模型通過Softmax層后給出的最高可能性類別的概率）。在Grad-Cam熱力圖中，激活區(qū)域顏色越深說明該區(qū)域與特定類別越相關(guān)。通過對(duì)比圖5中原始圖像和Grad-Cam熱力圖可以看出，病害診斷模型能對(duì)識(shí)別結(jié)果給出很好的解釋，在熱力圖中可以很直觀地看出其能夠準(zhǔn)確地定位到原始圖像中的一些關(guān)鍵區(qū)域，如病害葉片上的病斑區(qū)域，說明該區(qū)域?qū)δＰ妥R(shí)別出病害的類別發(fā)揮了重要的作用。通過對(duì)比簡(jiǎn)單背景和復(fù)雜背景圖像的熱力圖可以發(fā)現(xiàn)，模型在上述2種不同的背景下都能提取到圖像中的關(guān)鍵信息，在復(fù)雜背景的圖像中受周圍自然環(huán)境因素的影響較小，并且激活區(qū)域?qū)Σ“邊^(qū)域的覆蓋程度較為全面，當(dāng)病害葉片上存在多個(gè)病斑或較小病斑時(shí)激活區(qū)域也能準(zhǔn)確地覆蓋到。另外，模型對(duì)圖中8張測(cè)試圖像的識(shí)別結(jié)果與圖像的真實(shí)類別相一致，且

P

值均為1，說明模型能夠根據(jù)熱力圖中的激活區(qū)域給出圖像的準(zhǔn)確分類且概率高。通過上述分析可知，該模型能夠關(guān)注到圖像中一些與分類相關(guān)的關(guān)鍵信息并準(zhǔn)確地識(shí)別出蘋果病害，且在簡(jiǎn)單和復(fù)雜背景圖像中都能有很好的識(shí)別效果，具有很強(qiáng)的魯棒性和泛化能力。

圖5 Grad-CAM熱力圖Figure 5 Grad-CAM heatmap

5 蘋果葉部病害識(shí)別模型應(yīng)用測(cè)試

為進(jìn)一步驗(yàn)證本研究模型的可用性，基于Android手機(jī)系統(tǒng)，采用Java語言編程實(shí)現(xiàn)了蘋果葉部病害識(shí)別手機(jī)應(yīng)用（APP），識(shí)別結(jié)果示例如圖6。在田間實(shí)際環(huán)境下對(duì)該APP的診斷性能進(jìn)行了測(cè)試。采用手機(jī)攝像頭拍照的方式獲取圖像，每個(gè)類別分別拍攝了25張圖像，共測(cè)試100張圖像，對(duì)識(shí)別準(zhǔn)確率和平均推理時(shí)間進(jìn)行了統(tǒng)計(jì)，結(jié)果如表4。表4可知，該APP能準(zhǔn)確識(shí)別出蘋果健康和銹病這2個(gè)類別的所有測(cè)試圖像，識(shí)別準(zhǔn)確率達(dá)到100%，對(duì)瘡痂病和黑腐病測(cè)試圖像識(shí)別準(zhǔn)確率分別為96%和92%?？傮w來看，4個(gè)類別的平均識(shí)別準(zhǔn)確率為97%，平均推理時(shí)間為39.38ms。結(jié)果表明，該APP對(duì)田間實(shí)際環(huán)境下的病害診斷性能較好，能夠適用于果園內(nèi)蘋果葉部病害的實(shí)時(shí)識(shí)別要求。

表4 APP測(cè)試結(jié)果
Table 4 APP test results

?

圖6 APP識(shí)別結(jié)果示意圖Figure 6 Schematic diagram of APPrecognition results

6 討論與結(jié)論

近年來，隨著卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，越來越多的專家和學(xué)者開始將其用于植物病害識(shí)別領(lǐng)域。黃雙萍等提出了一種基于GoogLeNet的水稻稻瘟病的識(shí)別方法，以大田環(huán)境下的水稻稻瘟病穗株為研究對(duì)象，平均識(shí)別準(zhǔn)確率達(dá)到92.00%。張建華等通過優(yōu)化全連接層層數(shù)等方式對(duì)VGG16模型進(jìn)行改進(jìn)，實(shí)現(xiàn)了棉花褐斑病、炭疽病、黃萎病、枯萎病、輪紋病和健康葉的識(shí)別，平均識(shí)別準(zhǔn)確率達(dá)到89.51%，比相同試驗(yàn)條件下的BP神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、AlexNet、GoogLeNet、VGG16模型的識(shí)別性能更佳。蘇仕芳等對(duì)VGG16模型的全連接層進(jìn)行改進(jìn)，并基于遷移學(xué)習(xí)的方式，實(shí)現(xiàn)了小樣本葡萄褐斑病、輪斑病、黑腐病和健康葉的識(shí)別，平均識(shí)別準(zhǔn)確率達(dá)到96.48%。帖軍等以果園環(huán)境內(nèi)的柑橘黑斑病、黃龍病、瘡痂病、潰瘍病和健康葉為研究對(duì)象，在ResNet34模型的基礎(chǔ)上對(duì)其進(jìn)行改進(jìn)，將ResNet34中部分殘差結(jié)構(gòu)中的恒等映射移除，得到S-ResNet模型，將ResNet34中首層7×7大小的卷積核替換為3×3大小的卷積核，得到M-ResNet模型，最后通過模型融合的方法將二者融合，得到F-ResNet模型，該模型的平均識(shí)別準(zhǔn)確率達(dá)到93.6%。以上研究方法都能準(zhǔn)確地識(shí)別出植物病害的類別，然而模型復(fù)雜度較高，在移動(dòng)端進(jìn)行部署較為困難，并且通常只針對(duì)一種圖像背景。

本研究以簡(jiǎn)單和復(fù)雜背景下的蘋果瘡痂病、黑腐病、銹病和健康葉為研究對(duì)象，對(duì)輕量級(jí)網(wǎng)絡(luò)ShuffleNet V2進(jìn)行改進(jìn)，提出了一種改進(jìn)型ShuffleNet#網(wǎng)絡(luò)的蘋果葉部病害識(shí)別方法。使用該網(wǎng)絡(luò)構(gòu)建的病害診斷模型具有識(shí)別精度高和識(shí)別速度快的優(yōu)點(diǎn)，能夠快速、準(zhǔn)確地識(shí)別出上述2種不同背景的4類圖像，在測(cè)試集上的識(shí)別準(zhǔn)確率達(dá)到98.95%，在移動(dòng)設(shè)備上單張圖像的平均推理時(shí)間為39.38ms，綜合診斷性能良好。將此模型在Android移動(dòng)端進(jìn)行部署，開發(fā)一款蘋果葉部病害識(shí)別手機(jī)應(yīng)用，經(jīng)過測(cè)試可知該應(yīng)用可以滿足種植戶日常使用的需求，具有較好的應(yīng)用前景。