基于MobileNet V2和遷移學習的番茄病害識別

王哲豪 范麗麗 何前

摘要：番茄葉部病害嚴重影響了番茄的產(chǎn)量和質(zhì)量，為實現(xiàn)在移動設備實時對番茄進行病害識別，提高番茄的產(chǎn)量，減少種植者的損失。本研究提出將輕量級網(wǎng)絡模型MobileNet V2和遷移學習的方式相結合，對番茄早疫病、番茄細菌性斑疹病、番茄晚疫病、番茄葉霉病、番茄斑枯病、番茄紅蜘蛛病、番茄褐斑病、番茄花葉病、番茄黃化曲葉病等9種葉部病害圖像以及健康番茄葉片圖像進行分類識別，首先將數(shù)據(jù)集按照9 ∶?1的比例分為訓練集和驗證集，對于訓練模型根據(jù)遷移學習的方式分別采用不凍結卷積層、凍結部分卷積層、全部凍結卷積層的方式獲得3種模型，然后在模型最后加上2層全連接層并用Dropout層防止過擬合，接著通過Softmax層輸出實現(xiàn)對番茄病害圖像分類識別，最后利用驗證集來統(tǒng)計模型的準確率和損失值。其中，凍結部分卷積層準確率最高，達到93.67%。另外，通過試驗對比傳統(tǒng)網(wǎng)絡VGG16、ResNet50訓練集和驗證集的準確率、損失值及運行時間，其中遷移學習的MobileNet V2模型的準確率最高，運行時間最短。該研究提出的基于MobileNet V2和遷移學習的番茄病害識別研究方法識別效果較佳，速度較快，為在移動設備實時對番茄病害識別提供了技術支持。

關鍵詞：MobileNet V2；遷移學習；病害識別；番茄

中圖分類號：TP391.41??文獻標志碼：A??文章編號：1002-1302（2023）09-0215-07

基金項目：湖北省教育廳創(chuàng)新團隊項目（編號：T2021009）；國家自然科學基金（編號：11871388）。

作者簡介：王哲豪（1996—），男，湖北武漢人，碩士研究生，研究方向為農(nóng)業(yè)圖像處理。E-mail：1030922418@qq.com。

通信作者：范麗麗，博士，副教授，碩士生導師，從事偏微分方程方面的研究。E-mail：23404587@qq.com。

我國自古以來都是農(nóng)業(yè)大國，目前我國農(nóng)業(yè)經(jīng)濟十分發(fā)達，是我國國民經(jīng)濟中的中流砥柱。番茄作為我國主要農(nóng)作物之一，無論是出口還是在國內(nèi)都有相當大的市場。番茄整個生長周期都會受到不同病害的侵襲，其中在番茄葉部的病害對番茄有較為嚴重的影響［1］，番茄葉部病害種類繁多，包括番茄早疫病、番茄細菌性斑疹病、番茄晚疫病、番茄葉霉病、番茄斑枯病、番茄紅蜘蛛病、番茄褐斑病、番茄花葉病、番茄黃化曲葉病，每種病害都會直接影響番茄的質(zhì)量和產(chǎn)量。因此對番茄病害的研究與防治就顯得十分有必要。

近年來，隨著機器學習的不斷發(fā)展壯大，將機器學習與農(nóng)業(yè)結合越來越普遍。對農(nóng)作物病害識別也從傳統(tǒng)方法［2］慢慢過渡到機器學習相關方法。趙小虎等將改進的U-Net網(wǎng)絡運用于番茄分割，獲得了較好的分類并為后面識別打下了基礎［3］。賈兆紅等提出EFCA注意力模塊再通過最大池化和concat操作，將番茄葉面型病害分類準確度提高到了86.69%［4］。張洪駿等分別研究了VGG16、InceptionV3、ResNet50、MobileNet V2對番茄病害的識別，不考慮時間成本，準確率達到了94%［5］。胡玲艷等利用輕量級模型SqueezeNet對番茄病害進行識別，并對比了與LeNet、MobileNet模型的差異，證明了輕量級模型的實效性和準確率［6］。方晨晨等采用多尺度卷積代替?zhèn)鹘y(tǒng)卷積，解決了網(wǎng)絡過深引起的退化問題，最終訓練后的模型權重只有19 MB，準確率達到了98.58%，可以有效識別出番茄病害圖像［7］。遷移學習作為深度學習常用的方法，被廣泛地運用于農(nóng)作物病害識別研究［8-11］，包括水稻、玉米、茶葉等。但是基于遷移學習和輕量級模型MobileNet V2以實現(xiàn)移動端設備實時對番茄病害識別的研究較少。

番茄葉部病害種類多，病害之間相似度高，用傳統(tǒng)卷積神經(jīng)網(wǎng)絡（convolutional neural networks，簡稱CNN）網(wǎng)絡訓練需要花費大量時間、精力且準確率不高，不能很好地結合于實際情況。因此，本研究提出基于MobileNet V2和遷移學習的番茄病害識別研究方法，并通過試驗驗證其有效性。

1?數(shù)據(jù)集

本研究的數(shù)據(jù)集選自Plant-Village數(shù)據(jù)集，包括54 303張健康和染病葉片的圖片，分為38個類別。本研究選取其中番茄健康和染病圖片，分為10個類別，分別是番茄健康葉片圖片、番茄早疫病圖片、番茄細菌性斑疹病圖片、番茄晚疫病圖片、番茄葉霉病圖片、番茄斑枯病圖片、番茄紅蜘蛛病圖片、番茄褐斑病圖片、番茄花葉病圖片、番茄黃化曲葉病圖片，共有18 835張照片。每個類別按照9 ∶?1劃分為訓練集和驗證集，具體的數(shù)據(jù)集數(shù)量見表1，部分示例圖像見圖1。

由表1可知，番茄葉部病害數(shù)據(jù)集數(shù)量偏少且分布不均勻，模型在訓練過程中將不可避免地將數(shù)據(jù)集中數(shù)量少的病害分類到數(shù)據(jù)集中數(shù)量多的病害中。除此之外，由圖1可知，番茄細菌性斑疹病和番茄健康葉片在形狀、紋理上非常相似，番茄紅蜘蛛病和番茄褐斑病在外觀、顏色上同樣非常相似，這就導致模型直接訓練會難以區(qū)分。

2?MobileNet V2

2.1?模型提出

隨著計算機視覺領域的發(fā)展，卷積神經(jīng)網(wǎng)絡也在不斷地迭代更新。為追求更高的準確率，相繼出現(xiàn)了AlexNet、VGG、NiN、GooLeNet、ResNet。卷積神經(jīng)網(wǎng)絡的層數(shù)在不斷加深，內(nèi)存需求不斷增大，計算量也在成倍增加［12］。比如，VGG16權重文件大小就高達490 M，ResNet50更是達到了644 M。

如此巨大的內(nèi)存需求和計算量導致這些網(wǎng)絡模型局限于實驗室，不能在移動設備和嵌入式設備運行，由此Google團隊在2017年提出專注于移動端和嵌入式設備中的輕量級CNN——MobileNet V1。

通過文獻［13］可知，MobileNet V1模型參數(shù)只有VGG16的1/32，準確率卻只下降了0.9%。模型最大的創(chuàng)新點就是提出了深度可分離卷積（depthwise separable convolution）。深度可分離卷積包括逐通道卷積（depthwise convolution，簡稱DW）和逐點卷積（pointwise convolution，簡稱PW）。

圖2中傳統(tǒng)卷積，卷積核的channel等于輸入特征圖的channel，輸出特征矩陣的channel等于卷積核個數(shù)。圖3中深度可分離卷積前半部分是逐通道卷積后半部分是逐點卷積。其中逐通道卷積和傳統(tǒng)卷積的區(qū)別在于，卷積核channel等于1，輸入特征矩陣channel等于卷積核個數(shù)等于輸出特征矩陣channel。

假設輸入特征矩陣的高和寬為DF，卷積核的高和寬為DK，輸入特征矩陣的深度為M，輸出特征矩陣的深度為N。對于普通卷積而言計算量如下：

對于深度可分離卷積，計算量如下：

兩者對比：

深度可分離卷積計算量普通卷積計算量=DK×DK×M×DF×DF+M×N×DF×DFDK×DK×M×N×DF×DF=1N+1DK×DK。（3）

而在MobileNet網(wǎng)絡中卷積核大小一般取值為3×3，即DK=3，同時N取值一般較大，則由公式（3）推導得到兩者比值為1N+19，使用深度可分離卷積計算量是傳統(tǒng)卷積計算量的1/9到1/8，大大減少了運算量和參數(shù)數(shù)量。

本研究還提出寬度因子α和分辨率因子ρ，通過調(diào)整寬度乘法器和分辨率乘法器來權衡網(wǎng)絡計算量和準確率。具體計算量如下：

權衡后的深度可分離卷積計算量=DK×DK×αM×ρDF×ρDF+αM×ρN×ρDF×ρDF。（4）

對于MobileNet V1網(wǎng)絡模型有一些顯而易見的缺點，比如V1結構相對簡單沒有圖形復用、在處理低維度問題上使用ReLU函數(shù)容易造成信息丟失，針對以上問題Google團隊在2018年提出了MobileNet V2網(wǎng)絡模型，其中最大創(chuàng)新點是提出了倒殘差結構（inverted residual）以及在倒殘差結構最后一層用線性函數(shù)（linear bottlenecks）［14-15］代替ReLU激活函數(shù)。

2.2?模型結構

MobileNet V2借鑒了ResNet中的殘差模塊，在ResNet殘差結構先降維，再卷積，最后升維。而根據(jù)深度可分離卷積計算量小的特點提出的倒殘差結構，先通過1×1的卷積核升維操作，再通過3×3深度可分離卷積，最后通過1×1卷積降維。以較小的計算量獲得較好的性能。

由圖4可知，倒殘差結構分為步距為1和步距為2等2種情況。其中，只有當步距等于1且輸入特征矩陣和輸出特征矩陣大小和深度相同才有捷徑分支連接。由圖4還可以看出，在倒殘差結構中后面采用線性激活函數(shù)代替ReLU激活函數(shù)，這是因為對于低維運算ReLU容易造成信息損失。同時對于移動端和嵌入式設備低精度float16/int8 也能反映較好的數(shù)值分辨率，在倒殘差結構中使用ReLU6激活函數(shù)來代替ReLU激活函數(shù)，ReLU6激活函數(shù)見圖5。

最終通過類似于ResNet網(wǎng)絡不斷堆疊殘差結構形成MobileNet V2模型。由表2可知，t表示擴展因子，c表示輸出特征矩陣深度，n表示bottleneck次數(shù)，s是步距，k是深度。MobileNet V2模型首先通過一層卷積層，接著不斷通過DW卷積，通過平均池化下采樣，最后通過類似于全連接層的卷積層輸出。

3?遷移學習

在傳統(tǒng)模型訓練中往往不可避免會出現(xiàn)以下幾個問題：（1）數(shù)據(jù)量少，數(shù)據(jù)量分布不均勻，導致過擬合。（2）需要不斷地調(diào)整各種參數(shù)，效率低且花費精力。（3）面對模型層數(shù)深，計算量大，耗費時間長。面對以上問題提出了遷移學習，遷移學習可以簡化模型，加快模型收斂，減少數(shù)據(jù)量對訓練的依賴［16-18］。遷移學習已經(jīng)成為深度學習中十分常見的方法之一。

遷移學習使用方法是相同模型下，將已經(jīng)訓練好的模型參數(shù)引入到自己需要訓練的模型中。模型訓練本質(zhì)就是對數(shù)據(jù)進行特征提取，以此讓計算機更好地識別。具體過程是對于一個給定的深度神經(jīng)網(wǎng)絡，用數(shù)據(jù)集去訓練它，在學習過程中，第1層學會了識別一些很簡單的特征，緊接著后面的層將開始對這些簡單特征進行組合。隨著特征的增加，就能得到很復雜的特征表示。也就是說底層這些簡單的特征是相通的，而遷移學習就是要遷移這些共性的信息和特征從而避免再次學習到這類知識，實現(xiàn)快速學習。反映到具體模型訓練中就是權重參數(shù)和偏置參數(shù)。

遷移學習結合到模型訓練中主要分為3種情況：（1）不凍結。遷移卷積層參數(shù)作為模型初始化繼續(xù)訓練。載入權重之后，只作為預訓練和初始化并重新訓練所有參數(shù)。（2）部分凍結。凍結一部分卷積層，只對另一部分卷積層訓練。（3）全部凍結。直接將已經(jīng)訓練好的模型參數(shù)作為自己的模型參數(shù)。在遷移策略中往往在模型的最后根據(jù)自己的分類個數(shù)結合以上3種情況設計不同的輸出層。

本研究的遷移學習是基于TensorFlow官方提供的MobileNet V2 1.0 224預訓練模型權重。在遷移之前首先需要將數(shù)據(jù)做和TensorFlow模型權重一樣的預處理，將圖片從［0，255］分布轉(zhuǎn)化到［0，1］之間，然后減去0.5，最后再乘以2。然后根據(jù)以上3種情況對模型進行凍結訓練，具體見圖6。

由圖6可知，本研究在利用遷移學習方法之后在模型后面加入了2層全連接層，并在最后利用Softmax函數(shù)分類。情況二部分凍結，選擇在模型倒殘差模塊訓練中凍結一部分卷積層，訓練一部分模型權重參數(shù)。

4?結果與分析

4.1?試驗環(huán)境

試驗硬件環(huán)境：CPU為Intel CoreTM i7-10750H CPU @ 2.60 GHz 2.59 GHz；RAM為16.0 GB。軟件環(huán)境：64 位操作系統(tǒng)，基于 ×64 的處理器；IDE為PyCharm；軟件環(huán)境為Python 3.7；學習框架為TensorFlow 2.0，Keras 2.3.1。

4.2?試驗方法與結果

為了驗證本研究選取的MobileNet V2模型對番茄病害識別的準確性與實時性，選取準確率優(yōu)秀的傳統(tǒng)網(wǎng)絡模型VGG16網(wǎng)絡模型和ResNet50網(wǎng)絡模型進行對比試驗。對3種網(wǎng)絡都是采取全部凍結的遷移學習方式，并且在模型最后加上2層全連接層，最后利用Softmax分類輸出，進行訓練，batch設置為16，epochs設置為50，學習率設置為0.000 5，試驗結果見圖7、圖8、圖9、表3。

由圖7、圖9可知，VGG16模型和MobileNet V2模型收斂速度快，準確率好。而在圖8中ResNet50模型，隨著迭代次數(shù)的增加，訓練集準確率很高但是驗證集準確率卻沒有提升。由表3可知，MobileNet V2模型無論在訓練集還是驗證集的準確率和損失值都優(yōu)于VGG16模型，且MobileNet V2模型訓練時間明顯更短。

表4是分辨率因子ρ取224，不同寬度因子α對模型性能和訓練時間的影響；表5是寬度因子α取1.0，不同分辨率因子ρ對模型性能和訓練時間的影響。

由表4和表5可知，寬度因子取1.0，分辨率因子取224，模型準確率最高，雖然減少寬度因子和分辨率因子的取值可以降低運行時間，但是準確率也會有不同程度的降低，況且輕量級模型MobileNet

V2的運行時間本來就比傳統(tǒng)模型短很多，每個epoch訓練時間只有122 s。相比于準確率對模型的影響，運行時間并沒有明顯降低，因此對于本試驗模型在選取寬度因子1.0，分辨率因子224情況下表現(xiàn)最好。

混淆矩陣是結果的一種指標，可以更加直觀地看到預測結果，對于3種遷移學習方式，batch設置為16，epochs設置為50，學習率設置為0.000 5，寬度因子設置為1.0，分辨率因子設置為224?；煜仃囈妶D10至圖12，準確率和損失值見表6。

由圖10、圖12可知，對于番茄細菌斑疹病和健康番茄的分類效果并不好，除此之外對番茄紅蜘蛛病和番茄褐斑病的分類效果也比較差。由圖11可知，部分凍結卷積層中番茄早疫病和番茄葉霉病的分類完全正確，而且番茄斑枯病和番茄花葉病也有較好的分類效果。

由表6可知，本試驗模型對于部分凍結的遷移學習方式表現(xiàn)效果最好，驗證集準確率最高，達到了93.67%，能夠有效地對番茄葉部病害進行識別。

5?結論

針對移動端和嵌入式設備能夠快速準確識別番茄病害，本研究提出了基于MobileNet V2和遷移學習的番茄病害識別研究方法。利用遷移學習對淺層特征的提取，對MobileNet V2模型卷積層參數(shù)部分凍結，部分保留，并在模型最后加上2層全連接層，1層Softmax層輸出，實現(xiàn)模型對番茄病害區(qū)域的快速訓練與準確識別。試驗結果表明，本研究對番茄病害識效果較好，準確率達到了93.67%，同時滿足了在移動設備上實時識別。但本試驗通過測試發(fā)現(xiàn)識別準確率還有進一步提升的空間。因此下一步研究工作考慮細化遷移學習對模型的影響，進一步提高準確率以滿足商業(yè)需求。

參考文獻：

［1］Chandra N V，Megha Reddy K，Ashish Sushanth G，et al. A versatile approach based on convolutional neural networks for early identification of diseases in tomato plants［J］. International Journal of Wavelets，Multiresolution and Information Processing，2022，20（1）：12-21.

［2］張?寧，吳華瑞，韓?笑，等. 基于多尺度和注意力機制的番茄病害識別方法［J］. 浙江農(nóng)業(yè)學報，2021，33（7）：1329-1338.

［3］趙小虎，李?曉，葉?圣，等. 基于改進U-Net網(wǎng)絡的多尺度番茄病害分割算法［J］. 計算機工程與應用，2022，58（10）：216-223.

［4］賈兆紅，張袁源，王海濤，等. 基于Res2Net和雙線性注意力的番茄病害時期識別方法［J］. 農(nóng)業(yè)機械學報，2022，53（7）：259-266.

［5］張洪駿. 基于CNN的番茄葉片病害圖像識別方法研究［D］. 哈爾濱：哈爾濱工業(yè)大學，2021.

［6］胡玲艷，周?婷，許?巍，等. 面向番茄病害識別的改進型SqueezeNet輕量級模型［J］. 鄭州大學學報（理學版），2022，54（4）：71-77.

［7］方晨晨，石繁槐. 基于改進深度殘差網(wǎng)絡的番茄病害圖像識別［J］. 計算機應用，2020，40（增刊1）：203-208.

［8］王忠培，張?萌，董?偉，等. 基于遷移學習的多模型水稻病害識別方法研究［J］. 安徽農(nóng)業(yè)科學，2021，49（20）：236-242.

［9］董?萍，衛(wèi)夢華，時?雷，等. 遷移學習在玉米葉片病害識別中的研究與應用［J］. 中國農(nóng)機化學報，2022，43（3）：146-152.

［10］徐?杰. 基于ResNet的茶葉病害識別系統(tǒng)設計與實現(xiàn)［J］. 電子技術與軟件工程，2022（12）：167-170.

［11］周?維，牛永真，王亞煒，等. 基于改進的YOLOv4-GhostNet水稻病蟲害識別方法［J］. 江蘇農(nóng)業(yè)學報，2022，38（3）：685-695.

［12］孫?俊，朱偉棟，羅元秋，等. 基于改進MobileNet-V2的田間農(nóng)作物葉片病害識別［J］. 農(nóng)業(yè)工程學報，2021，37（22）：161-169.

［13］孟?琭，徐?磊，郭嘉陽.一種基于改進的MobileNet V2網(wǎng)絡語義分割算法［J］. 電子學報，2020，48（9）：1769-1776.

［14］劉合兵，魯?笛，席?磊. 基于MobileNet V2和遷移學習的玉米病害識別研究［J］. 河南農(nóng)業(yè)大學學報，2022，56（6）：1041-1051.

［15］Shahi T B，Sitaula C，Neupane A，et al. Fruit classification using attention-based MobileNet V2 for industrial applications［J］. PLoS One，2022，17（2）：e0264586.

［16］林?禹. 深度神經(jīng)網(wǎng)絡傳遞遷移學習遙感影像分類［D］. 阜新：遼寧工程技術大學，2021.

［17］馬?錚. 基于深度-遷移學習的玉米葉部病害識別方法研究［D］. 哈爾濱：東北農(nóng)業(yè)大學，2021.

［18］周宏威，沈恒宇，袁新佩，等. 基于遷移學習的蘋果樹葉片病蟲害識別方法研究［J］. 中國農(nóng)機化學報，2021，42（11）：151-158.