馮 曉，李丹丹，王文君，鄭國清，劉海礁，孫永勝，梁 山，楊 瑩，臧賀藏，張 輝

(1.河南省農(nóng)業(yè)科學院 農(nóng)業(yè)經(jīng)濟與信息研究所，河南 鄭州 450002；2.河南省智慧農(nóng)業(yè)工程技術(shù)研究中心，河南 鄭州 450002； 3.河南省林業(yè)科學研究院，河南 鄭州 450008)

小麥是我國重要的糧食作物，病害的發(fā)生嚴重危害小麥的生長發(fā)育[1-2]。利用計算機視覺技術(shù)快速、準確識別小麥病害類型對于小麥病害防治具有重要的應(yīng)用價值。傳統(tǒng)的作物病害計算機視覺識別通常是在病害圖像經(jīng)預處理、病斑分割、病斑特征提取及篩選等多個步驟后，利用支持向量機(Support vector machine，SVM)、神經(jīng)網(wǎng)絡(luò)等分類器進行識別[3-5]，這類識別需要依賴專業(yè)知識針對病害癥狀設(shè)計特征提取方法，泛化能力及魯棒性較差。近年來，隨著大規(guī)模標記數(shù)據(jù)的產(chǎn)生和計算機計算能力的快速提升，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network，CNN)進入快速發(fā)展期，基于CNN的圖像識別方法無需經(jīng)過繁瑣的預處理、特征提取等中間建模過程，采用端到端的結(jié)構(gòu)，由數(shù)據(jù)驅(qū)動自動提取深層的抽象特征，減少了人工設(shè)計特征產(chǎn)生的不完備性。許多學者將AlexNet[6-10]、VGGNet[8,11]、ResNet[12]等經(jīng)典CNN用于作物病害圖像識別，取得了比傳統(tǒng)識別方法更好的效果。

基于CNN進行圖像分類需要大量數(shù)據(jù)和計算資源支撐，且耗時長。通過遷移學習，將在大型圖像數(shù)據(jù)集上訓練好的CNN通過一定方式在小的目標數(shù)據(jù)集上經(jīng)過小幅訓練即可完成目標識別任務(wù)，可有效彌補數(shù)據(jù)量的不足，且大幅降低計算時間。當前，遷移學習在作物病害識別[7-8,13]領(lǐng)域已獲得成功應(yīng)用。

傳統(tǒng)的AlexNet、VGGNet等CNN參數(shù)多、復雜度高，不適合移動終端應(yīng)用場景，不依賴于網(wǎng)絡(luò)、完全部署在手機等移動設(shè)備上的作物病害識別APP更符合當前作物病害識別應(yīng)用現(xiàn)實需求。郭小清等[9]結(jié)合番茄葉部病害圖像特征，改進AlexNet實現(xiàn)了多感受野識別模型Multi-Scale AlexNet，并開發(fā)了Android平臺的番茄葉部病害圖像識別系統(tǒng)。劉洋等[14]綜合比較了基于MobileNetV1[15]和InceptionV3建立的移動端植物病害識別模型的識別精度、模型尺寸和運算速度，表明MobileNetV1在移動平臺應(yīng)用的綜合性能更優(yōu)。MobileNetV2[16]是Google公司2018年推出的輕量級CNN，比MobileNetV1的網(wǎng)絡(luò)結(jié)構(gòu)更深，參數(shù)更少，模型尺寸更小，但目前利用MobileNetV2進行作物病害識別的研究還比較缺乏。構(gòu)建識別準確率高、泛化能力強、尺寸更小的輕量級模型是移動端小麥葉部病害識別的趨勢。鑒于此，采集小麥生產(chǎn)中發(fā)生普遍、危害嚴重的白粉病、條銹病和葉銹病3種葉部病害圖像建立樣本集，基于MobileNetV2和遷移學習建立小麥葉部病害圖像識別模型，并分析遷移學習方法、樣本量、全局平均池化(Global average pooling，GAP)前添加Dropout層、初始學習率設(shè)置對模型性能的影響，為開發(fā)基于移動終端的小麥病害智能識別系統(tǒng)提供模型構(gòu)建技術(shù)支持。

1 材料和方法

1.1 數(shù)據(jù)來源

在大田復雜自然環(huán)境中采集白粉病、條銹病和葉銹病共3種小麥葉部病害圖像，其中一部分于2017年5月在河南溫縣用佳能60D(鏡頭18-135 mm IS)數(shù)碼相機拍攝，大小為5 760像素×3 240像素；另一部分于2020年5月在河南原陽河南現(xiàn)代農(nóng)業(yè)研究開發(fā)基地用華為榮耀8X手機拍攝，大小為5 120像素×3 840像素。鑒于樣本類別不均衡對CNN性能有較大影響[17-18]，對每種小麥葉部病害拍攝基本均衡的數(shù)量，2次拍攝后選出1 200幅清晰圖像作為原始圖像。

1.2 數(shù)據(jù)預處理及數(shù)據(jù)增強

首先，將采集到的原始圖像利用圖像處理工具包Python image library(PIL)批量隨機裁剪出1 150像素×1 150像素、950像素×950像素、750像素×750像素、550像素×550像素、400像素×400像素等不同像素大小的圖像，從中篩選出每種病害樣本3 000幅，3種病害樣本共計9 000幅。通過上述操作擴充了圖像數(shù)量且模擬了拍攝的尺度差異。然后，隨機選取部分圖像進行水平或垂直翻轉(zhuǎn)以模擬拍攝的角度差異。最后，將9 000幅圖像尺寸統(tǒng)一調(diào)整為224像素×224像素，獲得最終的小麥葉部病害樣本集。圖1為小麥葉部病害樣本示例。

1.3 模型構(gòu)建

訓練一個良好的CNN需要大規(guī)模規(guī)范的數(shù)據(jù)集和計算資源作為支撐，通過遷移學習，將在大型基準數(shù)據(jù)集上訓練好的成熟模型的參數(shù)遷移到新的目標識別任務(wù)，可顯著降低對訓練樣本集和計算資源的需求，并加速模型學習效率。本研究將在ImageNet數(shù)據(jù)集上訓練好的MobileNetV2模型作為預訓練模型進行小麥葉部病害圖像識別。MobileNetV2采用深度可分離卷積(Depthwise separable convolution，DSC)[19]，在損失精度較少的情況下大幅度降低參數(shù)量和計算量，并在MobileNetV1基礎(chǔ)上引入具有線性瓶頸的倒殘差結(jié)構(gòu)。

本研究中構(gòu)建了表1所示的2種小麥葉部病害圖像識別模型。2種模型中，MobileNetV2的寬度乘子(α)均設(shè)置為1.0，分辨率乘子(β)均設(shè)置為224，去除MobileNetV2的原分類器，替換為用于小麥葉部病害圖像識別任務(wù)的新分類器。在新分類器中，采用了GAP，其相比傳統(tǒng)CNN中常用的全連接(Fully connected，F(xiàn)C)層極大減少了模型參數(shù)，使得模型抗過擬合能力更強，并提升了模型訓練速度；最后采用Softmax函數(shù)輸出病害圖像屬于每個類別的概率。模型a和模型b的不同在于，模型a在GAP前增加了Dropout層，其丟棄概率(Rate)設(shè)置為0.5。Dropout技術(shù)通常用于全連接層，通過降低神經(jīng)元之間的相互依賴減少深層神經(jīng)網(wǎng)絡(luò)過擬合現(xiàn)象，是增強模型泛化能力常用的解決方案[20-21]。

表1 模型網(wǎng)絡(luò)結(jié)構(gòu)Tab.1 Model network architecture

1.4 模型訓練及優(yōu)化

從每種病害圖像樣本中隨機選出2 160幅作為訓練集，540幅作為驗證集，300幅作為測試集，用于模型訓練及測試。為研究圖像樣本數(shù)量對模型精度影響的大小，在每種病害訓練集和驗證集中隨機選取1/4(訓練集540幅、驗證集135幅)的圖像分別作為訓練集和驗證集進行小樣本訓練，其中，2種不同樣本量訓練后，均采用相同的300幅測試集進行模型評價。

深度學習模型訓練時，學習率是最影響模型性能的超參數(shù)之一，本研究使用自適應(yīng)矩估計(Adaptive moment estimation，Adam)自動優(yōu)化學習率，選擇0.000 01、0.000 1和0.001共3種初始學習率進行學習。批訓練樣本數(shù)(Batchsize)設(shè)置為16；迭代次數(shù)(Epoch)設(shè)置為100；每次迭代前隨機打亂訓練集。

常用的遷移學習方法是首先凍結(jié)預訓練模型所有層，利用目標數(shù)據(jù)集對新分類器參數(shù)進行訓練；然后解凍預訓練模型靠近輸出的部分卷積層，聯(lián)合訓練新分類器和這部分解凍的卷積層，通過這種微調(diào)高階特征表示的方式，使模型與目標任務(wù)更相關(guān)。由于MobileNetV2屬于輕量化模型，模型參數(shù)量相對較小，本研究采用不凍結(jié)任何網(wǎng)絡(luò)層，將模型所有層設(shè)置為可訓練的遷移學習方式，即直接訓練模型所有參數(shù)，并與凍結(jié)預訓練模型的全部卷積層，僅對新分類器參數(shù)訓練的遷移學習方式進行對比。

基于上述模型訓練及優(yōu)化方案，2種模型網(wǎng)絡(luò)結(jié)構(gòu)下共計進行24組模型訓練。本研究中建模及模型訓練在深度學習框架Tensorflow 2.0下完成。

1.5 模型評價指標

采用平均識別準確率對模型進行評價：

式中，ns表示樣本類別數(shù)量，本研究中為3；ni表示第i類樣本數(shù)量；nii表示第i類樣本預測正確的數(shù)量。本研究中，取模型100次迭代中驗證集平均識別準確率最高的迭代第次對應(yīng)模型的測試集平均識別準確率評價模型。24組模型訓練時，個別組出現(xiàn)最高驗證集平均識別準確率不唯一的情況，選擇其中訓練集平均識別準確率最高的迭代第次對應(yīng)的模型為最終模型。若最高訓練集平均識別準確率也不唯一，則選定其中最小的迭代第次對應(yīng)的模型為最終模型。

2 結(jié)果與分析

2.1 遷移學習方式對模型性能的影響

表2為24組模型訓練后識別準確率情況。從表2可以看出，24組模型中，在相同的樣本量、模型a或b及初始學習率下，直接訓練模型所有參數(shù)的遷移學習方式均明顯優(yōu)于僅訓練模型分類器參數(shù)的方式，測試集平均識別準確率提升了5.56～24.66個百分點。直接訓練模型所有參數(shù)的遷移學習方式下，方案19的測試集平均識別準確率最高，達99.96%；僅訓練模型分類器參數(shù)的遷移學習方式下，方案3的測試集平均識別準確率最高，為91.11%。方案3和方案19的模型訓練過程準確率曲線如圖2所示，方案3在迭代8次時訓練集平均識別準確率上升到90%以上，之后較為穩(wěn)定，而驗證集平均識別準確率波動較大，明顯過擬合；方案19在迭代8次時訓練集平均識別準確率上升到99%以上，且驗證集平均識別準確率曲線和訓練集平均識別準確率曲線基本一致，獲得了很好的識別效果。以上研究表明，基于MobileNetV2進行小麥葉部病害圖像識別中，采用直接訓練模型所有參數(shù)的遷移學習方式更為適宜。

表2 模型識別準確率Tab.2 Recognition accuracy of model

a：方案3的訓練曲線； b：方案19的訓練曲線

2.2 樣本量對模型性能的影響

從表2中直接訓練模型所有參數(shù)的遷移學習方式下的方案13—24可知，在同樣的模型a或b選擇及初始學習率下，采用大樣本量訓練均比小樣本量訓練獲得更高的測試集平均識別準確率，尤其是采用0.001的初始學習率時，大樣本量訓練相比小樣本量訓練，模型a、b的測試集平均識別準確率分別提升了2.11、4.00個百分點。大樣本量訓練下獲得的最高測試集平均識別準確率為99.96%，比小樣本量訓練下獲得的最高測試集平均識別準確率99.44%高出了0.52個百分點。本研究綜合考慮樣本類別均衡性、田間拍攝尺度和拍攝角度的差異性，設(shè)計了適宜的樣本數(shù)據(jù)采集、預處理及增強方案，通過增加樣本量有效提升了模型性能。同時，表2中小樣本量訓練下方案14的測試集平均識別準確率達到了99.44%，也表明在每種病害圖像樣本量低于1 000幅的情況下，基于MobileNetV2通過遷移學習即可很好地實現(xiàn)小麥葉部病害圖像識別建模。

2.3 GAP前添加Dropout層對模型性能的影響

從表2中方案13—24可知，在小樣本量訓練下，分類器中添加Dropout層的方案13、14和15的測試集平均識別準確率分別高于不添加Dropout層的方案16、17和18；在大樣本量訓練下，初始學習率為0.000 01的方案19比22的測試集平均識別準確率提升0.07個百分點，但初始學習率為0.000 1及0.001的方案20和21不如方案23和24的識別性能好。以上結(jié)果表明，GAP替代全連接層后，采用Dropout技術(shù)在提升模型泛化能力上未必一定有效，這是因為GAP本身就是一種結(jié)構(gòu)性的規(guī)則項，不同于全連接層非常依賴Dropout進行規(guī)則化，但也表明，在GAP前采用Dropout技術(shù)有可能起到提升模型性能的作用，實際應(yīng)用中可具體模型具體分析。

2.4 初始學習率對模型性能的影響

從表2中方案13—24可知，采用直接訓練模型所有參數(shù)的遷移學習方法，除初始學習率較高的小樣本量訓練，模型測試集平均識別準確率均達到了99%以上。但從不同的初始學習率下模型訓練過程平均識別準確率曲線(圖2b、圖3)可以看出，初始學習率為0.000 01的方案19的訓練集平均識別準確率和驗證集平均識別準確率均穩(wěn)定保持在較高水平，走勢基本一致，而初始學習率為0.000 1和0.001的方案20和21雖訓練集平均識別準確率很高，但驗證集平均識別準確率呈現(xiàn)一定的波動，尤其是方案21波動幅度較大，模型不穩(wěn)定。以上結(jié)果表明，采用0.000 01的初始學習率模型泛化能力最強，效果最優(yōu)。這是因為經(jīng)過遷移學習，預訓練模型已獲得了較好的訓練，設(shè)置較大的初始學習率會導致參數(shù)更新幅度大，結(jié)果易跨過最優(yōu)解，在最優(yōu)解兩端震蕩。

a：方案20的訓練曲線； b：方案21的訓練曲線

3 結(jié)論與討論

本研究針對小麥葉部病害便捷識別的需求，建立了白粉病、條銹病和葉銹病3 種小麥葉部病害圖像樣本集，基于MobileNetV2和遷移學習對這3種小麥病害圖像識別進行建模。通過設(shè)置24組模型訓練，篩選識別準確率高、泛化能力強的模型。根據(jù)試驗結(jié)果，得到如下結(jié)論：

1)基于MobileNetV2和遷移學習建立的小麥葉部病害圖像識別模型的平均識別準確率高達99.96%，取得了非常好的識別效果。

2)利用ImageNet數(shù)據(jù)集上訓練好的MobileNetV2模型進行遷移學習時，由于MobileNetV2是輕量化模型，參數(shù)量級不大，且ImageNet數(shù)據(jù)集和小麥葉部病害圖像樣本集差異大，采用直接訓練模型所有參數(shù)的遷移學習方式明顯優(yōu)于僅訓練模型分類器參數(shù)的方式。在實際圖像分類任務(wù)中，當采用的模型本身參數(shù)量級不太大，且與預訓練數(shù)據(jù)集差異較大時，可嘗試采用直接對全部模型參數(shù)進行訓練的遷移學習方式。

3)采集到的圖像樣本進行預處理及數(shù)據(jù)增強時，應(yīng)考慮到田間拍攝尺度和拍攝角度的差異，通過適宜的方式增加樣本量，可提升模型性能。每種病害樣本量達到1 000幅的情況下，就能較好地實現(xiàn)小麥葉部病害識別建模。經(jīng)遷移學習，模型已在預訓練數(shù)據(jù)集上收斂，應(yīng)采用較小的初始學習率進行訓練，以防止模型跨過最優(yōu)解，在最優(yōu)解兩端震蕩。分類器中GAP前采用Dropout技術(shù)在一定的初始學習率、樣本量下有可能小幅提升模型性能，但作用不如全連接層中采用Dropout技術(shù)明顯，解決實際分類問題時可具體問題具體分析。

本研究建立的模型僅在3種小麥葉部病害圖像識別任務(wù)中獲得了很好的效果，而實際上小麥病害種類繁多，多種病害引起的危害癥狀可能類似，比如赤霉病、全蝕病、根腐病等都會引起小麥干穗死穗現(xiàn)象，這是小麥病害圖像識別丞待解決的問題，可能需采集多部位特征綜合識別。下一步對模型進行推廣應(yīng)用時，還需增加更多的病害種類，增加同種病害不同癥狀的樣本以及多種病害混合發(fā)生的樣本，并研究同癥異病及混合病害識別方法，以提升模型的應(yīng)用價值。