基于圖像識別的蘋果葉片病害識別模型對比研究

郝 菁，賈宗維

（山西農(nóng)業(yè)大學(xué)信息科學(xué)與工程學(xué)院，山西晉中 030801）

0 引言

蘋果在中國北方廣泛種植[1]。隨著農(nóng)業(yè)現(xiàn)代化發(fā)展，蘋果的種植模式越來越趨向于專業(yè)化、集群化[2]。在蘋果樹生長過程中，各種病害頻繁發(fā)生，使產(chǎn)量降低、質(zhì)量下降，甚至造成巨大的經(jīng)濟損失。及時有效地檢測蘋果葉病病害種類，采取相應(yīng)措施，控制疾病蔓延，對蘋果產(chǎn)業(yè)的健康發(fā)展至關(guān)重要。深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)在圖像處理方面有出色的表現(xiàn)[3]，目前已經(jīng)在圖像分類、目標(biāo)檢測等領(lǐng)域受到極大關(guān)注，為植物葉片病害診斷提供了一種新的方法和手段。

近年來，為解決人工檢測植物感染病害耗時耗力的問題，通常利用機器學(xué)習(xí)的方法對葉片感染病害種類進行快速識別，其中卷積神經(jīng)網(wǎng)絡(luò)以其強大的特征學(xué)習(xí)能力，被廣泛應(yīng)用于植物葉片病害識別研究中[4]。一些西方發(fā)達國家在農(nóng)業(yè)現(xiàn)代化方面的發(fā)展和應(yīng)用已較為成熟，利用深度學(xué)習(xí)對植物葉片病害檢測開展了一系列研究，并取得了大量成果[5]。2015年Kawasaki等[6]研究了基于CNN的黃瓜葉病識別，對黃瓜2個典型的疾病類別和1個非疾病類別進行分類，平均準確率為94.9%。2016年Srdjan等[7]首次提出植物病害識別方法，利用深度CNN對十幾種植物病害進行識別，模型的準確率在91%～98%之間。Mohanty等[8]通過研究多種作物的病害類別，采用卷積神經(jīng)網(wǎng)絡(luò)模型算法進行訓(xùn)練，識別率較高，可達99.35%。Ferentinos等[9]在2018年開發(fā)用CNN模型從一個有87848張圖像、58個病害類、25種植物的公共數(shù)據(jù)集中識別植物疾病，準確率最高可達99.53%。在國內(nèi)，Long等[10]將AlexNet預(yù)訓(xùn)練模型遷移到幾種油茶病害識別任務(wù)中，通過試驗對比分析，該方法在病害識別中效果顯著。2017年孫俊等[11]針對植物病蟲害識別提出了新的方法，主要對多種經(jīng)典的CNN模型進行改進，其中識別效果最佳的模型平均正確率可達99.56%。陶震宇[12]使用改進后的Resnet50模型對花生主要害蟲圖像進行訓(xùn)練，實現(xiàn)了一般情況下花生蟲害的有效識別。闞江明[13]對植物葉片圖像預(yù)處理后進行識別，可達到70.83%的平均正確率。

基于深度學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)技術(shù)的理論和實踐研究已經(jīng)頗具成果，由于大多數(shù)斑點病的病斑塊都較小，以及環(huán)境因素如陰影、光照和拍攝角度也會干擾檢測[14]，因此，精確識別植物疾病種類仍然有一定困難。為了克服這些挑戰(zhàn)，筆者以蘋果灰斑病、蘋果赤霉病、蘋果雪松銹病3種常見的蘋果葉病為研究對象，對數(shù)據(jù)集進行有效的數(shù)據(jù)預(yù)處理，針對數(shù)據(jù)需求對模型進行微調(diào)，進而提高模型識別的準確率，以期建立具有高效識別效果的模型，為病害自動檢測奠定基礎(chǔ)。

1 材料與方法

1.1 蘋果葉片病害圖像獲取和數(shù)據(jù)集劃分

傳統(tǒng)的病害識別方法主要通過人工經(jīng)驗判別，由于現(xiàn)實條件不足，傳統(tǒng)方法受到很大的制約。染病蘋果葉片在顏色、紋理和形狀等方面有明顯特征，如病斑、卷曲、腐爛、變色等[15]，具有復(fù)雜性和多樣性的特點。葉片患病部位的外部形態(tài)特征可以作為判別蘋果葉片患病情況、病害種類的主要依據(jù)[16]。筆者采集了4443張實驗室單一背景的蘋果葉片病害圖像來滿足模型訓(xùn)練的需要，如圖1所示，數(shù)據(jù)集來源為網(wǎng)絡(luò)開源數(shù)據(jù)。試驗于2019年12月—2021年6月在山西農(nóng)業(yè)大學(xué)信息科學(xué)與工程學(xué)院實驗室進行。

圖1 蘋果葉病種類圖像集合

數(shù)據(jù)處理包括對采集的蘋果病害葉片進行分類和數(shù)據(jù)擴充，保證數(shù)據(jù)樣本集數(shù)量均等，經(jīng)過數(shù)據(jù)處理的輸入數(shù)據(jù)集劃分及數(shù)量如表1所示。

表1 數(shù)據(jù)集劃分

1.2 方法

1.2.1 圖像增強 采用2種數(shù)據(jù)增強手段對數(shù)據(jù)進行預(yù)處理[17]。首先采用離線增強對植物葉病圖像進行數(shù)據(jù)增強和處理，模擬實際拍攝角度和環(huán)境，調(diào)整個別葉片的亮度、對比度，使其更接近自然光環(huán)境下的拍攝效果。其次，為提高卷積神經(jīng)網(wǎng)絡(luò)的收斂速度和模型的訓(xùn)練精度，采用在線增強內(nèi)置代碼塊的形式對輸入圖像進行預(yù)處理，模型使用了tf.data模塊進數(shù)據(jù)預(yù)處理，將圖像數(shù)據(jù)轉(zhuǎn)化成tensorflow可讀的數(shù)據(jù)結(jié)構(gòu)，封裝多線程使得訓(xùn)練加速。模型對每一訓(xùn)練批次的數(shù)據(jù)加載之后，將輸入圖像尺寸標(biāo)準化處理為128×128，對該批次的數(shù)據(jù)進行增強，包括旋轉(zhuǎn)、翻轉(zhuǎn)、亮度、對比度調(diào)整等操作[18]，所得到的葉片圖像如圖2所示。

圖2 數(shù)據(jù)集擴充示例圖

1.2.2 卷積神經(jīng)網(wǎng)絡(luò) 卷積神經(jīng)網(wǎng)絡(luò)由多層網(wǎng)絡(luò)組成，每層都可以視為由獨立神經(jīng)元構(gòu)成的平面組成[19]。主要層次包括輸入層、卷積層、池化層、全連接層和分類層。待檢測的原始葉片圖像經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)模型的上述層次，對葉片病害部位特征進行提取和分析，根據(jù)特征對葉片是否感染病害進行識別與檢測[20]。卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)如圖3所示。

圖3 卷積神經(jīng)網(wǎng)絡(luò)的工作基礎(chǔ)結(jié)構(gòu)圖

1.2.3 基于遷移學(xué)習(xí)的蘋果葉病識別模型應(yīng)用 針對蘋果葉片部位常見病害識別的需求，將預(yù)處理后的數(shù)據(jù)圖像輸入到模型中進行訓(xùn)練。經(jīng)過卷積運算提取待檢測圖像特征信息[21]，隨著層次加深提取到的特征會由粗略到細致、由低級到高級；每組卷積之后為一個池化層，池化層會對卷積層獲取的特征圖做降低維度處理，壓縮參數(shù)和空間大小，降低計算復(fù)雜度和過擬合風(fēng)險；全連接層接收前面層次處理的特征信息，輸入分類器將每個類別所對應(yīng)的數(shù)值歸一化，輸出分類的概率值以及候選區(qū)域的位置[22]。利用梯度下降等算法對神經(jīng)網(wǎng)絡(luò)進行有監(jiān)督的學(xué)習(xí)訓(xùn)練，從而求得損失函數(shù)作為代價函數(shù)最小時所對應(yīng)網(wǎng)絡(luò)的參數(shù)，最后由輸出層將結(jié)果展示。本研究通過遷移學(xué)習(xí)的方式構(gòu)建識別模型，由于預(yù)訓(xùn)練模型是在大體量數(shù)據(jù)集訓(xùn)練出的，已經(jīng)具備較好的性能，相比較于ImageNet、CIFAR-100等大體量數(shù)據(jù)集，本研究構(gòu)建的蘋果葉病數(shù)據(jù)集的數(shù)據(jù)體量較小，且預(yù)訓(xùn)練模型的網(wǎng)絡(luò)非常復(fù)雜，模型參數(shù)量較大，容易耗費更多的計算資源。因此，采用固定網(wǎng)絡(luò)前面的部分層次，降低參與訓(xùn)練的參數(shù)量的方法，針對本研究的任務(wù)對模型進行微調(diào)，在模型特定層次做有針對性的操作，對圖像特征進行強化。改進之后的模型在時間、精度等優(yōu)于原始模型，訓(xùn)練精度呈現(xiàn)一個好的變化[23]。筆者將預(yù)訓(xùn)練模型具有的權(quán)重作為初始權(quán)重，由于預(yù)訓(xùn)練模型的最后一層與本文研究的蘋果葉片病害分類及分類數(shù)量不同，為了更好適應(yīng)本研究訓(xùn)練樣本，加載預(yù)訓(xùn)練模型時不包含頂層，關(guān)鍵代碼如圖4。

圖4 加載預(yù)訓(xùn)練模型關(guān)鍵代碼

重新定義模型輸出層，將部分不需要參與反向更新的網(wǎng)絡(luò)層次關(guān)閉。為了更好適應(yīng)，釋放模型后2層網(wǎng)絡(luò)權(quán)重為可以訓(xùn)練，關(guān)鍵代碼如圖5。

圖5 輸出層關(guān)鍵代碼

1.3 實驗參數(shù)說明

選用Tensorflow 2.0作為主要的深度學(xué)習(xí)框架，CPU 為 NVIDIA-SMI 44064.00，CUDA 版本 10.2，Ubuntu 18.04操作系統(tǒng)，Jupyter Notebook開發(fā)平臺。

試驗采用批量訓(xùn)練的方式，從優(yōu)化模型參數(shù)、提高模型的學(xué)習(xí)效率等方面調(diào)整模型參數(shù)，試驗超參數(shù)設(shè)置如表2所示。

表2 試驗超參數(shù)設(shè)置

2 結(jié)果與分析

2.1 特征可視化

深度卷積神經(jīng)網(wǎng)絡(luò)在特征提取方面具有非常大的優(yōu)勢。卷積層由多個卷積核構(gòu)成，卷積核進行卷積運算提取待檢測圖像特征信息。輸入層將待檢測圖像輸入到卷積層，多個卷積層逐層分析，淺層提取紋理和細節(jié)特征，包含更多的關(guān)鍵特征，較深層次的網(wǎng)絡(luò)提取圖像的輪廓、形狀等特征。隨著卷積層次的加深，圖像分辨率隨之降低[24]。圖像特征可視化可以更清晰表示模型的學(xué)習(xí)過程，快速分析蘋果葉片病害數(shù)據(jù)，有效地對蘋果葉片圖像的病害特征進行提取，根據(jù)特征對葉片是否感染病害進行識別與檢測[25]。圖6為不同卷積層次的特征提取可視化結(jié)果。

圖6 原始病葉和特征可視化

2.2 試驗結(jié)果分析

2.2.1 模型的穩(wěn)定性 為了觀察訓(xùn)練過程中損失函數(shù)和準確率的變化情況，模型會在訓(xùn)練完成后自動保存日志，引入matplotlib庫繪制損失函數(shù)及準確率變化曲線圖。本研究選用Resnet50、Vgg16、Vgg19和Inception v3、Mobilenet v2等5種主流網(wǎng)絡(luò)模型進行遷移學(xué)習(xí)和訓(xùn)練，所得的準確率和損失值如圖7所示。所有模型在20輪迭代后準確率上升趨勢明顯，損失值明顯下降。當(dāng)?shù)螖?shù)達到40輪后收斂趨于平穩(wěn)，準確率緩慢提升，整個變化趨勢趨于穩(wěn)定。對比5種模型，在相同的迭代次數(shù)下，Resnet50模型準確率提升較快，平均準確率明顯高于其他測試模型。測試結(jié)果表明，Resnet50模型在訓(xùn)練集和驗證集上均具有較高準確率，網(wǎng)絡(luò)的收斂速度較快，在識別精度和識別速度上均具有明顯優(yōu)勢，能夠有效判斷蘋果葉病類別。

圖7 繪圖結(jié)果

2.2.2 準確率 表3給出了3種蘋果葉病在5種模型中的準確率對比指標(biāo)，結(jié)果表明Resnet50在蘋果葉病識別方面可以獲得較高的訓(xùn)練準確率和驗證準確率，網(wǎng)絡(luò)的收斂速度較快，準確率達到0.9770（理想值為1）。對比其他4種模型能夠獲得更高的準確率。

表3 不同模型訓(xùn)練參數(shù)及準確率對比

3 結(jié)論

本研究針對蘋果葉病的識別，采用圖像預(yù)處理相關(guān)方法優(yōu)化葉片圖像數(shù)據(jù)集，闡述遷移模型的構(gòu)建及調(diào)整過程，卷積特征處理進行可視化展現(xiàn)，對5種模型訓(xùn)練結(jié)果進行對比和評估，比較得出最適合本研究蘋果葉片病害數(shù)據(jù)集的模型。充分證明了深度卷積神經(jīng)網(wǎng)絡(luò)在植物葉片病害分類中有很好的實用性和應(yīng)用前景，Resnet50模型識別率可達到0.9770，表明該模型對蘋果葉病識別率較好。

4 討論

（1）基于深度學(xué)習(xí)的圖像識別對于植物病害的檢測具有很大的發(fā)展?jié)摿?。?yīng)用遷移學(xué)習(xí)的方法調(diào)整預(yù)訓(xùn)練模型參數(shù)，可以快速提高模型性能，獲得更高的識別精度。

（2）為提高模型訓(xùn)練準確率，應(yīng)對更為復(fù)雜的作物生長環(huán)境，在實際生產(chǎn)環(huán)境下捕獲的圖像對于訓(xùn)練模型很重要，尤其是來自不同光照條件、復(fù)雜背景等自然栽培環(huán)境的數(shù)據(jù)，今后針對背景復(fù)雜且種類較多的蘋果葉病，需研究更好的蘋果葉病圖像處理以及模型改進的方法，以進一步提高模型性能。