基于二次遷移模型的小樣本茶樹病害識(shí)別

謝軍 江朝暉 李博

摘要：為提高小樣本茶樹病害識(shí)別的準(zhǔn)確率，提出一種基于2次遷移模型的卷積神經(jīng)網(wǎng)絡(luò)茶樹病害圖像識(shí)別方法。首先將ResNet模型在ImageNet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，然后將預(yù)訓(xùn)練模型對(duì)植物病害數(shù)據(jù)集進(jìn)行參數(shù)遷移訓(xùn)練，最后將遷移學(xué)習(xí)訓(xùn)練后的模型對(duì)擴(kuò)充后的小樣本茶樹病害數(shù)據(jù)集進(jìn)行2次參數(shù)遷移訓(xùn)練。結(jié)果表明，擴(kuò)充后的數(shù)據(jù)集識(shí)別準(zhǔn)確率較原數(shù)據(jù)集提高2.32%，再進(jìn)行2次遷移學(xué)習(xí)后識(shí)別準(zhǔn)確率又提高6.38%。通過調(diào)整訓(xùn)練超參數(shù)，對(duì)茶紅銹藻病、炭疽病、茶網(wǎng)餅病、圓赤星病、藻斑病等5種茶樹病害圖像的識(shí)別準(zhǔn)確率高達(dá)96.64%。在對(duì)5種茶樹病害進(jìn)行驗(yàn)證時(shí)，驗(yàn)證樣本識(shí)別率與常規(guī)深度學(xué)習(xí)相比由93%提高至98%。2次遷移學(xué)習(xí)能夠有效提高在小樣本茶樹病害識(shí)別下模型的識(shí)別能力，對(duì)實(shí)用化茶樹病害識(shí)別具有重要的參考意義。

關(guān)鍵詞：茶樹病害;圖像識(shí)別;小樣本;二次遷移模型;殘差網(wǎng)絡(luò)

茶葉具有重要的食用和經(jīng)濟(jì)價(jià)值，但茶樹病害嚴(yán)重影響其品質(zhì)和產(chǎn)量[1-2]。以葉部病害為例，常見的茶樹病害有茶紅銹藻病、炭疽病、茶網(wǎng)餅病等幾十種，及時(shí)準(zhǔn)確地識(shí)別茶樹病害能夠幫助管理人員采取相應(yīng)的措施減少病害對(duì)茶樹生長(zhǎng)造成的影響。目前茶樹病害的識(shí)別主要依賴農(nóng)間管理者長(zhǎng)期的經(jīng)驗(yàn)認(rèn)知，因此研究快速有效識(shí)別茶樹病害方法具有重要的研究意義。隨著人工智能技術(shù)的普及，圖像識(shí)別技術(shù)能幫助農(nóng)間管理者對(duì)茶樹病害進(jìn)行在線檢測(cè)[3-5]。方晨晨等通過改進(jìn)深度殘差網(wǎng)絡(luò)對(duì)番茄病害圖像進(jìn)行識(shí)別[6];王秀清等提出一種基于自適應(yīng)布谷鳥與反向傳播協(xié)同搜索的病害識(shí)別算法以提高番茄病害識(shí)別準(zhǔn)確率[7];賈少鵬等提出卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，簡(jiǎn)稱CNN）與膠囊網(wǎng)絡(luò)的組合模型對(duì)農(nóng)作物病蟲害進(jìn)行訓(xùn)練識(shí)別[8]。在上述研究中，均通過更改神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)提高病害識(shí)別的準(zhǔn)確度，但在實(shí)際運(yùn)用中，往往存在樣本采集少、圖像質(zhì)量低等問題。當(dāng)樣本數(shù)據(jù)較少時(shí)，很難通過改進(jìn)算法來提高識(shí)別準(zhǔn)確率。因此，孫云云等通過對(duì)病害圖像進(jìn)行一系列預(yù)處理，提高了識(shí)別效果[9]。任勝男等采用one-shot學(xué)習(xí)方式對(duì)小樣本植物病害進(jìn)行識(shí)別[10]。上述研究工作，在一定程度上可以解決訓(xùn)練樣本較少的問題，但由于樣本數(shù)量較少，訓(xùn)練過程不透明，容易導(dǎo)致過擬合。為實(shí)現(xiàn)小樣本病害識(shí)別，同時(shí)避免過擬合問題，蘇婷婷等利用卷積神經(jīng)網(wǎng)絡(luò)并結(jié)合遷移學(xué)習(xí)提高了花生葉部病害的準(zhǔn)確率[11];許景輝等分別在VGG-16和Inceptive-v3模型下對(duì)ImageNet數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)，增加了病害的識(shí)別準(zhǔn)確率[12-13]。上述研究采用遷移學(xué)習(xí)方式對(duì)小樣本數(shù)據(jù)集進(jìn)行識(shí)別，雖然在一定程度上能防止過擬合情況發(fā)生，在源域與目標(biāo)域相似性上存在一定差距，但遷移學(xué)習(xí)訓(xùn)練方式還需提高。本研究首先對(duì)ImageNet數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，然后更改預(yù)訓(xùn)練模型的全連接層對(duì)植物病害數(shù)據(jù)集進(jìn)行參數(shù)遷移學(xué)習(xí)訓(xùn)練，接著更改第1次遷移學(xué)習(xí)訓(xùn)練后模型的全連接層對(duì)處理后的茶樹病害數(shù)據(jù)集進(jìn)行第2次參數(shù)遷移學(xué)習(xí)。在利用植物病害公共數(shù)據(jù)集與茶樹病害數(shù)據(jù)集特征相似對(duì)茶葉病害進(jìn)行卷積計(jì)算的基礎(chǔ)上使用2次遷移學(xué)習(xí)訓(xùn)練對(duì)茶樹病害進(jìn)行識(shí)別，達(dá)到小樣本情況下提高病害識(shí)別率的目的。1 材料與方法

1.1 試驗(yàn)材料

圖像數(shù)據(jù)由ImageNet數(shù)據(jù)集、植物病害數(shù)據(jù)集、茶樹病害數(shù)據(jù)集3個(gè)部分組成。ImageNet數(shù)據(jù)集是包含14 197 122幅圖像的大型公共數(shù)據(jù)集。植物病害數(shù)據(jù)集由Plant-Village公共數(shù)據(jù)集、中國(guó)科學(xué)院合肥智能機(jī)械研究所智能認(rèn)知研究組構(gòu)建的農(nóng)業(yè)病害研究圖庫(kù)IDADP以及中國(guó)科學(xué)院合肥智能機(jī)械研究所提供的黃瓜水稻數(shù)據(jù)集3個(gè)部分組成，共計(jì)39類農(nóng)作物病害，95 239張圖片。茶樹病害圖像數(shù)據(jù)由安徽省農(nóng)業(yè)科學(xué)院農(nóng)業(yè)經(jīng)濟(jì)與信息研究所采集。通過單反相機(jī)采集以葉片、天空為背景的田間茶樹病害圖像，同時(shí)通過圖像處理軟件對(duì)圖像進(jìn)行預(yù)處理。經(jīng)專業(yè)技術(shù)人員確認(rèn)，篩選茶樹病害葉片樣本圖片共計(jì)1 024張。

卷積神經(jīng)網(wǎng)絡(luò)雖然在圖像識(shí)別上具有較好的能力，但使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)復(fù)雜背景下的茶葉病害識(shí)別需要進(jìn)行大量計(jì)算，這樣不僅增大卷積計(jì)算時(shí)間而且易出現(xiàn)欠擬合問題，導(dǎo)致識(shí)別準(zhǔn)確率降低[9]。因此，針對(duì)此類問題，需要對(duì)小樣本數(shù)據(jù)集進(jìn)行處理。本研究先將原茶樹病害數(shù)據(jù)集進(jìn)行裁剪，然后對(duì)裁剪后的圖片采用幾何變換、隨機(jī)亮度變化、隨機(jī)對(duì)比度變化、高斯模糊等處理方式，將訓(xùn)練圖像擴(kuò)充至15 774張，并利用歸一化方式將擴(kuò)充的數(shù)據(jù)集圖像屬性調(diào)整為256像素*256像素。由于epoch訓(xùn)練輪次較多，因此按照8 ∶ 1 ∶ 1[隨機(jī)挑選訓(xùn)練集（train） ∶ 訓(xùn)練過程中的測(cè)試集（val） ∶ 訓(xùn)練模型結(jié)束后用于評(píng)價(jià)模型結(jié)果的測(cè)試集（test）]比例進(jìn)行訓(xùn)練，保證測(cè)試的準(zhǔn)確度和可信度。分布情況如表1所示，圖像樣例如圖1所示。

1.2 試驗(yàn)方法

基于ResNet網(wǎng)絡(luò)模型，采用二次遷移學(xué)習(xí)的訓(xùn)練方式并結(jié)合Adam優(yōu)化算法對(duì)小樣本茶樹進(jìn)行病害識(shí)別。圖2為基于二次遷移模型的小樣本茶樹病害分類模型訓(xùn)練過程。

1.2.1 卷積神經(jīng)網(wǎng)絡(luò)模型 卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)，由1個(gè)或多個(gè)卷積層和頂端的全連通層組成，同時(shí)包括關(guān)聯(lián)權(quán)重和池化層等[14-17]。與其他深度學(xué)習(xí)結(jié)構(gòu)相比，卷積神經(jīng)網(wǎng)絡(luò)在圖像和語(yǔ)音識(shí)別方面能夠取得較好的結(jié)果[17]。

ResNet采用殘差網(wǎng)絡(luò)結(jié)構(gòu)，而不是簡(jiǎn)單地堆積層數(shù)。此種網(wǎng)絡(luò)結(jié)構(gòu)為卷積神經(jīng)網(wǎng)絡(luò)提供了新思路[18-20]。殘差網(wǎng)絡(luò)的核心思想為輸出2個(gè)連續(xù)的卷積層，并且輸入時(shí)繞到下一層。假設(shè)X為輸入圖像，殘差函數(shù)為F（x），則F（x）+x為卷積后的輸出。采用殘差函數(shù)F（x），將優(yōu)化目標(biāo)逼近于零。加深的殘差網(wǎng)絡(luò)比普通疊加的網(wǎng)絡(luò)模型更容易優(yōu)化且不會(huì)隨著網(wǎng)絡(luò)深度的增加訓(xùn)練錯(cuò)誤增多。通過引入增加恒等映射的殘差映射，在輸出和輸入之間增加一個(gè)快捷方式連接（Shortcut Connection），可以更容易避免訓(xùn)練時(shí)梯度消失的退化問題。

使用ResNet網(wǎng)絡(luò)模型為代表的ResNet18模型。此種模型能基本滿足多數(shù)試驗(yàn)環(huán)境并具有較好的結(jié)果。ResNet18網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

1.2.2 遷移學(xué)習(xí) 遷移學(xué)習(xí)是將訓(xùn)練數(shù)據(jù)集在已經(jīng)訓(xùn)練好的預(yù)訓(xùn)練模型上更改相關(guān)層后完成訓(xùn)練。植物病害數(shù)據(jù)集與茶樹病害數(shù)據(jù)集存在一定的相似性，且茶樹病害訓(xùn)練集樣本數(shù)量較小，訓(xùn)練能力不足，引入遷移學(xué)習(xí)可以較好地解決樣本數(shù)量小造成的識(shí)別準(zhǔn)確率低問題。

使用二次遷移學(xué)習(xí)方法對(duì)小樣本茶樹病害進(jìn)行識(shí)別。首先將茶樹病害數(shù)據(jù)集相似的植物病害數(shù)據(jù)集在ImageNet預(yù)訓(xùn)練模型上進(jìn)行第1次遷移學(xué)習(xí)。此次遷移學(xué)習(xí)將新設(shè)計(jì)的全連接層與原刪除全連接層的ResNet網(wǎng)絡(luò)連接，ImageNet數(shù)據(jù)集作為源域，植物病害數(shù)據(jù)集作為目標(biāo)域。通過此種方式能依據(jù)植物病害特征更新訓(xùn)練過程的權(quán)重參數(shù)，提升預(yù)訓(xùn)練模型的泛化能力。然后將遷移學(xué)習(xí)訓(xùn)練好的植物病害模型對(duì)小樣本茶樹病害數(shù)據(jù)集進(jìn)行二次遷移學(xué)習(xí)訓(xùn)練。此次遷移學(xué)習(xí)將更改后的植物病害模型的全連接層與茶樹病害數(shù)據(jù)集進(jìn)行匹配，植物病害數(shù)據(jù)集作為源域，茶樹病害數(shù)據(jù)集作為目標(biāo)域。通過此種方法能解決訓(xùn)練樣本數(shù)量不足的問題，大大提升模型的識(shí)別準(zhǔn)確率。

本次遷移學(xué)習(xí)采用基于參數(shù)的方式，源域和目標(biāo)域共享模型，目標(biāo)域通過預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練，在訓(xùn)練過程中利用預(yù)訓(xùn)練模型中權(quán)重及參數(shù)可微調(diào)網(wǎng)絡(luò)參數(shù)較快實(shí)現(xiàn)模型收斂。

1.2.3 識(shí)別模型中的優(yōu)化算法 Adam是一種一階優(yōu)化算法，可以替代傳統(tǒng)的隨機(jī)梯度下降（stochastic gradient descent，簡(jiǎn)稱SGD）算法，能自動(dòng)迭代更新神經(jīng)網(wǎng)絡(luò)權(quán)重，加快模型收斂速度[21-22]。與傳統(tǒng)的隨機(jī)梯度下降優(yōu)化算法不同，Adam算法通過計(jì)算梯度的一階矩估計(jì)和二階矩估計(jì)為不同的參數(shù)設(shè)計(jì)獨(dú)立的自適應(yīng)性學(xué)習(xí)率[23]。本算法集適應(yīng)性梯度算法（AdaGrad）和均方根傳播（RMSProp）算法優(yōu)點(diǎn)于一身，能充分利用梯度的二階矩均值計(jì)算適應(yīng)性參數(shù)。Adam算法使用動(dòng)量變量和小隨機(jī)梯度按元素平方的指數(shù)加權(quán)移動(dòng)平均變量，并在時(shí)間步長(zhǎng)中將它們中的每個(gè)元素初始化[24]。 下列公式中（1）為動(dòng)量變量計(jì)算公式，（2）為移動(dòng)平均變量計(jì)算公式。

式中：β1、β2為超參數(shù)值，取值范圍均為[0，1];vt為時(shí)間步t的動(dòng)量變量;gt為小批量隨機(jī)梯度;st表示小批量隨機(jī)梯度按元素平方的指數(shù)加權(quán)移動(dòng)平均變量。為消除t較小時(shí)，過去各時(shí)間步小批量隨機(jī)梯度權(quán)值之和較小的問題，引入偏差修正，對(duì)于任意時(shí)間步t，將vt除以（1-β），從而使過去各時(shí)間步小批量隨機(jī)梯度權(quán)值之和為d1，Adam算法使用以上偏差修正后的變量為v^t和s^t，將模型參數(shù)中每個(gè)元素的學(xué)習(xí)率通過元素運(yùn)算重新調(diào)整：

2 結(jié)果與分析

2.1 試驗(yàn)環(huán)境

訓(xùn)練環(huán)境在Windows 10專業(yè)版操作系統(tǒng)下，基于Intel（R） Xeon（R）CPU E3-1230 v3@ 3.30 GHz（12 GB運(yùn)行內(nèi)存）和 NVIDIA GeForce GTX 1080 Ti GPU的硬件設(shè)備上搭建Pytorch深度學(xué)習(xí)框架，使用Matlab對(duì)圖像進(jìn)行裁剪、幾何變換、隨機(jī)亮度變化等操作，利用Python編程語(yǔ)言實(shí)現(xiàn)茶樹病害識(shí)別的訓(xùn)練與測(cè)試。批次大小（Batch-size）即每批次訓(xùn)練與測(cè)試的圖片數(shù)根據(jù)模型與硬件設(shè)備不同設(shè)置為32、64、128、160、256、320。學(xué)習(xí)算法在整個(gè)訓(xùn)練數(shù)據(jù)集中工作次數(shù)（epoch）根據(jù)Batch-size大小設(shè)置為40、80，學(xué)習(xí)率（Lr）設(shè)置為0.001、0.01、0000 1。

2.2 試驗(yàn)設(shè)計(jì)

為探究茶樹病害如何獲得較好的識(shí)別效果，以ResNet18為參照模型，進(jìn)行3組不同維度的比較。第1組對(duì)原數(shù)據(jù)集和更改數(shù)據(jù)集進(jìn)行比較，測(cè)試擴(kuò)充數(shù)據(jù)集對(duì)茶樹病害識(shí)別的影響。第2組對(duì)未遷移、1次遷移、2次遷移等3種模式進(jìn)行比較，獲得ResNet18模型的最佳遷移方式。第3組擬在不同超參數(shù)ResNet18模型下訓(xùn)練并進(jìn)行比較，獲得適合的超參數(shù)訓(xùn)練環(huán)境，采用3組試驗(yàn)進(jìn)行茶樹病害識(shí)別，探究提高小樣本茶樹識(shí)別準(zhǔn)確率的方法。

2.3 試驗(yàn)結(jié)果與分析

2.3.1 圖像數(shù)據(jù)對(duì)模型的影響 本組試驗(yàn)將原數(shù)據(jù)集與擴(kuò)充數(shù)據(jù)集進(jìn)行比較，采用ResNet18模型對(duì)茶樹小樣本數(shù)據(jù)進(jìn)行直接訓(xùn)練，設(shè)置Batch-size為32，學(xué)習(xí)率為0.001，得到如圖4所示的Acc曲線（Model1為ResNet18對(duì)原數(shù)據(jù)集進(jìn)行訓(xùn)練，Model2為ResNet18對(duì)擴(kuò)充數(shù)據(jù)集進(jìn)行訓(xùn)練）。由訓(xùn)練可知原數(shù)據(jù)集測(cè)試準(zhǔn)確率為86.40%，擴(kuò)充數(shù)據(jù)集測(cè)試準(zhǔn)確率為88.72%，Model2的識(shí)別率明顯高于Model1，提升了2.32百分點(diǎn)。通過訓(xùn)練可知，Model2的準(zhǔn)確率增長(zhǎng)速度比Model1快且總體識(shí)別率高。由于茶樹數(shù)據(jù)集樣本小且未采取遷移學(xué)習(xí)的訓(xùn)練方式，因此本次測(cè)試準(zhǔn)確率較低。結(jié)果表明，將數(shù)據(jù)集進(jìn)行裁剪，提取部分病害圖斑并作處理能有效提高識(shí)別率。

2.3.2 基于ResNet18的遷移學(xué)習(xí)訓(xùn)練結(jié)果及分析 根據(jù)上述2組模型的訓(xùn)練結(jié)果，本組采用4種模式對(duì)茶樹小樣本進(jìn)行訓(xùn)練。Model3使用植物病害數(shù)據(jù)集進(jìn)行第1次遷移學(xué)習(xí)，遷移方式為更改全連接層并對(duì)最后一層進(jìn)行訓(xùn)練。Model4使用植物病害數(shù)據(jù)集進(jìn)行第1次遷移學(xué)習(xí)，遷移方式為更改全連接層并對(duì)全部層進(jìn)行重新訓(xùn)練。Model5使用ImageNet數(shù)據(jù)集預(yù)訓(xùn)練模型對(duì)植物病害數(shù)據(jù)集進(jìn)行第1次遷移訓(xùn)練，然后在小樣本茶樹病害數(shù)據(jù)集上進(jìn)行第2次遷移訓(xùn)練，遷移方式為更改全連接層并對(duì)最后一層進(jìn)行訓(xùn)練。Model6使用ImageNet數(shù)據(jù)集預(yù)訓(xùn)練模型對(duì)植物病害數(shù)據(jù)集進(jìn)行第1次遷移訓(xùn)練，然后在小樣本茶樹病害數(shù)據(jù)集上進(jìn)行第2次遷移訓(xùn)練，遷移方式為更改全連接層并對(duì)全部層進(jìn)行重新訓(xùn)練。4種模型訓(xùn)練的精度（Accuracy）曲線如圖5所示。本組訓(xùn)練設(shè)置Batch-size為32，學(xué)習(xí)率為0.001，茶樹病害識(shí)別準(zhǔn)確率如表2所示。

Model3、Model4與Model5、Model6進(jìn)行比較可得出，進(jìn)行ImageNet預(yù)訓(xùn)練模型遷移和植物病害數(shù)據(jù)集預(yù)訓(xùn)練2次遷移比1次遷移識(shí)別準(zhǔn)確率提高約4%。相比遷移學(xué)習(xí)方式，更改全連接層并對(duì)最后一層進(jìn)行訓(xùn)練比更改全連接層并訓(xùn)練全部層的方式識(shí)別準(zhǔn)確率更高。

2.3.3 基于遷移學(xué)習(xí)的超參數(shù)訓(xùn)練結(jié)果及分析 由上述試驗(yàn)可知，ResNet18模型下Model5的識(shí)別率最高。本次訓(xùn)練通過更改Model5的Batch-size和Lr的方式獲得適合的超參數(shù)訓(xùn)練環(huán)境。超參數(shù)訓(xùn)練結(jié)果如表3所示，不同超參數(shù)下Loss曲線如圖6所示。

由圖6可知，Batch-size越大，擬合速度越快，精確度越高，但當(dāng)Batch-size達(dá)到256以后，再增大批次大小，精確度將不再提高。在遷移學(xué)習(xí)中，學(xué)習(xí)率太大可能導(dǎo)致參數(shù)更新過快，不能較好地通過權(quán)重信息進(jìn)行訓(xùn)練。在Batch-size為160、256時(shí)，改變學(xué)習(xí)率0.001、0.01、0.000 1，結(jié)果表明Batch-size設(shè)置為256，學(xué)習(xí)率設(shè)置為0.001模式下，茶樹病害識(shí)別準(zhǔn)確率最高。

2.4 模型驗(yàn)證

由上述訓(xùn)練結(jié)果可知，Model5-5模型識(shí)別率最高。為驗(yàn)證方法的可行性，每類病害按照 10 ∶ 1（train ∶ test）比例從未訓(xùn)練數(shù)據(jù)集中隨機(jī)挑選100張圖片進(jìn)行模型驗(yàn)證。Model1中驗(yàn)證集識(shí)別準(zhǔn)確率為93%，Model5-5中驗(yàn)證集識(shí)別準(zhǔn)確率為98%。表4為Model1和Model5-5下的查準(zhǔn)率和查全率。

3 討論與結(jié)論

3.1 討論

3.1.1 模型訓(xùn)練方式的選擇 本研究在殘差網(wǎng)絡(luò)模型ResNet18的基礎(chǔ)上，調(diào)整了全連接層結(jié)構(gòu)。在第1次遷移學(xué)習(xí)時(shí)，首先用植物病害數(shù)據(jù)集的39種分類取代原ImageNet數(shù)據(jù)集的1 000種分類，對(duì)這39種不同植物不同病斑進(jìn)行特征訓(xùn)練。然后將植物病害數(shù)據(jù)集的39種分類更改為茶樹病害數(shù)據(jù)集5種分類，進(jìn)而對(duì)茶樹的茶紅銹藻病、炭疽病、茶網(wǎng)餅病、圓赤星病、藻斑病等5種病害進(jìn)行第2次遷移學(xué)習(xí)訓(xùn)練。利用植物病害公共數(shù)據(jù)集與茶樹病害數(shù)據(jù)集之間的特征相似性對(duì)茶葉病害進(jìn)行卷積計(jì)算，然后結(jié)合數(shù)據(jù)集擴(kuò)充和超參數(shù)更改操作對(duì)小樣本茶樹進(jìn)行訓(xùn)練。結(jié)果表明，本研究方法能有效提高擬合速度且在識(shí)別性能上相比未遷移和遷移1次的模型有較大提升。其中測(cè)試識(shí)別率提高9.24%，精確度達(dá)到96.64%;驗(yàn)證識(shí)別率提高5%，精確度達(dá)到98%。因此，本研究使用基于2次遷移的訓(xùn)練方法，對(duì)茶樹紅銹藻病、炭疽病、茶網(wǎng)餅病等病害識(shí)別行之有效。

3.1.2 超參數(shù)在病害訓(xùn)練中的影響 采用不同批次大小和學(xué)習(xí)率對(duì)茶樹病害進(jìn)行訓(xùn)練。結(jié)果表明，學(xué)習(xí)率設(shè)為0.01情況下，茶樹病害的測(cè)試準(zhǔn)確率最差。學(xué)習(xí)率為0.001情況下茶樹病害的測(cè)試準(zhǔn)確率最高。此外，訓(xùn)練批次大?。˙atch-size）也會(huì)影響測(cè)試準(zhǔn)確率，在一定范圍內(nèi)Batch-size越大收斂越快，測(cè)試準(zhǔn)確率越高。因此，在ResNet18模型下合適的超參數(shù)可以提高模型的訓(xùn)練精度。

3.2 結(jié)論

采用植保專家標(biāo)定的數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本，選用殘差網(wǎng)絡(luò)ResNet18為訓(xùn)練模型，在擴(kuò)充數(shù)據(jù)集及調(diào)整適應(yīng)超參數(shù)的基礎(chǔ)上運(yùn)用2次遷移學(xué)習(xí)方式進(jìn)行小樣本茶樹病害的深度學(xué)習(xí)訓(xùn)練。結(jié)果表明，對(duì)茶樹病害數(shù)據(jù)集進(jìn)行擴(kuò)充后識(shí)別準(zhǔn)確率優(yōu)于擴(kuò)充之前的識(shí)別準(zhǔn)確率，選用2次遷移學(xué)習(xí)訓(xùn)練方式的識(shí)別準(zhǔn)確率明顯優(yōu)于未遷移學(xué)習(xí)訓(xùn)練方式，合適的超參數(shù)也可提高識(shí)別準(zhǔn)確率。表明本研究建立的基于2次遷移學(xué)習(xí)的深度學(xué)習(xí)訓(xùn)練方式可較好地解決圖像識(shí)別中茶樹病害數(shù)據(jù)樣本不足的問題。雖然試驗(yàn)采用了殘差網(wǎng)格模型ResNet18，但從原理上看本結(jié)果也應(yīng)該適用其他網(wǎng)絡(luò)模型。

參考文獻(xiàn)：

[1]董照鋒，李 俊，趙 宇. 商洛茶樹病蟲種類調(diào)查及主要病蟲害發(fā)生分布[J]. 山西農(nóng)業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，38（12）：33-37.

[2]劉 威，袁 丁，郭桂義，等. 茶樹炭疽病病原鑒定[J]. 南方農(nóng)業(yè)學(xué)報(bào)，2017，48（3）：448-453.

[3]Zhang Q C，Yang L T，Chen Z K，et al. A survey on deep learning for big data[J]. Information Fusion，2018，42：146-157.

[4]Rangarajan A K，Purushothaman R，Ramesh A . Tomato crop disease classification using pre-trained deep learning algorithm[J]. Procedia Computer Science，2018，133：1040-1047.

[5]Sun Y，Jiang Z，Zhang L，et al. SLIC_SVM based leaf diseases saliency map extraction of tea plant[J]. Computers & Electronics in Agriculture，2019，157：102-109.

[6]方晨晨，石繁槐. 基于改進(jìn)深度殘差網(wǎng)絡(luò)的番茄病害圖像識(shí)別[J]. 計(jì)算機(jī)應(yīng)用，2020，40（增刊1）：203-208.

[7]王秀清，陳 琪，楊世鳳. 基于自適應(yīng)布谷鳥與反向傳播協(xié)同搜索的病害識(shí)別系統(tǒng)[J]. 天津科技大學(xué)學(xué)報(bào)，2020，35（2）：69-73.

[8]賈少鵬，高紅菊，杭 瀟. 基于深度學(xué)習(xí)的農(nóng)作物病蟲害圖像識(shí)別技術(shù)研究進(jìn)展[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50（增刊1）：313-317.

[9]孫云云，江朝暉，董 偉，等. 基于卷積神經(jīng)網(wǎng)絡(luò)和小樣本的茶樹病害圖像識(shí)別[J]. 江蘇農(nóng)業(yè)學(xué)報(bào)，2019，35（1）：48-55.

[10]任勝男，孫 鈺，張海燕，等. 基于one-shot學(xué)習(xí)的小樣本植物病害識(shí)別[J]. 江蘇農(nóng)業(yè)學(xué)報(bào)，2019，35（5）：1061-1067.

[11]蘇婷婷，牟少敏，董萌萍，等. 深度遷移學(xué)習(xí)在花生葉部病害圖像識(shí)別中的應(yīng)用[J]. 山東農(nóng)業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，50（5）：865-869.

[12]許景輝，邵明燁，王一琛，等. 基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)玉米病害圖像識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51（2）：230-236.

[13]王艷玲，張宏立，劉慶飛，等. 基于遷移學(xué)習(xí)的番茄葉片病害圖像分類[J]. 中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2019，24（6）：124-130.

[14]Wang K，Zhuo L，Li J F，et al. Learning an enhancement convolutional neural networkfor multi-degraded images[J]，Sensing and Imaging，2020，21（12）：5187-5198.

[15]陳 峰，谷俊濤，李玉磊，等. 基于機(jī)器視覺和卷積神經(jīng)網(wǎng)絡(luò)的東北寒地玉米害蟲識(shí)別方法[J]. 江蘇農(nóng)業(yè)科學(xué)，2020，48（18）：237-244.

[16]Li Y S，Hu J，Zhao X，et al. Hyperspectral image super-resolution using deep convolutional neural network[J]. Neurocomputing，2017，266（29）：29-41.

[17]王元東. 基于ResNet模型的圖像分類方法及應(yīng)用研究[D]. 南昌：華東交通大學(xué)，2019.

[18]Vidya K，Keerthana P，Shyamala Guruvare. Hybrid transfer learning for classification of uterine cervix images for cervical cancer screening[J]，Journal of Digital Imaging，2020，33（2）：619-631.

[19]Zhong M，LeBien J，Campos-Cerqueira M，et al. Multispecies bioacoustic classification using transfer learning of deep convolutional neural networks with pseudo-labeling[J]. Applied Acoustics，2020，166：107375.

[20]Lu Z Y，Bai Y Z，Chen Y，et al. The classification of gliomas based on a pyramid dilated convolution resnet model[J]. Pattern Recognition Letters，2020，133：173-179.

[21]Fei Z G，Wu Z Y，Xiao Y Q，et al. A new short-arc fitting method with high precision using Adam optimization algorithm[J]. Optik，2020，212：164788.

[22]楊觀賜，楊 靜，李少波，等. 基于Dopout與ADAM優(yōu)化器的改進(jìn)CNN算法[J]. 華中科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，46（7）：122-127.

[23]趙小強(qiáng)，宋昭漾. Adam優(yōu)化的CNN超分辨率重建[J]. 計(jì)算機(jī)科學(xué)與探索，2019，13（5）：858-865.

[24]魏友達(dá). 基于深度學(xué)習(xí)的唇語(yǔ)識(shí)別技術(shù)研究[D]. 西安：中國(guó)科學(xué)院大學(xué)（中國(guó)科學(xué)院西安光學(xué)精密機(jī)械研究所），2019.