牟文芊,董萌萍,孫文杰,楊曉霞*,王秀美

基于SENet和深度可分離卷積膠囊網(wǎng)絡(luò)的茶樹葉部病害圖像識(shí)別

牟文芊1,董萌萍1,孫文杰1,楊曉霞1*,王秀美1

山東農(nóng)業(yè)大學(xué)信息科學(xué)與工程學(xué)院, 山東 泰安 271018

茶樹是重要的經(jīng)濟(jì)作物，葉部病害的發(fā)生直接影響其產(chǎn)量和質(zhì)量。針對(duì)膠囊網(wǎng)絡(luò)在茶樹葉部病害圖像識(shí)別中識(shí)別率低和參數(shù)量大的問題，提出了一種基于SENet和深度可分離卷積膠囊網(wǎng)絡(luò)的茶樹葉部病害圖像識(shí)別算法。首先，由于尚無茶樹葉部病害圖像標(biāo)準(zhǔn)數(shù)據(jù)集，構(gòu)建了茶樹葉部病害圖像數(shù)據(jù)集。其次，在膠囊網(wǎng)絡(luò)中引入深度可分離卷積，并在深度可分離卷積層后加入SENet。實(shí)驗(yàn)結(jié)果表明，提出算法的識(shí)別準(zhǔn)確率為94.20%，相同條件下優(yōu)于其它模型。

膠囊網(wǎng)絡(luò); 壓縮激發(fā)網(wǎng)絡(luò); 深度可分離卷積; 茶樹葉部病害

中國(guó)是茶樹種植大國(guó)，也是茶園面積增速最快的國(guó)家。茶樹葉部病害識(shí)別與防治可以有效地提高茶葉的產(chǎn)量和質(zhì)量。目前，茶樹葉部病害識(shí)別主要依靠人工，專業(yè)性強(qiáng)，費(fèi)時(shí)費(fèi)力，且當(dāng)茶樹葉部病害特征不夠明顯時(shí)，人工識(shí)別易判斷錯(cuò)誤。

深度學(xué)習(xí)作為人工智能的核心技術(shù)，具有圖像和語音識(shí)別速度快和準(zhǔn)確率高的優(yōu)勢(shì)。近年來，廣泛應(yīng)用于農(nóng)作物病蟲害識(shí)別并取得了較大進(jìn)展。Mohanty等[1]分析了PlantVillage數(shù)據(jù)庫(kù)中的54306幅植物葉子圖像，共14種作物和26種作物病害，利用GoogLeNet結(jié)構(gòu)，對(duì)80%的彩色圖像進(jìn)行遷移學(xué)習(xí)訓(xùn)練，達(dá)到了較高的準(zhǔn)確率。Ramcharan等[2]應(yīng)用學(xué)習(xí)遷移訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）對(duì)木薯3種病害和2種害蟲進(jìn)行識(shí)別，利用Inception V3模型，測(cè)試精度高。張善文等[3]針對(duì)黃瓜的病害識(shí)別設(shè)計(jì)了基于LeNet的11層深度卷積神經(jīng)網(wǎng)絡(luò)。相較于傳統(tǒng)的圖像識(shí)別方法，該方法具有更高的準(zhǔn)確率，更快的識(shí)別速度，但是需要大量的訓(xùn)練時(shí)間。Oppenheim等[4]利用CNN成功的應(yīng)用于馬鈴薯病害的圖像識(shí)別。Zhao等[5]以棉花葉部病害圖像為研究對(duì)象，利用遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)技術(shù)，實(shí)現(xiàn)了棉花葉部病害圖像準(zhǔn)確分類。劉闐宇等[6]則利用目標(biāo)檢測(cè)算法Faster-RCNN對(duì)田間復(fù)雜背景下的病害葉部圖像進(jìn)行了分類識(shí)別。

2017年，Hu等[7]提出了壓縮激發(fā)網(wǎng)絡(luò)（Squeeze-and-Excitation Networks，SENet），并獲得了ImageNet圖像識(shí)別大賽冠軍。Zhang等[8]提出了多特征加權(quán)DenseNet模型用于圖像分類，分類效果明顯。劉學(xué)平等[9]提出了改進(jìn)的YOLO V3算法，利用和粒子群進(jìn)行錨框的計(jì)算，同時(shí)在shorcut層中引入SENet，復(fù)雜背景下查準(zhǔn)率和查全率較高。黃揚(yáng)[10]在Faster RCNN的特征提取模塊中加入SE模塊，提高了網(wǎng)絡(luò)的準(zhǔn)確性。劉琳琳等[11]提出了SENet多路CNN模型，使用堆疊多路卷積和SENet，對(duì)轉(zhuǎn)移的淋巴結(jié)檢測(cè)準(zhǔn)確率較高。Chollet等[12]提出了Xception，其將深度可分離卷積代替了Inception模塊，提高了參數(shù)利用率。楊可軍等[13]在VGGNet中融合了深度可分離卷積，提高了檢測(cè)速度。針對(duì)車型實(shí)時(shí)識(shí)別能力不足的問題，郭融等[14]提出了基于深度可分離卷積的SSD目標(biāo)檢測(cè)算法，用于車型識(shí)別，并取得了較好識(shí)別效果。

卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn)是局部權(quán)值共享，且避免了特征提取的過程。但其無法精確的獲取空間關(guān)系，池化層只有最大的神經(jīng)元被傳到下一層，導(dǎo)致了大量信息的丟失。2017年，Hinton等[15]提出了膠囊網(wǎng)絡(luò)，將膠囊定義為神經(jīng)元的組合，學(xué)習(xí)特定目標(biāo)并輸出向量，當(dāng)目標(biāo)有微小的變化時(shí)，膠囊會(huì)對(duì)輸出的向量進(jìn)行調(diào)整。

本文以茶樹葉部病害圖像為研究對(duì)象，將深度可分離卷積和SENet引入膠囊網(wǎng)絡(luò)，提出了一種茶樹葉部病害圖像識(shí)別算法，實(shí)驗(yàn)結(jié)果表明，該算法提高了茶樹葉部病害圖像的識(shí)別率。

1 方法

1.1 膠囊網(wǎng)絡(luò)

膠囊網(wǎng)絡(luò)的輸入輸出都是向量，并且利用向量的長(zhǎng)度表示目標(biāo)的存在，方向表示目標(biāo)的特征，主要包含卷積層、主膠囊層和類別膠囊層，其中主膠囊層將卷積層提取的特征圖轉(zhuǎn)換為向量膠囊，然后通過動(dòng)態(tài)路由與類別膠囊層，最后輸出結(jié)果。

膠囊網(wǎng)絡(luò)利用動(dòng)態(tài)路由將特征圖中的關(guān)鍵特征組合在一起，在動(dòng)態(tài)路由中，高層膠囊和低層膠囊是全連接的，其中每個(gè)底層膠囊連接到高層膠囊的概率c如公式（1）所示，其中b是膠囊到的先驗(yàn)概率。

高層膠囊的輸出v如公式（2）所示，其中s為低層膠囊的輸入。

膠囊的輸入由公式（4）計(jì)算得到。

1.2 SENet

CNN的核心是卷積核，其本質(zhì)是空間信息和特征維度信息的聚合體，可以捕獲圖像的全局特征，提高網(wǎng)絡(luò)的表示能力。目前，多數(shù)CNN都是從空間維度上來提高網(wǎng)絡(luò)的性能，而SENet則是采用重新標(biāo)定的方法，對(duì)特征通道之間的關(guān)系進(jìn)行顯式建模，學(xué)習(xí)每個(gè)通道的權(quán)重，依照權(quán)重對(duì)有用的特征進(jìn)行提升，抑制權(quán)值不高的特征。

SENet主要包括三個(gè)步驟，首先是壓縮操作，利用全局平均池化，將二維的特征通道變成一個(gè)實(shí)數(shù)。其次是激發(fā)操作，通過參數(shù)來為每個(gè)通道生成權(quán)重。最后是重標(biāo)定操作，將激發(fā)操作得到的權(quán)重加權(quán)到先前的特征上。

1.3 深度可分離卷積

深度可分離卷積主要由深度卷積和1*1逐點(diǎn)卷積組成，對(duì)輸入圖像的每一個(gè)通道獨(dú)立進(jìn)行空間逐層卷積，再進(jìn)行逐點(diǎn)卷積，與傳統(tǒng)卷積層相比，減少了參數(shù)數(shù)量，在參數(shù)量相同的前提下，采用深度可分離卷積的網(wǎng)絡(luò)層數(shù)可以更深。

假設(shè)輸入特征圖的大小為H*W*C，樣本數(shù)為N，其中H和W分別為特征圖的高和寬，C為輸入特征圖的通道數(shù)，深度卷積是指將H*W*C*N的特征圖分為C組，然后每一組分別做卷積，則可以得到每個(gè)通道的空間特征。該運(yùn)算只對(duì)輸入特征圖的每個(gè)通道進(jìn)行獨(dú)立卷積運(yùn)算，沒有充分利用不同通道在相同空間位置上的特征信息，而點(diǎn)卷積則對(duì)H*W*C*N的輸入進(jìn)行1*1卷積操作，得到每個(gè)點(diǎn)的特征。卷積層的結(jié)構(gòu)如圖1（a）所示，深度可分離卷積結(jié)構(gòu)如圖1（b）所示。

圖 1 卷積層和深度可分離卷積結(jié)構(gòu)對(duì)比

1.4 本文提出的算法

膠囊網(wǎng)絡(luò)的第一層是卷積層，卷積核大小為9*9，步長(zhǎng)為1，通道數(shù)為256。膠囊網(wǎng)絡(luò)存在參數(shù)多、計(jì)算量大和卷積核單一等問題，本文使用參數(shù)量和計(jì)算復(fù)雜度低的深度可分離卷積替代標(biāo)準(zhǔn)卷積操作。SENet結(jié)構(gòu)簡(jiǎn)單，具備一定的靈活性，能夠嵌入到現(xiàn)有的網(wǎng)絡(luò)中，擴(kuò)大了特征圖對(duì)全局信息的感知范圍。本文基于上述特點(diǎn)改進(jìn)了膠囊網(wǎng)絡(luò)，將第一層的卷積層替換為深度可分離卷積，并在其后引入SENet，主要用于處理卷積的特征，改進(jìn)后的卷積層如圖2所示。

SENet的壓縮操作主要是通過全局平均池化來獲得全局特征，接著是兩個(gè)全連接層去構(gòu)建通道之間的相關(guān)性，其主要是先根據(jù)壓縮比降低特征維度，本文中的設(shè)置為4，經(jīng)過ReLU激活函數(shù)后，再通過一個(gè)全連接層回到原來的維度，使得輸入輸出特征擁有同樣數(shù)目的權(quán)重。兩個(gè)全連接層可以更好地?cái)M合通道之間相關(guān)性，并且可以減少參數(shù)量和計(jì)算量。最后將通過Sigmoid函數(shù)學(xué)到的各通道的值乘上原始特征，使得模型對(duì)各個(gè)通道的特征更有辨別能力。

圖 2 改進(jìn)的卷積層

圖 3 膠囊網(wǎng)絡(luò)的解碼器

第二層是主膠囊層，卷積核的尺寸是9*9，步長(zhǎng)為2，通道數(shù)為256，其將特征圖轉(zhuǎn)化為長(zhǎng)度為8的膠囊6*6*32個(gè)；最后一層類別膠囊層是主膠囊層通過動(dòng)態(tài)路由得到的長(zhǎng)度為16的膠囊。

訓(xùn)練過程中，正確分類膠囊的激活向量會(huì)被用于重建輸入圖像，輸入到一個(gè)三層的全連接層組成的解碼器，模擬像素強(qiáng)度，膠囊網(wǎng)絡(luò)的解碼器結(jié)構(gòu)如圖3所示。

1.5 損失函數(shù)

膠囊網(wǎng)絡(luò)使用實(shí)例化向量長(zhǎng)度來表示膠囊的實(shí)體是否存在，當(dāng)圖像中存在病害時(shí)，表示病害種類的膠囊則具有實(shí)例化向量，每個(gè)病害種類膠囊使用不同的邊緣損失L，如公式（6）所示。

2 數(shù)據(jù)集的構(gòu)建

2.1 數(shù)據(jù)的獲取

本文以茶樹常見的葉部病害為研究對(duì)象，在山東省泰安市茶溪谷、泰頂青茶園等多個(gè)茶園內(nèi)進(jìn)行人工采摘病葉，分別采集了白星病、輪斑病、芽枯病、機(jī)械損傷和炭疽病5類病害圖像進(jìn)行實(shí)驗(yàn)。為減少背景的干擾，均采用單一背景的圖像，拍攝圖像格式為JPEG。采集的茶葉病害原始圖像數(shù)量為15000張，每類3000張。

2.2 數(shù)據(jù)預(yù)處理

為了防止出現(xiàn)過擬合的情況，提高算法的泛化能力，網(wǎng)絡(luò)需要大量的數(shù)據(jù)。首先，固定圖像的輸入維度，將圖像的尺寸統(tǒng)一轉(zhuǎn)換為128*128*3，然后才能輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練。本文采用數(shù)據(jù)預(yù)處理的方式主要包括調(diào)整亮度和對(duì)比度、添加噪聲和高斯模糊，其中調(diào)整圖像的對(duì)比度設(shè)置為3，亮度設(shè)置為50，高斯模糊是為每一個(gè)像素取周邊像素的平均值，將其半徑值設(shè)置為0.1。預(yù)處理后茶樹葉部病害圖像數(shù)據(jù)集的數(shù)量為40000張，平均每類8000張，降低了過擬合的風(fēng)險(xiǎn)。預(yù)處理前后的茶樹葉部病害圖像樣本如表1所示。

表 1 預(yù)處理前后的茶樹葉部病害圖像

3 結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)軟硬件環(huán)境參數(shù)設(shè)置如表2所示。

表 2 軟硬件環(huán)境參數(shù)

3.2 結(jié)果分析

本文使用Adam算法優(yōu)化網(wǎng)絡(luò)，在訓(xùn)練中自適應(yīng)調(diào)整學(xué)習(xí)率，并根據(jù)茶葉病害訓(xùn)練圖像進(jìn)行權(quán)重的更新，直到找到最優(yōu)結(jié)果。學(xué)習(xí)率代表網(wǎng)絡(luò)權(quán)重更新的速度，當(dāng)設(shè)置過大時(shí)，最終的識(shí)別結(jié)果不準(zhǔn)確，設(shè)置過小時(shí)則會(huì)增加訓(xùn)練時(shí)長(zhǎng)。該實(shí)驗(yàn)的epoch設(shè)置為100，訓(xùn)練集中的圖像在一個(gè)epoch內(nèi)會(huì)進(jìn)行一次完整訓(xùn)練，將批處理樣本設(shè)置為100，訓(xùn)練過程如圖4所示。由圖4可知，本文提出算法的損失曲線在將近第40個(gè)epoch時(shí)趨近于收斂，同時(shí)準(zhǔn)確率曲線在該點(diǎn)時(shí)也逐漸達(dá)到收斂。

3.2.1 不同學(xué)習(xí)率對(duì)實(shí)驗(yàn)結(jié)果的影響對(duì)于學(xué)習(xí)率，采用對(duì)數(shù)標(biāo)尺選取0.001、0.0001和0.00001，學(xué)習(xí)率衰減因子設(shè)置為0.9，通過反復(fù)實(shí)驗(yàn)進(jìn)行了最優(yōu)的調(diào)整，不同學(xué)習(xí)率在茶樹葉部病害驗(yàn)證集上的識(shí)別結(jié)果如圖5所示，由圖5可知，當(dāng)學(xué)習(xí)率設(shè)置為0.001時(shí)，本文提出的算法在茶樹葉部病害圖像上的識(shí)別準(zhǔn)確率最高。

圖 4 訓(xùn)練過程損失值和準(zhǔn)確率曲線

圖 5 不同學(xué)習(xí)率的識(shí)別準(zhǔn)確率

圖 6 不同學(xué)習(xí)率的損失函數(shù)變化曲線

本文提出的算法在不同學(xué)習(xí)率下?lián)p失函數(shù)收斂曲線如圖6所示，損失值一開始呈現(xiàn)快速下降的趨勢(shì)，當(dāng)學(xué)習(xí)率最小為0.00001時(shí)，模型收斂速度較慢，但損失值達(dá)到了最低，并且在迭代至40次時(shí)開始趨向于收斂，算法達(dá)到最優(yōu)。

3.2.2 消融實(shí)驗(yàn)本文以膠囊網(wǎng)絡(luò)為基礎(chǔ)，將本文提出的算法與膠囊網(wǎng)絡(luò)、基于SENet的膠囊網(wǎng)絡(luò)和基于深度可分離卷積的膠囊網(wǎng)絡(luò)在茶樹葉部病害圖像上的識(shí)別結(jié)果進(jìn)行了比較，表3是上述算法識(shí)別結(jié)果的比較。由表3可知，膠囊網(wǎng)絡(luò)的準(zhǔn)確率89.91%，在膠囊網(wǎng)絡(luò)中引入SENet和深度可分離卷積，準(zhǔn)確率提高3.61%和2.09%，本文提出算法的準(zhǔn)確率提高了4.29%，精確率和召回率均得到了提高，在膠囊網(wǎng)絡(luò)中引入深度可分離卷積后F1值略有提高，引入SENet后F1值得到了大幅度提高。

表 3 茶樹葉部病害圖像數(shù)據(jù)集上的消融實(shí)驗(yàn)的識(shí)別結(jié)果比較

表 4 混淆矩陣

3.2.3 不同算法在茶樹葉部病害圖像上的識(shí)別結(jié)果為了更好的比較不同算法對(duì)識(shí)別結(jié)果的影響，將所有的超參數(shù)進(jìn)行了統(tǒng)一化。本文提出的算法在茶樹葉部病害圖像測(cè)試集上的混淆矩陣如表4所示，每類病害圖像的數(shù)量為500張。由表4可知，除機(jī)械損傷外，其它4種病害的識(shí)別效果較好，其中少量的茶芽枯病和茶輪斑病被識(shí)別成機(jī)械損傷，主要的原因是機(jī)械損傷的葉片具有其它2種病害的特征，內(nèi)部特征具有一定的相似性。

為了驗(yàn)證本文提出算法在茶樹葉部病害圖像數(shù)據(jù)集上的有效性，與膠囊網(wǎng)絡(luò)、CNN、VGG16和Inception V3進(jìn)行了比較，實(shí)驗(yàn)結(jié)果如表5所示。由表5可知，CNN在茶樹葉部病害圖像上識(shí)別效果最差，準(zhǔn)確率僅為87.75%。本文提出的算法的識(shí)別準(zhǔn)確率最高，主要原因是SENet結(jié)構(gòu)增強(qiáng)了特征圖的感受野，通過特征圖的權(quán)重來提升有用的特征并且抑制了無用的特征，從而使得算法學(xué)習(xí)的信息更加全面。膠囊網(wǎng)絡(luò)準(zhǔn)確率高于CNN的主要原因是其具備更好地?cái)M合特征的能力。

表 5 不同算法在茶樹葉部病害圖像數(shù)據(jù)集上的識(shí)別準(zhǔn)確率

4 結(jié)論

本文提出了一種基于SENet和深度可分離卷積膠囊網(wǎng)絡(luò)的茶樹葉部病害圖像識(shí)別算法，針對(duì)膠囊網(wǎng)絡(luò)參數(shù)量大的問題，將卷積層替換為深度可分離卷積，并在卷積層后增加了SENet，一種特征重標(biāo)定策略，學(xué)習(xí)自動(dòng)獲取到每個(gè)特征通道的權(quán)重，然后根據(jù)權(quán)重提升有用的特征并抑制對(duì)當(dāng)前任務(wù)用處不大的特征。對(duì)比實(shí)驗(yàn)結(jié)果表明，本文提出的算法識(shí)別效果較好。

[1]Mohanty SP, Hughes DP, Salathe M. Using deep learning for image-based plant disease detection [J]. Frontiers in Plant Science, 2016,7:1419

[2]Ramcharan A, Baranowski K, Mccloskey P. Deep learning for image-based cassava disease detection [J]. Frontiers in Plant Science, 2017,8:1852

[3]張善文,謝澤奇,張晴晴.卷積神經(jīng)網(wǎng)絡(luò)在黃瓜葉部病害識(shí)別中的應(yīng)用[J].江蘇農(nóng)業(yè)學(xué)報(bào),2018,34(1):56-61

[4]Oppenheim D, Shani G, Erlich O. Using deep learning for image-based potato tuber disease detection [J]. Phytopathology, 2019,109(6):807-822

[5]Zhao LX, Hou FD, Lyu ZC,. Image recognition of cotton leaf diseases and pests based on transfer learning [J]. Transactions of the Chinese Society of Agricultural Engineering, 2020,36(7):184-191

[6]劉闐宇,馮全,楊森.基于卷積神經(jīng)網(wǎng)絡(luò)的葡萄葉片病害檢測(cè)方法[J].東北農(nóng)業(yè)大學(xué)學(xué)報(bào),2018,49(3):73-83

[7]Hu J, Shen L, Sun G. Squeeze-and-Excitation Networks [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018:7132-7141

[8]Zhang K, Guo YR, Wang XS,. Multiple feature reweight Dense Net for image classification [J]. IEEE Access, 2019,7:9872-9880

[9]劉學(xué)平,李玙乾,劉勵(lì),等.嵌入SENet結(jié)構(gòu)的改進(jìn)YOLOV3目標(biāo)識(shí)別算法[J].計(jì)算機(jī)工程,2019,45(11):243-248

[10]黃揚(yáng).基于SEnet的小樣本MRI頸椎病變檢測(cè)方法研究[D].長(zhǎng)春:吉林大學(xué),2020

[11]劉琳琳,葉強(qiáng),何靈敏.基于SENet多路網(wǎng)絡(luò)的乳腺癌轉(zhuǎn)移檢測(cè)[J/OL].計(jì)算機(jī)工程與應(yīng)用.https://kns.cnki.net/kcms/detail/11.2127.tp.20201025.1347.002.html

[12]Chollft F. Xception: Seep Learning with Depthwise Separable Convolutions[C]//IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2017

[13]楊可軍,楊建旭,陳思寶,等.基于深度可分離卷積及SVD輸電線路缺陷檢測(cè)[J].智慧電力,2020,48(10):64-69,77

[14]郭融,王芳,劉偉.改進(jìn)深度可分離卷積的SSD車型識(shí)別[J/OL].重慶大學(xué)學(xué)報(bào).http://kns.cnki.net/kcms/detail/50.1044.N.20200428.1019.002.html

[15]Sabour S, Frosst N, Hinton GE. Dynamic routing between capsules[C]//Neural Information Processing Systems. California, USA: NIPS Proceeding, 2017:3856-3866

Image Recognition for Tea Leaf Disease Based on Improved Capsule Network and SENet

MU Wen-qian1, DONG Meng-ping1, SUN Wen-jie1, YANG Xiao-xia1*, WANG Xiu-mei1

271018,

Tea is an important economic crop, its leaf diseases will directly affect the yield and quality of tea. Aiming at the problems of low recognition and large parameters of Capsule Network in the recognition of tea leaf disease images, this paper proposes an improved Capsule Network with SENet and depthwise separable convolution. Firstly, as there is no standard image dataset for tea leaf diseases, dataset of tea leaf diseases was constructed. Secondly, depthwise separable convolution was introduced into Capsule Network. Then, SENet was added after depthwise separable convolution layer. The experimental results show that the improved method can achieve a accuracy of 94.20% in the identification of tea leaf disease images, and its performance is better than other models under the same conditions.

Capsule Network; squeeze-and-excitation networks; depthwise separable convolution; tea leaf disease images

TP391.4

A

1000-2324(2021)01-0023-06

10.3969/j.issn.1000-2324.2021.01.005

2020-02-24

2020-05--13

牟文芊(2001-),女,本科生,主要從事人工智能的研究. E-mail:mwq_bella@163.com

Author for correspondence. E-mail:yangxx@sdau.edu.cn