肖靚瑤 方焯
關(guān)鍵詞:番茄葉片病害;卷積神經(jīng)網(wǎng)絡(luò);細(xì)粒度圖像;雙線(xiàn)性池化;圖像分類(lèi)
中圖法分類(lèi)號(hào):TP183 文獻(xiàn)標(biāo)識(shí)碼:A
1引言
番茄在生長(zhǎng)的過(guò)程中,產(chǎn)量受光照、濕度和病蟲(chóng)害等影響。其中,病蟲(chóng)害的影響最為嚴(yán)重。農(nóng)作物病蟲(chóng)害不但影響作物的品質(zhì),而且減少產(chǎn)量。當(dāng)番茄植株有病蟲(chóng)害時(shí),通常會(huì)大規(guī)模使用農(nóng)藥進(jìn)行噴灑處理,但當(dāng)使用農(nóng)藥時(shí),會(huì)影響番茄的生長(zhǎng),并且番茄果實(shí)有許多的農(nóng)藥殘留。所以,在病蟲(chóng)害暴發(fā)的初期,需要合理地利用農(nóng)藥并控制在一定的范圍內(nèi),才能有效地避免產(chǎn)量降低。
隨著計(jì)算機(jī)技術(shù)和機(jī)器學(xué)習(xí)的快速發(fā)展,出現(xiàn)了許多相應(yīng)技術(shù)。傳統(tǒng)機(jī)器學(xué)習(xí)方法的圖像識(shí)別分類(lèi)分為以下幾個(gè)步驟:數(shù)據(jù)分析和預(yù)處理、邊緣特征提取后進(jìn)行分類(lèi)。Kurmi等對(duì)圖像進(jìn)行預(yù)處理,得到葉片的輪廓信息并去除背景,避免其干擾,能最大限度提取葉片病害的信息,從而進(jìn)行分類(lèi)。楊英茹等提出基于支持向量機(jī)的CCL-SVM算法,實(shí)現(xiàn)對(duì)復(fù)雜環(huán)境番茄葉片圖像病害識(shí)別。然而,傳統(tǒng)的機(jī)器學(xué)習(xí)方法的預(yù)處理普遍非常復(fù)雜,而且只能用于個(gè)別植物病蟲(chóng)害的識(shí)別,遷移能力較差。隨著視覺(jué)領(lǐng)域和深度學(xué)習(xí)不斷發(fā)展,傳統(tǒng)機(jī)器學(xué)習(xí)中煩瑣的圖像預(yù)處理步驟遷移能力差的問(wèn)題得到解決。
現(xiàn)在,已經(jīng)出現(xiàn)了許多應(yīng)用廣泛、遷移度高的卷積神經(jīng)網(wǎng)絡(luò),如VGG,MobileNet,ResNet等。國(guó)內(nèi)外已經(jīng)出現(xiàn)許多利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)病害進(jìn)行識(shí)別的研究。肖旺等基于GoogLeNet網(wǎng)絡(luò),減少網(wǎng)絡(luò)層數(shù),提出GoogLeNet-Mini算法實(shí)現(xiàn)對(duì)鴨蛋表面缺陷的檢測(cè)。但當(dāng)使用上述網(wǎng)絡(luò)識(shí)別細(xì)粒度圖像時(shí),準(zhǔn)確率會(huì)降低,細(xì)粒度數(shù)據(jù)集擁有較小的種間差異和較大的類(lèi)內(nèi)差異以及冗余背景信息的特點(diǎn),導(dǎo)致識(shí)別準(zhǔn)確率降低。Lin等提出了雙線(xiàn)性網(wǎng)絡(luò)(Bilinear-CNN),在網(wǎng)絡(luò)中設(shè)計(jì)兩條通道提取圖像的特征信息,但會(huì)導(dǎo)致參數(shù)和計(jì)算量增加。為了解決上述問(wèn)題,李揚(yáng)等對(duì)此進(jìn)行改進(jìn),提出單特征通路的雙線(xiàn)性池化方法,以降低參數(shù)和計(jì)算量,實(shí)現(xiàn)對(duì)服裝圖像風(fēng)格識(shí)別:楊旺功等利用以輕量化網(wǎng)絡(luò)EfficientNet為基礎(chǔ),加入雙線(xiàn)性池化及注意力機(jī)制,提高了對(duì)垃圾分類(lèi)任務(wù)的精度。
本文識(shí)別分類(lèi)主體為番茄病害葉片圖像,由于其圖片為細(xì)粒度圖像,不同番茄病害種類(lèi)葉片的外觀(guān)非常相似,經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別率并不高。針對(duì)此現(xiàn)象,提出Bilinear-VGG13模型,它基于VGG13網(wǎng)絡(luò)進(jìn)行改進(jìn),由于原網(wǎng)絡(luò)為直鏈結(jié)構(gòu),能夠隨意添加其他卷積層,基于這一良好特性,在連接層之前加入雙線(xiàn)性池化,減少背景的干擾,使模型能更加關(guān)注病害區(qū)域,并與其他經(jīng)典網(wǎng)絡(luò)進(jìn)行對(duì)比,分析其不同番茄病害種類(lèi)的識(shí)別情況,驗(yàn)證本文網(wǎng)絡(luò)識(shí)別番茄葉片病害方面的優(yōu)秀表現(xiàn)。
2實(shí)驗(yàn)數(shù)據(jù)
本文數(shù)據(jù)集來(lái)源于PlantVillage公共數(shù)據(jù)集,從中截取了番茄葉片病害圖片,共有10種不同的病害種類(lèi),分別用1~10進(jìn)行編號(hào),本文使用的原始數(shù)據(jù)共有11644張圖片。
為了防止模型過(guò)擬合,同時(shí)為了讓每個(gè)種類(lèi)的病蟲(chóng)害圖片數(shù)量達(dá)到均衡,利用圖像增強(qiáng)技術(shù)對(duì)圖片進(jìn)行增強(qiáng)。利用圖片翻轉(zhuǎn)和改變對(duì)比度等技術(shù)可以得到不同角度的圖片,從而獲得數(shù)量均衡的樣本數(shù)據(jù)。本文將原始數(shù)據(jù)進(jìn)行擴(kuò)增,得到了15974張圖片,使得每個(gè)種類(lèi)圖片數(shù)量為1500左右,最后將數(shù)據(jù)60%作為訓(xùn)練集、30%作為驗(yàn)證集、10%作為測(cè)試集。部分的數(shù)據(jù)集圖像如圖1所示。
3改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)
整個(gè)Bilinear-VGG13模型結(jié)構(gòu)如圖2所示,以VGG13網(wǎng)絡(luò)為基礎(chǔ)進(jìn)行改進(jìn),整個(gè)模型分為兩個(gè)部分,即特征信息提取和識(shí)別分類(lèi)。特征提取的功能是由VGG13中conv1_1~conv5_2共10個(gè)卷積層構(gòu)成,其中下劃線(xiàn)“_”前的數(shù)字代表不同的卷積模塊序號(hào),后面的數(shù)字代表卷積塊某一卷積層序號(hào)。同時(shí),每種卷積模塊中間通過(guò)局部卷積池化降低特征圖的大小。由于不同種類(lèi)的番茄病害種類(lèi)的差別較小,識(shí)別的精度可能會(huì)受到影響,為了提高模型對(duì)葉片病害區(qū)域的敏感程度,并避免番茄葉片圖片背景的影響,在網(wǎng)絡(luò)的連接層前加入單一特征通路的雙線(xiàn)性池化,以增強(qiáng)對(duì)細(xì)粒度圖像的識(shí)別能力。原始的Bilinear CNN通過(guò)兩條并行的通路提取特征信息,并通過(guò)雙線(xiàn)性池化得到格拉姆矩陣,提取有效區(qū)分細(xì)粒度圖像的特征信息。但是,兩條通道得到不同的特征信息再經(jīng)過(guò)雙線(xiàn)性池化操作,將會(huì)導(dǎo)致數(shù)據(jù)和計(jì)算量成倍地增加。為了解決此問(wèn)題并能夠利用雙線(xiàn)性池化良好的特性,本文將VGG13卷積核提取到的單一特征通路進(jìn)行池化操作。在識(shí)別分類(lèi)的過(guò)程中,本文使用兩個(gè)連接層進(jìn)行分類(lèi),大小分別為512×10,最后將分類(lèi)概率通過(guò)Softmax分類(lèi)器進(jìn)行輸出。
Bilinear-CNN通常被用于細(xì)粒度圖像,利用兩個(gè)通路提取特征信息,然后進(jìn)行雙線(xiàn)性池化,減少背景的干擾。該網(wǎng)絡(luò)能夠很好地分辨細(xì)粒度圖像,并且有著不錯(cuò)的準(zhǔn)確率,該網(wǎng)絡(luò)雙線(xiàn)性池化結(jié)構(gòu)如圖3所示。
4.4對(duì)比實(shí)驗(yàn)
為了更好地驗(yàn)證本文模型的有效性,利用擴(kuò)增后的番茄葉片病害圖片作為數(shù)據(jù)集,使用本文提出的Bilinear-VGG13模型分別與AlexNet,VGG13和MobileNet進(jìn)行對(duì)比實(shí)驗(yàn)。從表1可知,相比于其他模型,本文模型的識(shí)別準(zhǔn)確率是最高的。
利用上文給出的評(píng)價(jià)指標(biāo)的公式,利用混淆矩陣分別算出各個(gè)模型的相關(guān)評(píng)價(jià)指標(biāo)并進(jìn)行比較。從表2數(shù)據(jù)可知,本文模型對(duì)病害種類(lèi)識(shí)別的召回率(Recall)、精確度(Precision)和平均交互比(MIoU)都高于其他模型。同時(shí),改進(jìn)模型對(duì)測(cè)試集的準(zhǔn)確率為96.34%,與其他模型相比也是最高的。
為了驗(yàn)證本文網(wǎng)絡(luò)的遷移能力較強(qiáng),對(duì)其他農(nóng)作物病害也有較高的分類(lèi)能力,利用改進(jìn)模型對(duì)土豆、玉米和蘋(píng)果的病害葉片圖片進(jìn)行分類(lèi)識(shí)別,最后得出的識(shí)別準(zhǔn)確率如表3所列。根據(jù)表3數(shù)據(jù)可知,本文模型對(duì)其他品種的作物葉片病害識(shí)別分類(lèi)的精度高,反映出改進(jìn)網(wǎng)絡(luò)具有較強(qiáng)的可遷移性。
5結(jié)束語(yǔ)
觀(guān)察番茄葉片是否出現(xiàn)病害特征,是檢測(cè)作物是否發(fā)生病變最快速的方法。本文研究對(duì)象番茄葉片病害圖片屬于細(xì)粒度圖像,不同病害種類(lèi)的差異較小,并且由于光照、背景等因素影響,利用經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別分類(lèi)的準(zhǔn)確率不高。針對(duì)此問(wèn)題,同時(shí)為了有效地判斷番茄作物的生長(zhǎng)情況并且避免產(chǎn)量減少,本文基于改進(jìn)的VGG13網(wǎng)絡(luò)對(duì)番茄葉片進(jìn)行識(shí)別,驗(yàn)證本文模型對(duì)番茄葉片病害模型識(shí)別的有效性。與經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)VGG13,MobileNet和AlexNet相比,本文模型的識(shí)別率最高;本文在VGG13網(wǎng)絡(luò)的基礎(chǔ)上,加入了雙線(xiàn)性池化,提高對(duì)番茄圖像病害區(qū)域特征信息的提取能力,并增強(qiáng)了模型的性能。然而,本文使用的是固定環(huán)境的番茄葉片病害圖像,減少了外部環(huán)境的影響,使得模型對(duì)于自然環(huán)境的病害圖片識(shí)別有一定的局限。未來(lái)將會(huì)進(jìn)一步研究圖像的分類(lèi),以及對(duì)于不同的自然環(huán)境中的病害識(shí)別。
作者簡(jiǎn)介:
肖靚瑤(1999—),碩士,研究方向:圖像處理。