基于改進(jìn)Faster R-CNN的田間植株幼苗檢測方法

陳旭君　王承祥　孫福　張順　朱德泉　廖娟

摘要：為了準(zhǔn)確檢測田間植株幼苗，以實現(xiàn)植株幼苗的精準(zhǔn)噴藥施肥，提出了一種基于改進(jìn)FasterR-CNN的植株幼苗檢測方法。以FasterR-CNN結(jié)構(gòu)為基礎(chǔ)設(shè)計植株幼苗檢測網(wǎng)絡(luò)，將ResNet50網(wǎng)絡(luò)作為共享卷積層，并將Dropout層引入到FastR-CNN網(wǎng)絡(luò)的全連接層之間，用月季苗圖像對網(wǎng)絡(luò)進(jìn)行訓(xùn)練生成模型。結(jié)果表明，改進(jìn)的FasterR-CNN模型對月季苗的檢測準(zhǔn)確度可達(dá)96.5%，召回率達(dá)到95.35%，而且對其他種類植株幼苗如玫瑰和番茄幼苗也具有良好的檢測能力。改進(jìn)的網(wǎng)絡(luò)模型的泛化能力強(qiáng)，收斂速度快，有助于自動化植保機(jī)械的研發(fā)。

關(guān)鍵詞：精準(zhǔn)農(nóng)業(yè);植株幼苗檢測;卷積神經(jīng)網(wǎng)絡(luò);FasterR-CNN;過擬合

中圖分類號：S126文獻(xiàn)標(biāo)志碼：A

文章編號：1002-1302（2021）04-0159-05

作者簡介：陳旭君（1999—），男，湖北大冶人，主要從事深度學(xué)習(xí)與自動化研究。E-mail：chenxujun173@163.com。

通信作者：廖娟（1986—），安徽安慶人，博士，講師，主要從事圖像分析和視覺導(dǎo)航研究。E-mail：liaojuan308@163.com。

隨著精準(zhǔn)農(nóng)業(yè)的發(fā)展以及人們對于食品安全和環(huán)境污染問題越來越重視，精準(zhǔn)農(nóng)業(yè)成為植保領(lǐng)域的一個重要研究方向[1-2]，自然環(huán)境下快速準(zhǔn)確的植株幼苗識別對實現(xiàn)農(nóng)藥精準(zhǔn)噴施具有重要意義。然而復(fù)雜的背景環(huán)境如光照變化[3]、天氣[4]、雜草[5]等影響著植株幼苗的準(zhǔn)確識別。

近年來，計算機(jī)視覺技術(shù)在自然環(huán)境下幼苗識別方面的研究和應(yīng)用得到廣泛開展[6]。García-Santillán等在分割植物與土壤背景后，利用Otsu自動閾值分割法區(qū)分麥苗和雜草[7]。Liao等基于秧苗顏色與背景顏色的差異性，構(gòu)建光照不變超綠特征因子，采用自適應(yīng)閾值分割出綠色秧苗[8]。但這些方式都是通過提取目標(biāo)特定圖像特征或結(jié)合傳統(tǒng)分類算法來區(qū)分綠色作物和雜草，其特淺層征如顏色、紋理等通常是由人工選取標(biāo)定，易受人為因素干擾，在性能提升和表征作物的特定信息方面具有局限性，從而對識別準(zhǔn)確性產(chǎn)生不利影響。

相比傳統(tǒng)方法，深度卷積網(wǎng)絡(luò)能從大量數(shù)據(jù)中自動學(xué)習(xí)并提取特征，對圖像具有極強(qiáng)的表征能力，廣泛應(yīng)用于農(nóng)業(yè)領(lǐng)域[9-10]。張善文等構(gòu)建了一種深度卷積網(wǎng)絡(luò)模型，從彩色病害葉片圖像中提取高層次的抽象特征，并在輸出層進(jìn)行黃瓜病害識別，正確識別率高于90.32%[11]。Dias等提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的蘋果花識別方法，其召回率和精確率都在90%以上[12]。王振等采用卷積神經(jīng)網(wǎng)絡(luò)對黃瓜葉部病斑圖像進(jìn)行預(yù)訓(xùn)練得到網(wǎng)絡(luò)模型訓(xùn)練的初步參數(shù)，然后將預(yù)訓(xùn)練結(jié)果輸入到全卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行模型二階訓(xùn)練，經(jīng)SVM分類器進(jìn)行實現(xiàn)分割，平均像素分割準(zhǔn)確率為80.46%[13]。Abdullahi等將深度卷積神經(jīng)網(wǎng)絡(luò)用于對玉米圖像的檢測和分類，其檢測平均精度達(dá)到了99.58%[14]。

為了實現(xiàn)田間植株幼苗的準(zhǔn)確檢測，本研究以FasterR-CNN[15]為基礎(chǔ)，提出一種改進(jìn)FasterR-CNN的田間植株幼苗檢測方法，利用卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測方面的自學(xué)習(xí)能力和泛化能力，使網(wǎng)絡(luò)可以精準(zhǔn)檢測月季幼苗，同時使網(wǎng)絡(luò)對多種植株幼苗的檢測具有普適性。

1材料與方法

1.1圖像采集

植株幼苗圖像均采集于安徽農(nóng)業(yè)大學(xué)農(nóng)萃園內(nèi)試驗田，采集時間為2019年10月6—20日08：00—11：00、13：00—17：00，采集設(shè)備為圖1-a所示的跨壟式智能小車，小車安裝樹莓派USB免驅(qū)攝像頭，距離水平地面高度為30cm，由RaspberryPi3B+開發(fā)板進(jìn)行控制，采集的圖像如圖1-b所示，圖像分辨率為640×480像素，格式為JPEG。

1.2數(shù)據(jù)集構(gòu)建

對不同的試驗田采集月季苗圖像共650張，測試集250張，訓(xùn)練集400張。由于戶外場景的復(fù)雜性，須對數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)處理，以增加樣本的多樣性。以圖1-b月季苗圖像為例，進(jìn)行6種數(shù)據(jù)增強(qiáng)操作如圖2-a～f所示。其中，圖像亮度和飽和度分別增強(qiáng)為原來的1.3倍和減弱為原來的0.7倍，添加噪聲為0.05的椒鹽噪聲和均值為0.1、方差為0.01的高斯噪聲，訓(xùn)練集圖像經(jīng)增強(qiáng)后共為2800張。

為加快神經(jīng)網(wǎng)絡(luò)收斂速度，首先將圖像縮小為448×448像素，然后對訓(xùn)練集的月季苗目標(biāo)進(jìn)行人工標(biāo)注。另外分別采用250株玫瑰苗、番茄苗、枸杞幼苗和鳳仙花苗圖像測試網(wǎng)絡(luò)模型的泛化能力。

1.3FasterR-CNN的網(wǎng)絡(luò)結(jié)構(gòu)

1.3.1共享卷積層共享卷積層對輸入的特征圖進(jìn)行初步的特征提取，將提取出的特征圖用于RPN網(wǎng)絡(luò)和FastR-CNN網(wǎng)絡(luò)共享。FasterR-CNN網(wǎng)絡(luò)常采用VGG16網(wǎng)絡(luò)[16]作為共享卷積網(wǎng)絡(luò)，將輸入的原始特征圖映射為一個512維的特征圖，減少網(wǎng)絡(luò)反向傳播的訓(xùn)練參數(shù)。

1.3.2RPN網(wǎng)絡(luò)RPN網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，其輸入為卷積特征圖，以大小為w×h的低維特征圖中每個像素為中心，生成k個3×3的錨框，則每張?zhí)卣鲌D共生成w×h×k個錨框，由后面連接的回歸層和分類層對生成的錨框進(jìn)行回歸分析和分類處理。回歸層選出可能包含目標(biāo)的目標(biāo)建議區(qū)域，分類層對每個目標(biāo)建議區(qū)域進(jìn)行得分判斷，最后將生成的結(jié)果進(jìn)行參數(shù)化設(shè)置，將得分高的目標(biāo)建議區(qū)域輸入到FastR-CNN的感興趣區(qū)域池化層。

RPN網(wǎng)絡(luò)采用端到端的訓(xùn)練方式，訓(xùn)練中網(wǎng)絡(luò)通過反向傳播計算每一層的損失函數(shù)值，根據(jù)損失函數(shù)值的大小不斷更新網(wǎng)絡(luò)權(quán)值。損失函數(shù)值越小，模型的魯棒性越好，損失函數(shù)如式（1）所示。

1.3.3FastR-CNN模型RPN將生成的建議區(qū)域輸入到FastR-CNN的ROI池化層，降低特征圖分辨率，減少訓(xùn)練參數(shù)，加快神經(jīng)網(wǎng)絡(luò)的收斂速度。然后將參數(shù)輸入2個全連接層，最后使用回歸分析選定目標(biāo)框，并使用Softmax分類器進(jìn)行分類，輸出預(yù)測目標(biāo)框和目標(biāo)框中可能是正確目標(biāo)的概率。

1.4FasterR-CNN的改進(jìn)

增加共享卷積層的深度可以提高網(wǎng)絡(luò)的檢測精度，但同時會造成信號在網(wǎng)絡(luò)中的傳播時間變長，信息的損耗和誤差也會更多，因此，本研究采用ResNet網(wǎng)絡(luò)[17]作為共享卷積網(wǎng)絡(luò)。ResNet模型在淺層網(wǎng)絡(luò)上添加恒等映射，由x經(jīng)恒等變換傳輸?shù)捷敵鰧?，只用?xùn)練輸入與輸出的殘差，避免了網(wǎng)絡(luò)深度的增加造成退化問題。三層的殘差學(xué)習(xí)單元結(jié)構(gòu)如圖4所示，x是殘差輸入，H（x）是輸出，網(wǎng)絡(luò)學(xué)習(xí)的殘差函數(shù)為F（x）=H（x）-x，1×1和3×3的小卷積核比傳統(tǒng)大卷積核減少了訓(xùn)練參數(shù)。

[FK（W12][TPCXJ4.tif;S+2mm][FK）]

常用的三層殘差單元有ResNet50、ResNet101和ResNet152，為了選取合適共享卷積層，采用月季苗訓(xùn)練集訓(xùn)練上述3個網(wǎng)絡(luò)模型，以網(wǎng)絡(luò)的精確度、檢測時間和訓(xùn)練時長作為評價指標(biāo)，比較結(jié)果如表1所示。由表1可知，網(wǎng)絡(luò)深度的增加能提高識別精度，但也會增加訓(xùn)練參數(shù)，降低收斂速度和檢測速度。為增加網(wǎng)絡(luò)深度，提高特征提取準(zhǔn)確度，同時保證網(wǎng)絡(luò)收斂速度，選擇ResNet50網(wǎng)絡(luò)作為RPN和FastR-CNN的共享卷積層。

訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)時，經(jīng)常會出現(xiàn)過擬合現(xiàn)象，為了提高網(wǎng)絡(luò)的泛化能力，在FasterR-CNN的全連接層中引入Dropout層，隱藏部分神經(jīng)元。Dropout設(shè)置為0.5，同時將網(wǎng)絡(luò)權(quán)值乘以0.5以保持輸入數(shù)據(jù)和輸出數(shù)據(jù)的穩(wěn)定。改進(jìn)的FasterR-CNN如圖5所示。

2結(jié)果與分析

試驗設(shè)備為臺式計算機(jī)，CPU為Corei7-8700k，GPU為NvidiaRTX2070，內(nèi)存32G，存儲為500GB固態(tài)硬盤和1TB機(jī)械硬盤，設(shè)備操作系統(tǒng)為windows10（64位），編程軟件為Matlab2019a。訓(xùn)練過程分為4步：先訓(xùn)練RPN網(wǎng)絡(luò)，根據(jù)RPN輸出的目標(biāo)建議區(qū)域?qū)astR-CNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練，再根據(jù)FastR-CNN的參數(shù)訓(xùn)練RPN網(wǎng)絡(luò)，F(xiàn)astR-CNN根據(jù)參數(shù)更新后的RPN網(wǎng)絡(luò)再次進(jìn)行訓(xùn)練，最后將RPN網(wǎng)絡(luò)和FastR-CNN網(wǎng)絡(luò)進(jìn)行統(tǒng)一。在每一步的訓(xùn)練過程中，設(shè)置學(xué)習(xí)回合數(shù)為15，并采用隨機(jī)梯度下降算法優(yōu)化網(wǎng)絡(luò)，其中訓(xùn)練的第1步和第2步設(shè)置初始學(xué)習(xí)率為1×10-5，第3步和第4步的初始學(xué)習(xí)率設(shè)置為1×10-6。

為了驗證本文FasterR-CNN對田間植株幼苗檢測效果，以準(zhǔn)確率（precision，P）和召回率（recall，R）作為模型性能評價指標(biāo)，用來度量模型的優(yōu)劣，P值和R值計算如下：

P=檢測正確[]檢測正確+檢測誤以為正確×100%;

R=檢測正確[]檢測正確+檢測誤以為錯誤×100%。

試驗中采用基于VGG16和ResNet50作為共享卷積層的FasterR-CNN模型分別對月季花進(jìn)行目標(biāo)檢測，表2所示為2種不同特征提取網(wǎng)絡(luò)的FasterR-CNN檢測結(jié)果的準(zhǔn)確率和召回率。由表可知，基于ResNet50作為共享卷積層的FasterR-CNN模型在準(zhǔn)確率和召回率2項指標(biāo)上表現(xiàn)出優(yōu)良性能，其對月季苗檢測準(zhǔn)確率達(dá)到96.50%，召回率達(dá)到95.35%，明顯優(yōu)于VGG16網(wǎng)絡(luò)。另外，在相同的設(shè)備和參數(shù)設(shè)置下，以VGG16為基礎(chǔ)網(wǎng)絡(luò)的FasterR-CNN網(wǎng)絡(luò)訓(xùn)練時間長達(dá)22h，而改進(jìn)的FasterR-CNN模型訓(xùn)練時間縮短了4h。在檢測速度上，基于VGG16網(wǎng)絡(luò)的FasterR-CNN平均檢測時間為0.312s/f，而殘差結(jié)構(gòu)不會增加訓(xùn)練參數(shù)，還能激發(fā)深層網(wǎng)絡(luò)的收斂性能，其平均檢測時間為0.281s/f，比VGG16網(wǎng)絡(luò)檢測速度快了0.031s/f。

另外使用改進(jìn)的網(wǎng)絡(luò)模型對與月季花具有較高相似度的植株幼苗包括玫瑰幼苗、番茄幼苗、枸杞幼苗和鳳仙花苗進(jìn)行檢測，以驗證網(wǎng)絡(luò)的泛化能力，檢測結(jié)果如圖6所示。從圖6可見，以月季苗為樣本訓(xùn)練好的模型對其他植株幼苗也具有良好的檢測效果。

對于量化網(wǎng)絡(luò)的泛化能力，表3給出了改進(jìn)前后FasterR-CNN以及LeNet5和AlexNet網(wǎng)絡(luò)對玫瑰幼苗、番茄幼苗、枸杞幼苗和鳳仙花苗的檢測準(zhǔn)確率和召回率?？梢?，網(wǎng)絡(luò)深度的增加會增強(qiáng)網(wǎng)絡(luò)的泛化能力，提高對多種植株幼苗的識別精度，而增加了候選框的FasterR-CNN在檢測精度上相比LeNet5和AlexNet網(wǎng)絡(luò)有了很大的提升，改進(jìn)的FasterR-CNN使用了更深度的ResNet50網(wǎng)絡(luò)并引入了Dropout層，使網(wǎng)絡(luò)的檢測精度和泛化能力有更進(jìn)一步的提升。網(wǎng)絡(luò)對玫瑰幼苗、番茄幼苗、枸杞幼苗的檢測精度隨著網(wǎng)絡(luò)深度的增加均有較大提高，而鳳仙花苗的檢測精度卻提高較少，主要是因為訓(xùn)練集的月季花苗葉片較小，而鳳仙花整體葉片較大，當(dāng)網(wǎng)絡(luò)深度增加時，訓(xùn)練網(wǎng)絡(luò)模型對非小葉片植株的檢測敏感度不足，導(dǎo)致檢測精度沒有較大提升。由表2和表3的數(shù)據(jù)可以證明，網(wǎng)絡(luò)的改進(jìn)提高了網(wǎng)絡(luò)模型的泛化能力，加快了網(wǎng)絡(luò)的收斂速度，對多種植株的檢測具有普適性。

3結(jié)論

本研究提出了一種基于改進(jìn)FasterR-CNN的植株幼苗檢測方法，通過采用ResNet50網(wǎng)絡(luò)作為共享卷積層提取特征，在FasterR-CNN模型中增加Dropout層，加快了網(wǎng)絡(luò)的收斂速度，同時也增強(qiáng)了網(wǎng)絡(luò)的泛化能力。經(jīng)驗證，改進(jìn)的FasterR-CNN在針對月季苗、玫瑰苗、番茄幼苗和枸杞幼苗的識別上具有較高的識別精度，可以初步應(yīng)用于植株幼苗的精準(zhǔn)檢測定位。本研究有助于推動自動化施肥機(jī)或者灑藥機(jī)的研發(fā)，降低農(nóng)藥和化肥在農(nóng)業(yè)生產(chǎn)中的使用量，保護(hù)環(huán)境和農(nóng)產(chǎn)品安全。

本研究將可以進(jìn)一步進(jìn)行建模，設(shè)計算法尋找網(wǎng)絡(luò)模型與網(wǎng)絡(luò)泛化能力的關(guān)系，并不斷改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，提高網(wǎng)絡(luò)的泛化能力和收斂速度，通過較少數(shù)據(jù)集的訓(xùn)練，使網(wǎng)絡(luò)模型對于一般的植株幼苗檢測具有普適性。

參考文獻(xiàn)：

[1]鄧向武，齊龍，馬旭，等.基于多特征融合和深度置信網(wǎng)絡(luò)的稻田苗期雜草識別[J].農(nóng)業(yè)工程學(xué)報，2018，34（14）：165-172.

[2]趙常，耿愛軍，張姬，等.水肥藥精準(zhǔn)管理技術(shù)研究現(xiàn)狀與發(fā)展趨勢[J].中國農(nóng)機(jī)化學(xué)報，2018，39（11）：28-33.

[3]孫俊，何小飛，譚文軍，等.空洞卷積結(jié)合全局池化的卷積神經(jīng)網(wǎng)絡(luò)識別作物幼苗與雜草[J].農(nóng)業(yè)工程學(xué)報，2018，34（11）：159-165.

[4]BonadiesS，GadsdenSA.Anoverviewofautonomouscroprownavigationstrategiesforunmannedgroundvehicles[J].EngineeringinAgriculture，EnvironmentandFood，2019，12（1）：24-31.

[5]張樂，金秀，傅雷揚(yáng)，等.基于FasterR-CNN深度網(wǎng)絡(luò)的油菜田間雜草識別方法[J].激光與光電子學(xué)進(jìn)展，2020，57（2）：297-305.

[6]楊斯，黃鋁文，張馨.機(jī)器視覺在設(shè)施育苗作物生長監(jiān)測中的研究與應(yīng)用[J].江蘇農(nóng)業(yè)科學(xué)，2019，47（6）：179-187.

[7]García-SantillánID，MontalvoM，GuerreroJM，etal.Automaticdetectionofcurvedandstraightcroprowsfromimagesinmaizefields[J].BiosystemsEngineering，2017，156：61-79.

[8]LiaoJ，WangY，YinJN，etal.SegmentationofriceseedlingsusingtheYCrCbcolorspaceandanimprovedOtsumethod[J].Agronomy，2018，8（11）：1-16.

[9]KamilarisA，Prenafeta-BoldúFX.Deeplearninginagriculture：asurvey[J].ComputersandElectronicsinAgriculture，2018，147：70-90.

[10]甘騏榕，蘇芳，練坤玉，等.改進(jìn)LeNet-5模型在大米分選算法上的應(yīng)用[J].安徽農(nóng)業(yè)大學(xué)學(xué)報，2019，46（3）：549-553.

[11]張善文，謝澤奇，張晴晴.卷積神經(jīng)網(wǎng)絡(luò)在黃瓜葉部病害識別中的應(yīng)用[J].江蘇農(nóng)業(yè)學(xué)報，2018，34（1）：56-61.

[12]DiasPA，TabbA，MedeirosH.Appleflowerdetectionusingdeepconvolutionalnetworks[J].ComputersinIndustry，2018，99：17-28.

[13]王振，張善文，王獻(xiàn)鋒.基于改進(jìn)全卷積神經(jīng)網(wǎng)絡(luò)的黃瓜葉部病斑分割方法[J].江蘇農(nóng)業(yè)學(xué)報，2019，35（5）：1054-1060.

[14]AbdullahiHS，SheriffRE，MahieddineF.Convolutionneuralnetworkinprecisionagricultureforplantimagerecognitionandclassification[C]//2017SeventhInternationalConferenceonInnovativeComputingTechnology（INTECH），2017：1-3.

[15]RenSQ，HeKM，GirshickR，etal.FasterR-CNN：towardsreal-timeobjectdetectionwithregionproposalnetworks[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2017，39（6）：1137-1149.

[16]HammadI，El-SankaryK.ImpactofapproximatemultipliersonVGGdeeplearningnetwork[J].IEEEAccess，2018，6：60438-60444.

[17]HeKM，ZhangXY，RenSQ，etal.Deepresiduallearningforimagerecognition[C]//2016IEEEConferenceonComputerVisionandPatternRecognition（CVPR），2016：770-778.