自然環(huán)境下黃綠柑橘檢測通用模型的構(gòu)建

楊國，黃文靜，朱洪前*，丁鍵，任會，李丹，肖恒玉，胡濤

(1. 中南林業(yè)科技大學(xué)，長沙 410004； 2. 江蘇護(hù)理職業(yè)學(xué)院，淮安 223002)

自然環(huán)境下柑橘檢測和產(chǎn)量預(yù)估受到不同光照、復(fù)雜的冠層結(jié)構(gòu)、生長過程中的顏色變化、遮擋或者重果以及小尺寸的影響[1]。對于冠層結(jié)構(gòu)，韓蕊等[2]利用無人機(jī)遙感、多光譜圖像提取柑橘樹冠信息，進(jìn)行樹冠分割與株數(shù)統(tǒng)計(jì)。

近年來，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，國內(nèi)外專家學(xué)者們在水果檢測方面取得了一系列的研究成果。Aleixos等[3]應(yīng)用貝葉斯決策理論實(shí)時對柑橘類水果表面進(jìn)行多光譜檢測。López-García等[4]采用多變量圖像分析法和主成分分析法實(shí)現(xiàn)柑橘類水果表面的缺陷檢測。Lu等[5]通過融合色差圖、歸一化RGB模型和光照圖的分割結(jié)果，研究了可變光照和不同程度遮擋樹冠下柑橘類水果的檢測，所采用的融合方法可以檢測目標(biāo)水果的高光、陰影和漫射區(qū)域。Sengupta等[6]開發(fā)了霍夫圓檢測等算法，基于SVM的紋理分類和其他假陽性去除技術(shù)來檢測自然條件下綠色冠層中的未成熟柑橘。熊俊濤等[7]利用Faster R-CNN目標(biāo)檢測算法對樹上的綠色柑橘進(jìn)行檢測研究，建立了自然環(huán)境下不同光照、不同尺寸柑橘和不同數(shù)量柑橘的圖像樣本集，最終在測試集上的平均精度為85.49%。王丹丹等[8]提出一種利用RseNet-44對R-FCN網(wǎng)絡(luò)進(jìn)行改進(jìn)的蘋果目標(biāo)識別算法，采用RseNet-44全卷積網(wǎng)絡(luò)，最終在測試數(shù)據(jù)集上得到的召回率為85.7%，準(zhǔn)確率為95.1%，識別速度為0.187 s/幅。李善軍等[9]提出了一種基于改進(jìn)SSD深度學(xué)習(xí)模型的柑橘實(shí)時分類檢測方法，最終該模型的mAP(mean average precision)達(dá)到87.89%，平均檢測時間為20.27 ms。韓文等[10]提出基于Tiny-YOLOv3網(wǎng)絡(luò)的目標(biāo)檢測方法，在2個數(shù)據(jù)集上試驗(yàn)以驗(yàn)證改進(jìn)模型的有效性，在果園柑橘數(shù)據(jù)集中，準(zhǔn)確率、召回率以及F1分別為88.98%，95.29%和92.03%。呂石磊等[11]提出一種基于改進(jìn)YOLOv3-LITE輕量級神經(jīng)網(wǎng)絡(luò)的柑橘識別方法，在全部測試集上，F(xiàn)1和AP分別為0.936 9和91.13%。孫寶霞等[12]對夜間自然環(huán)境下成熟的柑橘進(jìn)行識別與表征缺陷檢測，所采用的YOLOv4模型檢測方法在柑橘測試集上的精確率、召回率、F1以及mAP分別為95.32%，94.59%，0.95和90.52%。

綜上所述，國內(nèi)外對于水果檢測特別是柑橘的檢測都取得了很多成果，但是大都只是對于一種顏色特征或者對于某一特定類型的柑橘進(jìn)行檢測，得到的模型通用性和魯棒性不佳，而柑橘作為極為常見的水果，未成熟時為綠色，成熟之后更是存在黃色和綠色兩種顏色特征，加之其生長環(huán)境極為復(fù)雜，進(jìn)一步增加了自然環(huán)境下的柑橘檢測難度。深度學(xué)習(xí)的方法通過層層網(wǎng)絡(luò)結(jié)構(gòu)，對圖像的淺層到高層特征進(jìn)行提取歸類，達(dá)到準(zhǔn)確識別類別的目的[13]。筆者基于深度學(xué)習(xí)方法的識別模型選取了基于VGG16的 Faster R-CNN、基于Resnet的 Faster R-CNN以及YOLOv5s，以自然環(huán)境下成熟柑橘的兩種顏色形態(tài)建立數(shù)據(jù)集進(jìn)行柑橘檢測，通過試驗(yàn)對比及模型訓(xùn)練，將基于深度學(xué)習(xí)的算法模型用于自然環(huán)境下的柑橘檢測，以期為經(jīng)濟(jì)林下農(nóng)業(yè)生產(chǎn)中自然成熟狀態(tài)下果實(shí)為綠色和黃色的水果以及類圓水果的視覺檢測研究提供技術(shù)支持。

1 材料與方法

1.1 圖像獲取

本研究以多個品種的柑橘作為研究對象，采集地點(diǎn)為長沙市百果園及長沙市橘子洲頭，采集圖像包含黃色和綠色柑橘。圖像采集在一天中的不同時段進(jìn)行，涵蓋晴天、陰天和雨后。所有圖像均使用智能手機(jī)攝像頭和工業(yè)相機(jī)采集，所有試驗(yàn)數(shù)據(jù)集均為自然狀態(tài)下未經(jīng)處理的自然圖像。數(shù)據(jù)集中共有13 091 個柑橘圖像，其中黃色柑橘圖像為8 877 個，綠色柑橘圖像為4 214個。自然環(huán)境下的柑橘具體數(shù)量分布情況見表1。

表1 自然條件下的柑橘數(shù)量Table 1 Number of citrus under natural conditions

1.2 數(shù)據(jù)集制作

圖像數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)集、驗(yàn)證數(shù)據(jù)集和測試數(shù)據(jù)集，最終采集了1 682張綠色柑橘圖像以及1 830張黃色柑橘圖像。對于黃色柑橘圖像，訓(xùn)練集圖像為1 498張，驗(yàn)證集圖像為167張，測試集圖像為165張；對于綠色柑橘圖像，訓(xùn)練集圖像為1 361張，驗(yàn)證集圖像為152張，測試集圖像為169張。

1.3 監(jiān)督學(xué)習(xí)的人工標(biāo)注

研究采取監(jiān)督學(xué)習(xí)的人工標(biāo)注，數(shù)據(jù)集標(biāo)注(圖1)過程中樣品位置按照邊界原則，將樣品盡可能標(biāo)記在最小切線矩形內(nèi)。圖1顯示了一個圖像注釋示例，包括一些部分被樹葉、枝干遮擋以及重疊造成的不完全標(biāo)注圖像。標(biāo)注使用的軟件是LabelImg，標(biāo)簽格式為“xml”。

圖1 數(shù)據(jù)集標(biāo)注Fig. 1 Data set annotation

1.4 柑橘檢測的深度學(xué)習(xí)算法

深度學(xué)習(xí)算法在圖像、語音、文本等方面的運(yùn)用越來越廣泛。鑒于傳統(tǒng)的檢測方法已經(jīng)不能滿足信息化、自動化以及智能化需求，而深度學(xué)習(xí)的優(yōu)勢在于深度卷積神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能，可以通過端到端直接回歸訓(xùn)練，同時還有高精度和實(shí)時性等優(yōu)點(diǎn)，并且有利于發(fā)現(xiàn)高維的復(fù)雜結(jié)構(gòu)數(shù)據(jù)。此外，將更多的數(shù)據(jù)用于訓(xùn)練深度學(xué)習(xí)模型，將增加模型的魯棒性和泛化性。對比前人所采取的研究模型，本研究選用基于VGG16的Faster R-CNN、基于Resnet的Faster R-CNN以及YOLOv5s這3種算法模型進(jìn)行柑橘檢測研究。

1.4.1 Faster R-CNN柑橘檢測算法

Faster R-CNN[14]是繼RCNN[15]和Fast-RCNN[16]后提出的目標(biāo)檢測方法，該算法可直接使用RPN生成檢測框?；贔aster R-CNN的用于柑橘檢測的圖像處理過程如圖2所示。

圖2 柑橘的Faster R-CNN圖像處理過程Fig. 2 The Faster R-CNN image processing process of orange

在目標(biāo)檢測中，F(xiàn)aster R-CNN的巨大優(yōu)勢是直接使用RPN生成檢測框，能極大提升檢測框的生成速度。Faster R-CNN損失函數(shù)通?？梢赃x擇絕對值損失函數(shù)L1和平方損失函數(shù)L2，對于絕對值損失函數(shù)L1，容易導(dǎo)致訓(xùn)練不穩(wěn)定，而且這個函數(shù)在0點(diǎn)處導(dǎo)數(shù)不存在，因此可能會影響模型收斂。L2損失函數(shù)對離群點(diǎn)和異常值較為敏感，訓(xùn)練時容易發(fā)散；而在模型訓(xùn)練過程中，選擇分段函數(shù)作為損失函數(shù)很好地解決了上述問題。SmoothL1同時避開了L1和L2損失的缺陷，不會因預(yù)測值的梯度過大導(dǎo)致訓(xùn)練不穩(wěn)定。由于本研究的數(shù)據(jù)集比較復(fù)雜，所以選用SmoothL1作為損失函數(shù)，其RPN的損耗函數(shù)定義如下：

(1)

(2)

(3)

1.4.2 YOLOv5s柑橘檢測算法

YOLO將物體的定位和分類一起完成，輸入一副原始圖像，由單一網(wǎng)絡(luò)可直接推理出目標(biāo)位置，更能滿足工業(yè)上的實(shí)時性要求，效果魯棒；從自然圖像遷移到藝術(shù)等其他領(lǐng)域的圖像時，效果也很好?？紤]到模型的輕量化要求，本研究采用的是YOLOv5系列中網(wǎng)絡(luò)結(jié)構(gòu)最輕、深度最小以及特征圖寬度最小的YOLOv5s網(wǎng)絡(luò)。網(wǎng)絡(luò)主要分為輸入端、基準(zhǔn)網(wǎng)絡(luò)、Neck網(wǎng)絡(luò)、預(yù)測框4個部分，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)Fig. 3 YOLOv5s network structure

YOLOv5采用了BECLogits損失函數(shù)計(jì)算objectness score的損失[17]，class probability score采用了交叉熵?fù)p失函數(shù)(BCEclsloss)，bounding box采用了GIOU Loss。

(4)

(5)

式中：IoU為交并比；A和B為兩個任意框面積；C為A、B兩個框面積的最小閉包區(qū)域面積；A∩B表示兩個任意框面積的交集；A∪B表示兩個任意框面積的并集。式(5)表示用IoU減去閉包區(qū)域中不屬于兩個框的區(qū)域占閉包區(qū)域的比重。

2 試驗(yàn)過程與結(jié)果分析

2.1 試驗(yàn)環(huán)境

3種檢測模型為基于VGG16的Faster R-CNN、基于Resnet的Faster R-CNN以及YOLOv5s，所采用的gpu為GTX2060，訓(xùn)練所采用的模型框架為Anaconda+PyCharm+Pytorch+Python3.8。

2.2 試驗(yàn)參數(shù)設(shè)置

完成數(shù)據(jù)集準(zhǔn)備、試驗(yàn)環(huán)境配置以及算法模型搭建后，經(jīng)過多次調(diào)參，最終確定了各個模型的參數(shù)，如表2所示。此外，為了節(jié)約內(nèi)存，迭代次數(shù)每訓(xùn)練50次保存1次模型。

表2 模型的參數(shù)設(shè)置Table 2 Parameter settings of the model

2.3 模型訓(xùn)練

試驗(yàn)過程中，根據(jù)驗(yàn)證集的損失值對模型性能進(jìn)行分析，損失值的大小用于判斷模型是否收斂。比較重要的是損失值有收斂的趨勢，即驗(yàn)證集損失值不斷下降，損失值并不是接近于0才好，如果驗(yàn)證集損失基本上不改變，則模型基本上就收斂了。

3個模型在兩種數(shù)據(jù)集下的訓(xùn)練損失loss值變化曲線見圖4～6。從圖4中可以看出，基于Resnet的Faster R-CNN在進(jìn)行綠色柑橘試驗(yàn)時，當(dāng)經(jīng)過30次迭代時，驗(yàn)證集損失值開始趨于穩(wěn)定，之后繼續(xù)訓(xùn)練網(wǎng)絡(luò)，直到50次時停止訓(xùn)練；基于Resnet的Faster R-CNN在進(jìn)行黃色柑橘試驗(yàn)時，模型擬合較慢，直到50次迭代時才開始收斂，訓(xùn)練出來的模型效果也很差，遠(yuǎn)遠(yuǎn)低于同一模型下的綠色柑橘模型訓(xùn)練結(jié)果。說明該模型用于兩種特征的柑橘檢測時，通用性不強(qiáng)。由圖5可知，基于VGG16的Faster R-CNN在進(jìn)行綠色柑橘試驗(yàn)時，當(dāng)經(jīng)過40次迭代時，驗(yàn)證集損失值開始趨于穩(wěn)定，模型收斂速度快，設(shè)置迭代80次后停止訓(xùn)練，模型的AP是92.82%；基于VGG16的Faster R-CNN在進(jìn)行黃色柑橘試驗(yàn)時，模型擬合較慢，直到50次迭代時才開始收斂，訓(xùn)練出來的模型效果也很差，設(shè)置迭代80次，模型的AP僅為51.77%，此模型針對黃、綠兩種柑橘，訓(xùn)練結(jié)果差別相對較大，而且對于黃色柑橘檢測效果差，說明此模型通用性也不強(qiáng)。由圖6可知，采用YOLOv5進(jìn)行網(wǎng)絡(luò)訓(xùn)練時，數(shù)據(jù)收斂較快，在進(jìn)行綠色柑橘試驗(yàn)時AP是97.2%，在進(jìn)行黃色柑橘試驗(yàn)時AP是97.4%。

圖4 Faster R-CNN Resnet50模型訓(xùn)練損失曲線Fig. 4 Faster R-CNN Resnet50 model training loss curves

圖5 Faster R-CNN VGG16模型訓(xùn)練損失曲線Fig. 5 Faster R-CNN VGG16 model training loss curves

圖6 YOLOv5s模型訓(xùn)練驗(yàn)證損失曲線Fig. 6 YOLOv5s model training verification loss curves

2.4 評價指標(biāo)

本試驗(yàn)采用4個指標(biāo)進(jìn)行評估，分別是精確率(precision，公式中記為P)、召回率(recall rate，公式中記為R)、平均精度(average precision，公式中記為AP)以及F1(balanced F score，公式中記為F1)，以置信度高于0.5的目標(biāo)數(shù)量作為試驗(yàn)網(wǎng)絡(luò)所檢測到的柑橘數(shù)目。P、R、AP和F1的相關(guān)計(jì)算公式分別如式(6)～(9)所示：

P=tp/(tp+fp)

(6)

R=tp/(tp+fn)

(7)

(8)

F1=2×P×R/(P+R)

(9)

式中：tp是實(shí)際為正樣本被預(yù)測為正樣本；fp是實(shí)際為負(fù)樣本被預(yù)測為正樣本；fn是實(shí)際為正樣本被預(yù)測為負(fù)樣本。

2.5 結(jié)果與分析

2.5.1 黃色柑橘試驗(yàn)結(jié)果分析

黃色柑橘具有與自然環(huán)境下柑橘生長環(huán)境完全不同的顏色特征。由柑橘在不同模型下的檢測指標(biāo)(表3)可知，對于所有黃色柑橘數(shù)據(jù)集，與YOLOv5s相比，基于Faster R-CNN的兩種檢測模型的試驗(yàn)結(jié)果都相對較差。針對數(shù)據(jù)集的情況以及試驗(yàn)結(jié)果分析如下：

1)模型自身的缺陷，對于Faster R-CNN，不論是使用VGGnet還是Resnet，其提取到的特征圖都是單層的，分辨率也比較??；

2)數(shù)據(jù)集中遮擋或者重果的圖像較多，在試驗(yàn)過程中，有時會出現(xiàn)錯檢或者漏檢，說明Faster R-CNN對遮擋的目標(biāo)檢測較困難；

3)數(shù)據(jù)集樣本中有太多自然環(huán)境因素的干擾，模型訓(xùn)練結(jié)束，將一些比較復(fù)雜和小尺寸柑橘圖像傳入模型后，檢測效果差，說明Faster R-CNN的兩種檢測模型對于復(fù)雜程度過高以及密集小尺寸柑橘的檢測是存在困難的；

4)將小尺寸柑橘圖像以及遮擋或者重果圖像傳入訓(xùn)練好的YOLOv5s模型后，發(fā)現(xiàn)檢測效果更好，準(zhǔn)確性高而且速度更快，說明與Faster R-CNN相比，YOLOv5s對于小尺寸柑橘以及遮擋重疊的柑橘檢測效果更好。

表3 柑橘在不同模型下的檢測結(jié)果Table 3 Detection results of orange using different models

綜上所述，對于黃色柑橘，YOLOv5s與基于VGG16的Faster R-CNN模型以及基于Resnet的Faster R-CNN模型相比，基于YOLOv5s的模型對于自然環(huán)境下黃色柑橘的檢測效果最優(yōu)，速度更快，其精確率為91.90%、召回率為99.00%、F1為 0.94、AP為97.40%。

2.5.2 綠色柑橘試驗(yàn)結(jié)果分析

對于綠色柑橘數(shù)據(jù)集，自然環(huán)境下綠色柑橘的表皮顏色特征與柑橘樹顏色特征基本一致。根據(jù)柑橘在不同模型下的檢測指標(biāo)可知，對于所有綠色柑橘，與YOLOv5s相比，基于Faster R-CNN兩個模型的精確率和F1相對較低，對Faster R-CNN柑橘檢測模型分析如下：

1)綠色柑橘數(shù)據(jù)集偏小，數(shù)據(jù)集過于復(fù)雜，導(dǎo)致模型沒有學(xué)習(xí)到更深層次的特征，精確率偏低；

2)Faster R-CNN模型的參數(shù)量過多，卷積層數(shù)過深，對于具有相似特征的目標(biāo)特征提取困難；

3)與黃色柑橘相比，綠色柑橘各項(xiàng)指標(biāo)更高，說明所提取的目標(biāo)與背景具有相似顏色特征的情況下，F(xiàn)aster R-CNN模型仍然可以完成特征提取。

綜上所述，YOLOv5s模型用于自然環(huán)境下黃、綠兩種顏色特征的柑橘檢測，其各項(xiàng)指標(biāo)以及檢測效果均有了更大的提升，而且對于兩種顏色特征的柑橘都具有很好的檢測表現(xiàn)。與VGG16的Faster R-CNN模型以及Resnet的Faster R-CNN相比，YOLOv5s模型通用性更強(qiáng)，未來對于柑橘檢測的研究有更好的參考價值。

2.6 不同模型的測試效果

2.6.1 不同光照條件下的柑橘檢測試驗(yàn)

利用計(jì)算機(jī)視覺進(jìn)行目標(biāo)檢測時，一般要求工作環(huán)境具備良好的光照條件，但是自然環(huán)境下的場景較為復(fù)雜，可能包含一天中的不同時段，所以要求模型有更好的魯棒性，能適應(yīng)不同光照強(qiáng)度，在光照強(qiáng)度發(fā)生變化時，仍然能夠達(dá)到檢測要求。筆者收集了一部分不同光照強(qiáng)度的圖像(圖7)，將其傳入訓(xùn)練好的柑橘檢測模型中，給出了一些測試圖像在不同模型以及不同光照條件下的柑橘檢測效果。從檢測結(jié)果可以看出：對于黃色柑橘，Resnet50的檢測效果相對較差，甚至出現(xiàn)了漏檢，而Faster R-CNN+VGG16與YOLOv5s都能準(zhǔn)確無誤地將目標(biāo)檢測出來；對于綠色柑橘，所有模型均能達(dá)到很好的預(yù)測效果。

a)Faster R-CNN+Resnet50；b)Faster R-CNN+VGG16；c)YOLOv5s。圖7 不同模型不同光照環(huán)境下的柑橘檢測效果Fig. 7 Orange detection effect using different models and different lighting environments

2.6.2 遮擋與重果情況下的柑橘檢測試驗(yàn)

在自然環(huán)境下生長的柑橘，往往會出現(xiàn)果實(shí)被枝葉包裹、遮擋以及果實(shí)密集等情況，這對于采摘機(jī)器人的視覺系統(tǒng)設(shè)計(jì)來說是一個必須解決的關(guān)鍵問題。在完成了柑橘檢測試驗(yàn)之后，收集了一部分重果和被枝葉遮擋的自然環(huán)境下的柑橘圖像，將未經(jīng)任何處理的柑橘圖像傳入訓(xùn)練好的柑橘檢測模型，3種檢測模型的效果如圖8所示。對于簡單的重果和遮擋場景，3種模型都能完成預(yù)測；而對于重疊程度高以及枝葉遮擋較為嚴(yán)重的狀況，相比較而言，Resnet50就會出現(xiàn)偏差，甚至出現(xiàn)漏檢現(xiàn)象，而VGG16與YOLOv5s都能完成目標(biāo)檢測。

在圖像測試過程中，F(xiàn)aster R-CNN+VGG16與Faster R-CNN+Resnet在檢測時雖然能達(dá)到一定程度的檢測要求，但是訓(xùn)練模型用時長，占用內(nèi)存多，而且檢測速度相對較慢，而YOLOv5s使得模型更加輕量化，檢測速度更快。本研究基于YOLOv5s訓(xùn)練自然環(huán)境下的柑橘檢測專用模型，平均檢測速度分別達(dá)到27和32幀/s，完全滿足檢測的實(shí)時性要求。

a)Faster R-CNN+Resnet50；b)Faster R-CNN+VGG16；c)YOLOv5s。圖8 不同模型不同遮擋或者重果環(huán)境下的柑橘檢測效果Fig. 8 Orange detection effect using different occlusions or heavy fruit environments of different models

自然環(huán)境下除了考慮上述因素，還會出現(xiàn)一些小尺寸柑橘，將相關(guān)圖像進(jìn)行采集測試，可得到Y(jié)OLOv5s試驗(yàn)的檢測結(jié)果，如圖9所示。

圖9 小尺寸柑橘檢測情況Fig. 9 Small size citrus detection situation

3 結(jié) 論

1)提出了一種基于YOLOv5s的自然環(huán)境下柑橘檢測方法，基于YOLOv5s深度學(xué)習(xí)框架，結(jié)合自然環(huán)境下柑橘的兩種顏色特征，分別進(jìn)行多次試驗(yàn)，最終訓(xùn)練得到的模型在黃、綠兩種柑橘驗(yàn)證集上的平均精度分別達(dá)到了97.40%與97.20%，平均檢測速度達(dá)到27和32幀/s，可滿足實(shí)時性要求。

2)對比其他算法的通用性，對于黃色柑橘，YOLOv5s模型與基于VGG16的Faster R-CNN模型以及基于Resnet的Faster R-CNN模型相比：精確率分別提高了51.54%和40.84%；召回率分別提高了41.08%和37.83%；F1分別提高了0.46和0.38；平均精度分別提高了45.51%和41.18%；平均檢測速度分別提高了22和23幀/s。

3)對比其他算法的通用性，對于綠色柑橘，YOLOv5s模型與基于VGG16的Faster R-CNN模型以及基于Resnet的Faster R-CNN模型相比：精確率分別提高了21.38%和17.88%；召回率分別提高了3.65%和3.36%；F1分別提高了0.12和0.10。平均精度分別提高了4.38%和4.13%；平均檢測速度分別提高了25和26幀/s。

4)YOLOv5s模型對于光照、重果、遮擋以及小尺寸柑橘的檢測都有很好的表現(xiàn)。

綜上所述，本研究針對柑橘成熟之后存在黃色和綠色兩種顏色特征，提出了針對兩種特征的通用檢測方案，試驗(yàn)結(jié)果有利于后續(xù)開展機(jī)器采摘和柑橘估產(chǎn)研究工作。