基于Faster R-CNN復(fù)雜背景的茶芽檢測

李赫，王玉，范凱，丁兆堂,2

(1.青島農(nóng)業(yè)大學(xué)園藝學(xué)院，山東青島 266109；2.山東省農(nóng)業(yè)科學(xué)院茶葉研究所，山東濟南 250108)

茶芽檢測在茶樹栽培管理和生產(chǎn)加工中具有重要意義：可以為快速判斷茶樹品種農(nóng)藝性狀提供支持，從而加速茶樹育種；可以為茶園產(chǎn)量測定、采收時間的判斷提供依據(jù)；可以為研發(fā)茶葉采摘與加工智能化設(shè)備提供技術(shù)支持。傳統(tǒng)茶芽檢測方法主要有3種：第1種依靠茶芽顏色和形狀特征來檢測，主要根據(jù)茶芽和老葉的顏色差異來區(qū)分茶芽和背景[1]；第2種基于傳統(tǒng)機器學(xué)習(xí)方法檢測茶芽[2]；第3種通過調(diào)整閾值將茶芽和背景分割以檢測茶芽[3]。然而在復(fù)雜背景下，傳統(tǒng)茶芽檢測方法準(zhǔn)確率低、穩(wěn)定性差，很難精準(zhǔn)地檢測到茶芽。

近年來，基于深度學(xué)習(xí)的目標(biāo)檢測算法發(fā)展迅速，這為精確定位并檢測目標(biāo)提供了技術(shù)支持。首先，R-CNN(region-convolutional neural network)作為將深度學(xué)習(xí)應(yīng)用于目標(biāo)檢測領(lǐng)域的先驅(qū)算法，創(chuàng)新性地將傳統(tǒng)機器學(xué)習(xí)和深度學(xué)習(xí)結(jié)合起來，推動了目標(biāo)檢測算法的發(fā)展[4]；隨后，研究人員通過改變網(wǎng)絡(luò)結(jié)構(gòu)，提出了SPP Net(spatial pyramid pooling network)[5]、Fast R-CNN[6]、Faster R-CNN[7]、YOLO(you only look once)[8]等目標(biāo)檢測優(yōu)化算法。但目前將基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)應(yīng)用于茶芽檢測難度較大，相關(guān)研究較少。

本文提出一種基于Faster R-CNN算法的茶芽檢測方法，該方法分別使用AlexNet[9]、ResNet50[10]、VGG19[11]3種網(wǎng)絡(luò)模型作為特征提取器提取茶芽特征，通過比較3種網(wǎng)絡(luò)模型對茶芽檢測的準(zhǔn)確率和召回率，篩選出茶芽特征提取能力和泛化能力好、檢測速度快、綜合性能優(yōu)的網(wǎng)絡(luò)模型。

1 材料與方法

1.1 設(shè)備與軟件

EOS 6D數(shù)碼相機，佳能(中國)有限公司；iPhone 8p手機，蘋果(中國)有限公司。數(shù)據(jù)分析操作環(huán)境為Windows 10，圖像數(shù)據(jù)分析軟件為MATLAB 2020。

1.2 圖像采集及數(shù)據(jù)集的劃分

需要采集足夠多的訓(xùn)練圖像[12]。茶芽圖像采集于2019年4月在山東省青島市瑞草園(36°42′N，120°56′E)和山東省日照市御園春(35°29′N，119°29′E)茶園進行。使用數(shù)碼相機(分辨率為5 184像素×3 456像素)和手機(分辨率為4 512像素×3 008像素)采集茶樹樹冠圖像，共拍攝400張，圖像存儲格式為JPEG，拍攝角度和拍攝距離隨機。將400張圖像按照4∶1劃分，用于訓(xùn)練集和測試集。拍攝茶芽圖像中，茶芽以外的信息為背景，背景主要包括茶樹老葉和枝干等。圖1為拍攝的一張茶樹樹冠照片。

圖1 茶樹樹冠照片F(xiàn)ig.1 A canopy photo of tea tree

1.3 數(shù)據(jù)增強和標(biāo)記

為提高檢測泛化能力，對采集的圖像從光照、尺度和顏色等方面進行數(shù)據(jù)增強處理，包括調(diào)整圖像光照強度，加深圖像顏色，調(diào)整圖像分辨率至730像素×530像素，水平翻轉(zhuǎn)圖像。然后，在MATLAB軟件中使用image labeler 9.2功能對320張增強處理后的圖像進行標(biāo)記，得訓(xùn)練集，其余80張圖像作為測試集以驗證檢測性能。目標(biāo)標(biāo)簽對應(yīng)的茶芽類型為一芽一葉或一芽兩葉。圖2為茶樹樹冠標(biāo)記處理后的圖像。標(biāo)簽數(shù)據(jù)以MAT格式保存，將它轉(zhuǎn)換為表格數(shù)據(jù)集格式并輸入Faster R-CNN算法中。

圖2 茶樹樹冠圖像的標(biāo)記處理Fig.2 Image labeling processing of tea tree’s canopy

1.4 茶芽檢測方法的設(shè)計

利用Faster R-CNN算法進行茶芽檢測，主要包括4步處理，分別為特征提取、區(qū)域候選網(wǎng)絡(luò)、感興趣區(qū)域?qū)映鼗头诸惢貧w，基本流程如圖3所示。

圖3 茶芽檢測方法的基本流程Fig.3 Basic flow of tea bud detection method

1.4.1 特征提取

特征提取器是Faster R-CNN算法的重要組成部分[13]，它的性能直接影響目標(biāo)檢測的性能。選取AlexNet、ResNet50、VGG19 3種性能較優(yōu)的網(wǎng)絡(luò)模型作為特征提取器來提取圖像特征，得到特征圖。3個特征提取器包含層的數(shù)量分別為8、50和19。一般來說，特征提取器包含層的數(shù)量越少，訓(xùn)練速度越快，特征提取器的性能越好。

1.4.2 區(qū)域候選網(wǎng)絡(luò)

區(qū)域候選網(wǎng)絡(luò)是一個二分類網(wǎng)絡(luò)，負(fù)責(zé)接收特征提取器提取到的特征圖，并將特征圖分為目標(biāo)茶芽與背景，然后使用接近于茶芽尺寸的方框框選出目標(biāo)茶芽。區(qū)域候選網(wǎng)絡(luò)只能粗略區(qū)分目標(biāo)茶芽與背景，無法對目標(biāo)茶芽和背景進行細(xì)致區(qū)分。

1.4.3 感興趣區(qū)域池化

感興趣區(qū)域池化層可以顯著提高訓(xùn)練和測試速度、檢測精度，對目標(biāo)茶芽和背景進行細(xì)致區(qū)分。感興趣區(qū)域池化層從區(qū)域候選網(wǎng)絡(luò)讀取不同區(qū)域的提名，并結(jié)合特征圖進行池化操作，從而獲得特征表達。

1.4.4 分類回歸

分類回歸由全連接層構(gòu)成，可以獲得區(qū)域的精確位置，去除背景，并框選出目標(biāo)茶芽。從感興趣區(qū)域池化層獲得的特征表達輸入全連接層后被分為兩組，分別進行回歸處理和目標(biāo)茶芽與背景的分類處理，從而框選出目標(biāo)茶芽。

1.5 參數(shù)設(shè)置

使用訓(xùn)練集對AlexNet、ResNet50、VGG19 3種網(wǎng)絡(luò)模型進行訓(xùn)練，使用測試集中的20張圖像進行測試，并在MATLAB 2020軟件中將最大迭代次數(shù)和學(xué)習(xí)率分別設(shè)置為20和0.05。根據(jù)檢測效果調(diào)整學(xué)習(xí)率，最終確定最大迭代次數(shù)和學(xué)習(xí)率分別為20和0.01。圖4為兩種學(xué)習(xí)率條件下VGG19網(wǎng)絡(luò)模型的茶芽檢測結(jié)果。從圖4可以看出，學(xué)習(xí)率影響茶芽檢測效果：學(xué)習(xí)率為0.01時，檢測到的目標(biāo)茶芽數(shù)量較多，檢測效果較好。

A.學(xué)習(xí)率為0.05；B.學(xué)習(xí)率為0.01。圖4 不同學(xué)習(xí)率條件下的茶芽檢測結(jié)果Fig.4 Tea bud detection results under different learning rates注：使用的網(wǎng)絡(luò)模型為VGG19。

1.6 網(wǎng)絡(luò)模型性能評估

為比較AlexNet、ResNet50和VGG19 3種網(wǎng)絡(luò)模型性能，使用準(zhǔn)確率P、召回率R[14]、F1分?jǐn)?shù)S來評估。

其中，T為能夠檢測出茶芽并可確定為茶芽的樣本數(shù)量，F(xiàn)為能夠檢測出茶芽但確定為非茶芽的樣本數(shù)量，N為不能檢測出茶芽的樣本數(shù)量。

1.7 茶芽數(shù)量級別劃分

為進一步比較不同茶芽數(shù)量條件下3種網(wǎng)絡(luò)模型的性能，將采集圖像分為3級，第1級茶芽數(shù)量1～5個，第2級茶芽數(shù)量6～10個，第3級茶芽數(shù)量超過10個[15]。每一級使用30張圖像進行測試。

2 結(jié)果與討論

2.1 網(wǎng)絡(luò)模型的性能

根據(jù)表1，使用ResNet50網(wǎng)絡(luò)模型時，茶芽檢測準(zhǔn)確率最高，為89.1%，但召回率最低，僅為73.3%。因此，ResNet50網(wǎng)絡(luò)模型不能很好地檢測茶芽。使用AlexNet網(wǎng)絡(luò)模型時，茶芽檢測準(zhǔn)確率和召回率都較低，這與AlexNet網(wǎng)絡(luò)模型結(jié)構(gòu)過于簡單有關(guān)。使用VGG19網(wǎng)絡(luò)模型時，茶芽檢測準(zhǔn)確率和召回率都超過85.0%，可以很好地檢測茶芽。比較三者的F1分?jǐn)?shù)，VGG19的最大，說明它的綜合性能最優(yōu)。圖5是VGG19網(wǎng)絡(luò)模型檢測到的一個茶芽。

表1 3種網(wǎng)絡(luò)模型的茶芽檢測結(jié)果Table 1 Tea bud detection results of three network models

圖5 使用VGG19網(wǎng)絡(luò)模型檢測到的一個茶芽圖像Fig.5 An image of tea bud detected by VGG19 network model注：方框內(nèi)是檢測到的一個茶芽。

2.2 茶芽數(shù)量對檢測性能的影響

由表2可知，隨著茶芽數(shù)量級別的提高，3種網(wǎng)絡(luò)模型茶芽檢測準(zhǔn)確率和F1分?jǐn)?shù)都逐漸降低，這說明隨著茶芽數(shù)量的增加，使用3種網(wǎng)絡(luò)模型茶芽檢測綜合性能均下降。其中，VGG19茶芽檢測準(zhǔn)確率保持在80.0%以上，召回率穩(wěn)定在85.0%以上，F(xiàn)1分?jǐn)?shù)保持在0.850以上，為最優(yōu)網(wǎng)絡(luò)模型。

表2 3種網(wǎng)絡(luò)模型對不同茶芽數(shù)量的檢測結(jié)果Table 2 Detection results of three network models for different numbers of tea bud

2.3 Faster R-CNN與SVM的比較

為比較深度學(xué)習(xí)方法和機器學(xué)習(xí)方法在茶芽檢測方面的性能，選擇VGG19網(wǎng)絡(luò)模型為特征提取器，比較Faster R-CNN算法與支持向量機(SVM)的茶芽檢測性能，結(jié)果如表3所示。由表3可知，基于Faster R-CNN算法茶芽檢測準(zhǔn)確率和召回率較高，綜合性能較好。

表3 Faster R-CNN與SVM茶芽檢測性能比較Table 3 Comparison of tea bud detection performance between Faster R-CNN and SVM

2.4 討論

比較了基于Faster R-CNN算法的AlexNet、ResNet50和VGG19 3種網(wǎng)絡(luò)模型對茶芽的檢測性能。VGG19茶芽檢測具有較高的準(zhǔn)確率和召回率，F(xiàn)1分?jǐn)?shù)最高，綜合性能最好。ResNet50茶芽檢測雖然準(zhǔn)確率最高，但召回率最低，F(xiàn)1分?jǐn)?shù)最低，綜合性能最差。與ResNet50相比，VGG19在茶芽檢測時具有較快的運行速度，這使得VGG19在訓(xùn)練大型數(shù)據(jù)集時具有優(yōu)勢。AlexNet茶芽檢測準(zhǔn)確率和召回率都較低，性能不突出。對不同茶芽數(shù)量的圖像檢測性能比較結(jié)果表明，隨著茶芽數(shù)量的增多，3種網(wǎng)絡(luò)模型的綜合性能均下降，但VGG19茶芽檢測的F1分?jǐn)?shù)始終保持在0.850以上，進一步說明它具有良好的綜合性能。綜上所述，VGG19網(wǎng)絡(luò)模型在茶芽檢測方面綜合性能好，能較好地解決復(fù)雜背景茶芽檢測準(zhǔn)確率低、穩(wěn)定性差等問題。Faster R-CNN算法與SVM算法比較結(jié)果表明，F(xiàn)aster R-CNN算法的茶芽檢測準(zhǔn)確率和召回率大于SVM算法，這與以往研究結(jié)果一致[17]。因此，深度學(xué)習(xí)可以應(yīng)用于復(fù)雜背景中的茶芽檢測，為茶樹產(chǎn)量特性評價、茶葉采摘與加工智能化機械設(shè)備研究提供技術(shù)支持。下一步可使用不同的深度學(xué)習(xí)算法或更多的采集數(shù)據(jù)進行研究，還可以探索使用多光譜成像或高光譜成像設(shè)備來擴增數(shù)據(jù)質(zhì)量，進一步提高檢測性能。

3 結(jié)論

以Faster R-CNN算法為框架，分別以AlexNet、ResNet50和VGG19網(wǎng)絡(luò)模型為特征提取器對復(fù)雜背景茶芽圖像進行檢測。結(jié)果表明，使用VGG19的茶芽檢測準(zhǔn)確率為86.3%，召回率為96.1%，綜合性能最好。表明本文提出的基于Faster R-CNN算法、以VGG19網(wǎng)絡(luò)模型為特征提取器的茶芽檢測方法可以應(yīng)用于復(fù)雜背景茶芽檢測。