基于YOLOv5深度學習的茶葉嫩芽估產方法

徐海東 馬 偉 譚 彧 劉星星* 鄭永軍 田志偉

(1.中國農業(yè)大學 工學院，北京 100083；2.中國農業(yè)科學院 都市農業(yè)研究所，成都 610213)

我國是茶葉生產大國，2021年茶葉產量318萬t，茶葉產量居世界第一[1]。茶葉估產能夠在采收時間和采摘量之間尋求收益最大化時提供可靠的數(shù)據(jù)支持，直接關系到農戶的經濟收入?，F(xiàn)有的茶葉估產主要依靠茶農的種植經驗或直接采摘后稱重估計產量，這種方法獲取產量信息較為滯后，不能在茶葉生長時期提供相關的產量數(shù)據(jù)支持，不利于茶葉生長的前期管理。

目前，針對小麥、大豆、油菜等大規(guī)模種植的經濟作物估產技術已經較為成熟。常用的估產方法有田間抽樣調查法、農業(yè)氣象模型估產法、基于光譜指數(shù)的作物估產法、基于圖像的作物估產法[2]。田間抽樣調查主要步驟為：在大田中按面積等距或者按組平均抽樣法選取若干代表性小田塊，水稻成熟后，收獲小田塊中水稻，并對其進行人工脫粒和后續(xù)的一系列考種步驟，提取產量相關四因素，進一步利用公式折算出該片田塊的水稻產量數(shù)據(jù)[3]?，F(xiàn)有利用農業(yè)氣象模型估算產量的方法，大都是研究對作物產量貢獻性較大的氣象因子，分析氣象因子之間相關性，進而利用回歸建模預估最終作物的產量情況[4]，陳冬梅等[5]使用自適應增強的BP模型，結合59個縣市的地面氣象數(shù)據(jù)，對浙江省的茶葉產量進行了預測。遙感估產主要利用多光譜相機來獲取作物不同光譜波段下的反射指數(shù)信息，結合作物農藝學性狀，綜合構建產量預估模型[6]。王鵬新等[7]使用遙感技術，選取玉米植被溫度系數(shù)和葉面積指數(shù)為特征變量，使用極限梯度提升算法和隨機森林算法對玉米單產進行估測，估計了河北中部平原玉米單產。使用氣象模型和光譜指數(shù)的估產方法主要應用于大規(guī)模作物估產，對于個體農戶的小規(guī)模作物的估產手段還較為缺乏。

隨著計算機技術的發(fā)展，已經有了很多成熟的深度學習算法用以檢測目標的數(shù)量，主要可分為2類：一類是以YOLO[8-11]和SSD[12-14]為代表的一階段快速檢測算法，其優(yōu)點是速度快，但檢測精度相對較低；另外一類是以區(qū)域卷積神經網絡R-CNN[15-17]為代表的二階段檢測算法，優(yōu)點是準確度高，缺點是速度相比于一階檢測算法較慢。

綜上，現(xiàn)有的田間估產主要方法是遙感估產，依賴于遙感數(shù)據(jù)與樣本產量間的映射模型，常用于大規(guī)模農作物估產。對于小規(guī)模茶園估產，相關研究報道較少。本研究擬使用YOLOv5目標檢測算法識別茶葉嫩芽并計算嫩芽數(shù)目，再使用田間抽樣法，通過目標檢測算法獲取抽樣點的嫩芽數(shù)目，并利用最小二乘法建立產量預估模型，最后按照估產模型估算出茶園嫩芽的產量，以期在茶葉生長時期為農戶提供茶葉嫩芽產量相關的數(shù)據(jù)支撐，便于茶葉生產的前期管理。

1 材料與方法

1.1 數(shù)據(jù)集采集

試驗地點位于四川省都江堰市的青城道茶觀光園，試驗茶葉品種為青城道茶，數(shù)據(jù)采集時間為分別為2021年4月、7月和9月。

圖像采集設備為Intel RealSense D435i攝像頭，分辨率為1 920像素×1 080像素。采集春茶、夏茶、秋茶圖像共計1 000張，作為試驗所用數(shù)據(jù)集。模型訓練測環(huán)境為Intel Corei7-10750H CPU@2.60 GHz，NVIDIA GeForce RTX2060，16 G內存，軟件環(huán)境為Python3.6，Pytorch深度學習框架，操作系統(tǒng)為Windows10。

1.2 圖像預處理

使用在線工具makesense.ai對茶葉圖像數(shù)據(jù)進行標注。標注對象為嫩芽的一葉一芽，標注完成后對標注文件進行了歸一化處理，使得在訓練的時候能夠更快地讀取數(shù)據(jù)。

共標注圖像1 000張，其中800張用于目標檢測算法的訓練，200張用于算法的測試。由于訓練算法模型需要大量的圖像數(shù)據(jù)，因此對數(shù)據(jù)集進行數(shù)據(jù)增強操作。數(shù)據(jù)增強的方式包括添加噪聲、旋轉、鏡像等步驟(圖1)，可提高目標檢測算法的泛化能力。本試驗中，選擇添加高斯噪聲到原始圖像中，這是由于在實際環(huán)境中，噪聲通常不是由單一來源引起的，而是來自許多不同來源的噪聲的復合體。假設實噪聲是具有不同概率分布的非常多隨機變量的加法和，并且每個隨機變量都是獨立的，則隨著噪聲源數(shù)量的增加，它們的歸一化和將收斂為高斯分布，因此在算法模型中添加高斯噪聲可以更好地適應實際場景的應用，提高算法模型的魯棒性。使用數(shù)據(jù)增強的方式將原有800張訓練集擴充至8 000張。

圖1 茶葉圖像數(shù)據(jù)增強Fig.1 Tea image data enhancement

1.3 YOLOv5算法模型

YOLO是一種基于回歸的目標檢測算法。經過不斷的發(fā)展，算法迭代到目前最新的YOLOv5系列。與R-CNN系列的目標檢測算法相比，YOLO算法在保證精度的前提下顯著的提高了模型的運行速度。YOLOv5目標檢測算法是基于YOLOv3的改進算法，采用多尺度預測方法，可以同時檢測不同大小的圖像特征的目標。因此，YOLOv5目標檢測算法在算法精度和運行時間方面相較之前版本都有了較大提升，適合用于茶園場景中的茶葉嫩芽檢測。YOLOv5目標檢測算法的網絡結構主要分為Input、Backbone、Neck、Prediction這4個部分(圖2)。

圖2 YOLOv5網絡模型Fig.2 YOLOv5 network model

YOLOv5目標檢測算法的基本原理是：將輸入圖像分成7×7的網格，每個網格負責預測以該網格單元為中心的目標邊界框及其相應的置信度值；生成預測框后，按非極大抑制篩選最后結果(圖3)。

1.4 估產模型建立

本研究提出的茶葉嫩芽估產方法分為2部分：1)采集茶葉嫩芽圖像數(shù)據(jù)訓練目標檢測算法，用以快速地檢測出茶葉嫩芽的數(shù)目；2)擬合茶葉嫩芽數(shù)目與產量間的關系，獲得茶葉嫩芽產量。

在標準化種植的茶園中(圖4)，茶壟的寬度約為100 cm，兩條茶壟的間距約為60 cm，茶壟之間分布較為均勻，茶壟的頂部可近似一個平面，茶葉嫩芽豎直生長在茶壟的表面。因此可通過抽樣調查法，在茶園中抽取若干抽樣點，通過目標檢測算法計算抽樣點的茶葉數(shù)目，并結合抽樣面積計算茶葉嫩芽生長密度，進而利用數(shù)學模型估算茶園嫩芽產量，本研究用嫩芽的質量表示產量。

根據(jù)抽樣點茶葉嫩芽數(shù)量建立估產模型步驟如下。

1)計算出抽樣區(qū)域面積S，根據(jù)識別的茶葉嫩芽數(shù)Ne，估算幼苗種植密度Re：

(1)

圖3 YOLOv5檢測原理Fig.3 YOLOv5 detection principle

圖4 標準化種植茶園整體圖Fig.4 Overall view of the standardize tea plantation

2)根據(jù)茶場總面積ST估算茶葉嫩芽總數(shù)P：

P=ReST

(2)

3)根據(jù)嫩芽數(shù)量與產量之間的關系確定茶園總產量M：

M=k·P+b

(3)

式中：k為線性關系的比例系數(shù)；b為偏差。

4)聯(lián)合式(1)、(2)和(3)可得出茶葉產量M的計算方法：

(4)

2 結果與分析

2.1 茶葉嫩芽數(shù)目與產量的關系

在茶園中采收約500 g茶葉嫩芽，茶葉嫩芽的外形特征見圖5。嫩芽高度約為18 mm，寬度約8 mm，大小分布較為均勻，因此可初步做出假設，茶葉嫩芽的數(shù)目與質量之間有較好的線性關系。

圖5 茶葉嫩芽外形特征Fig.5 Tea shoot shape characteristics

設計試驗從人工采收的嫩芽中稱取10，20，…，80 g共8份茶葉嫩芽，每個質量獨立稱取3次(稱完一次質量后需將嫩芽放回，重新從采收到的嫩芽中稱取該質量的嫩芽)，記錄每個質量下的茶葉嫩芽數(shù)目，計算3次嫩芽數(shù)目的平均值，最后利用最小二乘法擬合出茶葉嫩芽數(shù)目與質量間的關系(圖6)。

圖6 茶葉嫩芽數(shù)目與質量的線性關系Fig.6 Linear relationship between number of tea shoots and quality

最小二乘法確定茶葉嫩芽與質量之間的線性關系為：

M=0.100 3P-0.142 3

(5)

線性擬合關系中，決定系數(shù)R2=0.999 8，表明茶葉嫩芽的數(shù)目和質量之間有高度線性關系，因此使用茶葉數(shù)目估計茶葉產量是可行的。

2.2 YOLOv5訓練結果及不同算法對比分析

2.2.1評價指標

為評價圖像識別算法的性能，本研究選取精度(P)和平均準確率(Mean average precision，MAP)作為算法的主要評價指標。計算公式分別如下：

(6)

(7)

式中：TP(True positive)表示正樣本預測正確的數(shù)量；FN(False negative)為負樣本預測錯誤的數(shù)量；FP(False positive)為正樣本預測錯誤的數(shù)量；TN(True negative)為負樣本預測正確的數(shù)量；p(r)為不同查準率r下對應的查全率；Api為第i類的檢測準確率，N為類別數(shù)量。

2.2.2YOLOv5訓練結果分析

茶葉嫩芽檢測模型共訓練3 000次，結果見圖7?？梢姡柧氝_到約300次時模型精度提升最快，在500次左右時模型精度趨于穩(wěn)定，最終模型的精度為99.02%。在訓練到500次左右模型平均準確率提升較快，在2 500次左右趨于穩(wěn)定，最終平均準確率為90.14%，基本滿足茶葉嫩芽檢測需求。

圖7 茶葉嫩芽檢測模型訓練結果Fig.7 Tea shoot detection model training results

2.2.3不同檢測算法對比分析

表1示出YOLOv5、SSD和Faster R-CNN算法對相同數(shù)據(jù)集的訓練結果。在平均檢測時間上，YOLOv5對單張圖片的處理時間為9 ms，略優(yōu)于SSD，明顯優(yōu)于Faster R-CNN。這是由于使用了一階檢測算法的YOLOv5和SSD在對圖像進行處理的時候無需先生成特征框，使得其識別速度快，要優(yōu)于使用二階檢測算法的Faster R-CNN。

表1 YOLOv5、SSD和Faster R-CNN算法對相同數(shù)據(jù)集的訓練結果Table 1 Training results of YOLOv5,SSD and Faster R-CNN algorithms on the same dataset

在圖像識別的準確率上，使用二階檢測算法的Faster R-CNN的平均準確率達到94.34%高于YOLOv5和SSD，但差距不太明顯。在網絡模型的大小上，YOLOv5的優(yōu)點體現(xiàn)的較為明顯，僅需13.7 MB，這使得YOLOv5適合在移動設備上使用。

綜合考慮平均準確率、檢測時間和網絡模型大小后選擇使用YOLOv5作為茶葉嫩芽的目標檢測算法。

2.3 田間估產試驗與分析

2.3.1評價指標

本研究使用相對誤差δ作為估產方法精度的評價指標，具體公式為：

(8)

式中：x表示估計產量；μ表示實際產量。

2.3.2估產試驗

估產試驗用到的茶葉圖像采集裝置見圖8，該裝置由攝像頭、圖像采集架和電腦組成，采集架的底部長和寬都為50 cm，抽樣區(qū)域面積為0.25 m2。攝像頭將采集到的圖像送入目標檢測算法中處理，先利用算法識別出抽樣區(qū)域內的茶葉嫩芽數(shù)量，再結合抽樣面積和茶園茶葉種植面積估算出茶園嫩芽總體數(shù)量，最后將嫩芽數(shù)量帶入式(5)估算出茶園茶葉產量。估產試驗在3條茶壟中隨機抽取了9個抽樣點，每條茶壟寬約1 m，長約50 m，試驗茶壟總面積為150 m2，茶園茶葉種植面積約為20 000 m2。

1.攝像頭；2.圖像采集架；3.圖像采集區(qū)域；4.電腦1.Camera；2.Image acquisition bracket;3.Image acquisition area;4.Computer圖8 茶葉圖像采集裝置Fig.8 Tea image acquisition device

田間試驗中抽樣點的茶葉嫩芽識別結果見表2?？梢姡垩總€數(shù)分布較為均勻，9個抽樣點嫩芽平均個數(shù)為12.11個，結合抽樣區(qū)域面積可計算嫩芽平均生長密度為48.44個/m2，可以此密度估算茶園茶葉嫩芽產量。抽樣點嫩芽的識別效果見圖9，可以看出本研究算法可以準確的識別出抽樣區(qū)域的茶葉嫩芽。

表2 抽樣點茶葉嫩芽識別結果Table 2 Identification results of tea buds at sampling points

由抽樣點茶葉嫩芽數(shù)量和嫩芽密度(表2)結合茶園面積可估算出茶園茶葉嫩芽產量，結果見表3。對于茶葉種植面積為150 m2的試驗茶地，估計產量為0.73 kg，實際采收產量為0.58 kg，相對誤差為25.86%。對于茶葉種植面積為20 000 m2的茶園，估計產量為97.17 kg，實際采收產量約為75 kg，相對誤差為29.56%。綜上，利用圖像數(shù)據(jù)識別的方法估計茶園嫩芽產量基本可行。

1.識別到的茶葉嫩芽；2.圖像采集架1.Identified tea buds;2.Image acquisition bracket圖9 抽樣點茶葉嫩芽識別效果Fig.9 Identification effect of tea buds at sampling points

表3 茶園茶葉嫩芽估產結果Table 3 Yield estimation results of tea buds in tea farm

3 結 論

本研究提出了一種基于YOLOv5的茶葉嫩芽估產方法，并在田間展開相關試驗工作驗證此方法的可靠性。主要結論如下：

1)YOLOv5算法可以用于茶葉嫩芽檢測。本研究算法對于茶葉嫩芽識別精度為99.02%，平均準確率為90.14%。

2)本研究算法可快速的估計出茶葉嫩芽產量。嫩芽估計產量與實際采收產量相對誤差為29.56%，證明本研究算法具有一定的可行性。如增加抽樣點樣本數(shù)量、提高茶場有效種植面積統(tǒng)計精度，可以進一步提茶葉嫩芽估產的準確性。

對于小規(guī)模的茶葉產量估計，本研究在傳統(tǒng)的田間抽樣調查法的基礎上做出改進，用圖像識別的方式替代了人工識別嫩芽，以抽樣點的茶葉生長情況為依據(jù)估算出茶園嫩芽的產量，為小規(guī)模茶園農戶提供茶葉嫩芽產量相關的數(shù)據(jù)支持，便于茶葉生產的前期管理。下一步可將本估產方法移植到手機中，農戶可通過手機攝像頭拍攝茶葉照片，快速的估計出茶園嫩芽產量。