摘要：為實(shí)現(xiàn)西梅采摘機(jī)器人在復(fù)雜自然生長(zhǎng)環(huán)境下對(duì)西梅果實(shí)的快速、準(zhǔn)確識(shí)別定位，提出一種基于圖像與深度信息融合的西梅果實(shí)識(shí)別定位方法。首先采集西梅圖像，并通過(guò)數(shù)據(jù)增強(qiáng)建立陰天、沙塵等環(huán)境和不同角度下的西梅圖像數(shù)據(jù)集，然后利用彩色圖像基于YOLOv7網(wǎng)絡(luò)模型快速識(shí)別西梅果實(shí)，獲取果實(shí)表面中心點(diǎn)，再通過(guò)匹配融合彩色圖和深度信息，采用深度距離分割剔除背景干擾噪聲，實(shí)現(xiàn)西梅果實(shí)表面中心點(diǎn)的三維空間定位。試驗(yàn)結(jié)果表明，西梅果實(shí)識(shí)別模型可在多種果實(shí)生長(zhǎng)分布場(chǎng)景下實(shí)現(xiàn)西梅果實(shí)的識(shí)別，其識(shí)別F1值最高為95.8%，最低為83.2%；融合圖像與深度信息的定位方法具有良好的定位效果，當(dāng)深度距離小于1 m時(shí)，算法在各軸向上的定位誤差均在0.005 m內(nèi)；當(dāng)深度距離為1.5 m時(shí)，誤差最高為0.013 m，可滿(mǎn)足西梅果實(shí)的識(shí)別定位要求。

關(guān)鍵詞：西梅；目標(biāo)識(shí)別；三維定位；信息融合；YOLOv7

中圖分類(lèi)號(hào)：S662.4； TP391.4" " " 文獻(xiàn)標(biāo)識(shí)碼：A" " " 文章編號(hào)：2095?5553 （2024） 09?0172?06

Recognition and positioning method of prune fruit based on fusion of image

and depth information

Xiong Mingming Li Xiaojuan

（1. College of Mechanical Engineering， Xinjiang University， Urumqi， 830017， China; 2. Postdoctoral Research Station， Xinjiang Institute of Industrial Economics and Information Technology， Urumqi， 830091， China）

Abstract： In order to realize the rapid and accurate identification and positioning of prune fruit by the prune picking robot in the complex natural growth environment， a method for prune fruit identification and positioning based on the fusion of image and depth information was proposed. Firstly， the image of prune was collected， and data enhancement was used to establish prune image data sets under cloudy days， dusty environment and different angles， and then the color image was used to quickly identify prune fruits based on the YOLOv7 network model， the center point of the fruit surface was obtained. By matching and blending the color image and depth information， the depth distance segmentation was adopted to eliminate" the background interference noise， to realize the three?dimensional spatial positioning of the center point on the prune fruit surface. The experimental results show that the prune fruit recognition model can realize the recognition of prune fruits in a variety of fruit growth and distribution scenarios， and its recognition F1 value is 95.8% at the highest and 83.2% at the lowest， the positioning method of fusion image and depth information has a good effect positioning effect， when the depth distance is less than 1 m， the positioning error of the algorithm in each axis is within 0.005 m， when the distance is 1.5 m， the maximum error is up to 0.013 m， which can meet the requirements of recognition and positioning of prune fruit.

Keywords： prune; object identification; three?dimensional positioning; information fusion; YOLOv7

0 引言

新疆喀什地區(qū)是我國(guó)西梅種質(zhì)資源、果品的主要分布和集中產(chǎn)區(qū)之一。西梅果實(shí)采收仍依賴(lài)人工，受產(chǎn)業(yè)高速發(fā)展影響，西梅生產(chǎn)需求同勞動(dòng)力短缺矛盾日趨顯現(xiàn)。因此，探索更為高效、自動(dòng)化、智能化的采摘方式是西梅產(chǎn)業(yè)發(fā)展的必然趨勢(shì)，其中果實(shí)識(shí)別定位是西梅智能采摘的關(guān)鍵性支撐技術(shù)。

近年來(lái)，國(guó)內(nèi)外學(xué)者根據(jù)不同的視覺(jué)處理算法開(kāi)展了果實(shí)采摘點(diǎn)的識(shí)別定位研究，分為基于色值[1， 2]、形態(tài)[3， 4]的傳統(tǒng)圖像處理方法[1?4]和基于神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)方法[5?9]。Benavides等[1]通過(guò)基于顏色特征的變換和形態(tài)學(xué)操作識(shí)別分割單個(gè)番茄果實(shí)區(qū)域，實(shí)現(xiàn)番茄果實(shí)中心和果梗的二維定位。寧政通等[8]根據(jù)葡萄生長(zhǎng)特點(diǎn)，采用改進(jìn)Mask R-CNN結(jié)合區(qū)域生長(zhǎng)算法分割果梗，計(jì)算果梗區(qū)域質(zhì)心，進(jìn)而確定采摘點(diǎn)。上述研究雖然實(shí)現(xiàn)了果實(shí)的識(shí)別定位，但僅是對(duì)平面圖像信息進(jìn)行處理，未能實(shí)現(xiàn)果實(shí)采摘點(diǎn)的空間三維定位。

隨著深度相機(jī)技術(shù)發(fā)展，根據(jù)不同的定位原理，學(xué)者們開(kāi)展了果實(shí)的定位研究，分為飛行時(shí)間法（ToF）[10?13]、雙目視覺(jué)法[14， 15]和結(jié)構(gòu)光法[16?18]。麥春艷等[10]通過(guò)基于飛行時(shí)間的深度相機(jī)獲取目標(biāo)點(diǎn)云信息，對(duì)蘋(píng)果果樹(shù)進(jìn)行三維重構(gòu)，并以色彩分割和立體形狀提取實(shí)現(xiàn)果實(shí)的識(shí)別與定位。羅陸鋒等[14]基于雙目立體視覺(jué)，通過(guò)圖像分割、霍夫直線、圓檢測(cè)和立體匹配法進(jìn)行葡萄的識(shí)別與定位，構(gòu)建葡萄空間包圍體。Cupec等[16]驗(yàn)證了RGB-D相機(jī)通過(guò)檢測(cè)凸特性來(lái)檢測(cè)水果的有用性，但僅使用深度圖像來(lái)檢測(cè)水果，會(huì)導(dǎo)致水果過(guò)度分割或分割不足，檢測(cè)精度較低。上述研究的開(kāi)展，驗(yàn)證了將機(jī)器視覺(jué)與不同定位方法結(jié)合實(shí)現(xiàn)果實(shí)識(shí)別定位的可行性，但適用性、實(shí)時(shí)性有限，難以適應(yīng)生產(chǎn)需要。

西梅果實(shí)嬌小、果梗細(xì)短，呈團(tuán)簇狀生長(zhǎng)分布，存在果實(shí)交相重疊、枝葉遮蔽掩擋、自然光照環(huán)境變化多樣等非可控因素，傳統(tǒng)圖像處理方法特征設(shè)計(jì)難度大、算法泛化和魯棒性差，現(xiàn)行高精度深度學(xué)習(xí)方法存在部署能力弱、資源需求大等問(wèn)題；基于飛行時(shí)間和雙目視覺(jué)的定位方法，檢測(cè)精度有限、計(jì)算復(fù)雜且耗時(shí)高，同時(shí)，目前未見(jiàn)針對(duì)西梅果實(shí)采摘識(shí)別定位的研究。為實(shí)現(xiàn)在復(fù)雜自然環(huán)境下西梅果實(shí)的快速、精準(zhǔn)識(shí)別定位，結(jié)合結(jié)構(gòu)光法深度相機(jī)技術(shù)和快速、精準(zhǔn)且易于部署的YOLOv7網(wǎng)絡(luò)，提出一種基于圖像與深度信息融合的西梅果實(shí)識(shí)別定位方法。

1 算法構(gòu)成與數(shù)據(jù)集構(gòu)建

1.1 算法構(gòu)成

基于圖像與深度信息融合的西梅果實(shí)識(shí)別定位算法，由彩色、深度圖獲取、映射匹配、背景干擾噪聲剔除、基于YOLOv7網(wǎng)絡(luò)西梅果實(shí)檢測(cè)識(shí)別和基于圖像與深度信息融合西梅果實(shí)定位五部分組成，算法流程如圖1所示。

1.2 數(shù)據(jù)集構(gòu)建

1） 數(shù)據(jù)集采集與篩選。本文西梅圖像數(shù)據(jù)采集自新疆喀什地區(qū)伽師縣西梅種植基地。根據(jù)拍攝時(shí)景別的遠(yuǎn)近、果實(shí)的疏密程度和被遮擋果實(shí)的遮擋類(lèi)別，選取2 870幅西梅圖像組成西梅數(shù)據(jù)集。遠(yuǎn)近景別以拍攝時(shí)距果實(shí)遠(yuǎn)近為依據(jù)，1 m以?xún)?nèi)為近景；疏密程度以果實(shí)間距離、層疊數(shù)為基準(zhǔn)，間距寬松、層疊2層以下為稀疏；輕重遮擋以被遮擋果實(shí)整體輪廓可見(jiàn)程度判斷，整體輪廓可見(jiàn)為輕遮擋。

2） 數(shù)據(jù)集標(biāo)注與增強(qiáng)。通過(guò)LabelImg對(duì)西梅數(shù)據(jù)圖像進(jìn)行標(biāo)注，引入圖像數(shù)據(jù)增強(qiáng)技術(shù)，通過(guò)進(jìn)行圖像亮度、色調(diào)、噪聲、翻轉(zhuǎn)、平移、裁剪、旋轉(zhuǎn)等調(diào)整操作模擬西梅在不同天氣環(huán)境和觀察角度下的果實(shí)狀態(tài)，同步擴(kuò)充標(biāo)注后的西梅數(shù)據(jù)集中圖像和標(biāo)簽至8 610個(gè)，部分增強(qiáng)效果如圖2所示，并將數(shù)據(jù)集按照7∶1∶2比例隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集。

2 西梅識(shí)別定位方法

2.1 基于YOLOv7西梅果實(shí)識(shí)別

2.1.1 西梅果實(shí)檢測(cè)識(shí)別網(wǎng)絡(luò)

西梅果實(shí)檢測(cè)識(shí)別基于YOLOv7[19]網(wǎng)絡(luò)，其使用了高效層聚合網(wǎng)絡(luò)，采用模塊級(jí)參數(shù)重參數(shù)化、輔助頭檢測(cè)與動(dòng)態(tài)標(biāo)簽分配策略，具有較快的檢測(cè)速度和較高的檢測(cè)精度，其結(jié)構(gòu)如圖3所示。YOLOv7網(wǎng)絡(luò)由Input（輸入）、Backbone（骨干網(wǎng)絡(luò)）、Head（頭部）三部分組成，Input提供數(shù)據(jù)輸入，Backbone用于提取特征，Head用于預(yù)測(cè)。西梅果實(shí)圖像輸入YOLOv7網(wǎng)絡(luò)后，經(jīng)圖片預(yù)處理統(tǒng)一縮放為640像素×640像素的分辨率大小，通過(guò)80×80、40×40、20×20三種不同尺度的特征圖實(shí)現(xiàn)西梅大、中、小目標(biāo)的檢測(cè)，并獲得在每種尺度特征圖下3種不同尺寸的錨點(diǎn)，對(duì)各尺度特征圖進(jìn)行邊界框預(yù)測(cè)，最終獲取包含檢測(cè)框坐標(biāo)、檢測(cè)類(lèi)別和檢測(cè)置信度的西梅目標(biāo)預(yù)測(cè)信息。

2.1.2 西梅果實(shí)表面中心點(diǎn)獲取

相機(jī)采集的彩色圖經(jīng)過(guò)YOLOv7網(wǎng)絡(luò)識(shí)別后，得到果實(shí)矩形檢測(cè)框信息，其位置由像素坐標(biāo)系下檢測(cè)框左上角點(diǎn)PTL（xTL，yTL）和右下角點(diǎn)PBR（xBR，yBR）坐標(biāo)確定，則檢測(cè)框中心點(diǎn)為[PCP（xTL+xBR2，yTL+yBR2）]，將西梅果實(shí)檢測(cè)框的中心點(diǎn)作為西梅果實(shí)表面中心點(diǎn)，如圖4所示。

2.2 基于圖像與深度信息融合西梅果實(shí)定位

2.2.1 圖像與深度信息融合

本文通過(guò)Intel RealSense? Depth Camera D435i立體視覺(jué)深度相機(jī)采集西梅果實(shí)場(chǎng)景的彩色和深度圖像，如圖5所示。因深度相機(jī)中不同傳感器參數(shù)和成像大小存在差異，采集的彩色圖和深度圖未一一對(duì)應(yīng)，故需對(duì)彩色圖和深度圖配準(zhǔn)，將深度圖映射到彩色圖上，實(shí)現(xiàn)圖像與深度信息的融合，獲取彩色圖各像素點(diǎn)對(duì)應(yīng)的深度值。

2.2.2 背景干擾噪聲剔除

西梅果實(shí)生長(zhǎng)分布場(chǎng)景復(fù)雜，前后景物混合疊加且噪聲多，導(dǎo)致西梅果實(shí)識(shí)別定位效果差。為解決以上問(wèn)題，根據(jù)采摘機(jī)器人作業(yè)可達(dá)范圍，將范圍內(nèi)的景物視為前景，其余視為背景，通過(guò)前、背景深度距離限制剔除復(fù)雜且無(wú)用的環(huán)境背景干擾噪聲，提高果實(shí)識(shí)別準(zhǔn)度，保障果實(shí)定位精度。深度距離分界定義如式（1）所示，剔除背景的色彩與深度融合圖像如圖6所示。

2.2.3 西梅果實(shí)中心點(diǎn)三維定位

經(jīng)檢測(cè)識(shí)別網(wǎng)絡(luò)得到的基于像素坐標(biāo)系的西梅果實(shí)表面中心點(diǎn)坐標(biāo)P（u，v），需在彩色圖和深度圖配準(zhǔn)映射后，經(jīng)過(guò)坐標(biāo)轉(zhuǎn)換，得到基于相機(jī)坐標(biāo)系下的西梅果實(shí)表面中心點(diǎn)三維坐標(biāo)PCP（xCP，yCP，zCP），實(shí)現(xiàn)空間三維定位，轉(zhuǎn)換公式如式（2）所示。

3 結(jié)果與分析

3.1 模型訓(xùn)練與性能評(píng)估

3.1.1 訓(xùn)練環(huán)境及參數(shù)設(shè)置

模型訓(xùn)練采用Windows11 64位系統(tǒng)、PyTorch等軟件環(huán)境和Intel i5-11400H中央處理器，GeForce RTX 3050 顯卡、16 GB運(yùn)行內(nèi)存等硬件配置。采用YOLOv7網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，參數(shù)設(shè)置如表1所示。

3.1.2 模型評(píng)估和最優(yōu)模型選取

本文選擇衡量模型檢測(cè)效果和評(píng)估模型整體性能的評(píng)價(jià)指標(biāo)包含準(zhǔn)確率（Precision，P）、召回率（Recall，R）、平均精度均值（mean Average Precision，mAP），計(jì)算如式（3）～式（5）所示。

經(jīng)過(guò)500輪訓(xùn)練迭代后，繪制交并比閾值為0.5時(shí)的平均精度均值變化曲線，如圖7所示。由圖7可以看出，模型在前11次迭代時(shí)，mAP值變化迅速，在迭代117次之后，趨于穩(wěn)定，呈小幅度振蕩。從117～500次迭代中選取第426次迭代生成的模型為最優(yōu)模型，此時(shí)mAP值達(dá)到最大，為0.974 6。

3.2 西梅果實(shí)識(shí)別測(cè)試

采用由精確率和召回率的調(diào)和均值表征的物體檢測(cè)模型綜合評(píng)價(jià)指標(biāo)F1值評(píng)估模型的識(shí)別性能，如式（6）所示。

為驗(yàn)證本文網(wǎng)絡(luò)模型的識(shí)別性能，對(duì)不同場(chǎng)景下的西梅果實(shí)測(cè)試集圖像進(jìn)行識(shí)別測(cè)試，統(tǒng)計(jì)不同場(chǎng)景下西梅果實(shí)識(shí)別結(jié)果，如表2所示，部分識(shí)別效果如圖8所示。

由表2可知，本文模型在近景別下的識(shí)別效果優(yōu)于遠(yuǎn)景別識(shí)別效果，近景別識(shí)別F1值均在91%以上，遠(yuǎn)景別F1值最高為91.2%，最低為83.2%；同時(shí)，在同景別下稀疏場(chǎng)景的識(shí)別效果總體要優(yōu)于密集場(chǎng)景；在任意場(chǎng)景下，當(dāng)果實(shí)存在遮擋時(shí)，果實(shí)在輕遮擋的識(shí)別F1值均高于果實(shí)在重遮擋的識(shí)別的值。本文模型F1值最高為95.8%，最低為83.2%。

3.3 果實(shí)定位測(cè)試

使用本文識(shí)別定位算法計(jì)算西梅果實(shí)表面中心點(diǎn)理論三維坐標(biāo)P_{Theoretical Value}（xTV，yTV，zTV）。試驗(yàn)時(shí)，固定相機(jī)于支架，在經(jīng)過(guò)手眼標(biāo)定的機(jī)械臂關(guān)節(jié)末端安裝探針，移動(dòng)西梅果實(shí)標(biāo)靶至不同距離、高度處，將機(jī)械臂末端探針端點(diǎn)運(yùn)動(dòng)到西梅果實(shí)表面中心點(diǎn)，設(shè)在X、Y、Z方向上的定位誤差分別為Δx、Δy、Δz，計(jì)算統(tǒng)計(jì)探針端點(diǎn)P_{Measured Value}（xMV，yMV，zMV）與P_{Theoretical Value}（xTV，yTV，zTV）]的坐標(biāo)差值，取同深度下誤差均值為當(dāng)前深度誤差，并繪制不同深度距離下的定位誤差曲線，如圖9所示。果實(shí)表面中心點(diǎn)三維定位測(cè)試場(chǎng)景如圖10所示。

由圖9可以看出，定位誤差隨著距離的增大呈上升趨勢(shì)，當(dāng)深度距離小于1 m時(shí)，各軸向上的定位誤差均小于0.005 m；當(dāng)深度距離大于1 m時(shí)，其Z軸方向誤差較其他軸誤差增速明顯；當(dāng)深度距離為1.5 m時(shí)，最大誤差來(lái)源自Z軸方向，其定位誤差為0.013 m。深度誤差增大的主要原因是果實(shí)目標(biāo)在視野內(nèi)的大小變化，受相機(jī)獲取深度距離原理和精度限制，越小的果實(shí)獲取的數(shù)據(jù)參數(shù)量越少，從而影響果實(shí)表面中心點(diǎn)識(shí)別定位精度，造成誤差。在采摘機(jī)械臂可達(dá)工作范圍內(nèi)，其毫米級(jí)定位誤差滿(mǎn)足采摘精度要求，同時(shí)，通過(guò)末端采摘執(zhí)行器的容差設(shè)計(jì)可消除誤差的影響。

4 結(jié)論

1） 針對(duì)西梅采摘機(jī)器人在復(fù)雜自然生長(zhǎng)環(huán)境下對(duì)西梅果實(shí)的快速、準(zhǔn)確識(shí)別定位需求，本文研究基于YOLOv7網(wǎng)絡(luò)模型和圖像與深度信息融合的西梅果實(shí)識(shí)別定位方法。本文方法對(duì)不同場(chǎng)景下的西梅果實(shí)具有良好的識(shí)別定位效果，可以滿(mǎn)足采摘機(jī)器人采摘工作對(duì)果實(shí)識(shí)別定位的需求。

2） 本文方法對(duì)不同生長(zhǎng)場(chǎng)景下的西梅果實(shí)，其識(shí)別F1值最高是近景稀疏輕遮擋果實(shí)為95.8%，最低是遠(yuǎn)景密集重遮擋果實(shí)為83.2%。定位誤差隨深度距離變化而變動(dòng)，當(dāng)深度距離小于1 m時(shí)，各軸向定位誤差均小于0.005 m；當(dāng)深度距離為1.5 m時(shí)，Z軸向誤差最大，為0.013 m，X、Y軸向誤差小于0.005 m。

參 考 文 獻(xiàn)

[ 1 ] Benavides M， Cantón?Garbín M， Sánchez?Molina J A， et al. Automatic tomato and peduncle location system based on computer vision for use in robotized harvesting [J]. Applied Sciences， 2020， 10（17）： 5887.

[ 2 ] 王曉慧， 周昆鵬. 自然環(huán)境中的紅色番茄圖像識(shí)別方法研究[J]. 浙江大學(xué)學(xué)報(bào)（農(nóng)業(yè)與生命科學(xué)版）， 2021， 47（3）： 395-403.

Wang Xiaohui， Zhou Kunpeng. Research on recognition methods for red tomato image in the natural environment [J]. Journal of Zhejiang University （Agriculture and Life Sciences）， 2021， 47（3）： 395-403.

[ 3 ] 熊俊濤， 鄒湘軍， 彭紅星， 等. 擾動(dòng)柑橘采摘的實(shí)時(shí)識(shí)別與采摘點(diǎn)確定技術(shù)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2014， 45（8）： 38-43.

[ 4 ] 梁喜鳳， 章艷. 串番茄采摘點(diǎn)的識(shí)別方法[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2016， 37（11）： 13l-134， 149.

Liang Xifeng， Zhang Yan. Recognition method of picking point for tomato cluster [J]. Journal of Chinese Agricultural Mechanization， 2016， 37（11）： 131-134， 149.

[ 5 ] Zheng C， Chen P， Pang J， et al. A mango picking vision algorithm on instance segmentation and key point detection from RGB images in an open orchard [J]. Biosystems Engineering， 2021， 206： 32-54.

[ 6 ] 畢松， 高峰， 陳俊文， 等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的柑橘目標(biāo)識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2019， 50（5）： 181-186.

Bi Song， Gao Feng， Chen Junwen， et al. Detection method of citrus based on deep convolution neural network [J]. Transactions of the Chinese Society for Agricultural Machinery， 2019， 50（5）： 181-186.

[ 7 ] 何斌， 張亦博， 龔健林， 等. 基于改進(jìn)YOLOv5的夜間溫室番茄果實(shí)快速識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2022， 53（5）： 201-208.

He Bin， Zhang Yibo， Gong Jianlin， et al. Fast recognition of tomato fruit in greenhouse at night based on improved YOLOv5 [J]. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（5）： 201-208.

[ 8 ] 寧政通， 羅陸鋒， 廖嘉欣， 等. 基于深度學(xué)習(xí)的葡萄果梗識(shí)別與最優(yōu)采摘定位[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2021， 37（9）： 222-229.

Ning Zhengtong， Luo Lufeng， Liao Jiaxin， et al. Recognition and the optimal picking point location of grape stems based on deep learning [J]. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（9）： 222-229.

[ 9 ] 趙德安， 吳任迪， 劉曉洋， 等. 基于YOLO深度卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜背景下機(jī)器人采摘蘋(píng)果定位[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2019， 35（3）： 164-173.

Zhao De'an， Wu Rendi， Liu Xiaoyang， et al. Apple positioning based on YOLO deep convolutional neural network for picking robot in complex background [J]. Transactions of the Chinese Society of Agricultural Engineering， 2019， 35（3）： 164-173.

[10] 麥春艷， 鄭立華， 孫紅， 等. 基于RGB-D相機(jī)的果樹(shù)三維重構(gòu)與果實(shí)識(shí)別定位[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2015， 46（S1）： 35-40.

Mai Chunyan， Zheng Lihua， Sun Hong， et al. Research on 3D reconstruction of fruit tree and fruit recognition and location method based on RGB-D camera [J]. Transactions of the Chinese Society for Agricultural Machinery， 2015， 46（S1）： 35-40.

[11] 劉德兒， 朱磊， 冀煒臻， 等. 基于RGB-D相機(jī)的臍橙實(shí)時(shí)識(shí)別定位與分級(jí)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2022， 38（14）： 154-165.

Liu De'er， Zhu Lei， Ji Weizhen， et al. Real?time identification， localization， and grading method for navel oranges based on RGB-D camera [J]. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（14）： 154-165.

[12] Malik M H， Qiu R， Gao Y， et al. Tomato segmentation and localization method based on RGB-D camera [J]. International Agricultural Engineering Journal， 2020， 28（4）： 278-287.

[13] 楊長(zhǎng)輝， 劉艷平， 王毅， 等. 自然環(huán)境下柑橘采摘機(jī)器人識(shí)別定位系統(tǒng)研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2019， 50（12）： 14-22， 72.

Yang Changhui， Liu Yanping， Wang Yi， et al. Research and experiment on recognition and location system for citrus picking robot in natural environment [J]. Transactions of the Chinese Society for Agricultural Machinery， 2019， 50（12）： 14-22， 72.

[14] 羅陸鋒， 鄒湘軍， 葉敏， 等. 基于雙目立體視覺(jué)的葡萄采摘防碰空間包圍體求解與定位[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2016， 32（8）： 41-47.

Luo Lufeng， Zou Xiangjun， Ye Min， et al. Calculation and localization of bounding volume of grape for undamaged fruit picking based on binocular stereo vision [J]. Transactions of the Chinese Society of Agricultural Engineering， 2016， 32（8）： 41-47.

[15] Wang C L， Tang Y C， Zou X J， et al. Recognition and matching of clustered mature litchi fruits using binocular charge?coupled device （CCD） color cameras [J]. Sensors， 2017， 17（11）： 2564.

[16] Cupec R， Filko D， Vidovi? I， et al. Point cloud segmentation to approximately convex surfaces for fruit recognition [C]. Proceedings of the Croatian Computer Vision Workshop， Zagreb， Croatia， 2014： 56-61.

[17] Zhang Fan， Gao Jin， Zhou Hang， et al. Three?dimensional pose detection method based on key points detection network for tomato bunch [J]. Computers and Electronics in Agriculture， 2022， 195： 106824.

[18] 馮青春， 程偉， 楊慶華， 等. 基于線結(jié)構(gòu)光視覺(jué)的番茄重疊果實(shí)識(shí)別定位方法研究[J]. 中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)， 2015， 20（4）： 100-106.

Feng Qingchun， Cheng Wei， Yang Qinghua， et al. Identification and localization of overlapping tomatoes based on linear structured light vision system [J]. Journal of China Agricultural University， 2015， 20（4）： 100-106.

[19] Wang C Y， Bochkovskiy A， Liao H Y M. YOLOv7： Train?able bag?of?freebies sets new state?of?the?art for real?time object detectors [J]. arXiv e?prints， 2022.