基于機器視覺的無序堆放西瓜識別與定位技術

摘 要：【目的】研究一種基于機器視覺的西瓜識別與定位技術，滿足西瓜搬運設備的自動化要求，為自動搬運設備的視覺部分提供技術支持。

【方法】采集西瓜的二維圖像數(shù)據(jù)與三維點云數(shù)據(jù)。調用OpenCV函數(shù)庫分割西瓜二維圖像，提取出西瓜的外輪廓；采用PCL函數(shù)對三維點云數(shù)據(jù)進行預處理，并與二維圖像作圖形特征匹配，提取出頂層西瓜的質心點。

【結果】單輪次的西瓜輪廓總識別率為97.62%，正確識別率為95.58%，質心識別率為92.72%。20輪測試的總輪廓識別率為98.02%，總正確識別率為96.53%，總質心識別率為94.17%，總質心個數(shù)和總西瓜個數(shù)之間的誤差率為2.36%；西瓜圖像處理的總用時為101.8s，效率提高了77.8%。

【結論】基于機器視覺的西瓜識別與定位技術識別率較高且誤差率較低。

關鍵詞：西瓜；識別與定位；質心提?。粓D像處理；點云；OpenCV；PCL

中圖分類號：S126；S651"" 文獻標志碼：A"" 文章編號：1001-4330（2024）07-1805-09

0 引 言

【研究意義】西瓜是夏季主要的瓜果之一［1-2］。近年來西瓜產量逐年提升［3-5］。高效率的自動化西瓜運輸與搬運設備成為應對龐大市場需求的必要條件，而西瓜的視覺識別是其中的關鍵技術環(huán)節(jié)［6］。傳統(tǒng)人工搬運成本高，效率低，西瓜損傷率也較高［7-8］。使用搭載視覺識別設備的搬運設備，能夠較好地解決此類傳統(tǒng)問題［9-10］。【前人研究進展】近年來，機器視覺技術在農作物的二維圖像識別與三維點云處理領域上運用迅速［11-12］。宋晨旭等［13］提出了一種改進后的分水嶺分割算法，基于OpenCV函數(shù)庫對多個粘連的大豆進行圖像預處理，使用多次判斷的分水嶺分割算法，得到每一個單獨個體的大豆圖像，對大豆顆?？倲?shù)的識別率達到99.5%。劉萬輝等［14］提出一種在溫室實景下的西瓜識別法，通過西瓜的顏色特征，采取R-B色差模型對西瓜進行預處理，針對重疊的西瓜采用圓形霍夫變化對其進行圖像分離，單個西瓜的識別率達到97.5%，重疊西瓜的識別率為84.9%。吳明清等［15］通過紅綠色差法對西瓜剖面圖像進行閾值分割，同時采用橢圓擬合法求得西瓜的中心和長短軸，具有較強的精準度。劉德兒等［16］通過改進YOLACT算法對臍橙果實進行實時分割，利用最小二乘法對分割出的點云進行外形擬合，得到其質心坐標，定位誤差為0.49 cm?！颈狙芯壳腥朦c】目前，國內關于西瓜的視覺處理研究大部分集中在單個西瓜的識別上［17］，且多停留在二維圖像識別領域。對西瓜的三維點云處理研究較少，對大量且雜亂堆放西瓜的識別研究較少［18］。單一的二維圖像處理技術對單層西瓜的識別效果較好，但對堆放西瓜識別存在不足，二維圖像處理技術在三維識別領域的應用效果相對較差。利用最小二乘法對西瓜點云進行球狀擬合的過程中，由于西瓜并不是一個規(guī)范的球體，導致西瓜的定位有較大的誤差，無法達到自動西瓜抓取的精度要求。若高效搬運西瓜，需要識別與定位多個無序堆放西瓜的設備?！緮M解決的關鍵問題】將二維圖像數(shù)據(jù)與三維點云數(shù)據(jù)相融合的新型西瓜識別定位，利用OpenCV數(shù)據(jù)庫［19］對堆放西瓜的二維圖像進行處理，同時調用PCL數(shù)據(jù)庫［20］對堆放西瓜的三維點云信息進行處理，通過2種維度信息的融合識別與定位技術堆放西瓜，為高效自動化西瓜搬運設備研發(fā)提供技術支持。

1 材料與方法

1.1 材 料

1.1.1 西 瓜

試驗于2023年在國家農業(yè)信息化工程技術研究中心進行，選用北京龐各莊西瓜73個。

1.1.2 設備與軟件

微軟Azure Kinect DK深度相機；計算機：惠普研發(fā)有限公司；Anaconda3、Python 3.9.2、PyCharm 2020.1、Visual Studio 2017、OpenCV4.7.1、PCL1.11.1軟件。

1.1.3 圖像采集

使用深度相機對堆放的西瓜進行拍攝，采集西瓜堆的二維RGB圖像與三維點云圖像。圖1

將若干個西瓜無序地堆放在1 000 mm×3 000 mm的黑色吸光幕布上，幕布的材質選用阻尼大的絨毛，因其摩擦力大的特性，可以防止西瓜堆疊時的打滑現(xiàn)象，使堆疊的西瓜可以穩(wěn)定地處于拍攝狀態(tài)。而黑色吸光的特性則可以過濾掉更多的圖像噪點，便于西瓜的圖像處理。

使用深度相機的USB3.0端口連接電腦，確定相機到西瓜堆最上層的距離為600 mm，并垂直于幕布，得到的RGB圖像以PNG格式保存，三維點云圖像以PLY格式保存，完成對無序西瓜堆原始RGB圖像與點云圖像的采集。

1.2 方 法

1.2.1 試驗設計

先將若干個西瓜無序地堆放到拍攝場景下，將其堆放成兩層，按照拍照一次隨機取走一個西瓜的原則，直至頂層西瓜全部拾取完畢，每次拍照時間間隔2 s，該流程重復20輪，提高試驗的樣本量。

1.2.2 圖像處理流程

頂層西瓜的定位分為兩個板塊，二維圖像處理板塊和三維點云處理板塊，將兩個板塊處理的結果相融合，獲取頂層西瓜的位置信息。圖2

1.2.3 圖像預處理

（1）圖像降噪。使用OpenCV的Python接口，調用Python-OpenCV庫函數(shù)中的cv2.imread（）函數(shù)導入PNG格式的圖像文件。采用OpenCV函數(shù)庫中的cv2.cvtColor（）函數(shù)對導入的圖像文件進行灰度化處理［21］。OpenCV函數(shù)庫中常用的濾波處理函數(shù)有高斯濾波cv2.GuassianBlur（）、均值濾波cv2.blur（）、中值濾波cv2.medianBlur（）與雙邊濾波cv2.bilateralFilter（）。比對4種濾波處理方式，得到最優(yōu)的降噪方式為均值濾波。圖3

（2）圖像二值化。二值化操作分為全局閾值和局部閾值［22］，分別用2種閾值模式操作西瓜圖像，其函數(shù)關系如下：

f（x，y）=255，I（x，y）≥rhresh 0，I（x，y）＜rhresh（1）

式中，I為輸入圖像，I（x，y）表示西瓜圖像中第x行第y列的灰度值，f（x，y）為輸出的圖像。需要設入合適的閾值，使西瓜輪廓區(qū)域內的灰度值為255，背景區(qū)域的灰度值為0。

使用cv2.threshold（）函數(shù)對西瓜圖像進行全局閾值操作，函數(shù)cv2.THRESH_OTSU為全局閾值的自動閾值算法，得到圖像雙峰的中間閾值，函數(shù)THRESH_BINARY為全局閾值的手動閾值算法，設置合適的閾值為15。

采用自動全局閾值與手動全局閾值相結合的方式進行二值化處理，圖像閾值波峰正常時，選用自動全局閾值，在因拍攝外部條件特殊而導致的波峰異常時，選用手動全局閾值。圖4

（3）圖像形態(tài)學處理。運用圖像形態(tài)學處理對圖像進行二次降噪。

形態(tài)學處理中最基本的操作是腐蝕與膨脹［23-24］，腐蝕操作將刪除邊界區(qū)域像素值為255的值，膨脹操作則將添加邊界區(qū)域像素值為255的值。需要過濾掉前景區(qū)域內像素為0的值，對二值化圖像進行膨脹操作，淹沒掉西瓜堆內部的少量黑色陰影區(qū)域。

單純地進行膨脹操作會將二值化圖像前景區(qū)域的外圈擴大，得到的西瓜區(qū)域略大于原二值圖。閉運算操作是指先對二值化圖像進行膨脹運算，再進行腐蝕運算。

dst（x，y）=max，src（x+x′，y+y′） （x′+y′），element（x′+y′）≠0（2）

dst（x，y）=min，src（x+x′，y+y′） （x′+y′），element（x′+y′）≠0（3）

式中，（2）式為膨脹運算，（3）式為腐蝕運算，兩式中dst（x，y）為灰度值，src（x+x′，y+y′）為內核，內核的中心點位置為（x′+y′），所計算出來的變量值為element（x′+y′）。

內核尺寸選為4×4時，閉運算結果最佳。

膨脹運算去除掉了前景區(qū)域內的噪聲信息，同時擴大了前景區(qū)域，腐蝕運算則將噪聲去除過后的二值化圖像還原到之前的大小。圖5

1.2.4 外輪廓提取

圖像梯度計算是圖像的邊緣信息以及圖像像素變化的速度［25］，像素值為0到255的轉換邊界就是西瓜堆外輪廓的邊緣，梯度值達到最大。

Sobel算子是一種離散的微分算子，該算子結合了高斯平滑和微分求導運算，使圖像的輪廓更加的平滑。

西瓜二值圖像的輪廓邊緣處，仍有少部分區(qū)域處于非平滑的一個狀態(tài)。在x軸方向上對西瓜二值圖像進行Sobel運算，得到x軸方向上的邊界信息。一個x軸方向上邊緣信息不足以表達出全部邊界信息，進而對y軸方向繼續(xù)進行Sobel運算，得到西瓜堆全部的邊界信息。用cv2.findContours（）函數(shù)計算出西瓜的外輪廓后，為使外輪廓信息可視化，調用OpenCV的cv2.drawContours（）繪制函數(shù)將輪廓信息繪制到原始RGB圖像中。圖6

1.2.5 點云預處理

（1）點云精簡。采用PCL實現(xiàn)的VoxelGrid類［26］，通過導入的點云文件創(chuàng)建出一個立方體三維體素網格。根據(jù)此體素網格分割出若干個小立方體體素格，找到每一個小立方體體素格的重心點，以此來替代其他小體素格內的點云。

L=α2s/g.（4）

g=N/V.（5）

式中，L為小立方柵格的邊長，α為調節(jié)柵格邊長大小的比例因子，s為比例系數(shù)，g代表柵格內的點云數(shù)據(jù)，即點云總數(shù)（N）與大柵格體積（V）之比。分割出若干個m·n·l大小的小柵格的邊長。

m=ceil［（（Xmax-Xmin）+d）/L］

n=ceil［（（Ymax-Ymin）+d）/L］

l=ceil［（（Zmax-Zmin）+d）/L］（6）

式中，xmax-xmin表示在x軸上點云坐標的最大長度，y軸與z軸的最大長度計算同理，d表示小柵格外接球的直徑。代表每一個小立方體柵格的所有點云數(shù)據(jù)完成下采樣。

X=gi=1Xi/g

Y=gi=1Yi/g

Z=gi=1Zi/g（7）

遍歷所有的小立方體體素格，保留每一個小體素格的重心點，刪除其他的點云數(shù)據(jù)，從而完成原始點云數(shù)據(jù)的精簡化，得到效果最優(yōu)的體素邊長為0.5。原始點點云數(shù)為292 974，精簡過后的點云效果圖，包含19 982個數(shù)據(jù)點。圖7

（2）點云降噪。直通濾波的作用是過濾掉在指定維度方向上取值不在給定值域內的點［27］。使用PCL數(shù)據(jù)庫的直通濾波器可以較好地過濾掉西瓜堆的背景點云數(shù)據(jù)。Z軸方向上600到1 000的像素閾值區(qū)域為需要過濾掉的背景點云數(shù)據(jù)，在pt.setFilterLimitsNegative（）命令中選擇true指令，即保存該范圍外的點云信息。圖8

選擇1指令，即保存范圍內的點云信息，提取出西瓜堆X軸上的橫截面信息，確認最上層西瓜的像素高度為480～485。

過濾掉Z軸上除了480到485以外的點云數(shù)據(jù)，得到最上層西瓜的Z軸截面點云數(shù)據(jù)。圖8

1.2.6 特征匹配與圖像融合

將處理后的外輪廓與圖6c做特征匹配［28］，兩輪廓相對應，完成坐標重合。

（1）點云平面圖的非點云黑色區(qū)域過多，使用均值濾波對點云圖像進行模糊化。

（2）模糊化后的點云圖在其區(qū)域內仍然有較明顯的粘連黑色塊兒，采用局部閾值cv2.adaptiveThreshold（）將點云圖劃分為若干個區(qū)塊兒，再進行二值化處理。

（3）Canny算子能盡可能多地識別出圖像的邊緣信息，采用Canny算子對二值化后的圖像進行邊緣信息檢測。

（4）用cv2.findContours（）函數(shù)對Canny邊界進行輪廓繪制，并分割出來作為特征匹配的模板。

（5）分割出的圖9e作為匹配模板，調用OpenCV的cv2.matchTemplate（）函數(shù)對兩張圖進行模板匹配，選擇TM_SQDIFF_NORMED模式，即計算歸一化平方不同，計算的值越接近0，越相關。圖9

在上節(jié)像素坐標重合后，頂層西瓜的點云坐標同時也得到匹配，將頂層西瓜的點云圖顯示到原始RGB圖中。得到二維圖像上頂層西瓜的位置信息。圖8，圖10

2 結果與分析

2.1 頂層西瓜質心提取

研究表明，依據(jù)頂層西瓜的點云像素位置來構建矩陣塊兒模板，調用cv2.bitwise_and（）函數(shù)將模板與原圖進行位與操作。對已經打上掩膜的圖像，進行預處理操作。利用均值濾波去除掉西瓜表面的噪聲信息，頂層西瓜的圖像復雜程度并無原始圖像的高，采用THRESH_OTSU自動閾值進行二值化。二值化后的圖像仍留有底層西瓜的圖像信息，采用形態(tài)學開操作將其去除，循環(huán)次數(shù)設置為10次。繪制輪廓并映射到原始圖像上。

根據(jù)輪廓計算西瓜的近似外接圓，最終提取到所有頂層西瓜的質心點與像素坐標信息，并將計算所得的外接圓與質心點坐標可視化，繪制到原始圖像中。圖10～11

2.2 單輪次頂層西瓜識別率

研究表明，以人工識別的頂層西瓜數(shù)量為標準，總共需要識別的西瓜個數(shù)為556個。西瓜輪廓識別率是指識別到所有頂層西瓜的輪廓個數(shù)比率，從第1次識別到第7次的識別率分別為100%、83.33%、100%、100%、100%、100%和100%。7次合計的輪廓識別率為97.62%。頂層西瓜識別率是指識別到的所有輪廓中，只包含頂層西瓜的比率，分別為85.71%、83.33%、100%、100%、100%、100%和100%。7次合計的西瓜正確識別率為95.58%。完成西瓜的識別測試后，還需要進行定位測試，7次的質心識別率分別為85.71%、83.33%、80%、100%、100%、100%和100%，7次合計的識別率為92.72%。

質心坐標為（151，104）的西瓜，由其輪廓所擬合出的外接圓完全包含頂層瓜，同時也包含了底層瓜的部分區(qū)域，因此該瓜的輪廓被識別成功，而在頂層瓜的正確識別上存在偏差，故識別到頂層西瓜輪廓為7個，識別率為100%，而頂層西瓜正確個數(shù)為6個；因擬合的外接圓同時包含頂層瓜與底層瓜的部分區(qū)域，故該頂層瓜質心的偏心率較大，無法算作正確的質心點。所以該輪次第一次采集所識別到質心為6個，頂層瓜質心識別率為85.71%。表1

20輪測試共計得到原始圖像144張，頂層西瓜總數(shù)556個，所識別西瓜輪廓個數(shù)545個，頂層西瓜輪廓總識別率為98.02%，其中正確識別到的頂層西瓜個數(shù)為540個，頂層西瓜總識別率為96.53%；識別到的質心523個，質心總識別率為94.17%。當頂層瓜數(shù)量在5個以下時，西瓜正確識別率為100%；頂層瓜數(shù)量在4個以下時，西瓜質心識別率為100%。

對未點云精簡的圖像進行單進程圖像處理，處理144張圖片總用時459.4 s。為提高西瓜圖像的處理速度，創(chuàng)建四個進程對點云精簡后的圖像進行處理，處理完相同的144張圖片總用時101.8s，時間縮短了約77.8%，使用精簡后的點云圖作為處理源效果顯著，可以滿足自動搬運設備的工作要求。表2

3 討 論

3.1 特征匹配提取到的西瓜位置信息為一個大概方位，并不精確，無法據(jù)此提取出精準的西瓜質心點。因此，對其進行掩模操作［29］，過濾掉頂層西瓜位置外的圖像區(qū)域，進一步提高西瓜質心提取的精確度。圖像掩模（image mask）是用選定的圖像、圖形或物體，對待處理的圖像進行遮擋來控制圖像處理的區(qū)域或處理過程。

對單一的RGB圖像進行圖像處理，并不能識

別到頂層西瓜的位置信息。二維圖像與三維點云相融合后，三維點云處理出的頂層西瓜位置信息，可以映射到二維圖像上。將二維圖像（6c）與z軸視覺下的三維點云圖像做特征匹配，使兩種圖像輪廓相重合，即輪廓坐標重合，得到二維圖像上頂層西瓜的像素坐標。

3.2 完美狀態(tài)下，西瓜個數(shù)與質心個數(shù)應保持一致。搭建的試驗平臺需要在一定程度上受到拍攝時間，光線等外部條件的影響，且完全為無序堆放，所以造成了西瓜個數(shù)與質心個數(shù)不一致的誤差。同理，每個頂層西瓜的背景均不盡相同，也造成了西瓜輪廓識別率與西瓜正確識別率不一致的誤差。20輪測試的總質心個數(shù)和總西瓜個數(shù)之間的誤差率為2.36%，在理想范圍內，對頂層西瓜的識別與定位不會產生較大影響。

3.3 提出的識別與定位法對雙層堆放的西瓜處理效果較好，當西瓜層數(shù)與西瓜數(shù)量增加時，該識別法依舊適用，圖像處理效率不會受到影響；但頂層瓜的質心提取精度有小幅降低，由于層數(shù)與西瓜數(shù)量的增加，西瓜間隙的深度信息也隨之增加，使西瓜點云噪點的復雜程度提升，后期需要進一步優(yōu)化西瓜的三維點云分割技術，在PCL的點云處理上還有較大的進步空間。

4 結 論

手動閾值模式下設置閾值為15。144張西瓜圖像，單輪次的西瓜輪廓總識別率為97.62%，單輪分批次分別為100%、83.33%、100%、100%、100%、100%和100%；單輪次西瓜總正確識別率為95.58%，單輪分批次分別為85.71%、83.33%、100%、100%、100%、100%和100%；單輪次的總質心識別率為92.72%，單輪分批次分別為85.71%、83.33%、80%、100%、100%、100%和100%。20輪測試總輪廓識別率為98.02%，總正確識別率為96.53%，總質心識別率為94.17%，總質心個數(shù)和總西瓜個數(shù)之間的誤差率為2.36%。點云精簡優(yōu)化后的總用時為101.8s，效率提高了77.8%。

參考文獻（References）

［1］

錢曼， 黃文倩， 王慶艷， 等. 西瓜檢測部位差異對近紅外光譜可溶性固形物預測模型的影響［J］. 光譜學與光譜分析， 2016， 36（6）： 1700-1705， 1711.

QIAN Man， HUANG Wenqian， WANG Qingyan， et al. Assessment of influence detective position variability on precision of near infrared models for soluble solid content of watermelon［J］. Spectroscopy and Spectral Analysis， 2016， 36（6）： 1700-1705， 1711.

［2］ 周藝璇. 西瓜翠衣的營養(yǎng)保健成分及藥用價值研究進展［J］. 現(xiàn)代食品， 2022， 28（8）： 51-53， 57.

ZHOU Yixuan. Research progress on nutritional and health components and medicinal value of watermelon peel［J］. Modern Food，" 2022， 28（8）： 51-53， 57.

［3］ 李干瓊， 王志丹. 我國西瓜產業(yè)發(fā)展現(xiàn)狀及趨勢分析［J］. 中國瓜菜， 2019， 32（12）： 79-83.

LI Ganqiong， WANG Zhidan. Development status and trend analysis of watermelon industry in China［J］. China Cucurbits and Vegetables，" 2019， 32（12）： 79-83.

［4］ 宋展， 胡寶貴. 后疫情時期消費者視角的北京市西瓜產業(yè)發(fā)展［J］. 北方園藝， 2022， （23）： 134-139.

SONG Zhan， HU Baogui. Development of watermelon industry in Beijing city from the perspective of consumers in the post epidemic period［J］. Northern Horticulture， 2022， （23）： 134-139.

［5］"""" 高麗娜. 西瓜采收技術［J］. 河南農業(yè)， 2015， （9）： 46.

GAO Lina. Watermelon Harvesting Techniques［J］. Henan Agriculture， 2015， （9）： 46.

［6］ 官大文， 王春源， 王駿發(fā). 基于無人機機器視覺的西瓜偵測創(chuàng)新農場管理模式［J］. 海峽科學， 2020， （11）： 62-68.

GUAN Dawen， WANG Chunyuan， WANG Junfa. Innovative farm management mode of watermelon detection based on UAV machine vision［J］. Straits Science， 2020， （11）： 62-68.

［7］Kamaldeen Mohammed， Evans Batung，Ansumah Saaka-Sulemana， et al. Determinants of mechanized technology adoption in smallholder agriculture： Implications for agricultural policy［J］. Neurocomputing， 2023， 18（3）： 545-557.

［8］"""" 唐芳. 我國農機購置補貼與農業(yè)機械化發(fā)展現(xiàn)狀與提升建議［J］. 農業(yè)經濟， 2023， （4）： 9-12.

TANG Fang. China's agricultural machinery purchase subsidies and Mechanised agriculture development status and improvement suggestions［J］. Agricultural Economy，" 2023， （4）： 9-12.

［9］ 羅輝， 崔亞飛. 基于機器視覺的工件識別與定位系統(tǒng)設計與實現(xiàn)［J］. 組合機床與自動化加工技術， 2021， （1）： 101-105， 109.

LUO Hui， CUI Yafei. Design and implementation of workpiece recognition and positioning system based on machine vision［J］. Modular Machine Tool amp; Automatic Manufacturing Technique， 2021， （1）： 101-105， 109.

［10］ 崔旭東， 譚歡， 王平江， 等. 基于3D視覺的散亂堆放工件機器人抓取技術研究［J］. 制造技術與機床， 2021， （2）： 36-41.

CUI Xudong， TAN Huan， WANG Pingjiang， et al. Research on vision-based robot’s grabbing attitude for scattered stacking workpieces［J］. Manufacturing Technology amp; Machine Tool， 2021， （2）： 36-41.

［11］""" Xu B R， Chai L， Zhang C L. Research and application on corn crop identification and positioning method based on Machine vision［J］. Precision Agriculture，" 2023.

［12］ 柴宏紅， 邵科， 于超， 等. 基于三維點云的甜菜根表型參數(shù)提取與根型判別［J］. 農業(yè)工程學報， 2020， 36（10）： 181-188.

CHAI Honghong， SHAO Ke， YU Chao， et al. Extraction of phenotypic parameters and discrimination of beet root types based on 3D point cloud［J］. Transactions of the Chinese Society of Agricultural Engineering，" 2020， 36（10）： 181-188.

［13］ 宋晨旭， 于翀宇， 邢永超， 等. 基于OpenCV的大豆籽粒多表型參數(shù)獲取算法［J］. 農業(yè)工程學報， 2022， 38（20）： 156-163.

SONG Chenxu， YU Chongyu， XING Yongchao， et al. Algorith for acquiring multi-phenotype parameters of soybean seed based on OpenCV［J］. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（20）： 156-163.

［14］ 劉萬輝， 楊曄. 溫室場景下成熟西瓜的圖像識別研究［J］. 福建電腦， 2013， 29（5）： 29-31.

LIU Wanhui， YANG Ye. Study on image recognition of mature watermelon in greenhouse scene［J］. Journal of Fujian Computer， 2013， 29（5）： 29-31.

［15］ 吳明清， 王麗. 基于機器視覺技術的西瓜瓜瓤的識別方法［J］. 塔里木大學學報， 2014， 26（3）： 88-91.

WU Mingqing， WANG Li. Identification of the machine vision technology based on watermelon flesh［J］. Journal of Tarim University， 2014， 26（3）： 88-91.

［16］""" 劉德兒，朱磊，冀煒臻，等. 基于RGB-D相機的臍橙實時識別定位與分級方法［J］. 農業(yè)工程學報， 2022， 38（14）：154-165.

LIU Deer， ZHU Lei， JI Weizhen， et al. Real time recognition， localization， and grading method for navel oranges based on RGB-D cameras［J］. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（14）：154-165.

［17］ Liu K， Jiang K， Mu Y. Development of a vision guided robot for grafting watermelon based on hole insertion method［J］. Computers and Electronics in Agriculture， 2020.

［18］ Mohd Ali M， Hashim N， Bejo S K， et al. Comparison of laser backscattering imaging and computer vision system for grading of seedless watermelons［J］. Journal of Food Measurement and Characterization， 2020， 14（1）： 69-77.

［19］ 鄒宏偉. 基于OpenCV的數(shù)字圖像處理技術研究與實現(xiàn)［J］. 無線互聯(lián)科技， 2019， 16（22）： 118-119.

ZOU Hongwei. Research and implementation of digital image processing technology based on OpenCV［J］. Wireless Internet Technology，" 2019， 16（22）： 118-119.

［20］ 龍嫣然， 徐昱琳， 費心怡. 基于PCL的Jaco機械臂的目標抓?。跩］. 工業(yè)控制計算機， 2019， 32（4）： 65-67.

LONG Yanran， XU Yulin， FEI Xinyi. PCL-based object grasping by robot arm hand system［J］. Industrial Control Computer， 2019， 32（4）： 65-67.

［21］ 劉星星， 王爍爍， 徐麗明， 等. 基于OpenCV的動態(tài)葡萄干色澤實時識別［J］. 農業(yè)工程學報， 2019， 35（23）： 177-184.

LIU Xingxing， WANG Shuoshuo， XU Liming， et al. Real time color recognition of moving raisin based on OpenCV［J］. Transactions of the Chinese Society of Agricultural Engineering， 2019， 35（23）： 177-184.

［22］ 湯朋文， 陶華敏， 肖山竹， 等. 幾種常用圖像分割算法自適應性的分析比較［J］. 數(shù)字技術與應用， 2016， （5）： 140， 143.

TANG Pengwen， TAO Huamin， XIAO Shanzhu， et al. Analysis and comparison of adaptability of several commonly used image segmentation algorithms［J］. Digital Technology amp; Application， 2016， （5）： 140， 143.

［23］ 何曉軍， 徐愛功， 李玉. 利用HSI空間相似性的彩色形態(tài)學圖像處理方法［J］. 計算機科學， 2019， 46（4）： 285-292.

HE Xiaojun， XU Aigong， LI Yu. Color morphology image processing method using similarity in HSI space［J］. Computer Science， 2019， 46（4）： 285-292.

［24］ Codaro E N， Nakazato R Z， Horovistiz A L， et al. An image processing method for morphology characterization and pitting corrosion evaluation［J］. Materials Science and Engineering： A， 2002， 334（1/2）： 298-306.

［25］明家輝，朱靜. 基于熵加權圖像梯度的單目視覺SLAM研究［J］， 2022， 29（1）： 91-95.

MING Jiahui， ZHU Jing. A Study on Monocular Vision SLAM Based on Entropy Weighted Image Gradient［J］. Dongguan Journal of Technology， 2022， 29（1）： 91-95.

［26］ 舒麗君， 陸玲. 基于PCL庫三維點云樹枝重建［J］. 電腦與信息技術， 2020， 28（2）： 1-4.

SHU Lijun， LU Ling. The point cloud of branch reconstruction based on PCL library［J］. Computer and Information Technology， 2020， 28（2）： 1-4.

［27］宮德寧，吳琳娜，李榮華，等. 改進直通濾波SAC-IA粗配準算法［J］， 2022， 43（2）： 78-84.

GONG Dening， WU Linna， LI Ronghua， et al. Improved pass through filter SAC-IA coarse registration algorithm［J］. Journal of Dalian Jiaotong University， 2022， 43（2）： 78-84.

［28］馮書慶，王志勇，諶志新，等. 基于圖像特征的模板匹配成魚多目標識別算法研究與程序設計［J］， 2023， 50（2）： 74-84.

FENG Shuqing， WANG Zhiyong， CHEN Zhixin， et al. Research and Program Design on Template Matching for Adult Fish Multi target Recognition Algorithm Based on Image Features［J］. Fisheries Modernization， 2023， 50（2）： 74-84.

［29］Shao C C， Li X L， Li F， et al. Large Mask Image Completion with Conditional GAN［J］. Frontiers in Plant Science， 2022， 7：745.

Research on recognition and localization of unordered

stacked watermelons based on machine vision

WU Fengyang1，2， HUANG Wenqian2， TIAN Xi2， YANG Yulin2

（1. College of Mechanical and Electrical Engineering， Xinjiang Agricultural University， Urumqi 830052， China; 2. Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences/National Agricultural Intelligent Equipment Engineering Technology Research Center， Beijing 100097， China）

Abstract：【Objective】 To study a watermelon recognition and positioning technology based on machine vision to meet the automation requirements of watermelon handling equipment.

【Methods】" 2D image data and 3D point cloud data of watermelon were collected and the OpenCV function library was called to segment the two-dimensional image of watermelon and extract the outer contour of the watermelon; The 3D point cloud data was preprocessed using the PCL function and perform graphic feature matching with the 2D image to extract the centroid points of the top layer watermelon.

【Results】" The validation test results showed that the total recognition rate of the number of watermelons in a single round was 97.62%， the correct recognition rate was 95.58%， and the centroid recognition rate was 92.72%. The total recognition rate of 20 rounds of testing was 98.02%， the total correct recognition rate was 96.53%， the total centroid recognition rate was 94.17%， and the error rate between the total centroid number and the total number of watermelons was 2.36%; The total time for watermelon image processing was 101.8 seconds， which improved the efficiency by 77.8%.

【Conclusion】" The watermelon recognition and positioning method proposed in this article has high recognition rate and low error rate， which can provide technical support and algorithm reference for the visual part of automatic handling equipment.

Key words：watermelon; identification and positioning; centroid extraction; image processing; point cloud; OpenCV； PCL

Fund projects：The national key research and development plan project \"Research and development of mobile fruit quality intelligent perception equipment and key link robots\" （2022YFD2002202）; Special Fund Project for National Watermelon Industry Technology System （CARS-25-07）; Beijing Academy of Agricultural and Forestry Sciences Innovation Special Emerging Discipline Intersection Project\"esearch and Development of Non destructive Testing Technology and Equipment for Watermelon Quality\"（KJCX20230206）

Correspondence author： HUANG Wenqian （1980-）， male， from Pinghe， Fujian. Ph.D.， researcher， research direction： Rapid non-destructive testing of agricultural product quality and safety， （E-mail）huangwq@nercita.org.cn

收稿日期（Received）：

2023-12-11

基金項目：

國家重點研發(fā)計劃項目“移動式果品品質智能感知設備與關鍵環(huán)節(jié)機器人研發(fā)”（2022YFD2002202）；國家西甜瓜產業(yè)技術體系專項資金項目（CARS-25-07）;北京市農林科學院創(chuàng)新專項新興學科交叉項目“西甜瓜品質無損檢測技術與裝備研發(fā)”（KJCX20230206）

作者簡介：

吳風揚（1999-），男，湖北黃石人，碩士研究生，研究方向為機器視覺，（E-mail）1519100570@qq.com

通訊作者：

黃文倩（1980-），男，福建平和人，研究員，博士，碩士生導師，研究方向為農產品質量與安全快速無損檢測，（E-mail）huangwq@nercita.org.cn