林耀海，呂鐘亮，楊長才，林培杰，陳芳育，洪嘉偉

自然場景圖像中的重疊蜜柚識別及試驗

林耀海1，呂鐘亮1，楊長才1，林培杰2，陳芳育3，洪嘉偉1

（1. 福建農(nóng)林大學計算機與信息學院，福州 350002；2. 福州大學物理與信息工程學院，福州 350116；3. 福建農(nóng)林大學農(nóng)學院，福州 350002）

重疊蜜柚目標的準確分離和蜜柚果梗的定位是實現(xiàn)采摘自動化必須解決的兩個關(guān)鍵問題。現(xiàn)有的蘋果、柑橘等重疊果實分離方法不適用于重疊蜜柚，且無果梗定位功能。針對以上問題，該研究提出了一種結(jié)合漸進式中心定位的重疊蜜柚分離方法和果梗定位方法。首先利用主成分分析方法提取蜜柚區(qū)域、濾除背景并對圖像中的重疊蜜柚進行初步分離；接著，對重疊蜜柚區(qū)域采用漸進式中心定位方法得到各個蜜柚的中心；然后，利用區(qū)域邊緣點到其相應的不同中心點的距離大小的變化規(guī)律實現(xiàn)重疊蜜柚的分離；最后，利用前述的中心點結(jié)合蜜柚的形狀特征，定位出遮擋程度較小的蜜柚果梗。在50張自然場景下的圖像上進行試驗，結(jié)果表明在有陰影、小目標、遮擋和重疊等復雜環(huán)境下，該方法的平均識別率為94.02%。同時，對于果梗未被遮擋且離攝像頭較近的蜜柚，也給出了準確的果梗區(qū)域。在利用蜜柚模型搭建的識別自動化試驗平臺上進行試驗，結(jié)果表明采摘機器人能夠有效識別并分離重疊蜜柚、定位果梗。該研究可為蜜柚采摘機器人準確識別重疊果實提供參考。

圖像處理；識別；機器視覺；重疊蜜柚；主成分分析；漸進式中心定位；分離；果梗

0 引 言

2021年中國柚類產(chǎn)業(yè)總產(chǎn)值超過千億元，已經(jīng)成為南方地區(qū)農(nóng)業(yè)農(nóng)村經(jīng)濟發(fā)展的重要支柱產(chǎn)業(yè)之一。采摘是蜜柚種植生產(chǎn)工作中的重要環(huán)節(jié)之一，而當前蜜柚采摘方法是人工采摘，不僅耗時耗力，且存在安全隱患。通過使用智能機器人或者智能機械手臂實現(xiàn)蜜柚的自動識別和采摘既可提高蜜柚采摘效率，又能降低人工和時間成本。其技術(shù)關(guān)鍵點之一在于利用機器視覺方法識別出果樹上果實位置，即把每個果實從復雜的背景圖像中準確地分割出來。

近年來，隨著計算機視覺技術(shù)的發(fā)展，國內(nèi)外研究者在果實采摘機器人的視覺領(lǐng)域已經(jīng)有較多研究[1-4]，所用方法主要為基于傳統(tǒng)圖像處理和基于深度學習。在基于傳統(tǒng)圖像處理的研究中，江梅等[5-8]利用顏色和形狀等圖像特征進行果實識別研究。李寒等[9]分析綠色番茄的紋理特征實現(xiàn)了綠色番茄的準確識別。Bu等[10]提出一種陰影消除方法提高識別率。采用深度學習方法進行識別研究所用到的框架有GA-RBF-LMS[4]、Mask R-CNN[1,11-12]、BP神經(jīng)網(wǎng)絡[13]、卷積神經(jīng)網(wǎng)絡[14]等。此外，也有對網(wǎng)絡進行改進用于果實識別的，如Tian等[15]對YOLO-V3進行了改進，Kang等[16]提出了一種改進的深度神經(jīng)網(wǎng)絡DaSNet-v2。

上述研究雖然都取得良好的識別效果，但都存在一定的局限性。基于傳統(tǒng)圖像處理的研究都是針對單果的情況，而果園中廣泛存在著果實相互遮擋的現(xiàn)象，這是影響傳統(tǒng)方法果實識別率的重要因素?；谏疃葘W習的方法雖然能夠識別出圖像中的重疊果實，但其本身存在著數(shù)據(jù)需求量大、獲取困難，泛化能力受訓練數(shù)據(jù)限制的局限性。因此，需要進一步研究分離重疊果實的方法。李寒等[17]結(jié)合局部極大值法和隨機圓環(huán)變換檢測圓算法進行目標提取，試驗結(jié)果表明，該方法能夠提取出多果粘連或被輕微遮擋的情況下的番茄目標。項榮等[18]利用邊緣曲率剔除曲率異常的邊緣點，然后對各剩余邊緣分別進行圓回歸實現(xiàn)重疊番茄的識別。馮娟等[19]針對光線變化和目標重疊問題研究了融合多源圖像信息的果實識別方法。王丹丹等[20]采用K-means和Ncut算法相結(jié)合的方法實現(xiàn)了無遮擋雙果重疊的分割和未被遮擋蘋果完整輪廓的提取。徐越等[21]采用Snake模型與角點檢測的方法實現(xiàn)了雙果重疊的分割，但只針對無其他遮擋物的情況。He等[22]提出了一種深度邊框回歸森林方法對綠色水果進行檢測。

上述重疊果實分離方法大多是針對雙果的情況，且研究對象是諸如蘋果、番茄之類的近圓形果實。然而，在從果園獲取的圖像中，除了雙果重疊之外，同樣存在著三果重疊的情況。本文針對自然場景圖像中蜜柚的雙果、三果之間相互黏連和相互遮擋的情況，對蜜柚識別和果梗定位展開研究，使用主成分分析提取蜜柚區(qū)域，采用漸進式中心定位得出蜜柚重疊區(qū)域的各個果實的中心，依據(jù)區(qū)域邊緣點到相應兩個中心點的距離大小的變化規(guī)律，可以實現(xiàn)重疊蜜柚分離，并利用得到的中心點和蜜柚的形狀特征定位蜜柚果梗。最后，設計識別自動化試驗平臺，進一步驗證本文所提方法的可行性。

1 獲取蜜柚區(qū)域

從圖像中濾除背景，獲取圖像中的蜜柚區(qū)域是蜜柚識別的重要步驟。果園中的蜜柚由于受到樹枝、樹葉的遮擋和蜜柚之間的相互遮擋，在圖像上的形狀呈現(xiàn)多樣性，因此難以利用形狀特征提取蜜柚區(qū)域。但是同一品種的成熟蜜柚之間具有顏色一致的特性，且果實顏色與枝干、葉片的顏色具有明顯差異，因此可以利用顏色信息來提取蜜柚區(qū)域，本文采用主成分分析方法實現(xiàn)蜜柚區(qū)域的獲取。

主成分分析（Principle Component Analysis，PCA）是一種數(shù)據(jù)降維方法，可以從多元事物中解析出主要影響因素，揭示事物本質(zhì)，簡化復雜的問題，其幾何意義表現(xiàn)為坐標旋轉(zhuǎn)，將原始數(shù)據(jù)旋轉(zhuǎn)變換到新的坐標空間，在新的坐標空間中，每個坐標軸的方向是原始數(shù)據(jù)方差最大的幾個方向，主成分分析的目的就是找出對應的旋轉(zhuǎn)矩陣。

1.1 色彩空間分析

蜜柚像素點和背景像素點在RGB空間中的分布情況如圖1a、1b、1c所示，蜜柚像素點在空間中呈帶狀分布，且在R、G、B這3個方向上均有較大的離散性。在RGB空間中采用閾值法對蜜柚圖像進行分割得到的蜜柚區(qū)域?qū)罅康姆敲坭窒袼攸c，如圖1a。將蜜柚像素點和背景像素點從RGB空間旋轉(zhuǎn)變換到蜜柚像素點的主成分空間后，像素點在主成分空間中的分布如圖1d、1e、1f所示，空間變換后的蜜柚點云在第一主成分方向上的分布最為疏散，如圖1e，在另外兩個主成分方向上則分布集中，如圖1f。在主成分空間中采用閾值法對蜜柚圖像進行分割，能夠?qū)⒏嗟谋尘跋袼攸c剔除，提高分割精度，如圖1d。

1.2 背景濾除及重疊蜜柚初步分離

首先，采集少量的蜜柚區(qū)域像素點作為樣本，利用PCA學習這些樣本從RGB顏色空間變換到主成分空間的旋轉(zhuǎn)矩陣和旋轉(zhuǎn)變換后在各主成分方向上的分布區(qū)間，接著，利用旋轉(zhuǎn)矩陣將待處理圖像從RGB空間變換到蜜柚像素的主成分空間，空間變換后的蜜柚像素點主要分布在由PCA確定的蜜柚主成分區(qū)間內(nèi)，背景像素點分布于蜜柚主成分區(qū)間之外，在主成分空間中對每個像素點進行判斷分類，濾除不在區(qū)間內(nèi)的背景像素點，背景濾除流程如圖2所示，其中利用PCA學習旋轉(zhuǎn)矩陣和蜜柚像素在主成分空間中的分布區(qū)間只需進行一次便可重復使用。最后，將濾除背景后的圖像轉(zhuǎn)換成二值圖像，并使用開運算進行去噪，結(jié)果見圖3。圖3a為原始圖像，圖3b為采用PCA濾除背景的結(jié)果，蜜柚區(qū)域已經(jīng)被完整提取出來，背景也基本都被濾除，僅有少量噪聲。對圖3b圖像進行二值化并去除噪聲后，得到圖 3d。與基于RGB色彩空間的閾值分割法相比，利用PCA進行閾值分割時，能夠通過樣本學習到更適合分割蜜柚圖像的空間和相應的分割閾值，具有更好的魯棒性和背景濾除效果。

提取濾除背景后的圖像邊緣信息，得到邊緣圖3e，利用邊緣信息對圖3d中的重疊蜜柚進行初步分離，分離結(jié)果如圖3f所示。初步分離的運算是，如果圖3d中蜜柚區(qū)域的像素點在圖3e中的對應點為邊緣點，則在圖3d中將其設置為背景。圖3f中仍存在多個蜜柚區(qū)域相互黏連的情況，這是因為蜜柚果皮的顏色相近，在一些重疊位置難以提取出邊緣，因此，單獨利用邊緣信息難以完美地實現(xiàn)重疊蜜柚的分離，需要做進一步的分離處理。

2 重疊蜜柚區(qū)域分離

2.1 重疊蜜柚區(qū)域判斷

初步分離后的圖像中包含多個獨立的蜜柚區(qū)域，如圖3f所示，在分離重疊蜜柚前先判斷每塊蜜柚區(qū)域是否包含多個蜜柚，對包含多個蜜柚的區(qū)域進行分離處理。

提取經(jīng)初步分離的二值圖像的輪廓，一張圖像中包含多個蜜柚區(qū)域，因此提取的輪廓圖中包含多個封閉輪廓，這些輪廓的像素點構(gòu)成多個連通域。重疊蜜柚在重疊位置形成凹陷區(qū)域，任取凹陷區(qū)域輪廓上的三點，根據(jù)三點確定一個圓的性質(zhì)，通過這三點確定一個圓心，這個圓心將落在蜜柚區(qū)域輪廓外部。

首先，遍歷連通域上的每一個點，設置一定的步長再取兩個點，用這3個點求得一個圓心，判斷該圓心是否在對應的蜜柚區(qū)域內(nèi)，在蜜柚區(qū)域內(nèi)的為正常點，否則為異常點。多次任選同一輪廓上的2個正常點，判斷這2個點形成的線段是否穿過非蜜柚區(qū)域，進而判斷該蜜柚區(qū)域是否存在多個蜜柚。圖4把蜜柚抽象成圓，說明重疊蜜柚區(qū)域的判斷原理。由圖4可見，重疊蜜柚的輪廓圖上任意兩點的連線有一定可能穿過非蜜柚區(qū)域，而單獨一個蜜柚的輪廓圖上任意兩點的連線將完全位于蜜柚區(qū)域內(nèi)部。

2.2 結(jié)合漸進式中心定位的重疊蜜柚區(qū)域分離方法

根據(jù)2.1節(jié)中對重疊蜜柚的判斷結(jié)果對重疊蜜柚區(qū)域進行分離。目前常用的重疊果實分離方法有兩種，第一種是利用重疊區(qū)域的凹陷點進行分離，這種方法容易受到枝葉遮擋的影響，第二種是采用圓擬合或者橢圓擬合進行分離，這種方法更加適用于外形為近圓形的果實。為了更好地分離重疊蜜柚，本文提出一種結(jié)合漸進式中心定位[23]的重疊蜜柚分離方法。

2.2.1 基于漸進式中心定位方法的蜜柚中心定位

漸進式中心定位是由林耀海等[23]提出的一種圓心定位方法，該方法結(jié)合了圓內(nèi)弦的兩個性質(zhì)來定位圓形目標的圓心位置，性質(zhì)如下：

性質(zhì)1：是過圓內(nèi)點的一條弦的中心，且不是這條弦的中心，那么比更靠近圓心；

性質(zhì)2：1、2是圓內(nèi)不同兩點，與圓心距離分別為1、2；兩點的中心與圓心的距離為，那么有≤max (1,2)。

結(jié)合性質(zhì)1和性質(zhì)2可知，過圓內(nèi)點的一組弦，可以用這組弦的重心代替，不斷地迭代，用一組弦的重心代替，即可逐步到達圓心。

本文將漸進式中心定位方法用于定位蜜柚的中心，圖 5a示意了漸進式中心定位方法定位蜜柚中心的迭代過程。從上下左右4個方向?qū)γ坭謪^(qū)域進行漸進式中心定位，當只有一個蜜柚時，從4個方向的中心定位結(jié)果將趨同于一個點，如圖5b，當蜜柚區(qū)域內(nèi)有多個蜜柚時，最終將定位出多個點，分別對應多個蜜柚的中心，如圖 5c。

2.2.2 蜜柚分離

當蜜柚區(qū)域包含多個蜜柚時，對該區(qū)域從上下左右4個方向進行漸進式中心定位將得到多個蜜柚中心點，利用相鄰中心點到蜜柚區(qū)域輪廓的距離大小關(guān)系可以逐個確定分離點。圖6分別描述了本文在2個蜜柚和3個蜜柚重疊情況下確定分離點的順序。

確定分離點的幾何原理如圖7所示，分別記輪廓點到兩個相鄰蜜柚中心點的距離為1和2，大多數(shù)輪廓點到對應的蜜柚中心點的距離小于到另一個蜜柚中心點的距離，只有在靠近分離點附近的輪廓點才會出現(xiàn)距離相等或者大于到另一個蜜柚中心點距離的情況。因此，只需要找到1和2大小關(guān)系發(fā)生變換的兩個輪廓點便能分離重疊蜜柚的輪廓，從而實現(xiàn)重疊蜜柚的分離。圖7a中，當遍歷輪廓點到達1時有1<2，繼續(xù)沿順時針方向遍歷輪廓點，到達2時有1=2，將2點設置為分離點，此時，1和2的大小關(guān)系記為1≥2，繼續(xù)沿順時針方向遍歷輪廓點，當滿足1<2時即可確定另一個分離點，將這個連通域分離成兩部分，圖7b和圖7c示意了一個重疊蜜柚區(qū)域輪廓和對該輪廓的分離結(jié)果，3個蜜柚相互重疊的情況會相對復雜，但原理相同。

2.3 果梗定位

由于蜜柚的果實碩大，果梗粗壯，正常的采摘方法是通過剪切蜜柚果梗實現(xiàn)的，這便需要在采摘之前進行果梗定位。無論是垂直或是傾斜懸掛，蜜柚的形狀和果梗區(qū)域都如圖8a所示，經(jīng)過漸進式中心定位方法定位出主體輪廓的中心，果梗位于蜜柚縱剖面中穿過中心點的長軸延長線與蜜柚輪廓交會點附近。同時，由于受到重力作用，蜜柚果梗位于長軸的上端點方向。因此，可以通過尋找穿過縱剖面中心點的長軸來定位果梗，如圖8b所示。本文所提出的果梗定位方案，同樣可以很好地定位傾斜掛果情況下的蜜柚果梗，如圖8c所示。

3 試驗方法與結(jié)果

3.1 試驗方法

本文從網(wǎng)上和實地采集50張自然場景下的蜜柚圖像進行試驗，場景范圍涵蓋了枝葉遮擋、重疊、陰影以及其他不同顏色的蜜柚圖像。為了驗證本文提出方法的有效性，共做了3部分試驗，首先對50張圖像進行本文方法的試驗，其次對本文方法和圓擬合方法的識別結(jié)果進行對比，最后設計識別自動化試驗平臺進行識別試驗。

3.1.1 本文方法的蜜柚識別和果梗定位試驗

首先，對50張蜜柚圖像采用本文提出的蜜柚識別方法進行試驗，試驗流程如圖9所示。其次，根據(jù)本文提出的蜜柚果梗定位方法，選取9張具有較大蜜柚果實的圖像進行試驗，要求進行果梗定位的蜜柚具有基本的蜜柚形狀特征和果梗所在部分未被遮擋，以便果梗定位方法能夠?qū)ふ业?.3節(jié)中敘述的長軸，先用本文的識別方法進行蜜柚識別，選取識別結(jié)果中面積最大的幾個蜜柚進行試驗，選取規(guī)則為：蜜柚面積大于圖像上最大面積的60%，即為試驗對象。

3.1.2 圓擬合蜜柚識別試驗

圓擬合方法是通過剔除目標輪廓中的偽輪廓，對留下的有效輪廓進行擬合的方法。由于重疊蜜柚在重疊部分和受到枝葉遮擋部分的輪廓曲率會明顯異常于其他輪廓點，本文利用輪廓的曲率進行異常點剔除[24]，剔除異常點后蜜柚輪廓會被切分為幾個部分，這些輪廓中有的是受到枝葉遮擋形成的偽輪廓，偽輪廓通常比正常的蜜柚輪廓短，剔除這部分偽輪廓，再用最小二乘法對保留的輪廓做圓擬合，剔除偽輪廓過程如圖10所示。

3.1.3 蜜柚識別自動化試驗

為了驗證實際應用效果，將本文方法集成到采摘機器人視覺系統(tǒng)上進行識別試驗。識別自動化試驗平臺如圖 11所示。采摘機器人由6自由度機械臂、移動小車、雙目攝像頭和一臺樹莓派組成。識別試驗過程如下：將移動小車移動到合適位置，由樹莓派調(diào)用雙目攝像頭獲取照片并調(diào)用算法對蜜柚果實進行識別；若算法識別到成熟蜜柚果實，則選擇距離攝像頭最近的蜜柚果實為第1采摘目標并進行果梗定位。

自動采摘的關(guān)鍵環(huán)節(jié)之一是蜜柚果梗的空間坐標定位，采用雙目立體視覺定位方法實現(xiàn)，各個蜜柚果梗的定位功能模塊如圖12所示，在對果梗的空間坐標進行計算前，需要在左右目圖像上定位出對應的果梗位置，本文先對左目圖像進行蜜柚識別，以識別出的蜜柚目標為模板在右目圖像上進行匹配，如果匹配成功則分別對左右目圖像中該蜜柚的果梗進行定位，對左右目圖像的處理流程如圖13所示，圖13a為雙目攝像頭獲取并經(jīng)過校正的雙目圖像，圖13b為左目圖像的蜜柚識別結(jié)果，圖 13c為以左目圖像的識別結(jié)果為模板在右目圖像中的匹配結(jié)果，圖13d是對左右目圖像中識別到的蜜柚進行果梗定位。從識別自動化試驗平臺上的雙目攝像頭獲取含有重疊蜜柚的雙目圖像，按上述流程進行識別、果梗定位試驗。

3.1.4 試驗結(jié)果評價指標

對本文提出方法和圓擬合方法的試驗結(jié)果均采用正確識別率（T）、錯誤識別率（F）和遺漏率（M）作為評價指標，其中，錯誤識別包括將非蜜柚目標識別為蜜柚和對蜜柚的重復識別，即對同一蜜柚目標的重復識別僅將其中一個計入正確識別個數(shù)，其他都計入錯誤識別個數(shù)。評價指標計算方法如下：

T=T/×100% （1）

F=F/×100% （2）

M=M/×100% （3）

式中T為正確識別的蜜柚個數(shù)，F(xiàn)為錯誤識別的蜜柚個數(shù)，M為遺漏識別的蜜柚個數(shù)，為圖像上的蜜柚總數(shù)。

3.2 試驗結(jié)果與分析

3.2.1 本文方法的蜜柚識別結(jié)果與分析

本文所提方法的試驗結(jié)果如表1和圖14所示。從圖 14中可以看出，本文使用的主成分分析方法能夠準確地從圖像中提取出蜜柚，提出的分離方法對相互遮擋的蜜柚具有較好的分離效果。由表1可以看出，本文方法大部分的識別率為100%，平均識別率為94.02%，最低識別率為68.42%，平均錯誤識別率為14.87%，最高錯誤識別率為60%。其中造成識別率較低的原因：1）葉片和其他蜜柚對目標光線的遮擋，導致目標亮度較暗，在圖像上呈現(xiàn)出的顏色與正常蜜柚顏色有明顯差別，從而沒有被識別出來；2） 重疊蜜柚的重疊程度過大，漸進式中心定位算法最終只定位出一個中心，被誤認為是非重疊區(qū)域，導致識別率降低。造成錯誤識別率較高的原因：1） 蜜柚受到枝、葉、光照等影響，導致提取出的目標形變大，被認為是多個蜜柚重疊形成；2）蜜柚被樹枝等切割成多塊，每一塊都被認為是一個蜜柚。以上兩個原因都會導致對同一蜜柚目標的重復識別，根據(jù)本文規(guī)定的錯誤識別個數(shù)統(tǒng)計方法，重復識別也被統(tǒng)計到錯誤識別個數(shù)中，從而導致錯誤識別率的增加。

由此可見，本文所提方法對于分離圖像中相互重疊的多個蜜柚具有很大優(yōu)勢，但對于相互遮擋嚴重的蜜柚的分離效果會有所下降，平均識別率為94.02%，表明利用本文方法進行重疊蜜柚目標識別是可行的，其性能基本滿足自動采摘的需求。

3.2.2 果梗定位結(jié)果與分析

選取9張蜜柚圖像進行試驗，試驗結(jié)果如圖15所示。在實際應用當中，為了與方法原理相適應，要求攝像頭獲取圖像時與水平面平行，由于可以通過機器人的移動多次定位果梗，因此每次只需要定位出離攝像頭最近的2～3個蜜柚的果梗，而距離攝像頭越近的蜜柚在圖像上的面積越大，即表現(xiàn)為“大”目標，這在一定程度上解決了該方法難以定位被其他目標遮擋的果梗的問題。從圖15中可以看出，每張圖像中符合條件的“大”目標蜜柚果梗均可定位，沒有定位出果梗的蜜柚主要為距離攝像頭較遠和受到嚴重遮擋的“小”目標蜜柚。

表1 本文所提方法的蜜柚識別試驗結(jié)果

3.3 對比試驗結(jié)果

本文以對有效輪廓進行圓擬合的方法作為對比試驗，其平均識別率為84.59%，平均錯誤識別率為37.48%，平均遺漏率為15.41%。從50張圖像中隨機選取幾張圖像進行展示，如圖16所示。

由圖16可以看到，采用圓擬合的方法，對受遮擋情況簡單的圖像的擬合效果較好，如圖16c，但對于受遮擋情況復雜的圖像，最終的擬合效果較差，如圖16b，主要原因是：1）遮擋形成的偽輪廓被誤判為正常輪廓導致錯誤擬合；2）正常輪廓被誤判為偽輪廓導致遺漏；3）蜜柚的形狀特征決定了其不同部位的輪廓擬合得到的圓具有很大的差別；4）蜜柚的形狀并不是標準的圓形，圓擬合的結(jié)果并不能很好地將整個蜜柚都包含在內(nèi)。采用圓擬合方法的平均識別率（84.59%）低于本文提出的方法（94.02%），且平均錯誤識別率和平均遺漏率分別為37.48%和15.41%，均高于本文提出方法的14.87%和5.98%。本文所提方法與之相比，在重疊蜜柚分離上具有明顯優(yōu)勢。

3.4 蜜柚識別自動化試驗驗證

從蜜柚識別自動化平臺上獲取含有重疊蜜柚的雙目圖像進行蜜柚識別和果梗定位試驗，試驗結(jié)果如圖 17所示，從圖中可以看出，本文方法對從試驗平臺上獲取的重疊蜜柚圖像能夠準確地分離識別和定位果梗，表明將本文方法應用于自動采摘設備上具有一定的可行性。

4 結(jié) 論

本文綜合利用主成分分析、漸進式中心定位、輪廓信息和蜜柚的形狀特征，實現(xiàn)蜜柚目標提取、重疊輪廓分離及果梗定位，并用自然場景圖像和識別自動化試驗平臺進行了算法驗證，主要結(jié)論如下：

1）針對圖像上蜜柚形態(tài)不規(guī)則、顏色相似的特征，采用基于主成分分析的目標提取方法可以有效地實現(xiàn)蜜柚圖像的分割。

2）針對重疊蜜柚的分離問題，本文結(jié)合漸進式中心定位而提出的分離方法，實現(xiàn)了重疊蜜柚的分離，平均識別率達94.02%。

3）針對果梗定位問題，提出了一種確定蜜柚果梗位置的方法，基本可以定位出離攝像頭較近的蜜柚的果梗，為自動采摘提供信息支持。

對于受到嚴重遮擋或受到光線影響嚴重的目標，該方法的識別性能會有所下降，可以在采集圖像的同時通過角度調(diào)整、遮光或補光等方式進行改善。本文方法實現(xiàn)的蜜柚識別、果梗定位，再結(jié)合雙目視覺便可得到果梗的空間位置，這是機械手臂實現(xiàn)自動采摘的關(guān)鍵信息。

[1] Yu Y, Zhang K, Yang L, et al. Fruit detection for strawberry harvesting robot in non-structural environment based on Mask-RCNN[J]. Computers and Electronics in Agriculture, 2019, 163: 104846.

[2] 王津京，趙德安，姬偉，等. 采摘機器人基于支持向量機蘋果識別方法[J]. 農(nóng)業(yè)機械學報，2009，40(1)：148-151.

Wang Jinjing, Zhao Dean, Ji Wei, et al. Apple fruit recognition based on support vector machine using in harvesting robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(1): 148-151. (in Chinese with English abstract)

[3] 司永勝，喬軍，劉剛，等. 蘋果采摘機器人果實識別與定位方法[J]. 農(nóng)業(yè)機械學報，2010，41(9)：148-153.

Si Yongsheng, Qiao Jun, Liu Gang, et al. Recognition and location of fruits for apple harvesting robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(9): 148-153. (in Chinese with English abstract)

[4] 賈偉寬，趙德安，劉曉洋，等. 機器人采摘蘋果果實的K-means和GA-RBF-LMS神經(jīng)網(wǎng)絡識別[J]. 農(nóng)業(yè)工程學報，2015，31(18)：175-183.

Jia Weikuan, Zhao Dean, Liu Xiaoyang, et al. Apple recognition based on K-means and GA-RBF-LMS neural network applicated in harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(18): 175-183. (in Chinese with English abstract)

[5] 江梅，孫颯爽，何東健，等. 融合K-means聚類分割算法與凸殼原理的遮擋蘋果目標識別與定位方法[J]. 智慧農(nóng)業(yè)，2019，1(2)：45-54.

Jiang Mei, Sun Sashuang, He Dongjian, et al. Recognition and localization method of occluded apples based on K-means clustering segmentation algorithm and convex hull theory[J]. Smart Agriculture, 2019, 1(2): 45-54. (in Chinese with English abstract)

[6] 周文靜，查志華，吳杰. 改進圓形Hough變換的田間紅提葡萄果穗成熟度判別[J]. 農(nóng)業(yè)工程學報，2020，36(9)：205-213.

Zhou Wenjing, Zha Zhihua, Wu Jie. Maturity discrimination of “Red Globe” grape cluster in grapery by improved circle Hough transform[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(9): 205-213. (in Chinese with English abstract)

[7] Lin G, Tang Y, Zou X, et al. Color-, depth-, and shape-based 3D fruit detection[J]. Precision Agriculture, 2020, 21(1): 1-17.

[8] Wu G, Li B, Zhu Q, et al. Using color and 3D geometry features to segment fruit point cloud and improve fruit recognition accuracy[J]. Computers and Electronics in Agriculture, 2020, 174: 105475.

[9] 李寒，張漫，高宇，等. 溫室綠熟番茄機器視覺檢測方法[J]. 農(nóng)業(yè)工程學報，2017，33(增刊1)：328-334.

Li Han, Zhang Man, Gao Yu, et al. Green ripe tomato detection method based on machine vision in greenhouse[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.1): 328-334. (in Chinese with English abstract)

[10] Bu R, Xiong J, Chen S, et al. A shadow detection and removal method for fruit recognition in natural environments[J]. Precision Agriculture, 2020, 21(4): 782-801.

[11] 孟欣欣，阿里甫·庫爾班，呂情深，等. 基于遷移學習的自然環(huán)境下香梨目標識別研究[J]. 新疆大學學報：自然科學版，2019，36(4)：461-467.

Meng Xinxin, Alifu Kuerban, Lv Qingshen, et al. Research on fragrant pear target recognition in natural environment based on transfer learning[J]. Journal of Xinjiang University: Natural Science Edition, 2019, 36(4):461-467. (in Chinese with English abstract)

[12] Xiong L, Wang Z, Liao H, et al. Overlapping citrus segmentation and reconstruction based on Mask R-CNN model and concave region simplification and distance analysis[C]. Journal of Physics: Conference Series. IOP Publishing, 2019, 1345(3): 032064.

[13] Xiao C, Zheng L, Li M, et al. Apple detection from apple tree image based on BP neural network and Hough transform[J]. International Journal of Agricultural and Biological Engineering, 2015, 8(6): 46-53.

[14] Bresilla K, Perulli G D, Boini A, et al. Single-shot convolution neural networks for real-time fruit detection within the tree[J]. Frontiers in plant science, 2019, 10: 611.

[15] Tian Y, Yang G, Wang Z, et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model[J]. Computers and Electronics in Agriculture, 2019, 157: 417-426.

[16] Kang H, Chen C. Fruit detection, segmentation and 3D visualisation of environments in apple orchards[J]. Computers and Electronics in Agriculture, 2020, 171: 105302.

[17] 李寒，王庫，曹倩，等. 基于機器視覺的番茄多目標提取與匹配[J]. 農(nóng)業(yè)工程學報，2012，28(5)：168-172.

Li Han, Wang Ku, Cao Qian, et al. Tomato targets extraction and matching based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(5): 168-172. (in Chinese with English abstract)

[18] 項榮，應義斌，蔣煥煜，等. 基于邊緣曲率分析的重疊番茄識別[J]. 農(nóng)業(yè)機械學報，2012，43(3)：157-162.

Xiang Rong, Ying Yibin, Jiang Huanyu, et al. Recognition of overlapping tomatoes based on edge curvature analysis[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(3): 157-162. (in Chinese with English abstract)

[19] 馮娟，曾立華，劉剛，等. 融合多源圖像信息的果實識別方法[J]. 農(nóng)業(yè)機械學報，2014，45(2)：73-80.

Feng Juan, Zeng Lihua, Liu Gang, et al. Fruit recognition algorithm based on multi-source images fusion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(2): 73-80. (in Chinese with English abstract)

[20] 王丹丹，徐越，宋懷波，等. 融合K-means與Ncut算法的無遮擋雙重疊蘋果目標分割與重建[J]. 農(nóng)業(yè)工程學報，2015，31(10)：227-234.

Wang Dandan, Xu Yue, Song Huaibo, et al. Fusion of K-means and Ncut algorithm to realize segmentation and reconstruction of two overlapped apples without blocking by branches and leaves[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(10): 227- 234. (in Chinese with English abstract)

[21] 徐越，李盈慧，宋懷波，等. 基于Snake模型與角點檢測的雙果重疊蘋果目標分割方法[J]. 農(nóng)業(yè)工程學報，2015，31(1)：196-203.

Xu Yue, Li Yinghui, Song Huaibo, et al. Segmentation method of overlapped double apples based on Snake model and corner detectors[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(1): 196- 203. (in Chinese with English abstract)

[22] He Z, Xiong J, Chen S, et al. A method of green citrus detection based on a deep bounding box regression forest[J]. Biosystems Engineering, 2020, 193: 206-215.

[23] 林耀海，景林，王長纓，等. 一種漸進式圓心定位的原木端面輪廓識別方法[J]. 福建師范大學學報：自然科學版，2016，32(4)：23-28.

Lin Yaohai, Jing Lin, Wang Changying, et al. A progressive central location method for outline extraction of logs cross section[J]. Journal of Fujian Normal University: Natural Science Edition, 2016, 32(4): 23-28. (in Chinese with English abstract)

[24] 荀一，陳曉，李偉，等. 基于輪廓曲率的樹上蘋果自動識別[J]. 江蘇大學學報：自然科學版，2007(6)：461-464.

Xun Yi, Chen Xiao, Li Wei, et al. Automatic recognition of no-tree apples based on contour curvature[J]. Journal of Jiangsu University: Natural Science Edition, 2007(6): 461-464. (in Chinese with English abstract)

Recognition of the overlapped honey pomelo images in natural scene and experiment

Lin Yaohai1, Lyu Zhongliang1, Yang Changcai1, Lin Peijie2, Chen Fangyu3, Hong Jiawei1

(1.,,350002,;2.,,350116,;3.,,350002,)

Two key challenges can be the accurate separation of the overlapping fruits and the positioning of the plant stem during the automatic picking of honey pomelo. However, the existing approaches to separate the overlapping apples and citrus are not suitable for the overlapping honey pomelo, particularly no positioning function of the stem so far. In this study, new image recognition was proposed to combine with the progressive center and stem positioning in natural scene images, in order to improve the recognition rate of honey pomelo. Firstly, the principal component analysis (PCA) was used to determine the principal components of the color pixel values in the target area and the distribution intervals of each component. The PCA was also utilized to reduce the data dimensionality. As such, the rotation matrix was obtained to convert the image from the RGB to the principal component space. The distribution intervals of the color principal components were used to evaluate and filter the pixels of the honey pomelo. A binarization was then performed to obtain a binary image. Secondly, the edge information of the color image after filtering the background was selected to preliminarily divide the binary image. If a pixel was an edge point on the color image, the corresponding point on the binary image was set for the background pixel. Before separating, a white area was determined to contain the multiple honey pomelos. In addition, the separation operation was performed on the area, only when there were multiple honey pomelos. Thirdly, a progressive center positioning was adopted to locate the center of each honey pomelo in the overlapping honey pomelo area. An operation was also conducted from the top, bottom, left, and right directions to obtain the center of each honey pomelo. Finally, the separation point of the overlapping area was determined to realize the recognition, where the edge points of the white area were traversed along the edge, in order to calculate the distance between each edge point and the center points of two adjacent honey pomelos. Since the stem of the honey pomelo was located near the top extension line of the long axis passing through the center point in the longitudinal section, the central point was used to locate the stem area with a smaller degree of obscuration and normal suspension. A total of 50 images in natural scenes were selected to verify the model. The test results showed that the average recognition rate of the new recognition was 94.02% in the natural scene. Furthermore, the stem areas were accurately located for the honey pomelos, whose stems were not blocked or closer to the camera. Consequently, the new recognition can be widely expected to transfer to the embedded development system and an automatic picking platform with the laboratory honey pomelo model for picking experiments. This finding can also provide a strong reference to accurately recognize the overlapping fruits for the picking robot of honey pomelo.

image processing; identification; machine vision;overlapping honey pomelo; principal component analysis; progressive center location; separation; fruit stem

2021-10-30

2021-12-06

國家自然科學基金（61972093）；福建省自然科學基金（2019J01402）

林耀海，博士，講師，研究方向為圖像處理、智能信息處理。Email：linyaohai@fafu.edu.cn

10.11975/j.issn.1002-6819.2021.24.018

TP391.41

A

1002-6819(2021)-24-0158-10

林耀海，呂鐘亮，楊長才，等. 自然場景圖像中的重疊蜜柚識別及試驗[J]. 農(nóng)業(yè)工程學報，2021，37(24)：158-167. doi：10.11975/j.issn.1002-6819.2021.24.018 http://www.tcsae.org

Lin Yaohai, Lyu Zhongliang, Yang Changcai, et al. Recognition of the overlapped honey pomelo images in natural scene and experiment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(24): 158-167. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.24.018 http://www.tcsae.org