錢(qián) 鷹，榮佳佳，黃 穎，周 莉

(1.重慶郵電大學(xué)圖形圖像與多媒體實(shí)驗(yàn)室，重慶 400065;2.中國(guó)煤炭科工集團(tuán)重慶設(shè)計(jì)研究院，重慶 400016)

0 引言

果蔬采摘機(jī)器人是目前農(nóng)業(yè)機(jī)器人領(lǐng)域的一個(gè)研究熱點(diǎn)［1-3］，而對(duì)果實(shí)的識(shí)別技術(shù)是果蔬采摘機(jī)器人視覺(jué)系統(tǒng)的關(guān)鍵技術(shù)。許多學(xué)者在這方面做了研究，取得一些成果。姚力健等［4］對(duì)茄子圖像分別進(jìn)行了色差分割和色調(diào)分割，并利用多參數(shù)來(lái)衡量分割結(jié)果，使評(píng)價(jià)做到最大程度的客觀、合理。劉長(zhǎng)林等［5］設(shè)計(jì)了一種實(shí)現(xiàn)田間茄子收獲機(jī)器人視覺(jué)系統(tǒng)的圖像識(shí)別方法，通過(guò)判斷像素值差值實(shí)現(xiàn)分割，通過(guò)模版操作去除殘留物。姚力健等［6］設(shè)計(jì)一種基于自組織特征映射(self-organizing feature map，SOFM)神經(jīng)網(wǎng)絡(luò)的茄子圖像分割方法，選取RB，G-B和H顏色分量作為SOFM網(wǎng)絡(luò)的輸入向量，利用該網(wǎng)絡(luò)自組織學(xué)習(xí)的特征進(jìn)行聚類(lèi)。以上3種方法對(duì)單果識(shí)別較好，但是并沒(méi)有涉及多果情況。而且以上3種方法對(duì)無(wú)遮擋情況識(shí)別較好，對(duì)遮擋情況識(shí)別效果不理想。

解決復(fù)雜自然環(huán)境下(復(fù)雜環(huán)境包括大面積地面，顏色與茄子相似的繩子等)多果、遮擋的識(shí)別，已經(jīng)成為果蔬采摘機(jī)器人急需解決的問(wèn)題。本文對(duì)茄子圖像應(yīng)用支持向量機(jī)進(jìn)行分割;針對(duì)背景與茄子相似的情況，利用直方圖分布匹配進(jìn)行識(shí)別;針對(duì)遮擋的情況，嘗試使用凸包擬合的方法，擬合出被遮擋茄子的輪廓。

1 圖像采集和樣本獲取

作者于2011年9月，在廣西三江縣古宜鎮(zhèn)無(wú)公害蔬菜基地，用Sony DSC-T20數(shù)碼相機(jī)，采集晴天條件下從早晨7:00至傍晚18:40時(shí)間段的茄子圖像90張。茄子品種為長(zhǎng)茄。圖像中不僅包括單個(gè)茄子的情況，也包括多個(gè)茄子的情況。圖像的最初尺寸是3264×2448像素，為了實(shí)驗(yàn)方便和提高處理速度，將圖像裁減為512×512像素。并且裁剪后的圖像，滿(mǎn)足實(shí)驗(yàn)對(duì)圖像分辨率的要求。

處理設(shè)備為PC機(jī)，基本配置:CPU為AMD，內(nèi)存2 GByte，硬盤(pán)500 GByte。操作系統(tǒng)是 Windows 2000。圖像處理軟件:MATLAB 7.11.0。

2 本支持向量機(jī)簡(jiǎn)介

支持向量機(jī)(support vector machine，SVM)是由

Vapnik首先提出的，像多層感知器網(wǎng)絡(luò)和徑向基核函數(shù)網(wǎng)絡(luò)一樣，可用于模式識(shí)別和非線性回歸。支持向量機(jī)的主要思想是建立一個(gè)分類(lèi)超平面作為決策曲面，使得正例和反例之間的間隔邊緣最大化［7-9］。核函數(shù)是構(gòu)造支持向量機(jī)的關(guān)鍵。核函數(shù)的種類(lèi)主要有

線性核函數(shù)

多項(xiàng)式核函數(shù)

徑向基核函數(shù)

兩層感知器核函數(shù)

3 本文算法

本文茄子識(shí)別的流程圖如圖1所示。

圖1 茄子識(shí)別的流程圖Fig.1 Flow chart of eggplant recognition

3.1 SVM 分割

本文SVM的實(shí)現(xiàn)采用的是libsvm工具箱［10］。libsvm是臺(tái)灣大學(xué)林智仁教授等開(kāi)發(fā)設(shè)計(jì)的一個(gè)簡(jiǎn)單、易于使用且快速有效的SVM模式識(shí)別與回歸的軟件包。SVM用于模式識(shí)別或回歸分析時(shí)，SVM方法及其參數(shù)、核函數(shù)及其參數(shù)的選擇，目前國(guó)際上還沒(méi)有形成一個(gè)統(tǒng)一的模式，也就是說(shuō)，最優(yōu)的SVM算法的參數(shù)選擇還只是憑借經(jīng)驗(yàn)、實(shí)驗(yàn)對(duì)比、大范圍地搜索或者利用軟件包提供的交互檢驗(yàn)功能進(jìn)行尋優(yōu)［7］。

核函數(shù)的選擇一般與問(wèn)題自身有關(guān)［11］。當(dāng)c=1，g=1時(shí)(c是懲罰參數(shù)，g是γ)，對(duì)于SVM中不同的核函數(shù)，分割效果如圖2所示。通過(guò)圖2可以看出，對(duì)于本文實(shí)驗(yàn)數(shù)據(jù)，線性核函數(shù)的分割效果最好，因此，本文的核函數(shù)采用線性核函數(shù)。

本文實(shí)驗(yàn)圖像共90張，其中訓(xùn)練圖像10張。訓(xùn)練集是從10張訓(xùn)練圖中選出的一些像素點(diǎn)。其中訓(xùn)練集包括2部分:一部分是前景點(diǎn)，另一部分是背景點(diǎn)。前景點(diǎn)是從10張訓(xùn)練圖像的茄子中隨機(jī)選取的像素點(diǎn)。背景點(diǎn)是從10張訓(xùn)練圖像的背景中隨機(jī)選取的像素點(diǎn)。本文分別選取了多個(gè)樣本的30，40，50及100個(gè)點(diǎn)作為訓(xùn)練集進(jìn)行實(shí)驗(yàn)，平均正確分類(lèi)率及平均運(yùn)行時(shí)間如表1所示。

表1 采用不同點(diǎn)數(shù)訓(xùn)練集的對(duì)比Tab.1 Comparison of using the training set of different points

從表1中可以看出，4類(lèi)點(diǎn)數(shù)的平均正確分類(lèi)率及平均運(yùn)行時(shí)間很接近。4種訓(xùn)練集對(duì)表面反光茄子的分割圖像如圖3所示。

從圖3可以看出，訓(xùn)練集是30個(gè)點(diǎn)(多個(gè)樣本)的情況，對(duì)茄子反光區(qū)域的分割效果最好。而大多數(shù)茄子的表面容易反光，所以取30個(gè)像素點(diǎn)作為訓(xùn)練集，其中前景點(diǎn)14個(gè)，背景點(diǎn)16個(gè)。前景就是茄子，而實(shí)驗(yàn)圖像的背景比較復(fù)雜，包括竹竿、木桿、綠葉、枯葉、莖，遠(yuǎn)山、天空、地面及其覆蓋物。

圖3 不同訓(xùn)練集對(duì)表面反光茄子的分割圖像Fig.3 Segmentation image of different training set of the reflective surface of the eggplant

3.2 后處理

3.2.1 消除細(xì)毛刺

SVM分割后的圖像存在大量的細(xì)小毛刺，特別是一些狹長(zhǎng)的毛刺把大塊的噪聲和茄子連在一起。消除這些細(xì)毛刺，采用數(shù)學(xué)形態(tài)學(xué)的方法。數(shù)學(xué)形態(tài)學(xué)是圖像處理中應(yīng)用最為廣泛的技術(shù)之一，主要用于從圖像中提取對(duì)表達(dá)和描繪區(qū)域形狀有意義的圖像分量［12］。數(shù)學(xué)形態(tài)學(xué)中的開(kāi)運(yùn)算可以使圖像的輪廓變得光滑，還能斷開(kāi)小連接、消除小毛刺。經(jīng)過(guò)試驗(yàn)，取大小為3×3，形狀為正方形的結(jié)構(gòu)元素用于實(shí)驗(yàn)。開(kāi)運(yùn)算后，物體的位置沒(méi)有改變并且輪廓也沒(méi)有發(fā)生整體收縮。

3.2.2 基于面積的后處理

消除細(xì)毛刺后，圖像的邊緣變得光滑，但是圖像中還是存在很多噪聲。本文采用面積閾值法去除這些噪聲，面積閾值法就是根據(jù)面積閾值去除噪聲。步驟:1)對(duì)圖像進(jìn)行標(biāo)注;2)求出各個(gè)區(qū)域的面積;3)求出面積的最大值，并且把最大面積的二分之一作為面積閾值;4)把各個(gè)區(qū)域的面積與閾值進(jìn)行比較，如果大于閾值，則保留。經(jīng)過(guò)以上處理，可以去除大部分的噪聲。

3.2.3 基于外接矩形的后處理

但是對(duì)于一些與茄子顏色相似，并且面積也比較大的背景物體，上面的方法無(wú)法去除，這時(shí)，可以用外接矩形法來(lái)去除噪聲。1)求出各個(gè)區(qū)域的外接矩形;2)求出矩形的寬長(zhǎng)比，設(shè)為rate，通過(guò)實(shí)驗(yàn)得到茄子的寬長(zhǎng)比為0.11≤rate≤0.45;3)將各個(gè)區(qū)域與rate比較，如果不在這個(gè)范圍內(nèi)，就去除。

3.2.4 孔洞填充

由于茄子表面反光，在茄子圖像中會(huì)產(chǎn)生一些孔洞，需要進(jìn)行孔洞填充。本文采用4連通式的孔洞填充。至此，無(wú)遮擋的茄子識(shí)別完畢，識(shí)別過(guò)程如圖4所示。

3.3 使用直方圖分布進(jìn)行匹配識(shí)別

還有一種特殊情況，就是背景物體不僅顏色、面積與茄子相近，而且形狀與茄子也很相似，如圖5a中的長(zhǎng)木桿。這時(shí)可以使用直方圖分布匹配識(shí)別的方法。步驟如下:①設(shè)SVM分割后的圖像為α圖，SVM分割后再進(jìn)行孔洞填充的圖像為β圖;②比較α圖和β圖相同位置點(diǎn)的像素值，如果β圖像素點(diǎn)的值是0，則α圖相應(yīng)位置點(diǎn)的像素值設(shè)置為255，如果β圖像素點(diǎn)的值是1，則α圖相應(yīng)位置點(diǎn)的像素值不變。最后得到圖5b。本文對(duì)茄子的灰度直方圖如圖5d所示，進(jìn)行分析，統(tǒng)計(jì)得到茄子灰度值的范圍，取閾值T=50進(jìn)行分割。分割后的結(jié)果如圖5b，而去噪等處理后得到圖像如圖5c。

圖4 無(wú)遮擋的茄子識(shí)別過(guò)程圖Fig.4 Image group of unobstructed eggplant recognition process

圖5 使用直方圖分布進(jìn)行匹配識(shí)別的過(guò)程圖Fig.5 Image group of eggplant recognition process of histogram distribution matching

3.4 凸包擬合

點(diǎn)集Q的凸包是一個(gè)滿(mǎn)足Q中的每個(gè)點(diǎn)或者在P的邊界上，或者在P內(nèi)部的最小面積的凸多邊形P。具體定義如下。

在一個(gè)實(shí)數(shù)向量空間V中，對(duì)于給定集合X，所包含X的凸集的交集S被稱(chēng)為X的凸包，如公式(5)［13］定義為

X的凸包可以用X內(nèi)所有點(diǎn)(x1，…，xn)的線性組合來(lái)構(gòu)造，如公式(6)

由于枝葉等遮擋，識(shí)別出的茄子并不完整。因此，本文采用凸包擬合的方法，擬合出茄子的輪廓。被遮擋的原圖如圖6a所示，而凸包擬合后的結(jié)果如圖6b所示。

圖6 凸包擬合圖像Fig.6 Image of convex hull fitting

4 結(jié)果分析

各種對(duì)比結(jié)果如表2－表7所示。

表2 總的識(shí)別率及時(shí)間比較Tab.2 Comparison of total recognition rate and time

表3 茄子表面反光識(shí)別率及時(shí)間比較(條件:單果，無(wú)遮擋，背景較簡(jiǎn)單)Tab.3 Comparison of time and recognition of eggplant of reflective surface(Condition:single fruit， unobstructed， simple background)

表4 單果識(shí)別率及時(shí)間比較(條件:上午，無(wú)遮擋，背景較簡(jiǎn)單，茄子表面無(wú)反光)Tab.4 Comparison of time and recognition of single fruit(Condition:morning，unobstructed，simple background，the surface of eggplant is not reflective)

表5 多果識(shí)別率及時(shí)間比較(條件:中午，無(wú)遮擋，背景較簡(jiǎn)單，茄子表面無(wú)反光)Tab.5 Comparison of time and recognition of multiple fruit(Condition:midday，unobstructed，simple background，the surface of eggplant is not reflective)

表6 遮擋識(shí)別率及時(shí)間比較(條件:下午)Tab.6 Comparison of time and recognition of blocked eggplant(Condition:afternoon)

表7 背景復(fù)雜識(shí)別率及時(shí)間比較(條件:上午，單果，無(wú)遮擋)Tab.7 Comparison of time and recognition of complex background(Condition:morning，single fruit，unobstructed)

從表2可以看出，本文總的識(shí)別率明顯高于文獻(xiàn)［12］和文獻(xiàn)［4］;雖然識(shí)別時(shí)間大于文獻(xiàn)［12］和文獻(xiàn)［4］，但是這個(gè)時(shí)間在果蔬采摘機(jī)器人視覺(jué)系統(tǒng)中，可以接受。

表3總的圖像為12張。為了避免其他因素對(duì)反光識(shí)別率的影響，比如多果、被遮擋、背景復(fù)雜等，因此，選擇條件為單果、無(wú)遮擋、背景較簡(jiǎn)單對(duì)反光識(shí)別率進(jìn)行比較。從表3可以看出，本文反光識(shí)別率明顯高于文獻(xiàn)12和文獻(xiàn)4。識(shí)別效果如圖7所示。

表4總的圖像為6張。為了避免其他因素對(duì)單果識(shí)別率的影響，比如光照較強(qiáng)、被遮擋、背景復(fù)雜等，因此，選擇條件為上午、無(wú)遮擋、背景較簡(jiǎn)單、茄子表面無(wú)反光對(duì)單果識(shí)別率進(jìn)行比較。從表4可以看出，3篇文章對(duì)單果的識(shí)別率都較好。識(shí)別效果如圖8所示。

表5總的圖像為4張。為了避免其他因素對(duì)多果識(shí)別率的影響，比如被遮擋、背景復(fù)雜等，因此，選擇條件為中午、無(wú)遮擋、背景較簡(jiǎn)單，茄子表面無(wú)反光對(duì)多果識(shí)別率進(jìn)行比較。從表5可以看出，本文對(duì)多果的識(shí)別率明顯高于文獻(xiàn)［12］和文獻(xiàn)［4］。識(shí)別效果圖如圖9所示。

表6總的圖像14張，選擇同一時(shí)間段下午進(jìn)行比較。從表6可以看出，本文遮擋識(shí)別率明顯高于文獻(xiàn)［12］和文獻(xiàn)［4］。識(shí)別效果如圖10所示。

表7總的圖像為9張。為了避免其他因素對(duì)背景復(fù)雜識(shí)別率的影響，比如被遮擋、多果等，因此，選擇條件為上午、單果、無(wú)遮擋對(duì)背景復(fù)雜識(shí)別率進(jìn)行比較。其中復(fù)雜背景包括大面積地面，顏色與茄子相似的繩子、竹竿、木桿等。從表7可以看出，本文對(duì)背景復(fù)雜的識(shí)別率明顯高于文獻(xiàn)［12］和文獻(xiàn)［4］。識(shí)別效果如圖11所示。

圖7 反光識(shí)別結(jié)果Fig.7 Recognition results under reflective condition

圖8 單果識(shí)別結(jié)果Fig.8 Recognition results under single fruit condition

圖9 多果識(shí)別結(jié)果Fig.9 Recognition results under multiple fruit condition

圖10 遮擋識(shí)別結(jié)果Fig.10 Recognition results under blocked condition

5 結(jié)論

對(duì)背景環(huán)境較復(fù)雜的圖像，取得較滿(mǎn)意的分割效率。無(wú)論是單果還是多果，都能得到較好的結(jié)果，說(shuō)明算法的魯棒性較強(qiáng)。對(duì)遮擋情況，嘗試采用凸包擬合茄子的輪廓。識(shí)別茄子是實(shí)現(xiàn)自動(dòng)采摘的第一步。后續(xù)的工作將會(huì)對(duì)嚴(yán)重遮擋情況進(jìn)行進(jìn)一步地研究。

［1］VAN HENTEN E，VAN TUIJ B，HOOGAKKAR G，et al.An autonomous robot for de-leafing cucumber plants grown in a highwire cultivation system ［J］.Biosystems Engineering，2006，94(3):317-323.

［2］TANIGAKI K，F(xiàn)UJIURA T，AKASE A，et al.Cherryharvesting robot［J］.Computers and Electronics in Agriculture，2008，63(1):65-72.

［3］RATH T，KAWOLLEK M.Robotic harvesting of Gerbera Jamesonii based on detection and three-dimensional modeling of cut flower pedicels［J］.Computers and Electronics in Agriculture，2009，66(1):85-92.

［4］姚立健，丁為民，劉瓔瑛.基于MATLAB的茄子圖像分割方法［J］.江西農(nóng)業(yè)學(xué)報(bào)，2007，19(6):97-101.YAO Lijian，DING Weimin，LIU Yingying.Image Segmentation for Eggplant Based on MATLAB［J］.Ata Agriculture Jiangxi，2007，19(6):97-101.

［5］劉長(zhǎng)林，張鐵中，楊麗.茄子收獲機(jī)器人視覺(jué)系統(tǒng)圖像識(shí)別方法［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2008，39(11):217-219.LIU Changlin，ZHANG Tiezhong，YANG Li.A image recognition method of vision system of the robot collecting eggplants［J］.Transactions of the Chinese Society for Agricultural Machinery，2008，39(11):217-219.

［6］姚立健，丁為民，趙三琴，等.基于SOFM神經(jīng)網(wǎng)絡(luò)的茄子圖像分割方法［J］.南京農(nóng)業(yè)大學(xué)學(xué)報(bào)，2008，31(3):140-144.YAO Lijian，DING Weimin，Zhao Sanqin，et al.Method of image segmentation for eggplant based on SOFM neural network［J］.Journal of Nanjing Agricultural University，2008，31(3):140-144.

［7］史峰，王小川，郁磊，等.MATLAB神經(jīng)網(wǎng)絡(luò)30個(gè)案例分析［M］.北京:北京航天航空大學(xué)出版社，2010:112-113.SHI Feng，WANG Xiaochuan，YU Lei，et al.The analysis of MATLAB neural network 30 cases［M］.Beijing:Beijing University of Aeronautics ＆ Astronautics Press，2010:112-113.

［8］吳鵬.MATLAB高效編程技巧與應(yīng)用:25個(gè)案例分析［M］.北京:北京航天航空大學(xué)出版社，2010:195.WU Peng.MATLAB efficient programming techniques and applications:The analysis of 25 cases［M］.Beijing:Beijing University of Aeronautics ＆ Astronautics Press，2010:195.

［9］李玲俐.數(shù)據(jù)挖掘中分類(lèi)算法綜述［J］.重慶師范大學(xué)學(xué)報(bào):自然科學(xué)版，2011，28(04):44-47.LI Lingli.A Review on Classification Algorithms in Data Mining［J］.Journal of Chongqing Normal University:Natural Science Edition，2011，28(04):44-47.［DOI:10.11721/cqnuj20110411］

［10］CHANG Chih-chung，LIN Chih-Jen.LIBSVM:a library for support vector machines［EB/OL］.(2010-05-20)［2012-06-21］. http://wenku. baidu. com/view/b50dec6cb84ae45c3b358c18.html.

［11］張錚，王艷平，薛桂香.數(shù)字圖像處理與機(jī)器視覺(jué)—Visual C++與Matlab實(shí)現(xiàn)［M］.北京:人民郵電出版社，2010:270.ZHANG Zheng，WANG YanPing，XUE Guixiang.Digital image processing and machine vision-Visual C++and Matlab programming［M］.Beijing:Posts＆ Telecom Press，2010:270.

［12］THOMAS H C，CHARLES E，RONALD L ，et al.算法導(dǎo)論［M］.潘金貴，顧貼成，李成法，等，譯.北京:機(jī)械工業(yè)出版社，2006.THOMAS H C，CHARLES E，RONALD L，et al.Introduction to Algorithms［M］.PAN Jingui，GU Tiecheng，LI Chengfa，et al，Translators. Beijing:China Machine Press，2006.

［13］劉健，張?jiān)苽?基于HSI空間的生長(zhǎng)狀態(tài)下茄子圖像分割方法［J］.安徽農(nóng)業(yè)科學(xué)，2010，38(14):7554-7556.LIU Jian，ZHANG Yunwei.Segmentation Method of Eggplant Images in the Growth State Based on HIS Space［J］.Journal of Anhui Agriculture Science，2010，38(14):7554-7556.