基于機器視覺的葡萄采摘點三維空間定位系統(tǒng)的研究

宋西平　李國琴　羅陸鋒

摘要：利用OpenCV與VC+ +語言平臺開發(fā)了1套基于機器視覺的葡萄采摘點三維空間定位系統(tǒng)，并闡述了運用機器視覺技術實現(xiàn)葡萄目標從相機圖像獲取到采摘點三維空間數(shù)據(jù)計算的實現(xiàn)過程。同時利用直線夾角閾值、可信區(qū)域、點到直線最小距離與深度間距閾值4個約束條件改進了傳統(tǒng)的葡萄采摘點果梗定位方式，使采摘點較好地定于葡萄果梗中部，后經(jīng)立體匹配與雙目視覺三維空間定位原理求取葡萄采摘點的三維坐標，提高了葡萄采摘點定位的精準度。

關鍵詞：葡萄采摘點；雙目視覺；三維定位；立體匹配

中圖分類號： TP391.41 文獻標志碼： A 文章編號：1002-1302（2016）07-0377-04

我國是農(nóng)業(yè)大國，水果經(jīng)濟產(chǎn)業(yè)在農(nóng)業(yè)經(jīng)濟發(fā)展中占有重要的地位。近年來，利用機器視覺技術實現(xiàn)機器人對農(nóng)業(yè)對象的自動作業(yè)已成為農(nóng)業(yè)機械研究領域的熱點[1-5]。如項榮等利用組合匹配方法與深度校正的雙目視覺模型實現(xiàn)了番茄目標的三維定位，獲得了較好的定位精度[6]；張凱良等基于機器視覺識別技術設計了1款針對高架栽培模式的草莓采摘機器人，采摘成功率達到88%[7]；Bac等利用人工設置輔助線實現(xiàn)了基于機器視覺技術的甜椒稈徑定位識別，獲得了較好的定位精度[8]；楊慶華等為了實現(xiàn)機器人對葡萄的套袋技術，結合葡萄|G-R|+|G-B|色差圖與形狀特征確定葡萄位置，取得較好效果[9]。

為解決農(nóng)業(yè)采摘機器人對葡萄水果對象的無損采摘問題，本研究利用OpenCV與VC+ +語言平臺開發(fā)了1套基于機器視覺的葡萄采摘點三維空間定位系統(tǒng)，并闡述了該系統(tǒng)實現(xiàn)葡萄目標從相機圖像獲取到采摘點三維空間數(shù)據(jù)計算的實現(xiàn)過程，同時還改進了羅陸鋒等提出的自然狀態(tài)果梗無遮擋狀態(tài)下的葡萄采摘點位置確定方式[10]，通過直線夾角閾值、可信區(qū)域、點到直線最小距離與深度間距閾值4個約束條件使采摘點盡可能地定于葡萄果梗的中部，并通過立體匹配技術計算出葡萄采摘點的三維空間坐標，提高了采摘點的定位精準度，為機器人自動采摘作準備。經(jīng)過試驗發(fā)現(xiàn)該系統(tǒng)能夠較好地完成葡萄采摘點的三維定位功能。

1 雙目視覺葡萄采摘點三維空間定位系統(tǒng)框架 本研究雙目視覺葡萄采摘點的三維空間定位系統(tǒng)的建立經(jīng)過以下步驟實現(xiàn)（圖1）：（1）相機標定與校正。通過采集含有標定物的多幅視場圖像，根據(jù)相機標定原理，求解相機的內(nèi)外參數(shù)，以及2個相機的空間位置關系，選擇合適的算法校正相機的輸出圖像，避免因為相機畸變等因素產(chǎn)生圖像的像素誤差。本系統(tǒng)采用了Bouguet算法[11]原理實現(xiàn)相機圖像的校正。（2）建立世界坐標系。對于已經(jīng)校正好的相機輸出圖像，為了求解目標點的坐標需要建立參考坐標系，使得所求點的坐標以世界坐標系為基準，為機器人的采摘做好準備。（3）葡萄采摘點的識別與定位。從校正好的相機中獲取有效區(qū)域中的葡萄圖像，并通過分析確定采摘點圖像坐標的位置，立體匹配求得左右圖像間的視差，依據(jù)雙目空間定位的原理求得葡萄采摘點的三維空間坐標。

2 雙目相機三維空間定位原理

物體對象點的三維空間定位原理是通過被求空間點在左右相機中成像位置依據(jù)三角測量原理求解的。本研究采用Bouguet算法原理完成相機校正。經(jīng)過Bouguet算法校正后的相機從數(shù)學上完成了左右相機的前向平行配置。使得左右圖像具有行對準的特點，縮短了立體匹配的時間（圖1）[11]。

圖2中，Ol與Or分別表示2個相機的投影中心，以左相機Ol為基準點，投影中心Or到Ol的距離定義為基線距離b。P點為物體點在相機坐標下的坐標（Xc，Yc，Zc）。pl（ul，vl）為在目標點在左圖像上的坐標，pr（ur，vr）為目標點在右圖像上的坐標。經(jīng)Bouguet算法校正后vl=vr=v，且左右相機的焦距一致，即fl=fr=f，則相機坐標系下P點的三維坐標由三角幾何關系可得：

因此，左相機成像面上的目標點只要在右成像面上找到其對應的匹配點，就可確定該點在世界坐標下的坐標（Xw，Yw，Zw）。

3 葡萄采摘點三維空間定位實現(xiàn)

3.1 葡萄目標圖像分割

圖像分割是確定葡萄區(qū)域的關鍵步驟，本研究以夏黑葡萄（圖3）為試驗研究對象，通過彩色直方圖反向投影技術[12]對目標區(qū)域進行分割。直方圖反向投影是一種利用給定模板圖像顏色分布直方圖計算目標圖像概率進行物體識別的技術[13]。該技術對于物體識別具有良好的效果，得到了廣泛的應用研究。彩色直方圖反向投影技術綜合了顏色的RGB信息，對于物體的識別具有較好地效果。本研究通過彩色直方圖反向投影、形態(tài)學處理、最大連通區(qū)域提取步驟確定目標輪廓（圖4），該方式能夠較好地降低誤分割的現(xiàn)象，對于目標正確提取的概率較高，能夠較好地適應于復雜環(huán)境下的葡萄目標檢測。

3.2 葡萄采摘點圖像坐標定位

羅陸鋒等提出懸掛生長情況下的采摘點定位方式，通過在葡萄輪廓區(qū)域上方構建1個果梗感興趣區(qū)域，在感興趣區(qū)域內(nèi)對圖像進行預處理，通過霍夫直線檢測與重心到檢測到

的直線最小距離作為約束條件求解葡萄采摘點[10]。該方式較好地檢測出葡萄采摘點所在的位置且成功率較高。本研究通過分析葡萄果梗的生長方式，發(fā)現(xiàn)葡萄果梗對應另一側的直線也可以很容易地檢測出。因此本研究首先根據(jù)羅陸鋒等提出的定位方式[10]對葡萄采摘點初定位，然后根據(jù)檢測出的對應另一側的果梗直線求中點，最后選取果梗2條異側直線的中點連線所確定的直線段的中點作為最終的采摘點。其實現(xiàn)原理如圖5所示。

3.2.1 葡萄采摘點初定位原理 羅陸鋒等通過預分割提取最大聯(lián)通分量的目標輪廓以及輪廓頂點（xt，yt），根據(jù)目標輪廓求其重心（xc，yc），并在其上方根據(jù)目標輪廓的寬度Lmax與輪廓頂點，構建寬度為Roi_W與高度為Roi_H的感興趣區(qū)域，再利用果梗邊緣呈直線狀的特點，在區(qū)域內(nèi)做累計概率霍夫直線檢測[14]，對于檢測到的直線段兩端點pi1（xi1，yi1）和pi2（xi2，yi2）構建兩點式直線方程[10]。

3.2.2 葡萄采摘點果梗中部定位步驟 本研究將“3.2.1”節(jié)求得的采摘點位置po1定義為初位置，對葡萄采摘點做2次精準定位，使采摘點定位于果梗中部。設po1所在直線為L1，其兩端點為p11、p12。根據(jù)葡萄果梗的生長特點，果梗對應另一側位置直線L2同樣易于檢測出，且與L1近似平行。由于一些環(huán)境因素使得與直線L1近似平行的包括直線L2在內(nèi)的多條直線被檢測出（圖6）。

為了求取最佳目標直線L2，本研究通過設計4層過濾步驟濾除其他直線的影響：

步驟（1）：設直線夾角閾值θ作為直線L1與檢測到的其他直線Lj（j∈1，2，…，n）的夾角約束條件，求得與L1近似平行的直線集。設采摘點初位置所在直線的兩端點p11和p22坐標分別為（x11，y11）和（x12，y12），同時構建向量a，剩余直線集端點為pj1（xj1，yj1）和pj2（xj2，yj2）構建向量bj，通過式（5）求向量的夾角。

由于此時夾角θ的取值范圍為[0°，180°]。為了得到近似平行的向量，設定角度θθ2，本研究中設定θ1為5°，θ2為175°。

步驟（2）：以采摘點初位置所在直線段端點構建可信域（圖1），L_H為可信高度，Roi_W為可信域寬度，遍列步驟（1）篩選后的所有直線，只有直線的端點至少1個在此區(qū)域內(nèi)或2個端點分別位于可信區(qū)域上下兩側的為可能的果梗異側直線。此方式可以過濾掉與L1近似平行的同側直線的影響。

步驟（3）：經(jīng)過步驟（2） 篩選后的直線集，根據(jù)式（4）與式（5）同時滿足與直線L1夾角最小且po1到直線距離最小值作為約束條件判定最佳目標直線L2，L2中點定義為點po2。如果存在直線滿足該條件，則規(guī)定點po1與點po2連線的中點pok作為可信度高的采摘點位置。

通過試驗發(fā)現(xiàn)經(jīng)過前3個步驟已經(jīng)能較好地將采摘點定位于果梗中部，紅色點為采摘點，綠色點為重心，青色線段為果梗最佳異側直線（圖7）。

步驟（4）：為了提高檢測的穩(wěn)定性，設定深度間距閾值Dz作為判定最終果梗采摘點的條件，通過對多串果梗直徑的測量并考慮定位誤差等因素的影響，本研究設定Dz=10 mm。

對采摘點po1、pok分別通過立體匹配求取深度值Zo1、Zok，若|Zo1-Zok|

步驟（5）：若不存在同時滿足上述條件的采摘點，則以po1作為最終采摘點位置。

將采摘點盡可能地定位于果梗中部，有利于降低采摘機器人末端執(zhí)行器在采摘過程中由于累加定位誤差等因素的影響造成實際定位偏離果梗部位概率，提高采摘成功率。

3.3 采摘點立體匹配

區(qū)域立體匹配算法是根據(jù)模板窗口計算待匹配點與對應極線上候選點相似度，選取最大相似度的點作為匹配點[15]。基于區(qū)域的立體匹配算法發(fā)展較為成熟，應用較廣泛，常見的相似度測量函數(shù)有：最小絕對值（SAD）、最小均差絕對值（ZSAD）、最小平方差（SSD）、最小均方差算法（ZSSD）、互相關算法（NCC）等[15]?？紤]相機工作環(huán)境的復雜多變性與左右相機曝光不一致等因素影響，本研究選取抗干擾性與實時性較好的NCC算法為相似度測量函數(shù)[式（6）][16]，獲得采摘點的左右圖像匹配點。

4 采摘點空間定位系統(tǒng)試驗

本系統(tǒng)采用OpenCV 2.3.1與Visual C+ +2008開發(fā)，該系統(tǒng)可完成圖1中的所有流程，其中采摘點靜態(tài)定位模塊如圖8所示。該系統(tǒng)利用雙目相機采集800×600大小的視頻圖像與德國Halcon軟件配套圓點標定板（標志點個數(shù)7×7，中心間距25 mm）標定相機參數(shù)。

本系統(tǒng)在試驗室環(huán)境下對相機標定，利用標定板設定世界坐標系基準。相機標定后主要數(shù)據(jù)如表1所示，標定后左右相機焦距一致，基線距離b約為177.109 mm。

為測定采摘點三維定位效果，對經(jīng)過實際測量果梗直徑為2.75 mm的葡萄對象試驗，將果梗置于設定的世界坐標系下深度為58 mm處，求得該處位置下的采摘點空間位置（表2）。

從表2中可以看出，在5次對同一世界坐標系下的采摘點定位過程中，采摘點的位置在X方向的最大波動距離為181.663-180.447=1.216 mm，Y方向最大左右波動為26010-23.422=2.588 mm，表明重復定位過程中由于噪聲等因素影響采摘點在果梗左右、上下位置微小波動，Z方向在世界坐標系下的最大波動為59.851-58.000=1.851 mm。由于末端執(zhí)行器具有一定的容錯性，以上位置誤差可以滿足機器人目標采摘定位的要求。

本系統(tǒng)雖然能夠較好地定位葡萄采摘點，但該系統(tǒng)只是針對于較理想狀態(tài)下懸掛生長方式葡萄采摘點的定位，然而由于受復雜的葡萄園環(huán)境、葡萄色彩、果梗被枝葉遮擋、果梗異側凸節(jié)情況的出現(xiàn)、枯葉、多串葡萄重疊、立體匹配、相機硬件成像設備、相機標定計算誤差等因素的影響可能造成采摘點的定位失敗，今后應該深入研究這些因素的影響，提高定位成功率。

5 結論

為實現(xiàn)農(nóng)業(yè)機器人對于葡萄水果的采摘作業(yè)，本研究闡述了葡萄目標從相機圖像獲取到采摘點三維空間數(shù)據(jù)計算的實現(xiàn)過程，并通過改進的采摘點定位方式使采摘點較大程度地定位于果梗中部，試驗驗證了三維空間采摘點的定位效果并分析了影響采摘點定位的因素，研究結果將為葡萄采摘機器人的研發(fā)提供重要參考。

參考文獻：

[1]顧寶興，姬長英，王海青，等. 智能移動水果采摘機器人設計與試驗[J]. 農(nóng)業(yè)機械學報，2012，43（6）：153-160.

[2]田 銳，郭艷玲. 基于機器視覺的葡萄自動識別技術[J]. 東北林業(yè)大學學報，2008，36（11）：95-97.

[3]張 凱，趙麗寧，孫 哲，等. 葡萄套袋智能機器人系統(tǒng)設計與目標提取[J]. 農(nóng)業(yè)機械學報，2013，44（增刊1）：240-246.

[4]Font D，Palleja T，Tresanchez M，et al. Counting red grapes in vineyards by detecting specular spherical reflection peaks in RGB images obtained at night with artificial illumination[J]. Computers and Electronics in Agriculture，2014，108：105-111.

[5]Wei X Q，Jia K，L J H，et al. Automatic method of fruit object extraction under complex agricultural background for vision system of fruit picking robot[J]. Optik，2014，125（19）：5684-5689.

[6]項 榮，應義斌，蔣煥煜，等. 基于雙目立體視覺的番茄定位[J]. 農(nóng)業(yè)工程學報，2012，28（5）：161-167.

[7]張凱良，楊 麗，王糧局，等. 高架草莓采摘機器人設計與試驗[J]. 農(nóng)業(yè)機械學報，2012，43（9）：165-172.

[8]Bac C W，Hemming J，van Henten E J. Stem localization of sweet-pepper plants using the support wire as a visual cue[J]. Computers and Electronics in Agriculture，2014，105：111-120.

[9]楊慶華，劉 燦，荀 一，等. 葡萄套袋機器人目標識別方法[J]. 農(nóng)業(yè)機械學報，2013，44（8）：234-239.

[10]羅陸鋒，鄒湘軍，熊俊濤，等. 自然環(huán)境下葡萄采摘機器人采摘點的自動定位[J]. 農(nóng)業(yè)工程學報，2015，31（2）：14-21.

[11]Bradski G，Kaehler A.學習OpenCV（中文版）[M]. 于仕琪，劉瑞楨，譯.北京：清華大學出版社，2009.

[12]Laganière R.OpenCV 2計算機視覺編程手冊[M]. 張 靜，譯. 北京：科學出版社，2013.

[13]張 辰，趙紅穎，錢 旭. 直方圖反向投影多目標檢測優(yōu)化算法[J]. 計算機系統(tǒng)應用，2014，23（2）：178-182，218.

[14]Galambos M C，Kittler J. Robust detection of lines using the progressive probabilistic hough transform[J]. Computer Vision Image Understanding，2000，78（1）：119-137.

[15]何 艷. 基于雙目立體視覺的窗口區(qū)域立體匹配算法研究[D]. 上海：上海師范大學，2014.

[16]施陳博. 快速圖像配準和高精度立體匹配算法研究[D]. 北京：清華大學，2011.