基于Kinect傳感器的蘋果樹冠層形態(tài)信息測量方法研究

汪逸飛

摘 要：在現(xiàn)代化果業(yè)中，建立一套完整、精準(zhǔn)、自動(dòng)化的果樹冠層形態(tài)信息感知系統(tǒng)，可以為現(xiàn)代標(biāo)準(zhǔn)化果園智能化管控提供科學(xué)的數(shù)據(jù)支持。為了能夠便捷、高效地獲取蘋果樹冠層形態(tài)結(jié)構(gòu)以及果實(shí)生長信息，設(shè)計(jì)了一種基于Kinect傳感器的蘋果樹冠層形態(tài)信息測量方法，實(shí)現(xiàn)對蘋果樹冠層原始圖像信息的感知、三維點(diǎn)云的建立、以及形態(tài)參數(shù)的提取。研究結(jié)果表明：采用水平視角度測量蘋果樹冠層寬幅、高度信息相對誤差值最小，分別為2.91%和3.68%。本研究提出了蘋果樹冠層形態(tài)信息測量方法，并分析了平視、仰視、俯視三個(gè)角度的測量準(zhǔn)確性，對促進(jìn)我國現(xiàn)代標(biāo)準(zhǔn)化果園信息化與智能化管理具有重要的意義。

關(guān)鍵詞：Kinect傳感器；蘋果樹；冠層信息；三維測量

中圖分類號：S66 文獻(xiàn)標(biāo)志碼：A 文章編號：2095-2945（2019）19-0012-03

Abstract： In the modern fruit industry， the establishment of a complete， accurate and automatic fruit tree canopy shape information perception system can provide scientific data support for modern standardized orchard intelligent management and control. In order to obtain the information of apple tree canopy morphology and fruit growth conveniently and efficiently， a method of apple tree canopy morphology information measurement based on Kinect sensor was designed. The perception of the original image information of apple tree canopy， the establishment of three-dimensional point clouds and the extraction of morphological parameters are realized. The results showed that the relative errors of apple tree canopy width and height measured fromahorizontal angle were 2.91% and 3.68%， respectively. In this study， the measurement method of apple tree canopy morphology information was put forward， and the measurement accuracy of heads-up， up-looking and overlooking was analyzed， which is of great significance to promote the information and intelligent management of modern standardized orchards in China.

Keywords： Kinect sensor； apple tree； canopy information； three-dimensional measurement

引言

隨著我國經(jīng)濟(jì)的發(fā)展，建設(shè)標(biāo)準(zhǔn)化現(xiàn)代果園勢在必行，但勞動(dòng)力短缺、優(yōu)質(zhì)果率低、機(jī)械化水平不足、肥水藥用量大污染重等因素嚴(yán)重制約了我國現(xiàn)代果業(yè)的發(fā)展，迫切需要發(fā)展智能化、精細(xì)化的生產(chǎn)管理技術(shù)與裝備。目前，制約我國蘋果產(chǎn)業(yè)發(fā)展的主要問題是單位面積產(chǎn)量低、出口量小、果實(shí)品質(zhì)較差等，要想增強(qiáng)國內(nèi)外蘋果市場的競爭能力，提高蘋果產(chǎn)業(yè)的經(jīng)濟(jì)效益，關(guān)鍵途徑就是提升蘋果果實(shí)品質(zhì)[1]。冠層作為果樹最先接觸光照與外界環(huán)境的部分，是果樹進(jìn)行呼吸作用以及光合作用的主要場所。良好的果樹冠層結(jié)構(gòu)可以使冠層內(nèi)部通風(fēng)良好，透光率較高，有效地促進(jìn)二氧化碳與葉幕之間的交換，提高果實(shí)的產(chǎn)量與質(zhì)量[2-3]。目前獲取果樹冠層形態(tài)信息主要使用基于立體視覺、基于激光、基于超聲波等獲取技術(shù)[4-8]，這些技術(shù)中對于特征參數(shù)的識別誤差偏高，為了提高果樹冠層特征參數(shù)的識別精度，本研究設(shè)計(jì)了一種基于Kinect傳感器的蘋果樹冠層信息提取方法。

1 材料與方法

1.1 設(shè)備與材料

本研究使用設(shè)備主要包括：XBOX ONE Kinect傳感器1個(gè)、思銳R2004便攜式三腳架1個(gè)、聯(lián)想筆記本電腦1臺（i5處理器、主頻2.4GHz、內(nèi)存4G）。開發(fā)工具為Visual Studio2010、MATLAB，運(yùn)行系統(tǒng)為Windows10。

試驗(yàn)選取三種不同形態(tài)的果樹，從三個(gè)不同的拍攝角度（平視、仰視、俯視），以果樹的四個(gè)面（每旋轉(zhuǎn)90°作為一個(gè)面）作為圖像采集目標(biāo)，使用Kinect傳感器采集果樹RGBD圖像信息，將RGBD圖像轉(zhuǎn)換為三維點(diǎn)云，建立果樹冠層形態(tài)（高度、寬幅）計(jì)算方法，統(tǒng)計(jì)與分析Kinect測量值與實(shí)際人工測量值間的絕對誤差和相對誤差，并分析誤差產(chǎn)生原因。

1.2 蘋果樹點(diǎn)云模型建立與預(yù)處理

Kinect傳感器能夠采集的圖像信息包括RGB原圖、深度圖、彩色深度圖以及紅外圖，本研究主要利用深度圖和彩色深度圖信息，圖像尺寸均為424像素×512像素，其中深度圖每個(gè)像素為實(shí)際深度值，單位為mm，彩色深度圖每個(gè)像素為顏色值，包括R、G、B三通道的顏色值。根據(jù)Kinect傳感器內(nèi)部參數(shù)，將二維的深度圖轉(zhuǎn)換為三維點(diǎn)云[7]。根據(jù)彩色深度圖，同時(shí)記錄三維點(diǎn)云各點(diǎn)RGB顏色值，實(shí)現(xiàn)對果樹的三維點(diǎn)云模型建立。

如圖1所示，圖1（a）為蘋果樹三維點(diǎn)云圖像（深度圖），使用高斯濾波對背景中的噪點(diǎn)進(jìn)行過濾，得到無背景、無噪點(diǎn)、原圖色的果樹三維點(diǎn)云模型，并采用包圍盒法選擇出果樹區(qū)域，如圖1（b）所示。

2 蘋果樹冠層高度與寬幅計(jì)算方法

本研究根據(jù)三維點(diǎn)云的最小接矩，統(tǒng)計(jì)果樹冠層高度與寬幅。在三維空間中的最小外接矩指能包含蘋果樹冠層部分所有點(diǎn)的最小長方體，采用圖像頂點(diǎn)凸集與旋轉(zhuǎn)法的結(jié)合算法，具體算法細(xì)節(jié)如下：

假設(shè)目標(biāo)ROI圖像大小表示為[m，n]=size（f），其中f為圖像矩陣，m為該ROI圖像行數(shù)，n為ROI圖像列數(shù)，從ROI圖像的邊界開始，分別從左至右，從右至左，從上至下，從下至上掃描圖像，獲取圖像邊界，找尋f（x，y）=0的直線，并設(shè)上邊界的線性方程為x=x1，下邊界的線性方程為x=x2，左邊界的線性方程為y=y1，右邊界的線性方程為y=y2，按照邊界方程繪制出一個(gè)初始的外接矩形。再確定出該初始外接矩形的中心點(diǎn)坐標(biāo)原點(diǎn)O，并以此原點(diǎn)建立互相垂直的兩條主軸為坐標(biāo)軸，形成新的坐標(biāo)系，中心點(diǎn)坐標(biāo)為O（x0，y0），則x0=（x1+x2）/2，y0=（y1+y2）/2，主軸兩端的四個(gè)頂點(diǎn)坐標(biāo)分別為（1，y0）、（c，y0）、（x0，1）、（x，k），然后對該初始接矩形進(jìn)行旋轉(zhuǎn)，旋轉(zhuǎn)角度限制在兩主軸相交的銳角區(qū)域內(nèi)，假設(shè)旋轉(zhuǎn)角度為？茲，則0°<？茲<90°，旋轉(zhuǎn)之后的四個(gè)頂角坐標(biāo)分別為A'（xa，ya），B'（xb，yb），C'（xc，yc），D'（xd，yd），則旋轉(zhuǎn)后頂點(diǎn)坐標(biāo)按照如下方式求得：

除了四個(gè)頂點(diǎn)以外其他點(diǎn)坐標(biāo)，按照如下算法計(jì)算：

（1）首先計(jì)算軸上兩端點(diǎn)的x、y差值，分別記為dx=xb-xa，dy=yb-ya；

（2）再比較dx與dy的絕對值的大小，確定出步數(shù)s=max（|dx|，|dy|）；

（3）然后計(jì)算x與y移動(dòng)的步伐，計(jì)算方法為？駐x=dx/s，？駐y=dy/s；

（4）再將點(diǎn)A作為起始點(diǎn)，計(jì)算主軸上的其他個(gè)點(diǎn)坐標(biāo)，初始化變量值，x=xa，y=ya；

（5）其他點(diǎn)坐標(biāo)的計(jì)算方法為：x=x+？駐x，y=y+？駐y。一般顯示設(shè)備的像素點(diǎn)坐標(biāo)均為整數(shù)，故對計(jì)算得到的坐標(biāo)值需要四舍五入取整，x'=round（x），y'=round（y），循環(huán)執(zhí)行該計(jì)算步驟s次數(shù)之后退出循環(huán)，計(jì)算結(jié)束。

三維空間的蘋果樹冠層最小外接矩，可以將二維上最小外接矩形擴(kuò)展至三維坐標(biāo)系空間中，該長方體的輪廓值確定也就是對XYZ坐標(biāo)閾值的確定，此處可以采用尋找X、Y、Z最大值、最小值的方法來確定。

3 試驗(yàn)結(jié)果分析與討論

針對上述蘋果樹冠層特征信息的提取方法，選取如圖2所示的三種不同形態(tài)結(jié)構(gòu)的蘋果樹樹形，取每90°一個(gè)面，共A、B、C、D四個(gè)面，平視、仰視、俯視三個(gè)角度，分別進(jìn)行原始圖像的采集以及形態(tài)特征計(jì)算。

樹形①的四個(gè)面，從三個(gè)角度采集的圖像處理結(jié)果分別如表1所示。從表中可以看出，樹形①四個(gè)面從三個(gè)角度的冠層信息識別與采集效果良好，冠層的寬幅、高度識別誤差基本保持在5%以下，四組數(shù)據(jù)中平視角度的冠層寬幅結(jié)果誤差平均值為2.43%，冠層高度結(jié)果誤差平均值為2.84%，低于仰視、俯視角度采集圖像的處理誤差。

樹形②為瘦高型，冠層寬幅不同角度的識別誤差平均值分別為3.54%、3.63%、6.73%，冠層高度不同角度的識別誤差平均值分別為4.7%、6.22%、6.25%，可見俯視角度對冠層寬幅、高度的識別結(jié)果誤差最大，平視最小。

樹形③主干下方的枝葉較少，主要集中在上方類似橢圓形的冠層中，冠層寬幅不同角度的識別誤差平均值分別為2.78%、5.02%、5.72%，冠層高度不同角度的識別誤差平均值分別為3.50%、5.62%、7.17%，可見平視角度對冠層寬幅、高度的識別結(jié)果誤差最小，俯視最大。

綜上可得，采用本方法提取的冠層形態(tài)結(jié)構(gòu)結(jié)果誤差較小，基本保持在5%以內(nèi)。而且，通過對結(jié)果的分析還可得，平視角度采集的冠層寬幅、高度結(jié)果誤差最小，分別為2.91%和3.68%。

4 結(jié)束語

本研究對基于Kinect傳感器的蘋果樹冠層信息提取方法的進(jìn)行了研究，用Kinect傳感器對目標(biāo)果樹實(shí)現(xiàn)原始圖像信息采集，獲得目標(biāo)對象的二維坐標(biāo)以及深度信息，并利用三維空間坐標(biāo)轉(zhuǎn)換公式在MATLAB中得到無背景、無噪點(diǎn)、原圖色的單株果樹三維點(diǎn)云模型。同時(shí)，設(shè)計(jì)了對應(yīng)的冠層信息提取方法，并進(jìn)行相關(guān)的提取試驗(yàn)，試驗(yàn)結(jié)果表明：該方法可以較為準(zhǔn)確的實(shí)現(xiàn)蘋果樹冠層信息的提取，且采用平視角度提取的冠層寬幅、高度信息相對誤差值最小，分別為2.91%和3.68%；該試驗(yàn)獲取信息迅速，處理結(jié)果精準(zhǔn)，運(yùn)算性能高效，達(dá)到了預(yù)期目標(biāo)，為我國現(xiàn)代化果業(yè)的信息感知，數(shù)據(jù)獲取，智能管控提供了相對科學(xué)的實(shí)踐依據(jù)。

參考文獻(xiàn)：

[1]李慧峰，呂德國，秦思軍，等.我國蘋果產(chǎn)業(yè)及其可持續(xù)發(fā)展對策[J].沈陽農(nóng)業(yè)大學(xué)學(xué)報(bào)：社會(huì)科學(xué)版，2005，7（2）：77-78.

[2]陳海嘯，陸聲鏈.果樹冠層形態(tài)特征測量與分析研究進(jìn)展[J].中國農(nóng)業(yè)科技導(dǎo)報(bào)，2016，18（6）：97-102.

[3]馬曉丹.蘋果樹冠層光照分布計(jì)算方法研究[D].北京：中國農(nóng)業(yè)大學(xué)，2015，5.

[4]張東波.植物三維信息檢測及視覺伺服控制技術(shù)研究[D].北京：中國農(nóng)業(yè)大學(xué)，2015，5.

[5]王萬章，洪添勝，陸永超，等.基于超聲波傳感器和的果樹冠徑檢測[J].農(nóng)業(yè)工程學(xué)報(bào)，2006，22（8）：158-161.

[6]張霖，趙祚喜，俞龍，等.超聲波果樹冠層測量定位算法與試驗(yàn)[J].農(nóng)業(yè)工程學(xué)報(bào)，2010，26（9）：192-197.

[7]周致富.基于Kinect傳感器的三維點(diǎn)云模型重建研究[D].武漢：武漢科技大學(xué)，2015.5.

[8]王劍，周國民.利用激光掃描儀獲取楦物三維模型的方法[J].湖北農(nóng)業(yè)科學(xué)，2008，47（1）：104-106.