陳 玲，王浩云，肖海鴻，馬仕航，楊 瑤，徐煥良

利用FL-DGCNN模型估測(cè)綠蘿葉片外部表型參數(shù)

陳 玲1，王浩云1，肖海鴻1，馬仕航2，楊 瑤1，徐煥良1※

（1.南京農(nóng)業(yè)大學(xué)人工智能學(xué)院計(jì)算機(jī)系，南京 210095；2.中國(guó)移動(dòng)通訊集團(tuán)上海有限公司，上海 200060）

為了能夠低成本、自動(dòng)化批量獲取植物葉片的外部表型參數(shù)，同時(shí)解決自然生長(zhǎng)條件下的植物葉片存在遮擋而無(wú)法獲取完整的外部表型數(shù)據(jù)的問(wèn)題，該研究以綠蘿葉片為研究對(duì)象，基于曲面參數(shù)方程建立葉片幾何模型，提出一種基于特征分層的動(dòng)態(tài)圖（Dynamic Graph CNN based on Feature Layering，F(xiàn)L-DGCNN）和堆棧編碼器模型的綠蘿葉片外部表型參數(shù)估測(cè)算法。通過(guò)多層組合的編碼-解碼器模型對(duì)殘缺點(diǎn)云進(jìn)行形狀補(bǔ)全，將不同尺度下的點(diǎn)云通過(guò)多層感知機(jī)提取分組點(diǎn)不同層的特征向量融合后獲取特征信息，以決定系數(shù)和均方根誤差評(píng)價(jià)模型結(jié)果。結(jié)果表明：多層組合的編碼模型對(duì)殘缺點(diǎn)云補(bǔ)全的魯棒性更高，特征分層的動(dòng)態(tài)圖模型估測(cè)結(jié)果的葉長(zhǎng)、葉寬、葉面積的決定系數(shù)分別為0.92、0.93和0.94，葉長(zhǎng)、葉寬的均方根誤差分別為0.37、0.34 cm，葉面積的均方根誤差為3.01cm2。該方法對(duì)葉類植物葉片的外部表型參數(shù)估測(cè)效果較好，具有實(shí)用性。

模型；參數(shù)；三維；深度學(xué)習(xí)；遮擋補(bǔ)全；綠蘿

0 引 言

葉片作為植物生長(zhǎng)發(fā)育的主要器官，是植物進(jìn)行光合作用和蒸騰作用的主要途徑，葉片的外形參數(shù)能夠反映植物的生長(zhǎng)狀況、表征植物的生理指標(biāo)，從而預(yù)測(cè)植物的生長(zhǎng)模型，便于合理栽培管理與品種特性分類[1]。因此，植物葉片外形參數(shù)的準(zhǔn)確測(cè)量是了解植物生長(zhǎng)發(fā)育狀態(tài)、實(shí)現(xiàn)科學(xué)培育的關(guān)鍵。

點(diǎn)云是最簡(jiǎn)單的形狀表示，能夠表示物體的空間信息，對(duì)點(diǎn)云的處理和分析的應(yīng)用主要在形狀合成和三維建模[2-4]方面，同時(shí)點(diǎn)云在表型參數(shù)預(yù)測(cè)方面的應(yīng)用也逐漸興起。文獻(xiàn)[5]拍攝玉米和大豆的多視角圖像，通過(guò)VisualSFM軟件進(jìn)行三維重建，采用局部多項(xiàng)式回歸算法擬合葉中脈，提取葉長(zhǎng)和葉寬。文獻(xiàn)[6]通過(guò)RGB相機(jī)獲取簸箕柳的二維圖像序列，結(jié)合運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)算法生成三維點(diǎn)云，基于最小包圍盒求得植株的株高、基徑、葉片面積、分枝數(shù)和分枝角等表型參數(shù)。但是上述方法沒(méi)有利用點(diǎn)云數(shù)據(jù)間信息且需要大量的迭代回歸計(jì)算，對(duì)于大批量的植株數(shù)據(jù)無(wú)法自動(dòng)得到表型數(shù)據(jù)。文獻(xiàn)[7]將點(diǎn)云通過(guò)體素云連通性分割算法生成超體素塊，利用局部凸包連接算法對(duì)點(diǎn)云進(jìn)行聚類分割得到樹(shù)木的枝干和樹(shù)葉。文獻(xiàn)[8]根據(jù)三維點(diǎn)云的空間位置和法向量信息，利用八叉樹(shù)對(duì)點(diǎn)云進(jìn)行初始分割得到超體素,建立重采樣后點(diǎn)云數(shù)據(jù)的K-D樹(shù)索引，根據(jù)其局部特征的點(diǎn)云簇劃分植物器官。上述方法利用了點(diǎn)云的結(jié)構(gòu)信息，但是需要將原始點(diǎn)云轉(zhuǎn)換為體素網(wǎng)格表示，無(wú)法獲取細(xì)粒度特征，同時(shí)內(nèi)存占用多。

隨著最新的PointNet深度神經(jīng)網(wǎng)絡(luò)[9]的提出，可以直接將點(diǎn)云數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行處理來(lái)獲取特征。文獻(xiàn)[10]提出一種基于多分辨率編碼點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)，以PointNet網(wǎng)絡(luò)為基礎(chǔ)，使用回歸模型代替原始網(wǎng)絡(luò)分類輸出層，同時(shí)通過(guò)遷移學(xué)習(xí)對(duì)參數(shù)微調(diào)，得到對(duì)綠蘿葉片的葉長(zhǎng)、葉寬和葉面積的值。上述方法直接處理點(diǎn)云數(shù)據(jù)，但是忽略了點(diǎn)之間的幾何關(guān)系，無(wú)法獲取點(diǎn)的局部特征。因此為了利用點(diǎn)云的局部信息且自動(dòng)化獲取葉片表型參數(shù)，本研究提出一種利用FL-DGCNN的深度學(xué)習(xí)模型來(lái)提取點(diǎn)云特征信息的方法。以生長(zhǎng)期的長(zhǎng)藤大葉綠蘿（）作為研究對(duì)象，應(yīng)用運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)算法獲取綠蘿的點(diǎn)云，使用堆棧編碼器模型對(duì)殘缺點(diǎn)云補(bǔ)全，通過(guò)特征融合的邊卷積結(jié)構(gòu)獲取不同層下的點(diǎn)云特征信息，從而實(shí)現(xiàn)對(duì)葉片外部表型參數(shù)的估測(cè)。

1 試驗(yàn)材料與方法

1.1 試驗(yàn)材料

試驗(yàn)選取10盆冠層直徑在10～15 cm之間的生長(zhǎng)6個(gè)月左右的長(zhǎng)藤大葉綠蘿，共有200片大小不均的綠蘿葉片作為研究對(duì)象，每盆綠蘿獲取植物冠層俯視可見(jiàn)的葉片。

1.2 數(shù)據(jù)采集

1.2.1 葉片外部表型參數(shù)的真實(shí)值采集

葉片外部表型參數(shù)的真實(shí)值采集分為葉長(zhǎng)、葉寬和葉面積數(shù)據(jù)采集。其中葉長(zhǎng)、葉寬數(shù)據(jù)采集是將每層葉片沿葉基剪下，平鋪貼于A4紙上，通過(guò)游標(biāo)卡尺測(cè)量葉片葉基與葉尖之間的最大長(zhǎng)度作為葉長(zhǎng)，測(cè)量與主脈垂直方向的最大寬度作為葉寬。葉面積的測(cè)量是將葉片平鋪在A4紙上，采用圖像分割的方法提取葉片和A4紙的二值圖像進(jìn)行像素點(diǎn)統(tǒng)計(jì)，通過(guò)兩者的比例求葉面積。

1.2.2 點(diǎn)云數(shù)據(jù)采集

為了低成本獲取葉片外部表型參數(shù)，試驗(yàn)采用多視角三維重建方式獲取點(diǎn)云數(shù)據(jù)，將相機(jī)固定在三腳架上，通過(guò)手動(dòng)移動(dòng)三腳架從環(huán)繞綠蘿一周的側(cè)拍角度對(duì)其進(jìn)行拍攝，得到多視角圖像序列，拍攝過(guò)程中以綠蘿作為圓周中心，移動(dòng)半徑在20 cm左右，調(diào)整相機(jī)軸線確保綠蘿完全處于相機(jī)視野范圍內(nèi)。使用量角器每隔5°在平臺(tái)上做上標(biāo)記，圓周內(nèi)共標(biāo)記72處，每隔一個(gè)標(biāo)記拍攝一張RGB圖像，其中相機(jī)焦距為4.73 mm，光圈數(shù)為f/1.7，曝光程度正常，拍攝的圖像尺寸為4 000×3 000，對(duì)每層綠蘿冠層進(jìn)行一次拍攝后將冠層葉片剪下測(cè)量其外部表型參數(shù)的真實(shí)值。

三維重建通過(guò)運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)算法[11]，將空間中的任意物體抽象成很多點(diǎn)構(gòu)成，物體上的任意點(diǎn)，其在空間中的三維坐標(biāo)記作=[，，]T，對(duì)應(yīng)的圖像上的二維點(diǎn)記為=[，，1]T。物體中的點(diǎn)通過(guò)相機(jī)光心在影像平面上成像，利用相似三角形的特性，加上世界坐標(biāo)系到相機(jī)坐標(biāo)系存在旋轉(zhuǎn)和平移，根據(jù)Zhang[12]提出的相機(jī)標(biāo)定方法，可得二維點(diǎn)和空間下三維物體點(diǎn)的對(duì)應(yīng)關(guān)系式為

=[]（1）

式中為尺度因子，為相機(jī)的內(nèi)參矩陣，、是相機(jī)的外參矩陣，表示旋轉(zhuǎn)矩陣，表示平移矩陣。

由于尺度因子只是為了方便計(jì)算，對(duì)其次坐標(biāo)不會(huì)影響其坐標(biāo)值，因此圖像二維點(diǎn)與空間三維點(diǎn)對(duì)應(yīng)關(guān)系式可以簡(jiǎn)化為=[|]，通過(guò)本征矩陣分解得到相機(jī)的外參矩陣旋轉(zhuǎn)矩陣及平移矩陣，根據(jù)兩兩圖像之間的像素點(diǎn)和三維坐標(biāo)的對(duì)應(yīng)關(guān)系式=[|]生成該視角下的個(gè)點(diǎn)云，將兩兩點(diǎn)云合并可得新點(diǎn)云，在合并點(diǎn)云時(shí)需要保證估計(jì)的點(diǎn)到原始像素點(diǎn)的投影差最小，即需要滿足

目前能實(shí)現(xiàn)三維重建的開(kāi)源系統(tǒng)有開(kāi)放式多視圖幾何（open Multiple View Geometry，openMVG）、多視圖重構(gòu)環(huán)境（Multi-View Reconstruction Environment，MVE）、運(yùn)動(dòng)系統(tǒng)的視覺(jué)結(jié)構(gòu)（Visual Structure from Motion System，VisualSFM）系統(tǒng)等，試驗(yàn)選擇MVE系統(tǒng)進(jìn)行植株的三維重建，MVE系統(tǒng)包含運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)算法、稠密點(diǎn)云重建、表面重建，涵蓋了三維重建的整體流程[13]。使用相機(jī)拍攝的多視角圖像，通過(guò)MVE系統(tǒng)得到三維重建模型如圖1所示。

從生成的點(diǎn)云數(shù)據(jù)來(lái)看，多視角三維重建得到的點(diǎn)云數(shù)據(jù)能清晰的看出葉片的紋路及形狀，但是其背景噪聲點(diǎn)更多，查看點(diǎn)云數(shù)據(jù)ply文件，多視角三維重建的點(diǎn)云中點(diǎn)數(shù)量為65 190個(gè)，面數(shù)量為1 242 491個(gè)。由于三維重建過(guò)程中使用了表面重建，最終的點(diǎn)云數(shù)據(jù)面數(shù)量較多，總體來(lái)看，多視角三維重建的點(diǎn)云數(shù)據(jù)對(duì)原始綠蘿還原度較高。

采集點(diǎn)云數(shù)據(jù)后對(duì)其進(jìn)行預(yù)處理，點(diǎn)云數(shù)據(jù)處理分為去除背景和單片點(diǎn)云分割。點(diǎn)云去除背景采用直通濾波方法[14]，只保留葉片的冠層部分，如圖2a所示。點(diǎn)云的分割采取手動(dòng)標(biāo)注結(jié)合區(qū)域生長(zhǎng)分割算法，根據(jù)所有點(diǎn)的曲率值排序后得出同一區(qū)域的點(diǎn)，從而對(duì)葉片進(jìn)行分割如圖2b。為了提高運(yùn)行效率，同時(shí)不破壞葉片整體形狀，通過(guò)最遠(yuǎn)點(diǎn)采樣法[15]對(duì)分割的完整葉片和殘缺葉片點(diǎn)云精簡(jiǎn)如圖2c、2d。

由于在自然生長(zhǎng)環(huán)境下冠層葉片存在遮擋，對(duì)其進(jìn)行分割后，部分葉片能得到完整的點(diǎn)云，如圖2a中的1-1號(hào)葉片經(jīng)過(guò)分割、精簡(jiǎn)等預(yù)處理后能得到的葉片點(diǎn)云如圖2c；部分葉片存在遮擋，如圖2a中的1-4號(hào)葉片由于和周圍的1-3號(hào)、1-5號(hào)葉片生長(zhǎng)存在遮擋，導(dǎo)致經(jīng)過(guò)分割、精簡(jiǎn)等預(yù)處理后得到的1-4號(hào)存在殘缺的葉片點(diǎn)云如圖2d。因此對(duì)多視角三維重建后的點(diǎn)云數(shù)據(jù)經(jīng)過(guò)預(yù)處理后，一方面獲取對(duì)應(yīng)編號(hào)的完整葉片點(diǎn)云，另一方面獲取存在遮擋的殘缺葉片點(diǎn)云。

1.3 綠蘿葉片幾何模型

根據(jù)植物葉片形狀研究[16-17]可知，綠蘿葉片呈上窄下寬的卵圓形，葉尖形狀急尖，葉基為鈍圓形，因此采用參數(shù)曲面方程(,)[18]構(gòu)建長(zhǎng)方形平面，方向、方向、方向函數(shù)分別記為x、y、z。綠蘿的葉形與葉基呈平滑的弧形曲線，通過(guò)對(duì)正弦函數(shù)變形形成曲線。葉尖所呈現(xiàn)的急尖通過(guò)線性函數(shù)來(lái)交匯形成，在方向上添加葉形干擾函數(shù)1，在方向上添加葉基和葉尖干擾函數(shù)1、2、3，在方向增加葉片的彎曲幅度來(lái)模擬葉片的外形與姿態(tài)。

表1 參數(shù)曲面方程中的參數(shù)含義

因此最終曲面方程[18]為

由曲面方程可得[18]，a、d、a、a、u，、u、、、x、y10個(gè)內(nèi)參影響幾何模型的葉長(zhǎng)、葉寬、葉面積，固定10個(gè)內(nèi)參在取值范圍內(nèi)改變系統(tǒng)參數(shù)值，（?0.5≤≤0.5，0≤≤1），從軸的最高點(diǎn)和最低點(diǎn)的差值得到葉長(zhǎng)，從軸的最高點(diǎn)和最低點(diǎn)的差值得到葉寬，將曲面三角網(wǎng)格化之后，使用海倫公式得出單個(gè)網(wǎng)格的面積累加可得葉面積。調(diào)整10個(gè)內(nèi)參可以獲得不同形態(tài)的幾何模型，排除畸形葉片的情況（如葉長(zhǎng)葉寬比例失衡、葉片出現(xiàn)交叉等），得到內(nèi)參的取值范圍后控制步長(zhǎng)得到12 763組幾何模型數(shù)據(jù)。

1.4 綠蘿葉片外部表型參數(shù)的估測(cè)模型

1.4.1 DGCNN網(wǎng)絡(luò)

基于特征分層的動(dòng)態(tài)圖的深度學(xué)習(xí)模型（Dynamic Graph CNN based on Feature Layering，F(xiàn)L-DGCNN）的基本模塊以邊卷積結(jié)構(gòu)為基礎(chǔ)，利用不同深度對(duì)應(yīng)不同的語(yǔ)義，通過(guò)淺層網(wǎng)絡(luò)學(xué)習(xí)細(xì)節(jié)特征，深層網(wǎng)絡(luò)學(xué)習(xí)語(yǔ)義特征，改進(jìn)原始邊卷積結(jié)構(gòu)，將點(diǎn)云結(jié)構(gòu)通過(guò)有向圖表示，對(duì)每個(gè)點(diǎn)選擇個(gè)鄰居點(diǎn)分組后提取有向邊緣特征，利用多層感知機(jī)得到的每組點(diǎn)的局部特征進(jìn)行淺層特征與深層特征疊加獲取更多特征信息，如圖3b。

1.4.2 特征分層融合

圖像金字塔是以多個(gè)尺度來(lái)表示圖像的簡(jiǎn)單結(jié)構(gòu)，通過(guò)原圖的上采樣和下采樣的集合構(gòu)建了不同尺度空間，能夠解決多尺度變化問(wèn)題。圖像金字塔可以進(jìn)行多尺度變化增強(qiáng)，對(duì)每一種尺度的圖像進(jìn)行特征提取得到多尺度的特征表示，每層特征圖都包含了較強(qiáng)的語(yǔ)義信息，并且在不同尺寸在提取的特征在整體上與尺寸無(wú)關(guān)，最終通過(guò)不同尺度提取得到的特征圖增強(qiáng)語(yǔ)義和幾何信息。

將這種不同尺度特征分層的結(jié)果應(yīng)用在FL-DGCNN網(wǎng)絡(luò)中，利用最遠(yuǎn)點(diǎn)采樣[15]進(jìn)行降采樣得到不同尺度下的點(diǎn)云，即分別從原始點(diǎn)云中提取64×3、128×3、×3的數(shù)據(jù)，獲得不同尺度下具有輪廓特征的點(diǎn)云，輸入特征融合的邊卷積結(jié)構(gòu)中分別提取1 024維特征向量，將3個(gè)不同尺度的點(diǎn)云提取的特征連接后，經(jīng)過(guò)多層感知機(jī)得到融合不同層信息的特征向量如圖4所示。

1.4.3 基于FL-DGCNN的葉片外部表型參數(shù)的估測(cè)

三維重建后的葉片點(diǎn)云周圍存在噪聲點(diǎn)，并且自然生長(zhǎng)狀態(tài)下的綠蘿存在葉片遮擋，導(dǎo)致經(jīng)過(guò)分割預(yù)處理后的單個(gè)葉片點(diǎn)云信息存在殘缺，因此利用堆棧編碼器模型對(duì)點(diǎn)云二次去噪及殘缺點(diǎn)云補(bǔ)全，同時(shí)結(jié)合特征分層的動(dòng)態(tài)圖深度學(xué)習(xí)網(wǎng)絡(luò)（FL-DGCNN）提取點(diǎn)云特征，得到估測(cè)的點(diǎn)云的葉長(zhǎng)、葉寬和葉面積，綠蘿葉片外部表型參數(shù)的估測(cè)模型總體流程如圖5所示。

1）殘缺葉片點(diǎn)云的補(bǔ)全生成

通過(guò)編碼-解碼器模型[23-24]無(wú)需任何體素化即可直接將部分點(diǎn)云映射到密集的完整點(diǎn)云，將殘缺的點(diǎn)云進(jìn)行補(bǔ)全。為了更好捕捉葉片點(diǎn)云形狀變化，將自編碼器模型編碼部分得到的全局特征向量擴(kuò)展后與多層感知機(jī)得到的特征連接，重新訓(xùn)練一個(gè)新的自編碼器得到最終的全局特征向量，通過(guò)多層組合的方式將自編碼器模型修改為深度結(jié)構(gòu)的堆棧編碼器來(lái)對(duì)殘缺點(diǎn)云進(jìn)行補(bǔ)全生成。

模型由編碼-解碼兩部分構(gòu)成，編碼器輸入存在遮擋的單個(gè)葉片點(diǎn)云×3，經(jīng)過(guò)多層感知機(jī)得到×128維的特征，通過(guò)最大池化得到128維的全局向量，將得到的128維全局變量擴(kuò)展后與之前多層感知機(jī)得到的×128維的特征連接，再次經(jīng)過(guò)多層感知機(jī)得到最終的128維全局向量，作為對(duì)輸入點(diǎn)云的特征提取。解碼器將編碼器得到的128維全局向量經(jīng)過(guò)多層感知機(jī)恢復(fù)為×3的點(diǎn)云，模型如圖6所示。

2）基于FL-DGCNN的葉片外部表型參數(shù)的估測(cè)

FL-DGCNN網(wǎng)絡(luò)以完整點(diǎn)云×3作為輸入，通過(guò)K最近鄰（K-Nearest Neighbor，KNN）算法計(jì)算每對(duì)點(diǎn)的距離，選擇=10個(gè)點(diǎn)作為鄰居點(diǎn)得到××3，這是為了提取每個(gè)點(diǎn)的局部特征，然后經(jīng)過(guò)多層感知機(jī){64，64}將每組點(diǎn)升維至××64，經(jīng)過(guò)最大池化得到新的數(shù)據(jù)為×64，將得到的新的數(shù)據(jù)再輸入下一層的邊卷積結(jié)構(gòu)中，經(jīng)過(guò)兩層多層感知機(jī)（64×128、128×1 024），最終得到特征向量為×1 024，通過(guò)最大池化提取1 024維的特征向量。為了更好的捕捉局部結(jié)構(gòu)信息，考慮不同層下的局部結(jié)構(gòu)信息，將原始邊卷積結(jié)構(gòu)中的多層感知機(jī)經(jīng)過(guò)特征融合得到新的邊卷積結(jié)構(gòu)，將每組點(diǎn)的局部特征×64進(jìn)行兩層疊加得到特征融合的邊卷積結(jié)構(gòu)×128，這樣能更好的提取局部特征。

1.5 模型設(shè)置及評(píng)估

將由參數(shù)曲面方程得到的12 763組幾何模型數(shù)據(jù)按照9∶1的比例劃分為訓(xùn)練集和測(cè)試集，殘缺葉片點(diǎn)云的補(bǔ)全生成中堆棧編碼器模型的損失函數(shù)為輸入的點(diǎn)云和生成的點(diǎn)云之間的倒角距離，通過(guò)反向傳播減小輸入輸出點(diǎn)云間的距離來(lái)訓(xùn)練模型。FL-DGCNN模型中損失函數(shù)為均方差函數(shù)，通過(guò)反向傳播減小均方差的值來(lái)訓(xùn)練模型，試驗(yàn)?zāi)Ｐ偷螖?shù)為100次，批樣本大小為30，學(xué)習(xí)率為0.01，優(yōu)化器為Adam。

采取200片預(yù)處理后的葉片點(diǎn)云，將其中100片輸入預(yù)先訓(xùn)練的綠蘿葉片外部表型參數(shù)的估測(cè)模型中訓(xùn)練，剩余100片作為測(cè)試集。使用決定系數(shù)2和均方根誤差（Root Mean Square Error，RMSE）作為模型評(píng)估指標(biāo)。2表示回歸直線對(duì)觀測(cè)值的擬合程度，RMSE反映真實(shí)值與估測(cè)值之間的偏差。

2 結(jié)果與分析

2.1 綠蘿葉片外部表型參數(shù)實(shí)際測(cè)量結(jié)果

試驗(yàn)選取200片綠蘿葉片，通過(guò)游標(biāo)卡尺和彩色相機(jī)測(cè)量其葉長(zhǎng)、葉寬和葉面積數(shù)據(jù)。實(shí)測(cè)的綠蘿葉片葉長(zhǎng)在5.85～14.39 cm，葉寬在4.70～10.89 cm，葉面積在15.35～40.99 cm2，葉片的大小分布較廣且符合正態(tài)分布，因此試驗(yàn)數(shù)據(jù)具有一定的普適性。

表2 葉片實(shí)測(cè)參數(shù)統(tǒng)計(jì)表

2.2 真實(shí)葉片外部表型參數(shù)的估測(cè)結(jié)果與分析

如表2所示，基于FL-DGCNN及堆棧編碼器模型對(duì)葉片的外部表型參數(shù)的估測(cè)中，葉長(zhǎng)的均方根誤差平均值在0.5 cm左右，葉寬的均方根誤差平均值在0.2 cm左右，葉面積的均方根誤差平均值在2 cm2左右，說(shuō)明該方法得到的估測(cè)值與實(shí)際值相近，具有一定的準(zhǔn)確度。

表3 基于FL-DGCNN及堆棧編碼器模型的葉片估測(cè)誤差統(tǒng)計(jì)表

模型估測(cè)結(jié)果如圖7所示。葉長(zhǎng)、葉寬、葉面積估測(cè)結(jié)果的決定系數(shù)分別為0.92、0.93和0.94，葉長(zhǎng)和葉寬的均方根誤差分別為0.37、0.34cm，葉面積為3.01 cm2。擬合的2均高于0.92，RMSE均較小，說(shuō)明該方法擬合效果較好，對(duì)葉片外部表型參數(shù)的估測(cè)準(zhǔn)確率較高。

2.3 幾何模型殘缺葉片補(bǔ)全的估測(cè)結(jié)果與分析

為了檢驗(yàn)堆棧編碼器對(duì)存在遮擋的葉片點(diǎn)云的補(bǔ)全效果，以自編碼器模型作為對(duì)比，將12 763條幾何模型殘缺10%～50%后模擬葉片存在遮擋，以9∶1的比例分為訓(xùn)練集和測(cè)試集訓(xùn)練堆棧編碼器，將殘缺補(bǔ)全后的點(diǎn)云輸入基于FL-DGCNN模型中得到估測(cè)值，與幾何模型生成的原始完整點(diǎn)云的真實(shí)值作線性擬合，使用2和RMSE評(píng)估，結(jié)果如表4所示。從對(duì)幾何模型的點(diǎn)云外形參數(shù)估測(cè)精度來(lái)看。當(dāng)葉片殘缺10%時(shí)，堆棧編碼器補(bǔ)全后估測(cè)的葉寬比自編碼器補(bǔ)全后估測(cè)的葉寬的2更小，誤差也更大，但是葉長(zhǎng)和葉面積估測(cè)值的2和RMSE都與自編碼器估測(cè)值基本相當(dāng)；當(dāng)葉片殘缺20%～50%時(shí)，堆棧編碼器補(bǔ)全后估測(cè)的葉長(zhǎng)、葉寬、葉面積的2和RMSE均優(yōu)于自編碼器，當(dāng)隨著點(diǎn)云殘缺比例的增加，堆棧編碼器補(bǔ)全后估測(cè)的葉長(zhǎng)、葉寬、葉面積的2下降較少，而自編碼器估測(cè)的則呈倍數(shù)下降，總體來(lái)看，堆棧編碼器補(bǔ)全生成的魯棒性更好。

圖8a分別為葉片幾何模型完整點(diǎn)云、幾何模型殘缺10%～50%的點(diǎn)云，圖8b、圖8c分別為自編碼器模型和堆棧編碼器模型對(duì)幾何模型殘缺點(diǎn)云的補(bǔ)全生成結(jié)果。

表4 對(duì)不同殘缺度的幾何模型點(diǎn)云補(bǔ)全后的估測(cè)結(jié)果

注：決定系數(shù)2無(wú)量綱單位；葉長(zhǎng)、葉寬的均方根誤差單位為cm；葉面積的均方根誤差單位為cm2。下同。

Note: Determination coefficient is dimensionsless; the unit of root mean square error of leaf length and leaf width is cm, and that of leaf area is cm2. Same below.

如圖8所示，從對(duì)幾何模型的點(diǎn)云補(bǔ)全效果可以看出，當(dāng)葉片模型點(diǎn)云殘缺10%～30%時(shí)，兩種編碼器補(bǔ)全后都基本還原了完整模型點(diǎn)云的外部輪廓，其中自編碼器補(bǔ)全方式點(diǎn)云內(nèi)部整齊，堆棧編碼器補(bǔ)全后的點(diǎn)云內(nèi)部保留了一定原始的點(diǎn)的順序；當(dāng)葉片模型點(diǎn)云殘缺40%時(shí)，自編碼器補(bǔ)全后的完整點(diǎn)云形狀發(fā)生了變化，而堆棧編碼器補(bǔ)全后形狀與原始類似，葉長(zhǎng)葉寬沒(méi)有發(fā)生較大變化；當(dāng)葉片模型點(diǎn)云殘缺50%時(shí)，自編碼器補(bǔ)全后已完全丟失葉片的形狀，而堆棧編碼器能夠通過(guò)部分點(diǎn)云的輪廓還原整體點(diǎn)云形狀，但是葉長(zhǎng)葉寬也發(fā)生了變化。總體來(lái)看，堆棧編碼器能適用于點(diǎn)云殘缺更多的情況，在殘缺40%以內(nèi)補(bǔ)全后形狀與原始點(diǎn)云形狀相近，當(dāng)葉片殘缺50%以上葉片形狀有所變化，因此使用堆棧編碼器對(duì)存在遮擋的葉片補(bǔ)全效果較好。

圖9為兩種編碼器模型對(duì)自然條件下殘缺點(diǎn)云補(bǔ)全生成結(jié)果，存在殘缺的葉片點(diǎn)云原始葉片是狹長(zhǎng)略胖的形狀如圖9a所示，由于殘缺后只保留了葉尖部分如圖9b所示，所以自編碼器補(bǔ)全的點(diǎn)云長(zhǎng)度變小，無(wú)法完整還原葉基部分，葉片變?yōu)槎虒挼男螤?，而堆棧編碼器補(bǔ)全的點(diǎn)云完整還原了葉基部分，整體葉長(zhǎng)和原始形狀相近，因此堆棧編碼器對(duì)自然條件下存在遮擋的葉片點(diǎn)云補(bǔ)全效果更好。

2.4 幾何模型葉片外部表型參數(shù)的估測(cè)結(jié)果與分析

為了對(duì)比提出的FL-DGCNN網(wǎng)絡(luò)對(duì)葉片外部表型參數(shù)的估測(cè)能力，選擇用于 3D 分類和分割的點(diǎn)集的深度學(xué)習(xí)模型PointNet[9]、動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)[19]（Dynamic Graph CNN，DGCNN）、多分辨率編碼點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)模型（MRE-PointNet）[10]3種模型作為對(duì)比，其中PointNet是第一個(gè)對(duì)點(diǎn)云直接處理的深度學(xué)習(xí)模型，作為模型結(jié)果的基準(zhǔn)，DGCNN是使用邊卷積結(jié)構(gòu)獲取點(diǎn)云局部特征的模型，為了對(duì)比改進(jìn)邊卷積結(jié)構(gòu)后的FL-DGCNN和原始邊卷積結(jié)構(gòu)估測(cè)的效果。MRE-PointNet是以PointNet為基礎(chǔ)進(jìn)行多分辨率編碼得到全局特征進(jìn)行估測(cè)，和本試驗(yàn)提出的以DGCNN為基礎(chǔ)提取局部特征的估測(cè)效果對(duì)比。

表5 不同模型對(duì)葉片外部表型參數(shù)估測(cè)精度

從表5可以看出，和其他三個(gè)模型對(duì)比，F(xiàn)L-DGCNN網(wǎng)絡(luò)估測(cè)效果最好，對(duì)葉長(zhǎng)、葉寬和葉面積的估測(cè)結(jié)果均好于PointNet模型和DGCNN模型，與MRE-PointNet網(wǎng)絡(luò)估測(cè)結(jié)果相比，葉寬估測(cè)結(jié)果與其相近，其余兩個(gè)參數(shù)估測(cè)結(jié)果明顯更好，估測(cè)的誤差值也更低，說(shuō)明通過(guò)多層特征的融合增加了提取的邊緣特征信息，特征提取能力更強(qiáng)。

從FL-DGCNN網(wǎng)絡(luò)對(duì)葉長(zhǎng)、葉寬和葉面積3個(gè)外部表型參數(shù)估測(cè)結(jié)果來(lái)看，該模型對(duì)葉寬和葉面積估測(cè)精度最高，2為0.99，對(duì)葉長(zhǎng)估測(cè)效果相比較差，但是估測(cè)的誤差也僅為0.36 cm，總體來(lái)看，F(xiàn)L-DGCNN網(wǎng)絡(luò)對(duì)葉片的外部表型參數(shù)估測(cè)效果較好且結(jié)果較為準(zhǔn)確。

3 結(jié)論與討論

1）基于運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)算法從相機(jī)拍攝的多角度圖像序列中重建了綠蘿三維模型。對(duì)存在遮擋的殘缺點(diǎn)云通過(guò)多層自編碼器組合的堆棧編碼器模型補(bǔ)全效果較好，在葉片點(diǎn)云同等殘缺下與自編碼器相比，堆棧編碼器模型補(bǔ)全后估測(cè)的決定系數(shù)2和均方根誤差（Root Mean Square Error，RMSE）基本優(yōu)于自編碼器，當(dāng)隨著點(diǎn)云殘缺比例的增加，點(diǎn)云補(bǔ)全后估測(cè)的2和RMSE變化小模型的魯棒性更好，并且能適用于點(diǎn)云殘缺更多的情況，在殘缺40%以內(nèi)補(bǔ)全后形狀與原始點(diǎn)云形狀相近。

2）基于FL-DGCNN的綠蘿葉片外部表型參數(shù)的估測(cè)算法與多組網(wǎng)絡(luò)模型相比，能更好的提取葉片局部特征，2優(yōu)于其他網(wǎng)絡(luò)模型，對(duì)葉長(zhǎng)估測(cè)的均方根誤差為0.37 cm，對(duì)葉寬估測(cè)的均方根誤差為0.34 cm，對(duì)葉面積估測(cè)的均方根誤差為3.01 cm2，模型估測(cè)的偏差較小，方法具有一定的實(shí)用性，并且能夠自動(dòng)化批量獲取葉片表型數(shù)據(jù)，為同類型葉類植物葉片外形參數(shù)的估測(cè)提供了可能。

然而，對(duì)葉片補(bǔ)全的編碼模型不能適用于殘缺50%以上的點(diǎn)云，并且編碼生成的點(diǎn)云內(nèi)部較為混亂，金字塔解碼器可以通過(guò)多階段補(bǔ)全損失減少幾何結(jié)構(gòu)瑕疵，將點(diǎn)云3D網(wǎng)格化可以保留原有空間結(jié)構(gòu)，因此，優(yōu)化編碼模型，以便更好的感知點(diǎn)云的幾何結(jié)構(gòu)，對(duì)于殘缺組分大的點(diǎn)云，也需具有泛化性和普適性，尚需進(jìn)一步研究。另，試驗(yàn)需要通過(guò)手動(dòng)移動(dòng)相機(jī)來(lái)獲取多視角圖像序列，耗時(shí)較長(zhǎng)，且數(shù)據(jù)采集階段植物處于室內(nèi)自然光下靜止?fàn)顟B(tài)，后續(xù)需要研究通過(guò)旋轉(zhuǎn)臺(tái)構(gòu)建自動(dòng)獲取圖像的單目成像裝置，同時(shí)考慮光照、風(fēng)力等因素的干擾。

[1] 徐超，李喬. 基于計(jì)算機(jī)視覺(jué)的三維重建技術(shù)綜述[J]. 數(shù)字技術(shù)與應(yīng)用，2017，28(1)：54-56.

Xu Chao, Li Qiao. Overview of 3D reconstruction technology based on computer vision[J]. Digital Technology and Application, 2017, 28(1): 54-56. (in Chinese with English abstract)

[2] Hui F, Zhu J Y, Hu P C, et al. Image-based dynamic quantification and high-accuracy 3D evaluation of canopy structure of plant populations[J]. Annals of Botany, 2018, 121(5): 1079-1088.

[3] 孫國(guó)祥，汪小旵，劉景娜，等. 基于相位相關(guān)的溫室番茄植株多模態(tài)三維重建方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(18)：134-142.

Sun Guoxiang, Wang Xiaochan, Liu Jingna, et al. Multi-modal three-dimensional reconstruction of greenhouse tomato plants based on phase-correlation method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 134-142. (in Chinese with English abstract)

[4] Sandhu J, Zhu F, Paul P, et al. PI-Plat: A high-resolution image-based 3D reconstruction method to estimate growth dynamics of rice inflorescence traits[J]. Plant methods, 2019, 15(27): 818-822.

[5] 朱冰琳，劉扶桑，朱晉宇，等. 基于機(jī)器視覺(jué)的大田植株生長(zhǎng)動(dòng)態(tài)三維定量化研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2018，49(5)：256-262.

Zhu Binglin, Liu Fusang, Zhu Jinyu, et al. Three-dimensional quantitative research on field plant growth dynamics based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(5): 256-262. (in Chinese with English abstract)

[6] 李楊先，張慧春，楊旸. 一種基于圖像處理技術(shù)的植物形態(tài)表型參數(shù)獲取方法[J]. 林業(yè)工程學(xué)報(bào)，2020，5(6)：128-136.

Li Yangxian, Zhang Huichun, Yang Yang. A method for obtaining plant morphological phenotypic parameters using image processing technology[J]. Journal of Forestry Engineering, 2020, 5(6): 128-136. (in Chinese with English abstract)

[7] 楊玉澤，林文樹(shù). 基于激光點(diǎn)云數(shù)據(jù)的樹(shù)木枝葉分割和三維重建[J]. 西北林學(xué)院學(xué)報(bào)，2020，35(3)：171-176.

Yang Yuze, Lin Wenshu. Segmentation and 3D reconstruction of tree branches and leaves based on laser point cloud data[J]. Journal of Northwest Forestry University, 2020, 35(3): 171-176. (in Chinese with English abstract)

[8] 楊琳，翟瑞芳，陽(yáng)旭，等. 結(jié)合超體素和區(qū)域增長(zhǎng)的植物器官點(diǎn)云分割[J]. 計(jì)算機(jī)工程與應(yīng)用，2019，5(16)：197-203.

Yang Lin, Zhai Ruifang,Yang Xu, et al. Segmentation of plant organs point clouds through super voxel-based region growing methodology[J]. Computer Engineering and Applications, 2019, 55(16): 197-203. (in Chinese with English abstract)

[9] Qi C R, Su H, Mo K, et al. Pointnet: Deep learning on point sets for 3d classification and segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2017: 652-660.

[10] 王浩云，肖海鴻，馬仕航，等. 基于MRE-PointNet+AE的綠蘿葉片外形參數(shù)估測(cè)算法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52(1)：146-153.

Wang Haoyun, Xiao Haihong, Ma Shihang, et al. Estimation algorithm of leaf shape parameters ofbased on MRE PointNet and Autoencoder Model[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(1): 146-153. (in Chinese with English abstract)

[11] Schonberger J L,Frahm J M.Structure-from-motion revisited[C]//Proceedings of the CVPR.New York: IEEE,2016.

[12] Zhang Z Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330.

[13] Fuhrmann S, Langguth F, Goesele M. MVE—a multi-view reconstruction environment[C]//EUROGRAPHICS Work Graph Cult Herit,Los Alamitos:IEEE COMPUTER SOC,2014.

[14] Li L, Miao Z, Liang M. 3D reconstruction based on Kinect[C]// International Conference on Signal Processing. New York: IEEE, 2015: 1247-1250.

[15] Qi C R,Yi L,Su H, et al. Pointnet++: Deep hierarchical feature learning on point sets in a metric space[C]//Advances in Neural Information Processing Systems.New York: IEEE, 2017: 5099-5108.

[16] 周南. 基于變形的三維植物葉片可視化造型研究[D]. 南昌：東華理工大學(xué)，2013.

Zhou Nan. Visualization Modeling of the 3D-plant Leaves Based on Deformation[D]. Nanchang: East China University of Technology, 2013. (in Chinese with English abstract)

[17] 陸玲，李麗華，宋文琳，等. 計(jì)算機(jī)圖形學(xué)[M]. 北京：機(jī)械工業(yè)出版社，2017：213-225.

[18] 徐煥良，馬仕航，王浩云，等. 基于幾何模型的綠蘿葉片外部表型參數(shù)三維估測(cè)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(12)：220-228.

Xu Huanliang, Ma Shihang, Wang Haoyun, et al. Three-dimensional estimation of money plant leaf external phenotypic parameters based on geometric model[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(12): 220-228. (in Chinese with English abstract)

[19] Wang Y, Sun Y B, Liu Z W, et al. Dynamic graph CNN for learning on point clouds[J/OL]. ASSOC Computing Machinery, (2019-06-11) [2019-06-30]. https//arxiv.gg363.site/abs/ 1801.07829.

[20] Wang L, Huang Y C, Hou Y L, et al. Graph attention convolution for point cloud semantic segmentation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE Computer Society Press, 2019: 10288-10297.

[21] 王旭嬌，馬杰，王楠楠，等. 基于圖卷積網(wǎng)絡(luò)的深度學(xué)習(xí)點(diǎn)云分類模型[J]. 激光與光電子學(xué)進(jìn)展，2019，56(21)：56-60.

Wang Xujiao, Ma Jie, Wang Nannan, et al. Deep learning model for point cloud classification based on graph convolutional network[J]. Laser & Optoelectronics Progress, 2019, 56(21): 56-60. (in Chinese with English abstract)

[22] Huang Z, Yu Y, Xu J, et al. PF-Net: Point Fractal Network for 3D Point Cloud Completion[C]// New York: IEEE, 2020.

[23] Achlioptas P, Diamanti O, Mitliagkas I, et al. Learning representations and generative models for 3D point clouds[C]// Stockholm: ICML, 2018.

[24] Yuan W,Khot T,Held D,et al. PCN: Point completion network[C]// New York: IEEE, 2018.

Estimation of external phenotypic parameters of Bunting leaves using FL-DGCNN model

Chen Ling1, Wang Haoyun1, Xiao Haihong1, Ma Shihang2, Yang Yao1, Xu Huanliang1※

(1.,,,210095,; 2.200060,)

Plant leaves blocked under natural growth conditions cannot fully acquire the complete external phenotypic data. Therefore, this study aims to estimate these parameters in low-cost and automated batches using Dynamic Graph CNN with Feature Layering (FL-DGCNN). A stack encoder model was also used for Bunting () leaves. A camera was selected to shoot at a certain angle between two images. Further, motion recovery was utilized to reconstruct the three-dimensional model of the plant after feature points matching. Straight-through filtering and clustering segmentation were used to obtain a single chip Point cloud data. Specifically, the geometric model of the blade using surface parameters was discretized into a point cloud, but the point cloud was incomplete to a certain proportion to simulate the natural growth state. An auto-encoder model was modified into a deep-structured stack encoder under a multi-layer combination, and then to reduce the distance between the input point cloud and the actual point cloud. As such, the incomplete geometric model point cloud achieved shape completion after the training. The determination coefficients of leaf length, width, and area estimated by the stack encoder decreased less, as the percentage of incomplete point clouds increased, while those estimated by the auto-encoder decreased by multiples. The robustness of stack encoder completion was better in the leaf point cloud, compared with autoencoders under the same incompleteness. The shape was also similar to the original point cloud after completion within 40% of incompleteness. There were great variations in the shape of the blade when the blade was incomplete or more than 50%. A better performance was also achieved in the occluded blades. The completed point cloud was input into the FL-DGCNN deep learning network, and the feature maps were then extracted at different scales in the image pyramid, thereby enhancing semantic and geometric information. The farthest point sampling was used to extract from the original point cloud. The extracted features were connected to obtain a vector after feature layering and fusion, particularly for point clouds with contour features at different scales. The basic neural network module of edge convolution structure was adopted to better capture the local structure. The point cloud structure was represented by the directed graph, where the edge feature was obtained from the neighbor nodes. The local features of each group were superimposed on the shallow and deep network for the multiple perceptions in the original edge convolution structure, and then the leaf length, width, and area were estimated for the external phenotypic parameters of leaves. The highest accuracy was achieved to estimate the leaf width and area, followed by that of leaf length with a relatively small error. The determination coefficient and root mean square error were better than before, indicating a relatively lower error and stronger ability of feature extraction, compared with multiple networks. Additionally, a total of 200 leaves ofwere collected in the experiment to verify the model, where the estimated values were linearly fitted to the measured. The determination coefficients and root mean square errors of leaf length, width, and area were 0.92 and 0.37 cm, 0.93 and 0.34 cm, 0.94, and 3.01 cm2, respectively. The experiment demonstrated that the model is highly effective to estimate the external phenotypic parameters of plant leaves.

models; parameters; three-dimensional; deep learning; occlusion completion;

陳玲，王浩云，肖海鴻，等. 利用FL-DGCNN模型估測(cè)綠蘿葉片外部表型參數(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(13)：172-179.

10.11975/j.issn.1002-6819.2021.13.020 http://www.tcsae.org

Chen Ling, Wang Haoyun, Xiao Haihong, et al. Estimation of external phenotypic parameters of Bunting leaves using FL-DGCNN model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(13): 172-179. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.13.020 http://www.tcsae.org

2020-09-20

2021-06-25

國(guó)家自然科學(xué)基金項(xiàng)目（31601545；61502236）

陳玲，研究方向?yàn)橛?jì)算機(jī)視覺(jué)與植物表型分析。Email：2019114004@njau.edu.cn

徐煥良，博士，教授，博士生導(dǎo)師，研究方向?yàn)閿?shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)、計(jì)算機(jī)視覺(jué)與植物表型分析、農(nóng)產(chǎn)品品控與可追溯。Email：huanliangxu@njau.edu.cn

10.11975/j.issn.1002-6819.2021.13.020

TP391; S126

A

1002-6819(2021)-13-0172-08