基于三維重建技術(shù)的植物表型分析

史維杰 郝雅潔 趙明霞 呂致 胡欣宇 李富忠

摘 要：植物表型作為基因組在環(huán)境中的實(shí)際表現(xiàn)，是研究基因功能和植物育種的重要橋梁，而破壞性的測(cè)量對(duì)于持續(xù)性的研究來(lái)說是災(zāi)難性的。大量的同一物種植物的取樣，只能在一定程度上保證實(shí)驗(yàn)條件一樣，但是基因組某一性狀的表現(xiàn)不僅受基因影響還受環(huán)境影響。所以對(duì)植物進(jìn)行三維重建，非破壞性的獲取植物表型是必要的。文中主要介紹了基于圖像序列的三維重建流程及算法，在一定程度上還原了植物的三維模型，從實(shí)驗(yàn)的角度論證了使用三維重建進(jìn)行植物表型分析的可行性。

關(guān)鍵詞：三維重建;植物表型分析;基因組;植物育種;SIFT算法;圖像序列

中圖分類號(hào)：TP391.9文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2095-1302（2019）09-00-03

0 引 言

1997年Schork首次提出了表型組學(xué)（Phenomics）的概念[1]，特指作為基因組研究重要補(bǔ)充的復(fù)雜疾病性狀研究。植物表型組學(xué)作為其中的一員，主要是理解植物基因功能及環(huán)境效應(yīng)[2]。過去僅依賴肉眼觀察和破壞性獲得的植物特征和性狀十分有限[3]，無(wú)法滿足作物基因組功能研究和作物育種的實(shí)際需求。

目前，表型獲取技術(shù)成為作物育種中比較薄弱的環(huán)節(jié)，制約著植物表型組學(xué)的發(fā)展。所以如何提高該技術(shù)的精度、通量，降低價(jià)格成本成為研究植物表型的重點(diǎn)。隨著計(jì)算機(jī)技術(shù)的進(jìn)步和硬件的不斷優(yōu)化，與難以持續(xù)獲取植物信息的手動(dòng)采集相比，使用計(jì)算機(jī)對(duì)植物進(jìn)行三維重建，實(shí)現(xiàn)非破壞性采集，十分受科研人員的歡迎[4]。本文主要從重建流程及相關(guān)算法進(jìn)行介紹。

1 重建流程及算法

當(dāng)前實(shí)現(xiàn)三維重建主要為兩類[5]：基于激光掃描的三維重建;基于圖像序列的三維重建。

現(xiàn)實(shí)中的物體都是三維立體的，而人眼或者其他視覺設(shè)備獲取到的圖像都是二維的，但是人眼可以從二維圖像中獲取三維信息，而計(jì)算機(jī)視覺需要通過恢復(fù)現(xiàn)實(shí)環(huán)境的模型從而來(lái)認(rèn)知世界[6]。

本文主要介紹基于圖像序列的三維重建，其流程如圖1所示。

首先，打印棋盤格[7]的照片，并將其粘貼在一面空白的墻上，使用手機(jī)對(duì)其拍攝獲取標(biāo)定圖片;然后，對(duì)選擇重建的物體進(jìn)行拍攝，對(duì)得到的圖片進(jìn)行篩選，去除光照不足和模糊的照片，對(duì)重建的圖像進(jìn)行預(yù)處理，為特征檢測(cè)與匹配做準(zhǔn)備;接著，進(jìn)行特征點(diǎn)檢測(cè)與匹配，盡量獲得多的特征點(diǎn)，去除誤匹配[8];最后，通過標(biāo)定圖片進(jìn)行相機(jī)標(biāo)定，計(jì)算基礎(chǔ)矩陣本質(zhì)矩陣，進(jìn)行三維重建[9]。

1.1 標(biāo)定圖片及重建圖片的獲取

本文使用普通手機(jī)拍攝就可以直接得到實(shí)驗(yàn)需要的RGB圖片，在一定程度上降低了對(duì)設(shè)備的要求。對(duì)于標(biāo)定圖片來(lái)說，盡量保證不同角度同一水平線拍攝;而重建圖片從兩個(gè)不同角度正面拍攝[10]。

1.2 圖像預(yù)處理

獲取圖片后需要對(duì)圖片進(jìn)行預(yù)處理才能使用。圖像預(yù)處理主要目的是：抽出對(duì)象的特征作為圖像識(shí)別的特征模式;適應(yīng)圖像處理的要求，消除圖像的噪聲[11]。

對(duì)圖2進(jìn)行處理，使用低通濾波進(jìn)行模糊，使用高通濾波進(jìn)行銳化[12]。處理后的效果如圖3所示。

1.3 特征點(diǎn)檢測(cè)與匹配

如何高效且準(zhǔn)確地匹配來(lái)自兩個(gè)不同視角圖像中的同一個(gè)物體是許多計(jì)算機(jī)視覺應(yīng)用中的第一步[13]。為了更好地進(jìn)行特征匹配，需要在圖像中選擇具有代表性的區(qū)域，如角點(diǎn)。然而，角點(diǎn)并不能很好地滿足需求，因此采用SIFT算法[14]。

圖像的特征點(diǎn)由兩部分構(gòu)成：關(guān)鍵點(diǎn)（Key Point）和描述子（Descriptor）。關(guān)鍵點(diǎn)是具有圖像位置信息的特征點(diǎn)，有些還具有方向、尺度信息;描述子通常是一個(gè)按照人為設(shè)計(jì)方式的向量，用來(lái)描述關(guān)鍵點(diǎn)周圍像素的信息[15]。一般的描述子都是按照外觀相似的特征應(yīng)該有相似的描述子的原則設(shè)計(jì)的。因此，在匹配時(shí)，只要兩個(gè)特征點(diǎn)的描述子在向量空間中距離相近，就可以視它們?yōu)橄嗤奶卣鼽c(diǎn)[16]。

特征點(diǎn)的檢測(cè)和匹配通常需要以下3個(gè)步驟。

（2）根據(jù)得到的關(guān)鍵點(diǎn)位置，計(jì)算特征點(diǎn)的描述子。從圖像中提取特征的關(guān)鍵點(diǎn)信息，通常只包含它的位置信息，單獨(dú)使用這些信息并不利于特征匹配。因此，需要更詳細(xì)的信息來(lái)區(qū)分特征點(diǎn)，這就是特征描述子。此外，特征描述子可以消除因視角變化而導(dǎo)致的圖像的尺度和方向的變化，獲得更好的匹配[18]。

（3）根據(jù)特征點(diǎn)的描述子進(jìn)行匹配。然而，僅使用SIFT算法存在大量的誤匹配，為了消除由圖像遮擋和圖像背景而產(chǎn)生的無(wú)匹配關(guān)系的關(guān)鍵點(diǎn)，Lowe提出了比較最近鄰距離與次近鄰距離的SIFT匹配方式[4]。特征點(diǎn)檢測(cè)與匹配如圖4所示。

1.4 相機(jī)標(biāo)定并計(jì)算基本矩陣和本質(zhì)矩陣

相機(jī)標(biāo)定的目的：主要是獲取相機(jī)的內(nèi)參和外參矩陣，與此同時(shí)也會(huì)得到每一幅標(biāo)定圖像的旋轉(zhuǎn)和平移矩陣，內(nèi)參和外參矩陣可以對(duì)重建圖像進(jìn)行矯正，得到矯正后的圖片[19]。

相機(jī)拍照的過程其實(shí)就是從世界坐標(biāo)系到像素坐標(biāo)系的一個(gè)數(shù)學(xué)變換（不考慮畸變），如下：

通過標(biāo)定圖片進(jìn)行相機(jī)標(biāo)定（考慮畸變）并進(jìn)行矯正[20]，效果如圖5所示。

1.5 三維重建

通過得到的特征點(diǎn)以及相機(jī)的內(nèi)參外參進(jìn)行三維重建，效果如圖6所示。

2 結(jié) 語(yǔ)

本文從實(shí)驗(yàn)的角度論證了使用計(jì)算機(jī)視覺技術(shù)進(jìn)行三維重建得到植物模型，進(jìn)行植物表型分析是可行的。只是目前的技術(shù)實(shí)現(xiàn)重建后，在精度上存在一定的問題，一些對(duì)于精度有硬性要求的分析還不能得到良好的結(jié)果，但是對(duì)于株高、葉面積這些耗費(fèi)人工的破壞性測(cè)量還是有較好的效果。

注：本文通訊作者為李富忠。

參 考 文 獻(xiàn)

[1] SCHORK N J. Genetics of complex disease： approaches，problems，and solutions [J]. American journal of respiratory and critical care medicine，1997，156：103-109.

[2]周濟(jì)，TARDIEU F，PRIDMORE T，等.植物表型組學(xué)：發(fā)展、現(xiàn)狀與挑戰(zhàn)[J].南京農(nóng)業(yè)大學(xué)學(xué)報(bào)，2018，41（4）：580-588.

[3]潘映紅.論植物表型組和植物表型組學(xué)的概念與范疇[J].作物學(xué)報(bào)，2015，41（2）：175-186.

[4] LOWE D G. Distinctive image features from scale-invariant keypoints [J].International journal of compute vision，2004，60（2）： 91-110.

[5]戴宗賢.基于雙目視覺的三維重建與測(cè)量技術(shù)研究[D].重慶：重慶大學(xué)，2014.

[6] ITAKURA K，HOSOI F. Automatic leaf segmentation for estimating leaf area and leaf inclination angle in 3D plant images [J]. Sensors，2018，18（10）：3576.

[7] XIONG X，YU L J，YANG W N，et al. A high-throughput stereo-imaging system for quantifying rape leaf traits during the seedling stage [J]. Plant methods，2017，13（1）：7.

[8]何謙.基于單目視覺的環(huán)境稀疏重建與稠密重建算法研究[D].杭州：浙江理工大學(xué)，2018.

[9]張洪鑫，王明珠，仇浩然，等.基于單目圖像序列的鑄件三維重建方法[J].中國(guó)機(jī)械工程，2018，29（23）：2799-2803.

[10]繆盾.基于改進(jìn)的SIFT算法的圖像三維重建研究[J].貴州大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，35（5）：63-66.

[11]黃炯榮，魯鐵定.基于無(wú)人機(jī)序列圖像的多視圖幾何三維重建研究[J].江西科學(xué)，2018，36（1）：145-149.

[12]郭繼東.三維重建技術(shù)及其應(yīng)用研究與實(shí)現(xiàn)[D].濟(jì)南：山東大學(xué)，2005.

[13]梁超佳.機(jī)器視覺振動(dòng)目標(biāo)三維重建及模態(tài)識(shí)別方法研究[D].合肥：合肥工業(yè)大學(xué)，2016.

[14]冉冉.基于單目視覺的移動(dòng)機(jī)器人目標(biāo)識(shí)別及抓取系統(tǒng)研究[D].北京：北京交通大學(xué)，2010.

[15] STEVE H，ARKO L，JON O. The impact of the calibration method on the accuracy of point clouds derived using unmanned aerial vehicle multi-view stereopsis [J]. Remote sensing，2015，7（9）：11933-11953.

[16]金俊杰.非增加式的多視圖幾何三維重建[D].杭州：浙江工業(yè)大學(xué)，2015.

[17]高峰，魏少華，劉彩紅.序列圖像中的目標(biāo)區(qū)域跟蹤算法的設(shè)計(jì)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2011，21（8）：85-88.

[18]陳偉，索勝軍，邊信黔，等.無(wú)人水下潛器回收過程中光學(xué)引導(dǎo)模式的研究[J].機(jī)器人，2001（6）：541-544.

[19]李紅俊，韓冀皖.數(shù)字圖像處理技術(shù)及其應(yīng)用[J].計(jì)算機(jī)自動(dòng)測(cè)量與控制，2002（9）：620-622.

[20]賈濤，程強(qiáng)，韓曙東，等.一種火焰輻射圖像探頭的標(biāo)定方法[J].熱力發(fā)電，2002（5）：23-25.