基于MR展示柜的油菜表型數(shù)字化保存與展示

doi：10.15889/j.issn.1002-1302.2024.20.009

摘要：作物表型高效數(shù)字化保存和多維度展示，可為后續(xù)深入細(xì)致的表型研究提供高通量、高精度的表型數(shù)據(jù)和高保真、全方位的展現(xiàn)形式。以油菜（Brassica napus L.）為主要研究對(duì)象，通過(guò)多角度對(duì)比圖像、點(diǎn)云、3D模型和機(jī)理模型等多種表型數(shù)字化保存形式，選擇以多視角RGB圖像重建三維點(diǎn)云的方式數(shù)字化保存表型信息；在此基礎(chǔ)上，通過(guò)實(shí)施油菜桶栽試驗(yàn)，利用自主研發(fā)的多視角表型采集裝置，獲取了不同生育期、不同角度的植株圖像數(shù)據(jù)，實(shí)現(xiàn)作物二維表型的快速保存；通過(guò)從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（SFM）算法重建三維點(diǎn)云，實(shí)現(xiàn)油菜三維表型的數(shù)字化保存。在此基礎(chǔ)上，利用計(jì)算機(jī)三維建模技術(shù)，構(gòu)建3D模型，進(jìn)而利用虛擬現(xiàn)實(shí)技術(shù)，構(gòu)建表型展示環(huán)境，并通過(guò)集成MR展示柜，實(shí)現(xiàn)虛實(shí)結(jié)合的表型3D展示。結(jié)果表明，不同生育時(shí)期下的油菜表型均可通過(guò)二維圖像和三維點(diǎn)云實(shí)現(xiàn)數(shù)字化保存，通過(guò)MR技術(shù)實(shí)現(xiàn)虛實(shí)結(jié)合的數(shù)字化展示。研究結(jié)果可為表型差異展示提供直觀方案，為作物種質(zhì)資源挖掘和創(chuàng)新利用、作物系統(tǒng)模擬和智慧育種提供數(shù)據(jù)支撐。

關(guān)鍵詞：作物表型；數(shù)字化保存；數(shù)字化展示；三維點(diǎn)云；MR技術(shù)；可視化

中圖分類(lèi)號(hào)：S126" 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1002-1302（2024）20-0062-12

收稿日期：2024-07-15

基金項(xiàng)目：國(guó)家自然科學(xué)基金（編號(hào)：32201664、31871522、31601223）；江蘇省自然科學(xué)基金（編號(hào)：BK20200277）；江蘇省農(nóng)業(yè)科技自主創(chuàng)新資金［編號(hào)：CX（21）2042］。

作者簡(jiǎn)介：楊文依（1999—），女，河北唐山人，碩士研究生，主要從事作物表型數(shù)字化保存與展示研究。E-mail：1985096088@qq.com。

通信作者：陳青春，博士，副教授，從事作物精確栽培管理與資源高效利用研究，E-mail：124147519@qq.com；張文宇，博士，研究員，從事智慧農(nóng)業(yè)關(guān)鍵技術(shù)研究，E-mail：research@wwery.cn。

近年來(lái)，隨著信息技術(shù)與現(xiàn)代農(nóng)業(yè)的深度融合，智慧農(nóng)業(yè)飛速發(fā)展，植物表型研究邁入組學(xué)時(shí)代［1］，依靠人工測(cè)量、紙筆記錄和手繪展示的傳統(tǒng)表型獲取、保存及呈現(xiàn)方式，效率低、誤差大、保存信息有限、展示不夠直觀，已經(jīng)無(wú)法滿(mǎn)足當(dāng)前智慧育種和智慧農(nóng)作技術(shù)對(duì)作物表型信息無(wú)損、高效獲取、快速、準(zhǔn)確、完整保存和實(shí)時(shí)、全方位展示的要求［2-4］。因此，作為表型研究的前提，利用信息化手段進(jìn)行作物表型高效數(shù)字化保存和多維度展示，可為后續(xù)深入細(xì)致的表型研究提供高通量、高精度的表型數(shù)據(jù)和高保真、全方位的展現(xiàn)形式，對(duì)促進(jìn)表型性狀參數(shù)快速獲取、作物育種智能化和作物栽培智慧無(wú)人化，以及農(nóng)業(yè)科普教育等均具有重要意義［5-10］。

將表型或表型參數(shù)保存起來(lái)是作物表型研究的基礎(chǔ)，也是關(guān)鍵技術(shù)手段。傳統(tǒng)表型保存通常采用文字描述或手繪圖像的方式進(jìn)行，計(jì)算機(jī)技術(shù)與農(nóng)業(yè)的有機(jī)結(jié)合使作物表型研究跨入到數(shù)字化、可視化的階段［11］，通過(guò)三維數(shù)字化、光譜分析等技術(shù)，輔以智能算法分析圖像、聲波、反射率或點(diǎn)云等多種信息處理技術(shù)，對(duì)作物表型信息進(jìn)行高通量、精準(zhǔn)地獲取，大大提高了作物表型研究效率和準(zhǔn)確性，為作物表型全方位展示和后續(xù)挖掘利用奠定了數(shù)據(jù)基礎(chǔ)［12-16］。相對(duì)于形態(tài)結(jié)構(gòu)表型，理化和生理生態(tài)過(guò)程參數(shù)表型指標(biāo)繁多，且非肉眼可見(jiàn)，往往需要通過(guò)光譜反演的方式間接獲得，目前難以全面、無(wú)損、準(zhǔn)確地獲取。因此，本研究重點(diǎn)關(guān)注作物形態(tài)結(jié)構(gòu)表型，目前可見(jiàn)光［17-19］、激光［20-22］、微波、電磁波等［23-24］數(shù)字化手段已在生產(chǎn)和科研上廣泛應(yīng)用。

通過(guò)二維屏幕展示植物圖片是作物表型最直觀也是最原始的數(shù)字化展示形式。隨著虛擬植物、VR、MR、AR等技術(shù)的不斷發(fā)展，作物表型展示方式也從二維屏幕展示3D植物，發(fā)展到利用設(shè)備觀看3D圖像，再到目前的通過(guò)裸眼方式直接在3D空間展示表型信息，甚至可以通過(guò)操作界面和交互設(shè)備，基于肢體動(dòng)作和眼神實(shí)現(xiàn)人機(jī)交互［25］，使用戶(hù)能夠身臨其境地感受展示內(nèi)容，愈趨人性化、科技化、低成本化，互動(dòng)性和沉浸體驗(yàn)也逐步增強(qiáng)。

本研究基于團(tuán)隊(duì)自主研發(fā)的多視角自動(dòng)成像系統(tǒng)，以多角度高清作物圖像的方式快速保存作物二維表型數(shù)據(jù)，并利用SFM算法生成作物3D點(diǎn)云，實(shí)現(xiàn)作物三維表型的數(shù)字化保存。在此基礎(chǔ)上，采用三維模型構(gòu)建引擎將點(diǎn)云數(shù)據(jù)逆向成三維模型，并開(kāi)發(fā)3D展示軟件，結(jié)合MR展示柜，實(shí)現(xiàn)在虛擬場(chǎng)景下作物表型的保存和展示，為進(jìn)一步研究作物表型參數(shù)智能化提取方法提供數(shù)據(jù)支撐和展示手段。

1" 作物表型數(shù)字化方法比較

目前，從存儲(chǔ)形式來(lái)分，作物表型數(shù)字化保存主要有基于圖像、點(diǎn)云、3D模型和機(jī)理模型等方法。

1.1" 基于圖像的方法

基于圖像的作物表型保存方法是一種利用RGB圖像記錄和保存作物表型特征的方法。該方法通常在不同的生育時(shí)期從不同的角度獲取作物的圖像，保存的圖像包含株高、葉面積、葉片形狀、葉色等各種表型特征，可通過(guò)后續(xù)提取表型特征參數(shù)加以分析和利用。

通過(guò)手機(jī)或相機(jī)即可完成作物的圖像采集，例如手機(jī)軟件RealityScan，在進(jìn)行作物拍攝之后，可對(duì)圖像進(jìn)行高效管理、儲(chǔ)存。另外，通過(guò)特定設(shè)備，以固定軌跡拍攝，圖像采集位置標(biāo)準(zhǔn)統(tǒng)一，往往效果更好。例如采用多視角自動(dòng)成像裝備（圖1）［26］，可利用裝備多臺(tái)相機(jī)的機(jī)械臂，以360°進(jìn)行全方位拍攝植株。

基于圖像數(shù)字化保存表型的成本主要包括購(gòu)入多視角成像裝備、圖像處理軟件等。一般而言，成像裝備包含相機(jī)越多、相機(jī)成像質(zhì)量越高、拍攝角度越密集，保存的表型信息就越完整，其成本也越高。對(duì)于不同的作物或同一作物不同生育時(shí)期，因冠層負(fù)責(zé)程度不同，可清晰成像所需的最低要求不同，針對(duì)復(fù)雜的植株場(chǎng)景，常選擇增加相機(jī)和拍攝角度的方法，與此同時(shí)也會(huì)相應(yīng)增加設(shè)備復(fù)雜程度。

總體而言，基于圖像的作物表型保存方法相對(duì)簡(jiǎn)單易行，甚至單人持手機(jī)即可實(shí)現(xiàn)，但受限于圖像的非穿透特性，僅適用于結(jié)構(gòu)簡(jiǎn)單、冠層內(nèi)遮擋較少的作物。對(duì)于冠層內(nèi)器官遮擋嚴(yán)重，且無(wú)法通過(guò)

不同角度觀測(cè)到的植物，也可保存外觀數(shù)據(jù)，但往往不足以支撐后續(xù)詳細(xì)表型參數(shù)提取和分析。雖然有這樣的限制，但由于其成本相對(duì)低廉，還是在水稻、小麥、油菜等作物表型數(shù)字化保存上得到了實(shí)際應(yīng)用，經(jīng)濟(jì)性表現(xiàn)良好［19］。

1.2" 基于點(diǎn)云的方法

不同于二維圖像，點(diǎn)云是空間中點(diǎn)的坐標(biāo)集合，可保存植物器官和植株的三維表型信息，基于點(diǎn)云的作物表型數(shù)字化方法已成為一種重要的支撐表型量化分析和品種改良的技術(shù)手段。點(diǎn)云數(shù)據(jù)的獲取主要有間接和直接2種方式，間接的點(diǎn)云獲取常用多視角圖像三維重建技術(shù)，而直接的點(diǎn)云獲取通常基于三維掃描技術(shù)。多視角圖像三維重建技術(shù)通過(guò)SFM算法將多個(gè)視角的圖像序列融合成三維點(diǎn)云，理論上只需要有覆蓋作物表面的圖像即可完成重建。高精度的三維掃描技術(shù)，包括激光掃描、CT掃描等，這些技術(shù)均依賴(lài)于專(zhuān)門(mén)的設(shè)備。

雖然技術(shù)方案不同，但影響基于點(diǎn)云的作物表型數(shù)字化保存效率的因素比較類(lèi)似，主要包括植株冠層的復(fù)雜程度、點(diǎn)云密度以及具體技術(shù)方案的選擇。其中技術(shù)選擇是最大的影響因素。圖像重建過(guò)程快慢取決于算法優(yōu)化程度、設(shè)備算力和精度要求；激光掃描提供了快速且精確的點(diǎn)云數(shù)據(jù)采集，掃描時(shí)間取決于設(shè)備性能；CT掃描提供了最高級(jí)別的細(xì)節(jié)、精度和穿透性，可以輕松獲取植株內(nèi)部結(jié)構(gòu)信息，通常低通量掃描和醫(yī)學(xué)CT時(shí)長(zhǎng)相當(dāng)，但高通量掃描也需要較長(zhǎng)的時(shí)間以獲取高精度數(shù)據(jù)。

從成本角度看，通過(guò)圖像重建點(diǎn)云的方式成本來(lái)源于圖像獲取設(shè)備、重建算法和計(jì)算資源，相對(duì)而言成本最低，一般以萬(wàn)元或者十幾萬(wàn)元計(jì)；激光掃描設(shè)備的價(jià)格通常遠(yuǎn)遠(yuǎn)高于普通相機(jī)，不論是激光雷達(dá)還是激光掃描儀，隨著精度、有效距離的提升和誤差的降低，價(jià)格上升較快，一般能用于作物表型保存的設(shè)備往往要幾十萬(wàn)元起步；CT是目前以點(diǎn)云方式保存表型所需設(shè)備中成本最高的，往往以百萬(wàn)元計(jì)。

總體而言，較之基于圖像的方式，點(diǎn)云因其可以保存三維表型，保存信息和應(yīng)用場(chǎng)景更豐富，但成本也更高。相對(duì)而言，基于多視角圖像序列重建點(diǎn)云的方式對(duì)設(shè)備的要求最低，可以通過(guò)獲取更多角度的更高清晰度的照片來(lái)提升表型保存精度，且同時(shí)保存了原始圖片數(shù)據(jù)，是室內(nèi)盆栽作物表型數(shù)字化保存較優(yōu)的選擇；激光掃描方式因激光方向性好、亮度高的特性，在大范圍快速掃描時(shí)具有較高的精度，適用于室外大尺度表型獲??；CT掃描的穿透性，使其成為作物內(nèi)部表型獲取的不二選擇，但其超高的價(jià)格和安全性限制了大范圍應(yīng)用推廣。

1.3" 基于3D模型的方法

相比離散的點(diǎn)云，3D模型更方便后續(xù)的表型參數(shù)提取，也可以通過(guò)貼圖和材質(zhì)等后期加工，實(shí)現(xiàn)逼真的展示效果。除根據(jù)實(shí)物或影像手工三維建模外，通常用點(diǎn)云逆向建模或三維掃描技術(shù)實(shí)現(xiàn)作物3D建模。

以高精度的3D點(diǎn)云為基礎(chǔ)，通過(guò)逆向工程擬合三維模型，是激光掃描儀、激光雷達(dá)等設(shè)備生產(chǎn)三維實(shí)體的常用方式。不論是通過(guò)圖像三維重建還是儀器設(shè)備直接獲取的三維點(diǎn)云（圖2），一般都需要通過(guò)初始網(wǎng)格重建、網(wǎng)格優(yōu)化、紋理貼圖等技術(shù)將點(diǎn)云融合成三維模型，從而完成三維模型的重建。通過(guò)不斷迭代升級(jí)，此技術(shù)構(gòu)建作物三維模型的效果很好，不同的點(diǎn)云密度和三維結(jié)構(gòu)復(fù)雜程度所需的重建時(shí)常差異較大，通常單株油菜的重建時(shí)長(zhǎng)在30～60 min以?xún)?nèi)。

基于多視角立體視覺(jué)的三維重建技術(shù)在軟件操作流程上有著多元化的選擇。而基于激光雷達(dá)或激光掃描儀獲取點(diǎn)云進(jìn)而重建3D模型的方式所用軟件一般由設(shè)備兼容的導(dǎo)出格式?jīng)Q定。因此，基于點(diǎn)云重建3D模型保存植物表型方法的成本相對(duì)較高，主要由于所需的高級(jí)成像設(shè)備和軟件的成本，這些軟件往往是比較昂貴的商業(yè)軟件。

目前，不少儀器設(shè)備，特別是采用結(jié)構(gòu)光掃描技術(shù)的設(shè)備，可以直接輸出3D模型，Go！Scan就是其中的典型代表，它是一種高效的三維掃描設(shè)備，

專(zhuān)門(mén)設(shè)計(jì)用于快速而準(zhǔn)確地捕獲物體的三維數(shù)據(jù)，并將這些數(shù)據(jù)轉(zhuǎn)換成三維模型。使用Go！Scan進(jìn)行農(nóng)作物表型數(shù)字化包含幾個(gè)關(guān)鍵步驟，從準(zhǔn)備工作到數(shù)據(jù)采集，再到后期處理和分析，每個(gè)步驟都對(duì)整體周期產(chǎn)生影響。

在成本方面，高精度的三維掃描儀和相關(guān)的計(jì)算設(shè)備通常不僅需要較高的硬件投資，還涉及到軟件和數(shù)據(jù)處理工具的成本，這些工具往往需要專(zhuān)業(yè)人員來(lái)操作和維護(hù)。此外，這種方法涉及大量的數(shù)據(jù)收集和處理，因此數(shù)據(jù)存儲(chǔ)和管理也可能帶來(lái)額外的成本。盡管初期投資較高，但基于三維建模的方法能夠提供非常詳細(xì)和準(zhǔn)確的作物生長(zhǎng)數(shù)據(jù)，這對(duì)于深入理解作物的生長(zhǎng)特性和優(yōu)化育種策略非常有價(jià)值。

總體而言，基于點(diǎn)云逆向三維建模的作物表型保存方法的實(shí)用性、效率和成本，除了與建模軟件相關(guān)，最根本的還是和獲取三維信息的方式有關(guān)。基于圖像重建點(diǎn)云逆向?yàn)槿S模型，仍然具有快速低成本的特性；基于激光獲取點(diǎn)云再構(gòu)建三維模型，依然可適用于大范圍場(chǎng)景的快速獲?。换贑T獲取點(diǎn)云逆向成三維模型，依然保留了可穿透性強(qiáng)的特點(diǎn)。而三維掃描直接生成三維模型的方式，不適用于大范圍掃描，且形態(tài)相近的物體掃描時(shí)往往需要標(biāo)記點(diǎn)輔助，成本相對(duì)較高。因此，單純從表型保存角度而言，三維模型的方式并沒(méi)有增加額外的表型信息，卻增加了成本和時(shí)間。當(dāng)然，三維模型通過(guò)渲染可極大的提高真實(shí)感，有利于表型展示。

1.4" 基于機(jī)理模型的方法

基于機(jī)理模型的作物表型保存方法是一種將作物生長(zhǎng)與發(fā)育過(guò)程公式化的方法。這種方法根據(jù)植物生長(zhǎng)發(fā)育規(guī)律，利用具有生物學(xué)意義的數(shù)學(xué)公式來(lái)模擬作物在不同環(huán)境條件下的生長(zhǎng)表現(xiàn)，從而從作物生長(zhǎng)內(nèi)在機(jī)制的角度保存作物表型。

在耗時(shí)方面，基于機(jī)理模型的方法耗時(shí)主要取決于作物生長(zhǎng)周期和形態(tài)變化的復(fù)雜程度。模型的建立需要收集大量關(guān)于作物本身及其生境和栽培管理措施數(shù)據(jù)，包括氣象數(shù)據(jù)、土壤參數(shù)、作物生育期、生理生化指標(biāo)、栽培措施、水肥條件等。隨后，這些數(shù)據(jù)被用于開(kāi)發(fā)和校驗(yàn)?zāi)Ｐ?，確保模型能準(zhǔn)確反映作物的生長(zhǎng)發(fā)育。模型校驗(yàn)是一個(gè)迭代過(guò)程，可能需要多次調(diào)整和優(yōu)化模型參數(shù)，以達(dá)到理想的精度和可靠性。通常需要至少1份全生育期的數(shù)據(jù)用于建模，另一份獨(dú)立的試驗(yàn)資料用于驗(yàn)證，因此一般都需要2個(gè)完整生育期甚至更長(zhǎng)的時(shí)間。在模型被驗(yàn)證有效后，它可以用于長(zhǎng)期的作物生長(zhǎng)預(yù)測(cè)和分析。

在使用成本上，基于機(jī)理模型的作物表型保存方法的成本主要體現(xiàn)在試驗(yàn)實(shí)施、模型開(kāi)發(fā)和驗(yàn)證等方面。一些理化測(cè)定不僅需要專(zhuān)業(yè)儀器設(shè)備支撐，還需要投入大量的人力和時(shí)間來(lái)收集數(shù)據(jù)、開(kāi)發(fā)模型和進(jìn)行計(jì)算分析。專(zhuān)業(yè)軟件可能被用于模型的構(gòu)建和運(yùn)行，這些軟件的購(gòu)買(mǎi)和維護(hù)也會(huì)產(chǎn)生一定成本。此外，為了保證模型準(zhǔn)確性和普適性，多生態(tài)點(diǎn)的數(shù)據(jù)收集和分析是必不可少的，這在長(zhǎng)期內(nèi)會(huì)帶來(lái)較多的投入。然而，與其他表型保存方法相比，機(jī)理模型方法具有良好的可擴(kuò)展性和適應(yīng)性。

在復(fù)雜度方面，基于機(jī)理模型涉及到對(duì)作物生長(zhǎng)發(fā)育、形態(tài)建成等過(guò)程的深入分析，需要準(zhǔn)確描述其背后的原理、知識(shí)及方法，這一過(guò)程相對(duì)復(fù)雜，需要大量涉及多學(xué)科的專(zhuān)業(yè)知識(shí)和多種專(zhuān)用設(shè)備配合；構(gòu)建模型后，需要結(jié)合目標(biāo)作物及其生境調(diào)整參數(shù)、開(kāi)展敏感性、適應(yīng)性分析等工作。這個(gè)過(guò)程可能涉及到大量的數(shù)據(jù)處理和統(tǒng)計(jì)分析，以確保模型的準(zhǔn)確性和可靠性。由于需要處理復(fù)雜的數(shù)學(xué)關(guān)系和大量的數(shù)據(jù)，基于機(jī)理模型的作物表型數(shù)字化保存方法對(duì)計(jì)算資源的需求也相對(duì)較高。

基于機(jī)理模型的作物表型生成方法適用的作物種類(lèi)廣泛，尤其是對(duì)環(huán)境變化敏感或有復(fù)雜生長(zhǎng)過(guò)程的作物，機(jī)理模型能夠有效地模擬其生長(zhǎng)過(guò)程，并預(yù)測(cè)在不同環(huán)境條件下的表現(xiàn)。此外，機(jī)理模型還可以用于模擬作物對(duì)病蟲(chóng)害和逆境（如干旱、鹽堿化）的反應(yīng)，對(duì)改善作物的抗逆性育種具有重要價(jià)值。由于機(jī)理模型能夠整合多種環(huán)境和生物因素，因此對(duì)于那些在多變環(huán)境中生長(zhǎng)或需要精準(zhǔn)管理的作物來(lái)說(shuō)，這種方法尤為有用。

總體而言，基于機(jī)理模型的作物表型數(shù)字化保存方法是一種以數(shù)據(jù)和知識(shí)為基礎(chǔ)的方法。它通過(guò)模擬和預(yù)測(cè)作物在各種環(huán)境條件下的表現(xiàn)，為作物研究和育種提供了一種有效的工具。盡管這種方法在開(kāi)發(fā)和應(yīng)用上要求較高的專(zhuān)業(yè)知識(shí)，但其具有很強(qiáng)的適應(yīng)性和靈活性。

1.5" 總結(jié)

12種表型數(shù)字化保存方法的比較見(jiàn)表1。本研究綜合圖像和點(diǎn)云在保存速度和完整性方面各自?xún)?yōu)勢(shì)，采用先獲取多視角圖像數(shù)據(jù)，以平面的方式快速保存作物二維表型，再基于圖像進(jìn)行三維重建，以點(diǎn)云的形式保存作物三維表型。這樣的方式不僅保存成本低、效率高，而且精度可以根據(jù)所獲取圖像的分辨率、視角多少而調(diào)節(jié)，具有較高的可行性。

2" 材料與方法

2.1" 技術(shù)路線(xiàn)

本研究方法總體框架如圖3所示。

為連續(xù)觀測(cè)油菜全生育期表型動(dòng)態(tài)變化，本試驗(yàn)地點(diǎn)選在江蘇省農(nóng)業(yè)科學(xué)院本部試驗(yàn)農(nóng)場(chǎng)（32.04°N，118.89°E），試驗(yàn)類(lèi)型為桶栽試驗(yàn)。 油菜于2022年11月15日播種，培育環(huán)境采用高30 cm，外徑33 cm的帶孔圓桶，每桶裝干黏壤土15 kg。施純氮180 kg/hm2、P2O5 90 kg/hm2、K2O 90 kg/hm2，按面積折算后施用，其中磷鉀肥作為基肥一次性施入，氮肥按基肥 ∶臘肥 ∶薹肥=5 ∶3 ∶2分配。其他栽培措施同高產(chǎn)大田管理（表2）。

2.2" 多視角圖像獲取

通過(guò)自研多視角自動(dòng)成像設(shè)備［19，26］，定株連續(xù)觀測(cè)油菜不同生育時(shí)期的多視角圖像。設(shè)備主體

部分由1個(gè)可旋轉(zhuǎn)平臺(tái)、1個(gè)成像臂、1個(gè)基座和1塊黑色背景板組成（圖4）。成像臂由長(zhǎng)0.5 m的垂直臂和半徑1.5 m、覆蓋垂直方向上90°范圍的弧形臂組成。成像臂上至多可安裝12臺(tái)RGB相機(jī)（本研究按作物類(lèi)型和生育時(shí)期不同，實(shí)際采用6-12臺(tái)不等的SONY Alpha 6000微單相機(jī)），相機(jī)鏡頭指向擺放作物的位置。相機(jī)的位置和角度可根據(jù)不同植物種類(lèi)、不同生育時(shí)期植株大小調(diào)節(jié)和移動(dòng)。成像臂安裝在底座的一端，底座的另一側(cè)安裝黑色背景板。

2.3" 表型數(shù)字化保存

本研究結(jié)合RGB圖像和三維點(diǎn)云在保存作物表型方面的優(yōu)勢(shì)，采用先獲得不同視角的RGB圖像，進(jìn)而基于圖像高精度重建3D點(diǎn)云的方式，相對(duì)

低廉且高精度地保存作物表型。本研究采用RGB圖像和三維點(diǎn)云2種方式實(shí)現(xiàn)作物表型數(shù)字化保存。

基于圖像的表型數(shù)字化保存方式：利用自主研發(fā)的多視角自動(dòng)成像設(shè)備獲取不同品種、不同生育時(shí)期、不同方位（水平方向每隔15°、垂直方向每隔10°）的RGB圖像。這種方式主要用于保存植株和器官精細(xì)的二維形態(tài)表型。

基于點(diǎn)云的表型數(shù)字化保存方式：在采集到的多視角圖像序列基礎(chǔ)上，采用SFM算法重建植株三維點(diǎn)云的方式保存植株三維結(jié)構(gòu)表型信息。通常，SFM算法包含特征提取與匹配、幾何驗(yàn)證、三角化、捆綁調(diào)整這幾個(gè)重要步驟。在特征提取與匹配部分，通常采用尺度不變特征轉(zhuǎn)換（scale-invariant feature transform，SIFT）算法，它可以在不同尺度和旋轉(zhuǎn)下提取出圖像的關(guān)鍵點(diǎn)，并生成獨(dú)特的描述符，加快特征提取速度。幾何驗(yàn)證通過(guò)極幾何約束計(jì)算基礎(chǔ)矩陣和本質(zhì)矩陣，從而得到相機(jī)位置信息。之后，進(jìn)行三角化算法，利用幾何驗(yàn)證中得到的相機(jī)位姿計(jì)算出三維點(diǎn)云信息。最后，通過(guò)捆綁調(diào)整（bundle adjustment，BA）進(jìn)行誤差優(yōu)化，得到三維點(diǎn)云（圖5）。

2.4" 表型數(shù)字化展示

本研究采取的數(shù)字化展示方法主要包括3D模型構(gòu)建、展示軟件開(kāi)發(fā)和展示設(shè)備集成3個(gè)步驟：首先，將表型數(shù)字化保存這一步中獲得的三維點(diǎn)云轉(zhuǎn)換成網(wǎng)格數(shù)據(jù)，從而生成三維模型。接著進(jìn)行紋理映射：將紋理貼圖映射到生成的3D模型上，以提高模型的真實(shí)感和細(xì)節(jié)表現(xiàn)。在完成三維模型構(gòu)建之后，將其導(dǎo)入到Unity軟件中，進(jìn)行程序開(kāi)發(fā)。最后，將開(kāi)發(fā)好的Unity程序打包，放在MR展示柜系統(tǒng)中，從而實(shí)現(xiàn)展示設(shè)備集成。

3" 基于多視角圖像重建點(diǎn)云的油菜表型數(shù)字化保存

本研究通過(guò)獲取油菜不同生育時(shí)期多視角RGB圖像實(shí)現(xiàn)油菜二維表型數(shù)字化保存，進(jìn)而重建成三維點(diǎn)云的方式實(shí)現(xiàn)油菜三維表型數(shù)字化保存。

3.1" 基于圖像的油菜作物二維表型數(shù)字化保存

利用上一節(jié)提到的自研多視角自動(dòng)成像設(shè)備，對(duì)苗期、蕾薹期、開(kāi)花期、綠熟期油菜進(jìn)行全生育期圖像采集，從而完成二維表型數(shù)字化保存（圖6至圖9）。

3.2" 基于點(diǎn)云的油菜三維表型數(shù)字化保存

本研究基于Metashape軟件開(kāi)展基于圖像的點(diǎn)云三維重建，這一過(guò)程一般包含點(diǎn)云重建、數(shù)據(jù)預(yù)處理以及點(diǎn)云對(duì)齊3個(gè)步驟。

首先，通過(guò)點(diǎn)擊Metashape中的Add Folder導(dǎo)入文件。然后通過(guò)Align Photos對(duì)齊照片，最后利用Build Mesh功能建立網(wǎng)格，構(gòu)建點(diǎn)云如圖10。

接著，進(jìn)行數(shù)據(jù)預(yù)處理。原始點(diǎn)云數(shù)據(jù)通常包含噪聲和外點(diǎn)，需要進(jìn)行去噪、濾波等預(yù)處理操作。這一步驟對(duì)于后續(xù)的模型構(gòu)建至關(guān)重要，因?yàn)樗兄诤?jiǎn)化點(diǎn)云數(shù)據(jù)并保持其幾何特征。同時(shí)，需要將不同角度掃描的點(diǎn)云統(tǒng)一到同一坐標(biāo)系下。

最后，將點(diǎn)云對(duì)齊，由于物體通常需要從多個(gè)角度進(jìn)行掃描，因此需要將不同視角下的點(diǎn)云數(shù)據(jù)對(duì)齊到統(tǒng)一的坐標(biāo)系統(tǒng)中，以便形成一個(gè)連續(xù)的表面。

將同一油菜植株在不同時(shí)期的點(diǎn)云，如苗期、蕾薹期、開(kāi)花期和角果成熟期，構(gòu)建完畢并保存（圖11）。

4" 油菜表型數(shù)字化展示

4.1" 油菜3D模型構(gòu)建

在前文以點(diǎn)云形式保存油菜三維表型基礎(chǔ)上，將構(gòu)建完成的油菜三維點(diǎn)云轉(zhuǎn)換為三維模型，從而實(shí)現(xiàn)表型數(shù)字化展示。通常，點(diǎn)云轉(zhuǎn)換為模型主要有曲面重建和模型優(yōu)化2個(gè)步驟。首先，對(duì)油菜進(jìn)行曲面重建。通過(guò)點(diǎn)云數(shù)據(jù)，使用特定的算法如泊松表面重建方法來(lái)構(gòu)建油菜的表面模型（圖12）。

然后，對(duì)其進(jìn)行模型優(yōu)化。在構(gòu)建了初步的三維

模型后，可能需要進(jìn)行一些優(yōu)化處理，比如平滑處理、細(xì)節(jié)增強(qiáng)等，以提高模型的質(zhì)量和真實(shí)感（圖13）。

將同一油菜植株在不同時(shí)期的三維模型構(gòu)建完畢并保存（圖14）。

4.2" 三維模型修補(bǔ)

將“4.1”節(jié)用到的三維模型輸入到3ds Max軟件中進(jìn)行模型修補(bǔ)（圖15），優(yōu)化模型質(zhì)量。通過(guò)深入研究實(shí)際作物的外觀和結(jié)構(gòu)，著重于細(xì)致地建立真實(shí)的作物模型。3ds Max的建模工具提供了豐富的創(chuàng)作功能，確保模型在細(xì)節(jié)和比例上與實(shí)際作物完美契合，從而完成模型修補(bǔ)。

4.3" MR展示柜集成

MR展示柜是一種用于將虛擬對(duì)象放置在實(shí)際環(huán)境中的設(shè)備。它包括透明顯示屏， 通過(guò)將虛擬對(duì)

象投影在屏幕上，使其看起來(lái)好像存在于現(xiàn)實(shí)世界中。在作物表型數(shù)字化研究中，MR展示柜用于將虛擬作物放置在實(shí)際農(nóng)田或?qū)嶒?yàn)室環(huán)境中，以實(shí)現(xiàn)更逼真的展示效果。本研究在制作MR展示柜過(guò)程中，將Unity用于虛擬環(huán)境的搭建和交互設(shè)計(jì)，而3ds Max則被用于作物模型的修補(bǔ)和細(xì)節(jié)設(shè)計(jì)。這2款軟件的協(xié)同工作實(shí)現(xiàn)了展示柜的集成。

4.3.1" 程序基本功能

MR展示柜程序主要包含三大功能，分別為作物品種選擇功能、作物生育期選擇功能、模型視角選擇功能。

作物品種選擇功能：包含已經(jīng)保存在程序中的作物品種，用戶(hù)可以自由選擇想要查看的作物品種如油菜、水稻、小麥等。使用人員也可以對(duì)其進(jìn)行添加、修改、刪除等操作。

作物生育期選擇功能：供用戶(hù)對(duì)當(dāng)前作物品種進(jìn)行不同生育期選擇，例如油菜植株，包含苗期、蕾薹期、開(kāi)花期和綠熟期。使用人員可以對(duì)其進(jìn)行增刪改查。

模型視角選擇功能：提供上視角、水平視角、下視角，以及旋轉(zhuǎn)、縮放功能，用戶(hù)可自由查看任意視角的三維模型。

4.3.2" 程序設(shè)計(jì)與實(shí)現(xiàn)

程序搭建在Windows平臺(tái)（圖16），使用C#語(yǔ)言編寫(xiě)。

4.3.3" 展示效果

在程序界面，點(diǎn)擊品種，如油菜，可查看油菜植株模型（圖17）。

點(diǎn)擊左側(cè)不同生育期選項(xiàng)，選擇想要查看的生育期，這里依次展示油菜的不同生育期三維模型。在界面下方還有不同視角選項(xiàng)供用戶(hù)選擇（圖18至圖20）。

本研究設(shè)計(jì)的MR展示柜采用32英寸透明液晶觸摸顯示屏，1 920×1 080全高清分辨率，長(zhǎng) 808 mm、寬320 mm、高552 mm。柜身設(shè)置1個(gè)HDMI和2個(gè)USB接口，可拓展顯示輸入。柜體內(nèi)含84 dm3空間，可放置實(shí)物。需要說(shuō)明的是，雖然尚不能實(shí)現(xiàn)通過(guò)語(yǔ)音、眼神追蹤等方式的虛實(shí)交互，但其內(nèi)部空間可盛放展示實(shí)物，外側(cè)透明觸摸顯示屏可呈現(xiàn)虛擬實(shí)體，以初步具有虛實(shí)結(jié)合的MR特性。實(shí)物圖如圖21所示。

5" 結(jié)論與展望

5.1" 結(jié)論

本研究比較了不同作物表型數(shù)字化保存技術(shù)的優(yōu)缺點(diǎn)及適用場(chǎng)景，選定了通過(guò)獲取多視角圖像和基于圖像三維重建點(diǎn)云的方法，快速、低成本保存作物表型。在此基礎(chǔ)上，利用透明顯示屏可透過(guò)屏幕觀察其后物體的特性，在得到不同生育時(shí)期、不同角度油菜植株RGB圖像，進(jìn)而重建出油菜三維點(diǎn)云的基礎(chǔ)上，將點(diǎn)云數(shù)據(jù)通過(guò)計(jì)算機(jī)3D建模構(gòu)建油菜3D模型，并在此基礎(chǔ)上開(kāi)發(fā)展示軟件，通過(guò)MR展示柜，實(shí)現(xiàn)虛實(shí)結(jié)合的油菜表型數(shù)據(jù)保存與展

示。雖然目前的MR展示柜還不能體現(xiàn)肢體動(dòng)作、眼神等現(xiàn)實(shí)世界動(dòng)作表情對(duì)虛擬世界的控制，但已經(jīng)初步具有了虛實(shí)結(jié)合的特性，是生動(dòng)展示作物表型的有效手段，可為進(jìn)一步高效挖掘和利用作物表型數(shù)據(jù)提供數(shù)據(jù)積累和直觀展示方案，可為作物病蟲(chóng)害、氣象災(zāi)害脅迫響應(yīng)表現(xiàn)的數(shù)字化保存與重現(xiàn)，以及精準(zhǔn)植保提供技術(shù)支撐，對(duì)作物品種高效改良、農(nóng)業(yè)生產(chǎn)智能決策等均具有重要意義。

5.2" 展望

雖然本研究對(duì)作物表型數(shù)字化保存與展示做了大量基礎(chǔ)性工作，但是還存在一些問(wèn)題有待于改進(jìn)。今后的研究工作或可著眼于以下3個(gè)方面：

（1）在設(shè)備改進(jìn)方面，現(xiàn)有多視角自動(dòng)成像裝備采用單反相機(jī)，價(jià)格昂貴，可通過(guò)降低成本采用微型攝像頭進(jìn)行拍攝，此方法同時(shí)可以減輕機(jī)械臂重量，輕量化整體硬件結(jié)構(gòu)。從而在保證圖像采集質(zhì)量的前提下，縮減設(shè)備成本，實(shí)現(xiàn)輕量化圖像采集。

（2）本研究通過(guò)圖像和基于圖像重建的三維點(diǎn)云實(shí)現(xiàn)作物表型數(shù)字化保存工作，然而除了價(jià)格昂貴且適用范圍較窄的CT技術(shù)外，絕大多數(shù)其他手段獲取的圖像和點(diǎn)云均不具有穿透性，即只能獲取

肉眼可見(jiàn)部分的表型信息，對(duì)器官間遮擋重疊部分無(wú)能為力。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，基于深度學(xué)習(xí)的點(diǎn)云三維重建技術(shù)也受到越來(lái)越多的關(guān)注，因此，探索如何使用深度學(xué)習(xí)的方法來(lái)提高點(diǎn)云重建精度，消除或減緩器官間相互遮擋對(duì)表型保存的影響，從而加快作物表型數(shù)字化保存完整性和效率，使作物表型數(shù)字化展示更充分地還原植株原貌，是一項(xiàng)很有研究意義的工作。

（3）在作物表型數(shù)字化展示研究工作中，本研究主要通過(guò)MR技術(shù)對(duì)單株作物進(jìn)行展示，然而更自然的情況是，作物在大田中以群體的形式存在，群體作物的表型展示更能代表其整體生長(zhǎng)狀況。因此，如何完善現(xiàn)有技術(shù)，提高表型數(shù)字化展示的普適性，實(shí)現(xiàn)群體作物的表型數(shù)字化保存和展示，是未來(lái)研究方向之一。

參考文獻(xiàn)：

［1］王曉鳴，邱麗娟，景蕊蓮，等. 作物種質(zhì)資源表型性狀鑒定評(píng)價(jià)：現(xiàn)狀與趨勢(shì)［J］. 植物遺傳資源學(xué)報(bào)，2022，23（1）：12-20.

［2］李" 偉. 高通量作物表型檢測(cè)關(guān)鍵技術(shù)研究與應(yīng)用［D］. 合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2018.

［3］郭慶華，楊維才，吳芳芳，等. 高通量作物表型監(jiān)測(cè)：育種和精準(zhǔn)農(nóng)業(yè)發(fā)展的加速器［J］. 中國(guó)科學(xué)院院刊，2018，33（9）：940-946.

［4］方" 慧，胡令潮，何任濤，等. 植物三維信息采集方法研究［J］. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28（3）：142-147.

［5］金秀良，聶臣巍，石" 磊. 作物表型性狀鑒定技術(shù)促進(jìn)智慧農(nóng)業(yè)發(fā)展［C］. 第十九屆中國(guó)作物學(xué)會(huì)學(xué)術(shù)年會(huì)論文摘要集，2020：77.

［6］朱榮勝，李" 帥，孫永哲，等. 作物三維重構(gòu)技術(shù)研究現(xiàn)狀及前景展望［J］. 智慧農(nóng)業(yè)（中英文），2021，3（3）：94-115.

［7］郭新宇，溫維亮，杜建軍，等. 數(shù)字植物技術(shù)及在作物表型組學(xué)研究中應(yīng)用［C］. 第十九屆中國(guó)作物學(xué)會(huì)學(xué)術(shù)年會(huì)論文摘要集，2020：76.

［8］周" 濟(jì)，F(xiàn)rancois T，Tony P，等. 植物表型組學(xué)：發(fā)展、現(xiàn)狀與挑戰(zhàn)［J］. 南京農(nóng)業(yè)大學(xué)學(xué)報(bào)，2018，41（4）：580-588.

［9］朱光福，伊廷雙，劉" 杰. 數(shù)字植物標(biāo)本在科學(xué)研究中的應(yīng)用：進(jìn)展及挑戰(zhàn)［J］. 廣西植物，2022，42（增刊1）：127-141.

［10］梁麗秀，杜傳紅，劉立才. 植物表型組學(xué)在現(xiàn)代農(nóng)業(yè)中的應(yīng)用［J］. 科技創(chuàng)新與應(yīng)用，2019（22）：169-171，174.

［11］張" 建，李宗南，張" 楠，等. 基于實(shí)測(cè)數(shù)據(jù)的作物三維信息獲取與重建方法研究進(jìn)展［J］. 華中農(nóng)業(yè)大學(xué)學(xué)報(bào)，2013，32（4）：126-134.

［12］史維杰，郝雅潔，趙明霞，等. 基于三維重建技術(shù)的植物表型分析［J］. 物聯(lián)網(wǎng)技術(shù)，2019，9（9）：84-86.

［13］周風(fēng)燃. 基于SfM的玉米植株三維重建和特征提取方法研究［D］. 武漢：華中農(nóng)業(yè)大學(xué)，2020.

［14］鄭晨曦，溫維亮，盧憲菊，等. 基于三維數(shù)字化的小麥植株表型參數(shù)提取方法［J］. 智慧農(nóng)業(yè)（中英文），2022，4（2）：150-162.

［15］周" 磊. 基于光譜和圖像的小麥表型信息感知方法研究［D］. 杭州：浙江大學(xué)，2023.

［16］Xiang L，Bao Y，Tang L，et al. Automated morphological traits extraction for sorghum plants via 3D point cloud data analysis［J］. Computers and Electronics in Agriculture，2019，162：951-961.

［17］Jay S，Rabatel G，Hadoux X，et al. In-field crop row phenotyping from 3D modeling performed using Structure from Motion［J］. Computers and Electronics in Agriculture，2015，110：70-77.

［18］周靜靜. 基于多視角圖像的玉米植株三維重建技術(shù)研究［D］. 上海：上海海洋大學(xué)，2019.

［19］李百明，吳" 茜，吳" 劼，等. 基于多視角自動(dòng)成像系統(tǒng)的作物三維點(diǎn)云重建策略?xún)?yōu)化［J］." 農(nóng)業(yè)工程學(xué)報(bào)，2023，39（9）：161-171.

［20］焦啟明，蘇中濱，鄭" 萍，等. 基于三維數(shù)字化技術(shù)構(gòu)建大豆豆莢形態(tài)模型的方法研究［C］. 黑龍江省計(jì)算機(jī)學(xué)會(huì)2007年學(xué)術(shù)交流年會(huì)論文集，2007：36-38.

［21］田" 甜，吳靈通，金宗來(lái)，等. 利用激光掃描儀獲得油菜植株三維點(diǎn)云圖像和植株生長(zhǎng)信息的提?。跜］. 2009年中國(guó)作物學(xué)會(huì)學(xué)術(shù)論文摘要集，2009：50.

［22］孫" 娜. 農(nóng)田玉米高通量表型信息采集系統(tǒng)研究［D］. 保定：河北農(nóng)業(yè)大學(xué)，2019.

［23］Chaudhury A，Ward C，Talasaz A，et al. Machine Vision System for 3D Plant Phenotyping［J］. IEEE/ACM Transactions on Computational Biology and Bioinformatics，2019，16（6）：2009-2022.

［24］郭樹(shù)濤. 基于機(jī)器視覺(jué)的農(nóng)作物植株器官分離方法［J］. 智慧農(nóng)業(yè)導(dǎo)刊，2021，1（9）：39-43.

［25］李" 稙，蔡?hào)|娜. 數(shù)字花卉植物的全息可視化與交互實(shí)現(xiàn)［J］. 圖學(xué)學(xué)報(bào)，2019，40（6）：1017-1023.

［26］Wu Q，Wu J，Hu P，et al. Quantification of the Three-dimensional root system architecture using an automated rotating imaging system［J］. Plant Methods，2023，19（1）：11.