基于計算機視覺的植物行為感知研究綜述

祁衛(wèi)宇+王傳宇++郭新宇

摘要：在植物整個生命周期中，植物的各個器官時刻發(fā)生變化，實時動態(tài)地觀測植物形態(tài)變化對進一步研究外界環(huán)境對植物產(chǎn)生的影響以及植物內(nèi)在生長機制具有重要意義。本文首先闡述了植物行為感知的概念，對植物行為感知領(lǐng)域作了比較詳細的論述，從基于計算機視覺的植物行為感知方法及應(yīng)用2個方面回顧了該領(lǐng)域的發(fā)展現(xiàn)狀，最后分析總結(jié)了目前存在的主要問題及可能的發(fā)展方向。

關(guān)鍵詞：植物行為；感知；計算機視覺；長勢獲??；數(shù)字植物

中圖分類號： S126文獻標志碼： A文章編號：1002-1302（2017）06-0020-07

植物是自然界中最常見的景觀之一，與人類的生產(chǎn)、生活密切相關(guān)。但是由于植物具有復(fù)雜的形態(tài)結(jié)構(gòu)和生命特性，很大程度上限制了人們對植物的認知過程。日本的Morimoto等認為，植物是“speaking plant（會說話的）”，與動物一樣，研究者可以通過感知植物行為加深對植物的認識，即人們能夠根據(jù)植物的某些生理或表觀指標判斷它們對外界環(huán)境的反應(yīng)及自身的生長狀態(tài)，而植物行為是指植物某個生長階段或整個生命周期個體各器官或群體由于自身生長或外界環(huán)境刺激所產(chǎn)生的形態(tài)變化[1]。感知則是指通過某種技術(shù)手段獲取能夠表現(xiàn)這種形態(tài)變化的特征指標。植物生長環(huán)境比較復(fù)雜，它們對光溫水氣熱以及養(yǎng)分的變化都可以通過內(nèi)在生理信息或外部物理形態(tài)表現(xiàn)出來，所以人們可以利用傳感器監(jiān)測植物的生長，實時地獲取植物的行為信息，并通過控制器結(jié)合人工智能（如神經(jīng)網(wǎng)絡(luò)、遺傳算法和專家系統(tǒng)等）方法實現(xiàn)對植物生長環(huán)境的智能化控制。Fleisher等也提出了1種基于知識和信息的管理園藝系統(tǒng)，建立植物生產(chǎn)工程系統(tǒng)概念，其實也依賴于計算機視覺對植物行為信息的獲取[2]。

圖像處理與計算機視覺技術(shù)可以實現(xiàn)對植物形態(tài)連續(xù)、無損的監(jiān)測，并且數(shù)據(jù)獲取方便快捷，再加上近年來人工智能、計算機視覺的快速發(fā)展，基于計算機視覺的植物行為感知技術(shù)已廣泛應(yīng)用于植物的長勢信息獲取、植物三維建模及生長模擬、植物動畫合成等領(lǐng)域，因此對其研究具有重要意義。

20世紀70年代以來，人們就開始研究監(jiān)測植物行為的方法，盡管近年來國內(nèi)外基于計算機視覺的植物行為感知研究取得了重要進展，但由于植物生長環(huán)境的高復(fù)雜性和多變化性，使得識別的精確性和高效性并沒有完全滿足相關(guān)行業(yè)的實用要求，總體來說基于計算機視覺的植物行為感知中的挑戰(zhàn)主要來自以下2個方面：

（1）空間復(fù)雜性。植物自身形態(tài)十分復(fù)雜，分布不規(guī)則，在形狀、尺寸、方向和角度方面都存在很大差異，在不同光照、視角條件下會呈現(xiàn)出不同的形狀，在不同場景中相同的植物在姿態(tài)和特性上也會有很大不同。此外，植物群體之間遮擋、個體差異等問題都是植物行為復(fù)雜性在空間上的表現(xiàn)?？臻g復(fù)雜性主要影響植物行為感知結(jié)果的準確性。

（2）時間差異性。時間差異性是指植物本身各器官形態(tài)、顏色在整個生命周期內(nèi)不斷發(fā)生變化，每個階段重點解決的問題不盡相同。比如在苗期，主要解決的問題是植物與背景的分割，而在成熟期主要解決的問題則是相互遮擋。與此同時，植物生長過程中變化比較緩慢，要求植物行為感知過程中能夠辨別各個階段的起止時間，對各個時期進行更加細致的分析，根據(jù)植物本身各個階段的特點，開發(fā)專門的軟件算法，以達到去除人為干擾因素、降低人力成本投入的目的。時間差異性不僅對識別精確性產(chǎn)生影響，也會影響識別的高效性。

1植物行為感知方法

植物行為復(fù)雜多樣，除了生長發(fā)育所引起的自身形態(tài)變化外，植物在外界復(fù)雜環(huán)境下的運動也千變?nèi)f化，如風(fēng)雨中樹木的搖擺等，因而如何才能真實快速地感知植物行為是很多科研人員追求的目標之一。

1.1基于二維圖像

基于二維圖像感知植物行為即直接提取目標對象的顏色、紋理、輪廓等二維圖像特征，再結(jié)合統(tǒng)計數(shù)據(jù)獲取與植物生長有關(guān)的信息。Seginer等研究發(fā)現(xiàn)，成型番茄葉片的運動與缺水情況、二氧化碳吸收率存在明顯的線性關(guān)系，葉尖的運動可以作為植株需水情況的指標[3]。Kim等通過多光譜相機分析植物葉片的光譜特征進而識別水分脅迫的發(fā)生情況和程度，他們首先選擇5組不同含水量的水培養(yǎng)蘋果幼苗，然后采用數(shù)碼相機和多光譜相機定期獲取植株圖片，并分析多種光譜指數(shù)與脅迫反應(yīng)程度的關(guān)系[4]。結(jié)果發(fā)現(xiàn)，在705～750 nm 波段內(nèi)的紅邊歸一化植被指數(shù)和在680～800 nm波段內(nèi)的歸一化植被指數(shù)具有最高的相關(guān)性，該方法表明多光譜圖像可以為植物脅迫反應(yīng)探測與管理提供有效指標[4]。Lee等用數(shù)字圖像分析法判別植物生長和氮素營養(yǎng)狀態(tài)，該方法分別在3年時間內(nèi)定期獲取不同營養(yǎng)條件下4種水稻品種抽穗之前不同生長時期的圖像，與此同時抽樣獲取葉面積指數(shù)、地上部分干質(zhì)量和氮素積累量，并通過圖像分析獲取冠層覆蓋度和10種顏色指標；統(tǒng)計數(shù)據(jù)表明，冠層覆蓋度和8種顏色指標與植物生長和氮素含量有明顯的相關(guān)性，其中冠層覆蓋度和葉面積指數(shù)、地上部分干質(zhì)量及氮素積累量3個指標呈負指數(shù)關(guān)系，表明基于計算機視覺技術(shù)可以無損地識別不同發(fā)育期、不同生長狀態(tài)的水稻[5]。Yu等采用計算機視覺技術(shù)自動識別檢測玉米的發(fā)芽期和3葉期，并提出1種亮度近鄰傳播聚類算法（AP-HI）從背景中提取植株圖像，根據(jù)植株空間分布特征判斷發(fā)芽期，然后使用骨架端點描述幼苗葉片，并通過概率估計判斷3葉期，監(jiān)測結(jié)果與人工方法無差別，可以滿足實際應(yīng)用需求，指導(dǎo)農(nóng)事生產(chǎn)[6]。Wouters等采用多光譜相機在開花前監(jiān)測梨樹的花芽，首先獲取植株的多光譜圖像，通過典型相關(guān)性分析生成光譜判別模型檢測屬于花芽的像素，最后通過圖像分析算法估計植物花芽的數(shù)量[7]。Han等提出基于戶外自然條件下拍攝的圖像，判別藍莓果實不同的生長階段，首先根據(jù)果實成熟度將其分為4個不同的階段，然后通過人工選取不同成熟度果實的像素建立訓(xùn)練集，最后采用不同的分類器對其進行分類，其中K最近鄰分類算法（KNN）可達到85%～98%的準確率，表明基于計算機視覺的有效性[8]。Yeh等設(shè)計了1套葉菜類生長自動測量系統(tǒng)，該方法將雙目攝像頭安裝在滑動軌道上，獲得生菜植株的全景圖像，基于顏色特征提取植物輪廓，最后計算葉面積，并繪制生長曲線[9]，該系統(tǒng)在實際應(yīng)用中具有廣闊前景，處理過程見圖1。Eren等提出采用紅外圖像序列跟蹤植物葉片生長的方法，首先采用紅外雙目攝像機獲取植物圖像，并由此計算其深度信息，根據(jù)顏色信息去除背景，然后根據(jù)顏色和深度信息采用超順磁聚類方法分割不同葉片，再通過構(gòu)選葉片形狀特征描述子對過分分割的葉片合并修復(fù)，通過計算整個植株的中心和每個分割部分的中心，確定各個部分的方位角并對其進行跟蹤，統(tǒng)計角度直方圖，通過閾值分割，將角度相近的不同部分進行整合，最后對跟蹤的葉片分割進行橢圓擬合，估計每張葉片的生長曲線，實現(xiàn)對長勢的動態(tài)跟蹤[10]。

1.2基于三維信息

植物的三維圖像包含了比二維圖像更豐富的植物生理信息，然而由于目前采集技術(shù)的制約，三維數(shù)據(jù)采集是比較困難的。隨著圖像采集儀器的快速發(fā)展，圖像處理技術(shù)由二維轉(zhuǎn)變?yōu)槿S已成為必然趨勢。采用計算機視覺獲取植物三維信息通常指通過對1幅或多幅圖像的分析和處理，獲得圖像中物體三維幾何描述[11]。通過分析植物葉片的三維結(jié)構(gòu)，不僅可以獲取植物蒸騰作用、光合作用強度等重要信息，三維圖像信息還可以作為植物脅迫反應(yīng)的指標，進而判斷植物的生理狀況，有助于研究者更好地了解植物的脅迫反應(yīng)機制。

Ran等利用立體視覺技術(shù)通過色調(diào)不變性變換提取作物輪廓，然后基于能量最小化方法優(yōu)化特征點的匹配，完成對植株的三維重建，最后基于植株的三維模型，獲取株高、葉面積、生物量的生長參數(shù)，結(jié)果較為準確，效果見圖2[12]。Cai等基于葉片的三維圖像和由二維傅里葉變換定義的萎蔫指數(shù)感知葉面的干枯狀況，試驗結(jié)果表明，萎蔫指數(shù)與環(huán)境溫度、光合有效輻射均具有明顯相關(guān)性，能夠作為葉片干枯的指標，但該指標只適合某些闊葉類植物[13]。Mizuno等提出1種利用計算機視覺判斷植物萎蔫的方法，首先利用田間遠程監(jiān)控設(shè)備獲取植株的彩色和立體視覺數(shù)據(jù)，對葉片稠密的植株，計算葉片區(qū)域面積、葉片最小包圍矩形面積以及左右最遠點與最高點之間的夾角3個指標；對葉片稀疏的植物，通過雙目圖像恢復(fù)葉片三維數(shù)據(jù)，并計算其下垂角度，進而判斷其是否萎蔫，并通過控制周圍設(shè)備自動澆灌[14]，結(jié)果見圖3。趙燕東等借助3D掃描裝置，快速獲取西葫蘆葉面形態(tài)的原始信息，根據(jù)不同萎蔫程度的葉片形態(tài)3D測量數(shù)據(jù)，對葉片分形維數(shù)分

別結(jié)合土壤溫度與光照度分析了統(tǒng)計相關(guān)性[15-16]。結(jié)果表明，葉片的分形維數(shù)與土壤溫度、光照度都呈負相關(guān)性，并得出了三者之間的多元回歸模型，因此采用圖像處理技術(shù)，通過分析葉片分形維數(shù)可以有效指導(dǎo)農(nóng)田節(jié)水灌溉[15-16]。Nielsen 等采用三目立體相機獲取桃花植株圖像，采用基于相關(guān)性的立體視覺算法確定桃花位置，匹配誤差不超過1 cm，可用于自動花朵剔除系統(tǒng)[17]。陳兵旗等基于雙目立體視覺對大田間玉米生長參數(shù)進行測量，通過建立玉米三維模型，實現(xiàn)大田玉米生長過程的三維虛擬顯示[18]。王傳宇等提出1種基于圖像恢復(fù)農(nóng)田景物的方法，該方法首先獲取相機參數(shù)并以尺度不變特征變換（SIFT）匹配點的視差限制初始搜索范圍，然后按像素鄰域的SSD值匹配2幅圖像的像素，由此獲得致密的視差圖，最后將二維圖像像素RGB值映射到三維點云上，重建田塊景觀，結(jié)果表明，該方法真實再現(xiàn)性好，重建過程簡潔，具有較高的自動化程度[19]，效果見圖4。

基于計算機視覺及圖像處理技術(shù)，不僅可以感知植物的生長、開花、結(jié)果等發(fā)育過程，還可以根據(jù)植株形態(tài)變化，判斷其脅迫反應(yīng)，便于田間管理。

2植物行為感知的應(yīng)用

對植物自身形態(tài)變化的研究，可獲取其長勢信息以及內(nèi)在的生長機制，通過植物建模對其生長過程進行模擬，對植物運動的研究，可用于合成植物動畫。

2.1長勢信息獲取

通過計算機視覺技術(shù)能方便地獲取植物的二維或三維形態(tài)信息，而且可以避免傳統(tǒng)方式工作量大、效率低、取樣破壞性大等不足，通過對這些形態(tài)信息進行分析，不僅可以提取株高、葉面積、莖稈節(jié)間長度、莖葉夾角、方位角等株型指標，還可以根據(jù)葉片顏色反演葉綠素含量、氮素營養(yǎng)狀況。

（1）個體水平上，株高是反映作物長勢狀況的重要指標之一，它與作物的水分缺失、營養(yǎng)狀況、生長階段直接相關(guān)，同時也是表征作物抗倒能力的重要指標。Casady等利用機器視覺技術(shù)提取水稻的長勢信息，根據(jù)亮度差異，將水稻從背景中分割出來，利用數(shù)學(xué)形態(tài)學(xué)方法消除陰影及噪聲的影響；再從二值化圖像中提取水稻的寬度、高度、葉面積值，與手工測量值之間的相關(guān)性分別為0.896、0.874、0.885[20]。Jay 等通過沿著作物移動相機并采用運動恢復(fù)結(jié)構(gòu)（SFM）方法構(gòu)建了作物三維模型，并通過顏色和高度信息區(qū)分作物和背景，計算作物的株高和葉面積[21]，效果見圖5。李長纓等利用計算機視覺技術(shù)監(jiān)測溫室植物生長，通過對圖像的分析處理，提取植物葉冠投影面積、株高等外部形態(tài)特征，該方法測量的平均株高與人工測量結(jié)果的相關(guān)系數(shù)可達0.927[22]。此研究表明計算機視覺技術(shù)應(yīng)用于溫室植物生長無損監(jiān)測的可行性。王加強等利用圖像中G元素所占比例去掉部分背景，根據(jù)其垂直和水平投影分別求出圓形容器對應(yīng)方向所占像素數(shù)，然后利用參照物法測量組培苗的開展度、株高和葉面積[23]。結(jié)果表明，該系統(tǒng)具有較高的精確度，能夠應(yīng)用于組培苗生長狀態(tài)的實際測量[23]。馬彥平基于雙目立體視覺原理，動態(tài)處理田間獲取的圖像并構(gòu)建作物的三維信息，從而得出冬小麥、夏玉米的實時株高信息[24]。以上研究結(jié)果表明，基于數(shù)字圖像處理技術(shù)獲取植株株型指標可靠性強、精確度高。

（2）葉片是植物進行光合作用和蒸騰作用的主要器官，其面積大小對作物生長發(fā)育、抗逆性及產(chǎn)量有很大影響。He等采用雙目視覺系統(tǒng)對組培苗總增長量進行分析，通過重建植物三維彩色圖像，并根據(jù)人工選取的顏色特征，估計株高、葉面積、生物量，試驗結(jié)果表明，估計量與實測值具有明顯的相關(guān)性[25]。在國內(nèi)，馬彥平等采用數(shù)字圖像處理技術(shù)對玉米葉面積進行測量：首先，用數(shù)碼相機拍攝掛在墻上黏貼著玉米葉片的參照白板來獲得數(shù)字圖像，然后對圖像閾值進行分割，通過區(qū)域像素數(shù)統(tǒng)計并結(jié)合圖像分辨率即可獲得玉米葉片實際面積，與用直尺法測量結(jié)果相關(guān)性可達0.996[26]。該方法快速準確，避免了幾何畸變，但屬于有損測量。龔愛平等使用圖像處理技術(shù)，以Android手機為工作平臺對植物葉片面積進行測量，當(dāng)手機和葉片之間的距離在0.3～0.6 m時，誤差小于1%，可滿足多數(shù)條件下葉面積測量的應(yīng)用[27]。王傳宇等利用雙目立體視覺系統(tǒng)重建玉米三維株形，并計算葉片邊緣點的三維坐標，進而求取葉片著生高度、葉長、莖葉夾角等株型指標[28]。趙春江等根據(jù)2幅特定角度拍攝的圖像求取植株二維骨架信息，并通過設(shè)定合理的匹配準則，利用極限約束算法實現(xiàn)骨架特征匹配，最終獲得三維骨架信息，計算葉長、莖葉夾角等作物重要參數(shù)，誤差不超過2%[29]。由此可見，用數(shù)字圖像處理方法測量葉面積方便、快捷、精確度高，此外還可以通過重建植株的三維信息，對葉片結(jié)構(gòu)進行分析，獲取葉長、莖葉夾角等株型信息。

（3）群體層次上，作物的地上部分統(tǒng)稱冠層，冠層結(jié)構(gòu)是指冠層各組分：葉片、莖稈、花、果實等的時空分布特征，機器視覺技術(shù)具有信息高通量、操作自動化等優(yōu)勢，在作物冠層結(jié)構(gòu)解析方面的應(yīng)用已有報道。Van Henten等采用圖像處理方法研究表明，萵苣葉冠相對覆蓋率與其干質(zhì)量之間呈線性關(guān)系，誤差僅為5%，該研究對用圖像處理方法預(yù)測植物干濕質(zhì)量具有指導(dǎo)意義[30]。Kirk等通過從上方拍攝作物冠層的圖像，基于紅綠顏色特性估計糧食作物的葉面積指數(shù)，該方法通過紅綠2種顏色定義綠度和亮度2個特征，并通過2種特征的映射變換，區(qū)分植被區(qū)域和土壤區(qū)域，并由此得出葉面積指數(shù)，結(jié)果表明該方法與LAI-2000結(jié)果近似[31]。在國內(nèi)，雷詠雯等采用數(shù)碼相機獲取棉花不同生育期的冠層圖像，基于圖像處理分析了棉花不同生育期的地面覆蓋度與葉面積系數(shù)、生物學(xué)產(chǎn)量之間的關(guān)系，結(jié)果發(fā)現(xiàn)冠層覆蓋度可以有效預(yù)測葉面積系數(shù)和棉花生物學(xué)產(chǎn)量[32]。武聰玲等通過計算機視覺技術(shù)測量溫室黃瓜葉冠投影面積，然后人工測量葉面積和干鮮質(zhì)量，經(jīng)相關(guān)性分析得出，葉冠投影面積與葉面積、莖葉干、鮮質(zhì)量的決定系數(shù)分別為0.976、0.874、0.914，表明通過葉冠投影面積來預(yù)測植物的干、鮮質(zhì)量的可行性[33]。王桂琴等對小麥冠層圖像進行獲取并分析，結(jié)果表明冬小麥冠層圖像的投影面積與葉面積指數(shù)存在一定的對應(yīng)關(guān)系，并建立了相關(guān)模型，該模型可以預(yù)測冬小麥葉面積指數(shù)，測量過程簡單快速，不需要人工輔助[34]。以上研究表明，通過數(shù)字圖像處理技術(shù)可以獲得植株地面覆蓋度或者葉片投影面積，并可由此估計作物生物量，簡便快捷。

（4）傳統(tǒng)的作物病蟲害鑒別和診斷方法需要較強的專業(yè)知識，能夠處理的病害種類有限，不夠直觀方便，對病蟲害發(fā)病等級判斷受主觀因素影響較大。隨著計算機視覺技術(shù)的應(yīng)用和發(fā)展，利用計算機圖像對作物病害圖像進行分割、提取、理解、識別，為作物病害的無損檢測、快速診斷提供了新的途徑和方法。Zhao等提出了1種油菜葉片蟲害損傷識別算法，首先采用高光譜技術(shù)提取葉片區(qū)域，然后通過洞填充函數(shù)填充葉片內(nèi)部封閉的蟲害區(qū)域，采用遺傳小波神經(jīng)網(wǎng)絡(luò)重建算法（G-WNNRA）填充葉片邊緣蟲害區(qū)域，結(jié)果表明，基于 G-WNNRA方法校準模型的相關(guān)系數(shù)、決定系數(shù)分別為0998、0.953，為蟲害損傷程度評估提供了有效手段[35]，效果見圖6。Phadikar等提出1種大米疾病類型診斷技術(shù)，首先獲取病害植物圖像，并基于費米能量的分割方法將感染區(qū)域從背景中提取出來，然后通過粗糙集處理感染區(qū)域的顏色、形狀、位置信息，建立分類器，與其他方法對比，優(yōu)勢明顯[36]。國內(nèi)也對相關(guān)方面進行了研究，李亞兵以實際生產(chǎn)的大田棉花群體為研究對象，通過數(shù)碼相機獲取棉花冠層圖像，然后利用圖像處理計算與統(tǒng)計分析得出棉花長勢的指標性狀，結(jié)果表明顏色分量與葉片的葉綠素含量相關(guān)性最強，其次為葉片鉀含量、氮含量、磷含量[37]。基于圖像獲取植物病蟲害信息的方法方便、無損，然而大都基于試驗數(shù)據(jù)的統(tǒng)計分析，準確率有待提高。

2.2數(shù)字植物

數(shù)字植物是指通過計算機技術(shù)將植物數(shù)字化，在計算機上重構(gòu)出看得見、可交互操作的虛擬植物模型，數(shù)字植物不僅在植物建模、計算機動畫、數(shù)字娛樂、農(nóng)業(yè)科普宣傳等方面有廣泛的應(yīng)用，而且在農(nóng)林業(yè)科研和植物生態(tài)研究等領(lǐng)域有重要的價值[38]。而基于圖像的植物構(gòu)造技術(shù)為植物及其生長環(huán)境的真實感重建提供了有效手段。

2.2.1植物建?；谟嬎銠C視覺的三維模型，獲取的根本原理是通過分析物體的二維投影圖像特征，得到目標對象的二維幾何信息和拓撲信息，然后再根據(jù)特定算法獲取對象三維信息，建立起三維立體模型。

（1）基于單幅圖像。利用單幅圖像中明暗、紋理、焦距等特征對被測物進行三維重建，獲取植物姿態(tài)。Tan等通過簡單交互，首先在圖像中標記出樹木枝干和樹冠部分，然后根據(jù)預(yù)先設(shè)定好的模型自動生成葉片和枝干，完成整棵樹的重建，該方法只需1幅圖像和簡單標記就能產(chǎn)生真實感較強的樹模型，簡單實用[39]，效果如圖7所示。Kim等通過數(shù)字圖像消光法和基于骨架提取枝干，用1個樹干構(gòu)造各種樹模型，并通過使用樹枝的年齡信息結(jié)合比例因子模擬樹木的生長過程，同時考慮了樹的分叉順序、樹枝寬度、樹的大小、樹枝自我彎曲的影響等屬性，實現(xiàn)對模擬樹木生長過程的控制，基于真實圖像的模擬表明，該系統(tǒng)可以輕松地實現(xiàn)現(xiàn)實樹木的建模和生長過程[40]。這些方法通常受畫面中被測物形狀、反射以及曝光等情況的限制。Yan等根據(jù)樹木的特殊結(jié)構(gòu)，利用穩(wěn)定的明暗特征恢復(fù)樹木枝干三維形態(tài)，該方法有效克服了對表面、光源及拍攝條件的限制，提高了系統(tǒng)的魯棒性[41]。這些方法只是依據(jù)植物分枝和葉片分布的基本原理進行視覺上的近似，不須要對圖像進行匹配，降低了建模的難度，但是由于植物本身普遍存在卷曲、旋轉(zhuǎn)等情況，該方法誤差較大，無法對其精確重建[42]。

（2）基于多幅圖像。該方法通過檢測2幅或多幅未標定圖像之間可用于匹配的特征點集，使用數(shù)值方法計算相機運動參數(shù)和被測物的幾何參數(shù)，最終得到物體的三維模型[43]。Quan等利用SFM技術(shù)，從多幅圖像中恢復(fù)出目標對象的三維點云信息，通過設(shè)置可變形的葉片模型，單獨建立每張葉片，同時加以人工輔助構(gòu)建枝干[44]。該方法可以再現(xiàn)目標對象的形狀，生成逼真的植物模型，但是由于該方法需要人工干預(yù)，增加了操作的復(fù)雜性，此外該方法還需要從不同角度拍攝30～45張圖片，而且拍攝時不能有光照和陰影的變化，只適用于室內(nèi)或小型植物。Tan等對上述方法進一步改進，首先采用SFM技術(shù)恢復(fù)樹木的三維點云，然后用這些點云重建可見枝干，用可見枝干的形狀模型根據(jù)樹枝結(jié)構(gòu)的自相似性合成被遮擋的枝干，最后分割原圖像并提取樹葉重建整個樹形[45]。然而這種方法需要幾張從不同角度（大于120°）拍攝的圖片，而且需要準確的圖像配準，與此不同的是，Neubert等僅需要2張合適角度（最好為90°）拍攝的圖像，該方法將利用圖像方向場的約束，采用粒子流模擬生成枝干模型，最后在樹干上添加枝葉，但是計算量較大[46]。以上幾種方法都需要大角度范圍的圖片，Teng等提出1種樹木建模系統(tǒng)，該方法能夠從幾幅觀察范圍非常窄（小于10°）的圖像中重建樹木的三維模型[47]。首先采用自標定技術(shù)估計相機參數(shù)，然后提取可見樹干的骨架，通過Weber and Penn [48]約束，將葉片和樹枝的生成作為最優(yōu)化問題，生成接近真實樹木的3D模型，克服了空間狹小的限制，結(jié)果如圖8所示。此外，馬偉等提出通過檢測尖點特征重建植物模型的方法[49]，該方法通過檢測葉尖位置，指導(dǎo)葉片擺放，能夠從多視點圖像中重建帶葉片植物模型，試驗證明該方法可以方便地產(chǎn)生具有真實感的模型，人工干預(yù)少，但是當(dāng)體模型上的葉尖不可見時方法失效。胡少軍等提出1種基于稀疏圖像的交互式建模方法，在自然環(huán)境下采集2幅相差90°的樹圖像及對應(yīng)4～7幅中間圖像，在圖像上獲取各級樹枝二維投影位置及粗度信息，并通過中間圖像找到各級樹枝在另一幅圖像上的匹配樹枝，然后進行透視校正，生成樹枝三維幾何模型，最后根據(jù)葉序規(guī)則添加樹葉完成重建[50]。結(jié)果表明，該方法對圖像拍攝數(shù)量與角度要求不高，重建時能較好地保持樹的拓撲結(jié)構(gòu)，但是需要人工參與交互，耗時也比較長。

2.2.2植物動畫合成視頻是記錄運動的主要載體，它們很容易獲得并且記錄過程不會對植物造成影響。根據(jù)視頻生成植物動畫，在很大程度上降低了動畫的制作成本，而且這種方法能夠提高動畫生成的實時性，具有廣闊的應(yīng)用前景。Diener 等從視頻序列中提取出真實灌木在風(fēng)力影響下的運動并將其映射到三維植物模型的動畫中，他們首先跟蹤視頻片段應(yīng)用特征，聚合二維位置和速度特征，然后通過統(tǒng)計聚類方法得到的分層合成枝條的幾何結(jié)構(gòu)，同時提取特征組的分層形狀和運動信息，試驗結(jié)果表明，該方法極大地促進了對樹葉背景的剔除，提高了特征跟蹤的魯棒性，產(chǎn)生了較好的動畫效果[51]。董宇等從視頻圖像中提取出樹木的形態(tài)和運動信息，通過最小二乘擬合方法計算出運動軌跡，并對其進行三維重建和運動模擬，生成無葉樹木的動畫[52]。但是該方法為了減少計算量，簡化了樹木的枝干，而且在繪制樹木過程中，為了避免樹葉對樹枝的遮擋影響，只是考慮了無葉類樹木的建模。唐衛(wèi)東等從視頻圖像中提取植株的生長信息，通過枝條拼接以及相關(guān)控制參數(shù)重構(gòu)植株生長過程，構(gòu)建了植株虛擬生長動態(tài)模型[53]。宋成芳等提出1種基于視覺感知層次的動態(tài)幾何簡化算法，該方法針對植物及其運動天然具有層級性的特點，依據(jù)植物的樹型層級結(jié)構(gòu)，將運動作高低頻分解，將所有低頻運動合成即獲得原始運動在此層次的逼近，可實現(xiàn)植物運動的高效簡化和壓縮，利于生成大規(guī)模植物場景的真實感動畫面[54]。使用視頻圖像合成動畫的方式避免了復(fù)雜的植株生長計算過程，對于視頻圖像簡單、元素單一的情形能取得較好的仿真效果，但是該方法為了減少計算量，對植物的幾何拓撲結(jié)構(gòu)進行了簡化，而且在多維目標下的圖像處理有待進一步優(yōu)化。

3存在問題及發(fā)展趨勢

就目前技術(shù)而言，基于計算機視覺的作物行為感知技術(shù)實現(xiàn)起來難度較大，主要問題：（1）在圖像獲取過程中，戶外條件下由于光照與陰影的存在，會對植物與背景的分割造成影響，現(xiàn)有的基于顏色空間轉(zhuǎn)換或基于機器學(xué)習(xí)的方法能取得較好效果，但是需要人工參與，無法實現(xiàn)自動分割[55-56]；（2）在圖像匹配過程中，由于作物自身顏色、紋理、形狀等信息高度相似，導(dǎo)致特征點匹配結(jié)果不穩(wěn)定，另外由于局部欠紋理及遮擋問題，增加了特征點匹配難度，對植物特征提取和識別造成困難；（3）在植株形態(tài)信息提取過程中，由于需要獲取三維信息，而從二維圖像恢復(fù)觀測對象三維信息的過程中，導(dǎo)致部分信息丟失，現(xiàn)有的一些方法能夠取得接近真實的效果，但是只適用于某些特定情況[19，21]。

盡管存在以上諸多問題，研究者們進行了各種嘗試，可在以下幾個方面作出進一步的探索：（1）從數(shù)據(jù)獲取手段角度，將多種不同數(shù)據(jù)融合，如結(jié)合多光譜相機，獲取同一觀測對象不同光譜下的圖像信息，或獲取不同光照條件下同一觀測對象的圖像，采用高動態(tài)圖像融合算法，將圖像融合，克服光照對圖像的影響，降低圖像分割的難度，另外也可以結(jié)合深度相機，以彌補二維圖像信息丟失的問題[57-59]；（2）從數(shù)據(jù)處理方法角度，一方面進一步完善圖像建模方法，提高三維信息獲取精度，另一方面在提高算法準確性的同時，可能會導(dǎo)致運算復(fù)雜性的提高，降低圖像處理速度，因此可以考慮采用并行的處理方法，提高實時性，增加實用性；（3）由于作物整個生長周期本身各器官形態(tài)、顏色會發(fā)生巨大變化，現(xiàn)有的研究多針對作物的某一生長階段進行監(jiān)測，對作物生長狀況作橫向的對比，無法獲取作物整個生長期的長勢信息，而作物本身縱向的動態(tài)變化則更能表現(xiàn)出外界條件對其生長產(chǎn)生的影響，因此，對作物整個生長周期進行動態(tài)追蹤，具有重要的研究意義，可以從這個方面進行深入的研究。

4結(jié)論

作物行為感知對進一步研究外界環(huán)境對作物產(chǎn)生的影響以及作物自身生長機制具有重要意義，廣泛應(yīng)用于長勢信息獲取、動畫生成、生長模擬等領(lǐng)域。本研究對作物行為感知領(lǐng)域作了比較詳細的論述，從基于計算機視覺的作物行為感知獲取方法及應(yīng)用2個方面回顧了該方向的發(fā)展現(xiàn)狀和常用方法，并分析總結(jié)了目前存在的主要問題及可能的發(fā)展方向。植物行為理解研究依然處于初級階段，還須要提出新的方法來解決當(dāng)前所面臨的問題。

參考文獻：

[1]Morimoto T，Hashimoto Y. AI approaches to identification and control of total plant production systems[J]. Control Engineering Practice，2000，8（5）：555-567.

[2]Fleisher D H，Kang S，Ting K C. Software for multiple crop production in advanced life support systems[C]. 2001 ASAE Annual Meeting. Minneapolis：American Society of Agricultural and Biological Engineers，1998.

[3]Seginer I，Elster R T，Goodrum J W，et al. Plant wilt detection by computer-vision tracking of leaf tips[J]. Trans of the ASAE，1992，35（5）：1563-1567.

[4]Kim Y，Glenn D M，Park J，et al. Hyperspectral image analysis for water stress detection of apple trees[J]. Computers and Electronics in Agriculture，2011，77（2）：155-160.

[5]Lee K J，Lee B W. Estimation of rice growth and nitrogen nutrition status using color digital camera image analysis[J]. European Journal of Agronomy，2013，48：57-65.

[6]Yu Z H，Cao Z G，Wu X. Automatic image-based detection technology for two critical growth stages of maize：Emergence and three-leaf stage[J]. Agricultural and Forest Meteorology，2013，174-175：65-84.

[7]Wouters N，de Ketelaere B，Deckers T，et al. Multispectral detection of floral buds for automated thinning of pear[J]. Computers and Electronics in Agriculture，2015，113（C）：93-103.

[8]Han L，Won S L，Ku W. Identifying blueberry fruit of different growth stages using natural outdoorcolor images[J]. Computers and Electronics in Agriculture，2014，106：91-101.

[9]Yeh Y H F，Lai T C，Liu T Y，et al. An automated growth measurement system for leafy vegetables[J]. Biosystems Engineering，2014，117：43-50.

[10]Eren E A，Alexey A，F(xiàn)lorentin W，et al. Modeling leaf growth of rosette plants using infrared stereo image sequences[J]. Computers and Electronics in Agriculture，2015，110：78-90.

[11]王永皎，莫國良，張引，等. 植物的三維建模研究進展[J]. 計算機應(yīng)用研究，2005，22（11）：1-3.

[12]Ran N L，Sagi F，Hanan E. Estimating plant growth parameters using an energy minimization-based stereovision model[J]. Computers and Electronics in Agriculture，2013，98：260-271.

[13]Cai X J，Sun Y，Zhao Y，et al. Smart detection of leaf wilting by 3D image processing and 2D fourier transform[J]. Computers and Electronics in Agriculture，2013，90：68-75.

[14]Mizuno S，Noda K，Ezaki N，et al. Detection of wilt by analyzing color and stereo vision data of plant[C]//International Conference on Computer Vision/Computer Graphics Collaboration Techniques and Applications. New York：Springer Berlin Heidelberg，2007：400-411.

[15]趙燕東，劉賀，劉衛(wèi)平. 基于葉片分形維數(shù)的植物虧水脅迫萎蔫體態(tài)測量方法[J]. 農(nóng)業(yè)工程學(xué)報，2011，27（9）：191-195.

[16]Zhao Y D，Sun Y R，Cai X，et al. Identify plant drought stress by 3D-based image[J]. Journal of Integrative Agriculture，2012，11（7）：1207-1211.

[17]Nielsen M，Slaughter D C，Gliever C. Vision-based 3D peach tree reconstruction for automated blossom thinning[J]. IEEE Transactions on Industrial Informatics，2012，8（1）：188-196.

[18]陳兵旗，何醇，馬彥平，等. 大田玉米長勢的三維圖像監(jiān)測與建模[J]. 農(nóng)業(yè)工程學(xué)報，2011，27（增刊1）：366-372.

[19]王傳宇，趙春江，郭新宇，等. 基于數(shù)碼相機的農(nóng)田景物三維重建[J]. 中國農(nóng)學(xué)通報，2011，27（33）：266-272.

[20]Casady W W，Singh N，Costello T A. Machine vision for measurement of rice canopy dimensions[J]. Transactions of the ASAE，1996，39（5）：1891-1898.

[21]Jay S，Rabatel G，Hadoux X，et al. In-field crop row phenotyping from 3D modeling performed using structure from motion[J]. Computers and Electronics in Agriculture，2015，110：70-77.

[22]李長纓，滕光輝，趙春江，等. 利用計算機視覺技術(shù)實現(xiàn)對溫室植物生長的無損監(jiān)測[J]. 農(nóng)業(yè)工程學(xué)報，2003，19（3）：140-143.

[23]王加強，馬明建，孟凡華，等. 基于計算機視覺的大空間無糖組培苗生長參數(shù)測量[J]. 農(nóng)機化研究，2008，4（4）：178-179.

[24]馬彥平. 基于數(shù)字圖像的冬小麥，夏玉米長勢遠程動態(tài)監(jiān)測技術(shù)研究[D]. 華中農(nóng)業(yè)大學(xué)，2010.

[25]He D X，Matsuura Y，Kozai T，et al. A binocular stereovision system for transplant growth variables analysis[J]. Applied Engineering in Agriculture，2003，19（5）：611-617.

[26]馬彥平，白由路，高祥照，等. 基于數(shù)字圖像的玉米葉面積測量方法研究[J]. 中國農(nóng)業(yè)通報，2009，25（2）：329-334.

[27]龔愛平，吳武豪，裘正軍，等. 基于Android系統(tǒng)手機的葉面積測量方法[J]. 農(nóng)業(yè)機械學(xué)報，2013，44（9）：203-208.

[28]王傳宇，趙明，閻建河. 基于雙目立體視覺的苗期玉米株形測量[J]. 農(nóng)業(yè)機械學(xué)報，2009，40（5）：144-148.

[29]趙春江，楊亮，郭新宇，等. 基于立體視覺的玉米植株三維骨架重建[J]. 農(nóng)業(yè)機械學(xué)報，2010，41（4）：157-162.

[30]Van Henten E J，Bontsema J. Non-destructive crop measurements by image processing for crop growth control[J]. Journal of Agricultural Engineering Research，1995，61（2）：97-105.

[31]Kirk K，Andersen H J，Thomsen A G，et al. Estimation of leaf area index in cereal crops using red-green images[J]. Biosystems Engineering，2009，104（3）：308-317.

[32]雷詠雯，王娟，郭金強，等. 一種基于圖像分析提取作物冠層生物學(xué)參數(shù)的方法與驗證[J]. 西北農(nóng)業(yè)學(xué)報，2006，15（3）：45-49.

[33]武聰玲，滕光輝，李長纓，等. 黃瓜幼苗生長信息的無損監(jiān)測系統(tǒng)的應(yīng)用與驗證[J]. 農(nóng)業(yè)工程學(xué)報，2005，21（4）：109-212.

[34]王桂琴，鄭麗敏，朱虹，等. 圖像處理技術(shù)在冬小麥葉面積指數(shù)測定中的應(yīng)用[J]. 麥類作物學(xué)報，2004，24（4）：108-112.

[35]Zhao Y，He Y A，Xu X. A novel algorithm for damage recognition on pest-infested oilseed rape leaves[J]. Computers and Electronics in Agriculture，2012，89：41-50.

[36]Phadikar S，Sil J，Das A K. Rice diseases classification using feature selection and rule generation techniques[J]. Computers and Electronics in Agriculture，2013，90：76-85.

[37]李亞兵. 基于群體數(shù)字圖像的棉花生長發(fā)育監(jiān)測研究[D]. 北京：中國農(nóng)業(yè)科學(xué)院，2007.

[38]趙春江，陸聲鏈，郭新宇，等. 數(shù)字植物及其技術(shù)體系探討[J]. 中國農(nóng)業(yè)科學(xué)，2010，43（10）：2023-2030.

[39]Tan P，F(xiàn)ang T，Xiao J X，et al. Single image tree modeling[J]. ACM Transactions on Graphics （TOG），2008，27（5）：108.

[40]Kim J，Jeong I K. Single image-based 3D tree and growth models reconstruction[J]. Etrl Journal，2014，36（3）：450-459.

[41]Yan T，Chen Y Y，Wu E H. Depth estimation and modeling of a tree from a single image[J]. Chinese J Comput，2000，23（4）：386-392.

[42]趙春江，郭新宇，陸聲鏈. 農(nóng)林植物生長系統(tǒng)虛擬設(shè)計與仿真[M]. 北京：科學(xué)出版社，2010.

[43]張建，李宗南，張楠，等. 基于實測數(shù)據(jù)的作物三維信息獲取與重建方法研究進展[J]. 華中農(nóng)業(yè)大學(xué)學(xué)報，2013，32（4）：126-134.

[44]Quan L，Tan P，Zeng G，et al. Image-based plant modeling[C]//ACM Transactions on Graphics （TOG）. ACM，2006，25（3）：599-604.

[45]Tan P，Zeng G，Wang J D，et al. Image-based tree modeling[C]//ACM Transactions on Graphics （TOG）. ACM，2007，26（3）：87.

[46]Neubert B，F(xiàn)ranken T，Deussen O. Approximate image-based tree-modeling using particle flows[C]//ACM Transactions on Graphics （TOG）. ACM，2007，26（3）：88.

[47]Teng C H，Chen Y S. Image-based tree modeling from a few images with very narrow viewing range[J]. The Visual Computer，2009，25（4）：297-307.

[48]Weber J，Penn J. Creation and rendering of realistic trees[C]//Proceedings of the 22nd Annual Conference on Computer Graphics and Interactive Techniques. Los Angeles：ACM，1995：119-128.

[49]馬偉，項波，查紅彬. 基于測量數(shù)據(jù)的植物建模[J]. 中國科學(xué)，2009，39（1）：134-144.

[50]胡少軍，耿楠，張志毅，等. 基于稀疏圖像的真實樹交互式建模方法[J]. 農(nóng)業(yè)工程學(xué)報，2014，30（9）：168-175.

[51]Diener J，Reveret L，F(xiàn)iume E. Hierarchical retargetting of 2D motion fields to the animation of 3D plant models[C]//Proceedings of the 2006 ACM SIGGRAPH/Eurographics Symposium on Computer animation. Vienna Eurographics Association，2006：187-195.

[52]董宇，謝思超，董天陽. 基于視頻的樹木運動信息提取和動畫生成技術(shù)研究[J]. 計算機時代，2008（11）：1-3.

[53]唐衛(wèi)東，胡雪華，郭晨，等. 基于視頻特征提取的虛擬植物動態(tài)仿真研究[J]. 計算機應(yīng)用研究，2011，28（1）：1-3.

[54]宋成芳，楊穎振，彭群生. 植物運動的層次式簡化技術(shù)[J]. 中國圖像圖形學(xué)報，2011，16（8）：1526-1531.

[55]Meyer G E，Neto J C. Verification of color vegetation indices for automated crop imaging applications[J]. Computers and Electronics in Agriculture，2008，63（2）：282-293.

[56]Guo W，Rage U K，Ninomiya S. Illumination invariant segmentation of vegetation for time series wheat images based on decision tree model[J]. Computers and Electronics in Agriculture，2013，96：58-66.

[57]劉鑫，許華榮，胡占義. 基于GPU和Kinect的快速物體重建[J]. 自動化學(xué)報，2012，38（8）：1288-1297.

[58]王奎，安平，張艷，等. 基于Kinect的實時深度提取與多視繪制算法[J]. 光電子激光，2012，23（10）：1949-1956.

[59]宮鈺嵩，張巖，文艷，等. Kinect掃描數(shù)據(jù)驅(qū)動的幾何建模方法[J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報，2014，26（11）：1957-1965.周俊明，何孔旺，倪艷秀，等. 次黃嘌呤核苷酸脫氫酶對豬鏈球菌2型ZY05719基因轉(zhuǎn)錄譜的影響[J]. 江蘇農(nóng)業(yè)科學(xué)，2017，45（6）：27-29.

doi：10.15889/j.issn.1002-1302.2017.06.005