楊會君,王瑞萍,王增瑩,王 昕

(1.西北農(nóng)林科技大學(xué)信息學(xué)院,陜西 楊凌 712100)(2.西北農(nóng)林科技大學(xué)外語系,陜西 楊凌 712100)(3.三只松鼠南京研發(fā)創(chuàng)新中心,江蘇 南京 210019)(4.農(nóng)業(yè)農(nóng)村部物聯(lián)網(wǎng)重點實驗室,陜西 楊凌 712100)

計算機三維重建技術(shù)在農(nóng)業(yè)上的應(yīng)用是目前國內(nèi)外的一個熱點研究課題. 通過建立三維果實模型為進行農(nóng)作物果實生長規(guī)律分析和測量提供了必要手段.

三維數(shù)字化技術(shù)的出現(xiàn)極大地促進了作物果實三維表型的精確建模研究. 但傳統(tǒng)三維數(shù)字化技術(shù)在獲取數(shù)據(jù)的過程中會接觸并擾動作物,且獲取時間較長,使非接觸式的作物三維重建技術(shù)的大力開發(fā)與廣泛應(yīng)用成為果實表型精準數(shù)字化領(lǐng)域亟待解決的問題.

研究者們通常采用兩種三維重建方法. 其中一類為通過傳感器直接獲取作物果實的三維點云[1]. 此類方法能夠獲得高精度的果實點云,但存在所需儀器設(shè)備復(fù)雜昂貴、數(shù)據(jù)量大、重建效率低、使用中受環(huán)境如光照限制較大等問題. 另一類為通過二維圖像恢復(fù)作物果實的三維表型點云[2]. 此類方法操作簡單、價格低廉,生成的點云模型雖不復(fù)雜但往往包含很多噪點,且存在使用中受相機定標的精確程度、環(huán)境光影響較大等問題[3]. 大量研究表明基于多視角拍攝二維圖像序列的、能夠自動進行相機標定的、從運動恢復(fù)結(jié)構(gòu)(structure from motion,SFM)的重建方法具有很大的優(yōu)勢. 但對于作物果實、植株等結(jié)構(gòu)復(fù)雜的目標物體,基于SFM 方法獲取的稀疏點云所包含的三維信息較少. 為了精確表示果實、植株的表型特征,得到真實的重建效果,需要獲取包含更多三維信息的稠密果實點云,因此,在稀疏獲取作物果實點云的基礎(chǔ)上進行稠密解析是三維重建過程的重要步驟.

本文通過將SFM方法與多視角立體視覺(multiple view stereo,MVS)方法相結(jié)合,對稀疏點云模型進行面片生成、擴散與過濾,從而生成了包含較多三維信息的稠密果實點云. 然而基于多視角圖像生成的點云模型通常包含大量噪點,對后續(xù)的曲面重構(gòu)階段造成很大的麻煩[4]. 因此,本文提出了一種針對不同噪點類型的交互式去噪與濾波去噪相結(jié)合的半自動化去噪方法. 首先去除模型中數(shù)量大、排列緊密、肉眼清晰可見的噪點,之后自動去除附著于點云模型表面的噪點以及排列稀疏的噪點,使模型更加光順. 針對點云獲取設(shè)備操作復(fù)雜、成本高、受環(huán)境影響較大等問題,本文提出了集SFM算法、PMVS(patch based multi-view stereo)算法、半自動化去噪方法為一體的果實表型重建策略,對從不同角度拍攝的蘋果、菠蘿、榴蓮、桃子等果實的圖像序列進行處理,完成了復(fù)雜實驗背景中作物果實的三維表型重建. 主要貢獻有:

(1)在獲取作物果實表型稀疏點云的過程中,融合SIFT算子、旋轉(zhuǎn)不變性參數(shù)、FLANN算法和相機位姿,實現(xiàn)二維圖像特征信息的提取和匹配,解決稀疏點云的快速生成問題;

(2)對稀疏點云進行稠密解析時,引入基于面片的多視圖立體視覺算法PMVS,以生成包含較多三維信息的稠密果實點云模型,解決重建效果真實性的問題;

(3)在作物果實表型重建過程中,融合交互式去噪與濾波去噪方法,實現(xiàn)對不同類型噪點的去除,解決果實點云曲面重構(gòu)的準確性問題.

1 國內(nèi)外研究現(xiàn)狀

計算機圖形技術(shù)在農(nóng)業(yè)生產(chǎn)中具有廣泛的應(yīng)用,是目前農(nóng)業(yè)領(lǐng)域中最熱門的研究課題之一. 國內(nèi)外學(xué)者已做了大量的研究,其中已有部分成果應(yīng)用于實際的生產(chǎn). 圖形技術(shù)在農(nóng)業(yè)上的應(yīng)用研究主要包括基于模型的虛擬植物建模[5]和基于掃描數(shù)據(jù)集的三維建模. 由于現(xiàn)實世界中作物果實生長環(huán)境復(fù)雜、果實形態(tài)存在隨機性和多樣性,因此很難通過現(xiàn)有的固定模型表達果實的外觀. 基于掃描數(shù)據(jù)集的三維建模則可能受到掃描精度和數(shù)據(jù)全面性的影響,存在諸多的不確定性. 因此,由于各種因素計算機圖形技術(shù)在精準農(nóng)業(yè)果實表型重建方面的應(yīng)用存在很大的局限性.

隨著三維數(shù)字攝影技術(shù)和三維掃描技術(shù)的發(fā)展,設(shè)備精度的提高,使得具有豐富細節(jié)的植物果實表面高密度數(shù)據(jù)點的獲取成為可能[6],傳感設(shè)備及掃描設(shè)備如激光掃描儀、三維數(shù)字化儀等在農(nóng)業(yè)領(lǐng)域的應(yīng)用也更加廣泛. 三維激光影像掃描技術(shù)是20世紀90年代中期開始出現(xiàn)的一項高新技術(shù),是繼GPS空間定位系統(tǒng)之后又一項測繪技術(shù)新突破,是一種嶄新的革命性的測量工具[7]. 地面三維激光影像掃描儀是一種集成了多種高新技術(shù)的新型測繪儀器,采用非接觸式高速激光測量方式,以點云的形式獲取地形及復(fù)雜物體三維表面的陣列式幾何圖形數(shù)據(jù). 作為一種直接獲得物體表面三維信息的手段,激光成像測量技術(shù)可以快速生成地物的三維高精度點云模型[8]. 通過在點云模型引入控制點坐標,可以讓點云模型的可靠性與全站儀獲得的點位數(shù)據(jù)相媲美. 但由于三維激光影像掃描設(shè)備價格高昂、操作復(fù)雜且采集的數(shù)據(jù)量太大,導(dǎo)致作物果實表型重建效率低下,因此在精準農(nóng)業(yè)領(lǐng)域無法進行全面推廣.

在微軟的Kinect問世之后,不少學(xué)者使用Kinect進行了快速甚至實時重建. Henry[9]通過Kinect對室內(nèi)場景進行了三維重建,雖然效果和速度一般,但是結(jié)果是成功的. 2011年起,微軟的英國劍橋研究院發(fā)起了KinectFusion項目,利用Kinect的深度數(shù)據(jù)實時地跟蹤傳感器的三維姿態(tài),融合不同幀得到的數(shù)據(jù)從而重建出整體的模型[10-11]. KinectFusion雖然可以達成實時重建,但是速度不夠理想,對于動態(tài)物體不敏感[12]. Kinect的出現(xiàn)也為廣大農(nóng)業(yè)科技研究人員提供了新的思路與方向. Sasaki Yutaka為了結(jié)合作物生長條件及環(huán)境分析勞作者的行為軌跡,再挖掘作業(yè)過程中的一些隱性信息,利用Kinect設(shè)計了一個自動農(nóng)業(yè)勞作軌跡記錄系統(tǒng)為農(nóng)業(yè)生產(chǎn)系統(tǒng)化技術(shù)終端的計算機決策提供建議,但是Kinect受光照影響較大,所以只能在清晨或者傍晚進行采集[13].

基于圖像進行三維重建研究一直是計算機視覺領(lǐng)域的熱門課題,僅通過二維圖像的變化就可得到具有真實感的三維模型[14]. 利用圖像進行三維建模的技術(shù)從獲取多視圖圖像開始,逐步通過相應(yīng)的算法恢復(fù)場景中物體的三維結(jié)構(gòu)[15-16]. 基于圖像的三維重建技術(shù)一般分為三個步驟:稀疏重建、稠密重建和表面重建,能夠根據(jù)使用情況的不同對生成的三維模型的結(jié)構(gòu)進行調(diào)整,也可以只針對某一特定的部分進行優(yōu)化完善,解決了傳統(tǒng)三維建模方法的不足. 然而由于存在以下挑戰(zhàn)使直接基于圖像序列建模依然無法應(yīng)用于農(nóng)業(yè)領(lǐng)域的作物果實三維表型重建:一方面,對于特征復(fù)雜的作物果實,拍攝過程易受環(huán)境光影響進而出現(xiàn)遮擋、空洞等問題[17];另一方面,重建過程復(fù)雜程度高,相關(guān)技術(shù)不成熟. 本文擬將運動恢復(fù)結(jié)構(gòu)(SFM)、基于面片的多視角視覺(PMVS)和半自動化去噪方法引入精準農(nóng)業(yè)果實表型的三維重建過程,以解決作物果實表型點云的快速獲取和精準、高效的重建問題.

綜上,三維重建技術(shù)目前的三維重建方法有:(1)基于生長規(guī)則的建模方法,如L-system[18]、過程式參數(shù)方程等. 它們僅需要少量的參數(shù)控制某些基于植物學(xué)或者數(shù)學(xué)的模型生長規(guī)則就可以獲得植物模型,該方法真實還原度低. (2)基于圖像的三維重建,有基于單幅圖像和基于圖像序列的方法,該方法復(fù)雜度高. (3)基于激光點云的重建方法. 利用FastSCAN、Focus3D、HandSCAN 等激光掃描儀獲取三維點云數(shù)據(jù),再進行模型重建. 該方法技術(shù)簡易,但是掃描設(shè)備價格高昂[19]. 到目前為止,盡管國內(nèi)外在作物三維重建領(lǐng)域取得了豐碩的研究成果,但仍存在重建效果真實感低、重建方案復(fù)雜度高、掃描設(shè)備價格高昂等問題.

探索一種低成本、便捷、易操作、準確高效的作物果實表型三維重建方法成為精準農(nóng)業(yè)領(lǐng)域急需解決的問題.

2 直接基于圖像序列的果實點云獲取

通過圖像序列數(shù)據(jù)采集要求、基于SFM算法稀疏果實點云模型重建和基于PMVS算法密集點云模型生成,給出了果實表型精準重建架構(gòu).

2.1 硬件與圖像序列數(shù)據(jù)采集

本文通過普通手機或數(shù)碼相機拍照的方式,獲取目標作物果實的一系列圖像. 為提高匹配效果和效率,使用普通拍照方式獲取目標作物果實在不同視角的二維圖片素材,相鄰2張素材的角度變化幅度應(yīng)不大于10度為最佳取材參數(shù). 基于序列圖像進行三維點云重建的核心是匹配圖片之間的特征點,因此在拍攝照片時盡量保證同一面能從2個以上的角度進行拍攝.

2.2 稀疏點云獲取

在采集到作物果實的序列圖像后,首先要解決的是從圖像進行稀疏點云生成問題. 本文首先利用SIFT檢測并提取圖像的特征點,然后使用FLANN算法對不同維度的特征點進行匹配,根據(jù)匹配的結(jié)果,利用射影定理計算相機相對位姿與三維點的坐標等場景信息,最終得到稀疏點云模型.

(1)基于SIFT算子的圖像特征點提取. 進行稀疏重建的第一步是特征提取,采用具有尺度和旋轉(zhuǎn)不變性特點的SIFT算子檢測圖像的特征信息. 該算法的實質(zhì)是在不同的尺度空間上查找關(guān)鍵點(特征點),并計算出關(guān)鍵點的方向. 用SIFT描述子提取的特征點包含四個部分:位置,尺寸,方向,特征描述. 采用不同尺寸的高斯濾波器DOG計算出關(guān)鍵點的位置,并通過式(1)、(2)采集其所在高斯金字塔圖像3σ(尺度)領(lǐng)域窗口內(nèi)像素的梯度和方向分布特征.在完成關(guān)鍵點的梯度計算后,使用直方圖統(tǒng)計鄰域內(nèi)像素的梯度和方向,并以峰值方向作為關(guān)鍵點的主方向.至此,所有關(guān)鍵點都擁有三個信息:位置、尺度和方向.

(1)

(2)

式中,m(x,y)為梯度的模值,θ(x,y)為方向,L為關(guān)鍵點所在的尺度空間值.

接下來為每個關(guān)鍵點建立一個不隨光照、視角變化而改變的描述符. 將關(guān)鍵點附近的區(qū)域劃分4*4個方格子區(qū)域,每個子區(qū)域內(nèi)的梯度值分配到8個方向上并計算其權(quán)值,由此生成一個4*4*8=128維的梯度信息即特征點的特征向量,以便直接通過特征向量比較其兩點信息,而不需要考慮其他參數(shù). 如此,同樣的特征點在理論上會有相同的描述向量,故在不同的尺寸,方向,光照下都能被檢測到.

(2)基于快速近似最近鄰算法(FLANN)的圖片特征匹配. 提取特征點之后需要對兩圖像之間進行特征匹配,本文以對任何維度的數(shù)據(jù)進行匹配的快速近似最近鄰算法FLANN為基礎(chǔ)實現(xiàn)圖片特征匹配. 首先選取一個特征點并建立kd-tree數(shù)據(jù)結(jié)構(gòu)進行鄰域搜索,給定一個閾值作為鄰域點的范圍取值,當搜索到的鄰域點距離小于這個閾值時就認為匹配成功. 然而,這樣得到的匹配對的誤匹配比較多,故采取兩種方法對誤匹配進行修正:(1)如果最近距離與次近距離的比值大于某個閾值,則剔除. (2)對匹配點采用采樣一致性算法RANSAC的八點法計算基礎(chǔ)矩陣,剔除不滿足基礎(chǔ)矩陣的匹配對. 其次,在匹配關(guān)系建立后,通過將多個圖像中都出現(xiàn)的共同特征匹配點進行組合,生成同名點的集合,即track列表. 如,假設(shè)圖像2的22號點和圖像5的3號點及圖像9的110號點是匹配點,則(2,22)、(5,3)、(9,110)屬于同一個track,多個track可以合并為一個tracks集合. 同時為提高圖片特征匹配的準確性,需要在生成track時過濾無用匹配:如果一個track多次包含同一幅圖,即同一幅圖的多個特征點都匹配了同一個點,則認定這個匹配關(guān)系不準確而將其過濾;如果track太少,也應(yīng)該剔除,因為如果僅有兩幅圖有同一個點,那么三維重建的信息過少,很容易產(chǎn)生誤匹配.

(3)基于相機位姿與三維坐標的稀疏點云提取. 既特征匹配之后,通過運動恢復(fù)結(jié)構(gòu)(struct-from-motion)從圖像中提取稀疏點云. 首先,尋找相機基線最大的像對作為初始化像對,其中對圖像采用RANSAC算法四點法計算單應(yīng)矩陣,滿足單應(yīng)矩陣的匹配點稱為內(nèi)點,不滿足單應(yīng)矩陣的稱為外點,找到一個內(nèi)點占比最小的像對就是初始化像對,同時需要通過匹配點個數(shù)保證它是可重建的. 然后對初始化像對進行相對定向,根據(jù)RANSAC八點法計算本征矩陣,通過對本征矩陣SVD分解得到第二張圖像的相機位置旋轉(zhuǎn)矩陣R和平移向量T,然后根據(jù)R、T和矯正后的像點坐標三角反向計算三維點坐標. 其次,通過調(diào)整空間變換和三維點信息使反向投影差最小,進行一次Bundle Adjustment非線性優(yōu)化使重建誤差降到最小. 之后通過Bundle Adjustment迭代過程進行優(yōu)化,在第一次迭代基礎(chǔ)上,將所有三維點反向投影到各自圖片的像素坐標并分別與初始坐標比對,如果大于某個閾值,則將其從track中刪除,如果track中的匹配對已經(jīng)小于2個了,則整個track也去掉,一直優(yōu)化到?jīng)]有點可去為止. 之后加入更多圖像,直到?jīng)]有合適的圖像加入時,BA結(jié)束. 最后得到相機的相對位姿和三維點坐標即為果實的稀疏點云模型. 綜合以上內(nèi)容,作物果實稀疏點云獲取算法的偽代碼由Algorithm 1給出.

2.3 密集重建

本文通過基于面片的多視圖立體視覺算法PMVS進行密集重建,校準多視圖立體視覺,輸出一組密集的矩形斑塊,覆蓋在輸入圖像的可見表面. 通過特征提取和匹配來獲得果實及背景的三維稀疏點,并借助矢量矩形面片模型進行描述,然后通過面片擴散形成致密的三維點. 算法的過程如圖1所示.

圖1 稠密重建算法流程Fig.1 Dense reconstruction algorithm flow

首先將n張果實圖片中的每個圖像Ii(i=1,2…n)劃分成β×β像素大小的圖像單元Ci(x,y),并嘗試在每個圖像單元中重建至少一個面片patch.主要通過初始特征匹配、面片擴展和面片過濾三步進行稠密重建.

(1)初始化特征匹配.利用Harris和Dog(Difference-of-Gaussians)操作符在多張圖片上檢測特征點并進行匹配,生成一組與突出圖像區(qū)域相關(guān)的稀疏面片patch集;

(2)面片擴展是算法最核心的一部分.將初始種子面片擴展到其鄰近像素,得到一組密集的面片,以確保在每個圖像單元Mi(x,y)中重建至少一個面片.選擇一個種子面片p,首先獲得一個滿足如式(3)條件的鄰域圖像塊集合C(p).

C(p)={Ci(x′,y′)|p∈Qi(x,y),|x-x′|+|y-y′|=1}

(3)

式中,x、y是圖像塊的下標,Qi(x,y)用于記錄投射到圖像V(p)中每個圖像塊Mi(x,y)的所有點云片的集合.以此為基礎(chǔ)重建一個新的面片p′,初始化新面片的中心點r(p′)為射線穿過圖像單元Mi(x,y)中心和種子面片p所在平面的交點,面片p′對應(yīng)的參考圖像R(p′)、圖像V(p′)和單位法向量n(p′)由面片p的相應(yīng)值初始化.通過V(p′)可得到面片p′的可視化圖像集V*(p′),進而通過最小化光度一致性分數(shù)g*(p′),實現(xiàn)r(p′)和n(p′)的優(yōu)化,如式(4)、(6).優(yōu)化完成后,將深度圖測試判定的一系列可視圖像添加到圖像集合V(p′)中,并根據(jù)此更新V*(p′)的值,如式(4)、(5).最后,如果V*(p′)大于一個閾值則接受新面片作為成功面片.

V*(p)={Ii|Ii∈V(p),h(p,Ii,R(p))≤α}

(4)

V(p)={Ii|Ii∈I,dIi(p)≤dIi(x,y)+ρ1}

(5)

(6)

式中,V*(p)-R(p)是指除了R(p)的V*(p)的其他元素;h(p,Ii,R(p))表示圖像Ii和R(p)之間的成對光度差函數(shù).

(3)過濾:使用可見性約束來消除不正確的匹配.在進行面片擴散時,可能會生成一些不準確的面片,本文結(jié)合三個過濾器來過濾錯誤的面片.

首先基于可見一致性實現(xiàn)第一個過濾器,通過可見一致來移除位于實際曲面外部的面片.設(shè)U(p)為當前可見信息不連續(xù)的面片集合.對于U(p)中的面片p,如果滿足式(7),則將該面片過濾掉.

(7)

從公式可以看出,如果面片p位于實際曲面外部,那么1-g*(p)和|V*(p)|都會比較小,這樣p一般都會被過濾掉.

通過更嚴格的可見一致性實現(xiàn)第二個過濾器.將圖像單元中與深度最小的patch距離大、法向量夾角大的patch過濾.對于圖像單元中的每個面片p,通過計算深度數(shù)據(jù)得到其可見圖像的總數(shù),如果這個總數(shù)小于給定閾值則將其過濾掉.

最后,通過引入弱規(guī)則來實現(xiàn)第三個過濾器,對于每個面片p,找出其對應(yīng)的圖像V(p)中映射到面片p所在的圖像塊以及其相鄰的圖像塊中的面片集,若p鄰域內(nèi)的面片數(shù)量與收集到的面片數(shù)量之比小于0.25,則過濾掉p.

面片擴展和過濾步驟重復(fù)多次,以使面片密集化并刪除錯誤的面片.作物果實密集點云重建算法的偽代碼由Algorithm 2給出.

3 點云去噪

在拍攝目標果實時,由于受背景和拍攝環(huán)境的影響,拍攝結(jié)果圖像中不可避免地含有除果實以外的枝杈、葉子等背景噪聲. 進而在采用SFM算法生成點云時,會生成排列緊湊,數(shù)量較多的噪點,使其無法通過現(xiàn)有的去噪算法刪除. 針對該問題,本文提出了一種交互式去噪和濾波相結(jié)合的半自動化去噪方法.

3.1 交互式去噪

交互式去噪算法通過交互式界面將點云選擇與點云刪除相結(jié)合實現(xiàn)去噪. 在點云選擇過程中,本研究面向采用框選的點集選擇算法,作為一種主要的點云選擇策略. 故可將點云選擇可看作是三維點云的拾取. 由于三維點云的點是一種沒有大小且不具備面狀特征的圖形對象,所以設(shè)計了對點集的拾取,而非對單個點的拾取. 本研究所采用的點云框選算法是面向多點云數(shù)據(jù)的拾取算法,通過將點云模型映射到點云可視化的查看器中,使用鼠標確定一個矩形,檢測各點的位置坐標與此矩形的邊界相交關(guān)系,以判斷其是否位于矩形內(nèi)部,即為拾取點.

在點云框選去噪中,首先利用鼠標在場景模型中交互式確定一個矩形,再計算此矩形的大小與空間位置并得到一個特殊的視景體,然后基于此視景體對各點進行相交檢測,與視景體有交集的點即為被選擇的點云. 進而獲取視景體中被選擇的點云數(shù)據(jù)索引,根據(jù)索引獲得確定的點云數(shù)據(jù),從而實現(xiàn)點云選擇. 為避免用戶操作失誤,在框選設(shè)計中,不同視角的點云數(shù)據(jù)可以被重復(fù)選擇. 通過將被框選的點顏色設(shè)置為紅色,以標記該點的信息已發(fā)生變化,同時通過迭代點云模型將框選后的點云圖像與原點云的圖像進行增量比較,增量信息改變的點云不再保留與繪制,從而實現(xiàn)對選中的點云進行刪除.

3.2 濾波去噪

在生成果實點云模型時由于誤差通常會產(chǎn)生密度不均勻的點云數(shù)據(jù)集以及稀疏的離群點,這樣會使生成的果實點云模型效果大打折扣,也會對后續(xù)點云模型的表面重建造成影響. 據(jù)此本文主要基于K鄰近點距離統(tǒng)計算法設(shè)計濾波器,進行該類離群點的去除.所需優(yōu)化的參數(shù)主要包括:鄰域內(nèi)需計算的點個數(shù)N;標準范圍與標準差的關(guān)系,即離群點閾值k等.去噪過程中,首先隨機選擇一個中心點s,并計算出該點到N個鄰近點的歐氏距離di(i=1,2,…,N),隨后求取所有鄰近點距離的均值μ和標準方差σ,如式(8)、式(9).

(8)

(9)

以閾值k作為判斷條件,判斷范圍內(nèi)某一臨近點s′到s的距離d′(10)是否滿足條件(11):如果滿足條件,則保留該點,繼續(xù)計算下一個臨近點.

(10)

d′≤k·σ2

(11)

如果不滿足,即該點到中心點的距離超出k個標準差以上,那么該點將被標記為離群點,同時在點云模型中移除.

4 實驗結(jié)果及結(jié)論

本文研究了作物果實表型的稀疏點云獲取、密集點云生成、噪點多模式去除等方法,并開發(fā)一套對導(dǎo)入圖片、特征提取、特征匹配、建立稀疏點云模型、建立密集點云模型、格式轉(zhuǎn)換、查看pcd點云文件、交互式去噪、濾波去噪等操作進行管理和驗證的系統(tǒng),如圖2所示. 用戶可選擇拍照方式或者通過三維設(shè)計工具獲取目標果實作物在不同視角且變化幅度10度左右的二維圖片素材組,導(dǎo)入開發(fā)的程序;對于輸入的二維圖像組,進行信息提取與圖片匹配,根據(jù)匹配結(jié)果,得到關(guān)鍵點、相機位置等場景信息進行稀疏點云重建;然后在稀疏點云的基礎(chǔ)上進行稠密的點重建;進一步的,可以進行點云文件ply至pcd格式轉(zhuǎn)換和pcd格式與txt格式的轉(zhuǎn)換,并實現(xiàn)pcd點云文件加載、顯示和編輯;之后可以通過交互式選擇和基于濾波器的方法進行離群點去除. 結(jié)果生成的三維點云模型有較強的完整性和真實性. 具體測試過程如下:

圖2 系統(tǒng)界面Fig.2 System interface

(1)以復(fù)雜實驗背景中的果實為研究對象,以Iphone 6s數(shù)碼相機作為拍照設(shè)備,拍攝時的鏡頭焦距固定為5 mm,采用自動曝光模式,圖像分辨率4 032×3 024像素. 圍繞果實每轉(zhuǎn)10°～20°拍1張,確保形成連續(xù)的果實圖像序列. 本研究采集了25張?zhí)O果序列圖像,如圖3所示. 利用數(shù)據(jù)文件提取模塊和圖片特征匹配模塊,對導(dǎo)入的多幅作物果實二維圖像進行數(shù)據(jù)和特征提取,并使用FLANN算法對不同維度的數(shù)據(jù)進行匹配;生成果實的稀疏點云模型,根據(jù)匹配結(jié)果,基于SFM算法利用射影定理計算得到相機位置等場景信息進行稀疏重建(sparse reconstruction). 其中,以蘋果為目標物,得到稀疏點云模型如圖4所示.

圖3 部分蘋果序列圖像Fig.3 Partial apple sequence images

圖4 蘋果稀疏點云模型Fig.4 Apple sparse point cloud model

(2)生成果實的密集點云模型. 通過PMVS算法,利用所得到的場景信息與原始照片,將面片擴展與篩選步驟重復(fù)三次,從而擴散已有數(shù)據(jù)點進行密集重建(dense reconstruction). 其中,在進行面片擴展時,本研究采用的閾值為3. 以蘋果為目標物,密集點云重建過程如圖5所示. 其中,圖5左側(cè)為密集點云重建過程的運行狀態(tài)信息,右側(cè)為蘋果稀疏點云模型文件.

圖5 密集點云重建過程Fig.5 Dense point cloud reconstruction process

(3)提供點云文件格式轉(zhuǎn)換. 實現(xiàn)了ply與pcd格式、pcd與txt格式的轉(zhuǎn)換、pcd點云文件加載、顯示與編輯,使不同平臺上果實點云無縫對接. 圖6為pcd文件格式存儲的蘋果稠密點云模型.

圖6 pcd格式密集點云模型Fig.6 Dense point cloud model in pcd format

(4)果實密集點云模型的去噪預(yù)處理. 對于一些濾波去噪無法去除的明顯大尺度背景可手動去除,該方法將點云框選與點云刪除進行關(guān)聯(lián),支持用戶通過鼠標手動選中噪點然后進行刪除,該方法能夠?qū)崿F(xiàn)連續(xù)框選,并刪除被框選的點云,同時也能夠保存刪除噪點之后的點云圖像. 對圖6所示的蘋果稠密點云模型進行交互式去噪,過程如圖7所示. 圖7左側(cè)為選擇的去噪?yún)^(qū)域,右側(cè)為交互式去噪后的蘋果點云模型.

圖7 蘋果點云交互式去噪Fig.7 Apple point cloud interactive denoising

(5)果實密集點云模型的自動去噪處理. 通過統(tǒng)計濾波器處理離群點(本研究取N=1 000,k=1.0),避免由這些點引起的局部結(jié)構(gòu)復(fù)雜化,從而保證三維點云模型的完整性和真實性,如圖8所示為濾波去噪后的果實點云模型.

圖8 蘋果點云濾波去噪Fig.8 Apple point cloud filtering denoising

(6)算法泛化能力測試.

本研究還以榴蓮等其他果實為對象,進行了復(fù)雜背景中作物果實的三維重建測試. 其中,采集的35張榴蓮序列圖像如圖9所示. 使用本文方法處理榴蓮序列圖像,得到的稀疏點云模型如圖10所示,最終得到的稠密重建效果如圖11所示. 結(jié)果顯示,本文的方法對復(fù)雜背景中不同作物果實進行處理時,具有較好的魯棒性. 各階段的測試數(shù)據(jù)如表1.

圖9 部分榴蓮序列圖像Fig.9 Partial durian sequence images

圖10 榴蓮稀疏點云模型Fig.10 Durian sparse point cloud model

圖11 榴蓮稠密重建效果Fig.11 Dense reconstruction effect of durian

表1 測試數(shù)據(jù)Table 1 Test data

為驗證本文所提出方法的通用性,拍攝了一組室外建筑序列圖像作為研究對象,如圖12所示. 經(jīng)過處理得到的圖書館稀疏點云模型如圖13所示,稠密重建效果如圖14所示. 結(jié)果證明,本文提出的方法在基于多視角圖像的三維重建方面具有一定的普適性.

圖12 圖書館序列圖像Fig.12 Library sequence images

圖13 圖書館稀疏點云模型Fig.13 Library sparse point cloud model

圖14 圖書館稠密重建效果Fig.14 The dense reconstruction effect of the library