馬 昊, 李淑琴, 丁 濛, 孟 坤
(1北京信息科技大學(xué)計(jì)算機(jī)學(xué)院,北京100101;2北京信息科技大學(xué)感知與計(jì)算智能聯(lián)合實(shí)驗(yàn)室,北京100101)
眾所周知,對(duì)于許多用戶而言,使用例如Maya或3Ds Max等傳統(tǒng)建模軟件進(jìn)行三維建模具有比較陡峭的學(xué)習(xí)曲線,在軟件的使用上往往需要經(jīng)過(guò)專業(yè)的培訓(xùn),如此就能讓使用者根據(jù)軟件的輸入規(guī)則實(shí)現(xiàn)復(fù)雜的三維建模。傳統(tǒng)的三維建模軟件強(qiáng)調(diào)使用繁瑣的交互規(guī)則對(duì)使用者的輸入形式進(jìn)行限制,從而提高建模精度,因此,即使對(duì)于專業(yè)的建模人員而言,建模任務(wù)也將花費(fèi)巨大的時(shí)間開銷。為了打破傳統(tǒng)建模技術(shù)的束縛,Zeleznik[1]提出了一種基于手勢(shì)的針對(duì)構(gòu)造表示(CSG)建模的方法,這種方法可以做到對(duì)于簡(jiǎn)單三維模型的快速建模?;诓輬D的三維建模技術(shù)的設(shè)計(jì)主要面對(duì)著具有繪畫能力、但缺乏三維建模軟件使用經(jīng)驗(yàn)的用戶。根據(jù)以上這一點(diǎn),Igarashi[2]和 Li等人[3]隨即研究了針對(duì)低細(xì)節(jié)對(duì)象模型的快速建模系統(tǒng),這樣一來(lái)就使用戶可以運(yùn)用二維草圖方式進(jìn)行原型設(shè)計(jì),最終系統(tǒng)將自動(dòng)生成相應(yīng)的三維模型。
近年來(lái),人們?cè)絹?lái)越多地將基于草圖的建模技術(shù)用于三維建模的研究,其中一些已經(jīng)常見于某部分特定的功能領(lǐng)域,如視頻游戲、服裝設(shè)計(jì)、動(dòng)物研究等。通過(guò)較少的二維草圖筆劃,用戶可以使用草圖輸入界面進(jìn)行具有自由幾何表面的復(fù)雜對(duì)象建模,從而能夠以更有效的方式大大減少建模時(shí)間。
基于草圖的建模方法有2種主要類型,對(duì)此可闡述如下。
(1)是用戶在工作空間上簡(jiǎn)單地使用鼠標(biāo)或觸摸筆繪制二維形狀,然后,系統(tǒng)可以把這個(gè)形狀解釋為三維對(duì)象,用戶可以通過(guò)額外操作(如切斷或添加截面)在原始模型的基礎(chǔ)上進(jìn)行修改來(lái)完成最終整體的建模工作,在這種類型的研究中,比較有代表性的是 Teddy[2?]和 FiberMesh[4]。
(2)是用戶將一張或多張二維圖像或照片作為草圖建模系統(tǒng)的背景圖層,并在背景圖層上繪制二維草圖的輪廓,系統(tǒng)可以自動(dòng)結(jié)合背景圖層與草圖輪廓將二維圖像轉(zhuǎn)換為三維模型,這種建模方法即如文獻(xiàn)[5]和文獻(xiàn) [6],在此過(guò)程中通常不需要或只需要少量的用戶操作。
在此基礎(chǔ)上,本文擬將對(duì)此課題展開研究論述如下。
基于草圖的建模技術(shù)涉及到的研究范圍相對(duì)廣闊,其中涵蓋了處理不同領(lǐng)域模型的大量研究方法,而其面臨的難點(diǎn)之一就是進(jìn)行二維草圖捕捉并以一種可行的方式實(shí)現(xiàn)草圖識(shí)別。眾所周知,人們傾向于使用簡(jiǎn)單的草圖來(lái)描述物體,并且希望使用盡可能少的筆畫傳達(dá)物體的幾何信息,因此,二維草圖的識(shí)別是草圖建模研究的第一步。在以往的研究中,一種典型的建模過(guò)程是使用球體或立方體這樣簡(jiǎn)單的設(shè)計(jì)作為二維草圖到三維模型轉(zhuǎn)換的基礎(chǔ)模型,這些基礎(chǔ)模型可以簡(jiǎn)單地表示從二維到三維的映射關(guān)系,然后,用戶可以使用這些基礎(chǔ)模型作為基本輸入,并逐步構(gòu)建出更加復(fù)雜的完整模型。在實(shí)際應(yīng)用中,這種建模過(guò)程通過(guò)用戶對(duì)控制點(diǎn)或三維小部件進(jìn)行交互來(lái)讓用戶創(chuàng)建各種精確、平滑的三維模型[5,7-8]。另一種過(guò)程是使用隱式曲面進(jìn)行三維草圖建模[5,9],用戶通過(guò)指定目標(biāo)模型的骨架,系統(tǒng)可以根據(jù)模型骨架自動(dòng)生成光滑且自然的幾何表面,進(jìn)而生成相應(yīng)的三維模型。
盡管上述方法有效地實(shí)現(xiàn)了從二維草圖到三維模型的重建功能,但是由于許多自然界物體具有較為復(fù)雜的幾何表面,而這些方法卻無(wú)法保證生成曲面的多樣程度,因此仍然存在明顯的局限性。為了應(yīng)對(duì)此類問(wèn)題與不足,以文獻(xiàn)[3]為代表的研究提出了允許用戶使用草圖方式進(jìn)行復(fù)雜表面輪廓模型的建模方法。
實(shí)際上,上述相關(guān)的研究均可追溯至基于三維計(jì)算機(jī)圖形技術(shù)這一源頭,而據(jù)分析可知從草圖創(chuàng)建三維模型本身就具有潛在的病態(tài)性,因此基于數(shù)據(jù)驅(qū)動(dòng)和基于學(xué)習(xí)的方法已然開始應(yīng)用于基于草圖的技術(shù)。用于基于草圖的建模的早期數(shù)據(jù)驅(qū)動(dòng)方法使用用戶輸入草圖與三維模型數(shù)據(jù)庫(kù)中的模型相匹配的方式,檢索并匹配與草圖輸入相似的形狀,借此達(dá)到還原三維模型的目的,典型的研究參見文獻(xiàn)[10]和文獻(xiàn)[11]。為了平衡交互的簡(jiǎn)易性與生成模型的復(fù)雜性,近期的草圖建模研究工作使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)來(lái)建立從輸入草圖到三維模型的映射關(guān)系[12-13],再通過(guò)網(wǎng)絡(luò)模型具體化三維模型重建過(guò)程的參數(shù),再?gòu)闹凶R(shí)別最能與輸入草圖相匹配的參數(shù)值,至此整個(gè)重建過(guò)程宣告結(jié)束。在實(shí)際運(yùn)行中,基于學(xué)習(xí)的方法可以在訓(xùn)練數(shù)據(jù)集足夠豐富的條件下完成實(shí)時(shí)的二維草圖到三維模型的重建過(guò)程。當(dāng)然,任何事物都有兩面性,雖然通過(guò)基于數(shù)據(jù)驅(qū)動(dòng)與學(xué)習(xí)的建模方法能夠?yàn)橛脩籼峁┍憷慕l件,但是卻會(huì)受到機(jī)器學(xué)習(xí)方法對(duì)于訓(xùn)練數(shù)據(jù)的依賴性的限制,這些方法常常僅限于通過(guò)固定視點(diǎn)與特定類別的模型對(duì)象進(jìn)行建模,并且訓(xùn)練數(shù)據(jù)的豐富程度直接決定了最終的結(jié)果,因此訓(xùn)練數(shù)據(jù)集合必須足夠龐大和多樣化,如此才能保證最終生成模型的靈活性。
隨著諸如 Teddy[2]及其更新版本[14]等基于草圖建模系統(tǒng)所取得的研究成果的陸續(xù)問(wèn)世,基于草圖的建模技術(shù)吸引了學(xué)界的高度關(guān)注。迄至目前,草圖建模技術(shù)觸及到的研究領(lǐng)域正日趨完善,在分類上可將其劃定為5種,這里將對(duì)其給出探討與詳述如下。
這種類型的方法從最初的Teddy系統(tǒng)[2]作為開端,主要依據(jù)是使用輪廓曲線來(lái)推斷三維幾何形狀。其中,文獻(xiàn)[2,15]通過(guò)使用草圖輪廓對(duì)三維生成曲面進(jìn)行形狀約束,從而生成低復(fù)雜度的三維曲面。文獻(xiàn)[16-17]使用距離變換和隱式函數(shù)根據(jù)曲線輪廓生成低頻度的三維曲面。該類方法還支持通過(guò)一些用戶的額外操作從而豐富最終結(jié)果模型的細(xì)節(jié),例如標(biāo)記位置、法向量、深度信息,或通過(guò)細(xì)化和混合隱式函數(shù),以生成更為具體的幾何信息。
許多研究基于在真實(shí)世界中的物體大多具有對(duì)稱性這一特征,利用具有對(duì)稱性的簡(jiǎn)單三維模型作為基本單元,用戶只需要繪制簡(jiǎn)單的輪廓曲線來(lái)確定其延展形狀,系統(tǒng)會(huì)自動(dòng)將輸入輪廓匹配到對(duì)應(yīng)的基本三維模型單元并自動(dòng)恢復(fù)模型的對(duì)稱信息。其中,文獻(xiàn)[7]使用廣義橢球體與廣義圓柱體作為基本單元,通過(guò)用戶二維草圖中提供的注釋信息來(lái)定義基本單元的具體位置信息,以及這些部分的對(duì)稱與鄰接關(guān)系。類似地,在文獻(xiàn)[8]中,用戶首先繪制對(duì)象的二維輪廓,通過(guò)選擇基本三維模型單元并將模型定位在二維平面,系統(tǒng)可以自動(dòng)實(shí)現(xiàn)基本模型單元到二維草圖的擬合。文獻(xiàn)[18]使用兩組筆畫來(lái)描繪三維表面的正交曲線,并通過(guò)將一組筆畫沿著另一組筆畫掃描來(lái)恢復(fù)表面?;诂F(xiàn)實(shí)世界具有對(duì)稱性這一特征,文獻(xiàn)[19]通過(guò)草圖來(lái)確定空間中廣義橢球體的對(duì)稱性關(guān)系并進(jìn)行組合,最終生成完整的三維卡通人物模型。結(jié)合上述方法,BendSketch[3]通過(guò)擴(kuò)展草圖范例以平滑高頻表面,通過(guò)允許用戶描述跨表面的曲率變化以及運(yùn)用附加的平滑細(xì)節(jié)從而豐富輸出模型的復(fù)雜程度。
這種方法著重于從二維筆劃中還原三維曲線網(wǎng)絡(luò)的幾何信息,并推斷其所表示的三維表面曲線[20-21]。 文獻(xiàn)[22-23]使用感知驅(qū)動(dòng)表面方法通過(guò)插值得到的曲線網(wǎng)絡(luò)來(lái)創(chuàng)建三維模型。True2Form[20]通過(guò)執(zhí)行許多人造物體固有的各種規(guī)律,包括交叉曲線的正交性、物體表面的平行性與正交性、曲線的平面性等,將二維曲線網(wǎng)絡(luò)轉(zhuǎn)換成三維。此種方法主要以人造形狀為目標(biāo)并且適用于具有相對(duì)較低變化的曲線模型中。
由于基于草圖的建模方法針對(duì)許多繁瑣的三維建模工作均可探尋出有效技術(shù)途徑,因此許多草圖方法現(xiàn)已廣泛應(yīng)用于特定領(lǐng)域的研究,如三維字符創(chuàng)建[24-25]、 具有折疊的可展表面[26-27]、 城市建筑[12]、分層模型[28]或發(fā)型模型[29]。 這些方法利用領(lǐng)域特定的固化信息實(shí)現(xiàn)從草圖到三維模型的重建,但并不適合更加通用的場(chǎng)景。
近來(lái),研究人員傾向于將數(shù)據(jù)驅(qū)動(dòng)的方法用于計(jì)算機(jī)圖形學(xué)以及基于草圖的建模技術(shù)。早期的基于草圖的數(shù)據(jù)驅(qū)動(dòng)的建模方法使用用戶草圖作為搜索模型數(shù)據(jù)庫(kù)的鍵值,并檢索特征與草圖相似的形狀模型。 實(shí)例包括場(chǎng)景建模[10]和對(duì)象建模[11]的應(yīng)用。這些方法的明顯限制是數(shù)據(jù)庫(kù)必須足夠大、且多樣化,用來(lái)保證建模的靈活性。
隨著神經(jīng)網(wǎng)絡(luò)的出現(xiàn)及其在計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺領(lǐng)域的有效應(yīng)用,特別是卷積神經(jīng)網(wǎng)絡(luò)(CNN)的成功應(yīng)用,研究者們開始利用神經(jīng)網(wǎng)絡(luò)的深層學(xué)習(xí)技術(shù)來(lái)建立從用戶草圖到三維模型的直接映射并指定三維模型生成過(guò)程中的參數(shù)信息[12-13]。
另一系列方法用于從草圖信息中重建法向量,使用法線將一系列渲染效果應(yīng)用于基礎(chǔ)草圖。文獻(xiàn)[30]創(chuàng)建了一個(gè)淺浮雕三維代理,以便能夠渲染出具有生動(dòng)形態(tài)的三維模型。文獻(xiàn)[31]利用繪制輪廓線之間的正交性來(lái)推斷法向量。類似地,BUI等人[32]根據(jù)輪廓曲線計(jì)算平滑變化的法向量,這些輪廓線也被認(rèn)為是曲率線。
目前,基于草圖的建模技術(shù)正在不斷推出大量的研究成果。每年在ACM SIGGRAPH會(huì)議上就發(fā)表了該方面數(shù)目可觀的主題性論文。草圖方式是人類創(chuàng)造形狀最自然的方式之一,且已被人類史前史所用。研究顯示,人類具有理解二維草圖的內(nèi)在能力,并能夠通過(guò)簡(jiǎn)單的筆畫描摹手繪內(nèi)容,而這一點(diǎn)正是基于草圖建模技術(shù)所關(guān)注重點(diǎn),即在三維世界中也能用二維手繪的方式創(chuàng)建復(fù)雜的模型?;诓輬D的建模技術(shù)使得用戶即便沒有專業(yè)三維建模技能,也能夠高效自如地應(yīng)對(duì)繁瑣的建模工作,用戶只需要使用鼠標(biāo)或觸摸筆在工作空間進(jìn)行繪圖,系統(tǒng)會(huì)自動(dòng)完成從二維到三維的重建工作。并且隨著機(jī)器學(xué)習(xí)方法在計(jì)算機(jī)圖形學(xué)上的發(fā)展,基于數(shù)據(jù)驅(qū)動(dòng)與學(xué)習(xí)的方法也逐漸成為草圖建模技術(shù)的發(fā)展方向。
本文對(duì)基于草圖的建模技術(shù)進(jìn)行了要點(diǎn)概述,同時(shí)根據(jù)所使用的方法與使用場(chǎng)景的不同將整個(gè)草圖建模技術(shù)分為5個(gè)類別,并分別研究了每個(gè)類別的發(fā)展演變軌跡與當(dāng)前狀況。最后對(duì)草圖建模技術(shù)的趨勢(shì)也給出了前景分析,利用草圖建模技術(shù)可以大幅降低三維建模的交互復(fù)雜度,并且可以用一種對(duì)于人類而言更為自然的輸入方式實(shí)現(xiàn)復(fù)雜的建模過(guò)程。在未來(lái)的研究中,基于草圖的建模技術(shù)也將得到研究人員的更多關(guān)注。