“虛擬現(xiàn)實(shí)技術(shù)”課程教學(xué)實(shí)踐與思考

沈旭昆

摘要:“虛擬現(xiàn)實(shí)技術(shù)”是一門學(xué)科高度交叉,特征鮮明,不斷產(chǎn)生新思想、新技術(shù),應(yīng)用越來越廣泛的學(xué)科,本文在分析“虛擬現(xiàn)實(shí)技術(shù)”課程學(xué)科交叉綜合性強(qiáng)、數(shù)理基礎(chǔ)要求高、創(chuàng)新思維豐富、工程應(yīng)用突出等特點(diǎn)的基礎(chǔ)上,結(jié)合多年研究工作積累以及課程教學(xué)實(shí)踐,給出了詳細(xì)的教學(xué)大綱,重點(diǎn)闡述在教學(xué)活動中貫徹“突出三個(gè)基本,注重融會貫通;點(diǎn)面結(jié)合,各有側(cè)重;結(jié)合實(shí)例,促進(jìn)創(chuàng)新思維”的實(shí)踐與思考,最后提出進(jìn)一步提高教學(xué)效果的努力方向。

關(guān)鍵詞:虛擬現(xiàn)實(shí);教學(xué)實(shí)踐;三個(gè)基本;點(diǎn)面結(jié)合

中圖分類號:G642 文獻(xiàn)標(biāo)識碼:B

1引言

虛擬現(xiàn)實(shí)(Virtual Reality,簡稱VR)主要采用以計(jì)算機(jī)技術(shù)為核心的現(xiàn)代高技術(shù)生成逼真的視、聽、觸覺一體化的特定范圍的虛擬環(huán)境(Virtual Environment,簡稱VE),用戶借助必要的設(shè)備(如特制的服裝、頭盔、手套和鞋),以自然的方式與虛擬環(huán)境中的實(shí)體對象進(jìn)行交互作用、相互影響,從而產(chǎn)生身臨其境的感受和體驗(yàn)。虛擬現(xiàn)實(shí)具有3I特性,即交互(Interaction)特性、沉浸(Immersion)特性和構(gòu)想(Imagination)特性。交互特性強(qiáng)調(diào)參與者通過專用設(shè)備以人類自然方式與VE中的對象進(jìn)行相互操作;沉浸特性要求計(jì)算機(jī)所創(chuàng)建的虛擬環(huán)境能使參與者產(chǎn)生置身其中的體驗(yàn);構(gòu)想特性是指虛擬環(huán)境能夠啟發(fā)參與者發(fā)現(xiàn)新問題并輔助產(chǎn)生創(chuàng)新思維。

二十世紀(jì)六十年代初,“圖靈獎(jiǎng)”獲得者,被稱為計(jì)算機(jī)圖形學(xué)之父的美國科學(xué)家Ivan Sutherland發(fā)表“終極顯示”論文提出虛擬現(xiàn)實(shí)概念,自此,虛擬現(xiàn)實(shí)技術(shù)歷經(jīng)一系列里程碑式的理論、方法與技術(shù)研究工作,并取得了重大工程應(yīng)用成果。今天虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用領(lǐng)域已經(jīng)非常廣泛,主要包括三大應(yīng)用方向,即訓(xùn)練演練、規(guī)劃設(shè)計(jì)與預(yù)測、觀賞娛樂等。例如在虛擬戰(zhàn)場環(huán)境中進(jìn)行作戰(zhàn)指揮模擬,宇宙飛船、飛機(jī)、艦船模擬駕駛訓(xùn)練,飛機(jī)、導(dǎo)彈、輪船等復(fù)雜系統(tǒng)的虛擬設(shè)計(jì)與制造,城市環(huán)境規(guī)劃及其建筑物的展示,手術(shù)培訓(xùn)與導(dǎo)航,游戲動漫與影視制作等。由于虛擬現(xiàn)實(shí)技術(shù)涉及的學(xué)科綜合性、交叉性強(qiáng),是可以拉動多學(xué)科發(fā)展,不斷產(chǎn)生新思想、新技術(shù),具有廣泛和重大應(yīng)用前景的科學(xué)技術(shù)領(lǐng)域,國家中長期科學(xué)和技術(shù)發(fā)展規(guī)劃綱要(2006-2020)把虛擬現(xiàn)實(shí)技術(shù)確定為信息領(lǐng)域優(yōu)先支持的三大前沿技術(shù)之一。

2課程的特點(diǎn)

北京航空航天大學(xué)計(jì)算機(jī)學(xué)院從1994年開始從事虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域的研究,取得許多創(chuàng)新成果,在相關(guān)學(xué)科領(lǐng)域產(chǎn)生了較大影響,逐步形成了北航計(jì)算機(jī)學(xué)院一個(gè)新的優(yōu)勢學(xué)科方向。作為計(jì)算機(jī)應(yīng)用本科生的專業(yè)限選課程,“虛擬現(xiàn)實(shí)技術(shù)”課程教學(xué)已經(jīng)講授了5年。本課程的教學(xué)目的是通過對有關(guān)虛擬現(xiàn)實(shí)技術(shù)國內(nèi)外研究熱點(diǎn)問題、典型研究工作的介紹,使學(xué)生了解當(dāng)前虛擬現(xiàn)實(shí)技術(shù)的發(fā)展趨勢;通過對虛擬現(xiàn)實(shí)基本原理、基本算法、開發(fā)方法、主流系統(tǒng)的介紹,使學(xué)生掌握虛擬現(xiàn)實(shí)主要技術(shù)、開發(fā)環(huán)境與平臺;以虛擬現(xiàn)實(shí)技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室研究工作為主要實(shí)踐教學(xué)支撐,培養(yǎng)學(xué)生的創(chuàng)新能力,滿足國民經(jīng)濟(jì)和國防部門對虛擬現(xiàn)實(shí)領(lǐng)域?qū)ｉT人才的需求。虛擬現(xiàn)實(shí)課程具有以下特點(diǎn):

2.1學(xué)科交叉性、綜合性強(qiáng)

國家中長期科學(xué)和技術(shù)發(fā)展規(guī)劃綱要指出:“虛擬現(xiàn)實(shí)技術(shù)重點(diǎn)研究心理學(xué)、控制學(xué)、計(jì)算機(jī)圖形學(xué)、數(shù)據(jù)庫設(shè)計(jì)、實(shí)時(shí)分布系統(tǒng)、電子學(xué)和多媒體技術(shù)等多學(xué)科融合的技術(shù),研究醫(yī)學(xué)、娛樂、藝術(shù)與教育、軍事及工業(yè)制造等多個(gè)相關(guān)領(lǐng)域的虛擬現(xiàn)實(shí)技術(shù)和系統(tǒng)?！碧摂M現(xiàn)實(shí)技術(shù)主要從計(jì)算機(jī)科學(xué)與技術(shù)、控制科學(xué)與技術(shù)、機(jī)械工程科學(xué)與先進(jìn)制造技術(shù)等學(xué)科中孕育并實(shí)現(xiàn)跨越,逐步發(fā)展成熟,涉及心理學(xué)、認(rèn)知科學(xué)、計(jì)算機(jī)圖形學(xué)、仿真技術(shù)、多媒體技術(shù)、人工智能技術(shù)、計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)、并行處理技術(shù)和多傳感器技術(shù)等,學(xué)科交叉性、綜合性強(qiáng),如圖1所示。

2.2數(shù)理基礎(chǔ)要求高

虛擬現(xiàn)實(shí)課程的許多理論、方法和技術(shù)涉及大量的數(shù)學(xué)公式和物理定律,例如在基于圖形的虛擬現(xiàn)實(shí)技術(shù)中所涉及的計(jì)算機(jī)圖形學(xué),基于圖像的虛擬現(xiàn)實(shí)技術(shù)中所涉及的圖像處理和信號處理技術(shù),在建模技術(shù)中涉及的動力學(xué)、運(yùn)動學(xué)等,都需要學(xué)生具備深厚的數(shù)理基礎(chǔ)。

2.3創(chuàng)新思維豐富

虛擬現(xiàn)實(shí)被眾多學(xué)者認(rèn)為是科學(xué)研究與工程實(shí)踐中理論和實(shí)驗(yàn)方法之外的第三種方法,可以虛擬和仿真人類難以到達(dá)的宏觀或微觀環(huán)境,進(jìn)行研究和體驗(yàn);在虛擬環(huán)境下進(jìn)行逼真的規(guī)劃、設(shè)計(jì)、訓(xùn)練演練,作出評價(jià)和決策,其與生俱來的構(gòu)想特性能夠啟發(fā)參與者發(fā)現(xiàn)新問題并產(chǎn)生創(chuàng)新思維。虛擬現(xiàn)實(shí)技術(shù)由于多學(xué)科交叉性,在不同學(xué)科交叉融合中源源不斷地產(chǎn)生新思想、新方法。

2.4工程應(yīng)用突出

虛擬現(xiàn)實(shí)技術(shù)既有堅(jiān)實(shí)的理論基礎(chǔ)和方法,也有大量的典型算法,同時(shí)又是一門應(yīng)用牽引強(qiáng),各種開發(fā)平臺和應(yīng)用工具豐富,人機(jī)交互設(shè)備多,軟硬件結(jié)合與系統(tǒng)集成占相當(dāng)比重的課程。

2.5課程內(nèi)容多課時(shí)緊

本課程是本科生計(jì)算機(jī)應(yīng)用方向的限選課程,在本科四年級上學(xué)期開設(shè),其間正值學(xué)生考研復(fù)習(xí)準(zhǔn)備階段,課時(shí)總計(jì)36學(xué)時(shí),課內(nèi)教學(xué)18學(xué)時(shí)、課外實(shí)踐18學(xué)時(shí),授課時(shí)間十分緊張。

3教學(xué)內(nèi)容安排

我們經(jīng)過多年的教學(xué)實(shí)踐,在不斷與學(xué)生教與學(xué)交互的活動中,結(jié)合自身學(xué)科研究特色,總結(jié)、完善主要教學(xué)內(nèi)容,形成了如下的教學(xué)大綱:

第一章:概論(2h)

問題的提出、名詞術(shù)語、虛擬現(xiàn)實(shí)特征、里程碑工作和研究現(xiàn)狀、國內(nèi)外典型應(yīng)用實(shí)例。

第二章:虛擬現(xiàn)實(shí)硬件與系統(tǒng)(2h)

虛擬現(xiàn)實(shí)輸入設(shè)備、虛擬現(xiàn)實(shí)輸出設(shè)備、高端圖形工作站、圖形處理單元(Graphic Processing Unit簡稱GPU)、典型沉浸式交互系統(tǒng)的構(gòu)建實(shí)例。

第三章:基于圖形的虛擬現(xiàn)實(shí)建模與開發(fā)技術(shù)(6h)

視覺感知相關(guān)基本概念、場景表示與數(shù)據(jù)庫結(jié)構(gòu)設(shè)計(jì)、CREATOR建模軟件與合成自然環(huán)實(shí)例、場景圖組織與基本繪制流程、OpenGVS與WTK開發(fā)軟件、虛擬場景漫游應(yīng)用程序開發(fā)實(shí)例。

第四章:基于圖像的虛擬現(xiàn)實(shí)建模與繪制技術(shù)(2h)

IBMR技術(shù)與全光函數(shù)、全景圖像與柱面全景圖像實(shí)例、同心拼圖方法。

第五章:人工生命-人工魚實(shí)例(2h)

人工魚的總體方案、人工魚的生物力學(xué)分析、感知與行為建模、幾何建模與外觀屬性、虛擬海洋環(huán)境建模、運(yùn)動系統(tǒng)、逼真性與效率權(quán)衡。

第六章:虛擬人技術(shù)(2h)

人體抽象模型與國際標(biāo)準(zhǔn)、逼真運(yùn)動獲取與表示、運(yùn)動約束與重用、虛擬人技術(shù)應(yīng)用實(shí)例。

第七章:分布式虛擬現(xiàn)實(shí)技術(shù)(2h)

DIS技術(shù)與IEEE1278、HLA技術(shù)與IEEE1516、分布交互仿真程序開發(fā)與應(yīng)用實(shí)例。

教學(xué)實(shí)踐與課外教學(xué)安排:(18h)

課外研讀學(xué)習(xí)OpenGL、構(gòu)建虛擬現(xiàn)實(shí)漫游程序;參觀虛擬現(xiàn)實(shí)技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室,觀看演示、操作實(shí)驗(yàn)室研究設(shè)備,了解當(dāng)前主要研究方向和趨勢。

4教學(xué)實(shí)踐與思考

針對虛擬現(xiàn)實(shí)課程的上述特點(diǎn),我們在課程的教學(xué)活動中形成了“突出三個(gè)基本,注重融會貫通;點(diǎn)面結(jié)合,各有側(cè)重;結(jié)合實(shí)例,促進(jìn)創(chuàng)新思維”的教學(xué)思路。

4.1突出三個(gè)基本,注重融會貫通

在教學(xué)中突出三個(gè)基本,即突出基本原理、基本方法、基本算法的講授。虛擬現(xiàn)實(shí)課程的諸多內(nèi)容來自不同的研究和應(yīng)用領(lǐng)域,貌似差之千里,但是其核心思想常常殊途同歸。對于這部分內(nèi)容在教學(xué)活動中應(yīng)有意識進(jìn)行聯(lián)系,分析講解,努力讓學(xué)生融會貫通。以細(xì)節(jié)層次概念(LOD)為例,細(xì)節(jié)層次概念是圖形建模中的基本概念,是指用一組復(fù)雜程度(常常以多邊形數(shù)來衡量)各不相同的實(shí)體細(xì)節(jié)層次模型來描述對象,在運(yùn)行時(shí)根據(jù)一些主客觀標(biāo)準(zhǔn)在這些LOD模型間進(jìn)行切換,實(shí)時(shí)改變場景的復(fù)雜度,從而能夠繪制效率與效果的平衡,該方法需要解決模型間切換時(shí)產(chǎn)生的視景跳躍問題。在GPU的基本貼圖處理(MIP MAPPING )、復(fù)雜光照模型實(shí)時(shí)繪制等研究工作中也引入和應(yīng)用了同樣的原理,因此在講解細(xì)節(jié)層次概念時(shí)進(jìn)行舉一反三,加深學(xué)生對這一滿足逼真性和繪制實(shí)時(shí)性普適基本方法的理解,進(jìn)一步可以引伸出連續(xù)細(xì)節(jié)層次方法以及與視點(diǎn)相關(guān)的遞進(jìn)傳輸技術(shù)如何滿足基于網(wǎng)絡(luò)的虛擬現(xiàn)實(shí)應(yīng)用問題。這樣教學(xué)思路始終貫徹在七維全光函數(shù)降維、八叉樹的數(shù)據(jù)組織方法等諸多教學(xué)內(nèi)容中,以達(dá)到融會貫通的目的。

4.2點(diǎn)面結(jié)合,各有側(cè)重

虛擬現(xiàn)實(shí)課程涉及學(xué)科眾多,內(nèi)容十分豐富,有限的課時(shí)內(nèi)做到面面俱到幾乎不可能。我們的教學(xué)大綱基本覆蓋虛擬現(xiàn)實(shí)的主要研究分支,重點(diǎn)是基于圖形和基于圖像的虛擬現(xiàn)實(shí)技術(shù),由于增強(qiáng)現(xiàn)實(shí)在其他課程有重點(diǎn)講授,不過多涉及。其次注重對當(dāng)前國內(nèi)外的研究重點(diǎn)、熱點(diǎn)問題,以及當(dāng)前的主流設(shè)備、開發(fā)工具與平臺介紹。通過發(fā)揮授課教師的計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)背景,結(jié)合實(shí)驗(yàn)室多年的研究工作進(jìn)行知識點(diǎn)的深入講解。例如在分布式虛擬現(xiàn)實(shí)技術(shù)教學(xué)中,實(shí)驗(yàn)室在該方向上開展了長達(dá)十年的研究工作,研究成果既體現(xiàn)了該內(nèi)容的基本方法、國際標(biāo)準(zhǔn),又體現(xiàn)了當(dāng)前的最新研究成果。該內(nèi)容的教學(xué)從早期的DIS入手,通過與HLA核心技術(shù)的對比,重點(diǎn)講解分布式虛擬現(xiàn)實(shí)技術(shù)如何應(yīng)用數(shù)據(jù)抽象與封裝、發(fā)布與訂購、基于值的信息過濾 (DDM)等核心技術(shù)解決大規(guī)模交互仿真問題,進(jìn)一步引伸介紹目前該方向的研究進(jìn)展,讓同學(xué)了解當(dāng)前研究熱點(diǎn)問題。

4.3結(jié)合實(shí)例,促進(jìn)創(chuàng)新思維

虛擬現(xiàn)實(shí)是一門多學(xué)科交叉的科學(xué)技術(shù),不同學(xué)科理論與方法的互相借鑒、啟迪、創(chuàng)新尤為明顯。因此在講授具體內(nèi)容的同時(shí),應(yīng)介紹該研究工作和成果產(chǎn)生的背景,體現(xiàn)交叉創(chuàng)新、集成創(chuàng)新思路,啟迪同學(xué)的創(chuàng)造性思維是本課程不斷追求“授之與漁”的目標(biāo)。在課程綜述中重點(diǎn)介紹信息資源環(huán)境的智能化、普適化、協(xié)同化、沉浸化發(fā)展的各個(gè)不同歷史時(shí)期代表性工作,以及仿真技術(shù)、先進(jìn)制造技術(shù)等學(xué)科對虛擬現(xiàn)實(shí)的重要貢獻(xiàn),突出虛擬現(xiàn)實(shí)技術(shù)交叉融合的特性。將具體的課程知識點(diǎn)講授融入到典型實(shí)例中,人工生命課程教學(xué)中以ACM優(yōu)秀博士論文工作為基礎(chǔ),講述了人工魚的感知與行為建模、幾何與外觀屬性建模、虛擬海洋環(huán)境建模等,目的在于突出建模內(nèi)涵的寬泛性和在虛擬現(xiàn)實(shí)技術(shù)中的重要地位,通過詳述人工魚的生物力學(xué)分析、總體方案設(shè)計(jì),行為與運(yùn)動系統(tǒng)實(shí)現(xiàn),歸納總結(jié)出多學(xué)科交叉、逼真性與效率的完美平衡是其創(chuàng)新所在。在講授虛擬人技術(shù)時(shí),首先提出逼真人體運(yùn)動復(fù)雜性和實(shí)時(shí)性這一矛盾,引入機(jī)器人技術(shù)領(lǐng)域的逆向運(yùn)動學(xué)以及信號與系統(tǒng)中的信號處理方法,重點(diǎn)介紹借鑒其他學(xué)科方法解決虛擬人運(yùn)動重用和大規(guī)模人群等關(guān)鍵問題,強(qiáng)調(diào)借鑒啟迪是創(chuàng)新的源泉。在諸如同心拼圖、分布式虛擬環(huán)境中同樣貫徹了結(jié)合實(shí)例,促進(jìn)創(chuàng)新思維這一教學(xué)思路。

5結(jié)論與展望

“虛擬現(xiàn)實(shí)技術(shù)”涉及面寬、內(nèi)容十分豐富,同時(shí)發(fā)展迅速,應(yīng)用越來越廣泛,如何講授好該課程是一個(gè)需要不斷探討、研究總結(jié)的教學(xué)課題。筆者在多年的教學(xué)活動中,通過教與學(xué)的交流,不斷總結(jié)形成了一些教學(xué)思路和方法,取得了良好的效果,但是仍然需要不斷完善充實(shí),主要包括兩個(gè)方面內(nèi)容:(1)如何做好虛擬現(xiàn)實(shí)技術(shù)課程與計(jì)算機(jī)圖形學(xué)、多媒體技術(shù)、圖像處理技術(shù)的銜接;(2)如何利用好虛擬現(xiàn)實(shí)技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室的研究環(huán)境、軟硬件資源以進(jìn)一步加強(qiáng)虛擬現(xiàn)實(shí)課程的實(shí)踐環(huán)節(jié)。我們將在今后繼續(xù)研究探索,以解決這些重要問題。

參考文獻(xiàn):

[1] 趙沁平. DVENET分布式虛擬現(xiàn)實(shí)應(yīng)用系統(tǒng)運(yùn)行平臺與開發(fā)工具[M]. 北京:科學(xué)出版社,2004.

[2] 石教英. 虛擬現(xiàn)實(shí)基礎(chǔ)及實(shí)用算法[M]. 北京:科學(xué)出版社,2002.

[3] Mel Slater Anthony Steed. 計(jì)算機(jī)圖形學(xué)與虛擬環(huán)境[M]. 程成,等譯. 北京:機(jī)械工業(yè)出版社,2004.