胡芳睿,趙 夢(mèng),邱 鵬,魏德健,劉 靜,魏國(guó)輝,曹 慧

1(山東中醫(yī)藥大學(xué) 理工學(xué)院,濟(jì)南 250355)

2(山東中醫(yī)藥大學(xué) 藥學(xué)院,濟(jì)南 250355)

中藥學(xué)是中醫(yī)藥各相關(guān)專業(yè)的核心基礎(chǔ)課程,是聯(lián)系中醫(yī)基礎(chǔ)理論與臨床應(yīng)用的樞紐[1].中藥學(xué)課程的學(xué)習(xí)不僅要求學(xué)生有良好的中醫(yī)基礎(chǔ)理論和中醫(yī)診斷學(xué)知識(shí),還需具備方劑學(xué)及臨床學(xué)科的知識(shí)[2,3].由于中藥數(shù)量眾多、藥效多樣、藥味相似但存在細(xì)微差別、與基礎(chǔ)理論與臨床知識(shí)聯(lián)系緊密等,都給學(xué)生熟練掌握此課程知識(shí)造成困難.

虛擬現(xiàn)實(shí)是新一代的信息和通信技術(shù),包含近眼顯示、感知交互、渲染處理、網(wǎng)絡(luò)傳輸和內(nèi)容制作等,以構(gòu)建新的業(yè)務(wù)類型、跨越云端、滿足用戶現(xiàn)場(chǎng)體驗(yàn)需求等,有利于促進(jìn)信息消費(fèi)的擴(kuò)大和升級(jí)以及傳統(tǒng)產(chǎn)業(yè)的整合和創(chuàng)新.專業(yè)與創(chuàng)新結(jié)合,傳統(tǒng)中醫(yī)藥與現(xiàn)代科技結(jié)合已成為大勢(shì)所趨[4],在調(diào)查中(如圖1)發(fā)現(xiàn),有64.29%的受訪者對(duì)中醫(yī)藥與虛擬現(xiàn)實(shí)相結(jié)合的系統(tǒng)較為感興趣并且愿意安裝和體驗(yàn).

圖1 用戶體驗(yàn)反饋

1 系統(tǒng)必要性分析

(1)模擬登山采藥過程摔傷、中毒、惡劣天氣等情況,提高使用者對(duì)突發(fā)狀況的應(yīng)急反應(yīng)能力,預(yù)防實(shí)訓(xùn)中潛在的危險(xiǎn)[5].

(2)將中醫(yī)藥與虛擬現(xiàn)實(shí)技術(shù)相結(jié)合,加入中醫(yī)、食品等要素,在學(xué)、識(shí)、尋、辨、采的基礎(chǔ)上,加入中醫(yī)藥方劑、經(jīng)方驗(yàn)方、藥膳、藥用性質(zhì)、藥用價(jià)值等相關(guān)知識(shí),以拓展中醫(yī)藥知識(shí)面,而非局限于對(duì)中藥的簡(jiǎn)單介紹[6].

(3)利用人工智能技術(shù)、人機(jī)交互應(yīng)用、高分辨顯示技術(shù)等,突破時(shí)間和空間的限制,增強(qiáng)用戶在進(jìn)行藥用植物學(xué)實(shí)訓(xùn)過程中的真實(shí)感與體驗(yàn)感.加入演示、探索、辨別、知識(shí)拓展等教學(xué)環(huán)節(jié),增添趣味性.

(4)傳統(tǒng)的輔助教學(xué)方法學(xué)生主要通過觀看平面化、不可控制的視頻學(xué)習(xí),結(jié)合虛擬現(xiàn)實(shí)技術(shù)后則可提供給學(xué)生三維立體的實(shí)踐學(xué)習(xí)環(huán)境[7]豐富學(xué)生感性認(rèn)知,加深其對(duì)教學(xué)內(nèi)容的理解,彌補(bǔ)傳統(tǒng)教學(xué)的不足.

(5)仿真系統(tǒng)分為教學(xué)、考核與娛樂3個(gè)模塊,讓體驗(yàn)者掌握學(xué)、識(shí)、尋、辨、采的步驟技巧與注意事項(xiàng),在考核中作為醫(yī)藥類考試等考核成績(jī)的一部分,在娛樂方面開發(fā)成游戲,更廣泛地傳播中醫(yī)藥知識(shí)與文化.

(6)本系統(tǒng)具有可視化數(shù)據(jù)管理中心.系統(tǒng)管理平臺(tái)可以對(duì)虛擬環(huán)境中各道地藥材生長(zhǎng)狀態(tài)及使用者操作的實(shí)時(shí)動(dòng)態(tài)數(shù)據(jù)進(jìn)行監(jiān)控,使用者操作過程所有數(shù)據(jù)都可以實(shí)現(xiàn)三維可視化,或?qū)⑻摂M現(xiàn)實(shí)技術(shù)集成到系統(tǒng)中,通過HTC VIVE虛擬現(xiàn)實(shí)眼鏡來查看所有數(shù)據(jù).

2 功能劃分

2.1 藥材尋訪模塊

該模塊通過在虛擬現(xiàn)實(shí)系統(tǒng)中構(gòu)建藥材所在地到山腳下的一條道路,用戶通過系統(tǒng)中UI指示,以及道路指引到達(dá)藥材所在的大概位置.本系統(tǒng)在藥材周邊種植該環(huán)境所應(yīng)該擁有的其他植物,用戶通過給定的設(shè)備,辨認(rèn)出應(yīng)尋植物,進(jìn)行點(diǎn)擊碰撞,辨識(shí)成功則給出相應(yīng)植物知識(shí)點(diǎn)介紹.該模塊是模擬現(xiàn)實(shí)藥用植物實(shí)訓(xùn)課程,可以較為方便地進(jìn)行虛擬實(shí)訓(xùn),因而增加了學(xué)生實(shí)踐操作的機(jī)會(huì),實(shí)現(xiàn)醫(yī)藥類學(xué)生有條件在教室指導(dǎo)下從灌輸式被動(dòng)學(xué)習(xí)到主動(dòng)學(xué)習(xí)到主動(dòng)積極靈活學(xué)習(xí)的轉(zhuǎn)移[8].

2.2 藥物知識(shí)展示模塊

該模塊填補(bǔ)了藥用植物學(xué)實(shí)訓(xùn)的短板.當(dāng)用戶在系統(tǒng)中找到并觸碰該藥物植物時(shí),該植物周邊會(huì)分布其臨床應(yīng)用、藥材質(zhì)量分辨、經(jīng)方驗(yàn)方、藥膳藥理等知識(shí)的UI.該方式為培養(yǎng)高水平的醫(yī)務(wù)人員提供了平臺(tái),為教師創(chuàng)新教學(xué)理念、豐富教學(xué)內(nèi)容和教學(xué)形式提供了手段[9].

2.3 突發(fā)情況應(yīng)急處理模塊

考慮到藥用植物實(shí)訓(xùn)中所可能出現(xiàn)的各種突發(fā)狀況,此模塊為用戶提供應(yīng)對(duì)措施,訓(xùn)練用戶急救能力.此模塊將建立第三人稱視角下的虛擬人物,設(shè)計(jì)并加入病理狀況,不定時(shí)不定點(diǎn)的分配安置在尋訪藥材的道路上,一旦用戶發(fā)現(xiàn)生病虛擬人物,可進(jìn)行查看疾病原因、選擇治療方案及查看相應(yīng)急救措施UI介紹等一系列操作,以應(yīng)對(duì)突發(fā)狀況.此模塊可訓(xùn)練學(xué)生對(duì)藥材的靈活運(yùn)用能力以及對(duì)突發(fā)事故的處理能力,為實(shí)際登山尋藥奠定堅(jiān)實(shí)的基礎(chǔ).

3 面向?qū)ο?/h2>

3.1 中醫(yī)藥院校

輔助中醫(yī)藥院校學(xué)生更系統(tǒng)的進(jìn)行中藥學(xué)相關(guān)專業(yè)的學(xué)習(xí).

3.2 中醫(yī)藥愛好者

為中醫(yī)藥愛好者了解相關(guān)知識(shí)提供更多便利,普及中醫(yī)藥文化.

4 系統(tǒng)構(gòu)建方案

利用Unity3D引擎搭建三維虛擬采藥環(huán)境.基于藥用植物的性味歸經(jīng)、藥用價(jià)值等專業(yè)知識(shí),在系統(tǒng)中為藥用植物添加臨床應(yīng)用、藥物處方等相關(guān)拓展知識(shí).依附于HTC VIVE協(xié)同Unity3D引擎,使用C#語(yǔ)言對(duì)虛擬環(huán)境進(jìn)行模塊交互開發(fā)[10,11],增添用戶交互方式.搭建用戶使用平臺(tái),保證用戶初步使用和學(xué)習(xí)[12].并進(jìn)一步增加藥材數(shù)量、用戶交互方式及突發(fā)事件數(shù)目,完善各模塊功能,提高用戶體驗(yàn).圖2是系統(tǒng)開發(fā)流程圖.

圖2 系統(tǒng)開發(fā)流程

5 系統(tǒng)實(shí)現(xiàn)

5.1 建立模型

利用犀牛(Rhino),MAYA作為主要的建模工具,對(duì)所涉及到的場(chǎng)景及藥材進(jìn)行建模.藥材葉片,根莖和果實(shí)分別采用犀牛(Rhino)軟件中的偏移曲線,圓柱管和多邊形編輯指令完成建模;中毒,中暑等突發(fā)情形的人物動(dòng)畫使用MAYA編輯關(guān)鍵幀展現(xiàn)以及山地模型均采用MAYA制作.建模完畢,將貼圖材質(zhì)及動(dòng)畫隨模型導(dǎo)出.FBX格式并導(dǎo)入U(xiǎn)nity3D.

5.2 場(chǎng)景搭建

使用Unity3D自帶的UGUI系統(tǒng),搭建UI界面;導(dǎo)入U(xiǎn)nity3D標(biāo)準(zhǔn)資源包Environment和SkySerie Freebie為地形模型種植相應(yīng)的花草樹木渲染場(chǎng)景;導(dǎo)入WeatherMaker和AVProvideo插件實(shí)現(xiàn)天氣變化、四季交替及場(chǎng)景切換過渡的功能[13];

由于環(huán)境較大,須采用異步加載的方式切換場(chǎng)景,API為SceneManager.LoadSceneAsync();具體實(shí)現(xiàn)代碼如圖3.

圖3 場(chǎng)景加載代碼

5.3 系統(tǒng)核心功能

5.3.1 擴(kuò)充藥材庫(kù)

在背包圖鑒藥材的基礎(chǔ)上,添加中藥材數(shù)量,比如靈芝、山楂、蘆薈等中藥,完善藥材庫(kù).

用戶首先在“背包圖鑒”環(huán)境中選擇想要探尋并學(xué)習(xí)的中藥材,點(diǎn)擊中藥材圖片按鈕即可出現(xiàn)藥材的三維立體模型.然后點(diǎn)擊“穿梭”按鈕即可進(jìn)行場(chǎng)景穿梭轉(zhuǎn)換進(jìn)入所選藥材的道地產(chǎn)區(qū).

5.3.2 手柄交互菜單

進(jìn)入所選藥材的道地產(chǎn)區(qū)虛擬場(chǎng)景后,就能進(jìn)行尋藥采藥的實(shí)訓(xùn).在手柄UI菜單中設(shè)置“晝夜”“四季”“天氣”“突發(fā)狀況”等選擇項(xiàng),如圖4所示,用戶點(diǎn)擊“天氣”中的“霧霾”、“雷電”、“暴雪”等即可出現(xiàn)尋藥采藥過程中的天氣狀況.

5.3.3 急救功能

面對(duì)如中毒,中暑,摔傷等突發(fā)狀況,用戶可采用系統(tǒng)設(shè)定的正規(guī)急救方式,鍛煉其急救能力.當(dāng)遇見危險(xiǎn)時(shí),用戶可輕觸手柄圓盤,選中“急救包”即可出現(xiàn)對(duì)應(yīng)的急救物品,如圖5所示.

圖4 惡劣天氣菜單

圖5 急救功能菜單

5.3.4 自動(dòng)導(dǎo)航功能

為減少藥物實(shí)訓(xùn)過程中所帶來的各種不可控因素,方便用戶尋找,加入帶有AI尋路功能的小精靈指引用戶前進(jìn).

自動(dòng)導(dǎo)航就是提供目標(biāo)點(diǎn),根據(jù)障礙物自動(dòng)計(jì)算出最近路徑,使用Unity3D自帶解決方案Navigation,首先將地形設(shè)置為Navigation Static[14–16],因在虛擬世界中使用手柄可以實(shí)現(xiàn)瞬移,所以將Back面板中的Max Slope修改為最大坡度,最終參數(shù)設(shè)置如圖6所示.

為避免尋藥過程乏味,系統(tǒng)不會(huì)設(shè)置小地圖,完全由用戶自由尋找,點(diǎn)擊想要尋找的目標(biāo)藥材,主相機(jī)(Camera)上拉到上帝視角,通過動(dòng)畫演示小精靈經(jīng)最短路徑尋找到目標(biāo)點(diǎn)的全過程[17].

用戶可利用小精靈提供的尋藥路徑,尋找藥材.找到藥材后,點(diǎn)擊藥材上方的按鈕如圖7,即可出現(xiàn)該藥材的三維立體模型與“藥材介紹”以及“中藥方劑”等藥物信息,用戶可自行選擇了解.

6 結(jié)語(yǔ)

藥用植物學(xué)實(shí)訓(xùn)虛擬仿真系統(tǒng)有助于廣大中醫(yī)藥愛好者更系統(tǒng)、直觀地學(xué)習(xí)中醫(yī)藥知識(shí),了解中藥的生長(zhǎng)環(huán)境,明確中藥的性味特點(diǎn)、主治功效、鑒別方法等相關(guān)知識(shí),同時(shí)將中藥學(xué)與中醫(yī)、食品相結(jié)合,介紹中醫(yī)藥方劑、臨床應(yīng)用、經(jīng)方驗(yàn)方、藥膳等專業(yè)知識(shí)[18],幫助使用者構(gòu)建完整的中醫(yī)藥知識(shí)體系框架.

該系統(tǒng)能跨越時(shí)空,提高中藥學(xué)類專業(yè)學(xué)生的實(shí)踐能力,彌補(bǔ)傳統(tǒng)實(shí)地采藥教學(xué)模式的缺陷.借助三維技術(shù)和游戲模式,使學(xué)生能夠在虛擬自然環(huán)境中,全面觀察藥用植物的三維形態(tài)和生長(zhǎng)環(huán)境,在愉快的氣氛中掌握識(shí)別技能,有效提高學(xué)習(xí)效果.

圖6 自動(dòng)導(dǎo)航參數(shù)設(shè)置

圖7 藥材介紹