基于AR-VR混合技術(shù)的兒童智力開(kāi)發(fā)系統(tǒng)研究

李婷婷，王相海

1.大連東軟信息學(xué)院 數(shù)字藝術(shù)與設(shè)計(jì)學(xué)院，遼寧 大連 116023

2.遼寧師范大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，遼寧 大連 116029

1 引言

兒童智力開(kāi)發(fā)是指通過(guò)積極有效的方法對(duì)兒童早期智力發(fā)展進(jìn)行有意識(shí)的影響，從而提高兒童的觀察力、記憶力、想像力和思維能力。學(xué)者們普遍認(rèn)為，兒童智力發(fā)展情況一方面是由先天因素所決定，另一方面則是受周圍環(huán)境的影響。兒童在后天學(xué)習(xí)過(guò)程中通過(guò)豐富多彩的世界體驗(yàn)不同的新鮮事物，大腦受到的刺激越多，越有利于開(kāi)發(fā)兒童智力。近年來(lái)，虛擬現(xiàn)實(shí)技術(shù)和增強(qiáng)現(xiàn)實(shí)技術(shù)發(fā)展迅速并日趨成熟，如何有效利用科技手段為兒童構(gòu)建學(xué)習(xí)環(huán)境，提升兒童智力開(kāi)發(fā)水平及效果是學(xué)者們一直關(guān)注的問(wèn)題。Padgett 等人開(kāi)發(fā)了一個(gè)虛擬現(xiàn)實(shí)教學(xué)系統(tǒng)，研究虛擬現(xiàn)實(shí)技術(shù)適用于兒童消防安全教育的可行性[1]；Smith 等人基于虛擬現(xiàn)實(shí)技術(shù)，搭建虛擬火災(zāi)環(huán)境，并加入交互功能，兒童可以在虛擬環(huán)境中進(jìn)行火災(zāi)演習(xí)[2]；Sue 等人為自閉癥兒童進(jìn)行社交干預(yù)實(shí)驗(yàn)[3]；Lin等人利用增強(qiáng)現(xiàn)實(shí)仿真系統(tǒng)構(gòu)建學(xué)習(xí)內(nèi)容并對(duì)兒童協(xié)作能力進(jìn)行研究[4]。

虛擬現(xiàn)實(shí)技術(shù)[5（]Virtual Reality，VR）借助其沉浸特性可以有效地將聲音、圖像、文字、動(dòng)畫(huà)、圖形等元素有機(jī)地結(jié)合起來(lái)，全方位、多視角地將學(xué)習(xí)內(nèi)容呈現(xiàn)在兒童面前，而增強(qiáng)現(xiàn)實(shí)技術(shù)[6（]Augmented Reality，AR）則是通過(guò)顯示技術(shù)、計(jì)算機(jī)圖形、計(jì)算機(jī)多媒體等技術(shù)將真實(shí)環(huán)境與虛擬信息相結(jié)合，通過(guò)不斷變化的交互提示，延長(zhǎng)兒童的學(xué)習(xí)時(shí)間，使兒童記憶更加深刻。但是，以上研究都是針對(duì)單一的技術(shù)展開(kāi)，單一的VR技術(shù)或AR技術(shù)弱化了兒童對(duì)真實(shí)世界的觀察和感知能力[7]，如果能將AR 技術(shù)與VR 技術(shù)相結(jié)合，采用雙向互動(dòng)的方式使兒童在基于VR技術(shù)構(gòu)建的虛擬世界和基于AR技術(shù)構(gòu)建的真實(shí)世界中互相切換，將極大提升兒童學(xué)習(xí)興趣。因此，本文在分析兒童智力開(kāi)發(fā)理論基礎(chǔ)上，提出基于AR-VR 混合技術(shù)設(shè)計(jì)開(kāi)發(fā)兒童智力開(kāi)發(fā)系統(tǒng)，將AR技術(shù)和VR技術(shù)混合，通過(guò)積極健康的學(xué)習(xí)內(nèi)容，豐富的視聽(tīng)體驗(yàn)，積極多樣化的交互方式來(lái)吸引兒童的注意力，達(dá)到開(kāi)發(fā)兒童智力的目的，未來(lái)將具有廣泛的應(yīng)用發(fā)展空間。

2 基于AR-VR混合技術(shù)兒童智力開(kāi)發(fā)系統(tǒng)

2.1 系統(tǒng)設(shè)計(jì)

2.1.1 系統(tǒng)模塊設(shè)計(jì)

本系統(tǒng)一共由六個(gè)模塊構(gòu)成，如圖1 所示。其中，攝像機(jī)模塊主要實(shí)現(xiàn)第一人稱和第三人稱視角切換。VR 漫游模塊利用虛擬搖桿實(shí)現(xiàn)角色在場(chǎng)景中漫游，培養(yǎng)兒童對(duì)身邊事物的認(rèn)知及觀察能力。計(jì)數(shù)模塊中引入競(jìng)爭(zhēng)機(jī)制，以游戲計(jì)時(shí)的方式開(kāi)展任務(wù)學(xué)習(xí)，激發(fā)兒童學(xué)習(xí)興趣，提高學(xué)習(xí)效果。聲音模塊包括卡片朗讀和背景音樂(lè)，兒童通過(guò)在環(huán)境場(chǎng)景中找尋發(fā)現(xiàn)，根據(jù)系統(tǒng)聲音交互提示進(jìn)行學(xué)習(xí)。環(huán)境模塊主要實(shí)現(xiàn)場(chǎng)景加載功能。AR識(shí)圖模塊將兒童讀物圖片通過(guò)手機(jī)掃描疊加相應(yīng)的多媒體資源，體驗(yàn)3D 的學(xué)習(xí)方式，通過(guò)視覺(jué)、聽(tīng)覺(jué)的雙層刺激，為兒童傳遞更豐富更具體的經(jīng)驗(yàn)。系統(tǒng)模塊間相互作用，兒童在虛擬情境中參與學(xué)習(xí)活動(dòng)，通過(guò)自主學(xué)習(xí)、任務(wù)學(xué)習(xí)、協(xié)作學(xué)習(xí)，在游戲?qū)嵺`中完成知識(shí)體系的建構(gòu)。

圖1 系統(tǒng)結(jié)構(gòu)圖

2.1.2 系統(tǒng)流程設(shè)計(jì)

兒童智力開(kāi)發(fā)系統(tǒng)流程設(shè)計(jì)如圖2所示。

圖2 系統(tǒng)設(shè)計(jì)流程圖

首先，啟動(dòng)系統(tǒng)后，兒童根據(jù)需要選擇不同的學(xué)習(xí)內(nèi)容，系統(tǒng)會(huì)根據(jù)兒童的輸入初始化場(chǎng)景環(huán)境，加載場(chǎng)景模型及人物角色。此時(shí)，兒童可以利用虛擬搖桿在虛擬場(chǎng)景中進(jìn)行漫游，在虛擬世界中盡情參觀，找尋發(fā)現(xiàn)新鮮事物，一旦找尋到任務(wù)卡中的目標(biāo)，就可以靠近點(diǎn)擊，系統(tǒng)會(huì)在點(diǎn)擊的同時(shí)發(fā)射粒子特效表示目標(biāo)找尋正確。接下來(lái)就可以進(jìn)行知識(shí)學(xué)習(xí)，學(xué)習(xí)卡片上面有物品的名稱以及中英文注釋。此時(shí)，兒童有兩種方式可供選擇。一種是開(kāi)啟語(yǔ)音功能，系統(tǒng)自動(dòng)發(fā)音，兒童可以進(jìn)行跟讀。還有一種是切換到AR系統(tǒng)中進(jìn)行3D交互，若選擇AR交互，系統(tǒng)自動(dòng)開(kāi)啟攝像頭進(jìn)行視頻采集，并進(jìn)行標(biāo)識(shí)識(shí)別、跟蹤注冊(cè)等一系列活動(dòng)，將虛擬場(chǎng)景和真實(shí)場(chǎng)景的數(shù)據(jù)進(jìn)行疊加，并將虛實(shí)融合后的景象呈現(xiàn)在兒童面前。最后系統(tǒng)判斷是否學(xué)習(xí)完本章所有知識(shí)，如果沒(méi)有則繼續(xù)返回VR場(chǎng)景漫游，否則退出當(dāng)前場(chǎng)景繼續(xù)學(xué)習(xí)其他內(nèi)容。系統(tǒng)基于AR-VR交互創(chuàng)新性學(xué)習(xí)方式使兒童在虛擬世界中發(fā)現(xiàn)新鮮事物，點(diǎn)擊即可學(xué)習(xí)知識(shí)，生動(dòng)有趣，激發(fā)兒童學(xué)習(xí)積極性。

2.2 系統(tǒng)實(shí)現(xiàn)

2.2.1 虛擬環(huán)境搭建

虛擬環(huán)境搭建是兒童智力開(kāi)發(fā)系統(tǒng)中的重要組成部分。幾何法和物理法是經(jīng)典的兩種常用建模方法。基于物理的建模方法能夠表現(xiàn)模型真實(shí)的物理運(yùn)動(dòng)，但是需要求解一組復(fù)雜的微分方程，計(jì)算開(kāi)銷大，計(jì)算效率受數(shù)值方法的穩(wěn)定性限制。由于兒童智力開(kāi)發(fā)系統(tǒng)對(duì)實(shí)時(shí)性和穩(wěn)定性要求較高，所以基于幾何建模的方法更加適合，因?yàn)榛趲缀谓７椒o(wú)需進(jìn)行復(fù)雜的運(yùn)算，計(jì)算速度快，效率高[8]。因此，兒童智力開(kāi)發(fā)系統(tǒng)中的模型采用幾何建模方式進(jìn)行構(gòu)建，包括樹(shù)木、花兒、房屋等模型。在構(gòu)建模型時(shí)盡量采用多邊形加紋理貼圖的方式實(shí)現(xiàn)，主要代碼如下：

void Draw（float x，float y，float z，float tx，float ty，float tz，float a，float rx，float ry，float rz）

{

glPushMatrix（）；

glTranslatef（tx，ty，tz）；

glRotate（fa，rx，ry，rz）；

glEnable（GL_BLEND）；

glDisable（GL_DEPTH_TEST）；

glBindTexture（GL_TEXTURE_2D，texture[95]）；

glBegin（GL_QUADS）；

glTexCoord2f（0.0，0.0）； glVertex3（f?x，?y，z）；

glTexCoord2f（0.0，1.0）； glVertex3（f?x，y，z）；

glTexCoord2f（1.0，1.0）； glVertex3（fx，y，z）；

glTexCoord2f（1.0，0.0）； glVertex3（fx，?y，z）；

glEnd（）；

glEnable（GL_DEPTH_TEST）；

glDisable（GL_BLEND）；

glPopMatrix（）；

}

2.2.2 粒子特效實(shí)現(xiàn)

在虛擬環(huán)境中，粒子特效能夠增強(qiáng)兒童學(xué)習(xí)時(shí)的體驗(yàn)感，絢麗的粒子特效可以讓激發(fā)兒童的學(xué)習(xí)積極性。系統(tǒng)設(shè)計(jì)當(dāng)兒童學(xué)習(xí)到知識(shí)后會(huì)出現(xiàn)粒子的爆炸發(fā)光效果，提示兒童完成學(xué)習(xí)任務(wù)。

（1）粒子屬性

首先，設(shè)計(jì)粒子系統(tǒng)屬性包括：粒子數(shù)量、粒子大小、粒子顏色、粒子速度、粒子加速度、粒子生命值等信息。然后初始化所有粒子的初始屬性值，設(shè)粒子的坐標(biāo)為(x,y,z)，則粒子系統(tǒng)中粒子初始坐標(biāo)通過(guò)公式（1）計(jì)算隨機(jī)得出。

近年來(lái)，因火災(zāi)引起的車輛事故時(shí)有發(fā)生，按照起火原因，汽車火災(zāi)大致分為自燃、引燃、碰撞起火、爆炸和雷擊五種類型，這五種類型的前三項(xiàng)，成為了司法鑒定的重點(diǎn)。本文結(jié)合一起實(shí)際案例，利用激光拉曼光譜法對(duì)現(xiàn)場(chǎng)殘留物進(jìn)行成分分析，使用“排除法”確證了現(xiàn)場(chǎng)起火的根本原因。保險(xiǎn)公司的理賠工作提供了法律依據(jù)。[1-3]

其中，R為常數(shù)，取值100。

（2）粒子運(yùn)動(dòng)

粒子在運(yùn)動(dòng)過(guò)程可被近似為斜拋運(yùn)動(dòng)，如圖3 所示。其中，系統(tǒng)粒子速度位移更新過(guò)程可以描述為：

其中，Vx為系統(tǒng)粒子水平方向速度，Vy為系統(tǒng)粒子豎直方向速度，Sx為系統(tǒng)粒子水平方向位移，Sy為系統(tǒng)粒子豎直方向位移，V為系統(tǒng)粒子瞬時(shí)速度，α為速度V與水平方向夾角，t為粒子運(yùn)行時(shí)間。

圖3 爆炸粒子運(yùn)動(dòng)示意圖

（3）觸發(fā)實(shí)現(xiàn)

粒子觸發(fā)檢測(cè)采用射線技術(shù)實(shí)現(xiàn)。射線是一條從物體上的一點(diǎn)向其運(yùn)動(dòng)方向發(fā)出的射線，通過(guò)判斷射線與其他物體的碰撞器是否相交以及物體間距離來(lái)進(jìn)行檢測(cè)。系統(tǒng)中，當(dāng)點(diǎn)擊鼠標(biāo)左鍵時(shí)，從鼠標(biāo)點(diǎn)擊處向目標(biāo)物體發(fā)射一條射線，若在檢測(cè)范圍內(nèi)，則產(chǎn)生粒子效果，代碼如下所示：

if（Input.GetMouseButtonDown（0））{

if（Physics.Raycas（tray，out hit））{

hitname=hit.collider.name；

GameObject particles=Instantiate（onClickparticle，hit.point，Quaternion.identity）as GameObject；

2.2.3 導(dǎo)航地圖實(shí)現(xiàn)

兒童在虛擬世界中可以對(duì)身邊事物隨時(shí)學(xué)習(xí)。為此，場(chǎng)景中加入導(dǎo)航地圖功能，系統(tǒng)中的導(dǎo)航地圖可以使兒童在虛擬場(chǎng)景學(xué)習(xí)時(shí)獲得實(shí)時(shí)的位置信息，快速地找到知識(shí)卡片信息。系統(tǒng)將地形按比例縮放到導(dǎo)航地圖的大小，場(chǎng)景中架設(shè)2 個(gè)攝像機(jī)，主攝像機(jī)照射主場(chǎng)景，另一個(gè)攝像機(jī)將以俯視的角度獲取地形信息，設(shè)置垂直投影，照射的部分縮小在制定位置呈現(xiàn)，并將人物角色作為導(dǎo)航地圖攝像機(jī)的跟隨目標(biāo)。然后將投影的畫(huà)面送到顯示在UI 的Textrue 上面，如圖4 所示。角色移動(dòng)時(shí)，導(dǎo)航地圖中場(chǎng)景也相應(yīng)地伴隨著移動(dòng)，映射物體在導(dǎo)航地圖中坐標(biāo)計(jì)算按照導(dǎo)航地圖寬和地形寬比例進(jìn)行換算得到，如式（6）～式（9）所示：

其中，地形寬為W，地形長(zhǎng)為L(zhǎng)，導(dǎo)航地圖寬為w，導(dǎo)航地圖長(zhǎng)為l，目標(biāo)物體坐標(biāo)為(X,Y)，映射物體坐標(biāo)為(x,y)。

圖4 導(dǎo)航地圖示意圖

2.2.4 跟蹤注冊(cè)實(shí)現(xiàn)

跟蹤注冊(cè)技術(shù)是AR系統(tǒng)的前提和基礎(chǔ)，是決定AR系統(tǒng)性能優(yōu)劣的關(guān)鍵。目前常見(jiàn)的跟蹤注冊(cè)技術(shù)有三種[9]：第一種是基于方位傳感器的跟蹤注冊(cè)即利用方位跟蹤傳感器來(lái)檢測(cè)真實(shí)世界里AR系統(tǒng)使用者的方向和位置。第二種是基于計(jì)算機(jī)視覺(jué)的跟蹤注冊(cè)即利用計(jì)算機(jī)視覺(jué)理論對(duì)攝像頭捕捉到的視頻進(jìn)行實(shí)時(shí)處理，計(jì)算出攝像頭在三維空間中所處的位置與姿態(tài)。第三種是將兩者混合的跟蹤注冊(cè)方式。綜合比較，基于計(jì)算機(jī)視覺(jué)的跟蹤注冊(cè)方法硬件成本低、系統(tǒng)構(gòu)成簡(jiǎn)單、實(shí)現(xiàn)相對(duì)簡(jiǎn)單，被廣泛應(yīng)用于AR系統(tǒng)中。

基于計(jì)算機(jī)視覺(jué)跟蹤注冊(cè)方法按照有無(wú)標(biāo)記可以分為基于自然特征的方式和基于人工標(biāo)記方式[10]。基于自然特征的方法需要將拍攝對(duì)象物體所得圖像上提取的自然特征數(shù)據(jù)和對(duì)象物體的自然特征數(shù)據(jù)進(jìn)行對(duì)應(yīng)配對(duì)，計(jì)算量大。而基于人工標(biāo)記法相對(duì)計(jì)算量較小，而且穩(wěn)定準(zhǔn)確。因此，本系統(tǒng)采用基于計(jì)算機(jī)視覺(jué)中的人工標(biāo)記方式進(jìn)行跟蹤注冊(cè)[11]，具體實(shí)現(xiàn)步驟如下：

步驟1通過(guò)攝像頭來(lái)獲取現(xiàn)實(shí)世界的真實(shí)視頻，并將其傳送到計(jì)算機(jī)中。

步驟2對(duì)采集的圖像進(jìn)行二值化預(yù)處理[12]，如公式（10）所示。對(duì)于圖像中任意一點(diǎn)(x,y)，如果其灰度值S(x,y)≥t則可以認(rèn)為該像素點(diǎn)為背景點(diǎn)，否則認(rèn)為該點(diǎn)為興趣點(diǎn)。

通常設(shè)置a0=0,a1=1，得到的即為二值化的圖像。

步驟3利用圖像分割及邊緣檢測(cè)技術(shù)識(shí)別出該二值圖像中所有的興趣點(diǎn)。

步驟4根據(jù)模式識(shí)別匹配算法，將標(biāo)記圖像與標(biāo)記庫(kù)中的模板標(biāo)記圖像進(jìn)行匹配來(lái)判斷此標(biāo)記是否為合法標(biāo)記，如果匹配成功則認(rèn)為找到了一個(gè)興趣區(qū)。

步驟5模版匹配成功后，確定當(dāng)前標(biāo)志物的特定ID，進(jìn)行標(biāo)志識(shí)別。

2.2.5 標(biāo)志識(shí)別實(shí)現(xiàn)

傳統(tǒng)識(shí)別標(biāo)志物大多采用二維碼實(shí)現(xiàn)，具有識(shí)別速度快、精度高等優(yōu)點(diǎn)，但同時(shí)也存在著不美觀、信息表達(dá)不直觀等缺陷[13]。為了避免二維碼標(biāo)志物的缺陷，系統(tǒng)中的標(biāo)志物利用卡通形象的學(xué)習(xí)卡片實(shí)現(xiàn)，待掃描的標(biāo)志物卡片為學(xué)習(xí)內(nèi)容的形象化表達(dá)，更加直觀形象地體現(xiàn)出AR交互內(nèi)容，并且可以在標(biāo)識(shí)物所在的空間上注冊(cè)虛擬場(chǎng)景。如圖5所示，為系統(tǒng)部分標(biāo)志物卡片識(shí)別效果圖。

圖5 標(biāo)志物識(shí)別圖

具體實(shí)現(xiàn)時(shí)，系統(tǒng)將攝像頭捕獲的視頻流轉(zhuǎn)換為二值圖像進(jìn)行計(jì)算分析，查找是否有和目標(biāo)一致的特征點(diǎn)，實(shí)現(xiàn)跟蹤識(shí)別功能，識(shí)別效果如圖6所示，黃色小叉為圖像特征點(diǎn)，部分實(shí)現(xiàn)代碼如下：

for（int tIdx=0；tIdx

{constQCAR::Trackable*trackable=state.getActiveTrack -able（tIdx）；

QCAR::Matrix44F modelViewMatrix=

QCAR::Tool::convertPose2GLMatrix（trackable->getPose（））；

int textureIndex=（!strcmp（trackable->getName（），"stones"））?0：1；

constTexture*constthisTexture=textures[textureIndex]；}

圖6 標(biāo)志識(shí)別效果圖

2.2.6 虛實(shí)融合實(shí)現(xiàn)

虛實(shí)融合可以提高兒童體驗(yàn)的真實(shí)感，向兒童呈現(xiàn)出具有高度逼真感的虛實(shí)融合新環(huán)境[14]。系統(tǒng)在完成標(biāo)識(shí)模板的識(shí)別后，得到標(biāo)識(shí)的編號(hào)ID，由于每個(gè)標(biāo)識(shí)都與某個(gè)預(yù)先設(shè)計(jì)好的三維虛擬物體對(duì)應(yīng)。根據(jù)識(shí)別標(biāo)識(shí)的ID號(hào)可以匹配得到需要加載的虛擬物體。然后根據(jù)攝像機(jī)定標(biāo)法求出攝像機(jī)位姿數(shù)據(jù)，從而得到需要加載的3D 虛擬物體的具體位置。最后，在計(jì)算機(jī)顯示器、智能手機(jī)或頭盔顯示設(shè)備上完成圖像的輸出。

2.2.7 系統(tǒng)交互實(shí)現(xiàn)

交互性是兒童智力開(kāi)發(fā)系統(tǒng)的一個(gè)重要特征[15]，AR-VR交互方式是本系統(tǒng)的一大特點(diǎn)。虛擬世界與增強(qiáng)現(xiàn)實(shí)世界的結(jié)合為系統(tǒng)增添了趣味性，提高兒童的專注力。當(dāng)在虛擬場(chǎng)景中點(diǎn)擊AR 交互，系統(tǒng)會(huì)從VR 切換到AR 系統(tǒng)中觀看知識(shí)點(diǎn)的完整3D 動(dòng)畫(huà)效果。如果選擇學(xué)習(xí)，系統(tǒng)將以文字加拼音輔助的方式顯示知識(shí)點(diǎn)，兒童可以根據(jù)系統(tǒng)發(fā)聲進(jìn)行跟讀，實(shí)現(xiàn)兒童與虛擬物體的交互，AR-VR交互流程如圖7所示。

圖7 AR-VR交互流程圖

系統(tǒng)中采用虛擬搖桿技術(shù)操縱角色在虛擬場(chǎng)景中漫游，兒童通過(guò)手指的觸摸控制虛擬拖動(dòng)點(diǎn)。設(shè)定虛擬搖桿的控制區(qū)域在圓o范圍內(nèi)，通過(guò)虛擬搖桿的拖動(dòng)點(diǎn)a在圓o內(nèi)的位置來(lái)反映應(yīng)用中第三人稱的位置移動(dòng)以及轉(zhuǎn)換漫游視角，如圖8 所示。虛擬搖桿功能計(jì)算，如式（11）所示：

其中，圓o為虛擬搖桿控制范圍，r為控制半徑，a為虛擬搖桿控制范圍外點(diǎn)，其坐標(biāo)為(xa,ya)，e為虛擬搖桿邊界上的點(diǎn)，其坐標(biāo)為(xe,ye)。

圖8 虛擬搖桿示意圖

兒童在虛擬世界中與虛擬物體（房屋、地面、石頭、樹(shù)木等）進(jìn)行交互基于AABB 包圍盒碰撞檢測(cè)技術(shù)實(shí)現(xiàn)[16]。其算法是基于每一條坐標(biāo)軸并利用盒子的邊緣去檢測(cè)，將實(shí)際檢測(cè)碰撞對(duì)象包含進(jìn)該觸發(fā)盒中，實(shí)現(xiàn)碰撞檢測(cè)，為簡(jiǎn)化碰撞對(duì)象之間的運(yùn)算，在碰撞對(duì)象的外圍包裹一個(gè)規(guī)則的幾何體。碰撞檢測(cè)原理如圖9 所示，圖中為物體A和物體B在XY平面投影效果，其中中間斜線區(qū)域?yàn)槲矬wA與物體B的重疊區(qū)域。如果在三維坐標(biāo)系下，如下表達(dá)式成立，則可判斷發(fā)生了碰撞。

圖9 AABB碰撞檢測(cè)原理示意圖

（AminX≤BmaxX&&AmaxX≥BminX）&&（AminY≤BmaxY&&AmaxY≥BminY）&&（AminZ≤BmaxZ&&AmaxZ≥BminZ）

3 實(shí)驗(yàn)與分析

為了驗(yàn)證兒童智力開(kāi)發(fā)系統(tǒng)運(yùn)行效果，本文進(jìn)行了大量仿真實(shí)驗(yàn)。仿真實(shí)驗(yàn)在配置為（Intel）Core i5-8400 CPU（2.8～4.0 GHz）、DDR4 8 GB 內(nèi)存以及 Nvidia GTX1060 6 GB顯卡的PC機(jī)，編譯環(huán)境為Visual Studio 2017，代碼編寫(xiě)采用C#語(yǔ)言，基于Unity3D 平臺(tái)結(jié)合Vuforia SDK實(shí)現(xiàn)。

啟動(dòng)系統(tǒng)后，進(jìn)入場(chǎng)景選擇模式，一共有4 個(gè)場(chǎng)景可以選擇，如圖10、11 所示。當(dāng)進(jìn)入場(chǎng)景后，通過(guò)手指觸摸可以控制場(chǎng)景中第三人稱的位置移動(dòng)以及轉(zhuǎn)換漫游視角，實(shí)現(xiàn)個(gè)性化的自主參觀，欣賞森林風(fēng)景并且根據(jù)任務(wù)卡提示在虛擬場(chǎng)景中學(xué)習(xí)對(duì)應(yīng)知識(shí)。當(dāng)完成任務(wù)后即可出現(xiàn)粒子特效，并彈出相應(yīng)知識(shí)介紹，如圖12、13所示。系統(tǒng)中引入游戲化學(xué)習(xí)方式通過(guò)設(shè)定任務(wù)數(shù)量以及時(shí)間增加緊張感。系統(tǒng)右上方是導(dǎo)航地圖，提示任務(wù)區(qū)域所在位置。VR 部分采用Oculus Rift DK2 虛擬頭盔進(jìn)行測(cè)試，具有良好沉浸感，并且可以實(shí)現(xiàn)360°自由視角實(shí)現(xiàn)對(duì)事物全面觀察，測(cè)試效果如圖14、15所示。

圖10 系統(tǒng)界面效果圖

圖11 關(guān)卡選擇效果圖

圖12 虛擬漫游效果圖

圖13 學(xué)習(xí)內(nèi)容效果圖

圖14 自由視角測(cè)試效果圖

圖15 虛擬沉浸感測(cè)試效果圖

切換到AR 系統(tǒng)后，可以通過(guò)掃描識(shí)別圖疊加三維虛擬物體，實(shí)現(xiàn)多感官交互學(xué)習(xí)。為了驗(yàn)證系統(tǒng)性能，將標(biāo)志識(shí)別圖分別進(jìn)行遮擋以及明暗處理，分別驗(yàn)證標(biāo)志識(shí)別圖被遮擋30%、50%和60%情況下以及在弱光源和強(qiáng)光源下的識(shí)別效果，測(cè)試效果如圖16、17所示。實(shí)驗(yàn)結(jié)果表明，AR 系統(tǒng)在遮擋環(huán)境下和光線條件較差環(huán)境中能夠根據(jù)殘留的標(biāo)志物信息來(lái)獲得準(zhǔn)確的跟蹤注冊(cè)數(shù)據(jù)，具有很好的魯棒性，可以很好地適應(yīng)環(huán)境。

圖16 遮擋處理測(cè)試效果圖

圖17 光線影響測(cè)試效果圖

4 結(jié)束語(yǔ)

將VR技術(shù)和AR技術(shù)結(jié)合開(kāi)發(fā)了兒童智力開(kāi)發(fā)系統(tǒng)。通過(guò)虛擬世界和現(xiàn)實(shí)世界之間的交互切換充分調(diào)動(dòng)了兒童的學(xué)習(xí)積極性，讓兒童從視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)上感受虛擬世界場(chǎng)景，為兒童傳遞更豐富、更具體的經(jīng)驗(yàn)，達(dá)到良好的教育效果，這種新穎的學(xué)習(xí)模式，是兒童智力開(kāi)發(fā)的一種新手段。未來(lái)AR-VR混合技術(shù)的應(yīng)用將會(huì)擴(kuò)展到高危虛擬場(chǎng)景模擬、城市規(guī)劃等多個(gè)領(lǐng)域。