金婷 楊潘藝 于鳳雪 賈振宇 張明璇

摘要：AR技術(shù)是能夠?qū)崿F(xiàn)虛擬與現(xiàn)實(shí)世界交互的新興智能技術(shù)，其能夠大幅增加應(yīng)用系統(tǒng)的沉浸感和體驗(yàn)感，AR技術(shù)也因此在教育領(lǐng)域得到了一定重視和應(yīng)用。本文針對AR在早期教育領(lǐng)域的應(yīng)用，設(shè)計(jì)了以Unity3D和Vuforia為基礎(chǔ)的具有增強(qiáng)現(xiàn)實(shí)和交互功能的虛擬動(dòng)物園。最終實(shí)現(xiàn)了一個(gè)基于移動(dòng)端app的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，具有易操作的AR展示功能，可以對生成的大量動(dòng)物模型進(jìn)行移動(dòng)、放縮、旋轉(zhuǎn)、吼叫和動(dòng)作觸發(fā)等交互操作，實(shí)現(xiàn)了原理和系統(tǒng)設(shè)計(jì)的真實(shí)應(yīng)用，對早教等相關(guān)行業(yè)帶來一定積極影響。

關(guān)鍵詞：增強(qiáng)現(xiàn)實(shí);Unity3D;Vuforia;AR

中圖分類號：TP391.9 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2020）07-0157-03

0 引言

近年來，AR技術(shù)發(fā)展迅猛，而如何使AR 技術(shù)更好地與場景搭建、構(gòu)型設(shè)計(jì)相結(jié)合，使教育與展示更加生動(dòng)有效，讓幼兒有興趣、能更清晰地認(rèn)識世界是目前基于AR技術(shù)在教育領(lǐng)域面臨的一個(gè)主要問題。鑒于AR技術(shù)本身的特點(diǎn)，由圖片、三維圖形展示，轉(zhuǎn)變?yōu)槟Ｐ突瘎?dòng)態(tài)與聲形色元素結(jié)合呈現(xiàn)的場景化應(yīng)用開發(fā)，成為主流。

縱觀國際國內(nèi)，近年來，市場上都出現(xiàn)了不少優(yōu)質(zhì)的基于AR技術(shù)的早教產(chǎn)品，例如AR繪本和AR卡片等。通過Vuforia（2D圖片識別和跟蹤）和Unity（用于3D建模）無縫集成，AR技術(shù)運(yùn)用于早教[1]，使其更加便捷。

本文提出了一種情景式早教方式，尤其面向手機(jī)端APP的實(shí)現(xiàn)，既有動(dòng)物的真實(shí)3D形象，還有動(dòng)物的叫聲、行為動(dòng)作，以及基本解說，系統(tǒng)完整，可擴(kuò)展，增強(qiáng)興趣，促使對世界的立體化認(rèn)知，也能夠使第三方快速進(jìn)入系統(tǒng)并更新擴(kuò)展，成為良好的開放平臺。

1 系統(tǒng)設(shè)計(jì)與原理

1.1 基本技術(shù)原理

AR（增強(qiáng)現(xiàn)實(shí)）技術(shù)，是利用三維跟蹤注冊技術(shù)，其通過計(jì)算虛擬信息的位置將計(jì)算機(jī)生成的虛擬圖像與現(xiàn)實(shí)世界相疊加，是一種新興技術(shù)。本項(xiàng)目使用Vuforia和Unity無縫集成實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)技術(shù)在早教方面更加具有生動(dòng)性、交互性的應(yīng)用[2]。通過輸入設(shè)備采集現(xiàn)實(shí)場景中的圖像信息，包括顏色、輪廓、明顯特征等，對圖像信息進(jìn)行預(yù)處理以辨別該圖像是否為需要增強(qiáng)的目標(biāo)對象。如果是，則啟動(dòng)目標(biāo)跟蹤程序，在跟蹤位置顯示對應(yīng)的虛擬信息;否，則不進(jìn)行處理。

為提高用戶體驗(yàn)，顯示虛擬信息需要實(shí)時(shí)、準(zhǔn)確地獲取當(dāng)前攝像機(jī)的位置和姿態(tài)，本項(xiàng)目使用基于計(jì)算機(jī)視覺的跟蹤注冊技術(shù)獲取攝像機(jī)的位置與姿態(tài)，使用Vuforia分析、處理輸入設(shè)備輸入的真實(shí)場景位置信息，從而與虛擬攝像機(jī)產(chǎn)生的物體無縫的融合顯示。

在這個(gè)過程中使用到的現(xiàn)實(shí)場景與虛擬物體結(jié)合需要使用三維物體建模技術(shù)，創(chuàng)造可視化輸出目標(biāo)跟蹤顯示的虛擬物體，和真實(shí)場景有效融合在一起，將合成的圖像在顯示設(shè)備上輸出。輸出目標(biāo)需要具有動(dòng)作交互，需要使用建模軟件進(jìn)行動(dòng)作逐格制作或者骨骼綁定進(jìn)行動(dòng)畫制作。

Vuforia實(shí)現(xiàn)現(xiàn)實(shí)場景中圖像的定位以及虛擬三維模型與現(xiàn)實(shí)圖像無縫貼合，并與Unity結(jié)合實(shí)現(xiàn)用戶的交互。在Unity中創(chuàng)建按鈕以及動(dòng)畫控制器、語音控制器通過一定的代碼控制使得用戶可以點(diǎn)擊屏幕中的按鈕控制三維模型的動(dòng)畫、語音，從而展示動(dòng)物的動(dòng)作、叫聲以及相應(yīng)的解說。最終，通過導(dǎo)出apk的形式進(jìn)行系統(tǒng)輸出，實(shí)現(xiàn)虛擬動(dòng)物園的app應(yīng)用。

1.2 技術(shù)識別流程設(shè)計(jì)

如圖1所示，系統(tǒng)主要的流程如下：

（1）系統(tǒng)首先通過相關(guān)的輸入設(shè)備采集場景圖像，經(jīng)過預(yù)處理后，檢測場景中是否存在需要增強(qiáng)顯示的目標(biāo)，檢測到后啟動(dòng)跟蹤程序，并在對應(yīng)位置顯示虛擬信息。

（2）實(shí)時(shí)的跟蹤需要增強(qiáng)現(xiàn)實(shí)的目標(biāo)，以達(dá)到三維注冊的目的使現(xiàn)實(shí)場景中的物體和虛擬攝像機(jī)產(chǎn)生的物體無縫的融合顯示。

（3）物體建模的過程是場景圖像與幾何模型相結(jié)合，創(chuàng)造可視化輸出目標(biāo)跟蹤顯示的虛擬物體，和真實(shí)場景有效融合在一起，將合成的圖像在顯示設(shè)備上輸出。

（4）增強(qiáng)現(xiàn)實(shí)中的關(guān)鍵技術(shù)主要包括圖像識別技術(shù)、目標(biāo)跟蹤技術(shù)、三維注冊技術(shù)和虛實(shí)融合技術(shù)，其中三維注冊是增強(qiáng)現(xiàn)實(shí)系統(tǒng)最為關(guān)鍵的技術(shù)，其目的是在虛擬世界和真實(shí)場景之間建立對應(yīng)關(guān)系，使兩者之間能夠做到有效的融合，并在顯示設(shè)備上給使用者實(shí)時(shí)地顯示這種關(guān)系。

1.3 系統(tǒng)使用交互設(shè)計(jì)

攝像頭將畫冊上的動(dòng)物圖像識別后，通過AR技術(shù)進(jìn)行三維數(shù)據(jù)運(yùn)算，按Unity中模型的具體數(shù)據(jù)進(jìn)行與顯示場景數(shù)據(jù)的真實(shí)交互，還原相應(yīng)模型。在系統(tǒng)識別后，進(jìn)行相應(yīng)的功能使用跳轉(zhuǎn)，如圖2所示。

系統(tǒng)具有增強(qiáng)對動(dòng)物的立體認(rèn)知，同時(shí)有配套的介紹音頻播放，進(jìn)一步增加產(chǎn)品的教育性。使用者可以通過顯示器或者手機(jī)對模型進(jìn)行操作，比如展示模型動(dòng)作、移動(dòng)、聽取聲音等。

以虎為例，通過本產(chǎn)品平臺對配套識別圖片進(jìn)行識別后，呈現(xiàn)出具有完整骨骼和動(dòng)畫功能的虎模型，通過手指進(jìn)行觸屏交互，可實(shí)現(xiàn)對虎模型的放大縮小、旋轉(zhuǎn)、移動(dòng)等基礎(chǔ)交互功能，此外，通過相關(guān)UI觸發(fā)識別操作后，可以實(shí)現(xiàn)虎發(fā)出吼叫聲和相關(guān)的動(dòng)作，如行走、奔跑、跳躍、進(jìn)食、攻擊等。此外，該款產(chǎn)品的具體使用操作十分簡單，完全符合面向低齡兒童這一群體的要求。

1.4 系統(tǒng)使用交互設(shè)計(jì)

綜合上述分析，系統(tǒng)需在Vuforia和Unity的基礎(chǔ)上添加音頻和UI模塊，主要實(shí)現(xiàn)系統(tǒng)的引用輸出實(shí)現(xiàn)和功能產(chǎn)品化[3]。在Unity中使用建立好的模型，實(shí)現(xiàn)選取的照片和AR模型對應(yīng)的功能。

設(shè)定交互識別圖片，添加后進(jìn)行特征識別和對應(yīng)交互。在添加上模型的動(dòng)畫作品的導(dǎo)出，通過調(diào)用收集攝像頭進(jìn)行識別，生成對應(yīng)3D動(dòng)畫，從而實(shí)現(xiàn)AR的動(dòng)態(tài)交互。最后在Unity中導(dǎo)出apk文件，下載后使用app，實(shí)現(xiàn)手機(jī)展示AR動(dòng)物園功能。

整體系統(tǒng)架構(gòu)如圖3所示。

2 項(xiàng)目實(shí)現(xiàn)

根據(jù)上文的基本原理和系統(tǒng)框架、功能的設(shè)計(jì)，通過C#進(jìn)行腳本編寫，通過Vuforia結(jié)合Unity進(jìn)行系統(tǒng)的實(shí)現(xiàn)。

該系統(tǒng)已實(shí)現(xiàn)，由于功能無法全部羅列，本文只對四個(gè)頁面進(jìn)行展示。

系統(tǒng)首頁與動(dòng)物介紹頁面如圖4所示，系統(tǒng)運(yùn)行識別與動(dòng)畫播放頁面如圖5所示。

3 結(jié)語

本文對AR的教育領(lǐng)域應(yīng)用分析闡述，進(jìn)行了在Vuforia和Unity技術(shù)基礎(chǔ)上的設(shè)計(jì)與開發(fā)，在系統(tǒng)中對增強(qiáng)現(xiàn)實(shí)進(jìn)行了合理化實(shí)現(xiàn)與針對性應(yīng)用。在“虛擬動(dòng)物園”中實(shí)現(xiàn)了語音解說模塊、動(dòng)物行為演示模塊，使卡通動(dòng)物形象立體化、真實(shí)化，不僅能吸引興趣、豐富認(rèn)知，更為家庭親子溝通提供了便捷可行的途徑。本文研究的系統(tǒng)以手機(jī)為載體，順應(yīng)了目前智能化生活方式的需求，便捷了父母教育幼兒，對于幼兒而言在認(rèn)知自然界的同時(shí)又接觸了信息技術(shù)時(shí)代下的前沿科技;此外，基于AR本身就是在推動(dòng)本技術(shù)在早教領(lǐng)域的發(fā)展。

相比于簡單的AR繪本，本系統(tǒng)未來的研究方向不再只是拘泥于繪本上的圖片模型的簡單重現(xiàn)，將會有更加豐富的操作，具有更互動(dòng)性，預(yù)計(jì)會有更好的學(xué)習(xí)效果，比如將會提供多種場景進(jìn)行切換，相關(guān)模型的更多動(dòng)作也會實(shí)現(xiàn)，趣味性大大提升。

參考文獻(xiàn)

[1] 楊濤.增強(qiáng)現(xiàn)實(shí)技術(shù)（AR）在教育中的有效應(yīng)用[J].實(shí)驗(yàn)教學(xué)與儀器，2019，36（2）：79-80.

[2] 魯文娟，金一強(qiáng).基于智能手機(jī)的Vuforia+Unity3D增強(qiáng)現(xiàn)實(shí)技術(shù)方案及其教育應(yīng)用[J].現(xiàn)代教育技術(shù)，2017（5）：20-26.

[3] 徐敏，童強(qiáng).一種基于Unity3D+Vuforia的增強(qiáng)現(xiàn)實(shí)交互App的開發(fā)[J].現(xiàn)代計(jì)算機(jī)（專業(yè)版），2016（12）：73-77.