虛擬現實與動作捕捉技術的結合

馬丁 李琦 胡意娟

摘要：自2014年Facebook（臉書）用20億美元收購Oculus（傲庫路思）以來，以虛擬現實（Virtual Reality，VR）為代表的一系列商業(yè)化產品便逐漸進入普通消費者的生活，與VR相關的各種產業(yè)也蓬勃發(fā)展，尤其是在娛樂領域，VR的應用潛力巨大。在2018年上映的電影《頭號玩家》中，人們戴上頭顯，穿上體感衣，就能進入虛擬的游戲世界，甚至一舉一動都能在游戲世界中得到反饋，強大的沉浸感帶來全新的感官體驗。運用現有技術能否實現全身沉浸式的體驗？電影中的游戲世界到底離我們有多遠？要塑造高保真的虛擬世界，除了要有沉浸式的視聽，用戶在虛擬現實中的交互方式也尤為關鍵，這也是動作捕捉技術應用于虛擬現實的重要意義。本文圍繞虛擬現實和動作捕捉技術，論述虛擬現實中的交互。

關鍵詞：虛擬現實;動作捕捉;游戲世界

1 虛擬現實設備現狀

以輸出設備為標準，現階段市場上主流的VR設備大致分為三類：主機端VR頭顯（頭戴式顯示器）、移動端VR眼鏡和VR一體機。

1.1 主機端VR頭顯

主機端VR需要連接電腦或者游戲機主機，通過主機強大的性能獲得最好的虛擬效果，又分為PC（個人電腦）端頭顯和游戲主機端頭顯。

PC端VR頭顯是以外接個人計算機為運行系統(tǒng)的VR頭顯[1]。該類設備體驗感好，涉及光學、仿真、傳感、人機交互等多種技術，發(fā)展最成熟，市場占有率高。游戲主機端VR頭顯是以游戲主機為運行系統(tǒng)的VR頭顯，與PC端頭顯相似[1]，但與之不同的是，該類設備通常只兼容特定游戲主機。

主機端VR擁有更好的VR內容資源，可借助主機端高性能的圖形計算能力以及合作平臺的內容生態(tài)，運行品質更精良的VR內容。但受制于PC或游戲主機的體積，主機端VR設備使用場景主要在室內，便攜性較差。此外，頭顯與主機通過連接線相連，這會大大限制用戶在操作時的活動范圍，用戶往往只能保持站姿或坐姿，小幅度移動身體，所以沉浸感時常會被線的牽制感所影響。

1.2 移動端VR眼鏡

2014年，谷歌發(fā)起虛擬現實平臺“Cardboard”（紙盒）計劃，用戶只需要將智能手機放到內置一對塑料鏡片的小型紙箱中，就可以通過眼鏡的鏡片結構，配合手機內置的陀螺儀以及相應VR內容，獲得虛擬現實的基本體驗[2]。此后，市場上各個品牌的VR眼鏡層出不窮。此類產品相對廉價，使用便捷，但缺點是交互系統(tǒng)薄弱。用戶在使用過程中，主要通過操作手機或者設備上的按鈕實現與虛擬現實系統(tǒng)的交互，更像是單方面觀看，而非真正進入虛擬現實世界。

1.3 VR一體機

VR一體機是具備獨立處理器的VR頭顯，具備獨立運算、輸入和輸出的功能，無需外接設備，它更像是一臺裝備了虛擬現實系統(tǒng)的微型電腦。用戶戴上頭顯后，無需連接游戲機或電腦，就可體驗虛擬現實的世界。且系統(tǒng)自帶相應的VR應用，用戶可通過手柄進行操作，還可聯網下載新內容。不論是畫面的質量，還是附帶的VR內容，VR一體機的使用體驗都比VR眼鏡更好，所以其價格也會昂貴很多。最主要的是，借助VR一體機，用戶可以實現在虛擬現實中的交互，沉浸感大大增強。雖然在性能方面受硬件限制，VR一體機的功能不如主機VR強大，但是使用時沒有連接線的束縛，用戶的自由度更高，也便于攜帶。

2 虛擬現實中交互的壁壘

2.1 交互方式單一

現階段，虛擬現實技術中的主流交互方式具有一定的局限性。不管是主機端VR還是VR一體機，用戶在VR界面中的交互主要是通過操作手柄上的按鈕或揮動手柄進行的，所以在控制游戲角色時缺少一定的觸感，而且對不太熟悉手柄操作的新用戶來說，上手有一定難度。例如，在VR游戲《半衰期：愛麗克絲》的一個場景中，用戶可以從桌上拿起一支筆在玻璃上寫字。根據經驗，拿筆時用戶會下意識地伸出食指和大拇指去拿，但這種認知邏輯與實際手柄操作方式是存在矛盾的，也就是說這種手柄交互模式在一定程度上與用戶在現實環(huán)境下的認知是沖突的，不利于用戶的沉浸式體驗。

2.2 交互中的空間受限

眾所周知，玩家在游戲以及其他應用里的移動是非常重要的交互。在PC游戲中，玩家一般通過鍵盤上的W、A、S、D鍵或上下左右鍵來移動;在主機游戲中，則通過手柄的搖桿來移動。但在VR應用中，受數據線長短和房間大小的限制，用戶在體驗虛擬現實時，無法進行幅度過大的位移，難以實現現實世界與虛擬世界的同步位移。所以目前在虛擬現實中的位移，主要有兩種解決方案。第一，用手柄選定地圖的某一方位點，進行位置傳送，就像瞬間移動;第二，就像傳統(tǒng)游戲手柄，持續(xù)操作手柄的搖桿，位置隨搖桿的變化而變化。然而這兩種解決方案都不是最完美的，在視覺、聽覺都處于沉浸狀態(tài)下時，玩家可能會下意識地想靠走動來探索周邊環(huán)境，但往往走了幾步后就會被數據線牽制，或畫面中的人物沒有與玩家的移動相匹配，從而產生違和感，打斷沉浸的狀態(tài)。此外，畫面的變化與身體的靜止也可能導致大腦處理信息時發(fā)生認知錯亂，從而產生“暈動癥”這樣的不良身體反應，進而影響沉浸體驗[3]。

總體而言，目前虛擬現實中的交互還達不到全身沉浸的效果，依賴于手柄的交互模式缺乏對用戶的身體感知。要想突破壁壘，打造電影《頭號玩家》中的游戲世界，仍需結合新的技術，如動作捕捉技術。

3 動作捕捉在虛擬現實中的應用

動作捕捉技術并不是一個很新的概念。早在20世紀70年代，計算機技術尚不發(fā)達的時候，動畫師就通過照相機拍攝演員的連續(xù)動作，分解成一系列的關鍵幀照片，再參考這些照片進行動畫繪制，這可能是動作捕捉技術的原型[4]。而動捕技術發(fā)展至今，已進入影視特效、醫(yī)療康復、運動分析、體感交互游戲等多個領域。慣性動作捕捉系統(tǒng)通過穿戴在人身上的一套慣性傳感器來捕捉人體各個部位的加速度、角速度、方向等，然后通過算法將這些數據還原成一套人體動作。

動作捕捉應用在虛擬現實中也效果拔群。2019年6月，游戲公司Valve（維爾福集團）發(fā)布了旗艦級VR——Index VR（茵蒂克絲VR），其設備中的指虎手柄運用了手指跟蹤技術。與傳統(tǒng)手柄不同，玩家戴上手柄后，手指依然可以自由活動，設備對手部動作的細致捕捉能實時反饋到游戲畫面中，從而使玩家的動作和游戲中的角色同步。此外，玩家也能通過相應的手部動作在游戲中進行交互，如拿槍、寫字、組合物品等，這大大增強了用戶體驗VR時的沉浸感。憑借高質量的3A大作《半衰期：愛麗克絲》，以及沉浸感更強的交互，Index VR成為VR行業(yè)中的佼佼者，這也側面說明了動作捕捉技術與虛擬現實的完美適配。

若想使沉浸感有質的飛躍，動作捕捉技術需要發(fā)揮更大的作用。相應設備勢必需要對人的身體進行全方位的適配，如軀干、腿部、足部等，只有將人的全部動作映射至虛擬現實中，才能實現讓人完全進入虛擬世界的感官體驗。然而要達到全身式的沉浸感，除了在硬件方面需要進一步升級（如頭顯性能、VR手套、體感衣等），更要解決空間限制問題。要解決這一問題，萬向跑步機可能是一個不錯的選擇。它的空間需求相對較小，能較好地模擬腳步運動，可以將人的方位、速率和里程數據全部記錄下來并傳輸到游戲當中，在虛擬世界中做出對現實的真實模擬，使用戶在游戲中實現同步運動，甚至完成一些復雜的姿態(tài)，這使得對人體全身的動作捕捉更具意義[5]。然而萬向跑步機也有一些弊端，如高昂的價格以及用戶的體能限制，此類產品性價比不高，普及尚有難度。

針對交互方式和空間兩個痛點，科技公司諾亦騰提出了一些解決方案。

交互方式上，諾亦騰產品線中的諾亦騰Hi5 VR手套（見圖1）極大地增強了用戶在虛擬現實體驗時的沉浸感。與前文提到的Index VR指虎手柄不同，諾亦騰Hi5上沒有按鍵，外觀與普通手套幾乎毫無差別，但手套中配備了7顆9軸高性能慣性傳感器，可達到低于5ms的延遲，精準捕捉全手動作，用戶可獲得實時自然的交互體驗。此外，輕量化的傳感器、無感佩戴的體驗更增強了用戶在VR中的沉浸感。目前市場上已經有不少高質量的虛擬現實應用以諾亦騰Hi5作為核心交互方式，并得到了較好的用戶反饋。

空間上，在2016年諾亦騰發(fā)布了商用虛擬現實解決方案——Project Alice（愛麗絲項目）。該系統(tǒng)采用光學—慣性混合動作捕捉系統(tǒng)，配合核心計算系統(tǒng)、軟硬件管理平臺、高性能計算平臺部署方案與圖形渲染系統(tǒng)等模塊，對用戶全身的動作信息進行捕捉，并映射至虛擬現實系統(tǒng)，使用戶能夠在一定的空間內自由走動，進行多人實時互動，并提供虛實結合交互等多種虛擬現實體驗。此外，開發(fā)者可面向不同專業(yè)領域，有針對性地開發(fā)出更加豐富的虛擬現實應用內容。自面世以來，該系統(tǒng)已應用于影視游戲開發(fā)與制作、文化與泛娛樂體驗（見圖2）、體育健康測評與訓練、醫(yī)療診斷與康復、工業(yè)仿真與虛擬教學、商業(yè)傳播與品牌項目等多個領域。雖然該方案對空間場地的需求較大，尚未解決空間使用成本高的問題，但在技術上，它已經為全身沉浸式的虛擬現實體驗打下了基礎。

4 技術前景

在未來的VR產業(yè)中，設備的輕量化和對用戶動作的捕捉將成為行業(yè)發(fā)生質變的關鍵。而且隨著5G網絡的普及，信號傳輸技術不斷發(fā)展，能在保持高畫面素質的同時，擺脫數據線的束縛，使用戶體驗上升一個臺階，所以VR一體機可能成為市場的主流，而移動端VR眼鏡和主機端VR則會逐漸被淘汰。對用戶全身范疇的定位和捕捉，更有助于感官沉浸感的增強，當虛擬場景欺騙的人體感官越多，用戶越容易對其產生依賴性，從而真正形成與現實世界相對應的虛擬世界。

此外，除了應用于娛樂方面，高沉浸感的VR技術也會帶動社交方式的改變。技術進一步革新，當虛擬世界越來越接近真實，虛擬辦公、虛擬課堂，甚至虛擬派對等一些社交領域的全新概念也有機會落地成為現實。屆時，人與人之間的聯系會變得更加緊密和抽象，甚至從現實世界中剝離。

5 結語

《頭號玩家》中的游戲世界并不是遙不可及的。身處技術爆炸的時代，硬件設備中的難關終將得到突破，VR產品也定會代代優(yōu)化升級，相應的VR內容亦會蓬勃發(fā)展，我們完全有理由相信VR技術將從方方面面改變人類的生活方式。

參考文獻：

[1] 范麗亞，馬介淵，張克發(fā)，等.虛擬現實硬件產業(yè)的發(fā)展[J].科技導報，2019，37（05）：81-88.

[2] 曹磊.國外虛擬現實的現狀與趨勢[J].競爭情報，2017，13（02）：51-58.

[3] 曹煊.虛擬現實的技術瓶頸[J].科技導報，2016，34（15）：94-103.

[4] 劉昊揚，鄧思淵.動作捕捉：面向未來的技術[J].高科技與產業(yè)化，2015（11）：62-65.

[5] 蘇凱，趙蘇硯. VR虛擬現實與AR增強現實的技術原理與商業(yè)應用[M].北京：人民郵電出版社，2017：48-49.

作者簡介：馬?。?995—），男，浙江杭州人，碩士在讀，研究方向：數媒與影像數字化。

李琦（1972—），男，江蘇南京人，博士，副教授，研究方向：美學與數據可視化。

胡意娟（1993—），女，河南周口人，碩士在讀，研究方向：數媒與影像數字化。