多感官信息對虛擬現(xiàn)實中感知控制的影響

孫小方，趙婧羽，饒培倫

(1.清華大學(xué) 工業(yè)工程系， 北京 100084；2.中國船舶工業(yè)綜合技術(shù)經(jīng)濟研究院 船舶人因工程研究中心，北京 100081)

1 引言

在現(xiàn)實生活中，人們習(xí)慣于通過多感官的媒介來感知和處理各類信息。為了在虛擬現(xiàn)實的技術(shù)中建構(gòu)類似現(xiàn)實世界的體驗，涉及視覺、聽覺、觸覺甚至嗅覺和味覺的多感官信息的發(fā)展被高度關(guān)注[1]，以期盡可能提高人們在虛擬現(xiàn)實中的真實感。真實感的提升將拓展虛擬現(xiàn)實技術(shù)的應(yīng)用空間，使得虛擬現(xiàn)實不僅可應(yīng)用于游戲娛樂的領(lǐng)域，還可以在制造生產(chǎn)、暴露療法等領(lǐng)域大放異彩。例如，在具有一定危險性的場景中，可以通過虛擬現(xiàn)實技術(shù)模擬真實的生產(chǎn)制造場景，為員工提供沉浸式的培訓(xùn)。還可以通過虛擬現(xiàn)實暴露療法，針對恐高癥和社交恐懼癥等焦慮癥患者，將患者逐漸暴露在特定的壓力場景中，例如高度挑戰(zhàn)或公開演講，以誘發(fā)焦慮反應(yīng)和無法控制的感覺[2]，達到暴露療法的目的。

增加虛擬現(xiàn)實技術(shù)真實感可以通過提供多感官的信息實現(xiàn)。研究發(fā)現(xiàn)虛擬現(xiàn)實中的聽覺、觸覺、味覺和軀體感覺等多感官信息可以提高用戶的體驗[3]。并且，在虛擬現(xiàn)實環(huán)境中增加任何單一感官的信息同樣可以提高用戶的沉浸感。如與傳統(tǒng)視聽感官的虛擬現(xiàn)實體驗相比，在虛擬現(xiàn)實環(huán)境中添加嗅覺和觸覺的刺激可以提高相關(guān)的感官參與度。不過考慮到技術(shù)的可行性和接受度，關(guān)注多感官信息對虛擬現(xiàn)實體驗感影響的研究大多集中在聽覺和觸覺模態(tài)的影響。

虛擬現(xiàn)實環(huán)境中的聽覺信息可以增強認知能力并提高用戶體驗，也會給用戶帶來更強烈的情緒感染力和體驗的臨場感。一項研究發(fā)現(xiàn)，在立體的虛擬環(huán)境中增加同樣聲源空間化的聽覺刺激會改善用戶的主觀感受[4]。也有研究發(fā)現(xiàn)，在視聽條件下的用戶臨場感會比單純視覺條件下的臨場感顯著提高[5]。另一項研究也表明，虛擬環(huán)境中的聽覺刺激線索會引發(fā)更強烈的情緒反饋[6]。而虛擬現(xiàn)實中的觸覺信息同樣可以豐富虛擬現(xiàn)實的功能并提高用戶的主觀體驗。有研究人員借助一個物理實體的表作為在虛擬現(xiàn)實中操作的觸覺反饋，發(fā)現(xiàn)觸覺信息的提供會提高操縱的速度，但也降低空間準(zhǔn)確性。另有研究發(fā)現(xiàn)，與僅在視覺或視聽覺條件下相比，能夠體驗到虛擬社交環(huán)境中虛擬人腳步振動的觸覺反饋，會為參與者帶來更高的社交臨場感[7]。

多種感官信息對虛擬現(xiàn)實體驗的增強，源于人類的認知和情感在虛擬環(huán)境和現(xiàn)實生活中的多感官整合[8]。多感官信息在虛擬環(huán)境中的融合會對用戶的認知加工帶來了積極影響，同時也會引發(fā)更強烈的情緒反饋，帶來更好的主觀體驗，提高享受度和沉浸感。例如，多個感官可作為補充信息提高了視覺處理的準(zhǔn)確性[9]，聽覺線索可以修正在虛擬環(huán)境中出現(xiàn)的距離壓縮[10]。 還有研究發(fā)現(xiàn)觸覺的加入會改善參與者在虛擬懸崖環(huán)境中的訓(xùn)練表現(xiàn)，并對其在現(xiàn)實世界中的表現(xiàn)產(chǎn)生積極影響[11]。另一方面，在大多數(shù)情況下多感官的線索會引起更高的生理反應(yīng)。例如，當(dāng)參與者在虛擬環(huán)境中體驗到額外的被動觸覺時，會出現(xiàn)比在單一視覺條件下更高的心率和皮膚電導(dǎo)率[11]。

然而，目前多感官信息對虛擬環(huán)境的影響的研究大多集中在沉浸感和臨場感，很少有研究關(guān)注多感官信息對虛擬環(huán)境中控制感的影響。而感知到的控制感作為虛擬現(xiàn)實體驗中重要組成，也對用戶在虛擬環(huán)境中的真實感有著重要作用。本研究通過設(shè)置不同感官參與下的虛擬現(xiàn)實高空行走任務(wù)，結(jié)合主觀體驗反饋數(shù)據(jù)和皮電心電的生理反饋數(shù)據(jù)，旨在探究單一視覺、視覺聽覺以及視覺觸覺對虛擬現(xiàn)實中感知控制的影響，以及不同感官場景下應(yīng)激的誘發(fā)差異，為使用虛擬現(xiàn)實環(huán)境進行高空作業(yè)類的培訓(xùn)以及高空刺激類游戲的體驗完善可提供參考。

2 對象與方法

2.1 被試

本研究招募大學(xué)生及工作人員共36人，其中女性19人，男性17人。平均年齡為23.44歲，標(biāo)準(zhǔn)差為3.35歲。

被試篩選標(biāo)準(zhǔn)為：(1)針對VR頭盔：視力或矯正視力正常(2)無心血管疾病歷史(3)是否有相關(guān)的游戲體驗：蹦極、跳傘、游樂園高空游樂設(shè)施(如跳樓機)、VR高空游戲經(jīng)驗、其他VR游戲經(jīng)驗。

通過當(dāng)天狀態(tài)的問卷進行進一步的狀態(tài)控制：(1)無內(nèi)分泌絮亂，如甲狀腺疾病、腎上腺疾病等，最近1個月沒有服用任何跟內(nèi)分泌疾病相關(guān)的藥物，如激素類藥物；(2)無精神和神經(jīng)系統(tǒng)疾?。?3)無酗酒(每天飲酒超過200 mL)、無吸煙過度(每天吸煙超過5根)；(4)無長期焦慮、抑郁、失眠等癥狀，無長期晝夜作息電導(dǎo)，無任何慢性心理疾病；(5)今天沒有喝過咖啡或其他含咖啡因的飲料。

2.2 實驗設(shè)計

本研究使用通過頭戴式顯示器(HMD)呈現(xiàn)出虛擬高空的場景，在虛擬現(xiàn)實場景中，參試者將乘坐觀光電梯被傳送到一座 300 m高的摩天大樓的高空地面上。然后他們被要求在出電梯后，走上一座懸置在空中的長為1.5 m的獨木橋。在到達橋的盡頭后，參試者需要停留在那里并向西周及樓下看30 s鐘的時間，參試者再轉(zhuǎn)身回到大樓的電梯。

每名參試者需分別體驗三種多模態(tài)信息的整合水平：單一視覺條件，視覺聽覺條件和視覺被動觸覺條件。在單一視覺條件下，參試者只是通過 HMD 看到虛擬現(xiàn)實的顯示場景。在視聽條件下，參試者能夠通過無線藍牙耳機聽到VR場景的高空背景環(huán)境音，包括高空的風(fēng)聲、鳥鳴的嘰嘰喳喳聲、飛機的螺旋槳噪聲和地面的交通背景噪聲等。在視覺被動觸覺條件下，實驗人員在實驗室鋪設(shè)了1.5 m長度的木板模擬獨木橋，在木板下放置了水墊以產(chǎn)生晃動的效果，提供觸覺的反饋，見圖1。

圖1 實驗場景及實驗設(shè)置

2.3 實驗測量

實驗中測量的數(shù)據(jù)主要包括生理數(shù)據(jù)和主觀反饋數(shù)據(jù)。

生理數(shù)據(jù)的采集使用 BIOPAC MP150(Biopac Systems Incorporation,California)來記錄和預(yù)處理心電ECG和皮電(SC)的數(shù)據(jù)。心電的采集使用三個一次性電極片貼于胸前以1 000 Hz的采樣率連接。皮電的采集通過將兩個一次性電極片貼于參試者的左食指和左中指進行記錄。

主觀反饋的測量包括積極情感和消極情感表、臨場感、感知控制感。積極情感和消極情感表(PANAS)用于測量參試者在不同條件下的情感表達[12]。該量表包括10個正向題目和10個負向題目。參試者被要求回答他們在最近的實驗條件下對每個項目的感受，采用從非常輕微到非常喜歡的5點量表。臨場感，也稱為心流，用于測量參試者的沉浸程度，采用四個問題的5點中文量表(完全不同意；比較不同意；說不清楚；比較同意；完全同意)測量[13]，得分越高，臨場感越高。感知控制感則由參試者在0-100的量表中標(biāo)記自己感知到的控制水平，0表示完全不可控，100表示完全可控。

另外，本研究在招募參試者階段會采用李克特10級量表調(diào)查參試者的恐高程度，1表示人在高處沒有明顯的心理和生理反應(yīng)，10表示處于高處的人感到極度壓力和失控。實驗招募會排除恐高評分大于 8 分的人，所有招募參試者的平均分數(shù)為 6.25(SD=1.71)。

2.4 實驗流程

在參試者招募的過程中，會對符合實驗條件的參試者進行篩選。在邀請參試者前來實驗室參加實驗后，主要實驗流程為：(1)參試者會先被告知實驗的具體內(nèi)容與流程，簽署實驗知情同意書；(2)參試者需填寫主觀問卷，匯報相關(guān)信息；(3)參試者佩戴皮電和心電設(shè)備，并進行靜息狀態(tài)的生理測量采集；(4)參試者將分別體驗單一視覺、視覺聽覺以及視覺觸覺三種條件下的高空行走場景，每個場景結(jié)束后參試者會反饋PANAS和控制感問卷，并進行休息和恢復(fù)，之后再體驗下一場景。三種場景的順序在參試者之間是被平衡的，見圖2。

圖2 實驗流程

2.5 實驗設(shè)備

實驗在具備隔音條件的室內(nèi)房間進行，無日光暴露下。主要設(shè)備包括一臺電腦(CPU：Intel i7-6700 K；GPU：技嘉 GTX1080 8GB)、HTC vive 套裝(一個 HMD 和兩個控制器)和一對降噪耳機。生理數(shù)據(jù)采集使用的為BIOPAC MP150(Biopac Systems Incorporation,California)硬件配合一次性電極貼片使用。

3 結(jié)果

3.1 生理數(shù)據(jù)結(jié)果

通過對心率數(shù)據(jù)的進行重復(fù)測量方差分析，結(jié)果表明，不同感官參與條件的主效應(yīng)顯著，F(xiàn)3,105=15.13，P<0.01,η2= 0.3。進一步的分析表明，視聽覺條件與視觸覺的條件下，參試者的心率顯著高于視覺條件與基線條件，而視聽覺條件與視觸覺條件之間無顯著差異，視覺條件與基線條件之間也無顯著差異，見圖3。

圖3 心率數(shù)據(jù)結(jié)果

對心率標(biāo)準(zhǔn)差(stdHR)進行重復(fù)測量方差分析，結(jié)果發(fā)現(xiàn)，不同感官參與條件的主效應(yīng)顯著，F(xiàn)3,105=4.19，P<0.01,η2=0.11。進一步分析發(fā)現(xiàn)，視覺條件的心率標(biāo)準(zhǔn)差顯著<視觸覺條件，其他條件及基線之間均不顯著，見圖4。

圖4 心率標(biāo)準(zhǔn)差結(jié)果

在心率變異性(HRV)分析中，我們分析了極低頻(very low),低頻(low)，高頻(high)，極高頻(very high)的心率頻譜能量數(shù)據(jù)，其所代表的交感神經(jīng)(sympathetic)和迷走神經(jīng)(vagal)及其比值。重復(fù)測量方差分析的結(jié)果表明，各感官模態(tài)間的主效應(yīng)均不顯著。

對皮膚電水平進行重復(fù)測量方差分析，結(jié)果表明，不同感官參與條件的主效應(yīng)顯著，F(xiàn)3,108=46.89，P<0.01,η2=0.57。進一步分析發(fā)現(xiàn)，基線皮膚電水平顯著低于VR環(huán)境中的各情境，但三種模態(tài)之間差異并不顯著，見圖5。

圖5 皮膚電結(jié)果

3.2 主觀量表結(jié)果

對正負向情緒量表PANAS得分進行重復(fù)測量方差分析，正負性情緒具有顯著差異，F(xiàn)3,106=123.77，P<0.01,η2=0.78，在基線條件及三種模態(tài)條件下，正性情緒顯著高于負性情緒。

不同感官參與條件的主效應(yīng)顯著，F(xiàn)3,108=33.29，P<0.01,η2=0.48，進一步分析發(fā)現(xiàn)，三種模態(tài)條件下，情緒激活顯著高于基線條件，視觸覺條件的情緒激活顯著高于視聽覺條件，視覺和聽覺之間無顯著差異。分別對正性情緒與負性情緒進行分析，對于正性情緒，所有模態(tài)條件得分均顯著高于基線條件，但是模態(tài)之間無差異；對于負性情緒，所有模態(tài)條件得分均高于基線條件，同時視觸覺條件誘發(fā)了更大的負性情緒，視覺與聽覺條件之間無差異，見圖6。

圖6 PANAS量表結(jié)果

對心流問卷的沉浸感維度進行分析，總體的沉浸感得分為14.48(SD=2.25)，95%的置信區(qū)間為(13.73,15.23)。對三種條件進行重復(fù)測量方差分析，結(jié)果發(fā)現(xiàn)條件效應(yīng)顯著，F(xiàn)2,72=3.292，P<0.05,η2=0.084，進一步分析發(fā)現(xiàn)，在視觸覺條件下，相對于視覺條件，被試有更高的沉浸體驗，結(jié)果邊緣顯著，P=0.062，見圖7。

圖7 心流問卷結(jié)果

對控制感得分進行重復(fù)測量方差分析，發(fā)現(xiàn)不同感官參與條件的主效應(yīng)顯著，F(xiàn)3,108=21.54，P<0.01,η2=0.37。進一步分析發(fā)現(xiàn)，視觸覺條件下控制感顯著低于其他條件。

對心流量表的控制感維度進行重復(fù)測量方差分析，條件的主效應(yīng)顯著，F(xiàn)2,72= 6.76，P<0.01,η2=0.16。進一步分析發(fā)現(xiàn)，視觸覺條件下控制感顯著低于視覺條件。

對不同模態(tài)的PANAS得分與控制感數(shù)軸分數(shù)進行相關(guān)分析，結(jié)果發(fā)現(xiàn)控制感與負性情緒顯著負相關(guān)，表現(xiàn)為負向情緒越高，控制感越低，見表1。

表1 PANAS量表與控制感的相關(guān)性分析結(jié)果

4 討論

本研究結(jié)果表明，本研究發(fā)現(xiàn)虛擬現(xiàn)實高空應(yīng)激場景誘發(fā)了被試的應(yīng)激狀態(tài)，表現(xiàn)為在生理上心率與皮電均高于基線條件；在主觀感覺上，PANAS得分顯著高于基線條件。而在三種模態(tài)中，視觸結(jié)合條件誘發(fā)效果更好，表現(xiàn)為心率更高， PANAS負性情緒得分更高以及沉浸感更高。多感官信息會降低用戶在壓力型虛擬環(huán)境中的感知控制，影響用戶的生理反應(yīng)和負面情緒。將適當(dāng)?shù)亩喔泄倌B(tài)引入虛擬環(huán)境中，會帶來與現(xiàn)實更加符合的體驗和反應(yīng)，既包含體驗中的享受和興奮，還會帶來體驗中的不可控感與恐懼感。

在研究中我們發(fā)現(xiàn)，額外的觸覺信息對感知控制有著顯著影響。與其他兩種視覺和視聽覺的情況相比，用戶在觸覺條件加入后的控制感較低。對應(yīng)到高空行走這一有著真實壓力情況的情境，用戶對感知控制的降低也說明了用戶感覺的更加沉浸。而這一結(jié)果也與以往的研究一致。例如，一項研究發(fā)現(xiàn)，與在聽到腳步這一情況下相比，參試者在感受到虛擬人腳步的振動觸覺反饋時會表現(xiàn)出更大的回避行為[7]。 有研究者發(fā)現(xiàn)，虛擬威脅環(huán)境中的被動觸覺元素會增加用戶的生理喚醒，帶來更高的壓力反應(yīng)[11]。然而，與觸覺信息相比，額外的聽覺信息并沒有對用戶的控制感帶來著影響，在視聽覺條件下體驗到的感知控制水平與單純視覺條件和基線條件下的基本相同。但是在另一些實驗中，研究者發(fā)現(xiàn)在聽覺視覺條件下的參與者比在唯一視覺條件下的感知更明顯[5]。這些實驗間的差異我們認為是由于實驗的 情境和任務(wù)的特征導(dǎo)致的。在感受虛擬人腳步的研究中，側(cè)重于關(guān)注虛擬環(huán)境中的社交存在，它對視覺和觸覺信息更加敏感，因為視覺信息和腳步是有人接近的更重要的信號。但在視聽覺實驗更優(yōu)的實驗中，空間化的聲音為虛擬環(huán)境中的導(dǎo)航任務(wù)提供了額外的信息，所以會帶來更顯著的感受。在我們的研究中，模擬高空木橋的晃動感這一顫抖性并帶有跌倒暗示的被動觸覺，使用戶的失控感急劇增加，而與高空環(huán)境一致的聽覺信息并沒有引起壓力的激增。但研究發(fā)現(xiàn)，環(huán)境噪音是會使人產(chǎn)生焦慮和失控的。綜上所述，感官線索是否影響用戶的感知控制和其他主觀體驗，主要取決于感官線索在虛擬世界和現(xiàn)實世界中所提供的信息之間的因果關(guān)系。本研究中，相比高空聽覺的背景音，被動觸覺的晃動會帶來更強的跌倒暗示，導(dǎo)致更大的壓力與失控感，也就會導(dǎo)致感知控制和其他主觀體驗的明顯變化。

我們的研究還表明，感知控制與負面情緒之間存在顯著的相關(guān)性。較高的負面情緒與較低的控制有關(guān)。游戲研究發(fā)現(xiàn)感知控制與挫敗感之間存在負相關(guān)關(guān)系[14]，然而，我們的研究發(fā)現(xiàn)感知控制與積極情緒之間沒有顯著關(guān)系。這一結(jié)果與游戲研究不同，后者發(fā)現(xiàn)更高的控制感知會帶來更多的享受體驗[15]。不過本研究的場景與游戲類場景本身存在差異，場景的設(shè)定并不會帶來高的娛樂性，可能也導(dǎo)致了研究中的感知控制與積極情緒無顯著關(guān)系。而我們的結(jié)果與關(guān)注壓力的研究一致，這類研究認為，缺乏感知控制是壓力源的一個特定維度。感知控制的缺乏會誘發(fā)消極情緒，但與積極情緒無關(guān)。

本研究中同時發(fā)現(xiàn)，多感官信息會幫助人們更加動態(tài)和自然地與虛擬環(huán)境進行交互。尤其與現(xiàn)實場景有著高因果性的感官線索的提供，如本研究中被動觸覺的反饋提供，使用戶不僅可以調(diào)整主觀體驗，還可以調(diào)整生理反應(yīng)，對不斷變化和信息豐富的環(huán)境有一種心理適應(yīng)。在考慮使用虛擬場景進行高空或特殊類型作業(yè)培訓(xùn)時，可參考多感官信息的加入，將關(guān)鍵性的線索通過多感官方式呈現(xiàn)，達到更加真實和有效的交互體驗。

目前的研究存在一些局限性。首先，情境的特殊性限制了結(jié)論的一般性。本研究的情境為高空行走類，未來應(yīng)考慮更多的恐懼癥或有壓力的虛擬場景。其次，本研究中的參試者在心理和生理上都是健康的，在進一步的研究中可以考慮招募更多患有恐高癥等特征的參試者進一步進行比較。第三，由于實驗時長的設(shè)置，參試者在高空情況下的暴露持續(xù)時間相對較短。當(dāng)人們長時間處于較高頻率的此類情境中時，多感官信息對感知控制的影響是否與當(dāng)前研究中的相同，這是一項未來可繼續(xù)深入的研究工作。

5 結(jié)論

本研究發(fā)現(xiàn)虛擬現(xiàn)實高空應(yīng)激場景誘發(fā)了被試的應(yīng)激狀態(tài)，以及多感官信息會降低用戶在壓力型虛擬環(huán)境中的感知控制，影響用戶的生理反應(yīng)和負面情緒。在高空行走類任務(wù)中，對比單一視覺、視覺聽覺以及視覺觸覺的交互體驗，視觸覺會導(dǎo)致更低的感知控制、更高的負向情緒得分和更高的沉浸感。同時，本研究驗證了在壓力場景中，感知控制與負面情緒之間的顯著相關(guān)性。對未來多感官信息支持下的虛擬場景設(shè)計，如高空作業(yè)類型的培訓(xùn)、以及高空刺激類游戲的體驗完善等，可提供一定的參考。