李穎潔 李海寶 楊幫華 田豐
1上海大學(xué)上海先進(jìn)通信與數(shù)據(jù)科學(xué)研究院200444;2上海大學(xué)通信與信息工程學(xué)院200444;3上海大學(xué)錢偉長學(xué)院200444;4上海大學(xué)機(jī)電工程與自動化學(xué)院200444;5上海大學(xué)上海電影學(xué)院200072
頭皮腦電是通過電生理方法記錄到的腦細(xì)胞群的自發(fā)性、節(jié)律性電活動。通過分析試驗記錄的腦電來進(jìn)行腦科學(xué)研究是一種常用方法,已廣泛應(yīng)用于神經(jīng)生理學(xué)、心理學(xué)、認(rèn)知神經(jīng)科學(xué)、神經(jīng)工程等諸多領(lǐng)域[1]。在試驗設(shè)計中,研究人員通常將聲音、文字、二維圖像或視頻作為試驗刺激材料,研究受試者在完成特定任務(wù)時的腦電特征,探究背后的生理意義。但這樣的實驗室研究在某些特定問題上往往和實際生活場景帶給人的感受存在差別,例如在空間記憶研究中,運動和動作對記憶的影響很大,而傳統(tǒng)試驗中被記憶的物體只能呈現(xiàn)于顯示器上,受試者無法真正行走,使得研究結(jié)果的有效性受到試驗條件的局限[2-3]。虛擬現(xiàn)實(v irtual reality,V R)是指生成的沉浸式三維環(huán)境,使用者可從中體驗類似于現(xiàn)實世界的活動[4]。VR試圖用受試者在計算機(jī)生成的人造三維環(huán)境(VR場景)中的感知替代其在現(xiàn)實世界的感知,且由于VR場景并不一定需要基于現(xiàn)實世界進(jìn)行創(chuàng)建[5],故設(shè)計者可創(chuàng)建出現(xiàn)實中不具備的、受試者想象的場景,以滿足研究的需要[6]。當(dāng)前,腦認(rèn)知科學(xué)領(lǐng)域已開始使用VR技術(shù)來提供研究的場景,Bohil等[7]指出VR越來越多地被神經(jīng)科學(xué)家用來模擬自然事件和社會互動的發(fā)生,與其他神經(jīng)科學(xué)研究和應(yīng)用方法相比,VR可創(chuàng)造互動的多種感覺刺激,因而具有獨特優(yōu)勢。同時,VR技術(shù)已被用于神經(jīng)系統(tǒng)疾病的康復(fù)訓(xùn)練中,以增強(qiáng)傳統(tǒng)心理治療的效果[8]。例如在特殊恐懼癥的暴露治療中,可通過將該人群暴露于其害怕的VR場景中來改善傳統(tǒng)認(rèn)知行為療法的效果[9-10]。此外,也有一些研究利用VR針對特殊環(huán)境提供腦科學(xué)理論支撐,如Occhialini等[11]利用VR創(chuàng)建火災(zāi)場景,結(jié)合腦電研究逃生信號的種類及其放置位置對受試者在火災(zāi)中逃生的影響。對VR環(huán)境帶來行為改變的背后的腦機(jī)制進(jìn)行深入理解,將有利于相關(guān)研究的深入和應(yīng)用方案的精準(zhǔn)設(shè)計與實施。當(dāng)前利用VR沉浸式及可交互性的特點,結(jié)合腦電技術(shù)探究調(diào)節(jié)大腦活動正成為研究熱點[12-14],但尚缺乏相關(guān)的研究綜述。
本文對2000年至2019年間發(fā)表的文獻(xiàn)進(jìn)行了條件檢索,分別于web of science、谷歌學(xué)術(shù)和百度學(xué)術(shù)上鍵入關(guān)鍵詞“virtual reality EEG”、“VREEG”、“virtual reality neuroscience”、“VRneuroscience”進(jìn)行搜索,剔除結(jié)果相同的部分,得到本文的主要參考文獻(xiàn)。在后續(xù)文獻(xiàn)梳理過程中,若搜到符合本文主題的其他文獻(xiàn),也將其納入。最后本文從實驗范式、研究方法以及主要結(jié)果3個方面進(jìn)行綜述,并對未來可能的發(fā)展趨勢作了思考。
根據(jù)實驗范式的特點,VR結(jié)合電腦的研究可分為非交互型和交互型。非交互型研究只記錄特定VR場景下的腦電信息,后續(xù)從分析中獲取特定場景的腦電特征,研究該場景下的神經(jīng)活動特性。在理論研究中,與空間認(rèn)知相關(guān)的研究占據(jù)了主導(dǎo),這類研究的范式往往會在傳統(tǒng)空間認(rèn)知研究的基礎(chǔ)上結(jié)合VR特性進(jìn)行改造。如2006年Baumgartner等[15]第一次使用腦電研究了空間導(dǎo)航中兒童和青少年空間臨在感的差異。Kober和Neuper[16]比較了男女性受試者在VR迷宮中行走時的腦電活動差異。Clemente等[17]將觀看與迷宮中行走任務(wù)相結(jié)合比較無任務(wù)和有任務(wù)情況下空間導(dǎo)航的大腦活動差異。Barbosa等[18]則通過做oddball任務(wù)的同時觀看帶有情緒的VR場景的雙任務(wù)范式研究大腦如何進(jìn)行認(rèn)知分配。在應(yīng)用研究中,研究者通常會選用較成熟的腦電特征。如借助腦電能量和認(rèn)知負(fù)荷之間的關(guān)系,發(fā)現(xiàn)二維桌面呈現(xiàn)的視覺刺激比三維VR需要承受更多的認(rèn)知負(fù)荷[19];利用腦電特征評估基于VR的情緒放松系統(tǒng)的性能[20];通過分析受試者在VR場景中進(jìn)行運動想象時的腦電,探究VR系統(tǒng)對面癱患者的干預(yù)治療作用[21]等。
在交互型研究中,通常需要受試者根據(jù)要求作出反應(yīng),同時采集腦電信號,通過分析腦電特性研究在交互中完成不同任務(wù)誘發(fā)的腦活動特征,即需要受試者與VR場景進(jìn)行交互,而受試者作出的反應(yīng)會實時影響VR場景的內(nèi)容。例如對于采集到的腦電信號,通過特征提取來控制VR場景中虛擬物體的運動[13,22-23]、改變VR場景[24]、改變虛擬人物的動作[25]等,從而有針對性地訓(xùn)練受試者的腦功能。當(dāng)然這種實驗范式對試驗系統(tǒng)有著非常高的要求,例如Shih-Ching等[23]通過腦電控制VR場景中賽車前進(jìn)的速度和方向,則需要系統(tǒng)低延遲、擁有最佳帶寬和最小能耗。
研究VR場景下的腦電信號,采用的分析方法主要包括事件相關(guān)腦動力學(xué)、譜分析和源定位等。此外,隨著交互型研究的深入,通過模式識別對腦電信號進(jìn)行分類也成為不可或缺的一種分析方法。需要說明的是,無論是交互式還是非交互式,均可使用上述方法,方法本身不具有試驗類型的特異性,而具體選用哪種方法要根據(jù)研究目的加以選擇。
事件相關(guān)腦電位(event-related potential,ERP)是從腦電中提取出來的與事件相關(guān)的腦活動,是認(rèn)知神經(jīng)科學(xué)研究的常用方法之一[26]。在VR結(jié)合腦電的研究中,大部分文獻(xiàn)均采用了傳統(tǒng)的ERP分析,即分析ERP成分的潛伏期和幅值[27]。研究通常會選用傳統(tǒng)的ERP研究范式,分析經(jīng)典ERP成分,如認(rèn)知功能研究中多采用P300成分[18,22],情緒調(diào)節(jié)研究中多采用晚期正成分(la te positive potential,LPP)[28]。也有一些研究采用了事件相關(guān)去同步/同步(event-related desynchronization/event-related synchronization,ERD/ER S)分析。ERS代表相對于無事件刺激時基線能量的升高,被認(rèn)為是調(diào)節(jié)感覺過程中皮層興奮性降低;ERD代表相對于基線能量的降低,被認(rèn)為是皮層激活,興奮性增加[29]。例如Baumgartner等[15]通過分析alpha振蕩比較青少年和兒童在同樣VR場景下的臨在感差異。Wamain等[30]通過比較alpha活動的ERD/ERS,研究在近身空間(peripersonal space)中對物體進(jìn)行操控時大腦的運動編碼(m otor coding)。此外,Zhao等[31]以受試者的ERD/ERS為控制參數(shù),使受試者可以控制VR場景中的汽車運動。
事件相關(guān)譜擾動(event-related spectral perturbation,ERS P)也是常見的分析方法之一,其分析誘導(dǎo)的腦電信號的時間和頻率特性,主要應(yīng)用于與運動相關(guān)的研究中。如Wu等[32]利用VR和ERSP研究觸覺刺激對運動訓(xùn)練的作用,通過訓(xùn)練受試者控制虛擬手柄,研究觸覺反饋影響手運動時左右感覺運動皮層的調(diào)節(jié)功能。Yazmir和Reiner[27]讓受試者在VR場景中擊打羽毛球,分析他們擊中成功和失敗時的ERSP,為將來用于訓(xùn)練反饋系統(tǒng)尋找特征指標(biāo)。有文獻(xiàn)報道,借助VR進(jìn)行運動訓(xùn)練已在唐氏綜合征患者中取得了令人振奮的結(jié)果[33]。Lopes等[34]讓唐氏綜合征患兒在VR中做運動訓(xùn)練的同時進(jìn)行經(jīng)顱直流電刺激(transcranial direct current stimulation,tDC S)干預(yù),通過ERSP分析訓(xùn)練時患兒腦活動的平均動態(tài)變化,研究tDCS干預(yù)結(jié)合VR的治療效果。
此外,還有比較ERP的全局能量和腦電地形圖的方法。為了研究人類在空間中快速重定向的神經(jīng)機(jī)制,Torok等[35]讓受試者處于VR迷宮中,試驗開始時受試者所處迷宮的位置為隨機(jī)分配,在此過程中記錄受試者的腦電信號,使用軟件工具隨機(jī)化圖形用戶接口分析比較不同起始位置情況下受試者在迷宮中行走時大腦區(qū)域能量和事件發(fā)生時的地形圖差異。
在搜集的文獻(xiàn)中,無論是交互型還是非交互型,譜分析多用于空間導(dǎo)航的研究中。如對不同類型VR場景中記錄到的腦電進(jìn)行譜分析,結(jié)果發(fā)現(xiàn)在二維VR和三維VR環(huán)境完成空間導(dǎo)航任務(wù)時的腦電表現(xiàn)出不同的譜特性[36-37]。譜分析也被用于特定VR場景中認(rèn)知和情緒的研究,如通過計算alpha波能量,比較二維桌面和三維VR下的注意力[14]和認(rèn)知負(fù)荷[19];通過分析焦慮人群在特定VR系統(tǒng)下的腦電alpha和beta波能量,研究VR對于降低焦慮感所起的作用[38]。在應(yīng)用研究中,訓(xùn)練多動癥患者注意力的VR系統(tǒng)常采用腦電的譜分析結(jié)果作為生理反饋指標(biāo)[24]。
腦電圖源定位是揭示大腦活動皮質(zhì)來源的一類方法,包括最小范數(shù)法、低分辨率電磁層析成像(lowresolution electromagnetic tomography,LORET A)、加權(quán)最小范數(shù)、FFT偶極子近似、焦點欠定系統(tǒng)解、多信號分類、標(biāo)準(zhǔn)化低分辨率層析成像(standardized low-resolution electromagnetic tomograph,sLORET A)等多種方法[39]。在VR結(jié)合腦電的研究中常使用的方法是sLORETA。因分析步驟較復(fù)雜,sLORETA通常于非交互型研究中用作后續(xù)的離線分析。
在空間導(dǎo)航研究中,盡管使用VR結(jié)合神經(jīng)影像學(xué)的研究大大增加了人們對相關(guān)皮層和皮層下機(jī)制的理解,但這些方法均不能直接考察空間導(dǎo)航的神經(jīng)生理學(xué)基礎(chǔ),腦電的源定位方法則填補(bǔ)了這一空白。有研究人員使用sLORETA方法研究在空間導(dǎo)航中相同VR場景下青少年和兒童大腦電活動的差異[15],還有研究者利用該方法研究比較在不同類型VR的空間導(dǎo)航中大腦電活動的發(fā)生機(jī)制[17]。在情緒研究中,研究者也會使用源定位法探究VR情緒場景中與特定情緒相關(guān)的大腦區(qū)域活動[40]。同時,研究者也使用源定位法研究使用VR系統(tǒng)干預(yù)前后受試者的情緒變化。如Tarrant等[38]通過估算前扣帶和后扣帶的電流源密度(current source density)來評價焦慮感;Rodríguez等[41]使受試者處于悲傷VR場景中,分析他們采用不同情緒調(diào)節(jié)策略時的相關(guān)腦電源定位,探討不同策略是如何影響受試者的情緒反應(yīng)。
研究結(jié)果表明,通過提取受試者在VR系統(tǒng)中完成不同類型任務(wù)時的腦電特征,采用模式識別算法可自動識別任務(wù)類型,這種方法在交互型研究中起到了非常重要的作用。例如在基于運動想象的腦機(jī)接口研究中,Ahn和Jun[42]指出未結(jié)合VR運動想象腦機(jī)接口的平均識別成功率為70%,而結(jié)合VR的類似研究可顯著提高識別成功率[43]。有研究針對受試者在駕駛VR場景中的汽車時對紅綠燈的認(rèn)知反應(yīng)進(jìn)行識別,以認(rèn)知成分P300為特征,利用自構(gòu)造神經(jīng)模糊推理網(wǎng)絡(luò)識別的準(zhǔn)確率達(dá)87%[12]。還有研究針對VR場景下的識別任務(wù),使用人工蜂群算法對是否抬起手指的運動想象任務(wù)進(jìn)行識別,平均準(zhǔn)確率達(dá)83.5%~87.1%,優(yōu)于當(dāng)時(2017年)常用的幾種先進(jìn)方法,證明了該算法的可行性[43]。在情緒識別研究中,通過計算受試者觀看帶有情緒的VR場景時的腦電平均相位相干特征對情緒效價和喚醒度的分類準(zhǔn)確率分別在70.00%~75.00%和70.00%~71.21%[44]。
基于特征識別的研究可將基礎(chǔ)研究結(jié)果用于解決實際問題。例如在神經(jīng)反饋系統(tǒng)中,研究結(jié)果表明VR系統(tǒng)可為使用者提供更高的化身感,這種化身感使使用者對于VR場景中的行為具有更強(qiáng)烈的感覺,對應(yīng)的神經(jīng)反饋表現(xiàn)更好[45]。通過判斷駕駛?cè)藛T在VR場景中的狀態(tài)來訓(xùn)練其集中注意力,若ERP結(jié)果顯示駕駛者注意力不集中,則不能通過ERP控制虛擬汽車在VR場景中停止或前進(jìn)[13]。
除了上述幾種方法,還有一些研究使用了其他方法。例如有研究者為了驗證結(jié)合VR、腦電和香薰實現(xiàn)的放松系統(tǒng)的有效性,記錄了受試者在試驗時的腦電,用其alpha和theta頻帶的熵來評估受試者的放松程度[20]。又如在運動想象分類任務(wù)中,由于Higuchi分形維數(shù)和Katz分形維數(shù)(Katz fractal dimention,KF D)在任務(wù)中顯著變化,且KFD不涉及自由參數(shù),計算成本低,比較適合在線提取腦電特征,因此Shih-Ching等[23]采用該法提取腦電特征,用來控制VR場景中與虛擬汽車的交互。此外,還有平均相位相干性,因其對噪聲的魯棒性,被用于VR情緒場景中提取腦電特征來識別情緒[46]。也有研究為了使VR遠(yuǎn)程醫(yī)療反饋系統(tǒng)能自適應(yīng)受試者的差異,使用自定義算法對腦電進(jìn)行特征提取[47]。
筆者搜索到的與腦功能研究相關(guān)的文獻(xiàn)主要包括空間導(dǎo)航能力與臨在感研究、認(rèn)知與注意力研究、運動功能研究以及情緒研究。綜合考慮腦科學(xué)研究中關(guān)注的核心問題[48-49],本文主要選擇從空間導(dǎo)航、運動以及情緒3個方面進(jìn)行論述。
3.1.1 空間導(dǎo)航
對于空間導(dǎo)航的研究主要包括知覺感知、記憶、決策、對地標(biāo)和其他特征的關(guān)注以及對目標(biāo)的短期記憶等[50]。
在知覺感知研究中,Kober和Neuper[16]的研究結(jié)果表明在VR迷宮中找尋指定地點最短路徑的條件下,男性與女性的腦電特性及工作模式不同,女性的theta振蕩高于男性,且對女性來說,高theta能量時任務(wù)行為學(xué)表現(xiàn)更好,男性則相反。由于腦電的theta能量升高反映感覺運動整合能力的增強(qiáng),由此推測女性的感覺運動整合能力高于男性。
在針對地標(biāo)特征的關(guān)注研究中,Torok等[35]首次使用腦電研究了人類的空間重定向問題,結(jié)果顯示,最早在隨機(jī)分配位置事件發(fā)生后100 ms時就會在受試者枕頂葉區(qū)域觀察到快速的重新定向效應(yīng),這意味著盡管傳送具有隨機(jī)性,參與者還是建立了對到達(dá)地點的期望。
VR場景中的空間導(dǎo)航研究還針對其臨在感進(jìn)行探究。例如Baumgartner等[15]通過讓受試者觀看VR場景中的過山車,分析了相同場景下不同受試者的腦電,結(jié)果發(fā)現(xiàn)兒童比青少年的臨在感更高,且相比于不在VR場景中觀看,兒童額區(qū)的腦電活動減弱,青少年額區(qū)的腦電活動增強(qiáng)。
3.1.2 運動
在有關(guān)運動功能的神經(jīng)機(jī)制研究中,研究者借助VR產(chǎn)生運動相關(guān)的場景,重點針對手的運動功能進(jìn)行探討。Wamain等[30]通過VR技術(shù)改變虛擬物體與受試者的距離,讓受試者判斷VR場景中的物體是否可通過手接觸到,并結(jié)合腦電分析研究受試者對近身空間視覺對象的運動編碼,結(jié)果表明在近身空間視覺對象的運動編碼過程中,alpha波ERD/ERS的變化是任務(wù)依賴的。Wu等[32]的研究結(jié)果表明有觸覺刺激參與的反饋影響手運動時左右側(cè)感覺運動皮層beta頻帶的活動。另外,VR結(jié)合腦電的研究還可幫助研究者探究一些臨床治療方法的有效性。例如Kim等[51]綜述了tDCS用于創(chuàng)傷性腦損傷引發(fā)的運動功能問題恢復(fù)的可行性,指出通過ERD的變化來反映大腦活動及功能改變,將VR與tDCS相結(jié)合的任務(wù)導(dǎo)向訓(xùn)練可被視為家庭環(huán)境中的一種有效遠(yuǎn)程康復(fù)工具。Lopes等[34]的研究結(jié)果則表明雖然結(jié)合tDCS在VR中訓(xùn)練唐氏綜合征患兒對組內(nèi)腦電信號有顯著影響,但與偽tDCS組間比較腦電差異無統(tǒng)計學(xué)意義,因此這種影響可能來自“安慰劑”效應(yīng)。
3.1.3 情緒
在情緒研究中,VR更多地被用來提供各種誘發(fā)情緒的場景。Rodríguez等[41]發(fā)現(xiàn)在悲傷VR場景下不同的調(diào)節(jié)策略影響的大腦區(qū)域亦不同,誘發(fā)的情緒下theta頻帶存在明顯差異,右顳葉、前額和扣帶回的活動與悲傷情緒的誘發(fā)有關(guān)。Stolz等[28]研究了安全場景和威脅場景下中性人臉和憤怒人臉分別誘發(fā)的LPP,結(jié)果表明相對于安全場景,威脅場景下的中性臉部表情增加了LPP的幅值,而不論在何種場景下,憤怒的臉部表情均增加了早期LPP的幅值,此研究同時表明VR結(jié)合腦電在情感神經(jīng)科學(xué)研究中具有獨特的優(yōu)勢。
在交互型研究中,研究者往往通過提取腦電特征來控制VR沉浸式場景的變化。Cho等[24]比較了不同頻帶的腦電信號作為控制參數(shù)訓(xùn)練兒童在VR場景中的注意力,發(fā)現(xiàn)beta頻帶作為控制參數(shù)的有效性最高。Bayliss和Ballard[13]使用魯棒卡爾曼濾波器(r obust Kalman filte r)提取腦電特征,并通過2位受試者測試其有效性,結(jié)果表明這2位受試者控制VR中物體的成功率分別達(dá)69%和82%。Herweg等[22]則利用P300在VR系統(tǒng)中訓(xùn)練觸覺,使得受試者能借助ERP控制虛擬輪椅通過行駛路線,準(zhǔn)確率可達(dá)95.56%,表明ERP和VR結(jié)合的有效性。ERD/ERS也可在交互研究中作為參數(shù),Zhao等[31]讓受試者控制虛擬汽車通過指定行駛路線,以ERD/ERS作為控制參數(shù),準(zhǔn)確率范圍為70%~91%。而Shih-Ching等[23]的研究結(jié)果則顯示在VR系統(tǒng)中控制賽車時,使用beta能量和Higuchi分形維數(shù)作為特征的交互結(jié)果優(yōu)于以theta能量和KFD作為特征。
還有一些特殊場景下的研究。例如,Amores等[20]的研究結(jié)果顯示,在VR放松場景使用中、使用后與使用前alpha頻帶和theta頻帶的Renyi熵差異均具有統(tǒng)計學(xué)意義,表明VR放松場景對于受試者有效。有研究者讓受試者在VR火災(zāi)環(huán)境中完成逃生任務(wù),通過分析他們對出口標(biāo)識作出反應(yīng)時的腦電信號,研究不同環(huán)境、不同出口標(biāo)識種類及其放置位置對受試者的影響,結(jié)果發(fā)現(xiàn)上述參數(shù)均會影響最終逃生任務(wù)的完成[11]。因此,可通過研究VR火災(zāi)發(fā)生時安全標(biāo)識種類及其放置情況對腦電信號的影響進(jìn)行安全標(biāo)識的選擇和安放,而無需在實際火災(zāi)中演習(xí)。還有研究者通過分析在VR場景中成功擊中目標(biāo)和未擊中目標(biāo)誘發(fā)的ERP峰值、潛伏期、頭皮信號分布、時頻模式及sLORETA,研究不同行為結(jié)果下的大腦電活動,解決如何為目標(biāo)人群提供行動的預(yù)測結(jié)果并進(jìn)行干預(yù)訓(xùn)練的問題[27]。這些結(jié)果均充分利用了VR的沉浸感帶來的真實感以及腦電對大腦活動的瞬態(tài)反應(yīng),針對現(xiàn)實中很難完成的任務(wù),通過VR進(jìn)行模擬,對于現(xiàn)實應(yīng)用具有重要意義。
VR結(jié)合腦電的研究已被許多試驗結(jié)果證明其優(yōu)越性,在運動、空間導(dǎo)航、情緒、認(rèn)知等領(lǐng)域已取得初步成果,并開始用于臨床研究和治療。
在實驗范式上,各研究領(lǐng)域均有非交互式、交互式以及混合型。未來隨著VR技術(shù)的進(jìn)展以及對VR下腦電特征的深入了解,會形成更多逼真可操控的虛擬場景,為理論研究和應(yīng)用提供支撐。
在研究方法上,VR結(jié)合腦電的研究多采用傳統(tǒng)分析方法,尚缺乏不同方法之間的對比研究。在應(yīng)用上,雖涉足廣泛,但因神經(jīng)機(jī)制尚不明晰,多局限于一般的觀看式應(yīng)用,未能很好地發(fā)揮VR和腦電結(jié)合的優(yōu)勢。
此外,雖然由于存在感和沉浸感的優(yōu)點,三維VR在腦功能研究領(lǐng)域已得到應(yīng)用并取得了相關(guān)結(jié)果,但目前仍存在技術(shù)上的一些問題,如一些受試者在VR場景中會不同程度地感到惡心、眩暈、疲勞或頭痛,這些均會直接影響腦電結(jié)果[52]。因此,尋找技術(shù)解決方案將是VR技術(shù)工程師提高VR適用性的一個重要挑戰(zhàn)??傊?,隨著VR設(shè)備的逐漸更新及其交互性、便捷性的不斷提高,VR結(jié)合腦電的研究也將越來越深入。
利益沖突所有作者均聲明不存在利益沖突