孫勁男 張山根 高小榕
(清華大學(xué)醫(yī)學(xué)院生物醫(yī)學(xué)工程系,北京 100084)
腦機接口和神經(jīng)調(diào)控是未來實現(xiàn)腦機交互缺一不可的兩個重要組成部分,近來關(guān)于神經(jīng)信號的解讀取得了不少突破性的進展,而神經(jīng)調(diào)控方面依然有很大的研究潛力。
在腦電圖(electroencephalogram, EEG)中可以觀察到各個頻段的振蕩,而這些振蕩一直都是EEG研究的熱點。隨著研究的深入,各個節(jié)律對人的作用和影響也逐漸被發(fā)現(xiàn)。神經(jīng)振蕩最早是由Hans Berger在1929年發(fā)現(xiàn)的[1],但是其確切的生理功能至今仍然有待研究。神經(jīng)振蕩的作用可能包括特征綁定、信息傳遞以及節(jié)律運動輸出等,但到目前為止,仍然缺乏實驗證據(jù)來說明神經(jīng)振蕩的確切功能,因此還無法對神經(jīng)振蕩的作用做出一個完善的解釋。神經(jīng)科學(xué)對這一神經(jīng)現(xiàn)象的研究重點在于確定神經(jīng)振蕩源頭以及神經(jīng)振蕩的功能,以便更進一步地調(diào)控振蕩的某些特性,從而實現(xiàn)腦功能上目的性的改變。
在神經(jīng)振蕩中,最為人所熟知的宏觀神經(jīng)振蕩活動就是alpha波振蕩。Alpha波振蕩的起源被認(rèn)為和丘腦皮質(zhì)結(jié)構(gòu)有關(guān)[2-7],越來越多關(guān)于alpha波振蕩功能的研究指出alpha波振蕩作為一種人腦的主要振蕩起著“抑制”的作用[6]。當(dāng)然,alpha波振蕩在信息傳遞處理中也起著重要的作用,更有研究表明,alpha波振蕩的中心頻率與完成任務(wù)的能力和認(rèn)知狀態(tài)有著密切關(guān)系[3]。鑒于alpha波振蕩具有抑制任務(wù)不相關(guān)腦活動的作用,因此它與注意力也有著相當(dāng)密切的關(guān)系。
神經(jīng)反饋訓(xùn)練(neurofeedback training, NFT)作為一種操作性生物反饋調(diào)節(jié)方法,可以控制或改變這些神經(jīng)振蕩,從而影響人的行為表現(xiàn)。根據(jù)加拿大心理學(xué)家赫布(Donald Olding Hebb)提出的學(xué)習(xí)規(guī)則[8],特定神經(jīng)元(突觸)組若經(jīng)常激活,則其功能連接也會得到加強,甚至形成新的回路。而長久不活躍的神經(jīng)元或回路將逐漸衰退,這也是神經(jīng)可塑性的核心理論之一,是神經(jīng)反饋訓(xùn)練的生理基礎(chǔ)。目前,神經(jīng)反饋訓(xùn)練已有多種應(yīng)用場景[9],如治療注意缺陷多動障礙[10-11]、癲癇[12]、亨廷頓病[13]、提高認(rèn)知能力[14-15]和加強情緒和行為控制的自我調(diào)節(jié)[16]。
穩(wěn)態(tài)視覺誘發(fā)電位(steady-state visual evoked potential, SSVEP)作為腦機接口的經(jīng)典范式,有著諸多應(yīng)用場景,也是腦機接口發(fā)展中重要的一環(huán)。SSVEP可以理解為一種自發(fā)的鎖相刺激響應(yīng)振蕩,常用信噪比去評價其信號質(zhì)量。盡管經(jīng)過幾十年的研究,SSVEP腦機接口的使用技能表現(xiàn)依然有著被試和算法依賴性。綜上所述,本研究希望探索一種神經(jīng)調(diào)控方法,以提升注意和SSVEP腦機接口使用技能。
為了后續(xù)可以通過神經(jīng)反饋訓(xùn)練的方式對注意力進行調(diào)節(jié),從而實現(xiàn)增強任務(wù)執(zhí)行能力的目標(biāo),首先要針對注意模式的一些基本規(guī)律進行研究。這部分將在一個高注意需求的實驗任務(wù)中探究注意的一些網(wǎng)絡(luò)性質(zhì)和高注意狀態(tài)的可用特征。
1.1.1實驗設(shè)計
實驗的總體流程是:被試者注意屏幕上的RSVP刺激,并持續(xù)保持尋找目標(biāo)狀態(tài)。本實驗中,視覺RSVP刺激的目標(biāo)和非目標(biāo)分別是有人的照片和無人的街景照片,即被試者需要持續(xù)注意尋找人物。在被試者注視刺激的過程中,記錄腦電信息以備分析。每個試次設(shè)計為100張圖片以10 Hz的速度呈現(xiàn),其中有2~3張目標(biāo);且目標(biāo)不會出現(xiàn)在前15張和最后15張里面,目標(biāo)與目標(biāo)之間至少間隔15張圖。在刺激的呈現(xiàn)過程中,為了使被試者處于不同的注意程度,一些試次的圖片被增加了加性噪聲。在這個實驗中,刺激物被添加了4種不同程度的噪聲(加清晰圖片共5種噪聲程度),具體的處理細節(jié)在下面詳述。在實驗中,每個噪聲程度進行40個試次,全實驗共計200個試次,分為4個block完成,整個進程大約耗時1.5 h。
1.1.2被試群體
本實驗共有30名受試者參與,他們均視力正?;虺C正視力正常,且無癲癇或其他易誘發(fā)疾病,適合參與腦電實驗。所有參與者均簽署了實驗知情同意書并承諾積極配合實驗,同時該項目也通過了清華大學(xué)醫(yī)學(xué)院倫理委員會的審查。最終采集到的可用數(shù)據(jù)樣本包括30名受試者,其中15名女性和15名男性,平均年齡(24.02±7.31)歲。
1.1.3腦電記錄
本實驗記錄了64導(dǎo)腦電數(shù)據(jù)(AF3/4, AF7/8, Fp1/2, FPz, Fz, F1/2, F3/4, F5/6, F7/8, FC1/2, FC3/4, FC5/6, FCz, FT7/8, Cz, C1/2, C3/4, C5/6, T3/4, T7/8, TP7/8, CP1/2, CP3/4, CP5/6, Pz, P1/2,P3/4, P5/6, P7/8, PO3/4, PO5/6 PO7/8, POz, Oz, O1/2, CB1/2)且定位符合國際10-20標(biāo)準(zhǔn),參考電極為CPz。記錄采用的腦電設(shè)備為Neuroscan公司生產(chǎn)的 SynAmps RT 64-channel無線腦電放大器,采樣頻率為1 kHz。實驗中所有的電極阻抗均降到10 kΩ以下,且采集過程在電磁屏蔽室中進行,外界電磁干擾得到有效抑制。
1.1.4信息計算
整個大腦可以視作一個復(fù)雜的網(wǎng)絡(luò),而每一個腦區(qū)(神經(jīng)細胞群)和神經(jīng)連接可以分別被視為一個節(jié)點和一個邊緣。傳統(tǒng)的網(wǎng)絡(luò)分析方法有典型相關(guān)分析(canonical correlation analysis, CCA)和有向傳遞函數(shù)(directed transfer function, DTF)。在本研究中,使用了有向傳遞函數(shù),而有向傳遞函數(shù)和信息流是使用eConnectome工具箱[17-19]進行計算的。有向傳遞函數(shù)DTF的計算是基于Granger因果發(fā)展過來的,其核心理念是多元自變量回歸模型,加之腦電數(shù)據(jù)的時序特征便可以整理出不同位置之間的信息流動。
根據(jù)Kaminski的推導(dǎo)[20],DTF計算過程如下:
X=[x1(t),x2(t),…,xn(t)]T
(1)
式中,X為腦電數(shù)據(jù),x為不同導(dǎo)聯(lián)的信號,n為最大導(dǎo)聯(lián)序號,t為時間。
將式(1)用多變量自回歸模型(multi-variate auto regressive, MVAR)進行擬合如下:
(2)
式中:A為多元自變量回歸模型參數(shù),且理論上可認(rèn)為得到的E為一個多變量零均值的白噪聲;q為擬合階次,該參數(shù)會在一定程度上影響擬合效果。
為了計算的便利,通常會把式(2)轉(zhuǎn)換到頻域,其中多變量自回歸參數(shù)模型的頻域表示如下:
X(f)=A-1(f)E(f)=H(f)E(f)
(3)
根據(jù)系統(tǒng)的定義,可將H(f)視為系統(tǒng)的傳遞矩陣,而在有向傳遞函數(shù)的計算過程中,H(f)的實際意義為兩個導(dǎo)聯(lián)之間的信號連接強度,有
(4)
連接矩陣H(f)包含了整個網(wǎng)絡(luò)所有的信息傳遞特征,根據(jù)定義,有向傳遞函數(shù)DTF如下:
θ2(f)=|Hij(f)|2
(5)
(6)
(7)
參照文獻[21]中的定義,本研究還計算了信息流增益ρ,即將ρ定義為流出信息與流入信息之比,有
(8)
在節(jié)點處,ρ值越大,表示該節(jié)點在網(wǎng)絡(luò)信息傳輸中的貢獻越顯著;ρ值越小,表示該節(jié)點對網(wǎng)絡(luò)信息傳輸?shù)呢暙I越小。
1.1.5假設(shè)檢驗
該實驗的目的是人為設(shè)置不同難度的任務(wù),以期得到同一范式下包含不同程度注意的腦電數(shù)據(jù)。為此,需要先對這一假設(shè)進行驗證才能進行后續(xù)處理。本研究基于Keras(https://keras.io/),簡單搭建了一個3層全連接網(wǎng)絡(luò)來進行四分類計算,以檢驗數(shù)據(jù)的有效性。
采集到的數(shù)據(jù)原始形態(tài)是30(被試數(shù)量)×4(不同注意程度)×40(每種模糊程度的試次數(shù))。經(jīng)過簡單的0.5~60 Hz帶通,并按照上面介紹的網(wǎng)絡(luò)信息流計算方式進行整理,得到了30×29×62×62的一個四維信息傳遞矩陣。其中,第1個維度是30個被試(樣本數(shù)),第2個維度是計算了29個頻帶的信息傳遞(2~30 Hz),第3、4維度是導(dǎo)聯(lián)數(shù)。
經(jīng)過整理,本研究將原始的30×29×62×62的四維特征矩陣整理成30(被試數(shù))×4(特征)的數(shù)據(jù)體如下:作為輸入去進行四分類,即將所有被試的4種注意程度數(shù)據(jù)放在一起分析,樣本量為120。這個數(shù)量相對于人工網(wǎng)絡(luò)來談不上充足,但由于腦電數(shù)據(jù)的獲取成本較高,這里每次將30個樣本分為28/2,分別作為訓(xùn)練集和測試集。訓(xùn)練和測試共分為15輪,即每一輪中訓(xùn)練樣本有112個,而測試樣本有8個。這樣,每一個樣本都有機會作為訓(xùn)練樣本和測試樣本,保證了結(jié)果的公平性。最終,四分類的準(zhǔn)確率用所有輪次準(zhǔn)確率的均值進行計算。
1.2.1實驗設(shè)計
根據(jù)對照實驗原理,整個實驗將被試者隨機分成兩組,即神經(jīng)反饋訓(xùn)練組和空白對照組。他們都要先接受基于SSVEP的腦機接口的使用測試,兩個月后會再接受一次相同的測試。實驗組與對照組的區(qū)別是:實驗組在中間的兩個月內(nèi)要進行神經(jīng)反饋訓(xùn)練,而對照組則不會進行任何與神經(jīng)反饋相關(guān)的訓(xùn)練。實驗組和對照組的被試者們只是被告知需要協(xié)助參與實驗,對實驗的分組情況并不知曉。
對于神經(jīng)反饋訓(xùn)練組的每個受試者,整個訓(xùn)練過程耗時兩個月,共計24次訓(xùn)練。參與者每周內(nèi)會接受3次、每次約1 h的訓(xùn)練,并且每兩次訓(xùn)練之間至少要間隔1 d。在每次訓(xùn)練中,受試者被要求玩一個基于腦電的反饋游戲。為了驗證該訓(xùn)練方法的穩(wěn)定性,將實驗組的兩次SSVEP腦機接口使用表現(xiàn)測試分別安排在第1次訓(xùn)練的10 d前和最后一次訓(xùn)練的10 d后。此外,使用在注意領(lǐng)域研究公信力比較好的IVA-CPT量表,對實驗組訓(xùn)練前后進行了靜息態(tài)的注意連續(xù)性測試。
1.2.2被試群體
本實驗共有47名受試者參與,他們被隨機地分成了兩組,其中神經(jīng)反饋訓(xùn)練組共有25人,而空白對照組共有22人。這些被試者均是視力正常或矯正視力正常,且無癲癇或已知的其他疾病。所有參與者的監(jiān)護人均簽署了實驗知情同意書。同時,該項目也通過了清華大學(xué)醫(yī)學(xué)院倫理委員會的審查。最終采集到的可用數(shù)據(jù)樣本包括:實驗組24名受試者,其中6名女性和18名男性,平均年齡(9.42 ± 2.58)歲;對照組22名受試者,其中8名女性和14名男性,平均年齡(9.86±3.14)歲。正如Van Praag的實驗表明,衰老導(dǎo)致海馬體的變化,可能導(dǎo)致老年人的認(rèn)知能力和神經(jīng)可塑性下降[22]。因此,本研究考慮到青少年大腦更具神經(jīng)可塑性,選擇了兒童受試參加神經(jīng)反饋訓(xùn)練。
1.2.3腦電記錄
本實驗記錄了64導(dǎo)腦電數(shù)據(jù)(AF3/4, AF7/8, Fp1/2, FPz, Fz, F1/2, F3/4, F5/6, F7/8, FC1/2, FC3/4, FC5/6, FCz, FT7/8, Cz, C1/2, C3/4, C5/6, T3/4, T7/8, TP7/8, CP1/2, CP3/4, CP5/6, Pz, P3/4, P5/6, P7/8, PO3/4, PO5/6 PO7/8, POz, Oz, O1/2, HEOL, HEOR, ECG, VEOL, VEOU),且定位符合國際10-20標(biāo)準(zhǔn),參考電極為CPz。記錄采用的腦電設(shè)備為博睿康公司生產(chǎn)的NeuSen.W64無線腦電放大器,采樣頻率為1 000 Hz。實驗中所有的電極阻抗均降到10 kΩ以下,且采集環(huán)境為自然環(huán)境,沒有外加電磁屏蔽。
1.2.4刺激范式
該處理系統(tǒng)由刺激顯示、腦電采集裝置和處理計算機組成。刺激裝置采用華碩MG279Q 27英寸顯示屏,分辨率2 560像素×1 440像素,刷新率144 Hz。處理設(shè)備為Intel i9-9 900 K@3.6 GHz CPU和DDR4 32 GB內(nèi)存。刺激和處理程序是在Matlab 2015a(http://www.mathworks.com)和Psychophysics Toolbox Version 3(http://psychtoolbox.org/)下開發(fā)的。
在實驗過程中,刺激設(shè)備負責(zé)呈現(xiàn)多目標(biāo)閃爍刺激,并在每一個試次開始和結(jié)束時,分別向腦電采集器發(fā)送一個Start Trigger和一個End Trigger信號。處理設(shè)備從腦電放大器實時接收腦電數(shù)據(jù),在滿足刺激停止條件時向刺激器發(fā)送Stop Trigger指令,并在完成識別后將結(jié)果反饋至刺激設(shè)備。
在SSVEP測試中,使用了基于頻率和相位的混合調(diào)制編碼(頻率范圍為8~15.8 Hz,頻率間隔為0.2 Hz)的40目標(biāo)SSVEP拼寫器[23]。屏幕中設(shè)置共40個刺激目標(biāo)塊,分別表示A~Z共26個字母、0~9共10個數(shù)字,以及空格、逗號、句號及退格鍵。在實驗中,各個刺激目標(biāo)均采用采樣正弦采樣方法構(gòu)造生成[24-25]。在整個SSVEP-BCI任務(wù)中,為了保證受試者的實際狀態(tài)和數(shù)據(jù)的有效性,工作人員要求每個受試者分成6組完成(每組40個試次)。參與者可以選擇在兩組之間休息,以發(fā)揮他們的最佳水平。因此,整個測試大約需要40 min。
1.2.5Alpha頻帶能量比
研究中采用了提高頂葉alpha頻帶(8~12 Hz)能量的神經(jīng)反饋訓(xùn)練方法,需要計算alpha頻帶的功率以檢驗訓(xùn)練效果。由于alpha頻帶振幅的絕對值受被試者的當(dāng)前狀態(tài)和環(huán)境的影響,因此在不同的試次中它們是不具有可比性的。為了比較神經(jīng)反饋訓(xùn)練前后的差異,計算alpha頻段與0.8~20 Hz頻段的功率比值,以表征alpha振幅是否得到提高,有
X(f)=fft(X)
(9)
(10)
(11)
(12)
圖1 神經(jīng)反饋訓(xùn)練交互界面中3種不同的游戲模式。(a)吃豆子;(b)開飛機;(c)賽車Fig.1 Three different game modes in neurofeedback interface. (a) Pacman; (b)Airplane; (c)Racing
式中,P1和P2表示alpha頻帶和全頻帶的功率,X表示腦電信號,f表示頻率。
靜息狀態(tài)數(shù)據(jù)通過2 min睜眼和2 min閉眼的實驗獲得。閉眼數(shù)據(jù)共12萬個采樣點,采樣率為1 kHz,頻域分辨率為1/12 Hz。
1.2.6量化計算
整個在線測試(實時反饋結(jié)果)分為6個block。前4個block使用3~4 s動態(tài)窗口,并使用濾波器組典型相關(guān)分析(filter bank canonical correlation analysis,F(xiàn)BCCA)算法進行分類[26]。最后兩個block使用1~2 s的動態(tài)窗口,并應(yīng)用任務(wù)相關(guān)成分分析(task-related component analysis,TRCA)算法進行分類[27],其中TRCA是一種有訓(xùn)練算法,其訓(xùn)練數(shù)據(jù)來源于前4個block。以此種形式安排,每一目標(biāo)可以獲得6個試次的有效數(shù)據(jù)。
腦機接口的使用效果主要有3個經(jīng)典的評價指標(biāo),即準(zhǔn)確率、信噪比和信息傳輸率。計算枕區(qū)9個導(dǎo)聯(lián)的平均信噪比(PO3/4,PO5/6,PO7/8,Oz,O1/2)、信息傳遞率(ITR)和準(zhǔn)確率,并用這些指標(biāo)來評價受試者的SSVEP腦機接口使用表現(xiàn)。
在信噪比的實際計算中,可以根據(jù)工程需要,對信號和噪聲進行靈活的頻帶定義。在這項研究中,信噪比(SNR)被用作評價SSVEP腦機接口性能的指標(biāo)。使用SNR作為評價指標(biāo)之一,可以最小化背景EEG活動對結(jié)果的影響。因此,這里定義信號的功率為以刺激頻率為中心的一個窄帶內(nèi)((f± 0.2) Hz)的功率,同時寬帶((f± 1) Hz)內(nèi)的功率被認(rèn)為是噪聲,有
X(f)=fft(X)
(13)
ITR=(log2N+A×log2(A)+
(1-A)×log2(1-A/N-1))×60/T
(14)
(15)
(16)
(17)
(18)
在上面的公式中,N是總目標(biāo)數(shù),A表示準(zhǔn)確度,T表示單目標(biāo)識別所需的時間,X表示腦電信號,f表示頻率。
1.2.7反饋程序
結(jié)合前置實驗的研究結(jié)果,筆者認(rèn)為頂葉在視覺任務(wù)中可作為網(wǎng)絡(luò)的中心,并具有引導(dǎo)注意的效用。結(jié)合前人的研究結(jié)果[7],本研究中神經(jīng)反饋訓(xùn)練的位置選擇在頂葉,并在頂葉中選擇alpha波幅值最低的一個導(dǎo)聯(lián)進行調(diào)節(jié)(FC1/2、FCz、C1/2、Cz、CP1/2中靜息態(tài)alpha波幅度最低的一個)。選擇的電極因受試者而異,每次訓(xùn)練只針對一個電極位置,以便更好地觀測結(jié)果。關(guān)于訓(xùn)練頂葉的效果,會在后面的結(jié)果部分進行驗證。
考慮到兒童的神經(jīng)可塑性更強,所以被試者選擇了7~12歲的小學(xué)生。為了吸引他們的興趣,使其能更好地配合實驗,神經(jīng)反饋交互界面被設(shè)計成游戲的形式(見圖1)。該程序有3種可供選擇的形式:吃豆子(一個小人在給定的路線上吃豆子)、開飛機(駕駛飛機在給定的路線上飛行)和賽車(駕駛汽車在給定的路線上行駛)。這3種模式的操作方法是一致的,即設(shè)定一個反饋參數(shù)閾值(計算方式下面詳細介紹),并實時檢測使用者對應(yīng)的腦電參數(shù)。當(dāng)檢測到的參數(shù)高于閾值時游戲會持續(xù)進行,而一旦某時刻腦電參數(shù)低于給定的閾值則游戲就會暫停。這時候指導(dǎo)員會告知被試者集中注意,并引導(dǎo)他們調(diào)整狀態(tài),使游戲持續(xù)下去。如此循環(huán)強化,被試者就逐漸掌握了自行調(diào)節(jié)的方式。
反饋參數(shù)的設(shè)定分為反饋頻率設(shè)置和反饋幅度設(shè)置兩部分。在正式訓(xùn)練開始之前,被試者會在alpha頻帶(8~12 Hz)內(nèi)測試不同的反饋頻率(如8.2、9.4 Hz等)。設(shè)定成功率(神經(jīng)反饋訓(xùn)練)能夠達到60%~70%的頻率作為反饋頻率。對于振幅,也使用同樣的設(shè)定方法。研究發(fā)現(xiàn),當(dāng)反饋幅度設(shè)置為受試者閉眼alpha幅度的0.2~0.3倍時,反饋訓(xùn)練的成功率也在60%~70%。此外,隨著訓(xùn)練的進行,可根據(jù)反饋的成功率(通常是提高反饋頻率)適當(dāng)?shù)卣{(diào)整反饋參數(shù)。
實時采集到的腦電數(shù)據(jù)會首先通過一個帶通濾波器(0.5~40 Hz),實時反饋系統(tǒng)的采樣率為1 kHz,而計算時采樣率降采樣到250 Hz。計算窗長度為2 s,相鄰窗間重疊50%,數(shù)據(jù)更新時間不超過1 s。按照此參數(shù),每次有2 000個點用來計算采樣參數(shù),所有涉及功率譜的計算均采用Welch方法。
1.2.8程度測試
視聽覺整合持續(xù)表現(xiàn)測試(integrated visual and auditory continuous performance test,IVA-CPT)是一種測試被試者持續(xù)注意程度的工具[28],它是由John Sandford(心理學(xué)家)和Anne Turner(醫(yī)生)開發(fā)的。最初的測試包括一串呈偽隨機排列的聽覺和視覺刺激(總共500個試次),之后會要求受試者找出他們聽到或看到的目標(biāo)。整個試驗持續(xù)約40 min,本研究選擇了其中一部分(100個試次)來測試受試者。受試者會在指導(dǎo)員的引導(dǎo)下按照要求填寫一份紙質(zhì)的質(zhì)量表。這個測試是一個實時的任務(wù),包括重復(fù)的聽覺和視覺刺激。在測試過程中,指導(dǎo)員會引導(dǎo)受試者觀察量表上的一系列圖形和文本,受試者也會聽一篇包含隱含信息的短文。之后工作人員會要求參與者提供相關(guān)的信息,并在量表上回答問題。該測試通常用于檢測神經(jīng)反饋訓(xùn)練或藥物治療的有效性。
1.2.9結(jié)果檢驗
通過噪聲RSVP實驗的結(jié)論設(shè)計了神經(jīng)反饋增強實驗,在后續(xù)實驗結(jié)果部分,將從神經(jīng)反饋訓(xùn)練結(jié)果、注意測試結(jié)果和腦機接口測試結(jié)果3個角度評價實驗方法的有效性。其中,神經(jīng)反饋訓(xùn)練結(jié)果即訓(xùn)練前后對應(yīng)位置alpha頻帶能量。腦機接口使用測試將通過準(zhǔn)確率、信息傳輸率和信噪比來評價,詳細的數(shù)據(jù)結(jié)果將在實驗結(jié)果部分進行展示。
1.2.10統(tǒng)計學(xué)分析
對實驗組的神經(jīng)反饋訓(xùn)練結(jié)果(alpha頻帶能量)、注意力測試結(jié)果(行為學(xué)測試得分)、腦機接口測試準(zhǔn)確率、信息傳輸率和信噪比進行了統(tǒng)計學(xué)分析和檢驗。分別計算了相關(guān)數(shù)據(jù)的均值和標(biāo)準(zhǔn)差,并對以上有前后對比的數(shù)據(jù)組進行配對樣本t檢驗,詳細的計算結(jié)果描述在本文的結(jié)果部分。
2.1.1不同數(shù)據(jù)的假設(shè)檢驗結(jié)果
在不同注意模式的隨機分類問題中,先前的假設(shè)是數(shù)據(jù)包含4種不同程度的注意樣本。在進行了四分類預(yù)測后,15輪結(jié)果的平均準(zhǔn)確率為62.5%。假使是完全隨機四分類,其準(zhǔn)確率應(yīng)該是25%,而得到結(jié)果的62.5%是遠遠大于25%的??梢?,先前的假設(shè)是成立的,數(shù)據(jù)的確包含4種不同的模式,并不是隨機的。
而其混淆矩陣結(jié)果(經(jīng)過歸一化處理)如圖2所示。可以看到,在大部分預(yù)測正確的情況下,錯誤預(yù)測主要集中在鄰近模式上。
圖2 假設(shè)檢驗的歸一化混淆矩陣Fig.2 Normalized confusion matrix for hypothesis testing
2.1.2注意網(wǎng)絡(luò)的信息分析結(jié)果
首先取一個試次開始后的第 2 s內(nèi)的數(shù)據(jù)(開始trigger后的2 000~3 000個采樣點),再取10個同注意程度試次的同時間數(shù)據(jù)進行疊加(疊加會抵消噪聲和隨機成分,固定模式則會被留下)。根據(jù)疊加得到的時域數(shù)據(jù)計算其有向傳遞函數(shù),再對得到的結(jié)果進行規(guī)定頻帶內(nèi)的求和,如此計算可得到注意的網(wǎng)絡(luò)節(jié)點權(quán)重(全部被試均按照此步驟進行處理),如圖3所示??梢钥吹?,注意網(wǎng)絡(luò)中節(jié)點與節(jié)點之間有著非常豐富的信息流動,而頂葉(FC1,F(xiàn)Cz,F(xiàn)C2,C1,Cz,C2,CP1,CP2)在整個網(wǎng)絡(luò)中起著重要作用,圖中節(jié)點的大小則代表了節(jié)點的ρ值。節(jié)點的ρ值越高,表示節(jié)點對網(wǎng)絡(luò)信息傳輸?shù)呢暙I越顯著。
圖3 注意網(wǎng)絡(luò)的信息連接。(a)注意狀態(tài)下的網(wǎng)絡(luò)信息連接;(b)在網(wǎng)絡(luò)中重要節(jié)點的位置Fig.3 Information connection of attention network. (a) Information connection in attention state. (b)The position of important nodes in the network
分析頻帶能量發(fā)現(xiàn),隨著注意程度的提高,頂葉(FC1,F(xiàn)Cz,F(xiàn)C2,C1,Cz,C2,CP1,CP2疊加平均)alpha頻帶(8~12 Hz)能量也會提高。圖4中每種注意程度的均值和標(biāo)準(zhǔn)差如表1所示。由統(tǒng)計結(jié)果可知,頂葉alpha頻帶能量隨注意程度的提高而提高, 且能量標(biāo)準(zhǔn)差也隨著注意程度的提高而增大。
表1 不同注意程度下頂葉alpha頻帶能量
圖4 頂葉alpha頻帶能量隨注意的變化(每條曲線代表一名被試)Fig.4 Variation of alpha power in the parietal lobe with attention(each curve represents a subject)
2.2.1神經(jīng)反饋訓(xùn)練結(jié)果
神經(jīng)反饋組包含24名參與者,他們都在兩個月內(nèi)各完成了24次訓(xùn)練(共計24 h)。在這些參與者中,91.7%的人訓(xùn)練成功(共計22人),如圖5所示。訓(xùn)練成功,即訓(xùn)練后受試者的alpha頻帶能量比訓(xùn)練前更高。在圖6中,24名受試者訓(xùn)練前后的平均alpha頻帶能量比分別為32.93% ± 10.61%和38.58% ± 12.12%。因此,訓(xùn)練使alpha頻帶能量比相對提高了17.16%,配對樣本t檢驗呈現(xiàn)顯著差異(P=0.000 15)。
圖5 實驗組訓(xùn)練前后alpha頻帶能量對比Fig.5 The alpha band power of experimental group brfore and after training
圖6 實驗組訓(xùn)練前后alpha頻帶能量的統(tǒng)計差異(**表示具有顯著性差異)Fig.6 Statistical difference of alpha band power before and after training in the experimental group(** indicates a significant difference)
2.2.2注意力測試結(jié)果
基于大量現(xiàn)有研究的結(jié)論[29],alpha頻帶與注意力密切相關(guān),提高alpha頻帶振幅可以提高注意力。在本研究中,使用經(jīng)典的注意可操作性測驗(IVA-CPT)來檢測訓(xùn)練對注意的影響。實驗組共有24名受試者在訓(xùn)練前后分別接受測試,測試結(jié)果與Kim實驗中6~15歲兒童的測試數(shù)據(jù)行程對照參考[30]。Kim的研究以相同的標(biāo)準(zhǔn)行為測試了100名健康兒童,由于本研究中的評分范圍為0~10(10分為最佳),所以將他們的分?jǐn)?shù)(原始分?jǐn)?shù)范圍為0~155)也映射到0~10進行比較。統(tǒng)計結(jié)果如表2所示,每項得分為0~10分。在表2中,訓(xùn)練前7個項目的平均值為5.33 ± 0.97,訓(xùn)練后項目的平均得分為6.76 ±1.02,結(jié)果經(jīng)過配對樣本t檢驗,具有顯著性差異(t=23,P=0.001 72)。這表明,訓(xùn)練對視覺和聽覺的注意有顯著的改善。
表2 訓(xùn)練前后注意力測試Tab.2 Attention test table before and after training
2.2.3腦機接口使用結(jié)果
通過神經(jīng)反饋訓(xùn)練提升穩(wěn)態(tài)視覺誘發(fā)電位腦機接口的使用表現(xiàn),是這項研究的目標(biāo)之一,本部分將從準(zhǔn)確率、信息傳輸率和信噪比3個角度展示神經(jīng)反饋訓(xùn)練的提升效果。綜合來看,訓(xùn)練使得87.5%的使用者SSVEP腦機接口的使用表現(xiàn)有所提高。
2.2.3.1 準(zhǔn)確率結(jié)果
每一名受試者在每一次SSVEP-BCI測試中都完成了6個block共計240個試次,而這6個block的平均準(zhǔn)確率則被記錄下來作為參考比較的標(biāo)準(zhǔn),如圖7所示。結(jié)果表明,就準(zhǔn)確率而言,實驗組的24人里有19個人在訓(xùn)練后有所提高。也可以看到,另外5個沒有提高的被試在第一次測試時就已經(jīng)達到了90%以上的準(zhǔn)確率。這些被試訓(xùn)練前的準(zhǔn)確率為78.93%±0.14%,而訓(xùn)練后的平均準(zhǔn)確率為83.65%±0.14%,經(jīng)過配對樣本t檢驗存在顯著差異(P=0.000 49)。反觀控制組,他們在第1次測試時的準(zhǔn)確率為79.02%±0.15%,而第2次測試為79.41%±0.17%,幾乎沒有差異。
圖7 實驗組與對照組前后兩次測試準(zhǔn)確率對比(*表示具有統(tǒng)計學(xué)差異,紅點表示離群點)Fig.7 The accuracy in two tests of experimental group and the control group (* indicates the significant difference and the red dot indicates the outlier)
2.2.3.2 信息傳輸率結(jié)果
計算各位受試者每一次使用SSVEP腦機接口時的信息傳輸率。實驗組24名受試者在訓(xùn)練前的SSVEP-BCI平均ITR為103.21±28.49,訓(xùn)練后的ITR為119.35 ± 25.14,平均提高了15.6%,如圖8所示。經(jīng)配對樣本t檢驗,該結(jié)果具有顯著性差異(P=0.049 4)。而對照組兩個月前第一次測試的時候平均ITR為119.13±23.27,第二次測試時為113.06±27.01。值得注意的是,實驗組的3名受試者在第一次測試中達到較高水平,而訓(xùn)練后的成績指數(shù)下降也屬于正常波動范圍,因此沒有表現(xiàn)出SSVEP ITR的增加。
圖8 實驗組與對照組前后兩次測試ITR對比Fig.8 The ITR in two tests of the experimental group and the control group
這里嘗試考察訓(xùn)練結(jié)果與信噪比計算結(jié)果之間的關(guān)系。上面提到通過計算訓(xùn)練前后alpha頻帶能量來判定是否訓(xùn)練成功,其中24人中有22名被試訓(xùn)練成功,而訓(xùn)練未成功的兩名被試者的前后測試ITR基本持平。在ITR的散點圖中還可以看到,訓(xùn)練組有3名被試者在訓(xùn)練后ITR有所降低,而他們訓(xùn)練前后的alpha頻帶能量提高幅度也并不大。反觀ITR結(jié)果提升幅度較大的前5名參與者,其訓(xùn)練前后alpha頻帶能量提高程度的排名也均在前列。據(jù)此來看,這里并不能明確給出alpha能量變化和ITR變化之間的量化相關(guān)關(guān)系,但從統(tǒng)計角度來看,二者之間確實具有一定的相關(guān)性。
2.2.3.3 信噪比結(jié)果
信噪比作為衡量信號質(zhì)量的指標(biāo),在工程領(lǐng)域得到了廣泛的應(yīng)用。在本研究中,實驗組79.17%的 SSVEP信號的信噪比有所提高。實驗組受試者訓(xùn)練前的信號平均信噪比為(-15.23±5.91)dB,而訓(xùn)練后這個數(shù)值達到了(-14.72± 4.83) dB。經(jīng)過檢驗,差異具有顯著性(P=0.011 6),圖中*表示存在差異。對照組第一次測試時的平均信噪比為(-15.34±6.15) dB,兩個月后再進行同樣測試,其信噪比為(-15.34±4.62) dB,并沒有變化(見圖9)。神經(jīng)反饋訓(xùn)練使實驗組的信噪比提高了0.50 dB,而未經(jīng)訓(xùn)練的對照組則沒有變化。從信噪比的角度看,訓(xùn)練給SSVEP信號帶來了5.8%的增益。此外,還計算了8個頻段的平均信噪比變化(見圖10)。綜合來看,實驗組被試在每個頻帶的信噪比都有所增加,表明訓(xùn)練帶來的提高在不同的頻帶間沒有特異性。
圖9 實驗組與對照組兩次測試信噪比統(tǒng)計的差異(*表示具有顯著統(tǒng)計學(xué)差異)Fig.9 The statistical difference of SNR between the experimental group and the control group in two tests (*indicates a significant difference)
圖10 實驗組與對照組各頻帶測試平均信噪比Fig.10 The SNR of each frequency band in the experimental group and the control group
本研究還分析了SSVEP的頻率響應(yīng),并選擇了8、9、10、11、12、13、14、15 Hz的平均響應(yīng)來計算響應(yīng)地形圖(見圖11)。在SSVEP頻率響應(yīng)地形圖中,實驗組和對照組在第一次試驗中的反應(yīng)相似,這也是符合常理的??梢钥闯觯诘诙螌嶒炛?,實驗組枕葉以外的區(qū)域響應(yīng)減小、有用信號增強,而對照組的響應(yīng)與第一次時幾乎沒有差異。
研究對兩個月前和兩個月后的SSVEP頻率響應(yīng)進行了配對t檢驗,并將得到的P值繪制成統(tǒng)計地形圖,比例尺范圍為0.2~0。這意味著較暗的區(qū)域具有較小的P值,表示差異較大;而較亮的區(qū)域P值較小,表示沒有差異。可以看出,對照組前后幾乎沒有差異,而實驗組在以下幾個位置有較為明顯的差異,這些位置是AF3、FC4、CP1、Pz、O2(顯著差異)。這些結(jié)果表明,訓(xùn)練使頂葉、枕葉和額葉的活動產(chǎn)生了變化。枕葉區(qū)域的變化是由于信噪比增加,即干擾減??;頂葉的變化可能與神經(jīng)反饋調(diào)節(jié)增強了控制網(wǎng)絡(luò)有關(guān)。至于額葉,差異是由于受試者注意更集中,噪聲更少。
圖11 實驗組與對照組前后兩次測試的信噪比與統(tǒng)計差異地形圖。(a)實驗組訓(xùn)練前;(b)實驗組訓(xùn)練后;(c)實驗組差異;(d)對照組訓(xùn)練前;(e)對照組訓(xùn)練后;(f)對照組差異Fig.11 The topographic map of SNR and statistical difference of the experimental group and the control group in two tests. (a) The experimental group before training; (b) The experimental group after training;(c) The difference in experimental group; (d) The control group before training; (e) The control group after training;(f) The difference in the control group
基于神經(jīng)反饋訓(xùn)練的相關(guān)設(shè)想,本研究證實了上調(diào)頂葉alpha頻帶幅度的神經(jīng)反饋訓(xùn)練的可行性。結(jié)果表明,本研究提出的訓(xùn)練方法可以強化控制網(wǎng)絡(luò),從而提高完成腦機接口任務(wù)的表現(xiàn)水平。同時,設(shè)計的測試量表結(jié)果也證實了該訓(xùn)練對注意提高的有效性。Alpha頻帶能量與諸多腦活動息息相關(guān),其中有研究表明,alpha頻帶能量的提高與電活動的抑制呈正相關(guān)[14, 31],而alpha頻帶能量的降低則反映了抑制的釋放。SSVEP刺激范式的基本原理是刺激目標(biāo)以固定頻率閃爍,并在枕葉誘發(fā)具有穩(wěn)定頻率特征的響應(yīng)。頂葉alpha頻帶活動的增強抑制了任務(wù)無關(guān)信息,從而提高了注意、信號的信噪比和SSVEP性能。然而,在數(shù)據(jù)分析中,alpha頻帶能量、信噪比和ITR的增加之間并沒有明顯的定性對應(yīng)關(guān)系。研究結(jié)果表明,注意網(wǎng)絡(luò)中可能存在一些未知的復(fù)雜因素對任務(wù)及行為進行調(diào)制。
就控制網(wǎng)絡(luò)和功能網(wǎng)絡(luò)而言,以往的研究表明,有大量直接和間接證據(jù)證明控制網(wǎng)絡(luò)和功能網(wǎng)絡(luò)的存在。Foxe和Bauer認(rèn)為,枕頂聯(lián)合系統(tǒng)在視覺注意的引導(dǎo)和維持中起到重要作用,并就此建模進行了研究[32-33]。研究結(jié)果表明,控制網(wǎng)絡(luò)和功能網(wǎng)絡(luò)并不是完全分離的, 而是相互結(jié)合來發(fā)揮作用的。在本研究訓(xùn)練前后SSVEP數(shù)據(jù)的對應(yīng)差異分析中(見圖10),可以看出神經(jīng)反饋訓(xùn)練了影響頂葉、枕葉和額葉。枕葉和額葉的變化,是由于注意程度的提高和信號噪聲的降低。在頂葉觀察到的差異表明,神經(jīng)反饋訓(xùn)練有效增強了控制網(wǎng)絡(luò)的能力。在Srinivasan的fMRI研究[34]中,發(fā)現(xiàn)當(dāng)有視覺輸入時,一些枕區(qū)的體素與形成大規(guī)模功能網(wǎng)絡(luò)的額葉體素活躍度呈正相關(guān)。再加上頂葉對推進視覺刺激的調(diào)節(jié)有著巨大的作用,因此可以認(rèn)為人腦對視覺刺激的響應(yīng)是通過激發(fā)頂葉-枕葉-額葉控制/功能網(wǎng)絡(luò)而產(chǎn)生的。此外,頂枕額區(qū)是一個不可分割的系統(tǒng)。
網(wǎng)絡(luò)連接分析的結(jié)果也證實,在SSVEP視覺任務(wù)中,額葉、頂葉和枕葉是在一個系統(tǒng)中工作的,而頂葉則是信息輸出和傳輸?shù)暮诵臉屑~。從表2和表3可以看出,神經(jīng)反饋訓(xùn)練組訓(xùn)練后頂葉的信息輸出(CP1到O2,CP1到FC4)增加,這也表明了頂葉控制能力增強。
本研究提出了一種神經(jīng)反饋訓(xùn)練方法,并得出以下結(jié)論:提高頂葉alpha頻帶振幅的神經(jīng)反饋訓(xùn)練可以通過抑制干擾來提高注意力,且該神經(jīng)反饋訓(xùn)練方法的效果可以長期穩(wěn)定存在。此外,該方法可以提高SSVEP信號的信噪比和ITR,從而提高基于SSVEP的腦機接口性能。就神經(jīng)機制而言,大腦的工作機制可分為控制網(wǎng)絡(luò)和功能網(wǎng)絡(luò),并可單獨進行調(diào)節(jié)。
(致謝:感謝所有的實驗參與者,以及北京金博智慧教育技術(shù)有限公司和北京視友科技有限公司在整個項目中的幫助)