樊強(qiáng) 周律，2 范永晨 吳瑩，2?

（1.西安交通大學(xué)機(jī)械結(jié)構(gòu)強(qiáng)度與振動國家重點(diǎn)實(shí)驗(yàn)室航天航空學(xué)院 西安 710049）（2.西安交通大學(xué)力學(xué)國家級實(shí)驗(yàn)教學(xué)示范中心 西安 710049）

引言

情緒是人類對外界客觀事物的態(tài)度及其相應(yīng)的行為反應(yīng)，對于人類的心理健康和行為有著重要的影響[1-3].如何能夠?qū)崿F(xiàn)準(zhǔn)確的情緒識別，在人機(jī)交互過程中占據(jù)著重要的地位，機(jī)器能否對人類的情緒加以理解和分析，將會直接影響到人機(jī)交互過程.在醫(yī)學(xué)治療方面，情緒研究也有著深遠(yuǎn)的意義，準(zhǔn)確的識別情緒將有助于對有心理疾病或表達(dá)障礙的患者進(jìn)行診斷和疏導(dǎo).為了進(jìn)行情緒識別，研究者對情緒狀態(tài)進(jìn)行了量化和建模，目前情緒研究廣泛使用的是由喚醒度（Arousal）和效價（Valence）構(gòu)成的二維情緒模型.其中喚醒度刻畫情緒的強(qiáng)烈程度，效價反應(yīng)情緒的積極性和消極性[4].

目前，情緒研究主要依據(jù)：面部表情、語音特征、肢體動作和電生理信號等[5]，其中電生理信號憑借其難以偽裝，信息豐富的特性而被研究者廣泛應(yīng)用[6-8].對于情緒研究的方法主要集中在基于腦磁圖（magnetoe-ncephalography，MEG）、腦電圖（electroencephalogram，EEG）和功能磁共振成像（functional MRI，fMRI）等技術(shù)構(gòu)建大腦功能網(wǎng)絡(luò)，用節(jié)點(diǎn)和邊將大腦系統(tǒng)抽象成網(wǎng)絡(luò)，在內(nèi)部或外部因素的影響下，網(wǎng)絡(luò)中節(jié)點(diǎn)自身狀態(tài)或節(jié)點(diǎn)間拓?fù)溥B接關(guān)系發(fā)生變化.通過計(jì)算網(wǎng)絡(luò)中節(jié)點(diǎn)及連接等動力學(xué)特征指標(biāo)，可以揭示不同情緒狀態(tài)下大腦內(nèi)部動態(tài)自適應(yīng)的變化機(jī)制[9-13].EEG數(shù)據(jù)由于其高時間、高空間分辨率而被越來越多的學(xué)者作為研究情緒的重要數(shù)據(jù)來源[9-13].Xing M等[10]利用EEG數(shù)據(jù)研究了情緒調(diào)節(jié)過程中的認(rèn)知負(fù)荷問題，發(fā)現(xiàn)θ波段的特征路徑長度值在情緒調(diào)節(jié)過程中增加，認(rèn)為θ波段對情緒識別尤為重要.曹銳等[11]使用相位滯后指數(shù)（Phase Lag Index，PLI）基于DEAP情緒數(shù)據(jù)庫構(gòu)建了不同波段下的EEG功能網(wǎng)絡(luò)進(jìn)行情感識別.Gupta R等[12]基于DEAP情緒數(shù)據(jù)庫構(gòu)建了幅值平方相干功能網(wǎng)絡(luò)，提取網(wǎng)絡(luò)的平均路徑長度、全局效率、局部效率等特征，并在兩個維度上對情緒進(jìn)行分類.Sara N等[13]通過記錄被試在完成定向遺忘任務(wù)時的EEG數(shù)據(jù)，發(fā)現(xiàn)人腦信息對情緒不同維度的處理過程不同，研究表明這種差異性依賴于效價與喚醒度之間的相互影響.

已有的研究主要通過構(gòu)建無向功能網(wǎng)絡(luò)來揭示腦區(qū)之間的功能差異，并以此作為依據(jù)來進(jìn)行兩個維度的情緒研究與識別[10-13].但不同情緒狀態(tài)下各腦區(qū)信息流的流向、強(qiáng)弱，以及各腦區(qū)之間的相互影響等問題還未得到深入研究，無法從本質(zhì)上分析不同情緒狀態(tài)下信息的流向及強(qiáng)弱.本研究通過構(gòu)建有向網(wǎng)絡(luò)的方法，探究不同情緒狀態(tài)下信息在各腦區(qū)的流動方向、強(qiáng)度和可能存在的局部連接模式等指標(biāo)的變化情況.通過研究不同情緒狀態(tài)下各腦區(qū)間的因果關(guān)系，分析腦內(nèi)信息流的變化，進(jìn)一步確定更有效的情緒識別特征指標(biāo).目前，有向網(wǎng)絡(luò)的研究多為基于格蘭杰因果模型進(jìn)行建模分析，該模型是使用線性隨機(jī)模型來描述系統(tǒng)信號的內(nèi)在動力學(xué)關(guān)系，用于分析線性系統(tǒng)間的相互影響，在人類大腦這樣高度的非線性系統(tǒng)中進(jìn)行識別時，需對目標(biāo)對象作線性化處理[14].相比之下，傳遞熵是基于信息論的有向連接度量方法，不需要建模就可以定量研究非線性復(fù)雜系統(tǒng)任意兩個過程之間的信息傳遞方向[15].自 2000 年 Schreiber提出傳遞熵的理論方法后[15]，該方法已被廣泛應(yīng)用于復(fù)雜系統(tǒng)信息傳遞的研究，如使用脈沖序列數(shù)據(jù)識別聽覺皮層神經(jīng)元之間的信息傳遞[16]，利用脈沖序列研究心率對呼吸頻率的影響[17]，利用腦電數(shù)據(jù)對癲癇患者癲癇病灶定位等[18].然而，基于傳遞熵的方法構(gòu)造有向網(wǎng)絡(luò)進(jìn)行情緒相關(guān)的研究尚未見相關(guān)報道.為此，本研究基于DEAP數(shù)據(jù)集，提取不同情緒狀態(tài)下的θ波段，采用傳遞熵的方法構(gòu)建有向網(wǎng)絡(luò)，分析不同情緒狀態(tài)下的網(wǎng)絡(luò)特征，研究各節(jié)點(diǎn)處的信息流向、強(qiáng)度及連接方式.

1 數(shù)據(jù)與方法

1.1 傳遞熵

給定兩個系統(tǒng)x和y，從y到x的傳遞熵定義為系統(tǒng)y的信息對系統(tǒng)x不確定性大小的改變，即y傳給x信息量的大小，因此傳遞熵可以作為衡量因果性的指標(biāo).從y到x的傳遞熵表達(dá)式為[15，19]：

上式中，xn表示系統(tǒng)x在時刻n的狀態(tài)，yn表示系統(tǒng)y在時刻n的狀態(tài)，xn+1表示信號x在時刻n+1的狀態(tài)，p（xn+1，xn，yn）表示過渡概率 .傳遞熵在 0≤TEy→≤x∞的范圍內(nèi)變化[15，20].傳遞熵是一個非對稱度量，從y到x的傳遞熵和從x到y(tǒng)的傳遞熵不相等，即[15，20].

1.2 連接模式

在有向網(wǎng)絡(luò)中，以3個節(jié)點(diǎn)組成的三角形為單元，根據(jù)不同的連接特征可以產(chǎn)生13個不同種類的連接模式.連接模式刻畫了網(wǎng)絡(luò)的局部結(jié)構(gòu)，這些連接模式出現(xiàn)的頻率和分布的情況被認(rèn)為與網(wǎng)絡(luò)中包含的功能信息密切相關(guān)[21].每一類連接模式都可以用相應(yīng)的模式編號來表示[22]，刻畫了網(wǎng)絡(luò)中信息的基本處理模式[23]，如圖1所示.

圖1 有向網(wǎng)絡(luò)中存在的連接模式Fig.1 Connection patterns in directed networks

1.3 節(jié)點(diǎn)度

節(jié)點(diǎn)度ki定義為網(wǎng)絡(luò)中與節(jié)點(diǎn)i直接相連的邊數(shù)，節(jié)點(diǎn)的度越大，則該節(jié)點(diǎn)的連接越多，節(jié)點(diǎn)在網(wǎng)絡(luò)中的地位也就越重要.加權(quán)網(wǎng)絡(luò)中的節(jié)點(diǎn)度與網(wǎng)絡(luò)中連邊的權(quán)重有關(guān).在有向網(wǎng)絡(luò)中，節(jié)點(diǎn)度又可以分為入度和出度，一個節(jié)點(diǎn)的入度定義為網(wǎng)絡(luò)中其余節(jié)點(diǎn)指向該節(jié)點(diǎn)的度，出度定義為由該節(jié)點(diǎn)指向網(wǎng)絡(luò)中其余節(jié)點(diǎn)的度[24].

1.4 節(jié)點(diǎn)強(qiáng)度

節(jié)點(diǎn)強(qiáng)度是對加權(quán)有向網(wǎng)絡(luò)的中心度度量，表示所有輸入和輸出邊權(quán)重的總和[25].某節(jié)點(diǎn)i的強(qiáng)度Si為與節(jié)點(diǎn)直接相連的所有邊的權(quán)重和，其中w（i，j）為節(jié)點(diǎn)i到j(luò)的權(quán)重.此度量不僅取決于傳入和傳出邊的數(shù)量，還取決于傳入和傳出邊的權(quán)重.

1.5 全局效率

通常最短路徑長度要在某一個連通網(wǎng)絡(luò)中進(jìn)行運(yùn)算，如果網(wǎng)絡(luò)中存在不連通的節(jié)點(diǎn)便會導(dǎo)致這兩個節(jié)點(diǎn)間的最短路徑長度值為無窮.因此有人提出了全局效率（global efficiency）Eglob的概念[26].

全局效率度量網(wǎng)絡(luò)的全局傳輸能力.全局效率越高，則網(wǎng)絡(luò)節(jié)點(diǎn)間傳遞信息的速率就越快[27].

1.6 平均流動系數(shù)

平均流動系數(shù)是基于最短路徑對局部網(wǎng)絡(luò)中心性的一種度量指標(biāo).對于連通網(wǎng)絡(luò)中的每一對節(jié)點(diǎn)，節(jié)點(diǎn)之間至少存在一條最短路徑，該路徑通過中心節(jié)點(diǎn).平均流動系數(shù)是經(jīng)過中心節(jié)點(diǎn)的最短路徑的數(shù)量除以所有可能路徑的總數(shù).其中，σst是從節(jié)點(diǎn)s到節(jié)點(diǎn)t的最短路徑總數(shù)，σst（v）是通過節(jié)點(diǎn)v的路徑數(shù)[28].

2 實(shí)驗(yàn)數(shù)據(jù)及處理

本研究基于DEAP情緒數(shù)據(jù)庫利用傳遞熵的方法構(gòu)建有向網(wǎng)絡(luò)，該數(shù)據(jù)庫共有32個試驗(yàn)被試，每個被試進(jìn)行40次訓(xùn)練，每次訓(xùn)練通過讓被試觀看不同的視頻以激起其產(chǎn)生不同的情緒，訓(xùn)練的結(jié)果根據(jù)被試自身的感受進(jìn)行評分，評分范圍為1～9，并在喚醒度和效價兩個維度進(jìn)行評價，對于評分低于5的認(rèn)為是低喚醒度（Low Arousal，LA）或者低效價（Low Valence，LV），對于評分高于5的認(rèn)為是高喚醒度（High Arousal，HA）或者高效價（High Valence，HV），將所得到的數(shù)據(jù)以此標(biāo)準(zhǔn)進(jìn)行分類，劃分為不同的情緒狀態(tài)，可以得到四大類情緒[29]，分別為：HAHV（高喚醒度高效價）、HALV（高喚醒度低效價）、LAHV（低喚醒度高效價）、LALV（低喚醒度低效價）.

基于DEAP數(shù)據(jù)庫，利用傳遞熵的方法構(gòu)建有向網(wǎng)絡(luò)，具體分析流程如圖2所示.首先對獲取的情緒數(shù)據(jù)進(jìn)行預(yù)處理，主要包括對EEG數(shù)據(jù)降低至256Hz進(jìn)行采樣，然后使用EEGlab提供的高通濾波器進(jìn)行濾波，截止頻率為2Hz.采用盲源分離技術(shù)去除眼動偽跡，將處理后的各通道數(shù)據(jù)利用快速傅里葉變化（FFT）進(jìn)行波段劃分，提取θ波段時間序列作為研究對象.基于傳遞熵理論，計(jì)算不同節(jié)點(diǎn)時間序列的傳遞熵用以構(gòu)建有向網(wǎng)絡(luò).選擇閾值進(jìn)行二值化得到二值網(wǎng)絡(luò)，對有向網(wǎng)絡(luò)和二值網(wǎng)絡(luò)采用復(fù)雜網(wǎng)絡(luò)的分析方法進(jìn)行特征提取.

圖2 有向網(wǎng)絡(luò)流程圖的構(gòu)建Fig.2 Construction of directed network flow diagrams

3 結(jié)果分析

利用傳遞熵方法，分別對四類情緒的時間序列進(jìn)行處理，得到有向功能網(wǎng)絡(luò)，如圖3所示.圖中矩陣的每個元素表示傳遞熵的值，刻畫了每個通道上信息流流量的大小，傳遞熵的值與信息流量的大小成正比.圖3從左到右、從上到下依次對應(yīng)著HAHV、HALV、LAHV、LALV四種情緒狀態(tài)的有向網(wǎng)絡(luò).可以直觀地看出，在不同的情緒狀態(tài)下，腦區(qū)各節(jié)點(diǎn)信息流存在明顯的差異.其中，在HALV情緒狀態(tài)下，功能網(wǎng)絡(luò)中各元素值更大，表明腦區(qū)各節(jié)點(diǎn)內(nèi)的信息流更加活躍，大腦不同腦區(qū)之間信息交互更多，而在LALV狀態(tài)下，矩陣中各元素值相對較小，表明各個腦區(qū)節(jié)點(diǎn)信息流入和流出量都相對較少，各腦區(qū)之間處于相對較不活躍狀態(tài).

圖3 四類情緒狀態(tài)下的有向網(wǎng)絡(luò)Fig.3 Directed networks in four kinds of emotional states

為了進(jìn)一步比較不同情緒狀態(tài)下腦區(qū)各節(jié)點(diǎn)信息流量的大小，計(jì)算不同狀態(tài)下各節(jié)點(diǎn)的信息強(qiáng)度，結(jié)果如圖4所示.其中，橫坐標(biāo)表示腦區(qū)各節(jié)點(diǎn)，縱坐標(biāo)對應(yīng)節(jié)點(diǎn)信息強(qiáng)度的大小，即信息流強(qiáng)度的大小.結(jié)果表明，處于HALV情緒狀態(tài)時，腦區(qū)各節(jié)點(diǎn)信息流強(qiáng)度的值都普遍較高，而在LALV的情緒狀態(tài)下，腦區(qū)各節(jié)點(diǎn)的信息流強(qiáng)度的值相對其它各種情緒狀態(tài)的值較低.從圖中可以看出，不同情緒狀態(tài)下，腦區(qū)各節(jié)點(diǎn)信息強(qiáng)度明顯不同，由強(qiáng)至弱依次對應(yīng)著 HALV、HAHV、LAHV、LALV 狀態(tài)，結(jié)果與圖3分析結(jié)果相對應(yīng).

圖4 不同情緒狀態(tài)下各節(jié)點(diǎn)信息強(qiáng)度Fig.4 Information intensity of each node in different emotional states

為了進(jìn)一步研究不同情緒狀態(tài)下各腦區(qū)信息流向及連接模式的特征，需要對有向網(wǎng)絡(luò)進(jìn)行二值化處理，選定[0.04～0.05]區(qū)間作為閾值的選擇范圍，分別計(jì)算在不同閾值情況下的全局效率和平均流動系數(shù)，結(jié)果如圖5所示.全局效率隨著閾值的增大呈現(xiàn)單調(diào)遞減的趨勢，平均流動系數(shù)隨著閾值增大先增大后減小.為了保證不同情緒狀態(tài)下有較高的全局效率和平均流動系數(shù)，本研究構(gòu)建二值網(wǎng)絡(luò)時選擇閾值0.043.

圖5 網(wǎng)絡(luò)拓?fù)涮卣麟S閾值變化情況Fig.5 Network topology characteristics changes with respect to thresholds value

根據(jù)二值網(wǎng)絡(luò)，首先分析節(jié)點(diǎn)度的變化規(guī)律，圖6（a）給出了在HV狀態(tài)下，HA與LA兩種狀態(tài)各腦區(qū)節(jié)點(diǎn)度的分布情況.可以看到，HA狀態(tài)高節(jié)點(diǎn)度的概率更高，而且與LA狀態(tài)下的節(jié)點(diǎn)度差值較大.圖6（b）描述了LV狀態(tài)下，分別對應(yīng)HA與LA狀態(tài)下各腦區(qū)節(jié)點(diǎn)度分布情況.結(jié)果表明，LA和HA狀態(tài)下的節(jié)點(diǎn)度概率有明顯差異.根據(jù)圖6（a）和圖6（b），可以發(fā)現(xiàn)在同效價情況下，喚醒度越高，各節(jié)點(diǎn)的高節(jié)點(diǎn)度概率越大.但在同喚醒度情況下，效價的變化規(guī)律不同.高喚醒度時，低效價的高節(jié)點(diǎn)度概率更高；低喚醒度時，高效價的高節(jié)點(diǎn)度概率更高.結(jié)果進(jìn)一步驗(yàn)證二維情緒狀態(tài)中，喚醒度和效價并非相互獨(dú)立[9].

圖6 不同情緒狀態(tài)下節(jié)點(diǎn)度分布情況Fig.6 Node degree distribution under different emotion states

分別計(jì)算四種不同情緒狀態(tài)下的出度和入度，圖7給出了各節(jié)點(diǎn)位置處出度與入度的差值，當(dāng)差值大于0的時候，表明該節(jié)點(diǎn)出度大于入度，即信息流出量的權(quán)重較大，此時節(jié)點(diǎn)相當(dāng)于一個信息輸出源，當(dāng)差值小于0時，該節(jié)點(diǎn)信息流入量權(quán)重較大，此時認(rèn)為節(jié)點(diǎn)是一個接受器.從圖7（a）可以看出，如虛線方框內(nèi)對應(yīng)的節(jié)點(diǎn)，在LAHV狀態(tài)下信息流出較大，而圖中如點(diǎn)劃線方框內(nèi)對應(yīng)的節(jié)點(diǎn)，在LAHV狀態(tài)下信息流入較大.表1給出了各節(jié)點(diǎn)與腦區(qū)的對應(yīng)情況，結(jié)合這些節(jié)點(diǎn)所在腦區(qū)位置，發(fā)現(xiàn)在LAHV情況下，大腦信息流向主要由右顳葉及中央左側(cè)流向中央右側(cè)及右枕葉；在HAHV狀態(tài)下，圖中如虛線方框中對應(yīng)的節(jié)點(diǎn)，顯示其信息流出量較大，點(diǎn)劃線方框所標(biāo)記的節(jié)點(diǎn)信息流入量較大，表明在HAHV狀態(tài)下，大腦信息流向主要是中央左側(cè)流向中央右側(cè).同理，可以從圖7（b）中得到，在LALV的狀態(tài)下，信息流動主要集中在額葉和顳葉部分，在HALV的狀態(tài)下，信息流主要由右半腦的顳葉流向左半腦的顳葉及中央右側(cè)及頂葉.

表1 腦區(qū)與節(jié)點(diǎn)對應(yīng)關(guān)系Table 1 Relationship between brain regions and node

圖7 不同情緒狀態(tài)出入度的差值Fig.7 Differences between out-degree and in-degree in different emo?tion states

圖8給出了在不同情緒狀態(tài)下，全腦中各種連接模式的數(shù)量：在HALV情緒狀態(tài)下，如圖8中虛線框標(biāo)記所示，12、13形式的連接模式的數(shù)量很高，表明大腦各節(jié)點(diǎn)的信息流存在更多互相交流的連接模式，各腦區(qū)之間聯(lián)系更加緊密，彼此的交互影響更大；在LAHV情緒狀態(tài)下時，如圖中點(diǎn)劃線標(biāo)記，發(fā)現(xiàn)大腦中存在更多的如圖1中1、3、5形式的連接，表明在這種情緒狀態(tài)下，腦內(nèi)信息流更傾向于由一些特定腦區(qū)節(jié)點(diǎn)發(fā)出信號去影響或者調(diào)控另一些腦區(qū)節(jié)點(diǎn)，此時信息流向更加明確；在LALV情緒狀態(tài)下，如圖中雙點(diǎn)劃線方框所示，大腦中的各種連接模式的數(shù)量都普遍偏少，表明各腦區(qū)之間信息交互也更少.

圖8 不同情緒狀態(tài)下各有向連接的數(shù)量Fig.8 The number of directed connections in different emotional states

為確定四種情緒狀態(tài)下，不同連接模式在各節(jié)點(diǎn)處的數(shù)量是否存在明顯差異，將HAHV與HALV，LAHV與LALV的各種連接模式在全腦節(jié)點(diǎn)上的分布兩兩進(jìn)行對比，分別對各種連接模式在不同情緒狀態(tài)下的連接數(shù)量進(jìn)行顯著性分析.圖9（a）和圖9（b）給出了不同連接模式在全腦節(jié)點(diǎn)的數(shù)量分布情況.從圖中可以看到HAHV與HALV，LAHV與LALV狀態(tài)的結(jié)果存在較大的差異，在HAHV情緒狀態(tài)下，箱型整體值偏大，表明在HAHV狀態(tài)下對應(yīng)的各種連接模式都普遍大于HALV.同理，LAHV狀態(tài)對應(yīng)的各種連接模式都普遍大于LALV.對HAHV與HALV，LAHV與LALV用T-test方法做顯著性差異（P＜0.05）檢驗(yàn)，具體結(jié)果見表2，帶‘*’的表示兩組數(shù)據(jù)有明顯差異.由表2結(jié)果可以發(fā)現(xiàn)，在不同情緒狀態(tài)下各連接模式的數(shù)量普遍存在明顯差異，且該差異是由系統(tǒng)因素而不是受偶然因素影響產(chǎn)生的.

表2 各連接模式t檢驗(yàn)Table 2 T test for each connection mode

圖9 不同情緒狀態(tài)下各連接模式的數(shù)量Fig.9 The number of different connection modes in different emotion states

4 討論

通過建立有向網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)特征分析，發(fā)現(xiàn)腦區(qū)各節(jié)點(diǎn)的信息流的流向和強(qiáng)弱與情緒狀態(tài)存在密切的聯(lián)系，不同情緒狀態(tài)有著顯著的區(qū)別.

（1）在HALV狀態(tài)，腦區(qū)各節(jié)點(diǎn)中流入流出的信息流相對于其它情緒狀態(tài)更強(qiáng)，信息流主要由右半腦的顳葉流向左半腦的顳葉及中央右側(cè)及頂葉，此時有向網(wǎng)絡(luò)存在更多的互連接，使得大腦各腦區(qū)交流更緊密.

（2）在LAHV狀態(tài)下，大腦中存在更多單向連接，使得腦內(nèi)信息流更傾向于由某些節(jié)點(diǎn)單方向地流向腦區(qū)的另一些節(jié)點(diǎn).

（3）在LALV狀態(tài)下，大腦中的各種連接模式普遍偏少，信息交互更少.

本文結(jié)果進(jìn)一步證明了情緒在喚醒度和效價兩個維度上并非獨(dú)立，而是存在著相互影響和聯(lián)系.情緒在喚醒度和效價兩者之間的關(guān)系仍需做進(jìn)一步的研究，這些網(wǎng)絡(luò)特征量可以作為機(jī)器學(xué)習(xí)的訓(xùn)練集，從而生成一個性能更優(yōu)良的分類器，對不同情緒實(shí)現(xiàn)更加有效和高效的識別.