蔡冬麗，鐘清華，朱永升，張 涵

(華南師范大學(xué)物理與電信工程學(xué)院，廣州 510006)

近年來(lái)，情感識(shí)別越來(lái)越受到學(xué)者的關(guān)注. 目前，情感識(shí)別的方法主要是采用面部表情、文本、語(yǔ)音以及生理信號(hào)等. 面部表情、文本和語(yǔ)音等易受人們主觀因素的影響，而生理信號(hào)不易受主觀所控制，更能客觀地反映人們真實(shí)的情感狀態(tài). 因此，越來(lái)越多學(xué)者使用生理信號(hào)尤其是腦電信號(hào)來(lái)進(jìn)行情感識(shí)別.

隨著計(jì)算機(jī)計(jì)算能力的不斷提高，深度學(xué)習(xí)開(kāi)始不斷凸顯其強(qiáng)大的學(xué)習(xí)能力和優(yōu)勢(shì)，學(xué)者們逐漸使用深度學(xué)習(xí)的方法來(lái)代替?zhèn)鹘y(tǒng)的機(jī)器學(xué)習(xí). 其中，卷積神經(jīng)網(wǎng)絡(luò)(CNN)是深度學(xué)習(xí)方法中最為常見(jiàn)的網(wǎng)絡(luò)，已廣泛運(yùn)用于各大領(lǐng)域，在腦電情感識(shí)別中也取得了很多成果. 如：首先使用皮爾遜相關(guān)系數(shù)(PCC)計(jì)算不同腦電通道之間的相關(guān)性并構(gòu)造成相關(guān)矩陣，然后使用CNN提取腦電通道之間的相關(guān)性信息[1]；提取多種腦電信號(hào)時(shí)域特征并組合成特征向量，然后輸入到深度神經(jīng)網(wǎng)絡(luò)進(jìn)行情感識(shí)別[2]；提取腦電信號(hào)連通性特征，并將其轉(zhuǎn)化為連通性矩陣輸入到CNN進(jìn)行情感分類[3]；使用CNN提取腦電特征，并結(jié)合了皮膚電反應(yīng)信號(hào)提高分類準(zhǔn)確率[4]. 情緒是一種隨時(shí)間變化的情感現(xiàn)象，而腦電信號(hào)的時(shí)序變化能反映情緒的變化. 因此，充分考慮腦電信號(hào)的時(shí)序信息能有效提高情感識(shí)別的準(zhǔn)確率. 如：在DEAP數(shù)據(jù)集[5]上，使用了三維卷積神經(jīng)網(wǎng)絡(luò)(3D-CNN)進(jìn)行情感分類，并使用數(shù)據(jù)增強(qiáng)方法提高3D-CNN的性能，在效價(jià)和喚醒度2個(gè)維度上均獲得了不錯(cuò)的分類準(zhǔn)確率[6].

目前，長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)和雙向長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(BLSTM)在腦電情感識(shí)別中呈現(xiàn)了良好的分類性能. 如：ALHAGRY等[7]使用LSTM提取腦電特征，在DEAP數(shù)據(jù)集中進(jìn)行二分類實(shí)驗(yàn)，在喚醒度和效價(jià)2個(gè)維度上分別獲得85.65%和85.45%的準(zhǔn)確率；XING等[8]使用堆棧自動(dòng)編碼器(SAE)構(gòu)建和求解線性腦電圖混合模型，并使用LSTM對(duì)基于SAE分解的腦電信號(hào)進(jìn)行情感識(shí)別，在效價(jià)和喚醒度上的平均準(zhǔn)確率分別為81.10%和74.38%；WANG等[9]使用BLSTM在SEED數(shù)據(jù)集上進(jìn)行情感識(shí)別，平均準(zhǔn)確率為94.62%. 但是，在文獻(xiàn)[7-9]中，只是使用LSTM或BLSTM提取腦電信號(hào)的時(shí)間特征，并沒(méi)有考慮腦電信號(hào)的空間信息. 隨著對(duì)CNN和RNN的不斷深入研究，學(xué)者們開(kāi)始考慮結(jié)合CNN和RNN，將一維腦電信息轉(zhuǎn)化為二維矩陣，即利用CNN提取腦電信號(hào)的空間信息，同時(shí)使用RNN提取腦電信號(hào)的上下文信息. 如：YANG等[10]使用了混合神經(jīng)網(wǎng)絡(luò)，即使用CNN提取腦電信號(hào)的空間信息、使用LSTM提取腦電信號(hào)的時(shí)間信息；SHEN等[11]將來(lái)自不同通道的微分熵特征轉(zhuǎn)換為四維結(jié)構(gòu)，并輸入到由CNN和LSTM組成的四維卷積循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行情感識(shí)別；SHEYKHIVAND等[12]記錄了14名受音樂(lè)刺激的被試的腦電信號(hào)，將未進(jìn)行特征提取的原始腦電信號(hào)直接應(yīng)用于由CNN和LSTM組成的神經(jīng)網(wǎng)絡(luò)(CNN-LSTM)進(jìn)行情感分類. 在已有的腦電情感識(shí)別領(lǐng)域使用CNN和RNN的研究中，仍存在許多待改進(jìn)的地方. 如：使用未經(jīng)過(guò)特征提取的腦電信號(hào)作為神經(jīng)網(wǎng)絡(luò)的輸入，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練時(shí)間非常長(zhǎng)；使用LSTM只考慮了前向時(shí)序信息，并未利用反向時(shí)序信息.

為了更加充分地提取腦電信號(hào)中的信息，本文提出基于3D-CNN和BLSTM的混合神經(jīng)網(wǎng)絡(luò)(3DCNN-BLSTM)：(1)首先，將腦電信號(hào)進(jìn)行分頻，對(duì)每一秒每個(gè)頻帶的腦電信號(hào)提取特征；然后，去基線并將一維的腦電特征向量按照電極分布轉(zhuǎn)化為二維特征矩陣，再將同一時(shí)刻不同頻帶的二維特征矩陣進(jìn)行疊加,從而將其構(gòu)造成三維矩陣；最后，使用滑動(dòng)窗口對(duì)不同時(shí)刻的三維腦電序列進(jìn)行分段，并將序列輸入到3D-CNN，從而提取腦電信號(hào)的時(shí)空信息. (2)將一維的腦電特征向量輸入到BLSTM，提取腦電信號(hào)的前向、反向時(shí)序信息. (3)將3D-CNN和BLSTM提取的信息結(jié)合，并進(jìn)行腦電情感分類.

1 實(shí)驗(yàn)數(shù)據(jù)

1.1 DEAP數(shù)據(jù)集

DEAP數(shù)據(jù)集[5]包含32個(gè)被試的32通道腦電信號(hào)以及8通道的外圍生理信號(hào). 本文只采用32通道的腦電信號(hào)作為實(shí)驗(yàn)數(shù)據(jù)：該腦電信號(hào)先以512 Hz進(jìn)行采樣，然后將采樣率降至128 Hz，并經(jīng)過(guò)4.0～45.0 Hz的帶通頻率濾波以及去除了EOG偽像. 每個(gè)被試觀看40個(gè)情緒音樂(lè)視頻，每個(gè)視頻時(shí)長(zhǎng)為1 min. 被試觀看每個(gè)視頻后，對(duì)喚醒度、效價(jià)、喜好和主導(dǎo)程度進(jìn)行評(píng)分. 在本文實(shí)驗(yàn)中，僅選擇在喚醒度和效價(jià)2個(gè)維度上進(jìn)行測(cè)試. 在每個(gè)維度上，以5作為評(píng)分閾值，將標(biāo)簽類型分為2類：評(píng)分大于5的標(biāo)簽標(biāo)記為“高”，小于或等于5的則標(biāo)記為“低”. 即二分類實(shí)驗(yàn)中，在喚醒度維度上可將標(biāo)簽分為HA(高喚醒度)和LA(低喚醒度)；在效價(jià)維度上可將標(biāo)簽分為HV(高效價(jià))、LV(低效價(jià)). 此外，本文還進(jìn)行了四分類實(shí)驗(yàn). 對(duì)應(yīng)標(biāo)簽分別為高喚醒度-高效價(jià)(HAHV)、高喚醒度-低效價(jià)(HALV)、低喚醒度-高效價(jià)(LAHV)、低喚醒度-低效價(jià)(LALV)[13].

1.2 SEED數(shù)據(jù)集

SEED數(shù)據(jù)集[14]包含15個(gè)被試的62通道腦電信號(hào). 每個(gè)被試觀看15個(gè)中文電影片段，每段電影時(shí)長(zhǎng)約為4 min. 電影片段包含的情緒分為積極、中立和消極3種類型，每個(gè)情緒的電影片段為5個(gè). 每個(gè)被試參加3次實(shí)驗(yàn)，每次參加的時(shí)間間隔約為1周. 腦電數(shù)據(jù)采樣率降至200 Hz，并去除了噪聲和偽影.

2 方法

2.1 雙向LSTM

2.1.1 LSTM單元 循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNN)是一種適用于序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(Long Short-Term Memory Neural Networks,LSTM)[15]是一種時(shí)間循環(huán)神經(jīng)網(wǎng)絡(luò)，能避免普通RNN存在的長(zhǎng)期依賴問(wèn)題，目前已成功應(yīng)用于語(yǔ)音識(shí)別和情感分析等領(lǐng)域. LSTM單元由遺忘門、輸入門和輸出門組成，控制丟棄的信息以及傳遞給下一時(shí)間步長(zhǎng)的信息的比例.

在t時(shí)刻更新LSTM單元遺忘門的輸出ft、輸入門的輸出it、輸出門的輸出ot、細(xì)胞狀態(tài)Ct、隱藏狀態(tài)ht，具體計(jì)算公式如下：

ft=σ(Wf·[ht-1,xt]+bf),

it=σ(Wi·[ht-1,xt]+bi),

ot=σ(Wo·[ht-1,xt]+bo),

Ct=ft*Ct-1+it*tanh(WC·[ht-1,xt]+bC),

ht=ot*tanh(Ct),

其中，xt是在t時(shí)刻的輸入，Wf、Wi、Wo、WC分別是遺忘門、輸入門、輸出門、細(xì)胞狀態(tài)的權(quán)重，bf、bi、bo、bC分別是遺忘門、輸入門、輸出門、細(xì)胞狀態(tài)的偏置.

2.2 三維卷積神經(jīng)網(wǎng)絡(luò)

三維卷積神經(jīng)網(wǎng)絡(luò)(3-Dimensional Convolutional Neural Networks，3D-CNN)[17]是傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的一種擴(kuò)展，是在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上對(duì)卷積和池化操作進(jìn)行了改進(jìn). 目前，3D-CNN主要應(yīng)用在醫(yī)學(xué)圖像和視頻處理等領(lǐng)域. 3D-CNN中的3D卷積運(yùn)算既能對(duì)不同EEG通道位置的空間相關(guān)性進(jìn)行建模，又能對(duì)時(shí)間相關(guān)性進(jìn)行建模. 語(yǔ)音和腦電信號(hào)等持續(xù)時(shí)間較長(zhǎng)的信號(hào)具有時(shí)間相關(guān)性，充分考慮時(shí)間相關(guān)性能提高系統(tǒng)性能. 因此，3D-CNN非常適用于提取腦電信號(hào)的時(shí)空特征.

2.3 混合神經(jīng)網(wǎng)絡(luò)

3DCNN-BLSTM模型由2個(gè)特征提取器(3D-CNN、BLSTM)和1個(gè)分類器組成(圖1)：首先，將經(jīng)過(guò)處理的腦電特征數(shù)據(jù)輸入到3D-CNN特征提取器和BLSTM特征提取器中，以提取深度特征；然后，將2個(gè)特征提取器提取的深度特征輸入到分類器進(jìn)行情感狀態(tài)預(yù)測(cè).

圖1 混合神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

2.3.1 3D-CNN特征提取器 混合神經(jīng)網(wǎng)絡(luò)中的3D-CNN特征提取器一共有4個(gè)三維卷積層，卷積層的特征圖數(shù)依次為16、32、64、16. 第1個(gè)卷積層的卷積核大小為5×5×5；第2、3個(gè)卷積層的卷積核大小均為3×3×3；為了降低計(jì)算成本，最后1個(gè)卷積層的卷積核大小設(shè)置為1×1×1. 在所有卷積層中，步長(zhǎng)設(shè)置為1，并使用零填充以防止丟失輸入數(shù)據(jù)的邊緣信息. 本文使用的激活函數(shù)為RELU激活函數(shù). 由于實(shí)驗(yàn)的數(shù)據(jù)量相對(duì)較小，為了盡可能地保留信息，在模型中不使用池化操作. 卷積后應(yīng)用批歸一化運(yùn)算以加速模型訓(xùn)練，最后把卷積后所得的特征輸入到全連接層. 為了防止過(guò)擬合，在全連接層后加入了dropout操作.

3D-CNN特征提取器的輸入數(shù)據(jù)是經(jīng)過(guò)三維轉(zhuǎn)化的預(yù)處理數(shù)據(jù)段，其第j個(gè)輸入數(shù)據(jù)段表示為Sj. 數(shù)據(jù)段輸入到三維卷積層，可得：

Qj=Conv 3D(Sj),

其中，Conv 3D(·)表示三維卷積層運(yùn)算. 將卷積層輸出的特征輸入到全連接層，得到時(shí)空特征向量：

Gj=FC(Qj),

其中，F(xiàn)C(·)表示全連接層運(yùn)算.

2.3.2 BLSTM特征提取器 BLSTM特征提取器由2個(gè)堆疊的BLSTM層組成，隱藏層單元數(shù)等于窗口大小U. 在t時(shí)刻，第2個(gè)BLSTM層的輸入序列是第1個(gè)BLSTM層的隱藏狀態(tài)序列. BLSTM模塊的輸入數(shù)據(jù)不需要將一維腦電向量轉(zhuǎn)換為二維矩陣，第j個(gè)輸入數(shù)據(jù)片段表示為：

Rj=[at,at+1,…,at+U-1],

其中，at是在t時(shí)刻由不同頻帶拼接所得的一維腦電特征向量. 首先，將Rj輸入到全連接層，可得：

Kj=FC(Rj).

再將Kj輸入到BLSTM層，可得：

其中，Zj表示2個(gè)BLSTM層的輸出，BLSTM(·)表示BLSTM層運(yùn)算. 將Zj輸入到全連接層，可得片段Rj的最后時(shí)間特征向量：

Yj=FC(Zj).

2.3.3 分類器 本文的分類器主要由一個(gè)全連接層和softmax分類器組成. 首先，將3D-CNN特征提取器和BLSTM特征提取器的輸出結(jié)果進(jìn)行拼接：

Vj=cat(Gj,Yj),

其中，cat(·)表示拼接操作. 然后，將拼接后的特征向量輸入到全連接層：

Mj=FC(Vj).

最后，將Mj輸入到softmax分類器進(jìn)行情感分類：

Pj=softmax(Mj).

為了提高網(wǎng)絡(luò)的泛化能力，在全連接層后加入dropout操作，并在損失函數(shù)中加入了L2正則項(xiàng).

3 實(shí)驗(yàn)步驟及結(jié)果分析

3.1 腦電信號(hào)預(yù)處理

對(duì)于DEAP數(shù)據(jù)集，參照文獻(xiàn)[18]的數(shù)據(jù)處理方法，首先使用帶通濾波器將腦電信號(hào)分為4個(gè)頻帶:theta(4～7 Hz)、alpha(8～13 Hz)、beta(14～30 Hz)和gamma(31～45 Hz)；然后，將63 s的腦電信號(hào)平均分割成63段長(zhǎng)度為1 s的片段，其中前3 s為基線信號(hào)，計(jì)算出每個(gè)片段每個(gè)頻帶的特征值(圖2). 在實(shí)驗(yàn)中，為了提高實(shí)驗(yàn)準(zhǔn)確率，使用被試在刺激下記錄的腦電信號(hào)特征值與基線信號(hào)特征平均值的差值作為實(shí)驗(yàn)數(shù)據(jù)，在t時(shí)刻的差值記為EEG_removedt，計(jì)算公式如下：

EEG_removedt=

其中，featuret表示在t時(shí)刻提取的腦電信號(hào)特征值，base_featurei(i=1,2,3)表示在i時(shí)刻提取的基線信號(hào)特征值.

將同一時(shí)刻不同頻帶的二維特征矩陣進(jìn)行疊加，從而得到一個(gè)h×w×a的三維矩陣dt，其中a為不同頻帶的數(shù)量. 通過(guò)以上的數(shù)據(jù)變換，將一維的腦電序列[xt,xt+1,…,xt+L]轉(zhuǎn)換為三維腦電序列[dt,dt+1,…,dt+L].

最后，使用滑動(dòng)窗口將三維腦電序列分割成具有固定長(zhǎng)度的片段，并確保連續(xù)相鄰片段之間沒(méi)有重疊. 第j個(gè)三維腦電數(shù)據(jù)段表示為：

Sj=[dt,dt+1,…,dt+U-1],

其中,U表示窗口大小，在本文實(shí)驗(yàn)中U設(shè)置為6.

圖2 腦電信號(hào)分頻操作示意圖

圖3 DEAP數(shù)據(jù)集中二維腦電特征矩陣的構(gòu)造示意圖[18]

對(duì)于SEED數(shù)據(jù)集，首先使用帶通濾波器將腦電信號(hào)分為5個(gè)頻帶：delta(1～3 Hz)、theta(4～7 Hz)、alpha(8～13 Hz)、beta(14～30 Hz)和gamma(31～50 Hz)；然后，將腦電信號(hào)平均分割為長(zhǎng)度為1 s的片段，并計(jì)算出每個(gè)片段每個(gè)頻帶的特征值. 類似DEAP數(shù)據(jù)集的數(shù)據(jù)處理方法，將一維特征向量轉(zhuǎn)化為二維特征矩陣(圖4)；接著，將同一時(shí)刻不同頻帶的二維特征矩陣進(jìn)行疊加,從而構(gòu)造成三維特征矩陣；最后，使用滑動(dòng)窗口將三維腦電序列分割成固定長(zhǎng)度為6 s的片段，連續(xù)相鄰片段之間沒(méi)有重疊.

圖4 SEED數(shù)據(jù)集中二維腦電特征矩陣的構(gòu)造示意圖[18]

3.2 實(shí)驗(yàn)細(xì)節(jié)

實(shí)驗(yàn)采用的硬件設(shè)備是Intel(R)Core(TM) i7-8750H CPU 和 NVIDIA GeForce GTX 1060 GPU. 軟件環(huán)境采用的是Python 3.6，同時(shí)使用了pytorch框架搭建神經(jīng)網(wǎng)絡(luò)模型. 在本文實(shí)驗(yàn)中，dropout操作保留率設(shè)置為0.5，學(xué)習(xí)率根據(jù)lr=0.01/(1+10p)0.75進(jìn)行更新，其中p為當(dāng)前步長(zhǎng)除以總步長(zhǎng)的值. 本文首先使用DEAP數(shù)據(jù)集中所有被試的數(shù)據(jù)分別進(jìn)行二分類實(shí)驗(yàn)和四分類實(shí)驗(yàn)，并采用十重交叉驗(yàn)證技術(shù)評(píng)估模型的分類性能. 即把12 800個(gè)樣本平均分為10個(gè)子集，取1個(gè)子集作為測(cè)試集，其余9個(gè)為訓(xùn)練集. 重復(fù)以上操作10次，直至所有的子集都作為測(cè)試集進(jìn)行了實(shí)驗(yàn). 其次,利用SEED數(shù)據(jù)集進(jìn)行了三分類(積極、中立和消極)實(shí)驗(yàn)，采用五重交叉驗(yàn)證技術(shù)評(píng)估模型的分類性能.

3.3 DEAP實(shí)驗(yàn)結(jié)果

為了更加全面地分析3DCNN-BLSTM模型的分類性能，使用DEAP數(shù)據(jù)集，從不同特征的實(shí)驗(yàn)結(jié)果、不同模型的實(shí)驗(yàn)結(jié)果以及其他相關(guān)方法所得結(jié)果3個(gè)方面進(jìn)行分析.

3.3.1 不同特征的實(shí)驗(yàn)結(jié)果 使用不同特征對(duì)模型的分類能力會(huì)有一定的影響，本文除了選取2種在腦電情感識(shí)別中常用的特征(微分熵(DE)、功率譜密度(PSD))外，還選擇了排列熵(PeEn)、樣本熵(SampEn)、奇異值分解熵(SvdEn)以及近似熵(ApEn)4種特征進(jìn)行二分類實(shí)驗(yàn)和四分類實(shí)驗(yàn). 其中，SvdEn、PeEn、DE、SampEn和ApEn屬于非線性動(dòng)力學(xué)特征.

由實(shí)驗(yàn)結(jié)果(表1)可知：(1)使用5種非線性動(dòng)力學(xué)特征的情感識(shí)別平均準(zhǔn)確率均明顯高于使用PSD特征的平均準(zhǔn)確率；使用PSD特征時(shí)，四分類實(shí)驗(yàn)的結(jié)果明顯低于二分類實(shí)驗(yàn)的結(jié)果，而分別作用5個(gè)非線性動(dòng)力學(xué)特征的二分類、四分類實(shí)驗(yàn)的結(jié)果差異不算特別大. 這表明了在該模型中使用非線性動(dòng)力學(xué)特征比使用PSD特征更能有效地提取腦電特征. (2)使用ApEn特征的二分類、四分類實(shí)驗(yàn)結(jié)果最優(yōu)：在喚醒度和效價(jià)2個(gè)維度上分別獲得了93.56%和93.21%的平均準(zhǔn)確率，比使用PSD特征的平均準(zhǔn)確率分別提高了16.2%和17.12%，比使用DE特征的平均準(zhǔn)確率分別提高了4.94%和5.61%，比使用SampEn特征的平均準(zhǔn)確率分別提高了2.96%和3.32%；在四分類實(shí)驗(yàn)中，使用ApEn特征的平均準(zhǔn)確率達(dá)到90.97%，比使用PSD特征的平均準(zhǔn)確率提高了27.26%，比使用DE特征的平均準(zhǔn)確率提高了6.84%，比使用SampEn特征的平均準(zhǔn)確率提高了4.17%.

表1 6種特征的情感識(shí)別平均準(zhǔn)確率

3.3.2 不同模型的實(shí)驗(yàn)結(jié)果 此外，選擇ApEn為特征，使用2D-CNN、LSTM、3D-CNN、BLSTM和3DCNN-BLSTM模型進(jìn)行對(duì)比實(shí)驗(yàn). 其中，由于2D-CNN模型的輸入數(shù)據(jù)比3D-CNN模型的輸入數(shù)據(jù)少了1個(gè)維度，所以，在2D-CNN模型的對(duì)比實(shí)驗(yàn)中的輸入數(shù)據(jù)并未使用滑動(dòng)窗口將腦電序列分割成長(zhǎng)度為6 s的片段，即使用長(zhǎng)度為1 s的腦電數(shù)據(jù)作為1個(gè)實(shí)驗(yàn)樣本. 對(duì)比實(shí)驗(yàn)的網(wǎng)絡(luò)結(jié)構(gòu)與本文模型對(duì)應(yīng)模塊的設(shè)置相應(yīng)一致.

由實(shí)驗(yàn)結(jié)果(表2)可知：(1)除了2D-CNN模型外，其他模型的情感識(shí)別能力均表現(xiàn)良好，表明本文采用的近似熵特征的有效性. 2D-CNN的分類效果明顯差于其他模型的原因可能是2D-CNN模型只提取腦電信號(hào)的空間信息，并沒(méi)有考慮腦電信號(hào)的時(shí)間信息，而其他的4個(gè)模型均考慮了腦電信號(hào)的時(shí)序信息，這表明充分挖掘腦電信號(hào)時(shí)序信息能有效提高腦電情感識(shí)別準(zhǔn)確率. (2)由BLSTM模型和LSTM模型的實(shí)驗(yàn)對(duì)比可知在腦電情感識(shí)別實(shí)驗(yàn)中同時(shí)挖掘腦電信號(hào)的前向、反向時(shí)序信息能有效提高分類準(zhǔn)確率：在二分類實(shí)驗(yàn)中，BLSTM模型在喚醒度和效價(jià)2個(gè)維度上的平均準(zhǔn)確率分別比LSTM模型提高了0.83%和0.81%；在四分類實(shí)驗(yàn)中，BLSTM模型的情感分類平均準(zhǔn)確率比LSTM模型提高了1.13%. (3)由3DCNN-BLSTM模型與3D-CNN模型、BLSTM模型的實(shí)驗(yàn)結(jié)果對(duì)比可知3DCNN-BLSTM模型能進(jìn)一步提高腦電情感識(shí)別準(zhǔn)確率： 在二分類實(shí)驗(yàn)中，3DCNN-BLSTM模型的平均準(zhǔn)確率在喚醒度和效價(jià)2個(gè)維度上分別比3D-CNN模型提高了0.82%和0.99%、分別比BLSTM模型提高了1.19%和1.49%；在四分類實(shí)驗(yàn)中，3DCNN-BLSTM模型的平均準(zhǔn)確率分別比3D-CNN、BLSTM模型提高了1.87%、1.85%.

表2 5種模型的情感識(shí)別平均準(zhǔn)確率

3.3.3 相關(guān)方法結(jié)果對(duì)比 不少學(xué)者使用DEAP數(shù)據(jù)集在喚醒度和效價(jià)2個(gè)維度上分別進(jìn)行二分類情感識(shí)別. 如：KOELSTRA等[5]除了從腦電信號(hào)中提取功率譜特征外，還提取了左右半球上所有對(duì)稱電極對(duì)的譜功率之間的差異，并使用Gaussian naive Bayes分類器對(duì)腦電信號(hào)進(jìn)行情感分類；CHUNG和YOON[19]提出了一種基于Bayes分類器和監(jiān)督學(xué)習(xí)的情感分類方法；CHAO等[20]構(gòu)造了多頻帶特征矩陣(MFM)，并將特征矩陣輸入到膠囊網(wǎng)絡(luò)(CapsNet)進(jìn)行情緒識(shí)別；ZHUANG等[21]通過(guò)使用經(jīng)驗(yàn)?zāi)B(tài)分解(EMD)，將腦電信號(hào)分解為IMF序列，利用IMF的多維信息作為特征進(jìn)行情感識(shí)別；XING等[8]提出一個(gè)由線性腦電圖混合模型和情緒時(shí)間模型組成的框架，通過(guò)使用堆棧自動(dòng)編碼器(SAE)構(gòu)建和求解線性腦電圖混合模型，并使用長(zhǎng)短期記憶遞歸神經(jīng)網(wǎng)絡(luò)(LSTM-RNN)構(gòu)建情緒時(shí)間模型；SALAMA等[6]使用數(shù)據(jù)增強(qiáng)增加訓(xùn)練樣本的數(shù)量，并從多通道腦電信號(hào)中提取三維數(shù)據(jù)輸入到3D-CNN模型進(jìn)行情感識(shí)別；YANG等[22]為了進(jìn)一步提高基于CNN模塊的準(zhǔn)確性，設(shè)計(jì)了一種多列結(jié)構(gòu)化的模型(Multi-Column CNN)，該模型的決策由各個(gè)識(shí)別模塊的決策的加權(quán)總和得出.

將3DCNN-BLSTM模型的二分類實(shí)驗(yàn)結(jié)果與以上分別使用Gaussian naive Bayes、Bayes classifier、CapsNet、EMD+SVM、SAE+LSTM、3D-CNN、Multi-Column CNN的結(jié)果進(jìn)行對(duì)比，由對(duì)比結(jié)果(表3)可知3DCNN-BLSTM模型可以有效提高情感識(shí)別準(zhǔn)確率：使用Gaussian naive Bayes、Bayes classifier、CapsNet和EMD+SVM進(jìn)行情感識(shí)別取得的準(zhǔn)確率都相對(duì)較低，使用SAE+LSTM、3D-CNN和Multi-Column CNN進(jìn)行情感分類所取得的準(zhǔn)確率相對(duì)較高，表明了SAE+LSTM、3D-CNN和Multi-Column CNN模型具有良好的情感分類性能；3DCNN-BLSTM模型結(jié)合了3D-CNN和BLSTM，在喚醒度和效價(jià)2個(gè)維度上的分類準(zhǔn)確率最高.

表3 8種方法在喚醒度和效價(jià)維度上的平均準(zhǔn)確率

此外，除了使用DEAP數(shù)據(jù)集分別在喚醒度和效價(jià)2個(gè)維度上進(jìn)行二分類實(shí)驗(yàn)外，學(xué)者們還在這2個(gè)維度上進(jìn)行了四分類實(shí)驗(yàn).如：ZUBAIR和YOON[23]提取了一組基于小波系數(shù)的特征，并使用mRMR算法進(jìn)行特征選擇，最后使用支持向量機(jī)對(duì)人類情緒進(jìn)行四分類實(shí)驗(yàn)；JADHAV等[24]提出了灰度共生矩陣(GLCM)特征，并使用KNN分類器進(jìn)行四分類情感識(shí)別；HATAMIKIA和NASRABADI[25]使用了基于近似熵、頻譜熵、Katz分形維數(shù)和Petrosian分形維數(shù)4種特征，并采用Dunn指數(shù)和序列前向選擇算法(SFS)進(jìn)行特征選擇，最后使用SOM分類器進(jìn)行情感分類；ZHANG等[26]采用小波變換與時(shí)頻盲源分離相結(jié)合的方法，并使用支持向量機(jī)對(duì)情感類別進(jìn)行分類；MARTNEZ-RODRIGO等[27]將二次樣本熵(QSE)的非線性方法用于識(shí)別不同情感子空間的特性，并使用支持向量機(jī)分類器進(jìn)行情感分類；MEI和XU[1]從腦電圖的功能連通性矩陣提取特征，然后輸入到CNN進(jìn)行情感識(shí)別.

將3DCNN-BLSTM模型的四分類實(shí)驗(yàn)結(jié)果與相關(guān)文獻(xiàn)[1,23-27]的四分類實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，由對(duì)比結(jié)果(表4)可知：(1)使用CNN為分類器的平均準(zhǔn)確率高于DWT+SVM、GLCM+KNN、SOM、TFBSS+SVM和QSE+SVM的，這表明了CNN在情感分類中具有良好的分類性能. (2)3DCNN-BLSTM模型采用了3D-CNN和BLSTM進(jìn)行結(jié)合的方式，在四分類實(shí)驗(yàn)中的平均準(zhǔn)確率最高，其中，比使用CNN模型的平均準(zhǔn)確率提高了17.87%.

表4 7種方法在四分類實(shí)驗(yàn)的平均準(zhǔn)確率

3.4 SEED實(shí)驗(yàn)結(jié)果

SEED數(shù)據(jù)集是另一個(gè)常用于情感分析實(shí)驗(yàn)的數(shù)據(jù)集. 學(xué)者們使用該數(shù)據(jù)集進(jìn)行情感三分類實(shí)驗(yàn)，取得了較好的分類效果. 如：ZHENG和LU[14]從多通道EEG數(shù)據(jù)中提取微分熵特征，并使用深度信念網(wǎng)絡(luò)(DBN)進(jìn)行腦電情感識(shí)別；LI等[28]根據(jù)電極分布，將不同通道的差分熵特征向量轉(zhuǎn)化為二維特征矩陣，并使用分層卷積神經(jīng)網(wǎng)絡(luò)(HCNN)進(jìn)行情緒分類；魏琛等[29]使用小波包變換分解腦電信號(hào)并將其轉(zhuǎn)化為二維矩陣，然后輸入到CNN，并使用投票法和加權(quán)平均法提高情感分類準(zhǔn)確率；田莉莉等[30]使用一維卷積神經(jīng)網(wǎng)絡(luò)提取腦電特征，并采用隨機(jī)森林分類器進(jìn)行情感分類.

3DCNN-BLSTM模型在SEED數(shù)據(jù)集上選擇了微分熵特征進(jìn)行實(shí)驗(yàn)，將其實(shí)驗(yàn)結(jié)果與其他相關(guān)文獻(xiàn)[14,28-30]的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，由對(duì)比結(jié)果(表5)可知：DBN模型的平均準(zhǔn)確率最低，表明了CNN在情感分類中具有良好的分類性能；3DCNN-BLSTM模型的平均準(zhǔn)確率最高，其原因可能是3DCNN-BLSTM模型充分提取了腦電信號(hào)的時(shí)空信息，而其他4種方法都沒(méi)有同時(shí)考慮腦電信號(hào)的時(shí)空信息.

表5 5種方法在三分類實(shí)驗(yàn)的平均準(zhǔn)確率

4 總結(jié)

為了充分提取腦電信號(hào)的信息，提高情感識(shí)別準(zhǔn)確率，本文提出了用于腦電情感識(shí)別的3DCNN-BLSTM模型：首先，根據(jù)電極的分布位置將多通道一維特征向量轉(zhuǎn)換為二維特征矩陣，充分考慮了腦電通道的空間位置；并將同一時(shí)刻不同頻帶的二維特征矩陣進(jìn)行疊加構(gòu)造成三維矩陣，同時(shí)使用滑動(dòng)窗口將三維腦電序列分割成固定長(zhǎng)度的片段，并將其輸入到3D-CNN特征提取器，以挖掘腦電時(shí)空相關(guān)信息，充分考慮了腦電信號(hào)的時(shí)間相關(guān)性. 其次，將固定長(zhǎng)度的一維特征片段輸入到BLSTM特征提取器，以提取腦電信號(hào)的前向、反向時(shí)序信息. 最后，將時(shí)空相關(guān)信息以及前向、反向時(shí)序信息輸入到分類器進(jìn)行情感識(shí)別. 實(shí)驗(yàn)結(jié)果表明：在DEAP和SEED數(shù)據(jù)集實(shí)驗(yàn)中，3DCNN-BLSTM模型能有效提高腦電情感識(shí)別準(zhǔn)確率.