柳長(zhǎng)源 李文強(qiáng) 畢曉君

情感在人們的理性行為和日常生活中起著重要作用,與我們息息相關(guān).通過情感的識(shí)別,我們可以去看一些患有自閉癥和抑郁癥的兒童,為他們提供心理咨詢與輔導(dǎo),這不僅能夠更好地促進(jìn)人們之間的交流,在人機(jī)交互的應(yīng)用中也具有重要意義,這是一個(gè)涉及現(xiàn)代醫(yī)學(xué)心理學(xué)領(lǐng)域、計(jì)算機(jī)領(lǐng)域和人工智能等眾多領(lǐng)域內(nèi)的重要研究課題[1].

目前,對(duì)于情感分析的分類方法已有一定的規(guī)模,一般我們?cè)谘芯窟^程中經(jīng)常使用的方式就是在研究生理特點(diǎn)的基礎(chǔ)之上對(duì)人的各種情感差異進(jìn)行對(duì)比分析,例如通過人的面部表情、行為動(dòng)作和語音語調(diào)等外部生理特征來進(jìn)行情感分析,但是這種研究方法易導(dǎo)致情感識(shí)別的精度有所下降[2].因?yàn)槿说拿娌勘砬?、聲音等又容易受到自己的主觀控制,與這些外在表現(xiàn)出來的生理信號(hào)特征相比,腦電信號(hào)存在于人們的中樞神經(jīng)系統(tǒng)中,能夠體現(xiàn)出不同時(shí)刻的差異,因此,與情感的關(guān)聯(lián)性遠(yuǎn)遠(yuǎn)超過其他信號(hào).基于腦電信號(hào)的情感識(shí)別有著非常廣闊的應(yīng)用前景和研究?jī)r(jià)值,越來越多的科研人員投入到了這項(xiàng)工作中.Krisnandhka等[3]提取了腦電信號(hào)的小波能量,并計(jì)算出其相對(duì)利用率作為最后的腦電特征進(jìn)行情感識(shí)別,達(dá)到了76% 的情感識(shí)別率.Duan等[4]對(duì)常見的正向情感和和負(fù)向情感做了二分類,提出采用腦電信號(hào)的差分熵作為腦電特征,準(zhǔn)確率達(dá)到了83.28%.Murugappan等[5]利用三種不同的 “db8”,“sym8”和 “coif5”小波基函數(shù)來提取腦電信號(hào)的統(tǒng)計(jì)特征,對(duì)常見的快樂、驚訝、恐懼、厭惡和中性情緒進(jìn)行分類識(shí)別,最大平均準(zhǔn)確率達(dá)到了83.04%.黃檸檬[6]基于共同空間模式(Common patial pattern,CSP)算法對(duì)腦電信號(hào)中的多種特征進(jìn)行選擇與融合,分類識(shí)別率為80.5%.楊默涵等[7]利用總體經(jīng)驗(yàn)?zāi)B(tài)分解(Ensemble empirical mode decomposition,EEMD)和希爾伯特變換提取了邊際譜和瞬時(shí)能量作為腦電特征,利用線性判別分類器(Linear discriminant analysis,LDA)對(duì)腦電信號(hào)進(jìn)行分類,平均識(shí)別率為 82.74%.Zhang等[8]提出了利用變分模態(tài)分解(Variational mode decomposition,VMD)和自回歸(Auto regressive,AR)相結(jié)合的方法進(jìn)行腦電特征提取,并采用隨機(jī)森林分類器處理三分類任務(wù),取得了不錯(cuò)的效果.另外,也有研究者通過非線性動(dòng)力學(xué)特征對(duì)腦電情感信號(hào)進(jìn)行了分析,孫穎等[9]利用功率譜熵和非線性全局特征相結(jié)合構(gòu)造出腦電情感特征,采用支持向量機(jī)對(duì)腦電情感進(jìn)行四分類,平均識(shí)別率達(dá)到了86.42%.但是,上述文獻(xiàn)中的這些腦電特征都是依據(jù)經(jīng)驗(yàn)進(jìn)行設(shè)計(jì)手動(dòng)提取的特征,所得到的腦電特征的質(zhì)量得不到保證且容易出現(xiàn)特征丟失.利用傳統(tǒng)的分類方法支持向量機(jī),隨機(jī)森林和LDA 等進(jìn)行情感識(shí)別時(shí),這些算法的分類結(jié)果很大程度上依賴于特征質(zhì)量,且泛化性不強(qiáng).所以,構(gòu)造出一個(gè)能夠自動(dòng)提取情感特征和進(jìn)行分類的模型是提高腦電情感分類識(shí)別率的關(guān)鍵.

深度學(xué)習(xí)(Deep learning,DL)作為機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要分支,其目標(biāo)是創(chuàng)造一個(gè)模仿人腦學(xué)習(xí)的網(wǎng)絡(luò).與傳統(tǒng)機(jī)器學(xué)習(xí)方法相比,其省去了手動(dòng)提取特征的環(huán)節(jié),通過半監(jiān)督或者無監(jiān)督的方式來滿足特征自動(dòng)提取的需要,為數(shù)據(jù)的高級(jí)別抽象表示提供了可能[10].如今,深度學(xué)習(xí)在語音識(shí)別、圖像識(shí)別等領(lǐng)域中都得到一定程度的運(yùn)用,并且為這些領(lǐng)域的發(fā)展做出了一定的貢獻(xiàn).由于深度學(xué)習(xí)具有自動(dòng)學(xué)習(xí)提取樣本抽象特征的能力,避免了特征選擇與降維的過程,在情感識(shí)別方面,Jirayucharoensak等[11]應(yīng)用堆疊自編碼器(Stack autoencoder,SAE)方法建立情感識(shí)別模型,除此之外,并與一些我們傳統(tǒng)使用的分類計(jì)算方式支持向量機(jī)(Support vector machine,SVM)、樸素貝葉斯(Naive Bayesian,NB)等進(jìn)行對(duì)比分析,以此驗(yàn)證了深度網(wǎng)絡(luò)的優(yōu)越性.楊豪等[12]采用深度信念網(wǎng)絡(luò)(Deep belief network,DBN)來識(shí)別三種腦電情感狀態(tài),平均準(zhǔn)確率達(dá)到89.12%,但是DBN 訓(xùn)練所需的時(shí)間較長(zhǎng),且訓(xùn)練過程中易產(chǎn)生冗余特性.Cheng等[13]利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)腦電情感進(jìn)行分類識(shí)別,但是隨著情感分類類別數(shù)的增加準(zhǔn)確率出現(xiàn)下降,此時(shí)體現(xiàn)出單一卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)模型的局限性.此后,Wang等[14]引入了3D-CNN 對(duì)腦電信號(hào)進(jìn)行情感識(shí)別,喚醒度和效價(jià)的分類準(zhǔn)確率分別為73.3%和72.1%,但是識(shí)別腦電信號(hào)時(shí)所需的時(shí)間較長(zhǎng),因?yàn)樵谧R(shí)別前,需要將一維的腦電信號(hào)轉(zhuǎn)成三維數(shù)據(jù)形式.闞威等[15]利用LSTM 網(wǎng)絡(luò)對(duì)腦電情感信號(hào)進(jìn)行二分類,愉悅度分類的準(zhǔn)確率為73.5%,喚醒度的分類準(zhǔn)確率為73.87%.把腦電時(shí)序信號(hào)的各個(gè)時(shí)間點(diǎn)直接輸入長(zhǎng)短期記憶網(wǎng)絡(luò)(Long short term memory,LSTM)中,并沒有達(dá)到理想的分類結(jié)果,主要原因可能是將腦電信號(hào)的時(shí)序信息直接輸入LSTM 網(wǎng)絡(luò)并不能獲得與情感相關(guān)的空間頻率信息特征.在腦電情感信號(hào)處理時(shí),前后的關(guān)聯(lián)和表征能力仍有不足之處.所以,有必要在LSTM 的前層嫁接一個(gè)合適的用于提取腦電情感特征的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu).

因此,本文采用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)CNN和長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM 為基礎(chǔ),設(shè)計(jì)了RCNN-LSTM 混合深度學(xué)習(xí)模型來提高腦電情感信號(hào)的識(shí)別率,首先,改進(jìn)傳統(tǒng)的CNN 模型,利用循環(huán)卷積神經(jīng)網(wǎng)絡(luò)(Recurrent convolutional neural network,RCNN)來提取腦電信號(hào)特征,以充分挖掘腦電信號(hào)的內(nèi)在情感信息,再結(jié)合LSTM對(duì)時(shí)序特征信息的融合與建模,使其綜合考慮了腦電信號(hào)的時(shí)間和空間特性,更全面地保留了腦電信號(hào)的抽象和深層特征,通過對(duì)最后實(shí)驗(yàn)結(jié)果的評(píng)估,證明了RCNN-LSTM 模型的有效性.

1 卷積神經(jīng)網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò)

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)主要含有兩大重要特性:1)局部連接特性;2)權(quán)值共享特性.所謂的局部連接特性的優(yōu)勢(shì)在于可以在一定程度上降低擬合過程中所遇到的風(fēng)險(xiǎn);權(quán)值共享性特征的優(yōu)勢(shì)在于可以降低訓(xùn)練參數(shù)的數(shù)量,使網(wǎng)絡(luò)更易于優(yōu)化[16].

卷積層通過前向操作可使不同的卷積核與輸入數(shù)據(jù)來進(jìn)行運(yùn)算,輸出的就是輸入數(shù)據(jù)所產(chǎn)生的不同特征.卷積計(jì)算公式為

其中,xi表示輸入數(shù)據(jù),表示第i通道上的第n個(gè)卷積核,bn是偏置值,* 表示卷積運(yùn)算,Yn是計(jì)算得到的第n個(gè)特征圖.

池化層也叫降采樣層.為了把權(quán)值控制在一定范圍之內(nèi),降低網(wǎng)絡(luò)擬合中產(chǎn)生的風(fēng)險(xiǎn),卷積神經(jīng)網(wǎng)絡(luò)將池化層引用其中,以此來對(duì)特征圖來進(jìn)行降采樣處理,保障數(shù)據(jù)的精確度和可靠性.

1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network,RNN)在神經(jīng)網(wǎng)絡(luò)的領(lǐng)域里已有一定歷史[17],與卷積神經(jīng)網(wǎng)絡(luò)不同,RNN 具有環(huán)狀結(jié)構(gòu),可以使信息得以維持.RNN 每次處理一個(gè)時(shí)序輸入,更新一種向量狀態(tài),該向量含有序列中所有過去的元素.圖1展示了一個(gè)輸入為Xt,輸出為Ot的神經(jīng)網(wǎng)絡(luò).

圖1 一個(gè)含有內(nèi)部環(huán)的RNNFig.1 An RNN with an inner ring

St是網(wǎng)絡(luò)中的一個(gè)向量狀態(tài),可以視為系統(tǒng)的一種記憶模式.它含有輸入序列中所有之前的元素中的信息.另一方面,圖中的循環(huán)使得信息可以由網(wǎng)絡(luò)中的每一步移動(dòng)到下一步.狀態(tài)向量St由當(dāng)前輸入和之前的狀態(tài)向量通過矩陣U和W計(jì)算.

式中,f是一個(gè)非線性函數(shù),與tanh和ReLU 類似.可以看到,函數(shù)中的兩項(xiàng)要先求和,然后由f處理.最后,Ot是網(wǎng)絡(luò)輸出,由矩陣V計(jì)算得來.

RNN 在時(shí)間結(jié)構(gòu)上是存在循環(huán)的一個(gè)狀態(tài),這就意味著可以保證數(shù)據(jù)信息的長(zhǎng)時(shí)間保存,可以使神經(jīng)網(wǎng)絡(luò)對(duì)時(shí)間序列的前后關(guān)聯(lián)問題進(jìn)行處理.但是梯度的消失-爆炸問題也會(huì)影響RNN,RNN網(wǎng)絡(luò)的時(shí)序不能太長(zhǎng)就是出于這個(gè)原因.如果梯度在數(shù)層之后開始消失或爆炸,網(wǎng)絡(luò)就不能學(xué)習(xí)數(shù)據(jù)之間比較高的時(shí)間距離關(guān)系.

2 RCNN-LSTM-EEG 結(jié)構(gòu)

2.1 循環(huán)卷積神經(jīng)網(wǎng)絡(luò)

對(duì)于RCNN 循環(huán)卷積神經(jīng)網(wǎng)絡(luò),其結(jié)合了循環(huán)神經(jīng)網(wǎng)絡(luò)的特性[18],對(duì)傳統(tǒng)的CNN 中層與層之間自上而下的連接方式進(jìn)行了改進(jìn),通過在同一層上遞歸連接多個(gè)迭代的卷積子得到了循環(huán)卷積層(Recurrent convolutional layer,RCL),使CNN 每一層前饋網(wǎng)絡(luò)上進(jìn)行了反復(fù)的循環(huán)計(jì)算,而相鄰的RCL 層之間只有前饋連接.RCNN 結(jié)構(gòu)主要包含一個(gè)標(biāo)準(zhǔn)的卷積層、數(shù)層循環(huán)卷積層以及最終輸出層.圖2 是整個(gè)RCNN 構(gòu)成的結(jié)構(gòu)分布圖.

圖2 RCNN 結(jié)構(gòu)分布圖Fig.2 RCNN structure distribution

第1 層(C1)是標(biāo)準(zhǔn)的前饋卷積層,沒有遞歸連接.第1層C1之后跟隨著多個(gè)循環(huán)卷積層 (RCL1～RCLm),并且每個(gè)循環(huán)卷積層都是由眾多的卷積子組建而成,每?jī)蓚€(gè)循環(huán)卷積層中間有一個(gè)maxpooling 層來進(jìn)行降維,并且在T+1 個(gè)時(shí)刻 RCL 層中的多個(gè)卷積子都可以對(duì)權(quán)值進(jìn)行共享.假如把一個(gè) RCL 層進(jìn)行展開,可以把其作為有T+1 深度的前饋?zhàn)泳W(wǎng),圖3 就是RCL 層的具體展開圖.但是我們需要明確的是一個(gè)RCL 層和具有T+1 深度的CNN 是有一定差別的,主要體現(xiàn)在:RCL 層主要是通過卷積來進(jìn)行具體計(jì)算的,它的輸入是卷積運(yùn)算在不同時(shí)間點(diǎn)上的數(shù)值,而T+1 深度的CNN的輸入的時(shí)間點(diǎn)是一致的.因此,在參數(shù)量固定的狀態(tài)下,可以把RCL 取任意時(shí)間點(diǎn)進(jìn)行展開,從而得到相應(yīng)的神經(jīng)網(wǎng)絡(luò).

圖3 RCL 展開圖Fig.3 RCL expansion diagram

確定分類效果的一個(gè)非常重要的因素就是模型所采用的深度,層次越深,越可以讓網(wǎng)絡(luò)學(xué)習(xí)到更加復(fù)雜的特征.相反,網(wǎng)絡(luò)深度越淺,那么越有利于梯度回傳.RCNN 能夠更加高效合理地權(quán)衡這兩點(diǎn),它可以看作是一個(gè)具有彈性路徑的CNN.不僅可以對(duì)網(wǎng)絡(luò)深度進(jìn)行一定程度的加深,而且還能夠有效地對(duì)其進(jìn)行訓(xùn)練.也就是說RCL 的這種迭代的計(jì)算,實(shí)現(xiàn)了路徑長(zhǎng)度可以進(jìn)行延展,從1 層可以延展到T+1 層.因此,若在一個(gè)完整的RCNN網(wǎng)絡(luò)中RCL 層為4 個(gè),那么就可以計(jì)算出總路徑可以從6 轉(zhuǎn)變?yōu)?(T+1)+2 (包括第1 層的卷積層和最后的輸出層).正是因?yàn)镽CL 此特性,從而使網(wǎng)絡(luò)深度得到了更好的延展,并且能夠大大地提高權(quán)值共享效果,使得參數(shù)量大幅度減少.本文在設(shè)計(jì)卷積核時(shí)避免使用較大尺寸的核,主要是由于腦電情感信號(hào)的時(shí)間序列不同于圖像中的特征點(diǎn)很密集.也就是說在一個(gè)腦電信號(hào)的區(qū)域內(nèi)會(huì)存在很多無關(guān)的特征,卷積核尺寸越大,其感受野就越大,就會(huì)提取到很多無用的腦電特征.同時(shí)卷積核尺寸增大,也會(huì)增加計(jì)算量的開銷,不利于模型深度的增加,計(jì)算性能會(huì)大大降低.一般情況下在更深的模型中用較小的卷積核能夠?qū)崿F(xiàn)正則化的效果.在多次實(shí)驗(yàn)后得到了各層具體參數(shù)如表1 所示.

表1 RCNN 網(wǎng)絡(luò)模型結(jié)構(gòu)Table 1 RCNN network model structure

2.2 長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)

作為時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)的一種形式,LSTM 網(wǎng)絡(luò)不但能夠體現(xiàn)出腦電信號(hào)信息的前后關(guān)聯(lián)性,并且更能夠處理長(zhǎng)時(shí)間依賴的問題.在許多時(shí)間序列的分類問題上,如語音分類、自然語言處理 (Natural language processing,NLP)等,LSTM 網(wǎng)絡(luò)都獲得了很大的進(jìn)步.由于腦電情感信號(hào)的時(shí)間特征和頻譜特性與上述的時(shí)序信息類似,考慮將LSTM神經(jīng)網(wǎng)絡(luò)應(yīng)用于腦電情感信號(hào)分類.LSTM具有RNN 的優(yōu)勢(shì),能夠比較精準(zhǔn)地對(duì)序列數(shù)據(jù)進(jìn)行準(zhǔn)確的分析[19].為了保證整個(gè)循環(huán)網(wǎng)絡(luò)能夠更加穩(wěn)定地進(jìn)行,LSTM 模型增添了其他機(jī)制,以此來降低梯度消失和發(fā)生爆炸的可能性.記憶單元c、輸入門i、遺忘門f及輸出門o這些機(jī)制相互組合運(yùn)用,可以大幅度地提高神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理能力.LSTM模型具體運(yùn)算為

在上述函數(shù)式中,it表示輸入門,ft表示遺忘門,ct表示記憶單元,ot表示輸出門向量值,W表示權(quán)值響應(yīng)數(shù)據(jù),b是偏置數(shù)值,tanh 是雙曲正切函數(shù).其中輸入門主要的作用就是對(duì)記憶單元c的強(qiáng)度進(jìn)行控制;輸入門、遺忘門以及輸出門三者之間各自有著其相應(yīng)的用途,當(dāng)有新的信息輸入到LSTM 網(wǎng)絡(luò)當(dāng)中時(shí),可以根據(jù)輸入門的規(guī)則來進(jìn)行選擇性的添加,并通過遺忘門對(duì)無用的信息進(jìn)行選擇性過濾遺忘.它們之間的計(jì)算方式存在相似之處,但是又有著不同的參數(shù),LSTM 結(jié)構(gòu)如圖4 所示.

圖4 LSTM 結(jié)構(gòu)示意圖Fig.4 LSTM structure diagram

在實(shí)驗(yàn)過程中,主要利用的是單層LSTM 結(jié)構(gòu),選擇 tanh 函數(shù)作為模型的激活函數(shù),設(shè)置隱層的節(jié)點(diǎn)數(shù)為30 個(gè),輸出層采用使用Softmax 函數(shù)來對(duì)情感進(jìn)行分類識(shí)別.LSTM 在訓(xùn)練和識(shí)別的過程中通過輸入當(dāng)前信息和前一時(shí)刻隱層的狀態(tài)以此來改變隱層的狀態(tài),并且對(duì)這一步驟進(jìn)行不斷地循環(huán),一直到處理結(jié)束.

2.3 RCNN-LSTM 結(jié)構(gòu)

腦電信號(hào)在經(jīng)過RCNN 網(wǎng)絡(luò)之后,我們可以得出時(shí)序信號(hào)的具體特征及其所承載信息的特點(diǎn).因?yàn)樵谶@個(gè)過程中我們所得到的特征也是一個(gè)相應(yīng)的時(shí)間序列,所以,需要借助LSTM 建立模型來對(duì)這些時(shí)序信息進(jìn)行詳細(xì)全面的分析,圖5 為RCNNLSTM 模型整體結(jié)構(gòu)示意圖.

在圖5 所示結(jié)構(gòu)中,EEGinput為送入網(wǎng)絡(luò)訓(xùn)練或測(cè)試的單條腦電信號(hào)長(zhǎng)度,樣本長(zhǎng)度的設(shè)置非常重要,它和網(wǎng)絡(luò)結(jié)構(gòu)、分類數(shù)目、訓(xùn)練速度都緊密相關(guān).考慮到實(shí)驗(yàn)者觀看視頻時(shí)需要一定的反應(yīng)時(shí)間,并且在最后階段難免會(huì)出現(xiàn)倦怠感,因此把實(shí)驗(yàn)中前23 s和后20 s 的數(shù)據(jù)去除,只保留中間20 s 的數(shù)據(jù),共2 560 個(gè)時(shí)間節(jié)點(diǎn).eeglen為對(duì)長(zhǎng)度EEGinput的腦電信號(hào)進(jìn)行再切分的單段長(zhǎng)度,也是RCNN網(wǎng)絡(luò)進(jìn)行特征提取的腦電信號(hào)長(zhǎng)度.在各個(gè)切分的腦電信號(hào)段數(shù)互不重疊的情況下,可切分的段數(shù)stepn可由式(9)計(jì)算得到

stepn就是腦電信號(hào)切分的段數(shù),也是獲取到腦電特征的總步數(shù),是輸入到LSTM 的總步數(shù).當(dāng)依次將長(zhǎng)度為eeglen的腦電信號(hào)送入RCNN 后,會(huì)分別提取到各段腦電信號(hào)的特征.將得到的多時(shí)段腦電特征送入LSTM 后將獲得最后一步的隱層輸出hstepn.將隱層數(shù)據(jù)與全連接層相連,圖5 中所示的Nclasses為分類類別,將全連接層的輸出再通過Softmax 計(jì)算可獲得預(yù)測(cè)輸出的情感類別.本文將eeglen分別定為64,128,160和256,將所有樣本數(shù)據(jù)分為10 折,在其中的9 折數(shù)據(jù)內(nèi)部進(jìn)行了交叉驗(yàn)證實(shí)驗(yàn),嘗試不同的eeglen和stepn,以此來尋找最優(yōu)的eeglen和stepn組合,將剩下的1 折數(shù)據(jù)作為最終的測(cè)試數(shù)據(jù).通過比較9 折實(shí)驗(yàn)后腦電情感信號(hào)的平均識(shí)別率可以看到,當(dāng)eeglen為160,stepn為16 時(shí),能夠獲得較好的分類效果.

圖5 RCNN-LSTM 結(jié)構(gòu)示意圖Fig.5 RNCN-LSTM structure diagram

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

DEAP (Database for emotion analysis using physiological signals)[20]數(shù)據(jù)庫(kù)中主要采集了32 名身體健康參與人員的腦電數(shù)據(jù),在這些樣本人員之中,男女性別之間的比例是1:1,參與實(shí)驗(yàn)人員的平均年齡為26 歲,并且在實(shí)驗(yàn)之前把整個(gè)實(shí)驗(yàn)的細(xì)節(jié)和過程詳細(xì)地告知了受試人員.這些受試人員的身體和心理都是呈現(xiàn)良好的健康狀態(tài),在收集樣本數(shù)據(jù)的過程中主要采用32 導(dǎo)AgCl 電極,此外,還有8 個(gè)電極采集外周生理信號(hào).每個(gè)實(shí)驗(yàn)時(shí)長(zhǎng)為63 s,前3 s 為實(shí)驗(yàn)準(zhǔn)備階段,隨后的60 s 是被試者觀看的MV 時(shí)間.每位受試者每次實(shí)驗(yàn)信號(hào)采集過程如表2 所示.

表2 DEAP 數(shù)據(jù)收集統(tǒng)計(jì)表Table 2 DEAP data collection statistics

本文在實(shí)驗(yàn)過程中所采用的DEAP 數(shù)據(jù)庫(kù)中的數(shù)據(jù)是經(jīng)過預(yù)處理之后得到的,經(jīng)過預(yù)處理后的數(shù)據(jù)采樣頻率為128 Hz,并且去除了眼電等噪聲,從而使得數(shù)據(jù)的準(zhǔn)確性和精確度都能夠保持在可靠范圍之內(nèi).根據(jù)相關(guān)的研究成果表明,大腦的額區(qū)和中央?yún)^(qū)域主要參與人們的情感處理[21].因此,本文主要提取集中在大腦額區(qū)和中央?yún)^(qū)的腦電通道數(shù)據(jù)來進(jìn)行研究,分別是FP1、FP2、F3、Fz、F4、F7、F8、C3、C4[22].DEAP 數(shù)據(jù)庫(kù)主要是運(yùn)用效價(jià)和喚醒度所構(gòu)成的二維情感模型[23],該模型可以把人類的情感劃分為兩種對(duì)應(yīng)極端,一端為正極,另一端為負(fù)極.當(dāng)情感處于正極意味著是正性情感,能夠?yàn)槿藥砹己玫谋容^愉悅的內(nèi)心感受;而情感處于負(fù)極意味著是負(fù)性情感,即給人帶來不好的情感感受,例如:焦慮、暴躁等.

3.2 結(jié)果分析

將本文提出的RCNN-LSTM 模型應(yīng)用到DEAP 數(shù)據(jù)集上,對(duì)常見的5 類情感:輕松、沮喪、快樂、壓力和平靜進(jìn)行研究分析,輕松、沮喪、快樂、壓力和平靜的樣本分別為1 250、1 178、1 153、1 132和1 228 個(gè).此外,又比較了采用傳統(tǒng)的識(shí)別算法和淺層神經(jīng)網(wǎng)絡(luò)(SVM、BP、CNN、LSTM)對(duì)5 種腦電情感信號(hào)的分類進(jìn)行實(shí)驗(yàn),取eeglen為160,stepn為16,不同算法均對(duì)最后的1 折數(shù)據(jù)進(jìn)行10 次測(cè)試實(shí)驗(yàn),并利用整體情感的平均分類識(shí)別率和單個(gè)情感的分類識(shí)別率既召回率(Recall)對(duì)模型的分類結(jié)果進(jìn)行評(píng)估,結(jié)果如表3 所示.

表3 不同算法下的召回率和分類識(shí)別率(%)Table 3 Classification recognition rate under differrnt algorithms (%)

分類問題中,最常見的評(píng)價(jià)指標(biāo)是準(zhǔn)確率(Accuracy,ACC),它能夠直接反映出分正確的比例,同時(shí)計(jì)算非常簡(jiǎn)單.但是實(shí)際的分類問題中,可能各個(gè)類別的數(shù)據(jù)量有一定差異,導(dǎo)致有時(shí)整體的準(zhǔn)確率(ACC)較高,但是部分類別的分類效果較差,這時(shí)單純的準(zhǔn)確率(ACC)不能完全作為模型的評(píng)價(jià)標(biāo)準(zhǔn).為此,計(jì)算模型的分類準(zhǔn)確率的方差和kappa 系數(shù)來衡量分類模型的好壞,結(jié)果如表4所示,kappa 用于一致性檢驗(yàn),具體計(jì)算為

表4 不同算法下的kappa值和方差Table 4 Kappa values and variances under different algorithms

式中,p0是每一類正確分類的樣本數(shù)量之和除以總樣本數(shù),也即總體分類識(shí)別率;pe是預(yù)期與真實(shí)結(jié)果一致的概率.

在表3 中,SVM 與BP 神經(jīng)網(wǎng)絡(luò)兩種方法是在MATLAB2015 平臺(tái)中調(diào)用相應(yīng)的分類函數(shù)分析得出的結(jié)果,SVM 是一種有監(jiān)督的學(xué)習(xí)模型,可以對(duì)腦電情感信號(hào)進(jìn)行分類識(shí)別,使用的核函數(shù)為高斯徑向基核函數(shù),其形式為

SVM 的分類性能主要依賴于懲罰因子c和徑向基函數(shù)(Radial basis function,RBF)核函數(shù)的參數(shù)g,在許多情況下,找到合適的參數(shù)一般需要人為進(jìn)行大量的嘗試,這樣計(jì)算量較大且不易獲得最佳參數(shù).為了解決參數(shù)選擇的問題,本文使用遺傳算法(Genetic algorithm,GA)對(duì)兩個(gè)參數(shù)進(jìn)行優(yōu)化.得到的最優(yōu)的懲罰因子c=1.3055,核參數(shù)g=0.82359.GA-SVM 的適應(yīng)度曲線如圖6 所示.

圖6 GA-SVM 的適應(yīng)度曲線Fig.6 GA-SVM fitness curve

BP 神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)置目前并沒有明確的規(guī)則來確定,根據(jù)以往的經(jīng)驗(yàn)和多次實(shí)驗(yàn),本文將BP 神經(jīng)網(wǎng)絡(luò)隱藏層設(shè)置為兩層,每層的節(jié)點(diǎn)數(shù)分別為30、10,用-1～1 的隨機(jī)數(shù)來初始化BP 神經(jīng)網(wǎng)絡(luò)中的權(quán)重,用反向傳輸算法進(jìn)行BP 神經(jīng)網(wǎng)絡(luò)訓(xùn)練,采用帶有動(dòng)量項(xiàng)的梯度下降法進(jìn)行參數(shù)優(yōu)化.CNN、LSTM 與本文的RCNN-LSTM 模型是在開源框架Tensorflow 中進(jìn)行分類訓(xùn)練和測(cè)試.表1 中的RCNN 循環(huán)卷積神經(jīng)網(wǎng)絡(luò)里有1 個(gè)標(biāo)準(zhǔn)的卷積層和4 個(gè)循環(huán)卷積層RCL,因此,表3 中的CNN模型設(shè)為5 層標(biāo)準(zhǔn)卷積層,每層的卷積核的數(shù)量和核大小與RCNN 中的參數(shù)相同,表3 中的LSTM模型設(shè)為單層,參數(shù)與RCNN-LSTM 模型中的LSTM 相同,表3 中CNN-LSTM 網(wǎng)絡(luò)由上述的CNN 與LSTM 進(jìn)行組合,分別與本文的RCNNLSTM 模型進(jìn)行對(duì)比實(shí)驗(yàn).

由表3 可以看出,傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)算法對(duì)腦電情感的分類準(zhǔn)確率較為一般,且單個(gè)情感類別的召回率波動(dòng)較大,本文構(gòu)建的RCNNLSTM 模型整體平均識(shí)別率達(dá)到96.63%,并且對(duì)每種情感的召回率都比較高且比較穩(wěn)定,最低的分類精度為94.3%,最高的分類準(zhǔn)確率達(dá)到了100%,與傳統(tǒng)方法相比,具有明顯的優(yōu)勢(shì).由表4 可以看出,本文提出的RCNN-LSTM 模型在進(jìn)行多類的腦電信號(hào)分類時(shí)的kappa 系數(shù)高于其他5 種算法,并且方差最小,魯棒性較優(yōu).由于腦電信號(hào)具有復(fù)雜的時(shí)空特性,傳統(tǒng)的CNN 網(wǎng)絡(luò)通過不斷訓(xùn)練能夠?qū)W習(xí)腦電信號(hào)的空間頻率信息,但卻忽略了時(shí)間域的信息.LSTM 方法則正好相反,LSTM 作為RNN的一種特殊形式,可處理各部分輸入的數(shù)據(jù)并進(jìn)行統(tǒng)一分類,但是,直接將腦電信號(hào)以各個(gè)采樣點(diǎn)輸入LSTM 并未取得良好的效果.因此,本文構(gòu)建了RCNN-LSTM 模型來提高腦電情感識(shí)別率.在送入LSTM 前,利用RCNN 循環(huán)卷積神經(jīng)網(wǎng)絡(luò)用于對(duì) EEG 信號(hào)的頻域進(jìn)行分析,相較于傳統(tǒng)的CNN,RCNN 循環(huán)卷積神經(jīng)網(wǎng)絡(luò)不但能夠?qū)W習(xí)腦電信號(hào)的空間頻率信息,通過循環(huán)卷積層聯(lián)系網(wǎng)絡(luò)隱層中當(dāng)前時(shí)刻和前幾個(gè)時(shí)刻,還能獲得腦電信號(hào)序列的時(shí)序關(guān)系.再通過對(duì)腦電信號(hào)的單步切分eeglen,依次將每一步的eeglen送入RCNN 中,以此來獲得更豐富的腦電情感特征,最后采用LSTM 對(duì)時(shí)序特征信息進(jìn)行融合建模與分類,更全面地保留了腦電信號(hào)的內(nèi)在情感特征.因此,將RCNN-LSTM 模型用于多類腦電情感信號(hào)的分類相較于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)算法具有更好的識(shí)別效果.

將本文的研究方法與已有研究成果進(jìn)行對(duì)比,比較結(jié)果如表5 所示,文獻(xiàn)[24]提取了腦電信號(hào)的功率譜密度為特征,利用SVM 進(jìn)行二分類,識(shí)別率達(dá)到了70.1%,文獻(xiàn)[25]將近似熵、樣本熵、排列熵進(jìn)行組合作為特征,利用K-最近鄰(K-nearest neighbor,KNN)進(jìn)行分類,分類精度達(dá)到了77.8%,文獻(xiàn)[26]中利用了卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的方式對(duì)DEAP 腦電數(shù)據(jù)進(jìn)行了情感分類,整體識(shí)別率為73.09%.文獻(xiàn)[27]將堆棧自編碼器與循環(huán)神經(jīng)網(wǎng)絡(luò)相融合,得到的情感識(shí)別率為79.26%.文獻(xiàn)[28]采用新型動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)(Dynamical graph convolutional neural networks,DGCNN)對(duì)腦電情感信號(hào)進(jìn)行分類識(shí)別,平均識(shí)別率達(dá)到了90.4%.文獻(xiàn)[29]采用3D-CNN 模型對(duì)腦電信號(hào)進(jìn)行情感識(shí)別,在喚醒度上和效價(jià)上的準(zhǔn)確率分別為88.49%和87.44%,整體平均識(shí)別率為87.965%.

表5 已有研究成果與本文的對(duì)比Table 5 The existing research results are compared with our method

本文通過構(gòu)建新的RCNN-LSTM 模型對(duì)腦電情感信號(hào)進(jìn)行5 類識(shí)別研究,整體的平均分類識(shí)別率達(dá)到了96.63%,比上述已有的相似研究成果都有了一定程度的提高,驗(yàn)證了本文方法的可行性.

4 結(jié)束語

本文在研究的過程中主要使用了DEAP 數(shù)據(jù)庫(kù)中的腦電數(shù)據(jù),對(duì)沮喪、輕松、快樂、壓力和平靜5 種情感腦電信號(hào)進(jìn)行研究分析.針對(duì)目前基于腦電信號(hào)情感分類準(zhǔn)確率較低且分類類別少的問題,提出了一種將循環(huán)卷積神經(jīng)網(wǎng)絡(luò)(RCNN)與長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)模型相融合的腦電情感識(shí)別方法.通過遞歸連接的RCNN 循環(huán)卷積神經(jīng)網(wǎng)絡(luò),可以在每個(gè)RCL 層參數(shù)量固定的條件下,增加網(wǎng)絡(luò)的深度,使模型能夠自動(dòng)學(xué)習(xí)到高度復(fù)雜的腦電情感特征,避免了手動(dòng)特征選擇與降維等步驟,并對(duì)原始的腦電信號(hào)序列進(jìn)行單步切分,通過RCNN特征提取后進(jìn)行多時(shí)段特征融合,并借助LSTM 對(duì)時(shí)間序列分類識(shí)別的優(yōu)勢(shì),使其對(duì)腦電情感信號(hào)的時(shí)、空、頻域特征能有很好的泛化能力和強(qiáng)魯棒性,平均整體情感分類識(shí)別率達(dá)到了96.63%,結(jié)果表明本文所提的RCNN-LSTM 模型可以幫助人們有效地識(shí)別腦電情感信號(hào),為能夠得到性能完善可靠的情感識(shí)別腦–機(jī)接口提供了一定的參考.