時(shí)文飛,　葉西寧

(華東理工大學(xué)信息科學(xué)與工程學(xué)院,上海 200237)

基于腦電信號(hào)的ILDB情感特征提取算法

時(shí)文飛,葉西寧

(華東理工大學(xué)信息科學(xué)與工程學(xué)院,上海 200237)

摘要：近年來(lái),隨著信號(hào)處理和機(jī)器學(xué)習(xí)技術(shù)的快速發(fā)展,基于腦電信號(hào)的情感識(shí)別越來(lái)越受到重視。特征提取是情感識(shí)別過(guò)程中的關(guān)鍵一步。本文提出了改進(jìn)的局域判別基(Improved Local Discriminant Bases,ILDB)算法,提取信號(hào)局域判別基各子空間的能量和系數(shù)均值特征構(gòu)成特征向量,利用SVM分類(lèi)器進(jìn)行分類(lèi),通過(guò)對(duì)特征向量類(lèi)可分性及分類(lèi)正確率的評(píng)估,表明ILDB算法提取的特征具有可分性且分類(lèi)正確率較高。ILDB算法的通道最高平均分類(lèi)正確率達(dá)到88%,通道最高平均分類(lèi)正確率比LDB算法提高4.4%和7.2%,所有通道平均分類(lèi)正確率比LDB算法提高10.1%和9.8%。

關(guān)鍵詞：情感識(shí)別; ILDB; SVM

目前,情感識(shí)別領(lǐng)域常見(jiàn)的識(shí)別方法主要有情感行為識(shí)別(包括面部表情、語(yǔ)音、姿態(tài)等)和生理模式識(shí)別(包括皮膚電反應(yīng)、心率、呼吸、體溫等)?；谇楦行袨樽R(shí)別的研究已經(jīng)非常成熟,如Shan Caifeng等[1]利用LBP方法進(jìn)行人臉表情識(shí)別;Picard等[2]提出機(jī)器智能應(yīng)該包含情感智能,并且比較了基于多種生理特征的情感識(shí)別算法,由此打開(kāi)了基于生理信號(hào)情感識(shí)別的大門(mén)。相比于皮膚電、心電等生理信號(hào),腦電信號(hào)具有非平穩(wěn)性、非線(xiàn)性、極易受偽跡干擾和幅度非常小的特點(diǎn),導(dǎo)致腦電信號(hào)的處理非常困難。近年來(lái),隨著信號(hào)處理技術(shù)的發(fā)展和腦電采集設(shè)備的應(yīng)用,對(duì)腦電信號(hào)的采集和處理變得相對(duì)容易?，F(xiàn)在已經(jīng)建立了基于腦電信號(hào)的情感數(shù)據(jù)庫(kù),并且能夠從網(wǎng)上下載3類(lèi)免費(fèi)的數(shù)據(jù)庫(kù)[3]?；谀X電信號(hào)的情感識(shí)別方法在近幾年也得到了一定的發(fā)展。

特征提取是模式識(shí)別中關(guān)鍵的一步,特征提取的好壞及特征維數(shù)的高低直接影響分類(lèi)識(shí)別的正確率及模型的泛化能力。特征提取的方法主要有HHT(Hilbert-Huang Transform)、PCA(Principal Component Analysis)、ICA(Independent Component Analysis)和LDB(Local Discriminant Bases)等[4]。HHT過(guò)程中需要進(jìn)行FFT變換,當(dāng)時(shí)間序列出現(xiàn)突然的頻率變化時(shí)將導(dǎo)致不確定的結(jié)果;當(dāng)信號(hào)的產(chǎn)生機(jī)制是高度非線(xiàn)性,并且依賴(lài)于復(fù)雜的多重性時(shí),PCA是行不通的;ICA的一個(gè)限制是各獨(dú)立成分的能量和次序是不固定的。反映在時(shí)域、頻域或時(shí)頻域的信號(hào)瞬變現(xiàn)象往往是分類(lèi)的重要特征,基于這個(gè)原因,關(guān)注信號(hào)的局部特征是很重要的。小波包變換能夠同時(shí)反映信號(hào)的時(shí)頻特征,最適合于處理腦電信號(hào)等隨機(jī)非平穩(wěn)信號(hào)?；谛〔ò儞Q的LDB算法已經(jīng)被用于生物醫(yī)學(xué)、地球物理學(xué)、聲波定位儀等多種分類(lèi)問(wèn)題。柳革命等[5]提出求取局域判別基的各子空間的能量,形成特征矢量的方法,在水聲模式分類(lèi)中最高達(dá)到87.5%的分類(lèi)正確率,但在特征選擇的時(shí)候只保留了判決度量函數(shù)值較大的部分子空間,沒(méi)有完全利用全部子空間的特征信息。Zheng Jiming等[6]利用平均距離作為改進(jìn)的判決度量函數(shù),提取局域判別基各子空間能量的統(tǒng)計(jì)特征組成特征矢量,在音頻信號(hào)分類(lèi)中最高達(dá)到87%的總識(shí)別率,但在局域判別基選擇上忽略父節(jié)點(diǎn)與子節(jié)點(diǎn)判別度量值相近的情況,得到的局域判別基未必是最優(yōu)的。本文在局域判別基選擇時(shí)設(shè)定閾值,在閾值范圍之外使用相對(duì)熵作為判決度量,在閾值范圍之內(nèi)引入歐氏距離作為新的判決度量,并且可以通過(guò)調(diào)整閾值保證獲得的局域判別基是最優(yōu)的;最后在特征提取過(guò)程中利用ILDB各子空間的能量和系數(shù)均值構(gòu)成特征向量,充分利用了全部子空間的特征信息。

1小波包分解與局域判別基(LDB)

1.1概述

BB算法[7]是從正交小波包庫(kù)中選擇一組具有最小熵的小波包基作為最優(yōu)基。BB算法主要用于數(shù)據(jù)壓縮和信號(hào)去噪領(lǐng)域。LDB算法對(duì)BB算法進(jìn)行了改進(jìn),首先確定一個(gè)最能反映類(lèi)可分性特征的判別度量函數(shù),然后通過(guò)極大化判別度量函數(shù)獲得一組具有最優(yōu)類(lèi)可分性的小波包正交基,最后以這組小波包基系數(shù)作為特征向量，因此LDB算法的第一步就是小波包分解。

1.2小波包分解

1.3局域判別基

(1)

(2)

LDB算法步驟如下:

Step0選擇一個(gè)正交基庫(kù),并且指定最大分解深度T和判決度量D;

Step1為類(lèi)別c=1,…,C建立時(shí)頻能量圖Γc;

Step3通過(guò)如下規(guī)則判決最好的子空間Aj,k:

如果Δj,k≥Δj+1,2k+Δj+1,2k+1,則令A(yù)j,k=Bj,k;否則令A(yù)j,k=Aj+1,2k⊕Aj+1,2k+1,Δj,k=Δj+1,2k+Δj+1,2k+1;

Step4根據(jù)判別度量值對(duì)基函數(shù)的分類(lèi)能力進(jìn)行由大到小排序;

Step5用前k個(gè)(k≤2n0)最具分類(lèi)能力的基函數(shù)系數(shù)構(gòu)建特征向量。

2改進(jìn)的局域判別基(ILDB)算法

通過(guò)分析研究發(fā)現(xiàn)LDB算法存在2個(gè)主要問(wèn)題:

(2)僅僅選擇前K個(gè)基函數(shù)系數(shù)作為特征,沒(méi)有完全利用各個(gè)子空間的特征,這將降低特征提取的可靠性及類(lèi)可分性能力,進(jìn)而影響分類(lèi)正確率。

(3)

(4)

(5)

(6)

由于選取了相對(duì)熵和歐氏距離作為判決度量,所以為了降低特征維數(shù)及完全利用各個(gè)子空間的特征,在特征提取過(guò)程中利用ILDB各子空間的能量和系數(shù)均值構(gòu)成特征向量。利用前面提出的方法對(duì)原LDB算法中的step3進(jìn)行改進(jìn),ILDB算法的step3改為：

Step3通過(guò)如下規(guī)則判決最好的子空間Aj,k:

如果Δj,k-Δj+1,2k-Δj+1,2k+1≥ε,則令A(yù)j,k=Bj,k;否則計(jì)算dj,k-dj+1,2k-dj+1,2k+1,如果dj,k-dj+1,2k-dj+1,2k+1≥0,則令A(yù)j,k=Bj,k,否則令A(yù)j,k=Aj+1,2k⊕Aj+1,2k+1,Δj,k=Δj+1,2k+Δj+1,2k+1。

關(guān)于如何選取基函數(shù),目前還沒(méi)有很好的理論方法,鑒于Daubechies小波具有良好的緊支性、正交性,選擇db3作為基函數(shù),對(duì)腦電信號(hào)進(jìn)行5層小波包分解,分別采用LDB和ILDB算法(ε=5)得到的樣本局域判別基如圖1、2所示。

圖1　LDB算法小波包正交基

圖2　ILDB算法小波包正交基

由圖1、2可見(jiàn),LDB算法和ILDB算法得到的局域判別基略有不同,主要原因是增加了新的判別準(zhǔn)則。

3特征提取

本文選擇DEAP情感數(shù)據(jù)庫(kù)[8]進(jìn)行樣本特征提取。DEAP數(shù)據(jù)庫(kù)基于效價(jià)、覺(jué)醒度和支配度三維情感模型,實(shí)驗(yàn)過(guò)程中使用32通道的數(shù)據(jù)采集設(shè)備記錄了多達(dá)32個(gè)被試的情感腦電數(shù)據(jù)。根據(jù)數(shù)據(jù)庫(kù)文件participant_ratings的描述,從Valence、Arousal和Dominance評(píng)分較高的被試數(shù)據(jù)中可以提取12個(gè)愉悅狀態(tài)腦電數(shù)據(jù),11個(gè)悲傷狀態(tài)腦電數(shù)據(jù),15個(gè)平靜狀態(tài)腦電數(shù)據(jù),27個(gè)喜愛(ài)狀態(tài)腦電數(shù)據(jù)和10個(gè)厭惡腦電數(shù)據(jù)。選取愉悅、悲傷、平靜、喜愛(ài)和厭惡狀態(tài)腦電數(shù)據(jù)樣本各10個(gè),截取14～63 s共6 400個(gè)數(shù)據(jù)長(zhǎng)度進(jìn)行特征提取。神經(jīng)科學(xué)和心理學(xué)的研究表明,人的各項(xiàng)生理和心理活動(dòng)都影響腦電信號(hào)的δ頻段(1～4 Hz)、θ頻段(4～8 Hz)、α頻段(8～13 Hz)、β頻段(13～30 Hz)、γ頻段(36～44 Hz),大部分文獻(xiàn)在特征提取方面都是先提取腦電信號(hào)的各個(gè)節(jié)律,然后在各節(jié)律頻段提取相應(yīng)的特征,這種做法無(wú)疑會(huì)增加計(jì)算時(shí)間,不利于實(shí)時(shí)應(yīng)用。本文提取特征時(shí)直接提取腦電信號(hào)的特征。設(shè)原始EEG信號(hào)采樣率fs,各通道采樣數(shù)據(jù)長(zhǎng)度為2n0,將EEG信號(hào)進(jìn)行T級(jí)小波包分解,分別選擇ILDB和LDB作為小波包的一個(gè)完備基,這樣在第j(0

(7)

則每個(gè)通道所形成的系數(shù)均值特征矢量可以表示為Mi={AVEj,k},多個(gè)通道所形成的系數(shù)均值特征矢量可表示為M={M1,…,Mi}。從能量角度看,小波包變換將信號(hào)分解到不同的時(shí)頻域上,小波包變換幅度平方的積分同信號(hào)的能量成正比,則小波包樹(shù)第j層第k個(gè)節(jié)點(diǎn)的能量Ej,k計(jì)算公式為

(8)

則每個(gè)通道所形成的能量特征矢量可以表示為Ni={Ej,k} ,多個(gè)通道所形成的能量特征矢量可表示為N={N1,…,Ni}。

為了驗(yàn)證LDB算法和ILDB算法得到的特征矢量的類(lèi)可分性能力,可以使用Fisher判別準(zhǔn)則[10]。定義準(zhǔn)則:

(9)

表1　LDB與ILDB算法提取特征J值比較

對(duì)比表1中的J值可以看出，ILDB算法提取的特征向量的J值大于LDB算法提取的特征向量的J值,說(shuō)明ILDB算法提取的特征向量的類(lèi)可分性能力強(qiáng)于LDB算法提取的特征向量,從而從類(lèi)可分性的角度驗(yàn)證了ILDB算法的有效性。

4仿真結(jié)果與分析

模式識(shí)別的方法主要分為兩大類(lèi):一類(lèi)是無(wú)監(jiān)督的學(xué)習(xí)方法,包括模糊聚類(lèi)、K均值和自組織映射等;另一類(lèi)是有監(jiān)督的學(xué)習(xí)方法,包括支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)、決策樹(shù)、貝葉斯網(wǎng)絡(luò)、K近鄰和隱馬爾科夫模型等。支持向量機(jī)有良好的分類(lèi)正確率及模型泛化能力,本文采用SVM作為分類(lèi)器進(jìn)行情感模式分類(lèi)。目前SVM實(shí)現(xiàn)的軟件包很多,以LIBSVM最為常用。LIBSVM使用過(guò)程中需要選定核函數(shù),確定參數(shù)C、g。參數(shù)C和g的確定可以采用參數(shù)尋優(yōu)算法。鑒于數(shù)據(jù)庫(kù)樣本數(shù)量較少的限制,為了避免分類(lèi)問(wèn)題的模型欠擬合現(xiàn)象,分別采用多項(xiàng)式核函數(shù)、徑向基核函數(shù)、神經(jīng)網(wǎng)絡(luò)核函數(shù)構(gòu)建SVM分類(lèi)器,比較LDB算法與ILDB算法的分類(lèi)正確率。

實(shí)驗(yàn)過(guò)程使用DEAP數(shù)據(jù)庫(kù)中愉悅、悲傷、平靜、喜愛(ài)和厭惡情感狀態(tài)各10個(gè)樣本,對(duì)每類(lèi)情感狀態(tài)的每個(gè)樣本提取10個(gè)相關(guān)通道電極的腦電數(shù)據(jù),對(duì)每個(gè)通道每類(lèi)情感狀態(tài)的10個(gè)樣本隨機(jī)選擇其中5個(gè)作為訓(xùn)練集樣本,另5個(gè)作為測(cè)試集樣本,采用SVM一對(duì)一的方法進(jìn)行分類(lèi)。分別對(duì)每個(gè)通道每對(duì)情感狀態(tài)做5次分類(lèi)實(shí)驗(yàn),比較了各通道腦電數(shù)據(jù)能量特征向量及能量、均值組合特征向量的平均分類(lèi)正確率。各情感狀態(tài)的平均分類(lèi)正確率在不同的通道是不同的，比如愉悅-悲傷以FC2通道平均分類(lèi)正確率最高、悲傷-平靜以T8通道平均分類(lèi)正確率最高。FC2通道平均分類(lèi)正確率如表2所示;T8通道平均分類(lèi)正確率如表3所示。所有通道平均分類(lèi)正確率如表4所示,通道最高平均分類(lèi)正確率如表5所示。所有通道平均分類(lèi)正確率直方圖和通道最高分類(lèi)正確率直方圖如圖3所示。

表2　FC2通道平均分類(lèi)正確率

表3　T8通道平均分類(lèi)正確率

表4　所有通道平均分類(lèi)正確率

對(duì)比表2和表3可以看出，不同通道同一情感狀態(tài)對(duì)的分類(lèi)正確率不同,這主要是因?yàn)椴煌ǖ离姌O連接不同的腦區(qū),而情感狀態(tài)與腦區(qū)分布相關(guān)。由表2、3、4、5可看出分類(lèi)正確率普遍不是非常高,這是由于腦電信號(hào)的非平穩(wěn)性及產(chǎn)生機(jī)理非常復(fù)雜,極小的外界擾動(dòng)及被試者心理波動(dòng)都會(huì)對(duì)實(shí)驗(yàn)數(shù)據(jù)造成很大干擾,從而影響特征提取及分類(lèi)正確率。ILDB算法提取的特征向量分類(lèi)正確率高于LDB算法提取的特征向量分類(lèi)正確率,這也從分類(lèi)正確率的角度證明了ILDB算法的有效性。平靜、喜愛(ài)、厭惡狀態(tài)的分類(lèi)正確率低于愉悅、悲傷狀態(tài)的分類(lèi)正確率,主要是由于平靜、喜愛(ài)、厭惡狀態(tài)的類(lèi)別區(qū)分度較低?？傮w上看ILDB算法提取的能量、均值組合特征向量的分類(lèi)正確率高于能量特征向量的分類(lèi)正確率,這是由于在局域判別基選擇的時(shí)候ILDB算法利用了系數(shù)歐氏距離準(zhǔn)則,在特征提取的時(shí)候組合了能量、均值特征,這也說(shuō)明特征組合的方法可以提高分類(lèi)正確率。表2和表5中wx情感狀態(tài)對(duì)的能量、均值組合特征向量的分類(lèi)正確率低于能量特征向量的分類(lèi)正確率,說(shuō)明特征之間可能存在冗余以及信號(hào)之間具有相關(guān)性。由表5可以看出對(duì)于特定通道,某些類(lèi)別的分類(lèi)正確率較高,可以在今后的分類(lèi)中對(duì)特定類(lèi)別采集特定通道的腦電信號(hào)進(jìn)行情感狀態(tài)識(shí)別,有助于提高識(shí)別率及減少計(jì)算量。另外,在實(shí)驗(yàn)過(guò)程中還發(fā)現(xiàn):LDB算法提取的特征分類(lèi)正確率對(duì)訓(xùn)練集樣本依賴(lài)性較強(qiáng),而ILDB算法提取的特征分類(lèi)正確率對(duì)訓(xùn)練集樣本依賴(lài)性較弱,這主要是由于ILDB算法引入了閾值,通過(guò)調(diào)節(jié)閾值可以降低訓(xùn)練集樣本對(duì)分類(lèi)正確率的影響。

表5　通道最高平均分類(lèi)正確率

圖3　分類(lèi)正確率直方圖

5結(jié)束語(yǔ)

本文將LDB算法應(yīng)用于基于腦電信號(hào)的情感識(shí)別的特征提取上,并提出ILDB算法,使用兩種算法分別提取腦電信號(hào)局域判別基各子空間小波包能量和系數(shù)均值構(gòu)成特征向量。比較了能量特征和能量、均值組合特征的類(lèi)可分性能力及分類(lèi)正確率。兩類(lèi)算法的分類(lèi)正確率都較高,從而證明了LDB算法可用于基于腦電信號(hào)的情感識(shí)別方法的特征提取上。ILDB引入了閾值以及歐氏距離準(zhǔn)則,通過(guò)調(diào)節(jié)閾值可以降低訓(xùn)練集樣本對(duì)分類(lèi)正確率的影響;組合能量、均值特征能夠提高分類(lèi)正確率。由仿真實(shí)驗(yàn)結(jié)果可以看出ILDB算法的通道最高平均分類(lèi)正確率達(dá)到88%,所有通道平均分類(lèi)正確率較LDB算法有10.1%和9.8%的提高,通道最高平均分類(lèi)正確率較LDB算法有4.4%和7.2%的提高,這充分驗(yàn)證了ILDB算法的有效性。

參考文獻(xiàn)：

[1]SHAN Caifeng,GONG Shaogang,MCOWAN P W.Robust facial expression recognition using local binary patterns[C]//Proceedings of International Conference on Image Processing.Genoa,Italy:IEEE,2005:370-373.

[2]PICARD R W,VYZAS E,HEALEY J.Toward machine emotional intelligence:Analysis of affective physiological state[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(10):1175-1191.

[3]LIU Yisi,SOURINA O.EEG databases for emotion recognition[C]//2013 International Conference on Cyber Worlds (CW).Yokohama:IEEE,2013:302-309.

[4]AZLAN W A W,LOW Y F.Feature extraction of electroencephalogram (EEG) signal:A review[C]//2014 IEEE Conference on Biomedical Engineering and Sciences (IECBES).USA:IEEE,2014:801-806.

[5]柳革命,孫超,陳建莉.基于局域判別基空間能量的特征提取[J].空軍工程大學(xué)學(xué)報(bào)(自然科學(xué)版),2008,9(1):33-36.

[6]ZHENG Jiming,WEI Guohua,YANG Chunde.Modified local discriminant bases and its application in audio feature extraction[C]//2009 International Forum on Information Technology and Applications IEEE Computer Society.USA:IEEE,2009:49-52.

[7]COIFMAN R R,WICKERHAUSE M V.Entropy-based algorithms for best basis selection[J].IEEE Transactions on Information Theory,1992,38(2):713-719.

[8]王慧琴.小波分析與應(yīng)用[M].北京:北京郵電大學(xué)出版社,2011.

[9]SAITO N,COIFMAN R R.Local discriminant bases and their applications[J].Journal of Mathematical Imaging and Vision,1995,5(4):337-358.

[10]SERGIOS Theodoridis.Pattern Recognition[M].北京:電子工業(yè)出版社,2010.

EGG-Based ILDB Algorithm of Emotion Feature Extration

SHI Wen-fei,YE Xi-ning

(School of Information Science and Engineering,East China University of Science and Technology,Shanghai 200237,China)

Abstract:In recent years,with the rapid development of signal processing and machine learning technology,EEG-based emotion recognition has received more and more attention,in which feature extraction is a key step.This paper proposes an improved local discriminant bases (ILDB)algorithm,in which both the energy and the mean of each signal subspace coefficients are extracted from ILDB to construct feature vectors and SVM is utilized to classify.By assessing the separability of feature vectors and classification accuracy rate,the extracted features via ILDB are separable and have higher classification accuracy.The highest average classification accuracy rate of ILDB algorithm can attain 88%,which is 4.4% and 7.2% higher than that of LDB algorithm.Moreover,the average classification accuracy rate in all channels of ILDB algorithm increases by 10.1% and 9.8%.

Key words:emotion recognition; ILDB; SVM

收稿日期：2015-06-16

基金項(xiàng)目：國(guó)家自然科學(xué)基金(60974066)

作者簡(jiǎn)介：時(shí)文飛(1987-),男,河南人,碩士生,主要研究方向?yàn)槟Ｊ阶R(shí)別、機(jī)器學(xué)習(xí)。E-mail:18616276050@163.com 通信聯(lián)系人：葉西寧,E-mail:yexining@ecust.edu.cn

文章編號(hào)：1006-3080(2016)02-0254-06

DOI:10.14135/j.cnki.1006-3080.2016.02.016

中圖分類(lèi)號(hào)：TP391.4

文獻(xiàn)標(biāo)志碼：A