基于時(shí)頻域的卷積神經(jīng)網(wǎng)絡(luò)運(yùn)動(dòng)想象腦電信號(hào)識(shí)別方法

胡章芳 張力 黃麗嘉 羅元

摘 要：針對(duì)目前運(yùn)動(dòng)想象腦電（EEG）信號(hào)識(shí)別率較低的問題，考慮到腦電信號(hào)蘊(yùn)含著豐富的時(shí)頻信息，提出一種基于時(shí)頻域的卷積神經(jīng)網(wǎng)絡(luò)（CNN）運(yùn)動(dòng)想象腦電信號(hào)識(shí)別方法。首先，利用短時(shí)傅里葉變換（STFT）對(duì)腦電信號(hào)的相關(guān)頻帶進(jìn)行預(yù)處理，并將多個(gè)電極的時(shí)頻圖組合構(gòu)造出一種二維時(shí)頻圖;然后，針對(duì)二維時(shí)頻圖的時(shí)頻特性，通過一維卷積的方法設(shè)計(jì)了一種新穎的CNN結(jié)構(gòu);最后，通過支持向量機(jī)（SVM）對(duì)CNN提取的特征進(jìn)行分類。基于BCI數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，所提方法的平均識(shí)別率為86.5%，優(yōu)于其他傳統(tǒng)運(yùn)動(dòng)想象腦電信號(hào)識(shí)別方法;同時(shí)將該方法應(yīng)用在智能輪椅上，驗(yàn)證了其有效性。

關(guān)鍵詞：運(yùn)動(dòng)想象;腦電;時(shí)頻域;卷積神經(jīng)網(wǎng)絡(luò);智能輪椅

中圖分類號(hào)：?TP242.6

文獻(xiàn)標(biāo)志碼：A

Motor imagery electroencephalogram signal recognition method based on convolutional neural network in time-frequency domain

HU Zhangfang， ZHANG Li*， HUANG Lijia， LUO Yuan

National Engineering Research and Development Center for Information Accessibility， Chongqing University of Posts and Telecommunications， Chongqing 400065， China

Abstract：?To solve the problem of low recognition rate of motor imagery ElectroEncephaloGram （EEG） signals， considering that EEG signals contain abundant time-frequency information， a recognition method based on Convolutional Neural Network （CNN） in time-frequency domain was proposed. Firstly， Short-Time Fourier Transform （STFT） was applied to preprocess the relevant frequency bands of EEG signals to construct a two-dimensional time-frequency domain map composed of multiple time-frequency maps of electrodes， which was regarded as the input of the CNN. Secondly， focusing on the time-frequency characteristic of two-dimensional time-frequency domain map， a novel CNN structure was designed by one-dimensional convolution method. Finally， the features extracted by CNN were classified by Support Vector Machine （SVM）. Experimental results based on BCI dataset show that the average recognition rate of the proposed method is 86.5%， which is higher than that of traditional motor imagery EEG signal recognition method， and the proposed method has been applied to the intelligent wheelchair， which proves its effectiveness.

Key words：?motor imagery; ElectroEncephaloGram （EEG）;time-frequency domain; Convolutional Neural Network （CNN）; intelligent wheelchair

0 引言

腦機(jī)接口（Brain-Computer Interface， BCI）通過分析腦電信號(hào)，解碼用戶意圖進(jìn)而控制外部設(shè)備[1]。作為一種新型人機(jī)交互方式，腦機(jī)接口近年來逐步成為研究熱點(diǎn)。當(dāng)前腦電信號(hào)主要分為大腦皮層電位圖（ElectroCorticoGram， ECoG）、腦電圖（ElectroEncephaloGram， EEG）、腦磁圖（MagnetoEncephaloGraphy， MEG）、功能磁共振成像（Functional Magnetic Resonance Imaging， FMRI）等，由于EEG具有低成本和非侵入性的優(yōu)點(diǎn)而被廣泛應(yīng)用于BCI系統(tǒng)[2]。

目前，基于EEG的BCI系統(tǒng)的研究主要集中于運(yùn)動(dòng)想象腦電信號(hào)。在執(zhí)行運(yùn)動(dòng)想象任務(wù)時(shí)，μ節(jié)律（8～13Hz）的能量下降，這種現(xiàn)象稱為事件相關(guān)去同步（Event-Related Desynchronization， ERD）;而在β（14～30Hz）節(jié)律的能量增加，這種現(xiàn)象被稱為事件相關(guān)同步（Event-Related Synchronization， ERS）[3]。根據(jù)ERD/ERS現(xiàn)象，許多運(yùn)動(dòng)想象任務(wù)識(shí)別方法被提出，如共空間模式（Common Spatial Pattern， CSP）[4]、濾波器組共空間模式（Filter Bank Common Spatial Pattern， FBCSP）[5]、自回歸模型[6]等。近年來，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）在機(jī)器視覺、語音識(shí)別等領(lǐng)域被廣泛應(yīng)用，而在BCI領(lǐng)域仍處于起步階段。相比手工提取特征的方法，CNN通過數(shù)據(jù)驅(qū)動(dòng)的方式提取抽象特征，減少了信息的損失。唐智川等[7]以原始的腦電數(shù)據(jù)（通道×采樣點(diǎn)）作為CNN的輸入，構(gòu)建了一個(gè)5層的CNN來對(duì)運(yùn)動(dòng)想象進(jìn)行特征提取與分類，結(jié)果表明，CNN比傳統(tǒng)運(yùn)動(dòng)想象識(shí)別方法更好;Pérez-Zapata 等[8]結(jié)合CNN和功率譜密度特征對(duì)運(yùn)動(dòng)想象腦電信號(hào)分類，識(shí)別率亦高于傳統(tǒng)方法。然而，它們并未考慮到腦電信號(hào)含有豐富的時(shí)間和頻率信息這一特點(diǎn)。為此，本文充分結(jié)合時(shí)間與頻率信息，將經(jīng)過短時(shí)傅里葉變換（Short-Time Fourier Transform， STFT）[9]得到的時(shí)頻圖作為CNN的輸入，并使用一維卷積進(jìn)行特征提取;此外，本文利用支持向量機(jī)（Support Vector Machine， SVM）[10-11]在處理小樣本分類時(shí)的良好特性，將經(jīng)過CNN提取到的特征利用SVM分類器進(jìn)行分類。通過在BCI競(jìng)賽數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文方法在識(shí)別率上優(yōu)于其他傳統(tǒng)運(yùn)動(dòng)想象腦電信號(hào)識(shí)別方法。最后在智能輪椅平臺(tái)上進(jìn)一步驗(yàn)證了本文方法的有效性。

1 預(yù)處理

腦電信號(hào)是一種復(fù)雜的生物信號(hào)，包含大量時(shí)頻信息，并且往往由多個(gè)通道采集（如本文所使用的數(shù)據(jù)集，其運(yùn)動(dòng)想象腦電信號(hào)由C3、CZ和C4三個(gè)電極采集而成）。結(jié)合ERD/ERS現(xiàn)象，本文基于BCI競(jìng)賽數(shù)據(jù)集設(shè)計(jì)了一種二維時(shí)頻圖作為CNN的輸入。對(duì)于每個(gè)電極采集到的2s長(zhǎng)度腦電信號(hào)，利用STFT得到257×32的時(shí)頻圖，其中STFT采用長(zhǎng)度為64的漢明窗，時(shí)間間隔為14。為了更好地表示數(shù)據(jù)，對(duì)得到的時(shí)頻圖提取8～13Hz頻帶和17～30Hz頻帶，分別得到12×32和29×32的二維時(shí)頻圖。此外，為了保證兩個(gè)頻帶的一致性，通過立方插值法將17～30Hz頻帶的時(shí)頻圖調(diào)整為12×32。最后，本文將三個(gè)電極的所有頻帶進(jìn)行組合構(gòu)成（3×2×12）×32大小的時(shí)頻圖（即72×32），如圖1所示。

2 卷積神經(jīng)網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

卷積神經(jīng)網(wǎng)絡(luò)是一種多層神經(jīng)網(wǎng)絡(luò)，主要由輸入層、卷積層、全連接層和輸出層組成。與圖像不同，腦電信號(hào)是一種包?含豐富時(shí)頻信息的信號(hào)，本文為了識(shí)別運(yùn)動(dòng)想象腦電信號(hào)而?設(shè)計(jì)了一種新的CNN結(jié)構(gòu)模型（如圖2所示），該CNN由5層網(wǎng)絡(luò)構(gòu)成，第1層為輸入層，第2、3層為卷積層，第4層為全連接層，第5層為輸出層。各網(wǎng)絡(luò)層結(jié)構(gòu)具體如下：

1）L1。該層為神經(jīng)網(wǎng)絡(luò)的輸入層，本文以預(yù)處理中得到的72×32時(shí)頻圖作為輸入I。

2）L2。該層為卷積層。傳統(tǒng)的CNN往往使用二維卷積核進(jìn)行運(yùn)算，以時(shí)頻圖作為CNN的輸入時(shí)，由于其橫縱坐標(biāo)分別代表了時(shí)間與頻率分量，這種傳統(tǒng)的二維卷積核會(huì)使得提取的特征中混雜頻率與時(shí)間信息，對(duì)提取到的特征十分不利。為了避免時(shí)頻信息的混雜，本文采用一維卷積核進(jìn)行計(jì)算。在L2中使用了8個(gè)卷積核，卷積核大小設(shè)置為72×1，通過與輸入數(shù)據(jù)進(jìn)行卷積運(yùn)算可得8個(gè)對(duì)應(yīng)的特征圖，進(jìn)行卷積第k個(gè)卷積核對(duì)應(yīng)的特征圖被定義為：

h2k（j）=f （ ∑ 72 i=1 Ii， j×w2k+b2k（j） ）

（1）

其中：j表示特征圖中的第j個(gè)神經(jīng)元;w2k為72×1的卷積核;b2k（j）為偏置;f（）表示激活函數(shù)。本網(wǎng)絡(luò)模型以修正線性單元（Rectified Linear Unit， ReLU）作為激活函數(shù)，表示如下：

f（a）=ReLU（a）=max（0，a）

（2）

3）L3。該層為卷積層。對(duì)L2層中得到的8個(gè)特征圖分別使用5個(gè)卷積核，卷積核大小為8×1。為了減小過擬合的風(fēng)險(xiǎn)，該層設(shè)置卷積步長(zhǎng)與卷積核長(zhǎng)度相同以減少參數(shù)。經(jīng)過映射后，該層可得40個(gè)特征圖，每個(gè)特征圖的大小為4×1。與L2層計(jì)算方式類似，特征圖可表示為：

h3k（j）=f （ ∑ 8 i=1 h2k（（j-1）×8+i）×w3k+b3k（j） ）

（3）

其中：w3k為8×1的卷積核;b2k（j）為偏置。

4）L4。該層為全連接層，神經(jīng)元個(gè)數(shù)為30，其作用為連接所有特征，并將輸出值送給分類器。計(jì)算方式為：

h4（j）=f （ ∑ 40 i=1 ∑ 4 p=1 h3i（p）w4i（p）+b4（j） ）

（4）

其中：w4i（p）為L(zhǎng)3、L4兩層神經(jīng)元的連接權(quán)值;b4（j）為偏置。

5）L5。該層為輸出層，神經(jīng)元個(gè)數(shù)為2，代表左右手運(yùn)動(dòng)想象的二分類問題。它與L4層的所有神經(jīng)元以全連接的形式相連接：

y5（j）=f （ ∑ 30 i=1 h4（i）w5（i）+b5（j） ）

（5）

其中：w5（j）為L(zhǎng)4與L5兩層之間的連接權(quán)值;b5（j）為偏置。

CNN的訓(xùn)練主要采用反向傳播算法[12]，即先前向計(jì)算每層輸出，根據(jù)輸出層的結(jié)果與標(biāo)簽反向計(jì)算誤差，據(jù)此誤差求權(quán)值和偏置的梯度，以此更新各個(gè)權(quán)值和偏置。

2.2 分類器

在傳統(tǒng)CNN中，各卷積層負(fù)責(zé)特征提取，分類工作主要通過全連接層完成，其分類性能有待提高。SVM以VC維和結(jié)構(gòu)風(fēng)險(xiǎn)最小化的原則，具有良好的泛化能力，在處理類似于腦電數(shù)據(jù)這種小樣本時(shí)能表現(xiàn)出很好的優(yōu)勢(shì)。為此，本文將CNN與SVM相結(jié)合，以SVM作為CNN的分類器，具體做法為：將SVM替換原始CNN中的輸出層（即圖2中的L5），并以全連接層得到的特征（即圖2中的L4）作為SVM的輸入。SVM分類器同樣需要訓(xùn)練，其訓(xùn)練過程如圖3所示：首先，將所有樣本作為圖2中CNN模型（已訓(xùn)練完畢）的輸入，通過L4得到所有樣本的特征向量，再將所有訓(xùn)練樣本的特征向量作為SVM的輸入，最后得到訓(xùn)練完畢的SVM分類器。

3 實(shí)驗(yàn)結(jié)果與分析

本文在公共數(shù)據(jù)集BCI Competition Ⅳ 2B上做了離線實(shí)驗(yàn)（http：//www.bbci.de/competition/iv/）。該數(shù)據(jù)集記錄了9名受試者想象左手運(yùn)動(dòng)和想像右手運(yùn)動(dòng)的腦電數(shù)據(jù)，每名受試者通過C3、CZ和C4三個(gè)電極采集5組腦電數(shù)據(jù)，其中前兩組每組包含120個(gè)樣本，后三組每組提供160個(gè)樣本。在記錄時(shí)，腦電數(shù)據(jù)在0.5～100Hz進(jìn)行帶通濾波，并使用50Hz陷波濾波器以消除工頻干擾。對(duì)于每位受試者，以前3組作為訓(xùn)練樣本，后2組作為測(cè)試樣本。

經(jīng)過多次實(shí)驗(yàn)，對(duì)網(wǎng)絡(luò)模型進(jìn)行參數(shù)調(diào)整。在CNN模型的學(xué)習(xí)率設(shè)置為0.01的條件下，本文將不同的網(wǎng)絡(luò)迭代次數(shù)

進(jìn)行對(duì)比，結(jié)果如圖4所示， 橫坐標(biāo)表示網(wǎng)絡(luò)迭代次數(shù)，縱坐標(biāo)表示分類正確率。由圖4可知， 可以看出最優(yōu)的迭代次數(shù)在300～500，而過高的迭代次數(shù)使模型出現(xiàn)了明顯的過擬合現(xiàn)象。

由于越高的迭代次數(shù)需要的訓(xùn)練時(shí)間也越長(zhǎng)，在不損失分類

正確率的前提下為了減少訓(xùn)練時(shí)間，本文將迭代次數(shù)選為

300。此外，本文SVM中的核函數(shù)采用徑向基核函數(shù)，并且通過網(wǎng)格搜索法設(shè)置SVM的懲罰系數(shù)C=0.18，相應(yīng)的核函數(shù)參數(shù)σ=0.5。

為了評(píng)估本文方法對(duì)左右手運(yùn)動(dòng)想象腦電信號(hào)的識(shí)別性

能，對(duì)近年來被廣泛使用的CSP方法[4]、CSP的衍生算法FBCSP[13]以及普通CNN方法[7]進(jìn)行了對(duì)比實(shí)驗(yàn);另外，為了體現(xiàn)對(duì)比方法的多樣性，本文也對(duì)BCI Ⅳ競(jìng)賽前三名（按名次由高到低依次為Chin、Gan和Coyle）所使用的方法進(jìn)行了對(duì)比。所有受試者的測(cè)試樣本在上述方法下的識(shí)別率如表1所示。由表1可以直觀地發(fā)現(xiàn)，本文方法平均識(shí)別率為865%，優(yōu)于其他方法，說明充分挖掘腦電信號(hào)的時(shí)頻信息有利于識(shí)別率的提升 ;相比FBCSP和普通CNN這兩種算法，分別提高了6個(gè)百分點(diǎn)和2.3個(gè)百分點(diǎn) 。對(duì)于單個(gè)受試者，本文方法識(shí)別率最高可達(dá)98.3% ，比普通CNN算法提高了0.2個(gè)百分點(diǎn) 。此外，本文方法的識(shí)別率雖高于普通CNN方法，但在測(cè)試集上分類耗時(shí)略高，主要原因在于本文方法在CNN之前引入了預(yù)處理操作，且分類器更改為耗時(shí)較高的SVM。

為了進(jìn)一步驗(yàn)證本文方法的有效性和在實(shí)際應(yīng)用中的使用效果，本文基于智能輪椅平臺(tái)進(jìn)行了一系列實(shí)驗(yàn)。其中運(yùn)動(dòng)想象腦電信號(hào)利用Emotiv傳感器進(jìn)行采集，如圖5（a）所示。該傳感器具有16個(gè)電極，所有電極按照國際10-20標(biāo)準(zhǔn)電極安放來合理分布，如圖5（b）所示。在這16個(gè)電極中，F(xiàn)C5、FC6及O1等電極可作為采集通道，而電極CMS和DRL作為參考電極。

以本文方法得到的識(shí)別結(jié)果作為控制智能輪椅的指令信號(hào)，對(duì)5名健康受試者按照?qǐng)D6所示實(shí)驗(yàn)路徑進(jìn)行走“8”字實(shí)驗(yàn)，并與普通CNN方法進(jìn)行對(duì)比，得到的運(yùn)動(dòng)軌跡曲線分別如圖7（a）和（b）所示。由圖7（a）和（b）可知，受試者均能通過兩種方法安全地完成指定路線，但普遍存在“8”字形右邊沒有左邊光滑和波動(dòng)更大的問題，其主要原因是受試者在左右手運(yùn)動(dòng)想象過程中需要高度集中注意力，使得在控制后期易產(chǎn)生疲勞，進(jìn)而導(dǎo)致腦電信號(hào)特征值發(fā)生變化[14]，穩(wěn)定性降低，加重誤識(shí)別的可能性。雖然兩種方法均能完成“8”字形路線，但相比較而言，基于本文方法的輪椅運(yùn)動(dòng)軌跡曲線比基于普通CNN方法的輪椅運(yùn)動(dòng)軌跡曲線更光滑，波動(dòng)更少，且更具有實(shí)際的應(yīng)用前景。

4 結(jié)語

本文采用了一種基于時(shí)頻域的卷積神經(jīng)網(wǎng)絡(luò)對(duì)左右手運(yùn)動(dòng)想象腦電信號(hào)進(jìn)行特征提取和分類。首先，通過STFT提取電極C3、CZ和C4原始時(shí)間序列信號(hào)的時(shí)頻域信息，依據(jù)此時(shí)頻信息，設(shè)計(jì)了CNN結(jié)構(gòu);其次，通過實(shí)驗(yàn)對(duì)CNN的相關(guān)超參數(shù)進(jìn)行調(diào)整和選定，并基于公共數(shù)據(jù)集將本文方法與其他方法以識(shí)別率為標(biāo)準(zhǔn)進(jìn)行了一系列對(duì)比實(shí)驗(yàn)，結(jié)果表明，本文方法的平均識(shí)別率均優(yōu)于其他識(shí)別方法，單個(gè)受試者的識(shí)別率亦高于其他識(shí)別方法;最后，將本文方法應(yīng)用于智能輪椅的實(shí)時(shí)控制中，驗(yàn)證了本文方法的有效性。本文方法實(shí)現(xiàn)了左右手運(yùn)動(dòng)想象腦電信號(hào)的準(zhǔn)確識(shí)別，為腦機(jī)接口技術(shù)在助老助殘領(lǐng)域的應(yīng)用提供了理論基礎(chǔ)與支持，但相比于其他常用的運(yùn)動(dòng)想象腦電信號(hào)識(shí)別方法，本文方法分類識(shí)別時(shí)耗時(shí)較高，如何減少分類所需時(shí)間是我們下一步的研究重點(diǎn)。

參考文獻(xiàn)

[1]?王行愚，金晶，張宇，等.腦控：基于腦——機(jī)接口的人機(jī)融合控制[J].自動(dòng)化學(xué)報(bào)，2013，39（3）：208-221. （WANG X Y， JIN J， ZHANG Y， et al. Brain control： human-computer integration control based on brain-computer interface [J]. Acta Automatica Sinica， 2013， 39（3）： 208-221.）

[2]??MINGUILLON J， LOPEZ-GORDO M A， PELAYO F. Trends in EEG-BCI for daily-life： requirements for artifact removal [J]. Biomedical Signal Processing and Control， 2017， 31： 407-418.

[3]?AVILS-CRUZ C， VILLEGAS-CORTEZ J， FERREYRA-RAMíREZ A， et al. EEG pattern recognition： an efficient improvement combination of ERD/ERS/laterality features to create a self-paced BCI system [C]// Proceedings of the 2016 Mexican Conference on Pattern Recognition， LNCS 9703. Cham： Springer， 2016： 231-240.

[4]?RAMOSER H， MLLER-GERKING J， PFURTSCHELLER G. Optimal spatial filtering of single trial EEG during imagined hand movement [J]. IEEE Transactions on Rehabilitation Engineering， 2000， 8（4）：441-446.

[5]?KAI K A， ZHENG Y C， ZHANG H， et al. Filter Bank Common Spatial Pattern （FBCSP） in brain-computer interface [C]// Proceedings of the 2008 IEEE International Joint Conference on Neural Networks. Piscataway， NJ： IEEE， 2008： 2390-2397.

[6]??IQBAL H， AQIL M. A QR decomposition based RLS algorithm with forgetting factor for adaptation of AR EEG features [C]// Proceedings of the 2016 International Conference on Emerging Technologies. Piscataway， NJ： IEEE， 2016： 1-5.

[7]?唐智川，張克俊，李超，等.基于深度卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)動(dòng)想象分類及其在腦控外骨骼中的應(yīng)用[J].計(jì)算機(jī)學(xué)報(bào)，2017，40（6）：1367-1378. （TANG Z C， ZHANG K J， LI C， et al. Motor imagery classification based on deep convolutional neural network and its application in exoskeleton controlled by EEG[J]. Chinese Journal of Computers， 2017， 40（6）： 1367-1378.）

[8]?PREZ-ZAPATA A F， CARDONA-ESCOBAR A F， JARAMILLO-GARZN J A， et al. Deep convolutional neural networks and power spectral density features for motor imagery classification of EEG signals [C]//? AC 2018：? Proceedings of the 2018 International Conference on Augmented Cognition. Berlin： Springer， 2018： 158-169.

[9]?GRAMFORT A， STROHMEIER D， HAUEISEN J， et al. Time-frequency mixed-norm estimates： sparse M/EEG imaging with non-stationary source activations [J]. Neuroimage， 2013， 70（2）： 410-422.

[10]?SHAO S Y， SHEN K Q， ONG C J， et al. Automatic identification and removal of artifacts in EEG using a probabilistic multi-class SVM approach with error correction[C]//? SMC 2008：? Proceedings of the 2008 IEEE Internatioanl Conference on Systems， Man and Cybernetics. Piscataway， NJ： IEEE， 2008： 1134-1139.

[11]??BHARDWAJ A， GUPTA A， JAIN P， et al. Classification of human emotions from EEG signals using SVM and LDA classifiers [C]// Proceedings of the 2015 2nd International Conference on Signal Processing and Integrated Networks. Piscataway， NJ： IEEE， 2015： 180-185.

[12]?NG S C， LEUNG S H， LUK A. Fast convergent generalized back-propagation algorithm with constant learning rate [J]. Neural Processing Letters， 1999， 9（1）： 13-23.

[13]?KENG A K， YANG C Z， WANG C， et al. Filter bank common spatial pattern algorithm on BCI competition IV datasets 2a and 2b [J]. Frontiers in Neuroscience， 2012， 6： 39.

[14]?NEU D， MAIRESSE O， VERBANCK P， et al. Non-REM sleep EEG power distribution in fatigue and sleepiness [J]. Journal of Psychosomatic Research， 2014， 76（4）： 286-291.