具有多層次優(yōu)化能力的EEG生成模型①

張 達, 郭 特, 丁 瑞, 丁錦紅, 周文潔, 李一凡, 張璐礬,3,張雨柔,3, 夏立坤

1(首都師范大學(xué) 信息工程學(xué)院, 北京 100048)

2(首都師范大學(xué) 信息工程學(xué)院 電子系統(tǒng)可靠性與數(shù)理交叉學(xué)科國家國際科技合作示范型基地, 北京 100048)

3(首都師范大學(xué) 信息工程學(xué)院 神經(jīng)計算與智能感知實驗室, 北京 100048)

4(首都師范大學(xué) 信息工程學(xué)院 北京成像理論與技術(shù)高精尖創(chuàng)新中心, 北京 100048)

5(首都師范大學(xué) 心理學(xué)院, 北京 100048)

腦電圖(electroencephalogram, EEG)作為一種包含大量人體信息的多通道生理信號, 已成為腦科學(xué)研究中的重要數(shù)據(jù)[1]. 近年來, 深度學(xué)習(xí)的發(fā)展推動了計算機科學(xué)與腦科學(xué)的進一步融合, 其對EEG的特征提取方法成為EEG研究的重要手段[2–4]. 這類技術(shù)通常需要訓(xùn)練大量的數(shù)據(jù)來訓(xùn)練和優(yōu)化模型, 從而構(gòu)建魯棒模型. 但是, 在EEG采集過程中, 繁瑣的操作極易導(dǎo)致被試人員受到主觀意識的影響, 從而產(chǎn)生眼電、心電等掩蓋真實EEG的波形的噪聲. 因此, 獲取滿足深度學(xué)習(xí)模型訓(xùn)練所需的數(shù)據(jù)量極其困難. 針對上述問題,研究人員通過設(shè)計針對于EEG的生成技術(shù), 以實現(xiàn)樣本數(shù)量的擴充[5,6].

目前, 樣本生成模型主要包括自回歸模型(autoregressive model, AR)[6]、自動編碼變分貝葉斯(variational auto-encoding Bayes, VAE)[7]、生成對抗網(wǎng)絡(luò)(generative adversarial network, GAN)[8]以及流模型(flow-based model)[9]等. 相較而言, 前兩者缺乏判別模型的指導(dǎo), 因此在訓(xùn)練過程中極易出現(xiàn)生成樣本單一的情況; 而流模型在訓(xùn)練過程中對計算資源的要求很高, 難以得到廣泛應(yīng)用. 綜合以上分析, GAN及其相關(guān)衍生技術(shù)成為EEG生成的最佳模型. 相對而言, 傳統(tǒng)GAN及其衍生模型的構(gòu)建主要通過全連接層(fully connected layer, FC)來實現(xiàn), 而FC層無法捕捉時序信號的特征和相關(guān)屬性之間的復(fù)雜關(guān)聯(lián)[10], 這就導(dǎo)致模型在處理EEG時容易丟失時間相關(guān)性信息.

為解決此問題, Abdelfattah等人[11]通過使用循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)搭建循環(huán)生成對抗網(wǎng)絡(luò)框架(recurrent generative adversarial networks, RGAN), 從而實現(xiàn)多通道EEG的生成. 為驗證其性能, 作者將生成EEG用于訓(xùn)練分類框架中并取得了較好的分類結(jié)果. 相較于其他神經(jīng)網(wǎng)絡(luò), RNN對時序信號特性具有較強的學(xué)習(xí)能力, 能夠保留時間相關(guān)信息; 但是, 由于其本身存在梯度爆炸等問題, 容易導(dǎo)致生成模型訓(xùn)練不穩(wěn)定. Luo等人[12]提出conditional Wasserstein GAN (CWGAN)框架, 通過在輸入生成器的隨機噪聲中添加輔助條件, 以用于生成EEG的微分熵(differential entropy, DE)特征, 并將其應(yīng)用到情感識別任務(wù)中. 其中, 輔助條件能夠加速模型的收斂速度, 從而保證模型訓(xùn)練的穩(wěn)定性. 然而, DE只適用于情感分析任務(wù), 具有一定的局限性. 另外, Panwar等人[13]提出class conditioned WGAN-GP (CC-WGAN-GP)模型, 并將其用于多通道EEG信號的生成. 該模型在判別器中增加了分類功能, 即在生成EEG的同時能夠?qū)ζ浞诸? 之后采用分類準(zhǔn)確率代替損失函數(shù)來判定該模型的訓(xùn)練情況. 相較于已有模型, CC-WGAN-GP在模型穩(wěn)定性以及樣本多樣性方面都有所提高, 但是, 額外的分類器增加了模型的復(fù)雜度, 從而造成模型擬合速度降低.

綜上所述, 基于GAN及其衍生模型的EEG生成模型能夠證明所生成樣本在深度學(xué)習(xí)模型訓(xùn)練和優(yōu)化研究中的可行性. 然而, 上述生成模型仍存在以下問題:(1)模型通常添加批標(biāo)準(zhǔn)化層(batch normalization,BN)來防止模型過擬合, 但這會導(dǎo)致真實樣本與生成樣本之間的幅值差異過大. (2)模型訓(xùn)練過程中易出現(xiàn)過擬合、模式崩潰及梯度消失等問題, 導(dǎo)致生成樣本多樣性不足; (3)模型通過增加模型復(fù)雜度來提高模型訓(xùn)練的穩(wěn)定性, 這往往導(dǎo)致模型的擬合速度降低.

本文擬從以下2個方面解決上述3個問題, 具體而言: (1)在WGAN-GP網(wǎng)絡(luò)框架下, 通過將長短期記憶網(wǎng)絡(luò)(long short-term memory, LSTM)代替卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN), 從而解決腦電信號生成單一的問題; 這是由于LSTM能夠保留EEG信號的時間相關(guān)性特征, 從而提高生成樣本中特征的多樣性. 在此模型的基礎(chǔ)上, 本文分別對網(wǎng)絡(luò)框架的生成器和判別器的輸入數(shù)據(jù)進行處理: (2)在EEG預(yù)處理階段, 我們將標(biāo)準(zhǔn)化處理后的真實腦電信號輸入至判別器, 即使其值域映射到[–1, 1] μV, 從而解決生成樣本與真實樣本幅值差異過大的問題. (3)考慮到EEG噪聲中必然存在與真實EEG相似特征, 我們將其代替?zhèn)鹘y(tǒng)的高斯噪聲輸入至生成器, 即, 將其作為先驗知識來提高生成模型的擬合速度;

為綜合評估生成模型的性能, 本文采用多層次定量評估方法, 從不同角度驗證其性能, 具體而言: 首先,通過使用sliced Wasserstein distance (SWD)和mode score (MS)實現(xiàn)對生成模型的相似性和多樣性的定量評估. 其次, 通過對比真實樣本與生成樣本的波形差異對其進行定性評估. 最后, 將生成樣本與真實樣本以不同比例混合并用于EEGNet模型的訓(xùn)練; 通過對分類結(jié)果的定量分析, 以驗證生成模型的性能.

1 相關(guān)技術(shù)介紹

為更好地闡述所提出的EEG生成方法, 本節(jié)主要闡述工作中所需的理論基礎(chǔ)知識: 首先, 介紹WGAN以及WGAN-GP的相關(guān)知識; 其次, 介紹本文從損失函數(shù)、內(nèi)部結(jié)構(gòu)以及工作原理等角度對使用的網(wǎng)絡(luò)框架—LSTM進行詳細描述.

1.1 Wasserstein GAN

Wasserstein GAN (WGAN)[14]通過將Wasserstein距離(Wasserstein distance, WD)[15]代替標(biāo)準(zhǔn)GAN中的交叉熵來作為損失函數(shù), 以解決原始GAN中模式崩潰以及過擬合等問題.

WD又稱為推土機距離(earth-mover’s distance,EMD), 定義如式(1)所示:

其中,γ為真實樣本分布Pr與生成樣本分布Pg的集合,由于該集合期望的下邊界(inf)無法直接求出, 故使用Lipschitz連續(xù)代替.

定義1. Lipschitz連續(xù): 在連續(xù)函數(shù)f(x)上額外施加一個限制, 若存在一個常數(shù)K使得定義域內(nèi)的任意兩個元素x1和x2都滿足式(2), 則稱K為f(x)的Lipschitz連續(xù)常數(shù).

通過Lipschitz連續(xù)變換后, WD的定義如式(3):

W(Pr, Pg)即為函數(shù)f(x)的Lipschitz常數(shù)||f||L在不超過K的條件下, 對所有可能滿足條件f的取到的上界x～Pr[f(x)]–Ex～Pg[f(x)]. 因此, 我們可以用一組參數(shù)來定義一系列可能的函數(shù)fω, 此時求解式(3)可以近似變成求解如下形式:

綜合以上分析, WGAN的生成器和判別器的損失函數(shù)分別如式(5)和式(6)所示:

WGAN能夠解決GAN所存在的梯度消失、生成樣本單一等問題, 但Lipschitz連續(xù)的引入也帶來了梯度爆炸的問題.

1.2 Wasserstein GAN-Gradient Penalty

針對WGAN存在的問題, Gulrajani等人[16]在WGAN的判別器的損失函數(shù)中加入GP項, 如式(7)所示:

其中,λ為超參數(shù), 表示在真實樣本xr和生成樣本xg的分布連線上的隨機插值取樣.

因此, 其生成器的損失函數(shù)如式(8)所示:

其判別器的損失函數(shù)如式(9)所示:

總體來說, WGAN-GP (Wasserstein GAN-gradient penalty)保留了WGAN的優(yōu)點, 同時, 在判別器D的損失函數(shù)上加入梯度懲罰項; 這在提升訓(xùn)練速度的同時, 也保證梯度更新在可控范圍內(nèi), 進而降低WGAN梯度爆炸的可能性.

1.3 長短期記憶網(wǎng)絡(luò)

LSTM網(wǎng)絡(luò)具有前向傳播鏈?zhǔn)浇Y(jié)構(gòu). 相較于其他處理時間序列的網(wǎng)絡(luò), LSTM更適用于分析長期記憶的時序信號[17,18], 其結(jié)構(gòu)如圖1所示, 其中,x為輸入到LSTM單元的訓(xùn)練數(shù)據(jù),h為LSTM單元的輸出數(shù)據(jù).

圖1 LSTM網(wǎng)絡(luò)結(jié)構(gòu)

LSTM單元包含遺忘門、輸入門和輸出門3個部分, 其結(jié)構(gòu)如圖2所示, 以控制LSTM網(wǎng)絡(luò)的記憶與遺忘[19].

圖2 LSTM單元結(jié)構(gòu)

遺忘門通過接收前一個LSTM單元的輸出, 決定是否丟棄前一時刻的信息ht–1; 輸入門決定當(dāng)前LSTM單元需要保存的信息it, 同時生成備選更新信息ut, 將it和ut兩部分相結(jié)合, 共同更新當(dāng)前LSTM單元狀態(tài);輸出門決定是否輸出當(dāng)前LSTM單元的狀態(tài), 并獲得當(dāng)前LSTM的隱藏狀態(tài)ht.

得益于特殊的單元結(jié)構(gòu), LSTM網(wǎng)絡(luò)能夠緩解在模型訓(xùn)練過程中出現(xiàn)的梯度爆炸和梯度消失的問題,并且能夠提取更多的時間域特征.

2 框架設(shè)計

為解決生成EEG過程中存在的問題, 本文擬將EEG生成過程分為數(shù)據(jù)預(yù)處理階段和數(shù)據(jù)生成兩個階段, 如圖3所示. 在數(shù)據(jù)預(yù)處理階段, 本文首先使用獨立成分分析(independent component analysis, ICA)[20]對真實EEG做濾波處理, 從而將EEG數(shù)據(jù)與EEG噪聲分開. 生成器采用后者作為輸入數(shù)據(jù), 這是由于后者包括被試人員的眼動、呼吸以及肌電等信號, 而這些信號中依然存在重要的特征. 因此, 我們將EEG噪聲作為先驗知識輸入到生成器中, 從而提高模型的擬合速度; 其次, 我們對濾波后EEG信號做標(biāo)準(zhǔn)化處理, 使其值域映射到[–1, 1] μV, 從而解決生成樣本與真實樣本幅值差異過大的問題.

圖3 EEG生成流程圖

在數(shù)據(jù)生成階段, 本文通過將CNN替換成LSTM,以構(gòu)建新的生成器和判別器, 進而保證EEG中時間相關(guān)性信息的完整性, 這是由于LSTM網(wǎng)絡(luò)具有前向傳播鏈?zhǔn)浇Y(jié)構(gòu), 包含多個LSTM單元. 相較于其他處理時間序列的網(wǎng)絡(luò), LSTM更適用于需要長期記憶的時序信號. 最后, 當(dāng)生成器和判別器的對抗訓(xùn)練達到納什均衡狀態(tài)時, 生成樣本的質(zhì)量達到最優(yōu).

2.1 EEG噪聲

生成器通常將具有高斯分布的隨機噪聲作為輸入數(shù)據(jù), 但是由于EEG信號的特殊性, 此類噪聲會導(dǎo)致生成模型的擬合速度降低. 本文擬將EEG噪聲來代替高斯噪聲作為生成器輸入數(shù)據(jù), 這是由于EEG噪聲中存在與EEG信號相似的特征信息. 因此, 當(dāng)其代替隨機噪聲, 生成器能夠更高效地擬合真實樣本分布.

本文采用ICA對所采集的EEG信號進行過濾, 進而分離出EEG信號和干擾噪聲. ICA能夠?qū)⑾嗷オ毩⒌臉颖境煞謴幕旌蠘颖局刑崛〕鰜韀21], 其模型一般如式(10)所示:

其中,X是觀測樣本;A為系數(shù)矩陣, 包含所需分析數(shù)據(jù)的隱含特征;S代表獨立源信號. 假設(shè)X服從獨立性度量原則[22], 在已知A的情況下, 則有S=A-1×X=WX, 其中W=A-1一般稱為分離矩陣.

2.2 EEG標(biāo)準(zhǔn)化

在搭建網(wǎng)絡(luò)框架時, 本文在生成器中嵌入BN層[23].BN層能夠?qū)⑸蠈由窠?jīng)網(wǎng)絡(luò)的輸出數(shù)據(jù)分布強行轉(zhuǎn)換為標(biāo)準(zhǔn)的正態(tài)分布 (mean=0, std=1), 使得輸出數(shù)據(jù)分布在非線性函數(shù)較為敏感的區(qū)域, 從而避免梯度消失并且加快模型的收斂速度. 然而, BN層的轉(zhuǎn)換操作能夠?qū)⑸善鞯妮敵鰯?shù)據(jù)值域限制在 [–1, 1], 這就導(dǎo)致生成樣本的值域遠遠小于真實樣本的值域范圍. 因此,本文通過使用最大最小值方法將EEG信號的值域范圍映射到 [–1, 1] μV, 一方面能夠提高模型的收斂速度,另一方面能夠保證生成樣本與真實樣本的幅值在相同范圍內(nèi). 最大最小值方法如式(11)所示:

其中,xmean為數(shù)據(jù)的均值,xmin為數(shù)據(jù)中的最小值,xmax為數(shù)據(jù)中的最大值,y為標(biāo)準(zhǔn)化后的數(shù)據(jù).

2.3 生成對抗網(wǎng)絡(luò)設(shè)計

EEG作為一種非線性、隨機性強的時序信號, 其時間相關(guān)性比其他時序信號(音頻、語音等)更為復(fù)雜[24,25]. 另一方面, GAN的衍生框架大多采用FC或者CNN來提取特征[26,27], 但二者均難以捕捉到時間序列信號的時間特征和相關(guān)屬性之間的復(fù)雜關(guān)聯(lián)性, 致使生成樣本丟失真實樣本的時間相關(guān)性信息[12], 從而導(dǎo)致生成樣本特征單一. 本文將WGAN-GP作為基礎(chǔ)網(wǎng)絡(luò)框架, 使用LSTM代替CNN, 并結(jié)合第2.1節(jié)和第2.2節(jié)的創(chuàng)新點, 以解決目前EEG生成模型存在的問題. 改進后的網(wǎng)絡(luò)框架如圖4所示.

圖4 改進后的WGAN-GP網(wǎng)絡(luò)框架

改進后的判別器體系結(jié)構(gòu)如表1所示. 首先, 我們將與真實EEG維度(231×1)相同的EEG噪聲信號作為生成器的輸入數(shù)據(jù), 并使用兩層fully connected層將其維度逐步擴充至1×15360; 為與單元數(shù)為128的LSTM層對應(yīng), Reshape層將上層網(wǎng)絡(luò)的輸出數(shù)據(jù)轉(zhuǎn)換為維度為1×120×128的三維數(shù)據(jù); 隨后, 我們采用雙次插值法對三維數(shù)據(jù)進行上采樣操作, 這一操作使得數(shù)據(jù)提高到1×240×128; 為滿足LSTM的輸入要求,Reshape層將輸出維度再次轉(zhuǎn)換為240×28, 然后將輸出數(shù)據(jù)反饋到兩層LSTM層中. 接下來, Clip層將LSTM層的輸出數(shù)據(jù)整合到真實EEG的維度; 最后,使用一層LSTM對上層輸出進行整合, 使其維度滿足判別器的輸入維度. 此外, 本文在生成器的每一層神經(jīng)網(wǎng)絡(luò)后加入batch normalization (BN)層并使用Leaky ReLU激活函數(shù)以防止模型在訓(xùn)練過程中出現(xiàn)梯度消失等問題.

表1 生成器體系結(jié)構(gòu)

改進后的判別器體系結(jié)構(gòu)如表2所示. 本文將維度為231×1真實EEG信號以及生成器的輸出數(shù)據(jù)作為判別器的輸入數(shù)據(jù). 為提高判別器的穩(wěn)定性, 本文通過添加高斯白噪聲(mean=0, std=0.05)對輸入數(shù)據(jù)進行腐蝕. Goodfellow等人[28,29]認為, 模型不穩(wěn)定的主要原因是真實樣本分布和生成樣本分布具有不相交的特性, 而在最優(yōu)判別器的情況下, 這將導(dǎo)致梯度消失. 因此, 我們在判別器中加入高斯白噪聲, 可以避免梯度消失, 從而提高生成模型的穩(wěn)定性. 其次, 我們添加3個具有Leaky ReLU的LSTM, 以實現(xiàn)對EEG的時間特征提取操作; 其參數(shù)設(shè)置與生成器的LSTM層參數(shù)相對應(yīng), 從而保證判別器與生成器對數(shù)據(jù)的同步處理; 接下來, Flatten層將LSTM層的輸出數(shù)據(jù)的維度降維至29 568, 最后, 經(jīng)過具有單神經(jīng)元的Fully connected層輸出判別器的鑒別結(jié)果. 本文在判別器未添加BN層,這是由于BN層會破壞Lipschitz連續(xù)的約束范圍, 導(dǎo)致模型出現(xiàn)難以收斂的現(xiàn)象.

表2 判別器體系結(jié)構(gòu)

3 實驗結(jié)果分析

本文使用 Python語言和Keras (TensorFlow) 深度學(xué)習(xí)框架實現(xiàn)對模型的訓(xùn)練, 并使用Bi2015a數(shù)據(jù)集[30]作為訓(xùn)練數(shù)據(jù). Bi2015a數(shù)據(jù)集包含了50名受試者在進行《大腦入侵者》游戲時的EEG記錄. 該游戲在一個由36個符號(1個目標(biāo)符號, 35個非目標(biāo)符號)組成的網(wǎng)格上使用了oddball實驗范例, 這些符號隨機閃現(xiàn)以引起被試人員P300的腦電波形. 實驗采用32個電極, 分別在50 ms、80 ms和110 ms三種條件下記錄EEG數(shù)據(jù). 經(jīng)過初步篩選, 我們刪除了15個存在損壞通道的EEG數(shù)據(jù); 同時, 對比32個通道的P300特征, 發(fā)現(xiàn)C3通道的P300特征最明顯. 因此, 本文使用35個被試的C3通道的數(shù)據(jù)進行實驗. 在預(yù)處理階段, 本文將未經(jīng)處理的EEG信號進行降采樣處理,使其頻率降至256 Hz; 同時, 為保留P300特征波形, 我們按照事件標(biāo)簽, 截取事件發(fā)生前100 ms至事件發(fā)生后500 ms, 共計900 ms的EEG數(shù)據(jù), 并按照式(12)計算得到維度為231×1的訓(xùn)練數(shù)據(jù).

其中,l為分割后的數(shù)據(jù)長度,f為頻率,t為時間.

本文將每一類EEG數(shù)據(jù)分割并累加, 分別得到3 411、2 862、2 436個維度為231×1的數(shù)據(jù). 因此, 本文使用8 709個EEG樣本作為訓(xùn)練數(shù)據(jù).

3.1 模型評價指標(biāo)

3.1.1 相似性評估方法

本文采用sliced Wasserstein distance (SWD)[31]對生成樣本的相似性進行評估, 如式(13)所示:

其中,S表示將樣本分布映射到一維空間的空間單元,其滿足∫Sd–1dθ=1,θ表示映射角度,Rθ表示在生成樣本g和真實樣本x上的一維線性投影運算.

SWD通過計算兩個樣本分布的所有一維投影之間的WD, 來擬合樣本整體的分布.SWD的值越低, 表示兩種分布在外觀和樣本的變化上越相似.

3.1.2 多樣性評估方法

Mode score (MS)[32]通過計算樣本標(biāo)簽分布的交叉熵來評估二者之間的差異, 如式(14)所示:

其中,KL表示交叉熵,x～Pg表示生成樣本,p(y)表示生成樣本標(biāo)簽y的分布, 滿足p(y)=∫xp(y|x)dpg,p(y*)表示真實樣本的標(biāo)簽分布,p(y|x)表示通過預(yù)測得到的x對標(biāo)簽y的分布. 若生成EEG分類特征越明顯, 則p(y)的熵值越大. 因此,MS越高, 說明樣本的多樣性越好.

3.1.3 準(zhǔn)確性評估方法

為評估生成樣本的準(zhǔn)確性, 本文將真實EEG與生成的EEG以不同比例混合, 然后通過使用EEGNet[33]對這些數(shù)據(jù)進行分類. EEGNet將其作為激活函數(shù)以保證分類模型的穩(wěn)定性[34], 如式(15)所示:

其中,α為可調(diào)整參數(shù), 用于控制ELU負值的飽和位置.

本文使用EEGNet對真實EEG和生成的EEG的混合數(shù)據(jù)進行分類, 從準(zhǔn)確率、召回率、精確率等方面對生成模型進行二次定量評估.

3.2 實驗結(jié)果與分析

我們擬從多角度對本文所設(shè)計的生成模型進行驗證, 具體包括4個實驗: (1)使用疊加噪聲的正弦信號模擬EEG, 驗證BN層對生成樣本幅值的影響; (2)使用CNN和LSTM搭建生成模型并用于生成EEG, 驗證不同神經(jīng)網(wǎng)絡(luò)對生成樣本多樣性和相似性的影響.(3)使用EEG噪聲代替高斯噪聲作為生成器的輸入數(shù)據(jù), 驗證EEG噪聲對生成器擬合速度的影響; (4)將生成EEG與真實EEG以不同比例混合, 通過EEGNet的訓(xùn)練數(shù)據(jù), 驗證生成的EEG的準(zhǔn)確性.

3.2.1 BN層對模型的影響

在生成EEG時, 我們發(fā)現(xiàn)生成的EEG與真實EEG的值域具有明顯差異. 由于其原因無法直接判定,本文設(shè)計人工信號對生成模型進行訓(xùn)練, 以驗證BN層對生成樣本值域范圍變化的影響. 我們以正弦函數(shù)(range=[-1.0, 1.0],f=(10/π) Hz)為基礎(chǔ)函數(shù), 并疊加一組值域為(-0.4, 0.4)的高斯白噪聲(mean=0, std=1)來增加輸入數(shù)據(jù)的多樣性以及提升生成模型的抗干擾能力. 最后我們對信號做標(biāo)準(zhǔn)化處理, 以得到值域為[-1.0, 1.0] 的輸入信號. 合成信號如圖5所示.

圖5 人工合成正弦信號

我們將人工信號輸入到由CNN和LSTM搭建的生成框架中, 從而對比在有/無BN層情況下生成樣本的值域變化, 實驗結(jié)果如表3所示.

表3 人工信號生成結(jié)果

從表3可以看出, 在加入BN層的框架中, 生成樣本的幅值都比真實樣本的幅值小2–50倍; 而在去掉BN層的框架中, 與真實樣本的值域范圍相近.

我們發(fā)現(xiàn), 在保留BN層的網(wǎng)絡(luò)框架中, 生成樣本存在非周期性的隨機性波形, 如圖6(a)、圖6(b)所示;圖6(c)、圖6(d)展示了在去除BN層后所生成的波形,可以看出, 它們具有正弦信號的形狀, 但丟失了隨機噪聲特征, 這說明模型并未生成較為真實的信號. 實驗結(jié)果表明, BN層對數(shù)據(jù)進行批標(biāo)準(zhǔn)化處理后將導(dǎo)致生成數(shù)據(jù)幅值變小. 但是, 在去掉BN層后, 模型出現(xiàn)過擬合的問題. 因此, 為解決生成樣本與真實樣本幅值差異的問題, 本文先對濾波后的真實EEG信號進行標(biāo)準(zhǔn)化處理, 將EEG信號的值域范圍映射到 [–1, 1] μV, 再輸入到判別器中.

圖6 生成的正弦信號

3.2.2 不同網(wǎng)絡(luò)框架對生成模型的影響

我們通過使用CNN和LSTM搭建4種不同的生成框架WGAN-GP (GDDD、GDDL、GLDD、GLDL)以驗證神經(jīng)網(wǎng)絡(luò)對生成EEG質(zhì)量的影響. 其中, GD表示由CNN搭建的生成器, GL表示由LSTM搭建的生成器, DD表示由CNN搭建的判別器, DL表示由LSTM搭建的判別器; 同時, 本文通過使用SWD和MS分別對不同框架生成的EEG的相似性和多樣性進行評估,評估結(jié)果如表4所示.

由表4的客觀指標(biāo)可知, 對于SWD指標(biāo), 生成器或判別器任意一方使用LSTM代替2DCNN時,SWD值都有所提高, 且WGAN-GP (GDDL)比WGAN-GP(GLDD)的SWD值高0.2; GLDL的SWD值為1.9, 明顯優(yōu)于其他3個框架的結(jié)果, 可以證明本文算法能夠生成與真實EEG更為相似的樣本. 此外, 從MS值可以看出, 基于WGAN-GP (GDDL)的MS值遠高于其他3個框架, 但WGAN-GP (GLDL)的值最低, 這表明相較于WGAN-GP (GLDL), WGAN-GP (GDDD)能夠生成更多樣化的樣本. 綜上所示, 定量評估結(jié)果出現(xiàn)了相互矛盾的問題. 經(jīng)過多次實驗, 我們發(fā)現(xiàn)生成樣本的多樣性和相似性結(jié)果呈負相關(guān), 即生成樣本的相似性越高, 多樣性就越差.

表4 不同網(wǎng)絡(luò)框架生成EEG的定量評估結(jié)果

為進一步評估生成的EEG的質(zhì)量, 本文從視覺角度對基于不同框架生成的EEG波形進行分析. 從圖7(a)–圖7(c)可以看出, WGAN-GP (GDDD)、WGAN-GP (GDDL)以及WGAN-GP (GLDD)生成的EEG的值域范圍與真實EEG的值域范圍明顯不符. 從圖7(d)可以看出, WGAN-GP (GLDL)生成的EEG的值域范圍更接近真實EEG的值域范圍, 且生成EEG波形與真實EEG波形存在相似波段. 因此, 從視覺評估的角度分析, 基于WGAN-GP (GLDL)生成的EEG更接近于真實EEG.

圖7 生成的EEG信號

3.2.3 不同噪聲對生成模型的影響

相較于CNN搭建的生成框架, LSTM搭建的生成框架在處理速度上更為緩慢. 為進一步提升模型的擬合速度, 本文提出WGAN-GP (GLDL+N), 即將EEG噪聲輸入到生成器中以用于生成EEG. 這是因為EEG噪聲存在與真實EEG相似的信息, 本文將其作為先驗知識來提升生成器的擬合速度. 我們記錄了將不同噪聲作為輸入數(shù)據(jù)時, 模型的訓(xùn)練時間, 在結(jié)果如表5所示.

由表5可知, 相較于WGAN-GP (GLDL), WGANGP (GLDL+N)的訓(xùn)練時間縮短了1 h 42 min, 這表明EEG噪聲的加入能夠提高生成器的擬合速度.

表5 不同框架的訓(xùn)練時間對比結(jié)果

為進一步評估EEG噪聲對生成模型的影響, 本文使用SWD和MS對生成的樣本進行定量評估, 結(jié)果如表6所示.

從表6可以看出, 相較于WGAN-GP (GLDL),WGAN-GP (GLDL+N)的MS值要高出15.56, 這證明本文的模型在應(yīng)用EEG噪聲訓(xùn)練過后可以獲得多樣性更好的生成樣本; 但是由于生成樣本的多樣性和相似性結(jié)果呈負相關(guān), 這就導(dǎo)致WGAN-GP (GLDL+N)的SWD值比WGAN-GP (GLDL)的SWD值高. 另一方面,僅通過定量分析可能會存在片面性, 因此, 本文將視覺分析結(jié)果作為另一個重要指標(biāo), 其結(jié)果如圖8所示. 由圖可以看出, 基于WGAN-GP (GLDL+N)生成的EEG在幅度和波形上更符合真實EEG的特征.

圖8 WGAN-GP (GLDL+N)生成的EEG波形

表6 生成樣本相似性以及多樣性對比結(jié)果

3.2.4 EEGNet分類實驗

本文將CC-WGAN-GP和GLDL+N生成的EEG以不同比例與真實EEG混合對EEGNet模型進行訓(xùn)練,并將分類結(jié)果與基于真實樣本的分類結(jié)果相對比,驗證生成樣本對分類器性能的影響. 首先, 本文使用8 709個真實EEG訓(xùn)練EEGNet; 然后, 分別使用兩個不同框架的 50%生成EEG和50%的真實EEG進行混合來訓(xùn)練EEGNet; 最后, 在真實EEG數(shù)據(jù)集中加入相同數(shù)量的生成樣本來訓(xùn)練EEGNet. 實驗結(jié)果如表7所示.

由表7結(jié)果分析可知, 在樣本數(shù)量不變的情況下,使用 50%的CC-WGAN-GP框架生成數(shù)據(jù)代替真實數(shù)據(jù)訓(xùn)練模型, 其準(zhǔn)確率降低了10.04%, 精確率降低了3.43%, 召回率降低了9.47%,F1-score降低了10.88,AUC降低了7.86%. 實驗結(jié)果表明, CC-WGAN-GP生成的樣本不能夠代替真實樣本來訓(xùn)練分類模型, 反而會影響分類模型的性能. 使用50%的GLDL+N框架生成數(shù)據(jù)代替真實數(shù)據(jù)訓(xùn)練模型時, 其準(zhǔn)確率、精確率、召回率相差 1%左右,F1-Score 相差 2.20%, AUC相差0.23%, 從而證明GLDL+N生成的EEG與真實EEG相似, 能夠代替真實數(shù)據(jù)作為分類器的訓(xùn)練數(shù)據(jù).此外, 將相同數(shù)量的GLDL+N框架生成的數(shù)據(jù)加入到真實數(shù)據(jù)中訓(xùn)練EEGNet, 準(zhǔn)確率提高了8.5%, 精確率提高了16.5%, 召回率提高了9.25%,F1-score提高了12.73%, ROC-AUC 提高了4.37%. 由結(jié)果看出, 在增加生成數(shù)據(jù)的情況下, 模型在分類精度、穩(wěn)定性以及泛化能力等方面都能夠提升; 進而證明, 我們所設(shè)計的EEG生成模型能夠提升分類模型的性能.

表7 基于不同混合比例的樣本分類結(jié)果 (%)

4 結(jié)束語

本文提出一種新型EEG信號生成模型, 以解決目前存在的生成樣本多樣性不足、擬合速度慢以及幅值差異過大等問題. 為評估生成模型的性能, 本文從相似性、多樣性、準(zhǔn)確性以及訓(xùn)練時間等方面對生成模型進行評估. 與WGAN-GP相比較, 本文提出的生成模型在相似性和多樣性方面的性能均有所提高. 此外, 我們使用EEGNet對模型進行二次定量評估, 分類結(jié)果表明此模型能夠生成較為準(zhǔn)確的樣本, 且能夠提高分類模型的性能. 本文所提出的EEG信號生成模型將為構(gòu)建高性能的深度學(xué)習(xí)模型提供保證, 同時能夠極大降低人力資源消耗和成本. 因此, 本研究具有十分重要的實際意義和應(yīng)用價值.

目前, 本文僅完成單通道EEG生成的工作, 而在實際應(yīng)用中, 基于單通道的信息可能無法滿足模型泛化能力的需求. 未來, 我們將繼續(xù)優(yōu)化生成模型, 以用于多通道EEG信號生成, 使其能夠更加有效地應(yīng)用于與EEG相關(guān)的工作中, 例如, 情感識別、腦控技術(shù)等.