基于脈沖神經網絡的SSVEP腦電信號的識別

王 剛,周麗麗,孫凱明

(黑龍江省科學院智能制造研究所,哈爾濱 150090)

0 引言

腦機接口(Brain Computer Interface,BCI)不斷發(fā)展,可通過該接口識別人類的大腦意圖,其分為侵入式、非半侵入式及非侵入式[1],且三者放入大腦的位置不同。侵入式為植入大腦皮層直接獲取腦電信號,獲得高質量的腦電信號,但存在著高風險及成本。半侵入式為獲取大腦皮層之外的腦電信號,主要基于皮層腦電圖進行腦電信號分析,信號特點介于其余兩者之間。非侵入式為獲取大腦頭皮腦電信號,由于神經元發(fā)出電磁波具有分散性及模糊性,導致采集腦電信號較弱。

腦機接口中的腦神經信號研究可分為誘發(fā)電位和自發(fā)腦電,誘發(fā)電位分為P300及穩(wěn)態(tài)視覺誘發(fā)電位兩種[2]。自發(fā)腦電在大腦不同知覺下,腦電信號呈現(xiàn)不同的變化,按照頻段可分為δ波、θ波、α波、β波及γ波,其頻率依次為0.2～3 Hz、3～8 Hz、8～12 Hz、12～27 Hz、27 Hz以上。Delta波是在深層次放松與深層次睡眠下產生的,是一種慢節(jié)奏腦電波。Theta波存在于人處于恍惚或催眠情況下,會使人更放松、開心。Alpha波是有意識的思維及潛在意識之間的頻段,能夠使人平靜,促進更深層次的滿足感及放松。Beta波是清醒中最常見的腦電波,能夠促進認知推理、計算、閱讀、溝通、思考等,在有意識的狀態(tài)下發(fā)揮作用。Gamma波是神經動力科學領域中發(fā)現(xiàn)的較新波段。

研究了一種穩(wěn)態(tài)視覺誘發(fā)電位(Steady-StateVisual Evoked Potential,SSVEP)[3]腦電信號識別方法,是一種非侵入式及誘發(fā)性腦電信號,通過不同頻率閃爍設備刺激視覺(如LED燈閃爍、熒屏圖片閃爍等刺激),在大腦皮層中產生對應頻段的腦電信號,可通過BCI設備采集腦電信息。影響SSVEP的因素包括刺激呈現(xiàn)、目標編碼、目標識別等[4]。本研究采用計算機多圖片不同頻率刺激,研究通過脈沖神經網絡[5],識別腦電信號。

1 穩(wěn)態(tài)視覺誘發(fā)腦機接口技術

1.1 SSVEP腦電信號的產生

誘發(fā)腦電信號的產生是通過大腦外部刺激,由對聽覺系統(tǒng)、觸覺系統(tǒng)及視覺系統(tǒng)刺激產生的腦信號,SSVEP信號是通過視覺系統(tǒng)的刺激產生的。圖1為SSVEP腦電信號的獲取,通過頻閃對視覺刺激在大腦中產生誘發(fā)電位,通過腦電帽上配有的電極采集腦電信號。穩(wěn)態(tài)視覺誘發(fā)產生腦電信號在微伏級,且刺激過程中會受到其他信號的干擾,為了準確獲得腦電信號的分類結果,將采集的腦電信號進行預處理,包括信號放大、信號濾波等,對處理后的信號進行信息特征提取,再進行分類。

圖1 SSVEP腦電信號的獲取

1.2 SSVEP腦電信號的特點

穩(wěn)態(tài)視覺誘發(fā)電位信號是一種腦電信號,易受其他生理電信號、工頻等信號的干擾,通過腦機接口設備采集腦電信號時,可采集到的生理電信號包括眼動產生的眼電信號及肢體動作產生的肌電信號。工頻信號存在于信號采集過程中,是由市電工頻帶來的干擾。SSVEP腦電信號采集會帶來擾動信號,其具有以下信號特點:SSVEP腦電信號微弱,從采集波形幅度信號考慮,幅值在10 uV以下,從采集波形頻率角度考慮,有效頻率在5～50 Hz,由于受視覺主動刺激誘發(fā),其在主頻及諧波頻率上展現(xiàn)明顯。SSVEP腦電信號呈現(xiàn)周期性,通過采集設備采集的穩(wěn)態(tài)視覺誘發(fā)的腦電信號是一定時間內的數(shù)據(jù),在時域內觀測波形,受擾動信號的影響,看起來像雜亂無章的信號,但通過頻域觀察可知,其在刺激頻率處具有明顯的頻譜數(shù)據(jù)。

通過分析穩(wěn)態(tài)視覺下的腦電信號產生及特點可知,其看似具有明顯的分辨特征,但在采集腦電信號過程中存在著很大的不確定性,干擾時刻產生時,對于腦電信號的影響極大,采集的擾動信號可能比有用信號強,需應用不同方法分辨出腦電信號。無需訓練直接對腦電信號識別的方法包括功率譜密度分析PSDA、典型相關性分析CCA等。需進行訓練的方法有指定用戶腦電分析算法UD、無指定用戶腦電分析算法UI及深度學習的SSVEP分類[6]。

2 脈沖神經網絡

脈沖神經網絡(Spiking Neural Network,SNN)作為第三代人工智能網絡,模仿人腦細胞信息傳遞方式,屬于類腦人工智能,目前應用廣泛的是深度學習網絡,其使用全連接網絡結構,從輸入到中間層,再由中間層到輸出層,都是通過連續(xù)值傳遞,信息能夠被完整保留,在很多識別、分類上有著良好的表現(xiàn)。但從腦科學或生物科學角度而言,并未能模仿人大腦神經元傳遞方式,而脈沖神經網絡是針對此方向的新型神經網絡。

SNN不同于其他網絡,是以脈沖方式進行傳遞信息,即發(fā)生在某一時間點上的脈沖信號,并非連續(xù)的數(shù)據(jù)信息。脈沖的頻率表現(xiàn)出生物特征信號,其信號頻率影響著每個神經元得膜電位,達到一定閾值后,神經元發(fā)放脈沖,向下一神經元傳遞脈沖信息,同時置位膜電位。

脈沖神經網絡模仿生物神經元進行信息傳遞方式,每一個神經元輸入為脈沖信號,輸出也為脈沖信號,故需將識別數(shù)據(jù)信息進行編碼成為脈沖信號,編碼方法有速率編碼、時間編碼、泊松編碼等,將編碼后的數(shù)據(jù)變成脈沖送入神經元細胞,神經元細胞等效模型有多種(如HH模型、LIF模型、Izhikevich模型、SRM模型等),通過等效模型完成脈沖發(fā)放過程。圖2所示為神經元脈沖的發(fā)放,其作為脈沖神經網絡信息傳遞關鍵技術之一,將直接影響著信息識別率。

圖2 神經元脈沖的發(fā)放

2.1 SNN網絡結構

圖3為脈沖神經網絡結構。借鑒傳統(tǒng)深度學習最優(yōu)化方法與生物神經元等技術,研究人員提出了許多脈沖神經網絡學習算法(如無監(jiān)督學習算法、監(jiān)督學習算法、強化學習算法、ANN-to-SNN算法)。本研究設計了脈沖神經網絡結構,通過全連接方式,將每個神經元相連接,但在訓練后因參數(shù)調節(jié)等效成一種稀疏性連接,由訓練參數(shù)決定,前一神經元對后一神經元的作用強度不同,影響神經元脈沖的發(fā)放。

圖3 脈沖神經網絡結構示意圖

將采集的腦電信號處理后,利用泊松編碼[7]完成脈沖信息轉化,將編碼后的脈沖作為輸入,通過中間隱藏層的網絡結構,將腦電信號分類,神經元脈沖進行解碼,即得到每一分類對應脈沖頻率值作為分類結果,將解碼頻率值轉化后作為輸出層,達到腦電信號分類的目的。使用類腦脈沖神經網絡能夠減少功耗,脈沖的發(fā)放減少運算時間,解決小樣本的訓練泛化能力,訓練結果魯棒性高,腦電信號識別能力變強。

2.2 脈沖神經網絡腦電信號識別

圖4為SSVEP腦電信號識別結構,通過采集SSVEP腦電信號建立訓練數(shù)據(jù)集及測試數(shù)據(jù)集,根據(jù)腦電信號的特點,對同一個人采集6 s的有效腦電數(shù)據(jù),將采集的腦電數(shù)據(jù)切分成多段數(shù)據(jù),進行數(shù)據(jù)增強處理,通過此方式建立數(shù)據(jù)集,按照9∶1比例,實現(xiàn)訓練數(shù)據(jù)集及測試數(shù)據(jù)集的隨機分組。將腦電信號進行泊松編碼,將腦電信號轉換成脈沖信號,再送入脈沖神經網絡,通過脈沖神經網絡結構輸出層,輸出分類脈沖信號,將輸出脈沖進行解碼,完成脈沖信號對應腦電信號的分類。

圖4 SSVEP腦電信號識別結構

3 實驗

3.1 脈沖神經網絡訓練

脈沖神經網絡不同于卷積神經網絡,根據(jù)脈沖信息傳遞方式,反向傳播不能做鏈式偏微分,故無法以這種方式梯度回傳。但許多研究者研究了多種分類方式,包括無監(jiān)督學習、有監(jiān)督學習、基于BP訓練算法、基于STDP學習規(guī)則、ANN-to-SNN及其他學習算法。本研究采用STAC學習算法,通過Pytorch及Spaic庫完成脈沖神經網絡搭建,通過TensorBoard顯示測試集損失曲線,共計進行200輪以上訓練。圖5為測試集損失曲線。損失曲線在開始階段出現(xiàn)微浮動上升,后逐漸下降,形成一條光滑的曲線,符合腦電信號分類趨勢,訓練結構能夠滿足SSVEP腦電信號分類。

圖5 測試集損失曲線

3.2 實驗數(shù)據(jù)測試

通過訓練的脈沖神經網絡模型,對5名測試者進行穩(wěn)態(tài)視覺誘發(fā)腦電信號識別實驗。設計刺激頻率時對應26個字母、功能鍵及10個數(shù)字,分別測試A、B、C、1、2、3對應6個頻率下的字母及數(shù)字測試,采集腦電信號,按照建立數(shù)據(jù)集方法進行腦電數(shù)據(jù)處理,經多次采集識別,作為識別結果計算可靠的識別率。表1為SSVEP腦電信號識別結果。

表1 SSVEP腦電信號識別結果

4 結論

從腦機接口引入腦電信號的采集,分析SSVEP腦電信號下基于脈沖神經網絡的識別技術,介紹了SSVEP腦電信號的產生及其特點,分析了脈沖神經網絡,包括脈沖神經元、脈沖網絡結構、SSVEP腦電信號識別。通過采集數(shù)據(jù)建立數(shù)據(jù)集,完成脈沖神經網絡參數(shù)訓練,利用訓練參數(shù)完成實驗。實驗結果表明,基于脈沖神經網絡能夠實現(xiàn)SSVEP腦電信號的識別,識別率均值達到84%,說明通過對網絡結構的優(yōu)化及穩(wěn)態(tài)視覺刺激的研究,可提高SSVEP腦電信號的識別率。