基于P300的交互式字符輸入腦機接口系統(tǒng)

黃育嬌，顧正暉

（華南理工大學(xué)自動化科學(xué)與工程學(xué)院，廣東廣州510640）

0 引 言

腦機接口（brain－computer interface，BCI），是一種不依賴于人腦正常輸出通道的腦機通訊系統(tǒng)，是一種新的人機接口方式，其定義請參見文獻［1，2］。由于腦機接口系統(tǒng)能夠不依賴于肌肉而直接控制外部設(shè)備，因而得到了世界上許多國家的關(guān)注，并在醫(yī)療、航空、軍事、生活娛樂等多個領(lǐng)域具有潛在應(yīng)用價值。進入20世紀(jì)以來，雖然腦機接口技術(shù)的發(fā)展十分迅速，但當(dāng)前該領(lǐng)域還基本處于實驗室研究階段，未走向大規(guī)模的商業(yè)應(yīng)用，而且其大量的測試均在正常人中進行。腦機接口系統(tǒng)的實際應(yīng)用還需要面對很多問題［3］，如提高信息傳輸率和字符識別的準(zhǔn)確率等等。

腦機接口系統(tǒng)有很多種，基于P300的字符輸入系統(tǒng)是目前最常用的腦機接口系統(tǒng)之一。在基于P300的字符輸入腦機接口研究中，很多學(xué)者強調(diào)通過信號處理以及分類技術(shù)的改善來提高字符拼寫系統(tǒng)的總體性能［4］（包括字符拼寫的準(zhǔn)確率與速率等），而改變系統(tǒng)的刺激模式往往容易被人們所忽視。目前，大部分對刺激模式的研究集中于矩陣大?。?］、刺激呈現(xiàn)方式（行列閃爍、單個字符閃爍等）［6，7］、背景顏色［8］、內(nèi)部刺激間隔［9］等等。與上述方法不同的是，本文設(shè)計了一種交互式字符拼寫系統(tǒng)，采用改變亮度的視覺刺激模式，利用帶通濾波器對采集到的信號進行濾波，經(jīng)下采樣后采用Bayes分類器進行分類。實驗結(jié)果表明，該系統(tǒng)能有效提高P300字符拼寫系統(tǒng)的性能，為腦機接口的實際運用奠定了基礎(chǔ)。

1 實驗方案的提出

現(xiàn)有P300字符輸入腦機接口系統(tǒng)中字符閃爍亮度是固定不變的。本文設(shè)計了一種交互式的字符輸入系統(tǒng)，根據(jù)受試者腦電信號特征，改變字符閃爍的亮度，該亮度變化作為一種實時信息反饋給受試者，以達到交互的目的。本方案的提出具體基于以下幾點:視/聽覺刺激強度增加會提高P300波峰的幅度并減小其延遲，其詳細(xì)說明請參見文獻［10，11］，這是本方案設(shè)計的依據(jù)；根據(jù)受試者的實時腦電特征，計算界面矩陣中各個字符屬于目標(biāo)字符的概率，通過減小此概率較低字符的亮度，同時增大此概率較高字符的亮度，以達到更好區(qū)分目標(biāo)字符與非目標(biāo)字符的目的，從而獲取更有利于分類的腦信號，這是本方案設(shè)計的基礎(chǔ)；在線測試時，字符亮度的改變可以及時回饋給受試者有用的信息，給受試者一個心理暗示，這是本方案設(shè)計的關(guān)鍵。

2 實驗方法

2.1 實驗準(zhǔn)備

實驗設(shè)備:32通道的電極帽用于采集腦電信號、64通道的NeuroScan放大器用于放大采集到的腦電信號，Scan4.5軟件用于獲取數(shù)據(jù)。界面布局:4x10字符矩陣（26個英文字母，0－9共10個數(shù)字，4個標(biāo)點符號）。實驗中總共有8名受試者，年齡在20－25歲之間，視力正?；蚪?jīng)矯正為正常。實驗前，受試者已經(jīng)被告知實驗過程以及相關(guān)注意事項。為減少外界因素對受試者的干擾，整個實驗過程中受試者在安靜的環(huán)境下，坐在離電腦屏幕70cm左右的舒適的椅子上并始終注視著屏幕。

2.2 實驗過程

傳統(tǒng)的P300字符拼寫實驗范式最早是由Farwell和Donchin在1988年提出［12］，該范式由一個6x6矩陣組成，刺激的產(chǎn)生是通過隨機地加亮字符矩陣的某一行或某一列，一次實驗循環(huán)是6行及6列均加亮一次。與傳統(tǒng)的行列閃爍模式不同，本實驗采用單字符閃爍模式，在每個時刻只有一個字符閃爍，一次實驗循環(huán)是界面上40個字符各閃爍一次。一個字符閃爍一次稱為一個epoch，界面上40個字符各閃爍一次稱為一個round。實驗可分為兩個過程，即訓(xùn)練過程與在線測試過程。

2.2.1 訓(xùn)練過程

訓(xùn)練過程總共有40個目標(biāo)字符，并始終以相同的最高亮度（255）閃爍。界面上每個字符閃爍一次持續(xù)時間為100ms，字符與字符之間的閃爍間隔為30ms。對于一個目標(biāo)字符而言，界面上的每一個字符將閃爍10次，即10個round，由于從提示字符到開始閃爍的準(zhǔn)備時間為3s、相鄰兩個目標(biāo)字符之間的休息時間也為3s，故一個目標(biāo)字符閃爍所需總時間為17.8s左右，整個訓(xùn)練過程約12分鐘。通過對訓(xùn)練數(shù)據(jù)進行離線分析，從而得到受試者的模型，該模型為在線測試打下了基礎(chǔ)。

2.2.2 在線測試過程

在線測試分為兩種情況:不變亮度閃爍和改變亮度閃爍，并采用異步輸出方式。為了簡單起見，在線測試時采用矩陣的前兩行20個字符（A－T）作為目標(biāo)字符。當(dāng)有字符輸出時，不論輸出的字符是否正確，受試者開始注視下一個目標(biāo)字符。在線測試時對于每一個目標(biāo)字符來說，實驗設(shè)計為最少3個round輸出，最多8個round輸出。當(dāng)實驗閃爍3個round后，如果達到閾值（在對一個數(shù)據(jù)進行分類時，利用Bayes分類器計算該數(shù)據(jù)屬于各不同類別的概率，概率最大的和次大的差值）0.2時，則輸出結(jié)果，否則繼續(xù)閃爍，直到達到閾值為止。閃爍8個round后，不管是否達到閾值，都將輸出結(jié)果（該結(jié)果為成為目標(biāo)字符概率最大的字符）。

在不變亮度閃爍的情況下，界面上的每個字符始終以同一亮度150閃爍。

在改變亮度閃爍的情況下，閃爍的前3個round，字符始終以同一亮度150閃爍。此時如果沒有字符輸出，則閃爍第4個round時，成為目標(biāo)字符概率比較大的前10個字符（利用Bayes分類器進行分類時，所得概率比較大的前10個字符）的亮度將加強到255，概率比較小的15個字符亮度將減弱到100，其余的字符亮度保持150不變。當(dāng)閃爍第5個round時，概率比較大的前7個字符亮度為255，比較小的25個字符亮度為70，其他的保持不變。超過5個round后，概率較大的前4個字符亮度為150，比較小的30個字符亮度為70，其他的亮度均為150。改變亮度的字符閃爍界面如圖1所示。

圖1 改變亮度的字符閃爍界面

其中，字符E亮度加強至255，字符A亮度保持不變?yōu)?50，字符7亮度減弱至70

2.3 數(shù)據(jù)處理

實驗數(shù)據(jù)的處理主要包括預(yù)處理、特征提取、分類等過程。

2.3.1 預(yù)處理

腦電信號是一種非平穩(wěn)信號，且幅值一般較小，信噪比較低。目前研究者認(rèn)為的人類腦電活動的頻率變化范圍在0.5到30HZ之間［10］，所以我們可以采取一種0到30HZ左右?guī)V波來實現(xiàn)腦電波的去噪。對于從Scan4.5軟件采集到的數(shù)據(jù)，本實驗采用0.1HZ－25HZ的帶通濾波器進行濾波，去除一些不必要的成分，如50HZ工頻干擾、心電、肌電、眼電等等。由于P300信號發(fā)生在刺激發(fā)生后300ms左右，故提取每個epoch的100ms－500ms的數(shù)據(jù)進行分析。系統(tǒng)的采樣率為250，為了減小存儲量提高數(shù)據(jù)運算速率，根據(jù)香農(nóng)采樣定律，在保證采集到的信號能夠恢復(fù)原波形的情況下，采用6倍下采樣率以降低數(shù)據(jù)的維數(shù)。因此，對于每一個epoch，總共有250＊（0.5－0.1）/6≈17個數(shù)據(jù)點。

2.3.2 特征提取

提取出最有利于區(qū)別不同類信號的特征是提高實驗性能關(guān)鍵的一個環(huán)節(jié)。特征的好與壞，直接影響到實驗最終的結(jié)果。由于腦電信號是隨機產(chǎn)生的，非P300信號經(jīng)過多次疊加后會產(chǎn)生正負(fù)相消的現(xiàn)象，而同一個人的P300信號的波形在一次實驗中是比較穩(wěn)定，經(jīng)過疊加后會更加明顯。進一步分析時，需將屬于同一目標(biāo)字符的所有round的數(shù)據(jù)進行疊加，然后除以round的總數(shù)，從而達到增加信噪比的目的。眾所周知，P300是由視覺誘發(fā)的腦電信號，而視覺的產(chǎn)生主要集中在枕葉區(qū)，故通道選擇為電極帽水平方向的后兩排以及垂直方向的中間一排，這樣既可以減少實驗打膠時間，也可以減少數(shù)據(jù)量。實驗通道的選擇如圖2所示。

實驗中總共有12個通道，每個通道的數(shù)據(jù)點為17，故每個epoch的數(shù)據(jù)點為17＊12＝204，在線測試的目標(biāo)字符數(shù)為20，矩陣大小為4x10，因此，在線測試的特征向量為800＊204。

2.3.3 分類

分類器的選擇是本文必須要解決的一個重要問題。由于不同的測試者，同一算法的識別率差別較大，如何找到一種通用的算法也是本文研究的一個方面。

支持向量機（support vector machine，SVM）通過低維空間向高維空間的映射，能夠把非線性問題轉(zhuǎn)化為線性問題來處理，因而得到了廣泛的應(yīng)用。貝葉斯決策理論方法是統(tǒng)計模型決策中的一個基本方法。Bayes分類器能夠在信息不完全的情況下，對部分未知的狀態(tài)用主觀概率估計其先驗信息，然后用貝葉斯公式對發(fā)生的概率進行修正，最后利用期望值和修正概率做出最優(yōu)決策。

本文采用了Bayes和SVM兩種分類器，并對兩種分類器的性能進行了比較。根據(jù)以往經(jīng)驗，Bayes分類器采用線性判別函數(shù)［13］，SVM分類器的參數(shù)設(shè)置為:SVM類型為v－支持向量回歸（v－SVR），核函數(shù)為線性核函數(shù)，核函數(shù)中的gamma值為0.00154，其它參數(shù)設(shè)置為默認(rèn)值。準(zhǔn)確率的計算是在訓(xùn)練集數(shù)據(jù)上采用4重交叉驗證得到，如圖3所示。

圖3 Bayes與SVM的分類效果的比較

圖3中，橫坐標(biāo)表示的是一個目標(biāo)字符閃爍中round的次數(shù)（共10次），縱坐標(biāo)表示的是利用分類器對前n個round的數(shù)據(jù)進行分類所得到的準(zhǔn)確率。實線表示的是SVM分類器的結(jié)果，虛線表示的是Bayes分類器的結(jié)果。

從圖3中可以看出，閃爍3個round后，Bayes分類器的準(zhǔn)確率達到了80%，而SVM為63%左右。從第4個round開始，Bayes的準(zhǔn)確率就達到了90%，而SVM一直到第9個round才超過90%。實驗表明，在該實驗中Bayes分類器具有更好的分類效果。

3 結(jié)果與討論

3.1 實驗準(zhǔn)確率

對于每一個受試者，在線測試時，輸入20個目標(biāo)字符所需要的時間以及準(zhǔn)確率見表1。

表1 受試者的時間及準(zhǔn)確率對比

表1中，“/”前表示的是在線測試20個字符（A－T）所需時間，“/”后表示在線測試20個字符的準(zhǔn)確率。

從表1中數(shù)據(jù)可以看出，通過改變字符閃爍的亮度，平均準(zhǔn)確率由85.63%上升到93.13%，平均用時由原來的3.15min減少到3.04min。總的來說，字符輸出的準(zhǔn)確率得到了提高，并且字符輸出的速率也有所改善。但對于個別受試者，如:Subject6其效果不是很明顯，原因在于本設(shè)計改變字符閃爍的亮度是從第4個round開始的，對于一些P300信號較好的人來說，大多數(shù)都是在閃爍3－4個round輸出，這時字符亮度還沒來得及改變就已經(jīng)輸出了，相當(dāng)于亮度不變的系統(tǒng)。對于大多數(shù)受試者，從表中數(shù)據(jù)可以看出，改變亮度的刺激模式能夠提高該交互式系統(tǒng)的總體性能。

3.2 討論

在線測試時，當(dāng)閃爍3個round后，我們根據(jù)經(jīng)驗設(shè)置亮度加強的字符個數(shù)依次為10、7、4，亮度減弱的字符個數(shù)依次為15、25、30。經(jīng)過多次實驗證明，該做法基本上能夠保證亮度加強的字符中包含目標(biāo)字符，亮度減弱的字符中沒有目標(biāo)字符。

在改變亮度閃爍的刺激模式下，除亮度改變的字符個數(shù)可調(diào)之外，亮度的改變值也是可調(diào)的。由于每個目標(biāo)字符的前幾個round的數(shù)據(jù)受受試者的狀態(tài)影響很大，經(jīng)分類器分類后，亮度減弱的字符（即分類結(jié)果中概率較小的字符）中包含有目標(biāo)字符的概率較大。若目標(biāo)字符亮度過低，即刺激過小，即使受試者正確注視目標(biāo)字符，短期內(nèi)也無法將目標(biāo)字符正確輸出。為了避免目標(biāo)字符因亮度過低而無法正確輸出的情況，閃爍3個round后，若此時沒有輸出，則成為目標(biāo)字符概率較小的字符在第4個round中的亮度不應(yīng)降低過多，本文中降低至100。閃爍4個round后，獲取的數(shù)據(jù)相對來說比較穩(wěn)定，經(jīng)分類后亮度減弱的字符中包含有目標(biāo)字符的概率明顯降低，此時可以將概率較小的字符的亮度進一步降低，本文亮度降低至70。超過5個round后，獲取的數(shù)據(jù)已經(jīng)很穩(wěn)定，可以考慮將概率較小的字符的亮度繼續(xù)降低，但由于本文中概率較大的字符亮度為255，較小的為70，此時已經(jīng)能夠很好的區(qū)分目標(biāo)字符與非目標(biāo)字符，故超過5個round后，概率較小的字符亮度始終保持70不變。本文中，概率較大的字符亮度始終保持255，有利于盡快的輸出目標(biāo)字符。

與不變亮度的系統(tǒng)相比，在各方面條件同等的情況下，根據(jù)受試者腦電信號實時改變字符亮度，可以及時回饋給受試者有用的信息。如果字符閃爍的亮度加強，表明受試者正確注視目標(biāo)字符并能夠被系統(tǒng)成功檢測，繼續(xù)保持就有可能盡快正確輸出目標(biāo)字符；如果字符的亮度減弱，則提醒受試者需要更加集中注意力，因而達到實時交互的目的，進而能夠提高字符拼寫準(zhǔn)確率與速率。

4 結(jié)束語

在對采集到的數(shù)據(jù)進行分析與處理后，我們可以看出，通過改變字符閃爍的亮度，該交互式系統(tǒng)能夠獲取更有利于分類的腦電信號，從而減小了正確識別字符所需要的刺激序列數(shù)，不僅提高了字符拼寫的速率同時也提高了字符拼寫的準(zhǔn)確率，為腦機接口系統(tǒng)的實際運用打下了基礎(chǔ)。

本文需要進一步探索的問題:由于改變字符閃爍的亮度是從第4個round開始的，對于P300信號較好的人來說，如果基本上都是在3－4個round左右輸出字符，則該系統(tǒng)影響不大。但若是從第3個round開始改變亮度，由于前2個round受測試者的狀態(tài)影響很大，容易發(fā)生分類錯誤，因而導(dǎo)致系統(tǒng)的準(zhǔn)確率降低。兼顧字符輸入的速率和穩(wěn)定性，針對不同受試者及其不同狀態(tài)設(shè)計通用的系統(tǒng)，是下一個我們需要解決的問題。

［1］Birbaumer N.Breaking the silence:Brain－computer interfaces for communication and motor control［J］.Psychophysiology，2006，43（6）:517－532.

［2］Piccione F，Giorgi F，Palmas G，et al.P300－based brain computer interface:Reliability and performance in healthy and paralyzed participants［J］.Clinical Neurophysiology，2006，117（3）:531－537.

［3］WU Yazhou，WU Baoming，HE Qinghua.Actual research on brain－computer interface system based on electroencephalography［J］.Chinese Journal of Clinical Rehabilitation，2006，10（1）:148（in Chinese）.［伍亞舟，吳寶明，何慶華.基于腦電的腦－機接口系統(tǒng)研究現(xiàn)狀［J］.中國臨床康復(fù)，2006，10（1）:148.］

［4］Blankertz B，Lemm S，Treder M，et al.Single－trial analysis and classification of ERP components－a tutorial［J］.NeuroImage，2011，56（2）:814－25.

［5］Sellers E W，Krusienski D J，McFarland D J，et al.A P300 event－related potential brain－computer interface（BCI）:The effects of matrix size and inter stimulus interval on performance［J］.Biological psychology，2006，73（3）:242－252.

［6］Fazel－Rezai R，Allison B Z，Guger C，et al.P300 brain computer interface:Current challenges and emerging trends［J］.Front Neuroengineering，2012（5）:3－14.

［7］Pan J H，Li Y Q，Yu T Y，et al.A comparison of P300－speller stimuli presentation paradigms for brain－computer interface［C］//APSIPA ASC，2011.

［8］Takano K，Komatsu T，Hata N，et al.Visual stimuli for the P300 brain－computer interface:A comparison of white/gray and green/blue flicker matrices［J］.Clinical Neurophysiology，2009，120（8）:1562－1569.

［9］Mitsis G D，Iannetti G D.Assessment of nonlinear interactions in event－related potentials（ERPs）elicited by stimuli presented at short inter－stimulus intervals［C］//Proceedings of IEEE Engineering in Medicine and Biology Society，2010:4824－4837.

［10］Gonsalvez C J，Barry R J，Rushby J A，et al.Target－to－target interval，intensity and P300 from an auditory single－stimulus task［J］.Psychophysiology，2007，44（2）:245－250.

［11］MA Zhongwei，GAO Shangkai.P300－based brain－computer interface:Effect of stimulus intensity on performance［J］.Journal of Tsinghua University，2008，48（3）:2903－2906（in Chinese）.［馬忠偉，高上凱.基于P300的腦－機接口:視覺刺激強度對性能的影響［J］.清華大學(xué)學(xué)報，2008，48（3）:2903－2906.］

［12］Fazel－Rezai R，and Abhari K.A region－based P300 speller for brain－computer interface［J］.Canadian Journal，Electrical and Computer Engineering，2009，34（3）:81－85.

［13］Hoffmann U，Vesin J M，Ebrahimi T，et al.An efficient P300－based brain－computer interface for disabled subjects［J］.Journal of Neuroscience methods，2008，167（1）:115－125.