基于神經(jīng)網(wǎng)絡(luò)的運動想象分類研究

何 爽，黃 鑫，林思睿，徐瀾菲，王瑩瑩，鄒任玲，李 丹，胡秀枋

(上海理工大學健康科學與工程學院，上海 200093)

heshuangedu@163.com;hx2946474935@163.com;1023617140@qq.com;1046758980@qq.com;3294576338@qq.com;zourenling@163.com;lidan0734454454@163.com;huxiufang1965@163.com

1 引言(Introduction)

腦機接口(Brain Computer Interfaces,BCI)技術(shù)能實現(xiàn)腦神經(jīng)與外部設(shè)備的信息交互，通過采集大腦的腦電信號進行特征提取和解碼，幫助肢體運動障礙患者與外界進行通信并控制外部設(shè)備以達到動作康復(fù)訓(xùn)練與替代的目的。腦機接口一般分為五個階段：數(shù)據(jù)采集、信號處理、特征提取、解碼和反饋。運動想象(Motor Imagery，MI)是指人通過一定的圖片提示對動作進行想象但沒有產(chǎn)生實際的動作，人的大腦的特定區(qū)域被激活，并通過解碼判斷受試者意圖?；谀X機接口的運動想象早已與康復(fù)相結(jié)合：張?zhí)业热耸褂弥С窒蛄繖C分類，將運動想象與Unity3D相結(jié)合設(shè)計了一款手功能康復(fù)系統(tǒng)，針對腦卒中患者手部功能的康復(fù)；徐寶國等人設(shè)計了一款基于運動想象的上肢康復(fù)機器人，針對腦中風偏癱患者的康復(fù)訓(xùn)練，使用了基于馬氏距離的線性判別分類器；任士鑫等人設(shè)計了基于運動想象的人體下肢與視覺反饋的閉環(huán)腦機接口，運用支持向量機算法提高腦卒中等神經(jīng)患者在康復(fù)過程中的主動性。隨著神經(jīng)網(wǎng)絡(luò)在計算機視覺、圖像處理等領(lǐng)域的廣泛應(yīng)用和產(chǎn)生良好的效果，神經(jīng)網(wǎng)絡(luò)受到廣泛關(guān)注。在神經(jīng)網(wǎng)絡(luò)中，通過0—1的概率給出分類準確率。神經(jīng)網(wǎng)絡(luò)可以將特征提取與分類相結(jié)合，自動提取特征，適應(yīng)性強，適用于非線性分析。在運動想象分類任務(wù)中，使用不同的神經(jīng)網(wǎng)絡(luò)有不同的優(yōu)勢和表現(xiàn)。

2 經(jīng)典的運動想象分類算法(Classic classification algorithm of motor imagery)

經(jīng)典的運動想象分類算法相對更加成熟，主要包括線性判別分析(Linear Discriminant Analysis,LDA)、支持向量機(Support Vector Machines,SVM)和貝葉斯分類器(Bayes Classifier)等算法，但這些算法往往需要復(fù)雜的特征工程，甚至需要大量的人工對特征進行標注，借助使用者的專業(yè)知識進行模型輸入的選擇，自動化程度不高。

2.1 線性判別分析

線性判別分析是運動想象中最常用的分類器之一，是一種經(jīng)典的線性學習方法，在運動想象任務(wù)中被研究者廣泛應(yīng)用。FAZLI等人利用線性判別分析作為分類器驗證了沒有經(jīng)過訓(xùn)練的用戶造成的性能損失非常有限。鄧欣等人利用線性判別分類器進行分類，最終分類正確率可達90.71%。另外，HIGASHI和TANAKA利用線性判別分析進行分類，達到的分類準確率為89.06%。但線性判別分析依賴于特征提取的優(yōu)良程度，更適合應(yīng)用于線性信號。

2.2 支持向量機

支持向量機是一種有監(jiān)督的學習模型，可用于線性、非線性分類問題。劉沖等人利用支持向量機算法對二分類任務(wù)進行分類，最大的分類準確率達到了82.86%。雖然支持向量機的準確率較高，但是支持向量機分類器是一種典型的二分類分類器，主要針對二分類，在多分類的運動想象任務(wù)中的表現(xiàn)并不是特別好，訓(xùn)練速度相對較慢，對參數(shù)以及核函數(shù)的選擇也很敏感。

2.3 貝葉斯分類器

貝葉斯分類器是利用貝葉斯公式對各種結(jié)果輸出概率值并取最大值作為該樣本的類別。劉華生等人利用貝葉斯分類器結(jié)合短時傅里葉變換和平行因子模型對運動想象信號進行分類，最大的分類精度達到了90%。但貝葉斯分類器無法處理特征組合后所產(chǎn)生的變化結(jié)果，對輸入數(shù)據(jù)的形式比較敏感。

3 深度學習網(wǎng)絡(luò)模型(Deep learning network model)

深度學習是一種特定的機器學習方法，由神經(jīng)網(wǎng)絡(luò)實現(xiàn)對數(shù)據(jù)特征的學習，提高分類準確率。深度學習模擬人腦對樣本進行學習，具有良好的學習能力和特征提取能力。與經(jīng)典的分類算法相比，深度學習不僅能自動學習數(shù)據(jù)的特征并進行分類，實現(xiàn)端對端的學習，減少人工提取特征造成的特征混亂以及信息的丟失，也可以與特征提取方法進行結(jié)合，得到更好的分類效果。

3.1 卷積神經(jīng)網(wǎng)絡(luò)

LECUN等人在日本科學家福島邦彥的基礎(chǔ)上將反向傳播應(yīng)用到類似于Neocoginitro網(wǎng)絡(luò)上，實現(xiàn)了第一個卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)，至此CNN開始廣泛應(yīng)用于各個領(lǐng)域。CNN一般由三種不同類型的層組成：卷積層、池化層和全連接層。卷積層是通過卷積核對輸入進行局部感知，進而提取特征信息；池化層也稱為下采樣，其作用是降維，壓縮數(shù)據(jù)的維度，減少過擬合；全連接層起到分類器的作用，得到最終的輸出。以KRIZHEVSKY等人在2012 年ImageNet競賽中提出的AlexNet為例，此網(wǎng)絡(luò)模型為八層網(wǎng)絡(luò)，其中五層卷積層和三層全連接層，并提出局部歸一化、以ReLU作為激活函數(shù)和Dropout及最大池化的應(yīng)用。其中，ReLU作為激活函數(shù)解決了Sigmoid的梯度彌散問題，應(yīng)用Dropout有效避免了模型的過擬合問題，局部歸一化提升了模型的泛化能力，最大池化避免了平均池化的模糊化效果。其他與普通CNN模型一致，通過卷積層不斷提取更為復(fù)雜的特征，并通過全連接層和最終分類器或回歸方程得到最后的輸出結(jié)果。在AlexNet之后，又相繼提出了VGGNet、GoogleNet、ResNet和SENet等CNN模型。簡單的CNN模型圖如圖1所示。

圖1 CNN模型Fig.1 CNN model

SHAJIL等人在論文中使用CNN模型和疊加頻譜圖以及數(shù)據(jù)增強的數(shù)據(jù)處理方法，分類的平均準確率都比同一數(shù)據(jù)集的支持向量機、線性判別分析和AlexNet高。SHALU等人提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的識別方法，用于右手和右腳的分類，分別使用短時傅里葉變換和連續(xù)小波變換轉(zhuǎn)換為時頻圖并送入網(wǎng)絡(luò)分類。結(jié)果表明，連續(xù)小波變換方法比短時傅里葉變換方法取得了更好的結(jié)果，該方法獲得了99.35%的準確率。MIAO等人提出一種新的空間-頻率-時間(SFT)模型，將EEG的能量分布轉(zhuǎn)為3D特征表示并設(shè)計新的3D-CNN模型分類，在BCI競賽III數(shù)據(jù)集IVA上，該方法對五個被試的平均準確率達到86.6%，比目前最先進的濾波帶公共空間模式(FBCSP)方法提高了4.1%；在BCI競賽III數(shù)據(jù)集IIIa上，得到91.85%的平均準確率，該方法的性能比最新的詞典對學習(DPL)方法高出4.44%。ZHAO等人在論文中提出一種新的分類框架，包括腦電信號的三維表示和3D-CNN與分類策略，該框架達到了最先進的Kappa值水平，在不同被試上表現(xiàn)出良好的性能與魯棒性。CHEN等人提出基于人臉識別的三元組挖掘方法的TSCNN，從時間特征對運動想象進行分類，并采用了分階段訓(xùn)練的方法，得到了較好的結(jié)果。從以上文獻中可知，CNN在運動想象分類任務(wù)中的表現(xiàn)相比之前的方法更好，能更好地解決特征提取的問題和通過不斷地學習自動調(diào)整參數(shù)。

CNN多應(yīng)用于多分類和數(shù)據(jù)量較大的樣本，并將特征提取和分類相結(jié)合，具有權(quán)值共享等特性。但CNN也有劣勢，如數(shù)據(jù)量較小時影響精度和易過擬合。

3.2 生成對抗網(wǎng)絡(luò)

GOODFELLOW等人在2014 年提出生成對抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)后，對它的研究便如火如荼。GAN是受博弈論中二人零和博弈的啟發(fā)，即兩人之間的利益之和，一方所得即為一方所失，整個結(jié)構(gòu)由生成器G和判別器D組成。目前GAN已經(jīng)被證明對半監(jiān)督學習以及監(jiān)督學習等是有效的。生成器是通過學習輸入樣本的特征生成具有相同特征的偽樣本數(shù)據(jù)，其作用是使生成的偽樣本能夠被判別器判斷為輸入樣本；判別器是通過對這兩部分樣本特征的學習分辨輸入樣本和偽樣本并輸出結(jié)果。當判別器無法判斷數(shù)據(jù)的真實性時，即認為此時GAN網(wǎng)絡(luò)已經(jīng)完全學習了輸入樣本的特征。GAN簡單的模型如圖2所示。

圖2 GAN模型Fig.2 GAN model

STEPHE等人利用傳統(tǒng)CNN和GAN建立分類方法，并在特征提取技術(shù)中利用經(jīng)驗?zāi)Ｊ椒纸夂突旌瞎逃心Ｊ胶瘮?shù)處理非平穩(wěn)問題，最終準確率為95.29%，高于CNN的89.38%，而且該方法在BCI競賽Ⅲ的數(shù)據(jù)集IVA上的平均正確率為62%。也有其他學者提出新的網(wǎng)絡(luò)模型應(yīng)用于其他領(lǐng)域,如ZHU等人提出的CycleGAN和ZHAO等人提出的WGAN。GAN是在博弈論的基礎(chǔ)上構(gòu)建的，理論上模型的收斂性和是否存在平衡點是很難判斷的，網(wǎng)絡(luò)容易陷入崩潰。生成模式和判別模式在網(wǎng)絡(luò)訓(xùn)練時的平衡與同步性會影響GAN的穩(wěn)定性和生成樣本與真實之間的差異。目前GAN已廣泛應(yīng)用于醫(yī)療、網(wǎng)絡(luò)安全等其他領(lǐng)域。

3.3 膠囊網(wǎng)絡(luò)

SABOUR等人在2011 年的論文中首次引入膠囊網(wǎng)絡(luò)，并在2017 年的論文中介紹了在MINIST數(shù)據(jù)集下達到最優(yōu)性能的膠囊網(wǎng)絡(luò)框架，其簡單的網(wǎng)絡(luò)模型如圖3所示。膠囊網(wǎng)絡(luò)是由膠囊組成的，而膠囊是一組神經(jīng)元，每個神經(jīng)元的結(jié)果都代表同一個輸入的不同屬性。這些屬性包括不同的實例化參數(shù)，如位置、方向等。初始膠囊層將卷積層從輸入中提取的特征轉(zhuǎn)換為向量并通過動態(tài)路由規(guī)則與全連接層相連。目前HINTON和他的團隊已經(jīng)提出了多種膠囊網(wǎng)絡(luò)，如矩陣膠囊網(wǎng)絡(luò)。

圖3 膠囊網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Capsule network structure

HA等人將膠囊網(wǎng)絡(luò)應(yīng)用于運動想象圖像的二分類任務(wù)中，利用短時傅里葉變換將腦電信號轉(zhuǎn)換為時頻圖像并提供給膠囊網(wǎng)絡(luò)，所提出的算法優(yōu)于先行的CNN和傳統(tǒng)的分類器，證明了膠囊網(wǎng)絡(luò)用于運動想象分類的可行性，分類準確率基本優(yōu)于現(xiàn)有分類器。膠囊網(wǎng)絡(luò)現(xiàn)在還在不斷發(fā)展中，目前對小樣本效果明顯，但對大規(guī)模和內(nèi)容更復(fù)雜的數(shù)據(jù)集并沒有取得非常好的效果。探索應(yīng)用于大規(guī)模數(shù)據(jù)集的網(wǎng)絡(luò)結(jié)構(gòu)和減少訓(xùn)練時間也是目前膠囊網(wǎng)絡(luò)的發(fā)展趨勢之一。

4 結(jié)論(Conclusion)

傳統(tǒng)的機器學習算法應(yīng)用于運動想象領(lǐng)域比較成熟，很多研究都對傳統(tǒng)的方法進行改進，如將粒子群算法與支持向量機相結(jié)合搜尋更加合適的參數(shù)。但是傳統(tǒng)的分類算法在自動化處理、算法耗時等方面提升有限。伴隨著計算機硬件的更新?lián)Q代和神經(jīng)網(wǎng)絡(luò)模型的不斷完善與更新，神經(jīng)網(wǎng)絡(luò)在MI-EEG(運動想象-腦電)信號的分類識別中取得了一些成果，與之前相比提高了分類器的性能。針對運動想象數(shù)據(jù)量小，使用數(shù)據(jù)增強策略(如GAN等)也是發(fā)展趨勢之一。更多的研究是通過對神經(jīng)網(wǎng)絡(luò)模型的不斷完善，進一步開發(fā)新的網(wǎng)絡(luò)模型以適應(yīng)不同數(shù)據(jù)樣本的分類；可以將多種網(wǎng)絡(luò)模型進行組合或?qū)我痪W(wǎng)絡(luò)模型中的多種特征進行組合，以多種特征結(jié)合的方式來提高分類的準確性。神經(jīng)網(wǎng)絡(luò)也可與多種研究方法相結(jié)合，例如將在計算機視覺領(lǐng)域得到廣泛驗證的特征提取和分類方法相結(jié)合，增加注意力機制等模塊，進一步提高分類的準確性。

目前MI-EEG也存在一些問題：(1)神經(jīng)網(wǎng)絡(luò)在提升準確率的同時相對耗時更多，如何在維持準確率的同時提高分類效率，實現(xiàn)在線解碼的問題；(2)如何降低個體間的差異性，使算法更加具有普遍性，應(yīng)用于不同個體；(3)目前分類算法大多是簡單肢體運動，如何改進算法使其適用于更復(fù)雜的日常肢體運動，滿足更多的康復(fù)需求；(4)離線訓(xùn)練時，如何解決數(shù)據(jù)量小和信號非平穩(wěn)的問題。運動想象可應(yīng)用于醫(yī)療康復(fù)領(lǐng)域，實現(xiàn)中風病人或運動能力不足患者的假肢控制和康復(fù)訓(xùn)練以及未來日常生活中的輔助功能，因此運動想象解碼研究依然面臨較多的挑戰(zhàn)。