周小波,鄒任玲,盧旭華,王海濱,張俊翔
(1.上海理工大學(xué) 醫(yī)療器械與食品學(xué)院,上海 200093;2.第二軍醫(yī)大學(xué)附屬長征醫(yī)院,上海 200003)
表面肌電信號(Surface Electromyography,SEMG)是通過皮膚表面的干、濕電極測出的皮下肌纖維運動單位的動作電位,代表實時人體運動意圖[1]。隨著AI技術(shù)的發(fā)展,人機(jī)交互(Human-Computer Interaction,HCI)系統(tǒng)對提高人們生活質(zhì)量和工作效率有重要的作用[2]?;赟EMG建立的HCI具有操作方便、對身體無侵入性、對運動無干擾等特點,有非常廣闊的應(yīng)用前景。利用SEMG識別運動模式的方法主要可以分成兩類:一類是需要貼放多對電極,每對電極采集的SEMG分別對應(yīng)一個動作。此類方法對電極采集到的肌電信號利用率低,往往需要多對電極才可以實現(xiàn)多個自由度的控制;另一種方法是對SEMG進(jìn)行識別,從一個電極對采集的肌電信號中識別出多種運動模式。此類方法所用的電極數(shù)量少,對電極采集到的肌電信號利用率高,但是信號識別的方法復(fù)雜[3]?;赟EMG建立肢體康復(fù)動作識別系統(tǒng),一般包括SEMG數(shù)據(jù)采集模塊、信號特征提取模塊、分類器模塊和機(jī)器控制命令輸出模塊。肢體康復(fù)動作識別系統(tǒng)很大程度上依賴于信號特征提取和分類器的使用。人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)越來越多地被用于機(jī)器學(xué)習(xí)領(lǐng)域的模式識別和信號分類領(lǐng)域,其作為分類器,相較于傳統(tǒng)的分類器有著巨大的優(yōu)越性[4]?,F(xiàn)將近幾年基于ANN構(gòu)造的SEMG分類器的研究進(jìn)展進(jìn)行介紹和分析。
學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò)(Learning Vector Quantization,LVQ)是Kohonen T等人在1988年提出的一種前向型神經(jīng)網(wǎng)絡(luò)[5]。LVQ結(jié)合了有監(jiān)督學(xué)習(xí)和競爭學(xué)習(xí)兩者的優(yōu)點,在學(xué)習(xí)中克服了自組織網(wǎng)絡(luò)無監(jiān)督學(xué)習(xí)算法帶來的缺乏分類信息的弱點。其最大的優(yōu)點是不需要對輸入向量歸一化,缺點是訓(xùn)練時間較長[6]。LVQ由輸入層、競爭層和輸出層3層神經(jīng)元組成,結(jié)構(gòu)如圖1所示。
圖1 學(xué)習(xí)向量量化網(wǎng)絡(luò)Figure 1. Learning vector quantization network
小波包變換(Wavelet Packet Transform,WPT)具有良好的時頻局部化特征特性,可以同時提取信號的時頻特性,克服了傅立葉變換時域無局部化特性的缺點,是一種良好的時頻分析工具。WPT分解樹如圖2所示[7]。
圖2 小波包變換分解結(jié)構(gòu)樹Figure 2. Decomposition tree of WPT
2018年,Liu L和Song Y等人在已有的SEMG手勢分類器研究的基礎(chǔ)上,分別測試了BP網(wǎng)絡(luò)、ELMAN網(wǎng)絡(luò)、自組織競爭網(wǎng)絡(luò)等多種類型的神經(jīng)網(wǎng)絡(luò),在此基礎(chǔ)上設(shè)計出一種以WPT為特征提取的 LVQ分類器對下肢運動產(chǎn)生的表面肌電信號進(jìn)行分類[7]。該實驗的對象為健康學(xué)生,實驗肌群為股直肌和長收肌,實驗動作為上樓、下樓、上坡和下坡4種下肢動作。實驗結(jié)果表明,采用該方法能很好地分類出腿部的四種運動模式,平均準(zhǔn)確率達(dá)到96.00%,具有一定的實際運用價值。
極限學(xué)習(xí)機(jī)(Extreme Learning Machine,ELM),是Huang G B和 Zhu Q Y等人在2004年提出的一種單隱含層前饋神經(jīng)網(wǎng)絡(luò)[8]。ELM學(xué)習(xí)速度比傳統(tǒng)的前向網(wǎng)絡(luò)學(xué)習(xí)算法快數(shù)千倍,同時具有更好的泛化性能。與傳統(tǒng)的學(xué)習(xí)算法相比,ELM不僅具有最小的訓(xùn)練誤差,還具有最小的權(quán)值范數(shù)[6]。ELM由輸入層、競爭層和輸出層3層神經(jīng)元組成,結(jié)構(gòu)如圖3所示。
圖3 單隱含層前饋神經(jīng)網(wǎng)絡(luò)Figure 3. Single-hidden layer feedforward neural networks
2017年,Anam K和Al-Jumaily A等人提出并評估了兩種ELM的實現(xiàn):一種是基于節(jié)點的ELM,它依賴于節(jié)點的激活函數(shù);另一種是基于內(nèi)核的ELM,它依賴于競爭層的內(nèi)核函數(shù)[9]。該研究的實驗對象為3名成年女性、6名成年男性和5名外傷性肘部以下截肢患者者。未截肢的受試者進(jìn)行拇指外展、拇指彎曲、食指彎曲、中指彎曲、無名指彎曲和小拇指彎曲6種動作;截肢者想象著與未截肢者相同的手指動作。實驗結(jié)果表明,基于內(nèi)核的ELM對截肢者的手指動作分類準(zhǔn)確率達(dá)到98.55%,對健全者的手指動作分類準(zhǔn)確率達(dá)到99.50%。同年,Wang J H和Qi L等人通過加Think技術(shù)公司研發(fā)的Flex Comp Infiniti系統(tǒng)采集了一名手臂完整的健康男性的SEMG,展開了ELM對上肢運動模式分類的實驗[10]。實驗肌群為肱二頭肌、肱三頭肌、肱肌和三角肌4塊肌群。識別動作為肘部彎曲、肩部伸展、肩部外展、提褲子和進(jìn)食5種動作。實驗結(jié)果表明,該方法能夠較好地識別出上肢的5種運動模式,平均分類準(zhǔn)確率達(dá)到99.26%。2019年,Kuo Y和Zhen Z等人的報告表明,通過對比實驗得出ELM與支持向量機(jī)(Support Vector Machine,SVM)的準(zhǔn)確率相當(dāng),但比SVM類分類器更快[11]。
小波神經(jīng)網(wǎng)絡(luò)(Wavelet Neural Network,WNN)是由Zhang Q和Benveniste A等人在1992年基于小波分析研究領(lǐng)域的重大突破正式提出的一種前饋神經(jīng)網(wǎng)絡(luò)[12]。WNN依據(jù)可靠的理論構(gòu)建小波基元(WBU)和網(wǎng)絡(luò)結(jié)構(gòu),可以有效避免網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的盲目性。由于WNN網(wǎng)絡(luò)權(quán)系數(shù)線性分布和學(xué)習(xí)目標(biāo)函數(shù)的凸性,使網(wǎng)絡(luò)訓(xùn)練過程中從根本上省略了局部最優(yōu)等非線性化問題[13]。WNN主要由輸入層、隱含層和輸出層3層神經(jīng)元組成,網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。
圖4 小波神經(jīng)網(wǎng)絡(luò)Figure 4. Wavelet neural network
2015年,Cheng R和Bai Y P等人利用WNN提高了工業(yè)機(jī)械假手的運動控制效果[14]。2016年,Duan F和Dai L等人提出了一種新穎的SEMG模式分類方法,在實驗中用3個表面肌電信號傳感器來識別6個手部運動模式[15]。實驗對象為7名23~26歲的女性,1名23歲的男性和1名36歲的男性。實驗肌群為橈側(cè)腕長伸肌、橈側(cè)腕屈肌和伸肌3塊肌群。實驗的動作為手閉合、手張開、手腕伸展、手腕彎屈、前臂旋前和前臂旋后6種手部運動動作。實驗結(jié)果表明, WNN分類器對6個手部運動動作分類的總體準(zhǔn)確率為94.67%。在進(jìn)一步實驗中,通過對2名左手腕關(guān)節(jié)處截肢的受試者進(jìn)行相同的實驗,無法完成的動作用想象代替。最終結(jié)果顯示,對截肢者的動作分類準(zhǔn)確率雖然低于對正常人的動作分類的準(zhǔn)確率,但是整體分類準(zhǔn)確率依然可以達(dá)到85.17%。從分類準(zhǔn)確率可以看出,WNN分類器的性能不僅可以用于工業(yè)領(lǐng)域的運動控制,還可以用于基于SEMG的康復(fù)假肢控制。
自適應(yīng)神經(jīng)模糊推理系統(tǒng)(Adaptive Network-based Fuzzy Inference System,ANFIS),由Jang J S R在1993年正式提出[16]。ANFIS經(jīng)典模型由模糊層、計算規(guī)則適用度層、適用度歸一化層、規(guī)則輸出層和輸出層5層神經(jīng)元構(gòu)成,網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。
圖5 自適應(yīng)神經(jīng)模糊推理系統(tǒng)Figure 5. Adaptive network-based fuzzy inference system
自適應(yīng)神經(jīng)模糊推理系統(tǒng)是一種將模糊邏輯和神經(jīng)元網(wǎng)絡(luò)結(jié)合的模糊推理系統(tǒng),采用反向傳播和最小二乘法的混合算法調(diào)整前提參數(shù)和結(jié)論參數(shù),能自動產(chǎn)生“如果-則”規(guī)則,既發(fā)揮了模糊邏輯和神經(jīng)元網(wǎng)絡(luò)二者的優(yōu)點,又彌補(bǔ)了各自的不足[17]。2017年,石紹應(yīng)和王小謨等人提出了一種采用誤差反向傳播算法的自適應(yīng)模糊分類器模型結(jié)構(gòu)。對有x個特征向量、M種類別的分類問題進(jìn)行分類時,需要學(xué)習(xí)調(diào)整參數(shù)的數(shù)目為2(2x+1)M[18],模型結(jié)構(gòu)如圖6所示。
圖6 自適應(yīng)糊分類器模型Figure 6. Adaptive fuzzy classifier model
2015年,F(xiàn)ariman H J和Ahmad S A等人構(gòu)建了一種利用ANFIS對SEMG進(jìn)行分類的分類器[19]。實驗對象為4名健康的學(xué)生。實驗肌群是尺側(cè)腕屈肌和橈側(cè)腕長伸肌兩塊肌群。實驗的動作為腕關(guān)節(jié)彎曲、腕關(guān)節(jié)伸展、等張收縮和等長收縮4種手部運動動作。實驗結(jié)果表明,ANFIS分類器對4個手部動作的平均分類準(zhǔn)確率為88.90%。Caesarendra W和Tjahjowidodo T等人于2018年利用MYO手鐲對健康的實驗室成員進(jìn)行了手勢運動分類實驗[20]。實驗動作為:大拇指、食指、中指、無名指和小拇指彎曲5種手勢。實驗結(jié)果表明,對拇指動作分類的準(zhǔn)確度最低,準(zhǔn)確率為20.00%;對無名指和小拇指動作分類的準(zhǔn)確率最高,平均分類準(zhǔn)確率為72.00%。此類分類器的分類準(zhǔn)確率有待進(jìn)一步提高。
AlexNet分類算法由Hinton G E和Krizhevsky A在2012年的ImageNet視覺挑戰(zhàn)大賽上首次應(yīng)用[21]。AlexNet實質(zhì)是一種卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)。CNN具有非常好的目標(biāo)信息處理能力,能夠自動提取目標(biāo)的特征,已經(jīng)被廣泛應(yīng)用于圖像分類和目標(biāo)識別等方面[22]。AlexNet是在LeNet的基礎(chǔ)上加深了網(wǎng)絡(luò)結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò),使用Relu為激活函數(shù)。AlexNet網(wǎng)絡(luò)結(jié)構(gòu)有8層,卷積層由C1~C5共5層構(gòu)成,全連接層由FC6和FC7兩層構(gòu)成,最后一層為輸出層[23],網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。
圖7 AlexNet網(wǎng)絡(luò)Figure 7. AlexNet network
2019年,Akhundov R和Saxby D J等人基于Hinton G E的深度學(xué)習(xí)模型,進(jìn)行了AlexNet分類器對SEMG圖像分類的評估實驗[24]。實驗的數(shù)據(jù)由墨爾本大學(xué)、查爾斯特大學(xué)和國防與退伍軍人服務(wù)部提供,包括腹直肌、股四頭肌、股直肌、半腱肌、股二頭肌、腓腸肌和臀大肌7塊肌群采集到的共87 000組SEMG數(shù)據(jù)。通過SEMG的過濾處理創(chuàng)建記錄圖像,并將這些圖像分為好、可用、噪聲和無信號4類。最后,用AlexNet分類器對圖像進(jìn)行分類。評估實驗結(jié)果表明,AlexNet分類器對SEMG圖像分類的準(zhǔn)確度高達(dá)99.55%。同年,Xingqun Z和Fei W等人利用MYO手環(huán)對7個健康的實驗室成員進(jìn)行了手部運動SEMG采集,并用AlexNet作為分類器進(jìn)行分類實驗[25]。實驗動作為彎手腕、握拳、張開手掌、揮手和比圓圈5種手勢。實驗結(jié)果表明,AlexNet分類器對5種手部運動動作的平均分類準(zhǔn)確率為95.00%。卷積神經(jīng)網(wǎng)絡(luò)不僅在圖像識別和信號處理上有出色的表現(xiàn),也可以應(yīng)用到文本和語音識別等領(lǐng)域。
廣義回歸神經(jīng)網(wǎng)絡(luò)(General Regression Neural Network,GRNN),由Specht D F在1991年正式提出[26]。GRNN屬于建立在數(shù)理統(tǒng)計基礎(chǔ)上的徑向基神經(jīng)網(wǎng)絡(luò)(Radial Basis Function,RBF)。其理論基礎(chǔ)是非線性回歸分析,因此具有很強(qiáng)的非線性映射能力和很快的學(xué)習(xí)速度。GRNN 由輸入層、徑向基隱含層和線性輸出層3層神經(jīng)元組成,網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。
倒譜是一種信號的傅里葉變換經(jīng)過對數(shù)運算后再進(jìn)行的傅里葉反變換得到一種同態(tài)濾波,屬于非線性變換,用于對卷積信號的分離操作[27]。倒譜最初是為了描述地震和炸彈爆炸引起的地震回波而被提出的,其也是同態(tài)信號處理的一種表示,能夠?qū)⑼ㄟ^卷積結(jié)合起來的信號變換成各自的總和[28]。計算倒譜的一般流程如圖9所示。
圖8 廣義回歸神經(jīng)網(wǎng)絡(luò)Figure 8. General regression neural network
圖9 計算倒譜的一般流程Figure 9. General block diagram for computing the cepsture
2019年,Yavuz E和Eyupoglu C通過計算MEL頻率倒譜系數(shù)(MFCCS),利用倒譜分析技術(shù)來提取SEMG的時域特征,然后將其轉(zhuǎn)發(fā)給GRNN分類器進(jìn)行分類,提出了一種全新的基于倒譜分析的手部運動SEMG分類器[29]。實驗對象為5名健康成年人,包括3名女性和2名年齡大致相同的男性。實驗肌群為尺側(cè)腕屈肌、橈側(cè)腕長伸肌和短伸肌。實驗動作為握圓管、手指拿小物品、提重物、抓物、手持球型物品和拿薄且寬的物品6種手部動作。實驗結(jié)果表明,GRNN分類器對每個人的6種手勢動作的平均分類準(zhǔn)確率為99.34%;對5名實驗對象的所有數(shù)據(jù)進(jìn)行混合而形成的數(shù)據(jù)集,進(jìn)行分類的總體平均準(zhǔn)確率為99.23%。該方法的成功是由于倒譜的特征能很好地表示生物電信號的特征,這種技術(shù)應(yīng)用的領(lǐng)域可以擴(kuò)展到各類生物電信號,例如心電圖(ECG)、眼動圖(EOG)、腦磁圖(MEG)和肌音信號(MMG)。
在大量的分類算法中,ANN算法與傳統(tǒng)的模糊識別算法(FRP)、SVM和線性判別算法(LDA)等相比,具有十分強(qiáng)的學(xué)習(xí)能力,能更好地解決復(fù)雜問題。近年來,隨著人工智能和控制領(lǐng)域的快速發(fā)展,基于ANN構(gòu)建的分類器也不斷的成熟。構(gòu)建準(zhǔn)確且高效的ANN分類器,是現(xiàn)階段的研究熱點,有著廣闊的應(yīng)用前景。通過對本文的6種ANN分類器的回顧,得出結(jié)論如下:
(1) 基于SEMG建立肢體動作識別系統(tǒng),很大程度是依賴于分類器的使用。構(gòu)建準(zhǔn)確、高效的分類器十分關(guān)鍵。
表1 6種ANN分類器的分類結(jié)果
由表1可以看出本文所述的6種基于人工神經(jīng)網(wǎng)絡(luò)的表面肌電信號分類器均有較高的分類準(zhǔn)確率;
(2)以上6種ANN分類器都具有較好的分類準(zhǔn)確率,但是存在實驗動作部位多為上肢動作、實驗的對象多為健康成人和實驗的樣本數(shù)量都比較小這3個問題,難以證明該分類器的具有普遍適用性。在豐富的樣本上進(jìn)行多部位的多種動作驗證實驗,既是ANN分類器進(jìn)一步完善的重點,也是難點所在;
(3)利用單一的信號特征提取方法提取SEMG,由ANN分類器進(jìn)行單通道多模式的信號分類難以達(dá)到理想的分類準(zhǔn)確率,在構(gòu)建ANN分類器的時候,組建合適的特征集不僅是研究中的難點之一,也是弊端之一。特征提取方法依靠人工設(shè)計,不僅在信號預(yù)處理時計算量巨大,而且特征提取時會過濾掉部分信號。利用ANN構(gòu)建一種可以直接利用原始SEMG的高效分類器,將從根本上避免這種缺陷,具有顯著的研究意義。