胡超 高雨

（天津工業(yè)大學電氣與電子工程學院 天津 300387）

0 引言

在當前人機交互領域，手勢識別主要為依賴視覺識別和穿戴設備識別，視覺識別對可視角度和光線環(huán)境要求較高，當前可穿戴設備如基于加速度和超聲波設備成果較高且系統(tǒng)復雜等缺點，而創(chuàng)新型使用EIT技術結合深度學習網(wǎng)絡的智能手勢識別有著結構簡單小巧，非入侵，無損傷，識別率快等優(yōu)點。

1 手勢識別系統(tǒng)原理

EIT是一種無創(chuàng)的以人體內(nèi)部的電阻率分布為目標的重建體內(nèi)組織圖象的技術，因其安全性和非入侵性，廣泛應用在醫(yī)學監(jiān)測上，監(jiān)測肺部和血管中血流量等。本文中通過施加激勵電流來測量橫截面內(nèi)部阻抗并且推斷相應的結構，完成內(nèi)部結構的重構。本系統(tǒng)中，用戶佩戴均勻分布電極的布帶于手腕部，做出手勢時，腕部肌肉橫截面形狀和阻抗分布會產(chǎn)生變化，利用電阻抗層析技術（EIT）測量手腕周圍的內(nèi)部阻抗分布，并且將采集到的信號進行相應的濾波等處理，通過串口USB傳輸?shù)缴衔粰C處理和分析，并作為手勢分類的數(shù)據(jù)集，并將特征數(shù)據(jù)送入CNN進行訓練，上位機顯示得到與特征數(shù)據(jù)相匹配的手勢。

2 系統(tǒng)總體設計

系統(tǒng)總體設計由電極傳感器、數(shù)據(jù)采集模塊、數(shù)據(jù)處理以及上位機部分組成。傳感器陣列放置在皮膚表面，通過循環(huán)施加激勵電流源作用在銅電極傳感器上，采集到腕部肌肉群附近的電勢，不同的手勢會激活橫截面不同的肌肉群，通過連續(xù)循環(huán)采集到的實驗數(shù)據(jù)送入CNN網(wǎng)絡模型進行手勢分類，在上位機部分我們同樣設計了基于Matlab的數(shù)據(jù)采集軟件操作界面，可以直接通過上位機控制數(shù)據(jù)采集，保存以及手勢狀態(tài)預測，界面會顯示出采集的電壓數(shù)據(jù)以折線圖顯示，預測結果將圖片形式展示（見圖1）。

圖1：系統(tǒng)整體設計

2.1 采集裝置設計

優(yōu)秀的傳感器設計是保證數(shù)據(jù)采集準確性的關鍵一步，銅電極具有良好的導電性，均勻分布于布帶一周，通過電極帶的伸縮性可以與皮膚直接進行良好接觸，能夠穩(wěn)定采集到電信號，通過共軛梯度法進行圖像重建。所采用的銅電極在實驗中表現(xiàn)良好的重建效果，當然還可以進一步實驗其他材料，得到最好的阻抗信息采集。

基于STM32F4ZGT6芯片和AD模塊的數(shù)據(jù)采集系統(tǒng)中，通過一對電極注入恒定的正弦波電流，所采用的壓流轉換模塊的作用將電壓數(shù)據(jù)轉換交變電路，經(jīng)過多路選通模塊控制后作用域激勵電極端，所需要A0505S供給，其大小±5，并用剩余電極進行測量記錄表面的電壓，測量電壓的幅度和相位隨著腕部的電導率變化而產(chǎn)生相應的變化。在測量中調(diào)節(jié)多路選通模塊，可以完成相應電極對腕部阻抗的測量。

2.2 測量原理及方案選擇

電學測量系統(tǒng)根據(jù)物體周圍表面電極測量的信號重建導電物體的內(nèi)阻抗分布，目前常用的側廊方案是雙端和四端測量方式。如圖2在雙端阻抗測量的序列中，通過選取一對相鄰電極作為輸入電流電極，并且每次順時針移動電極對直到第八根電極，電壓的檢測同樣從第一對電極開始，測量其余相鄰電極電壓，得到一輪的電信號，通過這樣的布置，電壓的檢測以及注入電流都是呈現(xiàn)固定模式進行變化。EIT利用相鄰兩電極之間的電壓差進行處理,使用測量方式相互激勵，相鄰測量作為基礎，并循環(huán)采集數(shù)據(jù)作為數(shù)據(jù)處理的樣本集，足夠的樣本集作為手勢分類的基礎，為了尋找一種新的驅動方式，產(chǎn)生較少的阻抗數(shù)據(jù)，足夠的精度來進行分類，在這項中采用了最常使用的8個電極和兩終端方案來降低系統(tǒng)的復雜性。

圖2：電極工作示意圖

2.3 網(wǎng)絡模型建立

本系統(tǒng)選取CNN作為系統(tǒng)手勢分類方法，卷積網(wǎng)絡有著分層處理信息的能力的同時還有著對多種特征進行學習的能力，具有深度結構反饋的神經(jīng)網(wǎng)絡，采用基于梯度的反向傳播算法對網(wǎng)絡結構監(jiān)控。本文先設計了兩種針對手勢識別的CNN網(wǎng)結構，5-2-3-3-和3-3-3-4兩種CNN網(wǎng)絡結構。將訓練集和驗證集分別輸入網(wǎng)絡中訓練，如圖3所示實驗得出5-2-3-3收斂更快，當循環(huán)到400epoch時，該網(wǎng)絡結構的損失和驗證集均無明顯變化，并對網(wǎng)絡參數(shù)進行保存。最后選擇設置各層濾波器結構為5-2-3-3，即卷積層c1:5*5，池化層s2:2*2，卷積層s3:3*3，池化層s4:3*3。

圖3：損失值變化

2.4 手勢集建立

為了驗證系統(tǒng)的可識別性和穩(wěn)定性，需要選取一個基本手勢集，包含“放松”“伸展”“左彎”“右彎”“握拳”“豎直大拇指”“蜘蛛俠手勢”，“剪刀”六個基本手勢。選取十名用戶進行測試，將就具有伸縮性的電極帶佩戴在用戶的右手腕處，調(diào)節(jié)電極帶與其腕部皮膚的良好接觸，讓用戶手臂保持自然放松狀態(tài)感到舒適之后，開始隨機循環(huán)測試六種基本手勢且保持手勢1秒，單次手勢反復10次，將十名用戶總體數(shù)據(jù)其作為實驗測試數(shù)據(jù)。

2.5 實驗結果與分析

將未經(jīng)訓練的實驗數(shù)據(jù)輸入訓練好的 CNN模型進行手勢狀態(tài)進行預測手勢結果，對于所有用戶測試結果正確性進行平均，如圖4所示，其總體手勢測試結果都較為穩(wěn)定在97%左右的正確率，同時可以由圖看出“左彎”手勢識別率最低，與其他手勢產(chǎn)生了混淆，但是其依舊高達90%。在實際測試過程中，用戶單一重復做同種手勢時，其上位機顯示手勢結果準確，但當實驗時間的持續(xù)進行，在不同手勢交替時會產(chǎn)生少部分錯誤手勢，其原因是用戶連續(xù)變換手勢動作，會引起腕部肌肉疲勞，肌肉的連續(xù)變化造成內(nèi)部阻抗信息沒法及時恢復原狀，此時采集到的數(shù)據(jù)與真實數(shù)據(jù)存在誤差。同樣在變化手勢的過程中，電極與腕部皮膚接觸情況也在變化，接觸過松時，真實電位信息與采集到的不匹配。這些實際情況都會影響系統(tǒng)的穩(wěn)定識別性，但總體測試結果識別率超過同生物肌電識別系統(tǒng)。實驗結果能夠說明所創(chuàng)建的網(wǎng)絡模型對手勢狀態(tài)識別表現(xiàn)出良好的識別效果和魯棒性，本系統(tǒng)能夠實現(xiàn)便攜式高精度測量的目的。

圖4：實驗結果

3 結語與展望

本文基于EIT技術和深度學習發(fā)展狀況，提出設計一套基于電學測量與深度學習的便攜式智能手勢檢測設計，經(jīng)過重復多次的實驗表明，即使是簡單的手勢變化也會導致人體手臂內(nèi)部肌肉阻抗分布顯著變化，在準確率上來說本系統(tǒng)是優(yōu)于其他肌電傳感類的識別系統(tǒng)。所設計的系統(tǒng)通過對不同手勢情況下的腕部數(shù)據(jù)進行多組采集，采集到的數(shù)據(jù)全面反映了不同手勢條件下手腕內(nèi)部的阻抗分布，該系統(tǒng)可以快速準確地判斷出不同的手勢且具著有較高的穩(wěn)定性。但是我們希望能夠進一步改進優(yōu)化系統(tǒng)，如目前測試的基本手勢集并不具有普遍性，還需要加入更多的手勢進行測試，得到一個更具有廣泛性的測試結果，還需要更快ADC采樣來提高幀率，增多電極數(shù)目對實驗結果準確性的影響也是需要進一步實驗，電極種類也是需要進行探究實驗如心電電極。希望這些改進能讓系統(tǒng)穩(wěn)定接受手勢的連續(xù)變化，得到更準確和快速的手勢結果。