基于柔性傳感器的手勢(shì)識(shí)別神經(jīng)網(wǎng)絡(luò)智能手套的研究

摘 要 本文提出一種基于柔性傳感器陣列的手勢(shì)識(shí)別智能手套。目前，手勢(shì)識(shí)別無論是在結(jié)構(gòu)設(shè)計(jì)、制備及后續(xù)算法等方面都得到了廣泛的研究。在此背景下，為了獲得更好的用戶體驗(yàn)，降低手勢(shì)識(shí)別的成本，我們提出了一種柔性傳感器陣列的手勢(shì)識(shí)別手套。該手勢(shì)識(shí)別智能手套包括柔性傳感器陣列、LABVIEW采集和處理電信號(hào)系統(tǒng)、神經(jīng)網(wǎng)絡(luò)識(shí)別。柔性傳感器陣列包括基底、形變敏感層、電極和封裝層，采用聚二甲基硅氧烷、氫化苯乙烯-丁二烯嵌段共聚物、鉑催化硅橡膠、聚酰亞胺、聚對(duì)苯二甲酸乙二酯中的一種或多種為基底和封裝層，形變敏感層則為離子凝膠，電極通過導(dǎo)線引出;LABVIEW的模擬通道、外置的數(shù)據(jù)采集卡以及PCB電路板作為采集和處理電信號(hào)系統(tǒng)。

關(guān)鍵詞 手勢(shì)識(shí)別;柔性傳感器陣列;LABVIEW信號(hào)采集;神經(jīng)網(wǎng)絡(luò)

1背景

本文的研究?jī)?nèi)容是利用柔性傳感器陣列并結(jié)合人工智能算法，實(shí)現(xiàn)集感知與識(shí)別一體的基于柔性傳感器陣列的手勢(shì)識(shí)別智能手套的制備，實(shí)現(xiàn)手勢(shì)的實(shí)時(shí)識(shí)別。國(guó)內(nèi)外的研究多是采用視覺方式來進(jìn)行手勢(shì)識(shí)別。Mohidul Alam Laskara等人提出了一種基于前向和后向運(yùn)動(dòng)的手勢(shì)檢測(cè)方法。該方法基于立體視覺，采用基于視差圖的質(zhì)心運(yùn)動(dòng)及其強(qiáng)度變化作為特征，以條件隨機(jī)場(chǎng)（CRF）為分類器對(duì)姿態(tài)進(jìn)行識(shí)別[1]。Dipak Kumar Ghosh提出了一種靜態(tài)手勢(shì)識(shí)別方法，克服了手勢(shì)圖像的光照、旋轉(zhuǎn)、大小和位置變化等問題，該工作利用同態(tài)濾波和灰度世界技術(shù)補(bǔ)償手勢(shì)圖像的光照變化，提出了一種圖像旋轉(zhuǎn)技術(shù)，使分割后的手勢(shì)旋轉(zhuǎn)不發(fā)生變化[2]。Han Zhao Zhu 等人為了解決手勢(shì)識(shí)別系統(tǒng)基于固定位置，無法隨時(shí)隨地使用的問題，提出了一種基于固定在用戶腰部的圖像采集帶的手勢(shì)識(shí)別方法，以提高用戶的友好性，獲取穩(wěn)定的手勢(shì)信息[3]。目前基于視覺的手勢(shì)識(shí)別，需要高精度的攝像頭，成本要求高，且條件苛刻，要求手勢(shì)識(shí)別過程中不能出現(xiàn)遮擋情況，因此，在人機(jī)交互領(lǐng)域的應(yīng)用仍受到一定的限制。近幾年，隨著柔性可穿戴傳感器的發(fā)展（靈敏度高、生物兼容性好、制備方便、成本低廉），其人機(jī)交互領(lǐng)域中顯示了潛在的應(yīng)用前景。它可以為聽力受損者開發(fā)助聽器、使非常年幼的兒童能夠與計(jì)算機(jī)進(jìn)行互動(dòng)、觀察患者的情緒狀態(tài)或壓力水平，它還能在虛擬環(huán)境中導(dǎo)航或操作、視頻會(huì)議通信、遠(yuǎn)程教學(xué)，應(yīng)用十分廣泛。所以，本實(shí)驗(yàn)旨在設(shè)計(jì)一種集信號(hào)感知與智能識(shí)別為一體的智能手套，實(shí)現(xiàn)一種新型的人機(jī)交流方式，推動(dòng)人機(jī)交互的發(fā)展。

2結(jié)果與討論

2.1 手勢(shì)識(shí)別系統(tǒng)的總體設(shè)計(jì)方案

本文結(jié)合柔性傳感器陣列與人工智能算法，提出了一種集信號(hào)感知與智能識(shí)別為一體的智能手套，以期實(shí)現(xiàn)對(duì)不同手勢(shì)的感知、識(shí)別。通過該項(xiàng)目的工作，推動(dòng)人機(jī)之間的交流，減少人們?cè)谌藱C(jī)交互過程由于對(duì)外在設(shè)備存在排斥而產(chǎn)生的抵觸情緒。

本課題實(shí)施具體步驟如圖1所示：

制備基于高導(dǎo)柔性凝膠基的高靈敏傳感器陣列并固定于手套上;

智能手套電信號(hào)的采集，并對(duì)手勢(shì)變化引起的微弱電信號(hào)進(jìn)行放大、去噪處理;

利用LABVIEW模擬通道獲取電信號(hào)，并將電信號(hào)轉(zhuǎn)化為數(shù)組形式;

通過LABVIEW判定結(jié)構(gòu)進(jìn)行程序識(shí)別。

本設(shè)計(jì)方案將傳感器感知與智能識(shí)別相統(tǒng)一。LABVIEW信號(hào)的采集與判定結(jié)構(gòu)的程序識(shí)別相結(jié)合，實(shí)現(xiàn)感知與識(shí)別的一體化。利用柔性可穿戴傳感器靈敏度高、生物兼容性好、制備方便、成本低廉的優(yōu)點(diǎn)，結(jié)合模板匹配技術(shù)，成功識(shí)別手勢(shì)。

2.2 柔性傳感器陣列

柔性傳感器陣列包括基底、形變敏感層、電極和封裝層，采用聚二甲基硅氧烷、氫化苯乙烯-丁二烯嵌段共聚物、鉑催化硅橡膠、聚酰亞胺、聚對(duì)苯二甲酸乙二酯中的一種或多種為基底和封裝層，形變敏感層則為離子凝膠，電極通過導(dǎo)線引出，制備過程如圖2所示。

本文使用的柔性傳感器具有良好的穩(wěn)定性，圖3（a）是傳感器拉伸0～100%狀態(tài)下電流電壓變化圖像，傳感器每隔10%拉伸量記錄一次電流隨電壓變化趨勢(shì)，由圖可知，拉伸量一定時(shí)，電流基本與電壓成正比關(guān)系，表明傳感器內(nèi)部電阻穩(wěn)定，不易受溫度等外界環(huán)境干擾。本文使用的傳感器不僅具有良好的穩(wěn)定性，還有很高的靈敏度。圖3（b）是傳感器截取2V工作電壓時(shí)電流隨拉伸的變化圖像，圖中可知，拉伸量越大，電阻通過傳感器的電流越小，根據(jù)歐姆定律

可知，電流減小，電阻增大。圖3（c）是傳感器的電阻變化率隨拉伸的變化圖像，根據(jù)靈敏度系數(shù)計(jì)算公式，

（1）

（2）

其中，為靈敏度系數(shù)靈敏度，為電阻變化率，為形變量，為拉伸率。

由公式（1）、（2），靈敏度系數(shù)為106，表明該柔性傳感器具有高靈敏度。圖3（d）是傳感器拉伸50%的電信號(hào)，隨著時(shí)間推移，傳感器每拉伸一次，在極短的時(shí)間內(nèi)就會(huì)產(chǎn)生非常明顯的電信號(hào)，根據(jù)圖中紅色虛線所轄時(shí)間范圍，響應(yīng)時(shí)間為5ms左右。拉伸多次后，電壓峰值一直穩(wěn)定在2.0V左右，具有較高的穩(wěn)定性能。

總之，本文使用的離子液體傳感器靈敏度高、穩(wěn)定性強(qiáng)、生物兼容性好、制備方便、成本低廉，能很好地貼附在人體皮膚上，而且，還具有一定的透明度，是成功檢測(cè)電信號(hào)的基礎(chǔ)。

2.3 手套的信號(hào)采集

本文搭建LABVIEW信號(hào)采集系統(tǒng)，獲得手勢(shì)識(shí)別過程中的電信號(hào)數(shù)據(jù)。

首先，搭建LABVIEW信號(hào)采集系統(tǒng)，通過外設(shè)的數(shù)據(jù)采集卡獲得各個(gè)手勢(shì)的電信號(hào)，如圖4所示。然后將柔性傳感器陣列貼附于手套上，通過不同手勢(shì)帶動(dòng)手指運(yùn)動(dòng)，進(jìn)而引起電信號(hào)的變化，通過這些電信號(hào)，即可實(shí)現(xiàn)對(duì)手勢(shì)的識(shí)別。見圖5。

2.4 手套的智能識(shí)別

本文采用的判別方式，是基于神經(jīng)網(wǎng)絡(luò)判定的手勢(shì)識(shí)別。通過LABVIEW將電信號(hào)陣列轉(zhuǎn)換為數(shù)字信號(hào)，向嵌套的神經(jīng)網(wǎng)絡(luò)的輸入層實(shí)時(shí)導(dǎo)入數(shù)字信號(hào)。通過中間層加權(quán)取值，建立迭代函數(shù)，再通過神經(jīng)網(wǎng)絡(luò)的迭代訓(xùn)練，優(yōu)化迭代函數(shù)，通過輸出層返回對(duì)應(yīng)的“0-9”手勢(shì)的判斷（如圖6）。

3結(jié)束語(yǔ)

本文結(jié)合柔性傳感器陣列與人工智能算法，提出了一種集信號(hào)感知與智能識(shí)別為一體的智能手套，以期實(shí)現(xiàn)對(duì)不同手勢(shì)的感知、識(shí)別。通過該項(xiàng)目的工作，推動(dòng)人機(jī)之間的交流，減少人們?cè)谌藱C(jī)交互過程由于對(duì)外在設(shè)備存在排斥而產(chǎn)生的抵觸情緒。

參考文獻(xiàn)

[1] Mohidul A L，Amlan J D，Anjan K T，et al. Stereo Vision-based Hand Gesture Recognition under 3D Environment[J]. SECOND INTERNATIONAL SYMPOSIUM ON COMPUTER VISION AND THE INTERNET，2015（58）：194-201.

[2] Ghosh D K，Ari S . On an algorithm for Vision-based hand gesture recognition[J]. Signal Image and Video Processing，2016，10（4）：655-662.

[3] Zhu H Z，Bo Y K，Xue Z L，et al. Gesture Recognition Based on the Image Acquisition Belt[J]. Journal of Physics：Conference Series，2018（1087）：62016.

作者簡(jiǎn)介

陳龍飛（1998-），男，江蘇揚(yáng)州人;現(xiàn)就讀學(xué)校：蘇州大學(xué)，本科在讀，研究方向：機(jī)械電子。