基于改進卷積神經(jīng)網(wǎng)絡的手勢識別

宋京　段惠斌

摘 要：為了解決傳統(tǒng)卷積神經(jīng)網(wǎng)絡（CNN）由于手勢背景復雜和手勢姿態(tài)多樣性而導致準確率不高的問題，提出一種改進卷積神經(jīng)網(wǎng)絡方法對手勢進行分類識別。首先對手勢圖像做基于膚色閾值的手勢分割處理，然后用Dropout優(yōu)化后的卷積神經(jīng)網(wǎng)絡對手勢圖像特征進行提取和分類識別。在不同環(huán)境下對手勢識別并與傳統(tǒng)方法進行對比實驗。實驗表明，改進CNN識別準確率為96.92%，傳統(tǒng)CNN識別準確率為93.58%，證明改進CNN識別準確率較傳統(tǒng)CNN有一定提高。

關(guān)鍵詞：改進卷積神經(jīng)網(wǎng)絡;手勢識別;準確率;圖像處理;過擬合;Dropout

中圖分類號：TP39文獻標識碼：A文章編號：2095-1302（2020）07-00-02

0 引 言

隨著人工智能技術(shù)的飛速發(fā)展，其在人機交互[1]領(lǐng)域的應用也越來越廣泛，手勢識別[2]正是其中之一。實現(xiàn)手勢識別的核心是對手勢特征的提取[3]。傳統(tǒng)的識別算法中多是由人工設(shè)計提取特征，然后再用分類器分類識別，例如HMM-SVM[4]，Kinect特征匹配法[5]等。這項工作繁瑣、費時，而且還會因為提取特征誤差導致識別率降低。近年來，深度學習在識別領(lǐng)域有很大進展，謝崢桂[6]在對手勢識別的研究中首先對手勢圖像進行手勢分割預處理，然后再用傳統(tǒng)CNN進行特征提取和識別。張起浩等[7]在做手勢識別研究中利用Leap Motion結(jié)合CNN進行識別，首先利用Leap Motion獲取手勢圖像并進行灰度處理，然后用CNN算法對圖像進行特征提取及分類。然而考慮到手勢的復雜性、多樣性特點，傳統(tǒng)卷積神經(jīng)網(wǎng)絡已不能滿足對其魯棒性的識別[8]。隨著卷積神經(jīng)網(wǎng)絡的深入學習，很容易出現(xiàn)過擬合問題，大大降低了識別準確率。為此，本文提出的方法是在識別之前對手勢圖像進行手勢分割處理，并在傳統(tǒng)卷進神經(jīng)網(wǎng)絡中加入Dropout層。通過增加網(wǎng)絡連接的隨機性和稀疏性來提高泛化能力，解決因為過擬合而造成的識別率低的問題。

1 手勢圖像數(shù)據(jù)集制作及預處理

本文手勢數(shù)據(jù)集的制作利用python中的OpenCV調(diào)用攝像頭采集錄制不同手勢，然后將不同手勢定義相應的標簽生成主文件。為滿足手勢訓練集的降噪要求，在采集過程中對手勢圖像做基于膚色閾值的二值化預處理。處理過程主要分為如下三步：

（1）選用YCrCb作為手部膚色的顏色空間;

（2）在空間下建立手部膚色的高斯模型;

（3）對模型做二值化處理，二值化處理過程圖像如圖1所示。

2 卷積神經(jīng)網(wǎng)絡及改進

2.1 傳統(tǒng)卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)雛形于1998年由Yann Lecun提出[9]。與人工神經(jīng)網(wǎng)絡不同，這是一種深度神經(jīng)網(wǎng)絡。它擁有很多網(wǎng)絡層數(shù)，主要分為卷積層、池化層和全連接層。卷積層中前一層輸入更高層次特征到下一層并形成特征圖，池化層可以對特征圖進行降維以減少不必要的數(shù)據(jù)。全連接層總結(jié)歸納池化層輸入的特征信息，通過分類器進行分類識別。卷積神經(jīng)網(wǎng)絡的一個優(yōu)點在于權(quán)值共享，使得網(wǎng)絡復雜度和訓練時的運算復雜度大大降低，因此被廣泛應用于圖像識別領(lǐng)域。本文應用卷積神經(jīng)網(wǎng)絡對手勢進行識別，大大減小了傳統(tǒng)人工提取特征的難度，其網(wǎng)絡結(jié)構(gòu)如圖2所示。

在卷積層中，卷積核用于提取圖像中的特征信息。不同的卷積核先與上一層得到的特征圖作卷積運算，然后加上偏置值得到輸出，最后通過合適的激活函數(shù)推出卷積結(jié)果，即輸出特征圖。卷積運算如下所示：

式中：ylj為當前卷積層的第j個特征圖;f（）表示激活函數(shù)，為降低網(wǎng)絡復雜度，本文使用ReLU（）型激活函數(shù);Mj為全部的輸入特征圖;wi， j為i與j間的卷積核;blj表示偏置。

2.2 Dropout優(yōu)化

隨著卷積神經(jīng)網(wǎng)絡對圖像特征學習的深入，其網(wǎng)絡架構(gòu)層數(shù)變得越來越多。隨著卷積神經(jīng)網(wǎng)絡的層數(shù)不斷增加，網(wǎng)絡訓練復雜度也隨之上升。在數(shù)據(jù)集少的條件下還會導致網(wǎng)絡模型泛化能力下降，識別率降低。為此，本文在傳統(tǒng)模型的最大池化層后加入Dropout層，在模型訓練時會增加網(wǎng)絡神經(jīng)連接的不確定性，使網(wǎng)絡變得更稀疏，以此來提高模型的泛化能力，解決過擬合問題。加入Dropout[10]后的全連接層對比如圖3所示，它通過隨機刪掉網(wǎng)絡中p=0.5（0

2.3 改進卷積神經(jīng)網(wǎng)絡

為提高手勢識別準確率，本文設(shè)計的適用于手勢識別分類的改進卷積神經(jīng)網(wǎng)絡模型結(jié)構(gòu)如圖4所示。

3 實驗與結(jié)果分析

本文實驗數(shù)據(jù)集包括6種表示不同數(shù)字1，2，3，4，5，6的手勢圖片，如圖5所示，每個數(shù)字400張，共計

2 400張。圖片大小統(tǒng)一為32 cm×32 cm，按比例選取其中的80%作為訓練樣本，20%為測試樣本。分別訓練和測試改進卷積神經(jīng)網(wǎng)絡模型和傳統(tǒng)卷積神經(jīng)網(wǎng)絡模型，并對其準確率做對比實驗。兩模型測試準確率與迭代步數(shù)的曲線如圖6所示。

從圖6中可以看出，準確率在迭代步數(shù)達到50時趨于飽和，改進CNN模型準確率為96.92%，CNN模型準確率為93.58%。即改進卷積神經(jīng)網(wǎng)絡模型比傳統(tǒng)卷積神經(jīng)網(wǎng)絡模型在零件識別方面的準確率更高。

4 結(jié) 語

本文設(shè)計了一種改進卷積神經(jīng)網(wǎng)絡模型，分別對6種手勢進行識別。首先，在訓練模型之前對手勢圖像數(shù)據(jù)做增強處理，使模型訓練更加充分。然后，運用Dropout優(yōu)化傳統(tǒng)模型，對圖像進行特征提取，多次訓練得到高性能模型。最后，用測試樣本圖片對改進模型進行測試，并與傳統(tǒng)模型作對比實驗。實驗結(jié)果表明：改進卷積神經(jīng)網(wǎng)絡模型平均識別準確率為96.92%，傳統(tǒng)卷積神經(jīng)網(wǎng)絡模型為93.58%，改進模型準確率比傳統(tǒng)模型識別率提高了3.34%。

參考文獻

[1]范向民，范俊君，田豐，等.人機交互與人工智能：從交替浮沉到協(xié)同共進[J].中國科學：信息科學， 2019， 49（3）：361-366.

[2]宋一凡，張鵬，劉立波.基于視覺手勢識別的人機交互系統(tǒng)[J].計算機學，2019，46（S2）：570-574.

[3]劉小建，張元.基于多特征提取和SVM分類的手勢識別[J].計算機工程與設(shè)計，2017，38（4）：953-958.

[4] ROSSI M，BENATTI S，F(xiàn)ARELLA E，et al. Hybrid EMG classifier based on HMM and SVM for hand gesture recognition in prosthetics [C]// IEEE International Conference on Industrial Technology. IEEE，2015.

[5]田元，王學璠，王志鋒，等.基于Kinect的實時手勢識別方法[J].計算機工程與設(shè)計，2018，39（6）：1721-1726.

[6]謝錚桂.基于改進的卷積神經(jīng)網(wǎng)絡的手勢識別的研究[J].計算機應用與軟件，2019，36（3）：192-195.

[7]張起浩，蔣少國，蔣青山，等.基于Leap Motion和卷積神經(jīng)網(wǎng)絡的手勢識別[J].物聯(lián)網(wǎng)技術(shù)，2019，9（10）：47-49.

[8]楊紅玲，宣士斌，莫愿斌.基于卷積神經(jīng)網(wǎng)絡的手勢識別[J].計算機技術(shù)與發(fā)展，2018，28（7）：11-14.

[9]周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡研究綜述[J].計算機學報，2017，40（6）：1229-1251.

[10]任曉霞.基于Dropout深度卷積神經(jīng)網(wǎng)絡的ST段波形分類算法[J].傳感技術(shù)學報，2018，31（8）：1217-1222.