基于CNN卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別系統(tǒng)

俞洋 厲丹 馬一丁 姚瑤 張麗娜

摘要：與普通的神經(jīng)網(wǎng)絡(luò)非常相似，CNN卷積神經(jīng)網(wǎng)絡(luò)也由具有可學(xué)習(xí)的權(quán)重和偏置常量的神經(jīng)元組成。每個(gè)神經(jīng)元都接收一些輸入并做一些點(diǎn)積計(jì)算，輸出是每個(gè)分類的分?jǐn)?shù)，普通神經(jīng)網(wǎng)絡(luò)里的一些計(jì)算技巧依舊適用。該文介紹了基于CNN卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別系統(tǒng)，首先對(duì)不同的手勢(shì)圖片進(jìn)行采集，將采集結(jié)果作為訓(xùn)練集和測(cè)試集，系統(tǒng)將會(huì)對(duì)其進(jìn)行識(shí)別。

關(guān)鍵詞：卷積神經(jīng);手勢(shì)識(shí)別;深度學(xué)習(xí)

中圖分類號(hào)：TP183 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）10-0210-03

1概述

隨著科學(xué)技術(shù)的不斷發(fā)展，圖像識(shí)別技術(shù)的應(yīng)用領(lǐng)域不斷擴(kuò)大，現(xiàn)如今已經(jīng)成為一個(gè)熱門話題。不僅可以方便人們的生活，更為用戶提供了更加直觀靈活的操作方式。

手勢(shì)識(shí)別是人機(jī)交互中一種簡(jiǎn)單直接的方式，對(duì)圖像進(jìn)行手勢(shì)分割，綜合手勢(shì)形狀和位置狀態(tài)信息，將靜態(tài)手勢(shì)劃分為五種，提取基于圖像屬性的靜態(tài)手勢(shì)特征，而后將手勢(shì)特征向量輸入到系統(tǒng)進(jìn)行訓(xùn)練并得到識(shí)別模型。通過(guò)多種多樣的手勢(shì)，可以有效捕捉、分析和識(shí)別不同的手勢(shì)信息，在多個(gè)領(lǐng)域都有著重要意義。

2卷積神經(jīng)網(wǎng)絡(luò)

2.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

如圖1，卷積神經(jīng)網(wǎng)絡(luò)其實(shí)是起到一個(gè)分類器的作用。卷積層的作用是提取特征，采樣層的作用是特征選擇，全連接層的作用是分類。

卷積神經(jīng)網(wǎng)絡(luò)的核心思想是局部感受野、權(quán)值共享和pool-ing層，具有表征學(xué)習(xí)的能力，能夠按照其階層結(jié)構(gòu)對(duì)所輸入的信息進(jìn)行平移不變分類，采用梯度下降法最小化損失函數(shù)，對(duì)網(wǎng)絡(luò)中的權(quán)重參數(shù)逐層進(jìn)行反向調(diào)節(jié)，通過(guò)高頻的迭代訓(xùn)練來(lái)提高網(wǎng)絡(luò)的精度。

卷積核是可以用來(lái)提取圖像特征和卷積核卷積，就可以得到特征值，卷積核放在神經(jīng)網(wǎng)絡(luò)里，代表對(duì)應(yīng)的權(quán)重。卷積核和圖像進(jìn)行點(diǎn)乘，代表卷積核里的權(quán)重單獨(dú)對(duì)相應(yīng)位置的Pixel進(jìn)行作用。

例如三個(gè)分量的pixels對(duì)應(yīng)三個(gè)卷積核，數(shù)字即相當(dāng)于它的權(quán)重。假設(shè)已知對(duì)應(yīng)分量以及卷積核，根據(jù)神經(jīng)網(wǎng)絡(luò)公式：

卷積層在卷積神經(jīng)網(wǎng)絡(luò)中尤為重要，它的功能是對(duì)輸入數(shù)據(jù)進(jìn)行特征提取，每一個(gè)神經(jīng)元都進(jìn)行局部的特征提取，在更高層將其整理合并。

通過(guò)卷積操作所得到的特征圖，來(lái)自不同特征圖的每個(gè)位置單元將得到各自不同類型的特征。一個(gè)卷積層中通常包含多個(gè)具有不同權(quán)值向量的特征圖。

池化層對(duì)卷積層提取出來(lái)的特征圖進(jìn)行磁化處理，可以在減少數(shù)據(jù)處理量的同時(shí)保留有用信息，即對(duì)圖像由高分辨率向低分辨的轉(zhuǎn)換。通常卷積層池化層交替分布，使得特征圖數(shù)目逐漸增多，分辨率逐漸降低。

全連接層在卷積神經(jīng)網(wǎng)絡(luò)中可以看作是一個(gè)“組合器”，它把卷積層提取的局部特征重新通過(guò)權(quán)值矩陣組裝起來(lái)，形成完整的圖。

3基于卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別系統(tǒng)

手勢(shì)識(shí)別是一種十分直觀且簡(jiǎn)單自然的人機(jī)交互方式。本系統(tǒng)的手勢(shì)識(shí)別內(nèi)容包含石頭、剪刀、布、OK、Good五種手勢(shì)信息采集、手勢(shì)分割、特征提取、自動(dòng)識(shí)別。

系統(tǒng)初始界面如圖3所示。

用戶點(diǎn)擊捕捉手勢(shì)功能時(shí)，將自己的手勢(shì)對(duì)準(zhǔn)電腦的攝像頭鏡頭，按下鍵盤(pán)的B字母鍵，系統(tǒng)就會(huì)對(duì)手勢(shì)進(jìn)行捕捉。捕捉成功之后系統(tǒng)將會(huì)生成圖片（為JPG格式），將圖片放入已經(jīng)訓(xùn)練的參數(shù)模型中進(jìn)行識(shí)別，成功后系統(tǒng)會(huì)顯示結(jié)果。用戶想要查看自己的系統(tǒng)手勢(shì)識(shí)別率為多少，可以點(diǎn)擊訓(xùn)練手勢(shì)模塊，系統(tǒng)將會(huì)彈出對(duì)話框告知用戶。

如果用戶對(duì)此系統(tǒng)并不熟悉，可以點(diǎn)擊操作提示，按系統(tǒng)提示進(jìn)行手勢(shì)識(shí)別操作。

3.1實(shí)驗(yàn)過(guò)程

該手勢(shì)識(shí)別系統(tǒng)總共可以分為四個(gè)步驟：

1）數(shù)據(jù)集的收集，即對(duì)不同樣式的手勢(shì)進(jìn)行采樣整理或者收集，做成數(shù)據(jù)集。在初始化背景中，在手勢(shì)目標(biāo)未進(jìn)入攝像鏡頭區(qū)域前，由攝像機(jī)采集圖像作為背景圖像，計(jì)算n幀圖像的所有像素的平均值ui及平均差值σi，則初始背景模型由（ui，σi）構(gòu)成：

在上式中，ui表示n幀圖像中第i個(gè)像素點(diǎn)的均值，uti表示第t幀圖像中第i個(gè)像素點(diǎn)的像素值，σi表示n幀圖像中第i個(gè)像素點(diǎn)的平均差值。

進(jìn)行手勢(shì)的圖像采集，如下圖所示。

2）進(jìn)行識(shí)別：將數(shù)據(jù)集里的手勢(shì)捕捉，基于卷積神經(jīng)網(wǎng)絡(luò)識(shí)別系統(tǒng)對(duì)于樣本進(jìn)行識(shí)別可以生成手勢(shì)模型。

3）系統(tǒng)訓(xùn)練、識(shí)別率計(jì)算：將數(shù)據(jù)集里的圖像進(jìn)行輸入并訓(xùn)練，若用戶需要識(shí)別率，則進(jìn)行計(jì)算。測(cè)試集越往后學(xué)習(xí)，準(zhǔn)確率越高。因?yàn)樵谌坑?xùn)練集上的誤差是每個(gè)訓(xùn)練樣本的誤差的總和，所以僅先考慮對(duì)于一個(gè)樣本的BP。對(duì)于第n個(gè)樣本的誤差，表示為：

傳統(tǒng)的全連接神經(jīng)網(wǎng)絡(luò)中，需要根據(jù)BP規(guī)則計(jì)算代價(jià)函數(shù)E關(guān)于網(wǎng)絡(luò)每一個(gè)權(quán)值的偏導(dǎo)數(shù)。用l來(lái)表示當(dāng)前層，那么當(dāng)前層的輸出可表示為：

在這里的輸出激活函數(shù)一般是sigmoid函數(shù)或者雙曲線正切函數(shù)。sigmoid將輸出壓縮到[0，1]，所以最后的輸出平均值一般趨于0。所以如果將訓(xùn)練數(shù)據(jù)歸一化為零均值和方差為1，可以在梯度下降的過(guò)程中增加收斂性。

4）顯示結(jié)果：將識(shí)別系統(tǒng)將結(jié)果輸出，如圖6所示。整個(gè)卷積神經(jīng)的手勢(shì)識(shí)別系統(tǒng)過(guò)程如圖7所示。

4總結(jié)

更加直接有效地捕捉、分析、處理及識(shí)別各類手勢(shì)信息，并快速獲得正確的響應(yīng)，是實(shí)現(xiàn)人機(jī)交互功能的關(guān)鍵技術(shù)之一。在利用卷積神經(jīng)網(wǎng)絡(luò)相關(guān)公式實(shí)現(xiàn)手勢(shì)分割基礎(chǔ)上，根據(jù)手勢(shì)位置、形狀等信息將其劃分為不同的類型，再利用CNN卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)性對(duì)數(shù)據(jù)集進(jìn)行分析，使得識(shí)別的正確率達(dá)到了96%。證明卷積神經(jīng)網(wǎng)絡(luò)是一種可以進(jìn)行深入學(xué)習(xí)與不斷更新的網(wǎng)絡(luò)，其在計(jì)算機(jī)應(yīng)用等許多領(lǐng)域仍然需要進(jìn)行大力的研究。