曹昕燕,趙繼印,李 敏

(1.吉林大學通信工程學院,吉林長春 130022;2.長春大學電子信息工程學院,吉林長春 130022; 3.大連民族學院機電信息工程學院,遼寧大連 116600)

基于膚色和運動檢測技術的單目視覺手勢分割*

曹昕燕1,2,趙繼印1?,李 敏3

(1.吉林大學通信工程學院,吉林長春 130022;2.長春大學電子信息工程學院,吉林長春 130022; 3.大連民族學院機電信息工程學院,遼寧大連 116600)

在分析膚色的信息特征和手勢的運動特性基礎上,構建了一種基于單目視覺的手勢分割方法,可從視頻圖像序列中獲取有意義的手勢區(qū)域.針對確定的背景圖像,以10幀的采樣間隔采集手勢圖像,通過膚色信息特征來獲得手勢的膚色區(qū)域,同時通過差分法獲得手勢的運動區(qū)域,再將膚色區(qū)域與運動區(qū)域進行融合處理獲得初始的手勢區(qū)域,在此基礎上,進一步研究了數(shù)學形態(tài)學的腐蝕和膨脹算法,實現(xiàn)了視頻圖像序列中的手勢分割與定位.實驗結果表明,該方法具有較好的手勢分割效果和較高的定位準確度.

單目視覺;手勢分割;運動檢測;膚色檢測;數(shù)學形態(tài)學

手語是一種聾人使用的人體運動語言,由手形、手臂動作輔之以表情、唇動以及其他體勢來表達思想,是一種靠動作和視覺交際的特殊語言,是聾人間進行信息交流最自然的方式.但是,現(xiàn)實生活中大部分健全人看不懂手語,研究手語識別的目的就是要提供一種有效準確的機制將手語翻譯成文本或語音,使得聾人和健全人之間的交流變得更加方便和快捷.此外,隨著計算機對現(xiàn)代生活影響的日益廣泛,人們渴求一種更加直接、和諧、自然的人機交互方式,因此手語識別作為智能人機交互領域中的一個重要組成部分已成為備受關注的研究熱點.手語識別研究涉及機器人學、空間幾何學、人工智能、模式識別、計算語言學、計算機視覺等多個學科領域,手語識別問題的解決對于表情識別、唇讀、步態(tài)識別、視覺導航、視頻檢索等問題的研究具有積極的借鑒意義.因此,手語識別的研究和實現(xiàn)具有重要的學術價值和廣闊的應用前景.手語識別主要包括手勢的分割、特征提取、跟蹤和識別4個方面,其中手勢分割是手語識別過程中極為關鍵的技術問題,也是提高手語識別率的瓶頸問題,手勢分割的好壞直接影響后續(xù)的手勢特征提取、跟蹤和識別的精度和準確度.

在手勢分割的研究中,近年來國內外許多研究人員提出了多種方法,主要包括約束限制法、模板匹配法、膚色分割法和圖像差分法等.約束限制法是通過佩戴不同顏色的手套,或通過增加手部與背景的對比來強調前景與背景區(qū)別,以簡化手勢區(qū)域與背景區(qū)域的劃分,但這些人為的約束限制了手勢交流的自由性[1-4].模板匹配法是利用手形數(shù)據(jù)庫將手勢圖像與手形數(shù)據(jù)庫中的模板進行比對,這種方法是建立在大量的手形數(shù)據(jù)庫的基礎上,加之手是一個不確定的非剛體,因此比對起來比較困難,計算量也較大,無法滿足實時性要求[5].膚色分割法是根據(jù)膚色在不同顏色空間中的分布特點和膚色的聚類特性來進行手勢分割,這種方法會因為手部不同部位相對光源的角度不同而使膚色受到較大影響[6-10].圖像差分法是將運動的手勢圖像與靜止的背景圖像相減來獲得手勢圖像,這種方法如果不能保證背景圖像和手勢圖像的對應像點在空間上位于同一目標點上時將產生很大誤差[11-12].單獨使用這些方法對于要求快捷、方便、實用的基于視覺的手語識別都具有一定的局限性,都無法精確地描述手勢,嚴重影響了手勢分割的效果.因此本文提出了一種將膚色信息與運動信息相融合的單目視覺手勢分割方法,實驗結果表明,該方法能夠準確有效地進行手勢分割與定位.

1 手勢分割原理

1.1 膚色檢測

1.1.1顏色空間

膚色是人體表面最為顯著的特征之一,是人臉部及手部區(qū)別于其他部分的重要特征,所以常將人體的膚色信息應用于人臉檢測、手勢識別等研究中.研究表明影響膚色變化的最主要因素是亮度,雖然不同人的膚色相差較大,但在去除亮度的顏色空間中膚色具有良好的聚類性[13].因此,為了減少膚色受亮度信息的影響,通常先將顏色空間從RGB顏色空間轉換到某個亮度與色度分離的顏色空間,主要有HSV顏色空間、YUV顏色空間、YCbCr顏色空間、歸一化的RGB顏色空間和CIELab顏色空間等,然后放棄亮度分量,在雙色差平面上將膚色與背景區(qū)分開來[6-10].在這些亮度與色度分離的顏色空間中,YCbCr顏色空間具有與人的視覺感知一致性,在數(shù)字視頻中獲得成功應用,且在Cb-Cr平面上具有較好的聚類性[14],所以本文選擇YCbCr顏色空間.

在YCbCr顏色空間中,亮度信息用單個分量Y表示,彩色信息用兩個色差分量Cb和Cr來存儲,其中Cb分量表示藍色分量和一個參考值的差,Cr分量表示紅色分量和一個參考值的差.彩色分量Y, Cb,Cr可以由R,G,B三基色經(jīng)過線性變換得到,轉換公式為:

1.1.2 膚色模型

膚色模型按像素級進行分類可分為閾值化模型、參數(shù)模型和非參數(shù)模型.由于參數(shù)模型能夠通過內插來擴大不完全的訓練數(shù)據(jù),適合樣本容量較小的訓練和測試數(shù)據(jù)集,本研究根據(jù)膚色樣本容量的特點,對膚色的描述選擇高斯混合參數(shù)模型,其參數(shù)模型表示為[15]:其中:k為高斯密度函數(shù)的個數(shù);權值wi為各個高斯密度函數(shù)對混合模型的貢獻大小;μi為均值向量;Ci為協(xié)方差矩陣;x為膚色像素在YCbCr顏色空間中Cb分量與Cr分量的值.表達式分別為:

1.1.3 膚色判決

膚色判決可采用2種不同的決策方式,一是僅基于膚色模型的決策,二是同時使用膚色和非膚色模型的決策.第2種分類器性能要優(yōu)于第1種分類器性能.本文采用最小總錯誤概率準則來進行膚色的判決,其屬于第2種決策方式.

設總錯誤概率為:

其中:η為判決門限;Pα(η)為虛警概率;Pβ(η)為漏報概率.

1.2 運動目標檢測

運動目標檢測的關鍵是順序從視頻圖像序列的各幀圖像中將變化的運動區(qū)域從背景圖像中提取出來.常用的運動目標檢測方法有光流法、幀間差分法和背景差分法等,光流法是利用運動目標隨時間變化的光流特性來有效地提取和跟蹤運動目標,但是光流法要求相鄰圖像之間的時間間隔非常小,兩幅相鄰圖像之間不發(fā)生顯著變化,而且光流法的計算量非常大,不適合實時的手勢分割.幀間差分法是利用圖像序列中前后幾個相鄰幀之間的差分來提取出圖像中的運動區(qū)域,由于用來差分的圖像時間間隔很短,所以幀間差分法比較適用于存在多個運動目標和攝像機移動的情況,但它不能夠完整地分割出運動目標,而且在運動物體內部容易產生空洞現(xiàn)象,不利于后期的目標分析與識別.背景差分法是在攝像機靜止的條件下的一種運動檢測技術,它能夠提供較完全的特征數(shù)據(jù),并取得比較好的分割效果,綜合性能較好.本文針對室內固定攝像機和背景相對靜止的特點,采用背景差分法,即通過當前手勢圖像與背景圖像相減來獲得手勢運動區(qū)域,從而實現(xiàn)手勢的運動目標檢測.

設f0(x,y)為背景圖像在(x,y)處的灰度值, f1(x,y)為采集到的當前手勢圖像在(x,y)處的灰度值,則差分后圖像d(x,y)在(x,y)處的灰度值可表示為:

其中:T為閾值.閾值的選取與圖像分割的質量有直接關系,如果閾值選取得過低,會導致背景像素能夠越過閾值而被判為運動目標;如果閾值取得過高,也會導致本來屬于前景的運動目標被判為背景像素,使得運動目標出現(xiàn)丟失情況.

設初始閾值為T0,取差分后圖像d(x,y)中灰度值最大的像素點和灰度值最小的像素點,分別記作dmax(x,y)和dmin(x,y),令

根據(jù)公式(8)確定初始閾值T0,依據(jù)初始閾值T0差分后圖像d(x,y)被分割成2個區(qū)域,分別計算這兩部分區(qū)域的像素灰度均值μ1和μ2,則閾值為:

2 手勢分割算法

本文中的手語識別主要用于特殊教育的手語教學中聾啞學生與正常教師之間的交流,對此應用,特做如下假定和限制:1)攝像機靜止;2)背景圖像無變化;3)運動目標不被遮擋.根據(jù)膚色的信息特性和手勢的運動特性,本文將手部的膚色信息和運動信息相融合,提出了一種新的手勢分割方法,具體實現(xiàn)如圖1所示.首先確定初始背景并提取相關的手勢圖像,然后分別進行膚色分割和運動目標分割,再將兩個分割結果進行融合,最后利用形態(tài)學處理方法將手勢完整地分割出來并定位.

圖1 基于單目視覺的手勢分割過程Fig.1 Process of gesture segmentation based on monocular vision

2.1 確定初始背景與提取相關手勢

首先將攝像機位置固定,在開始檢測前,先對包含無運動的目標人在內的背景圖像持續(xù)拍攝一段時間,建立初始背景環(huán)境.然后進行連續(xù)的手語拍攝,根據(jù)手語的動作頻率,設定采樣間隔為10幀,將相關幀的手勢圖像從視頻圖像序列中采集出來.

2.2 手勢圖像分割方法

2.2.1 膚色分割方法

根據(jù)膚色在YCbCr顏色空間的聚類特性,以及膚色在Cb-Cr平面上的分布特點,通過手工采集得到各種包括不同光照、性別、年齡和人種的膚色樣本和非膚色樣本作為訓練和檢驗樣本,利用這些樣本值來訓練和檢驗膚色和非膚色高斯混合參數(shù)模型,然后采用最小總錯誤概率進行膚色判決,最后得到手勢的膚色二值圖像.膚色和非膚色高斯混合參數(shù)模型中包含16個高斯密度函數(shù),采用極大似然估計對均值向量μi和協(xié)方差矩陣Ci進行估計,分別得到膚色和非膚色高斯混合參數(shù)模型的均值向量μi和協(xié)方差矩陣C i的估計值,見表1和表2.

表1 膚色高斯混合參數(shù)模型的參數(shù)估計值表Tab.1 Parameter estimates tab le of color Gaussian m ix turemodel

表2 非膚色高斯混合參數(shù)模型的參數(shù)估計值表Tab.2 Parameter estimates tab le of non-color Gaussian m ix turemodel

根據(jù)最小總錯誤概率準則進行膚色的判決,式 (6)中似然概率P(x|skin)和的分布由膚色和非膚色樣本的高斯混合模型確定,先驗概率P(skin)和由訓練樣本中膚色和非膚色像素數(shù)目比確定:

2.2.2 運動目標分割方法

首先將初始的背景圖像與提取的手勢圖像分別轉換成灰度圖像,然后再將手勢圖像和背景圖像做減法運算,最后得到手勢的運動二值圖像.相減的結果中每個像素的值和一個預先設定的閾值相比較,若該像素的值大于給定的閾值,則認為當前手勢圖像在該像素點1處有運動變化;若該像素的值小于給定的閾值,則認為在該像素點處沒有變化,從而把視頻圖像序列中發(fā)生運動的部分從圖像序列中分割出來.本文采用迭代法來選取閾值,先根據(jù)公式(8)確定初始閾值T0,再按照初始閾值T0將圖像分割成兩個區(qū)域,分別計算這兩部分區(qū)域的灰度均值μ1和μ2,然后按照公式(9)對閾值進行迭代,重復此步驟,直到Ti=Ti+1,即得到所選閾值.

2.3 手勢分割及定位

將分別得到的膚色二值圖像和運動二值圖像相融合,得到二值膚色運動手勢圖像.由于手勢本身存在指間間隙,以及圖像噪聲等干擾,分割后的手勢圖像存在孔洞或孤立的小目標等,并且分割后的圖像邊界也不夠光滑,這對于后續(xù)的手勢特征值的提取會帶來一定的偏差.本文采用形態(tài)學處理方法來消除這些干擾,以及平滑邊界,從而得到最終的手勢圖像.首先在二值膚色運動手勢圖像中提取連通區(qū)域,然后統(tǒng)計出各連通區(qū)域的大小,對于較小的孤立目標通過閾值門限來去除,而對于手勢圖像內部的孔洞則采用形態(tài)學中的閉運算來消除,最后對圖像進行定位,為后續(xù)手勢特征量提取做準備.

3 仿真實驗及結果分析

本文是基于單目正面視覺,手語視頻來源于互聯(lián)網(wǎng)上的《大家學手語》視頻錄像[16],圖像大小為352×288,實驗硬件測試平臺為英特爾奔騰雙核處理器,主頻2.0GH z,內存2GB DDR2的PC機.根據(jù)手語的動作頻率,設定采樣間隔為10幀,圖2為從視頻流中提取出的手勢圖像,分別為視頻流的第27,37,47,57,67,77,87,97,107幀.

圖2 從視頻圖像序列中提取出的手勢圖像Fig.2 Gesture images are ex trac ted from the video image sequence

圖3為手勢分割圖像,其中圖3(a)為初始背景圖像,圖3(b)是第57幀手勢圖像的膚色二值圖像,圖3(c)～圖3(e)分別是第57幀手勢圖像在不同閾值下獲得的手勢運動二值圖像,從圖中可以看出,閾值T的選取對分割效果具有直接影響,當T過小時,如圖3(c)T=4,在提取手勢運動區(qū)域的同時還提取了部分背景區(qū)域;當T較大時,如圖3(e)T= 12,使提取的運動區(qū)域不完整.實驗表明,當閾值T的范圍在(6,10)內取值時,圖像分割的效果都比較理想,因此在算法編程實現(xiàn)時,選用T=8,如圖3 (d)所示.圖3(f)為經(jīng)過形態(tài)學處理后的最終手勢分割與定位圖像.實驗結果表明,采用本文的方法能有效準確地將視頻圖像中的手勢區(qū)域分割出來.

圖3 手勢分割圖像Fig.3 Gestures segmentation images

4 結 論

本文針對單目視覺的手勢分割,在分析膚色信息特征和手勢運動特性的基礎上,提出了一種準確的單目視覺手勢分割方法.通過分析膚色在YCbCr顏色空間的亮度與色度分離的特點和Cb-Cr平面的聚類特性,構建了高斯混合模型,提出了最小總錯誤準則的膚色決策算法,獲得了手勢的膚色區(qū)域.研究了背景圖像與當前手勢圖像的差分特性,采用迭代法獲取手勢分割閾值,得到了手勢的運動區(qū)域.分析了形態(tài)學的腐蝕與膨脹方法,針對手勢分割中產生的孔洞和孤立小目標構建了剔除算法,從而實現(xiàn)了視頻圖像序列中手勢圖像的精確分割與準確定位,為后續(xù)高精度手勢特征提取、手勢跟蹤與手勢識別提供了有力保證.同時,基于單目視覺的手勢分割方法對人臉檢測、步態(tài)識別、人體運動目標檢測等領域的研究也具有重要的實際應用價值.

[1] W ANG Qi,CHEN X i-lin,ZHANG Liang-guo,et a l.Viewpoin tinvariant sign language recognition[J].Computer Vision and Image Understanding,2007,108(1/2):87-97.

[2] DENG JW,TSUI H T.A tw o-step approach based on PaHMM for the recognition of ASL[C]//The Fifth Asian Con feren ce on Computer V ision.M elbou rne,Victoria,Australia:ACCV,2002:126-131.

[3] STARNER T,WEAVER J,PENTLAND A.Real-time A-merican sign language recognition using desk and wearable computer based video[J].IEEE Transations on Pattern Analysisand Machine In telligence,1998,20(12):1371-1375.

[4] H EAP T,HOGG D.Wormholes in shape space:tracking th rough discontinuous changes in shape[C]//Proceedings of the IEEE Com puter Society Conference on Compu ter Vision and Pattern Recognition.Bombay,India:IEEE,1998:344-349.

[5] CUI Yun-tao,JONE JW.V iew-based hand segmentation and hand-sequen ce recognition w ith com plex backgrounds[C]// Proceedings of the IEEE International Conference on Pattern Recognition.Vienna,Austria:IEEE,1996:617-621.

[6] 路凱,李小堅,周金祥.基于膚色和邊緣輪廓檢測的手勢識別[J].北方工業(yè)大學學報,2006,18(3):12-15.

LU Kai,LI Xiao-jian,ZHOU Jin-xiang.H and signal recognition based on skin color and edge outline exam ination[J]. Journal of North China University of Technology,2006,18 (3):12-15.(In Chinese)

[7] 姜威,陳援非,孔勇,等.一種在復雜背景彩色圖像中劃分手部圖像的方法[J].山東大學學報:工學版,2003,33(4):410-412.

JIANG W ei,CHEN Yuan-fei,KONG Yong,et al.A new method for dividing hand image from com plex background[J]. Jou rnal of Shandong University of Technology:Engineering Science,2003,33(4):410-412.(In Chinese)

[8] HABILIN,LIM C C.H and and face segm entation using m otion and color cues in digital im age sequences[C]//P roceedings of IEEE InternationalConference on M ultimedia and Expo.Tokyo,Japan:IEEE Computer Society,2001:377-380.

[9] DU W ei,LI Hua.Vision based gestu re recognition system w ith single camera[C]//5 th In ternational Conference on Signal Processing Proceedings.Beijing,China:IEEE,2000: 1351-1357.

[10]陶霖密,徐光祐.機器視覺中的顏色問題及應用[J].科學通報, 2001,46(3):178-190.

TAO Lin-m i,XU Guang-you.Color problemsand applications in machine vision[J].Chinese Science Bulletin,2001,46(3): 178-190.(In Chinese)

[11]JULIEN L,FRANCOISB.Visual tracking of bare fingers for interactive surface[C]//Proceedings of the 17th Annual ACM Symposium on User Interface Software and Technology.Santa Fe,NM,USA:ACM Press,2004:119-112.

[12]VON HARDENBERG Christian,BERA RD Francois.Barehand human-computer interaction[C]//P roceedings of the 2001W orkshop on Perceptive User Interfaces.O rlando,Florida,USA:ACM Press,2001:1-8.

[13]YANG Jie,ALEXW.A real-time face tracker[C]//P roceedings of the 3rd IEEEW orkshop on Applications of Computer V ision.Sarasota,Floreda:IEEE,1996:142-147.

[14]CHA ID,NGAN K N.Face segm entation using skin-color map in videophone applications[J].IEEE Transactions on Circuitsand Systems for Video Technology,1999,9(4):551 -564.

[15]陳鍛生,劉政凱.膚色檢測技術綜述[J].計算機學報,2006,29 (2):194-207.

CHEN Duan-sheng,LIU Zheng-kai.A su rvey of skin color detection[J].Chinese Journalof Computers,2006,29(2):194 -207.(In Chinese)

[16]葛玉紅.《大家學手語》第7課致謝[EB/OL].(2009-12-23) [2010-01-04].http://www.verycd.com/topics/2788773/.

Monocu lar Vision Gesture Segmentation Based on Skin Color and M otion Detection

CAO Xin-yan1,2,ZHAO Ji-yin1?,LIM in3

(1.Schoo l o f Communication Engineering,Jilin Univ,Changchun,Jilin 130022,China;
2.Schoolo f Electronic and In formation Engineering,Changchun Univ,Changchun,Jilin 130022,China;
3.College of Electromechanicaland Information Engineering,Dalian Nationalities Univ,Dalian,Liaoning 116600,China)

A kind of gesture segmentation method based onmonocular visionwas built for the analysis of the skin color information characteristics and gesturemovements features,w ith which ameaningfulgesture region cou ld beobtained from the video image sequence.For the identified background image,the skin color region of gestureswas captured through the analysisof the skin color information characteristicsw ith a sam pling intervalof 10 frames.A t the same time,themovement region of gestureswas captured through the differencemethod,and then the initialgesture region could be obtained after the fusion of the skin color region and themovement region.The erosion and dilation algorithm ofm athematicalmorphology were further studied,and the gestures segmentation and positioning o f the video image sequence were realized. Theexperiment results have shown that themethod hasagood gesture segmentation results and higher positioning accuracy.

monocu lar vision;gesture segmentation;motion detection;skin color detection;m athematicalmorphology

TP391.41

A

1674-2974(2011)01-0078-06 *

2010-06-03

吉林省科技廳發(fā)展計劃資助項目(20090511);大連民族學院人才引進科技基金資助項目(20086201)

曹昕燕(1973-),女,吉林長春人,長春大學副教授,博士研究生

?通訊聯(lián)系人,E-mail:zhaojiyin2000@163.com