三維人體運動跟蹤中形狀特征表述重建*

周 斌， 馬 玲

(石河子大學 體育學院， 新疆 石河子 832003)

三維人體運動跟蹤中形狀特征表述重建*

周 斌， 馬 玲

(石河子大學 體育學院， 新疆 石河子 832003)

針對在重建三維人體運動跟蹤形狀特征時，人體運動姿態(tài)重建結果與真實值具有較大偏差且不能長時間有效跟蹤的問題，提出基于聯(lián)合優(yōu)化法的三維人體運動跟蹤形狀特征表述重建方法.采用POCS算法將三維人體運動跟蹤中的形狀捕捉問題轉換為正則規(guī)劃問題，實現(xiàn)對三維人體運動跟蹤中的形狀捕捉.采用Bayes理論統(tǒng)計估計方法，將捕捉到的形狀數(shù)學建模問題轉化為目標函數(shù)最大化問題.采用Fisher線性判別分析法對三維人體運動跟蹤中的形狀特征點進行自動定位，利用聯(lián)合優(yōu)化法重建已經定位的形狀特征表述.結果表明，所提方法可以有效捕捉三維人體運動跟蹤中的形狀特征，且重建精度較高，準確性較好.

三維人體； 運動跟蹤； 形狀特征； 表述； 重建； 捕捉； 定位； POCS算法

近年來，人體運動的跟蹤與分析成為了圖像處理與計算機視覺領域中備受關注的研究熱點.可以利用單個或多個攝像機從包含人體運動的圖像序列或視頻中檢測、識別、跟蹤人體，并對其進行理解和描述，且該方面的研究屬于圖像分析領域[1-3].在對人體運動進行跟蹤時，多采用三維方式進行分析.從技術角度而言，對三維人體運動跟蹤進行分析的研究內容相當豐富，主要涉及模式識別、圖像處理、計算機視覺、人工智能及形狀特征表述分析等方面[4-6]，其中，形狀特征表述是該領域亟待解決的問題，受到廣大學者的重視，也出現(xiàn)了很多較好的研究方法.文獻[7]提出基于局部特征的形狀特征描述重建方法，該方法以大規(guī)模圖像集為數(shù)據(jù)源，進行較為精確的重建工作，使重建后的形狀特征描述與原始形狀特征描述相似.文獻[7]對目前的形狀特征進行概述，采用局部特征及匹配特征塊方法，實現(xiàn)對形狀特征描述的重建，但該方法存在重建精度較低的問題；文獻[8]提出基于數(shù)據(jù)驅動的形狀特征表述重建方法，該方法充分利用大量數(shù)據(jù)訓練得到形狀特征信息，估計其信噪比，檢測并標記噪聲污染嚴重的特征，得到魯棒性較好的形狀特征表述參數(shù)，從而實現(xiàn)采用數(shù)據(jù)驅動方法對形狀特征表述進行重建的目的，但是該方法同樣存在重建精度較低的問題；文獻[9]提出基于亞高斯隨機投影的形狀特征表述重建方法，該方法首先給出兩種新型的測量矩陣(稀疏投影矩陣和非常稀疏投影矩陣)，利用亞高斯分布的有界性證明兩種矩陣存在的必要性，同時，利用兩種矩陣的稀疏性簡化重建過程，實現(xiàn)形狀特征表述重建，但該方法存在重建過程耗時過長的問題.

針對上述問題，本文提出基于聯(lián)合優(yōu)化法的三維人體運動跟蹤中的形狀特征表述重建方法，并進行了相關的實驗分析.結果發(fā)現(xiàn)采用該改進方法時，其重建精度和效率均優(yōu)于傳統(tǒng)重建方法.

1 形狀特征分析

1.1 形狀特征的捕捉

在三維人體運動跟蹤中進行形狀捕捉實際上就是對三維圖像序列中的運動模型進行檢測、跟蹤并記錄相應的運動形狀軌跡信息.采用多個攝像機以各種視覺角度對背景連續(xù)采集三維人體運動跟蹤圖像，并建立一個初始背景統(tǒng)計模型[10-11].對背景中像素點的顏色均值和方差進行計算，其計算公式分別為

(1)

(2)

式中：Bi為每個像素點的顏色矩陣；K為圖像數(shù)量.

采用背景減除法提取三維人體運動跟蹤圖像的形狀目標值，其表達式為

(3)

式中：Q(x，y)為圖像前景灰度值；B(x，y)為圖像背景灰度值；L為閾值.

當采用簡單背景減除法提取形狀目標時，在檢測結果中發(fā)現(xiàn)含有大量噪聲干擾.為了正確捕捉三維人體運動跟蹤中的形狀特征，采用基于修正邊緣的背景減除法去除噪聲，此時形狀目標值的相應表達式為

(4)

式中：t0為噪聲周期；t(x)為噪聲所在頻段；A為圖像背景尺度信息.

假設已知Z是由三維人體運動跟蹤圖像樣本集訓練得到的一個數(shù)據(jù)集合，則圖像在數(shù)據(jù)集合Z下的稀疏表示定義式為

E(x，y)=αZ

(5)

式中，α為稀疏表示系數(shù).

采用POCS算法將三維人體運動跟蹤中的形狀捕捉問題轉換為正則規(guī)劃問題進行求解，則正則規(guī)劃函數(shù)可以表示為

(6)

實現(xiàn)三維人體運動跟蹤中的形狀捕捉后得到優(yōu)化目標函數(shù)，其表達式為

(7)

式中：gr為r時刻采集的圖像梯度值；Dr為r時刻的投影算子；Hr為r時刻的采集速度；Mr為r時刻采集圖像的質量；f為像素總數(shù)；λ為圖像采集系數(shù)；γ為采樣矩陣.

1.2 形狀特征數(shù)學模型的構建

在對三維人體運動跟蹤中的形狀特征進行捕捉的基礎上，采用Bayes理論統(tǒng)計估計方法對三維人體運動跟蹤中形狀特征的數(shù)學模型進行構建.圖1為人體骨架模型，該模型共有25個自由度，各個子節(jié)點坐標系與父節(jié)點坐標系之間的關系可以表示為

I=T(tx，ty，tz)RxRyRz

(8)

式中：I為父節(jié)點坐標；Rx、Ry和Rz分別為x、y和z軸方向的子節(jié)點坐標；T(tx，ty，tz)為根節(jié)點到坐標系原點的位移.

圖1 人體骨架模型

圖1中Q0～Q9為人體骨架中不同身體結構的坐標點；q1～q30為不同三維坐標點；TRHR、TRKH和TRFA分別表示右臀部到根節(jié)點的初始平移，右膝蓋到右臀節(jié)點的初始平移和右腳部到右踝部的初始平移.

采用Bayes理論統(tǒng)計估計方法將對三維人體運動跟蹤中形狀特征數(shù)學模型的構建問題轉化為圖像估計問題，即目標函數(shù)最大化問題.根據(jù)Bayes理論統(tǒng)計估計方法得到的條件概率表達式為

(9)

式中，P(·)為圖像概率密度函數(shù).

三維人體運動跟蹤中形狀特征的數(shù)學模型表達式為

d(x，y))+Vk[x，y]

(10)

2 形狀特征表述重建方法的改進

2.1 形狀特征點的自動定位

在建立三維人體運動跟蹤形狀特征數(shù)學模型的基礎上，采用Fisher線性判別分析法對三維人體運動跟蹤中的形狀特征點進行自動定位.假設三維人體運動跟蹤中形狀特征鄰域為某一矩陣，則對應的卷積函數(shù)可以表示為

(11)

采用Fourier變換法對三維人體運動跟蹤中的形狀特征噪音進行消除，從而減少高頻分量.假設圖像函數(shù)經過Fourier變換后可表示為F(x，y)，且H(x，y)為低通濾波的轉移函數(shù)，G(x，y)為經過低通濾波后圖像的Fourier頻譜函數(shù)，則

G(x，y)=H(x，y)F(x，y)

(12)

(13)

此外，不同樣本的類內離散度矩陣Si和總類內離散度矩陣S可以分別表示為

(14)

S=S1+S2

(15)

(16)

經過投影后同類形狀特征應該盡可能聚集，而不同類形狀特征應該盡可能分開，從而使得類內離散度變小，而類間離散度變大.Fisher線性判別準則可以表示為

(17)

QSe-QSc

(18)

式中：Q為大于0的常數(shù)；W為權值系數(shù)；Aij為圖像背景尺度的特征向量；Se為權值矩陣H的類內差距；Sc為權值矩陣H的類間差距.

2.2 改進重建方法的實現(xiàn)

(19)

式中：F(Θ)為基本矩陣函數(shù)；R(q)為q波段下相機參數(shù)向量；T為時間向量.

修正后的坐標最小化目標函數(shù)可以表示為

(20)

式中，ρ為圖像特征點密度.

假設變化所需樣本的最小數(shù)量為Nh，為了獲取準確的形狀特征表述，需要至少進行Ns次迭代，則最終三維人體運動跟蹤中圖像輪廓特征變量可以表示為

(21)

式中：ξ為特征外點率；p為常數(shù).

為了防止在重建過程中產生高斯噪聲，利用硬閾值法對形狀特征表述進行降噪處理，即

θ(b+1)=ψΔx(b+1)

(22)

(23)

式中：θ(b+1)(n)為差別閾值θ(b+1)的第n個元素；ψ為小波稀疏基；Δx(b+1)為絕對閾值；η(b+1)為門限值.

(24)

綜上所述，在對三維人體運動跟蹤形狀特征點進行自動定位的基礎上，可以采用聯(lián)合優(yōu)化法對三維人體運動跟蹤中的形狀特征表述進行重建，但需要進行實驗對比分析.

3 結果與分析

3.1 實驗參數(shù)設置

為了驗證改進形狀特征表述重建方法在三維人體運動跟蹤中的有效性及可行性，需要進行實驗對比分析.實驗設備包括6個校準相機和兩個采集卡.實驗采樣率為30幀/s，采樣圖像像素分辨率為320×240.在Matlab2010環(huán)境下(并未進行代碼優(yōu)化和并行處理)，采用背景減法提取人體輪廓.運動者的運動空間為2m×2m×2m，將該空間劃分成尺寸為2cm×2cm×2cm的子空間.采用改進方法得到三維運動跟蹤中的形狀特征，初始化時間為120ms.實驗中約3/5的時間消耗在特征表述重建上，剩余時間用于特征處理及特征表述的獲取.Michoud硬件系統(tǒng)選用4個標定相機，且由一臺計算機控制.

3.2 實驗結果

3.2.1 不同方法下的相關性對比

采用稀疏隨機投影法[9]、基于局部特征重建法(代數(shù)法)[7]與改進重建法進行對比分析，結果如圖2所示.

圖2 不同方法下的相關性對比

在三維人體運動跟蹤中可以根據(jù)追蹤動態(tài)時間下的振動情況判定跟蹤人體運動情況，若出現(xiàn)較大波動，則表明運動幅度較大.將不同方法的測試結果與原數(shù)據(jù)進行對比，若振型相同，則表示方法準確，此時與具體振動幅度無關.由圖2可見，當采用稀疏隨機投影法、基于局部特征重建法與改進重建法進行分析時，在0～100 s范圍內利用不同方法獲得的振動情況均不低于三維人體運動跟蹤原數(shù)據(jù)，但在100～220 s時間段內，利用不同方法獲得的振動情況差別較為明顯.觀察圖2可知，采用改進重建法進行采樣時并未破壞圖像譜間的相關性結構，改進重建法觀測向量的譜間相關性與三維人體運動跟蹤圖像保持了良好的一致性，這與理論推導出的結果相一致.當利用改進重建法進行重建時，能夠充分利用三維人體運動跟蹤數(shù)據(jù)具有的較強譜間相關性特點，將數(shù)據(jù)整合到重建模型中，因而可以增加重建性能，可見改進重建法具有一定的優(yōu)勢.

3.2.2 不同方法的相關收斂性對比

為了驗證本文所提方法的收斂性，在人體運動過程中抓拍某一特性動作作為待處理的原始圖像，具體圖像如圖3所示.

圖3 原始圖像

利用本文所提改進重建法、基于局部特征重建法和稀疏隨機投影法進行三維人體形狀特征重建.通過測試不同方法重建目標后的三維像素點，描繪不同圖像測定結果的三維重建圖像，實現(xiàn)性能對比分析.不同方法下的形狀特征表述重建對比如圖4所示，其中Lx、Ly、Lz分別代表不同方向的像素值.由圖4可見，稀疏隨機投影法和基于局部特征重建法出現(xiàn)了手臂動作形狀重建表述錯誤或是手臂高抬角度錯誤的問題.當采用改進重建法時，該方法對手臂前后順序、高抬角度和手臂動作等形狀特征的表述均較為準確，精度較高，因而具有一定的優(yōu)勢.

4 結 論

針對傳統(tǒng)方法對三維人體運動跟蹤中的形狀特征進行重建時精度較低的問題，本文在對形狀特征點進行自動定位的基礎上，提出基于聯(lián)合優(yōu)化法的形狀特征表述重建方法，并進行了相關實驗分析.結果表明，所提出的改進重建法相比傳統(tǒng)方法具有更高的準確性，且重建精度較高.

圖4 不同方法下的形狀特征表述重建對比

[1]李敏，宋曰聰，吳斌，等.基于Beowulf機群中改進粒子濾波的3D人體運動跟蹤 [J].計算機工程與應用，2015，51(14)：17-22.

(LI Min，SONG Yue-cong，WU Bin，et al.Three-dimension human motion tracking based improved particle filter on Beowulf cluster system [J].Computer Engineering and Applications，2015，51(14)：17-22.)

[2]趙軍，於俊，汪增福.基于改進逆向運動學的人體運動跟蹤 [J].智能系統(tǒng)學報，2015，24(4)：548-554.

(ZHAO Jun，YU Jun，WANG Zeng-fu.Human motion tracking based on an improved inverse kinematics [J].CAAI Transactions on Intelligent Systems，2015，24(4)：548-554.)

[3]楊凱，魏本征，任曉強，等.基于深度圖像的人體運動姿態(tài)跟蹤和識別算法 [J].數(shù)據(jù)采集與處理，2015，30(5)：1043-1053.

(YANG Kai，WEI Ben-zheng，REN Xiao-qiang，et al.Depth image based human motion tracking and recognition algorithm [J].Journal of Data Acquisition & Processing，2015，30(5)：1043-1053.)

[4]張殿勇，苗振江.基于模型的無標識人體運動捕捉研究 [J].北京交通大學學報，2014，38(2)：42-49.

(ZHANG Dian-yong，MIAO Zhen-jiang.Research on model-based markerless human motion capture [J].Journal of Beijing Jiaotong University，2014，38(2)：42-49.)

[5]陳曦，孟慶虎.骨架關節(jié)點跟蹤的人體行為識別方法 [J].河南科技大學學報，2015，26(2)：43-48.

(CHEN Xi，MENG Qing-hu.Human behavior recognition method for skeleton joint point tracking [J].Journal of Henan University of Science & Technology，2015，26(2)：43-48.)

[6]李平，魏仲慧，何昕，等.采用多形狀特征融合的多視點目標識別 [J].光學精密工程，2014，22(12)：3368-3376.

(LI Ping，WEI Zhong-hui，HE Xin，et al.Object recognition based on shape feature fusion under multi-views [J].Optics and Precision Engineering，2014，22(12)：3368-3376.)

[7]馮霞，秦昆，崔衛(wèi)紅，等.高分辨率遙感影像目標形狀特征多尺度描述與識別 [J].遙感學報，2014，18(1)：90-104.

(FENG Xia，QIN Kun，CUI Wei-hong，et al.Multiscale description and recognition of target shape in high-resolution remote sensing images [J].Journal of Remote Sensing，2014，18(1)：90-104.)

[8]劉璇，李海生，蔡強，等.三維形狀特征提取技術研究進展 [J].計算機科學與探索，2014，8(5)：513-524.

(LIU Xuan，LI Hai-sheng，CAI Qiang，et al.Review of 3D shapes feature extraction [J].Journal of Frontiers of Computer Science and Technology，2014，8(5)：513-524.)

[9]崔寶俠，田佳，段勇，等.基于圖論分割的肺部CT圖像的三維重建 [J].沈陽工業(yè)大學學報，2015，37(6)：667-672.

(CUI Bao-xia，TIAN Jia，DUAN Yong，et al.Three-dimensional reconstruction of lung CT images based on graph theory segmentaion [J].Journal of Shenyang University of Technology，2015，37(6)：667-672.)

[10]朱延娟，倪周松.基于離散點曲率的細胞圖像形狀特征表述 [J].計算機應用，2015(增刊2)：267-270.

(ZHU Yan-juan，NI Zhou-song.Description of shape feature for cell image based curvature of discrete points [J].Journal of Computer Applications，2015(Sup2)：267-270.)

[11]郭鵬宇，蘇昂，張紅良，等.結合紋理和形狀特征的在線混合隨機樸素貝葉斯視覺跟蹤器 [J].光學學報，2015，31(3)：195-205.

(GUO Peng-yu，SU Ang，ZHANG Hong-liang，et al.Online mixture of random Naive Bayes tracker com-bined texture with shape feature [J].Acta Optica Sinica，2015，31(3)：195-205.)

(責任編輯：尹淑英 英文審校：尹淑英)

Reconstruction for shape feature representation in 3D human motion tracking

ZHOU Bin, MA Ling

(College of Physical Education, Shihezi University, Shihezi 832003, China)

Aiming at the problem that during the reconstruction of shape feature in the 3D human body motion tracking, the reconstruction results of human motion postures compared with the real values have a large deviation and the effective tracking for a long term can not be realized, a reconstruction method for shape feature representation in 3D human body motion tracking based on the combined optimization method was proposed. The shape capture problem in 3D human body motion tracking was transformed into the regular programming problem with the POCS algorithm, and thus the shape capture problem in 3D human body motion tracking could be realized. The statistical estimation method of Bayes theory was adopted, and the captured shape mathematical modeling problem was transformed into the objective function maximization problem. With the Fisher linear discriminate analysis method, the shape feature points in 3D human body motion tracking were automatically located, and the located shape feature representation was reconstructed with the combined optimization method. The results show that the proposed method can effectively capture the shape feature in 3D human body motion tracking, and has high reconstruction precision and good accuracy.

3D human body; motion tracking; shape feature; representation; reconstruction; capture; localization; POCS algorithm

2016-11-12.

“十二五”規(guī)劃重點課題資助項目(01020433-XJ1512).

周 斌(1981-)，男，甘肅蘭州人，講師，碩士，主要從事運動訓練與人體工程學等方面的研究.

10.7688/j.issn.1000-1646.2017.03.18

TP 391.4

A

1000-1646(2017)03-0340-06

*本文已于2017-05-08 20∶25在中國知網優(yōu)先數(shù)字出版. 網絡出版地址： http：∥www.cnki.net/kcms/detail/21.1189.T.20170508.2025.018.html