基于人體動態(tài)特征的三維服裝虛擬試穿技術(shù)

黎博文，王 萍，劉玉葉

(東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院，上海 201620)

隨著人們生活水平的提高，高品質(zhì)、個性化的現(xiàn)代時尚需求促進(jìn)了服裝定制產(chǎn)業(yè)的發(fā)展,同時，線上購物改變了人們消費模式。在線消費服飾與線下實體店購買方式的最明顯區(qū)別是，顧客在線上購買時缺乏服裝試穿的個性化體驗與實時交互，而顧客自身的體驗感與合適程度是促成購買意愿的重要因素。如今，隨著5G通信、人工智能AI、物聯(lián)網(wǎng)IOT等信息技術(shù)的高速發(fā)展，特別是5G高清視頻通信網(wǎng)絡(luò)、AR/VR虛擬技術(shù)與服裝產(chǎn)業(yè)間的緊密結(jié)合，促進(jìn)了服裝虛擬試穿系統(tǒng)的發(fā)展，通過提供個性化的虛擬服裝模型貼合在人體身上，實現(xiàn)了便捷試穿的功能，在一定程度上改善了試衣過程的體驗感。

現(xiàn)有的虛擬試穿技術(shù)總體上可分為2種:基于二維平面的與基于三維空間的?；诙S平面的方法是以二維服裝圖片進(jìn)行姿態(tài)特征轉(zhuǎn)換來完成的[1-2]，但該方法缺乏試穿的三維立體效果[3]。服裝制造過程采用三維量體掃描儀采集全部的人體尺寸數(shù)據(jù)，并與三維服裝EDA仿真工具[4-5]結(jié)合，展現(xiàn)立體試穿效果，精度高，但設(shè)備昂貴、效率低。

三維虛擬試穿系統(tǒng)可分為2類，一種采用基于高精度數(shù)據(jù)建模的虛擬人體模特進(jìn)行服裝虛擬試穿，代表性產(chǎn)品諸如：印度Fitiquette公司、美國FaceCake Marketing Technologies公司開發(fā)的虛擬試衣鏡，國內(nèi)摩登大道公司的邁思體感魔鏡等[6]。上述產(chǎn)品將三維服裝模型映射到虛擬模特上。新加坡通信研究院的Yuan等[7]提取真實用戶面部頭像與三維虛擬人體模特結(jié)合。然而，虛擬人體模型-服裝模型逐點賦值的跟蹤方法效率低、數(shù)據(jù)處理量大、真實感較差。

另一種采用微軟Kinect體感攝像頭，通過基于RGB-D(灰度、深度)圖像感知數(shù)據(jù)實現(xiàn)人體運動跟蹤和三維虛擬服裝建模，具有低成本、實時性的優(yōu)勢，因此成為國內(nèi)外研究的熱點。Yousef等[8]基于Kinect人體骨骼點模型和服裝錨點位置迭代估計，修正三維服裝模型實現(xiàn)對真實人體的短裙虛擬試穿,但該文獻(xiàn)沒有展現(xiàn)試衣過程中服裝隨著人體運動姿態(tài)變化的動態(tài)形變。最近國內(nèi)薛靜雅[6]、李濤等[9]、萬燕等[10]人，采用Avatar骨骼控制方法實現(xiàn)動態(tài)試穿，但該方法跟蹤精度較低，服裝對人體的面料覆蓋率較差。

本文提出利用Kinect骨骼點模型并融合人體特征數(shù)據(jù)構(gòu)建了三維服裝骨骼點分層模型，以增強(qiáng)虛擬服裝模型對人體運動姿態(tài)跟蹤。同時，設(shè)計了分層迭代GL-SVD算法控制人體運動過程中三維服裝模型的整體定位和局部跟蹤，實現(xiàn)三維服裝模型-真實人體之間動態(tài)、實時的協(xié)同跟蹤與高精度匹配。

1 三維服裝骨骼點分層特征模型

人體運動主要通過脊柱和關(guān)節(jié)帶動軀干運動和四肢聯(lián)動，本文首先以脊柱軀干和四肢區(qū)分整體與局部骨骼點的運動特征，以便更加精確匹配人體姿態(tài)變化的復(fù)雜特征，并基于此建立三維服裝骨骼點分層模型。在人體運動過程中，保持服裝骨骼點特征與人體骨骼點特征一一對應(yīng)的動態(tài)匹配關(guān)系，就可使服裝模型跟隨人體進(jìn)行整體定位與局部變化。

基于Kinect體感設(shè)備采集的人體骨骼模型數(shù)據(jù)，定義：人體動態(tài)特征點集合X{X1，X2}包括2個子集，如圖1所示。其中，子集X1(紅色)是人體整體動態(tài)特征點集，包括：左肩，右肩，脊柱中心，左髖骨，右髖骨，髖骨中心等關(guān)節(jié)。X2(綠色)是人體局部動態(tài)特征點集，包括左肘、右肘、左腕、右腕、左膝蓋、右膝蓋、左踝、右踝等關(guān)節(jié)。

圖1 Kinect人體骨骼點模型

同理，服裝動態(tài)特征點集合Y{Y1,Y2}，如圖2所示。其中，子集Y1(紅色)為服裝整體動態(tài)特征點集，Y2(綠色)為服裝局部動態(tài)特征點集。

圖2 服裝骨骼點模型

同時，依據(jù)人體截面橢圓模型[11]以及Kinect體感設(shè)備感知的數(shù)據(jù)可計算擬合出人體圍度尺寸。人體圍度值即橢圓周長的計算公式如下：

式中：L為橢圓周長,cm;a和b分別為橢圓的半長軸和半短軸,cm?；贙inect采集的人體信息RGB等特征數(shù)據(jù)，通過遍歷圍度截面的像素點可獲得橢圓的半長軸a和半短軸b。表1示出實驗中男、女模特單人的圍度特征計算數(shù)據(jù)示例。

表1 個性化人體圍度特征

2 三維服裝動態(tài)特征協(xié)同跟蹤

在人體運動過程中，三維服裝模型的形變控制體現(xiàn)于特征點Y與X的空間位置變化跟蹤，以及特征點間關(guān)聯(lián)運動矢量的伸縮形變跟蹤,因此，本文動態(tài)特征協(xié)同跟蹤的思想包括2個方面：其一、整體與局部特征點的定位跟蹤，其二、關(guān)聯(lián)運動矢量的同步縮放和轉(zhuǎn)動。

特別地，本文提出基于整體-局部迭代分層擬合的GL-SVD分解算法，以優(yōu)化運動過程中協(xié)同跟蹤精度與實時性。最后，采用四元數(shù)[5]和人體深度特征[6]控制關(guān)聯(lián)矢量的變換。

2.1 服裝整體定位

在三維空間中，2個點集之間的坐標(biāo)配準(zhǔn)可表示成旋轉(zhuǎn)加平移的變換，即利用旋轉(zhuǎn)和平移矩陣來實現(xiàn)。在X1和Y1中提取特征點的坐標(biāo)構(gòu)建矩陣A和B，分別表示人體和服裝的整體動態(tài)特征點坐標(biāo)，矩陣B到A的轉(zhuǎn)換可表示成以下變換公式：

A=R×B+T

式中:R為旋轉(zhuǎn)矩陣;T為平移矩陣。通過上述變換公式，矩陣B和A建立起了對應(yīng)關(guān)系，B可變換成A。

本文通過對矩陣B和A的協(xié)方差矩陣H進(jìn)行奇異值分解(SVD)來求解R和T矩陣，H表示A與B的坐標(biāo)相關(guān)性，即人體與服裝模型位置坐標(biāo)的相關(guān)性矩陣，通過對相關(guān)性矩陣進(jìn)行分解找到矩陣B到A坐標(biāo)系的映射關(guān)系，SVD算法的相關(guān)計算公式如下：

2.2 服裝局部跟蹤

通過SVD算法計算局部特征點的預(yù)測坐標(biāo)，針對誤差較大的局部特征點，采用骨骼點間歐式距離的約束和誤差閾值來優(yōu)化跟蹤精度。以手臂關(guān)節(jié)為例，手肘與肩部骨骼點的預(yù)測間距為dp，計算公式如下：

式中：(x1,y1,z1)與(x2,y2,z2)分別為手肘和肩部骨骼點預(yù)測坐標(biāo)。同理，手肘與肩部骨骼點的真實間距以dt表示，dp與dt的差值公式如下：

d(p,t)=|dp-dt|

式中，d(p,t)表示dp與dt的差值。定義相對跟蹤誤差M，表示骨骼點預(yù)測間距和真實間距的差值與骨骼點跟蹤前后間距的比值，計算公式如下：

式中，d(t-1,t)為手肘骨骼點跟蹤前后的間距。設(shè)定跟蹤誤差閾值M0，當(dāng)M大于M0時，迭代計算矩陣R、T來優(yōu)化相對跟蹤誤差M。

2.3 動態(tài)特征協(xié)同跟蹤迭代方法

圖3示出基于GL-SVD算法的動態(tài)特征協(xié)同跟蹤方法。相對于傳統(tǒng)SVD算法，新方法基于分層特征的迭代思想，精度更高。通過優(yōu)化跟蹤誤差閾值M0可控制算法的迭代次數(shù)，在擬合精度和實時性性能之間平衡。

圖3 基于GL-SVD算法的協(xié)同跟蹤

2.4 關(guān)聯(lián)運動矢量同步縮放與旋轉(zhuǎn)

根據(jù)如圖4所示投影成像原理，三維物體到二維平面的垂直距離與二維平面上成像的大小保持著一定的比例關(guān)系。

圖4 投影成像示意圖

圖中：St-1和Et-1分別為前一幀的人體寬度值和深度值;St和Et為當(dāng)前幀的人體寬度值和深度值。本文以比例關(guān)系建立人體深度特征I，如下式所示：

I=St-1×Et-1=St×Et

深度值Et為人體到成像平面的垂直距離，通過Kinect感知可得深度值數(shù)據(jù)。當(dāng)人體前后運動視場遠(yuǎn)近不同時，利用人體深度特征可對服裝模型進(jìn)行尺寸縮放。

在人體姿態(tài)和位置的改變過程中，通過矩陣旋轉(zhuǎn)的四元數(shù)可表示姿態(tài)轉(zhuǎn)動的變化，而且性能穩(wěn)定。四元數(shù)q可表示為

式中:(x,y,z)=u為單位向量旋轉(zhuǎn)軸;θ為旋轉(zhuǎn)角度，表示三維空間中的某個點繞單位向量旋轉(zhuǎn)軸u旋轉(zhuǎn)θ角度，如圖5所示。

圖5 四元數(shù)旋轉(zhuǎn)示意圖

3 測試與分析

3.1 實驗環(huán)境配置

實驗環(huán)境由PC端和Kinect體感設(shè)備構(gòu)成，PC端硬件配置為：Windows 10操作系統(tǒng)，i7-9700 3.00 GHz處理器，16 GB內(nèi)存，GTX 1050ti顯卡，軟件配置為：maya三維建模軟件，unity3d交互演示工具。測試視頻的幀率為15幀/s。本文設(shè)計的虛擬試穿系統(tǒng)原理圖如圖6所示。

圖6 虛擬試穿系統(tǒng)原理圖

測試過程中，試衣者可任意擺姿勢或者行走移動，由體感設(shè)備實時攝錄視頻。動態(tài)虛擬試穿過程變換多種場景測試試穿效果，包括連續(xù)更換動作、前后左右快速移動、嘗試復(fù)雜的姿態(tài)變化、遮擋部分身體等等。

3.2 虛擬試穿測試場景與效果比測

基于本文設(shè)計的虛擬試穿系統(tǒng)開展了多種場景的個性化虛擬試穿對比實驗，男、女試衣者的個性化人體圍度尺寸數(shù)據(jù)見表1。

不失一般性，測試嘗試了短袖上衣、無袖上衣、長連衣裙、抹胸裙、長褲、七分褲、五分褲等多種款式和類型的服裝模型，試驗了站立、蹲下、前后抬腿、側(cè)向抬腿、T字型姿勢、手臂彎曲姿勢、叉腰姿勢、弓步姿勢等多種姿態(tài)。鑒于篇幅有限，本文給出測試場景如表2所示，包括衣、褲、裙3類典型服裝類型和男、女不同試衣者的6種人體姿態(tài)。圖7、8和9示出本文算法的視頻虛擬試穿測試效果的截圖。為方便對比測試，表2中的場景1和場景5參考了文獻(xiàn)[6，10]中人體姿態(tài)與服裝類型，其采用Avatar(化身)骨骼控制方法進(jìn)行虛擬試穿所得的測試效果圖如圖10所示。

表2 虛擬試穿場景

對比圖7(b)與圖10(a)以及對比圖9(b)與圖10(b)可見，Avatar方法顯示了較大的服裝位置偏差，而本文提出的基于GL-SVD協(xié)同跟蹤方法能夠?qū)崟r跟隨人體姿態(tài)的變化，服裝模型對身體的覆蓋率更高，可適用的服裝類型和人體姿態(tài)類型更豐富，動態(tài)試穿效果測試表現(xiàn)良好。

圖7 抬腿姿態(tài)試穿效果

圖8 弓步姿態(tài)試穿效果

圖9 上身姿態(tài)試穿效果

圖10 文獻(xiàn)中Avatar方法試穿效果

3.3 實驗數(shù)據(jù)分析

3.3.1 優(yōu)化動態(tài)跟蹤精度與實時性

跟蹤誤差閾值M0影響動態(tài)特征點跟蹤的精度和實時性。以跟蹤手腕動態(tài)特征為例，通過對6組情況下的閾值M0開展對比實驗，取10次跟蹤過程的均值誤差和迭代時間作為每組實驗的平均值。圖11示出相對跟蹤誤差和迭代計算時間分別隨閾值M0變化的結(jié)果。

圖11 跟蹤精度和實時性分析

根據(jù)圖中可知，M隨著M0的增加而增加，T隨著M0的增加而減少，為了保證高精度和更少的迭代時間，取跟蹤誤差閾值M0=15%作為最優(yōu)值。

3.3.2 人體動態(tài)跟蹤精度對比

以人體軀干特征點的動態(tài)跟蹤精度為例，將本文提出的基于GL-SVD協(xié)同跟蹤方法與文獻(xiàn)[6，9-10]采用的Avatar骨骼控制方法進(jìn)行對比研究，結(jié)果如圖12所示。

研究表明，相較于Avatar方法，本文提出的基于GL-SVD協(xié)同跟蹤方法相對跟蹤誤差M減小約10%，跟蹤精度得以明顯提升，具有快速、準(zhǔn)確的性能優(yōu)勢，因此能保證服裝模型動態(tài)跟蹤的實時性和精度需求，提升了虛擬試穿的真實體驗。

4 結(jié) 論

本文提出了一種面向人體動態(tài)特征跟蹤的三維服裝骨骼分層模型來區(qū)分人體不同部位的運動特征，并設(shè)計了一種基于整體-局部迭代GL-SVD算法的協(xié)同跟蹤方法分層控制三維服裝骨骼模型，從而實現(xiàn)對人體姿態(tài)的動態(tài)跟蹤與擬合?；贙inect體感視頻交互環(huán)境，通過對多種虛擬試穿場景的試驗和性能對比，新的三維動態(tài)虛擬試穿技術(shù)相對跟蹤誤差降低約10%以上，能夠達(dá)到實時、動態(tài)的試穿效果，明顯提升了服裝試穿的個性化體驗，可適用于多種服裝類型和連續(xù)動態(tài)的人體姿態(tài)變化，具有一定的泛用性和魯棒性。未來將嘗試研究更多復(fù)雜的服裝式樣類型，促進(jìn)低成本三維虛擬試穿智能系統(tǒng)的應(yīng)用與發(fā)展。

FZXB