深度學(xué)習(xí)實時多人姿態(tài)估計與跟蹤

許忠雄,張睿哲,石曉軍,岳貴杰,劉弋鋒*

(1. 中國電子科學(xué)研究院，北京 100041；2.電子科技大學(xué)，成都 610041；3.中國電子科技集團有限公司，北京 100846)

0 引 言

基于計算機視覺的人體姿態(tài)估計是從單張RGB圖像上獲取人體骨點位置以及骨點之間的相互連接。人體姿態(tài)估計在智能監(jiān)控[1]、人機交互[2]以及手勢識別[3]等領(lǐng)域有著廣闊的應(yīng)用前景。然而，人體姿態(tài)估計的研究面臨許多挑戰(zhàn)，如圖像中人數(shù)通常無法預(yù)先確定，多人情況下出現(xiàn)人體相互遮擋等。隨著人數(shù)的增加，算法的運行效率也面臨巨大的挑戰(zhàn)。在深度學(xué)習(xí)被廣泛應(yīng)用之前，圖結(jié)構(gòu)(Pictorial Structures)模型[4]被廣泛應(yīng)用于人體姿態(tài)估計，其將人體肢體視為組成人體的組件，通過人工指定的圖像特征檢測組件實現(xiàn)人體姿態(tài)估計。基于圖結(jié)構(gòu)的模型精度不高，且難以擴展到多人姿態(tài)估計。深度學(xué)習(xí)算法的提出，給人體姿態(tài)估計提供了一種新的思路，部分研究者開始嘗試用深度學(xué)習(xí)方法進行多人姿態(tài)估計。目前多人姿態(tài)估計主要有兩種思路，一種是基于自頂向下的算法[5-9]，先從圖像中檢測出所有人，隨后利用單人姿態(tài)估計的方法[10-11]對所有人進行姿態(tài)估計。自頂向下算法的缺點是算法運行效率隨著人數(shù)增加而降低，且部分被遮擋的人無法被檢測，精度不高。另一種是基于自底向上的算法[12-13]，先檢測出所有人的骨點，再將骨點進行連接形成圖，最后通過圖優(yōu)化的方法剔除錯誤的連接，實現(xiàn)多人姿態(tài)估計。自底向上算法的優(yōu)點是運行時間不隨人數(shù)增加而線性增加，更有利于實時多人姿態(tài)估計。本文多人姿態(tài)估計是基于自底向上的方法，提出一種六階段雙分支的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可同時獲得骨點位置以及骨點之間的連接置信度，有效稀疏骨點連接圖，提高算法運行效率。對于骨點連接置信度，提出骨點之間的親和區(qū)域，通過在親和區(qū)域上的線性積分計算骨點連接置信度。

1 多人姿態(tài)估計

對于一張輸入圖像，深度神經(jīng)網(wǎng)絡(luò)同時預(yù)測出每個骨點的熱力圖S=(S1,S2,…,SJ)和骨點之間的親和區(qū)域L=(L1,L2,…,LC)。熱力圖的峰值為骨點的位置，骨點相互連接構(gòu)成二分圖，親和區(qū)域?qū)D的連接進行稀疏，最后對二分圖進行最優(yōu)化實現(xiàn)多人姿態(tài)估計。

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

如圖1所示，整體網(wǎng)絡(luò)架構(gòu)為六階段雙分支，上分支負責(zé)預(yù)測骨點位置，下分支負責(zé)預(yù)測骨點之間的親和區(qū)域。前一階段的預(yù)測結(jié)果融合原有圖像特征并作為下一階段的輸入，經(jīng)過多階段的操作以提高骨點預(yù)測精度。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

圖像特征采用VGG-19模型進行提取，并用符號F表示圖像特征。在第一階段，網(wǎng)絡(luò)以F作為輸入，輸出骨點熱力圖S1=ρ1(F)和骨點之間的親和區(qū)域L1=φ1(F)，其中ρ1和φ1為網(wǎng)絡(luò)的映射函數(shù)，其本質(zhì)是一系列的卷積操作。在第一階段，對于輸入特征采用3×3大小的卷積核連續(xù)進行三次卷積，之后用1×1大小的卷積核連續(xù)進行三次卷積。之后的階段將前一階段的預(yù)測結(jié)果和原圖像特征F進行融合，作為當前階段的輸入，經(jīng)過卷積操作分別預(yù)測出骨點熱力圖和親和區(qū)域：

St=ρt(F,St-1,Lt-1),?t≥2

(1)

Lt=φt(F,St-1,Lt-1),?t≥2

(2)

其中ρt和φt分別表示現(xiàn)階段t的卷積操作，先用大小為7×7的卷積核連續(xù)進行五次卷積操作，之后用大小為1×1的卷積核連續(xù)兩次卷積操作，最終輸出本階段的骨點熱力圖和親和區(qū)域。

由于骨點熱力圖和親和區(qū)域本質(zhì)有所不同，因此在訓(xùn)練的時候需要分別對骨點位置和親和區(qū)域進行監(jiān)督, 損失函數(shù)均采用L2損失。為了避免梯度消失現(xiàn)象發(fā)生，在每個階段的輸出都添加損失函數(shù)，起到中繼監(jiān)督作用。另外在樣本標注的時候，會存在行人漏標等情況對損失函數(shù)造成影響，因此需要對損失函數(shù)在各個位置進行掩膜操作。于是，對于骨點位置和親和區(qū)域的損失函數(shù)形式如下：

1.2 骨點熱力圖

骨點熱力圖是衡量骨點在圖像某位置出現(xiàn)的置信度，由一系列二維的點組成，每個點表示骨點出現(xiàn)在該位置的置信度，骨點最終位置定義為置信度最高的位置。對于圖像中只有一個人的情況，則某一類型可見的骨點在熱力圖中只有一個峰值。對于多人情況，某一類型可見的骨點存在多個峰值，表示不同人的同一個類型骨點。在對樣本進行標注時，只需確定骨點的位置，則該骨點真值熱力圖為在該點處放置一個固定方差的高斯核，用高斯函數(shù)確定各個位置的置信度。對于第k個人的第j個骨點，以xj,k表示骨點的實際位置，則該骨點周圍的像素點的置信值為：

其中標準差σ控制了置信值的分布范圍。對于一張存在多人的圖像，每個人特定骨點的實際熱力圖為取得高斯核范圍內(nèi)的最大值：

1.3 骨點親和區(qū)域

如圖2所示，骨點親和區(qū)域由一系列單位向量組成，每一段肢體對應(yīng)一個親和區(qū)域，位于肢體上的像素點都由一個單位向量進行表示，包含了位置和方向信息，所有在肢體上的單位向量構(gòu)成親和區(qū)域。

圖2 骨點親和區(qū)域

圖3 肢體示意圖

(8)

其中v=(xj2,k-xj1,k)/‖xj2,k-xj1,k‖2表示單位向量，親和區(qū)域被定義在肢體線段上的所有單位向量：

(9)

其中σl為距離閾值，單位為像素；lc,k=‖xj2,k-xj1,k‖2為整個肢體的長度；v⊥為垂直于肢體的向量。肢體重疊的親和區(qū)域表示為：

其中nc(p)為在位置p處不同人的親和區(qū)域在該處的疊加次數(shù)，即在該處將所有人的非零向量進行疊加。

在網(wǎng)絡(luò)推理測試階段，任意兩個骨點之間的關(guān)聯(lián)置信度是通過在兩點之間對親和區(qū)域進行線性積分得到的。對于兩個骨點位置dj1和dj2，在兩骨點組成的線段上對親和區(qū)域Lc進行采樣，則兩骨點之間的關(guān)聯(lián)置信度為在該線段上親和區(qū)域的積分：

其中p(u)為在兩個節(jié)點dj1和dj2之間的插值：

p(u)=(1-u)dj1+udj2

(12)

1.4 二分圖優(yōu)化

經(jīng)過網(wǎng)絡(luò)推理，得到骨點熱力圖以及骨點之間的親和區(qū)域，對熱力圖采取非極大值抑制得到一系列候選骨點。由于多人或者錯誤檢測，對于每一類型的骨點會存在多個候選骨點。這些候選骨點之間的連接構(gòu)成二分圖，每兩個骨點之間的連接置信度通過式(11)線積分計算得到。為二分圖找到最優(yōu)的稀疏性是NP-Hard問題。

約束條件：

圖4 多人姿態(tài)估計求解

擴展到多人所有骨點的最優(yōu)化問題，即定義Z為K維匹配問題，這是一個NP-hard問題，為了提高最優(yōu)化效率，如圖4所示，本文采用兩種方法降低二分圖優(yōu)化算法的復(fù)雜度。首先，如圖4(c)所示，剔除跨骨點之間的連接構(gòu)成稀疏二分圖，代替圖4(b)所示的全連接二分圖；然后根據(jù)肢體將稀疏后的二分圖拆解得到圖4(d)所示的多個簡化二分圖。因此，整體優(yōu)化問題轉(zhuǎn)化為對各個簡化后的二分圖進行最優(yōu)化。而最優(yōu)化的目標函數(shù)為所有簡化二分圖的權(quán)重之和達到最大：

優(yōu)化之后將各個簡化二分圖中共同的骨點進行整合得到最終多人人體姿態(tài)估計。這樣做的優(yōu)點是將NP-hard問題轉(zhuǎn)化為多個較容易求解的二分圖最優(yōu)化，可以有效逼近全局最優(yōu)解，同時降低算法復(fù)雜度，提高算法的運行效率，達到實時多人姿態(tài)估計的目的。

2 實驗分析

2.1 精度評價

對于骨點預(yù)測精度，將本文所提的六階段雙分支網(wǎng)絡(luò)與現(xiàn)有基于深度學(xué)習(xí)的人體姿態(tài)估計算法進行對比，圖像尺寸縮小至654×368輸入到各個算法，對人體上半身7個骨點通過不同的高斯核標準差計算平均OKS值[15]，得到如圖5所示的對比結(jié)果，由圖可知本文所提的方法骨點預(yù)測精度略高于其他算法，與DeeperCut[12]和ArtTrac[16]的精度相近。取標準差為1時對7個骨點的預(yù)測精度進行量化對比，得到如表1所示。從表中可知本文所使用的網(wǎng)絡(luò)結(jié)構(gòu)有5個骨點的預(yù)測精度要優(yōu)于DeepCut[13]、DeeperCut和ArtTrack。運行效率方面，在輸入圖像為654×368的情況下，本文所使用的網(wǎng)絡(luò)每幀耗時5毫秒，而DeepCut和DeeperCut達到秒級，ArtTrack在150毫秒。

圖5 骨點精度對比圖

2.2 運行效率

實驗所使用的顯卡為NVIDIA TITAN XP，CPU為Intel i7-6900K。圖像大小為1920×1080，通過下采樣方法額外獲得1280×720和720×480兩個低分辨率的視頻。首先分析運行效率與人數(shù)的關(guān)系，在相同視頻流和相同分辨情況下，計算自頂向下與自底向上運行時間與人數(shù)關(guān)系，計算結(jié)果如圖6所示。由圖可知，自頂向下隨著人數(shù)的增加耗時幾乎呈線性增加，而自底向上的運行耗時幾乎不隨人數(shù)增加而遞增。卷積神經(jīng)網(wǎng)絡(luò)預(yù)測骨點的耗時也幾乎不隨人數(shù)增加而增加。因此本文所使用的自底向上算法的運行效率不受行人數(shù)量的影響，對人數(shù)不確定的情況依然可以實時進行多人姿態(tài)估計。

表1 各個骨點預(yù)測平均準確率

圖6 運行耗時

最后，對三種分辨率視頻采用兩種不同方法進行耗時分析，結(jié)果如表2所示，隨著分辨率的降低，處理速度越來越快。若對視頻所有幀都進行骨點檢測，在最高分辨率情況下每秒可處理23幀，人眼感覺不到卡頓，基本達到實時。如果采用間隔檢測結(jié)合跟蹤，幀率可提高十幾幀，完全達到實時要求。

表2 不同分辨率運行效率對比

3 結(jié) 語

針對現(xiàn)有人體姿態(tài)估計算法無法滿足實時的要求，提出一種實時多人體姿態(tài)估計與跟蹤方法。通過實驗對比，本文提出的六階段雙分支網(wǎng)絡(luò)結(jié)構(gòu)在骨點預(yù)測精度上略高于現(xiàn)有基于深度學(xué)習(xí)的人體姿態(tài)估計算法。算法運行效率方面，由于網(wǎng)絡(luò)同時預(yù)測出骨點位置和骨點之間的空間關(guān)系，為多人姿態(tài)估計算法提供更加稀疏的二分圖，降低二分圖優(yōu)化復(fù)雜度達到實時的效果。目前算法估計出來的人體骨點和姿勢仍處在二維平面，實際應(yīng)用時局限性大，為了擴大實際應(yīng)用，今后的研究目標是單張圖像人體三維姿態(tài)估計。