基于光流的快速人體姿態(tài)估計(jì)①

周文俊,鄭新波,卿粼波,熊文詩,吳曉紅

1(四川大學(xué) 電子信息學(xué)院,成都 610065)

2(東莞前沿技術(shù)研究院,東莞 523000)

基于視覺的人體姿態(tài)估計(jì)問題是指根據(jù)圖像特征估計(jì)人體各個(gè)部位的位置與關(guān)聯(lián)信息[1].人體姿態(tài)估計(jì)是圖像處理、計(jì)算機(jī)視覺、模式識(shí)別、機(jī)器學(xué)習(xí)、人工智能等多個(gè)學(xué)科的交叉研究課題,在視頻監(jiān)控、視頻檢索、人機(jī)交互、虛擬現(xiàn)實(shí)、醫(yī)療看護(hù)等領(lǐng)域,具有深遠(yuǎn)的理論研究意義和很強(qiáng)的實(shí)用價(jià)值[2,3].

目前的人體姿態(tài)估計(jì)算法主要分為兩類:一類是基于深度圖像,另一類是基于可見光圖像.基于深度圖像的算法,主要利用如Kinect[4]等深度傳感器獲取代表著人體外貌和幾何信息的顏色和深度(RGBD)數(shù)據(jù),進(jìn)而分析人體的姿態(tài).但深度傳感器等硬件設(shè)備的配置及數(shù)量有限,導(dǎo)致其無法分析如監(jiān)控視頻,網(wǎng)上的海量視頻等數(shù)據(jù).而基于可見光圖像的算法,只需要獲取圖片中人體的表觀特征,如人體姿態(tài)各部分的HOG特征[5]、人體輪廓特征[6]及視頻中上下文(Context)關(guān)系[7].但以上特征都需要手動(dòng)提取,且不具有魯棒性.直到近幾年,深度學(xué)習(xí)被廣泛運(yùn)用到圖像處理領(lǐng)域,促進(jìn)了人體姿態(tài)檢測(cè)進(jìn)一步的發(fā)展.其中,Cao等[8]從圖像底層出發(fā),對(duì)人體姿態(tài)關(guān)節(jié)點(diǎn)進(jìn)行回歸分析,同時(shí)運(yùn)用并行網(wǎng)絡(luò)提取人體關(guān)節(jié)點(diǎn)間的親和力場(chǎng),確定多人姿態(tài)關(guān)節(jié)點(diǎn)之間的聯(lián)系.Pfister等[9]利用光流信息將前后幀的人體姿態(tài)熱力圖扭曲到當(dāng)前幀,然后賦予不同時(shí)刻熱力圖不同的權(quán)值,綜合得到當(dāng)前幀人體姿態(tài).He等[10]首先采用神經(jīng)網(wǎng)絡(luò)提取人體候選區(qū)域,然后在候選區(qū)域上用兩個(gè)并行的網(wǎng)絡(luò)分別進(jìn)行目標(biāo)檢測(cè)和人體姿態(tài)關(guān)節(jié)點(diǎn)檢測(cè).Charles等[11]利用已有的人體姿態(tài)估計(jì)模型初始化視頻幀,然后在相鄰幀中進(jìn)行空間匹配,時(shí)間傳播及人體姿態(tài)關(guān)節(jié)點(diǎn)的自我評(píng)估,不斷地重復(fù)上述過程得到準(zhǔn)確的人體姿態(tài)關(guān)節(jié)點(diǎn).上述基于深度學(xué)習(xí)的方法能夠很好的解決基于單幀圖像的人體姿態(tài)估計(jì)問題.然而,對(duì)于大量現(xiàn)有的視頻數(shù)據(jù),大多數(shù)視頻分析任務(wù)是通過直接將識(shí)別網(wǎng)絡(luò)應(yīng)用到視頻的所有幀,這一方法將消耗大量的計(jì)算資源,且未考慮到視頻幀之間的時(shí)間相關(guān)性.

綜上所述,基于深度學(xué)習(xí)的人體姿態(tài)檢測(cè)算法雖然已經(jīng)在單幀圖像上取得了較好的效果,但它們往往依賴于強(qiáng)大的計(jì)算機(jī)硬件平臺(tái),一般需要多個(gè)GPU進(jìn)行加速.而在計(jì)算資源受限的移動(dòng)終端上對(duì)視頻數(shù)據(jù)運(yùn)用上述基于深度學(xué)習(xí)的人體姿態(tài)檢測(cè)算法時(shí),終端的計(jì)算能力往往無法達(dá)到需求,所以如何降低或轉(zhuǎn)移人體姿態(tài)估計(jì)算法的計(jì)算復(fù)雜度[12],是該領(lǐng)域的一個(gè)重要研究方向.另外,由于人和相機(jī)具有運(yùn)動(dòng)連續(xù)性的特點(diǎn),相鄰幀之間的人體姿態(tài)也將表現(xiàn)出運(yùn)動(dòng)的連續(xù)性[13],即時(shí)間相關(guān)性,因此本文提出了一種基于光流的快速人體姿態(tài)估計(jì)算法,該算法利用視頻幀之間的時(shí)間相關(guān)性實(shí)現(xiàn)人體姿態(tài)估計(jì)的加速.在一個(gè)視頻幀組內(nèi),首先根據(jù)人體姿態(tài)估計(jì)算法對(duì)關(guān)鍵幀進(jìn)行人體姿態(tài)檢測(cè).而對(duì)于其他的非關(guān)鍵幀,計(jì)算它與前向關(guān)鍵幀之間的光流場(chǎng)信息(時(shí)間相關(guān)性),然后根據(jù)光流場(chǎng)將關(guān)鍵幀的檢測(cè)結(jié)果傳播到非關(guān)鍵幀上,避免了在每一幀上運(yùn)行人體姿態(tài)估計(jì)算法.當(dāng)光流場(chǎng)計(jì)算復(fù)雜度低于人體姿態(tài)估計(jì)算法時(shí),本文框架可以有效提高人體姿態(tài)檢測(cè)算法的檢測(cè)速度.

1 基于光流的快速人體姿態(tài)估計(jì)

1.1 視頻幀姿態(tài)相關(guān)性分析

視頻相鄰幀之間存在極強(qiáng)的時(shí)空相關(guān)性[14],這種相關(guān)性是由運(yùn)動(dòng)的連續(xù)性決定的,因此視頻相鄰幀中運(yùn)動(dòng)目標(biāo)及人體姿態(tài)信息具有更強(qiáng)的時(shí)空相關(guān)性.如圖1所示為視頻幀間相關(guān)性及人體姿態(tài)相關(guān)性效果圖,第一行Frame為原始視頻幀,第二行Pose為原始視頻幀對(duì)應(yīng)的真實(shí)姿態(tài)信息,第三行Flow為第i幀(i=2,…,5)圖像與第一幀圖像之間的真實(shí)光流場(chǎng),第四行Dsp為第i幀(i=2,…,5)圖像中人體關(guān)鍵點(diǎn)與第一幀圖像中人體關(guān)鍵點(diǎn)之間的運(yùn)動(dòng)矢量場(chǎng).

如圖1中Dsp反映了視頻序列中Framei(i=2,…,5)與Frame1對(duì)應(yīng)關(guān)鍵點(diǎn)之間的運(yùn)動(dòng)矢量,而視頻幀間的運(yùn)動(dòng)矢量為視頻幀之間對(duì)應(yīng)相似塊的運(yùn)動(dòng)信息,同時(shí)通過運(yùn)動(dòng)矢量可將第一幀圖像的人體姿態(tài)信息傳播到后續(xù)視頻幀中.Flow為視頻序列中Framei(i=2,…,5)與Frame1之間的光流信息,而光流就是在圖像灰度模式下,圖像間的亞像素級(jí)運(yùn)動(dòng)矢量,被廣泛用于估計(jì)兩個(gè)連續(xù)幀之間的像素點(diǎn)的運(yùn)動(dòng)[15].因此可以通過視頻幀間的光流信息及Frame1中的人體姿態(tài)信息預(yù)測(cè)Framei(i=2,…,5)中的人體姿態(tài)信息.另外,由圖1中Frame可知,Frame1到Frame5相鄰幀之間人體姿態(tài)變化較為平緩.而隨著時(shí)間的推移,當(dāng)前幀F(xiàn)ramei(i=2,…,5)與Frame1的人體姿態(tài)信息變化越來越大,相關(guān)性也越來越低.

1.2 基于光流的快速人體姿態(tài)估計(jì)框架

如上所述,視頻幀間人體姿態(tài)信息存在極強(qiáng)的時(shí)間相關(guān)性,而充分利用視頻幀間的相關(guān)性及運(yùn)動(dòng)信息可將已檢測(cè)的人體姿態(tài)信息傳播到隨后相關(guān)性較高的相鄰幀中,從而避免對(duì)每幀圖像進(jìn)行復(fù)雜的人體姿態(tài)檢測(cè).因此本文提出了基于光流的快速人體姿態(tài)估計(jì)算法,首先將視頻幀分割成多個(gè)視頻幀組確定視頻關(guān)鍵幀(每個(gè)視頻幀組的第一幀為該視頻幀組的關(guān)鍵幀,其余視頻幀為非關(guān)鍵幀).然后采用Cao等[8]的人體姿態(tài)估計(jì)算法確定關(guān)鍵幀人體姿態(tài)信息,該算法可有效地檢測(cè)圖片中的人體姿態(tài)信息;最后利用輕量級(jí)光流算法Flownet2-c[16]計(jì)算關(guān)鍵幀與非關(guān)鍵幀之間的光流信息,將關(guān)鍵幀的檢測(cè)結(jié)果傳播到非關(guān)鍵幀(如圖2).

圖1 視頻幀間相關(guān)性及人體姿態(tài)相關(guān)性效果圖

圖2 基于光流的快速人體姿態(tài)估計(jì)

具體定義如下:

其中,Flowi為第i幀圖像與對(duì)應(yīng)關(guān)鍵幀F(xiàn)rameI之間的光流信息,PoseI為關(guān)鍵幀的真實(shí)人體姿態(tài)信息,Posei’為將關(guān)鍵幀的真實(shí)人體姿態(tài)信息通過第i幀圖像與關(guān)鍵幀之間的光流場(chǎng)融合后的人體姿態(tài)信息.

基于上述算法原理,本文算法中關(guān)鍵幀的選取,以及關(guān)鍵幀人體姿態(tài)信息與光流信息的融合效果直接影響非關(guān)鍵幀的人體姿態(tài)估計(jì)精度.而由1.1節(jié)分析可知視頻幀間相關(guān)性隨著時(shí)間推移而降低.因此,視頻中關(guān)鍵幀的位置應(yīng)該根據(jù)視頻中幀間相對(duì)運(yùn)動(dòng)程度的不同而重新設(shè)置,以適應(yīng)視頻序列幀間相關(guān)性的改變.針對(duì)上述問題本文提出一種自適應(yīng)關(guān)鍵幀檢測(cè)算法.同時(shí)也對(duì)融合過程中光流計(jì)算算法對(duì)圖像中噪聲過于敏感的問題進(jìn)行優(yōu)化.

1.2.1 自適應(yīng)關(guān)鍵幀檢測(cè)算法

本文算法主要利用光流信息將關(guān)鍵幀的姿態(tài)信息傳播到非關(guān)鍵幀,當(dāng)同一視頻幀組內(nèi)關(guān)鍵幀與非關(guān)鍵幀中同一關(guān)節(jié)點(diǎn)之間有較大的位移時(shí),光流信息就無法準(zhǔn)確的描述關(guān)節(jié)點(diǎn)的運(yùn)動(dòng),從而導(dǎo)致非關(guān)鍵幀人體姿態(tài)預(yù)測(cè)失敗.因此本文提出一種自適應(yīng)關(guān)鍵幀檢測(cè)算法,其中為了不引入多余的計(jì)算量,通過已有的光流場(chǎng),判斷兩視頻幀之間是否出現(xiàn)劇烈位移運(yùn)動(dòng),從而劃分關(guān)鍵幀與非關(guān)鍵幀,達(dá)到自適應(yīng)關(guān)鍵幀檢測(cè)的目的,具體算法如下:

步驟1.第i幀與前向關(guān)鍵幀PK之間的光流信息fi(x,y).計(jì)算局部光流信息模的累加和Local_sum(f)和局部光流信息的最大值Local_max(x,y),具體定義如下:

其中,(x,y)為像素坐標(biāo),vxˉ(x,y)為光流場(chǎng)在x方向上的分量,vyˉ(x,y)為光流場(chǎng)在y方向上的分量,mask為圖像中每個(gè)人的矩形掩?？虿⒓?如圖3所示,恰好覆蓋所有人的關(guān)節(jié)點(diǎn)),s為關(guān)鍵幀所有關(guān)節(jié)點(diǎn)處像素點(diǎn)的集合.

圖3 矩形掩模區(qū)域

步驟2.確定判決閾值:

其中,Local_sum_T為局部光流信息模的累加和的閾值,Local_max_T為局部光流信息最大值的閾值.若固定Local_sum_T則無法適應(yīng)視頻中由人距離相機(jī)的遠(yuǎn)近不同,而引起的光流信息不同的問題.因此本文自適應(yīng)關(guān)鍵幀檢測(cè)算法會(huì)在每一幀自適應(yīng)閾值.計(jì)算關(guān)鍵幀中每個(gè)人的矩形掩?？虿⒓目偯娣emask_sum,將mask_sum*m(m為掩模系數(shù))作為L(zhǎng)ocal_sum(f)的閾值.而對(duì)于局部光流信息的最大值,我們通過大量實(shí)驗(yàn)發(fā)現(xiàn),當(dāng)兩幀圖像關(guān)節(jié)點(diǎn)處光流信息的模大于10個(gè)像素時(shí),光流場(chǎng)無法準(zhǔn)確的預(yù)測(cè)關(guān)節(jié)點(diǎn)的位移;當(dāng)模小于等于10個(gè)像素時(shí),光流場(chǎng)可以有效的預(yù)測(cè)關(guān)節(jié)點(diǎn)的位移.所以Local_max_T的取值為10.

步驟3.將局部累加和Local_sum(f)與Local_sum_T比較,局部光流信息最大值Local_max(x,y)與Local_max_T比較,以避免局部劇烈運(yùn)動(dòng).

式(6)成立時(shí)第i幀為非關(guān)鍵幀,否則結(jié)束該視頻幀組,第i幀為下一視頻幀組的關(guān)鍵幀.

1.2.2 關(guān)鍵點(diǎn)局部融合優(yōu)化

通過人體姿態(tài)估計(jì)階段對(duì)關(guān)鍵幀進(jìn)行人體姿態(tài)估計(jì),得到關(guān)鍵幀的人體關(guān)節(jié)點(diǎn).然后利用密集光流來預(yù)測(cè)關(guān)節(jié)點(diǎn)應(yīng)如何在時(shí)間上流動(dòng)到下一幀[13].

本文使用的Flownet2-c算法可求得關(guān)鍵幀與非關(guān)鍵幀之間的光流信息.但視頻中陰影或噪點(diǎn)在運(yùn)動(dòng)物體周圍尤其明顯,如圖4所示,圖4(c)為圖4(a)和圖4(b)利用Flownet2-c算法計(jì)算的光流信息.由圖可知,運(yùn)動(dòng)物體周圍的光流信息分布十分不均勻.因此若在融合關(guān)鍵幀姿態(tài)信息和光流信息時(shí),只使用關(guān)鍵幀關(guān)節(jié)處的光流信息作為非關(guān)鍵幀關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)信息,則會(huì)因光流信息計(jì)算不準(zhǔn)確導(dǎo)致關(guān)節(jié)點(diǎn)信息預(yù)測(cè)失敗.針對(duì)這個(gè)問題本文利用鄰域特性,根據(jù)鄰域像素點(diǎn)光流信息決定該關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)矢量.采用關(guān)節(jié)點(diǎn)處5x5鄰域的光流信息代替關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)信息,以提高融合預(yù)測(cè)的準(zhǔn)確率.

Flownet2-c算法效果

具體使用式(7)計(jì)算得到非關(guān)鍵幀的關(guān)節(jié)點(diǎn).

其中,Df(xi,yi)為關(guān)鍵幀關(guān)節(jié)點(diǎn)處5×5鄰域的光流信息的均值,P(xk,yk)為關(guān)鍵幀關(guān)節(jié)點(diǎn)坐標(biāo),P’(xi,yi)為非關(guān)鍵幀關(guān)節(jié)點(diǎn)坐標(biāo).

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)設(shè)置

本文主要利用Caffe[17]框架搭建基于光流的快速人體姿態(tài)估計(jì)算法框架與Cao等[8](Caffe)的算法對(duì)比(在 Intel i5,8 G 內(nèi)存,單張 GTX 1070 的機(jī)器上測(cè)試).

圖4 Flownet2-c 算法效果

實(shí)驗(yàn)對(duì)兩個(gè)公開數(shù)據(jù)集進(jìn)行測(cè)試,分別為:(1)OutdoorPose 數(shù)據(jù)集,該數(shù)據(jù)集由 Ramakrishna 等[18]提出,共包含 6 段視頻序列,約 1000 幀已標(biāo)注人體各部件真實(shí)值的圖像.(2)HumanEvaI數(shù)據(jù)集,該數(shù)據(jù)集由 Sigal等[19]提出,本文采用 S1_Jog_1_(C1),S1_Walking_1_(C1),S2_Jog_1_(C1)中各 150 幀進(jìn)行驗(yàn)證.以上兩個(gè)數(shù)據(jù)集中包含豐富的人體自遮擋.對(duì)于1.2.1中掩模系數(shù)取0.4,該系數(shù)越大姿態(tài)估計(jì)速度越快,準(zhǔn)確度相對(duì)越低;反之,姿態(tài)估計(jì)速度越慢,準(zhǔn)確度相對(duì)越高.

本文采用每秒處理的幀數(shù)(幀率:fps)評(píng)估算法檢測(cè)速度,利用PCP 評(píng)價(jià)標(biāo)準(zhǔn)[20]來評(píng)估算法對(duì)于人體各部件的估計(jì)準(zhǔn)確度.相關(guān)定義如下:

其中,Fps為每秒處理的幀數(shù) (幀率),nFrame為測(cè)試視頻的幀數(shù),ti為第i幀的檢測(cè)用時(shí),其中包括利用Flownet2-c 計(jì)算兩張圖片 (分辨率:640×380)之間的光流信息 15 ms.poseture為檢測(cè)正確的關(guān)節(jié)點(diǎn)數(shù)量,poseall為測(cè)試視頻中所有的關(guān)節(jié)點(diǎn)數(shù)量.PCP評(píng)價(jià)標(biāo)準(zhǔn)規(guī)定當(dāng)估計(jì)的所有部件端點(diǎn)到其對(duì)應(yīng)真實(shí)值端點(diǎn)的距離小于部件長(zhǎng)度的一半時(shí),則認(rèn)為該部件被正確定位.其中,PCP值越大表示對(duì)人體各部件的估計(jì)準(zhǔn)確度越高.

2.2 結(jié)果分析

表1為本文算法與Cao等[8]的算法在不同場(chǎng)景下檢測(cè)幀率及準(zhǔn)確度的比較表.從表1可以看出本文基于光流的快速人體姿態(tài)估計(jì)算法與Cao等[8]的算法在檢測(cè)準(zhǔn)確度差異不大的情況下,有效的提升檢測(cè)速度.其中在OutdoorPose數(shù)據(jù)集上,本文算法較Cao等[8]的算法在檢測(cè)準(zhǔn)確度上提升1.3%,檢測(cè)幀率提升87.5%；在HumanEvaI數(shù)據(jù)集上,本文算法較Cao等[8]的算法在檢測(cè)準(zhǔn)確度下降1%的情況下,檢測(cè)幀率提升91.8%.

如圖5所示為Cao等[8]的算法與本文算法在上述兩個(gè)數(shù)據(jù)集上復(fù)雜環(huán)境 (包含靜態(tài)復(fù)雜背景、肢體遮擋等)下的部分姿態(tài)估計(jì)效果圖,其中第一列圖5(a)、圖5(b)、圖5(c)為 Cao 等[8]的算法的部分檢測(cè)結(jié)果,第二列圖5(d)、圖5(e)、圖5(f)為本文算法的部分檢測(cè)結(jié)果.

圖5 部分姿態(tài)估計(jì)效果圖

如圖6所示為上述兩數(shù)據(jù)集的部分圖片及本文算法的檢測(cè)效果圖.由圖5的測(cè)試圖片可知,Cao 等[8]的算法在復(fù)雜環(huán)境下可能會(huì)檢測(cè)失敗,而本文算法中非關(guān)鍵幀的姿態(tài)信息由關(guān)鍵幀姿態(tài)信息及兩幀之間的光流信息預(yù)測(cè)得到,由圖5可知在復(fù)雜環(huán)境下本文算法較原算法在一定程度上可增加人體姿態(tài)檢測(cè)的檢測(cè)性能.上述結(jié)果說明作者提出的加速算法較原算法在平均檢測(cè)準(zhǔn)確度略有提升的情況下,能夠利用視頻幀間的時(shí)間相關(guān)性,有效的提升處理速度,降低計(jì)算復(fù)雜度.

圖6 數(shù)據(jù)集部分效果圖

3 結(jié)論與展望

為了降低深度學(xué)習(xí)領(lǐng)域人體姿態(tài)估計(jì)算法的計(jì)算復(fù)雜度,本文提出了一種基于光流的快速人體姿態(tài)估計(jì)算法.該算法將視頻分為關(guān)鍵幀和非關(guān)鍵幀分別處理,利用光流場(chǎng)將關(guān)鍵幀人體姿態(tài)信息傳播到非關(guān)鍵幀,將高計(jì)算復(fù)雜度的人體姿態(tài)估計(jì)算法的計(jì)算復(fù)雜度轉(zhuǎn)移到低計(jì)算復(fù)雜度的光流信息的計(jì)算過程中,同時(shí)提出自適應(yīng)關(guān)鍵幀檢測(cè)算法及融合算法,確定關(guān)鍵幀位置,防止光流預(yù)測(cè)不準(zhǔn)確等問題.實(shí)驗(yàn)表明當(dāng)光流算法的計(jì)算復(fù)雜度低于對(duì)關(guān)鍵幀的人體姿態(tài)估計(jì)算法時(shí),本文方法可以在檢測(cè)效果與原算法差異不大的情況下,有效地降低人體姿態(tài)估計(jì)的計(jì)算復(fù)雜度,提升檢測(cè)速度.在今后的工作中應(yīng)該進(jìn)一步考慮如何高效的選取關(guān)鍵幀,進(jìn)一步對(duì)算法進(jìn)行加速.

表1 人體姿態(tài)估計(jì)幀率及估計(jì)準(zhǔn)確度比較