• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于因果分析的群體行為識別

      2018-03-26 02:30:11夏利民
      電子科技大學學報 2018年2期
      關鍵詞:群體行為識別率軌跡

      王 軍,夏利民

      (中南大學信息科學與工程學院 長沙 410075)

      行為識別是計算機視覺領域的一個重要研究方向,在人機交互、智能視頻監(jiān)控等方面有著廣闊的應用前景。近年來人體行為識別取得了顯著進展,但主要工作還是集中在單人行為識別和兩人交互行為識別上,群體行為識別仍是一項挑戰(zhàn)性的工作。

      目前,大多數(shù)群體行為識別方法主要分為基于特征的方法和基于軌跡的方法。在基于特征的群體行為識別方面,文獻[1]用位置、形狀、運動以及時序等特征表示群體行為。文獻[2]采用局部視覺信息和群體行為鏈模型識別群體行為。文獻[3]利用局部表面信息作為群體行為描述子。文獻[4]利用運動信息和外觀信息作為行為特征,采用核密度估計法建立群內(nèi)個體間的交互關系?;谲壽E的群體行為識別[5-7]是通過分析個體軌跡間的相互影響來識別群體行為。文獻[5]利用Granger因果檢驗分析兩個行為軌跡間的相互作用,并以此識別雙人間的交互行為。文獻[6]將該方法推廣到群體行為識別。文獻[7]用高斯過程表示人體運動軌跡,設計個體、雙人、群體行為描述子進行群體行為識別。

      然而,這些方法假設場景中只有一種群體行為,但實際環(huán)境中,可能同時存在個體行為、兩人的交互行為以及群體行為,如果將整個行為視頻看成是一個群體行為進行識別,將會影響群體行為的識別率。為了解決這一問題,文獻[8-13]首先將行為群體從人群中檢測出來,然后識別群體行為。文獻[10]利用運動軌跡信息和外觀信息定義了3種群體行為描述子,分別描述子群內(nèi)、子群間的內(nèi)在交互行為,采用SVM進行群體行為識別,但該方法很難檢測出子群。文獻[11-12]利用群交互區(qū)域檢測場景中有意義的群體,用群體交互能量特征、吸引和排斥特征來描述GIZ中的群體行為,采用SVM進行群體行為識別。文獻[13]利用圖聚類算法檢測人群中的群體,設計了一種表示運動和交互作用的描述子,采用SVM識別群體行為。但這些方法僅僅依靠個體間的空間關系來檢測行為群體,這使得群體檢測率不是很高,從而影響群體行為識別;同時,只是用視覺特征描述群體行為,而這些特征不能有效描述群體行為,因此也限制了群體行為識別率。

      本文提出一種新的基于因果分析的群體行為識別方法。利用Grange因果檢驗對個體行為間關系進行分析,給出了個體間因果關系,在此基礎上,首先,根據(jù)個體間的空間位置關系、視覺注意力方向以及因果關系,利用基于主集的聚類算法檢測人群中的行為群體;然后,結(jié)合低層視覺特征和因果特征描述群體行為,由于不同群體行為個體數(shù)目不同,從而對應的軌跡數(shù)不同,導致整個特征長度不同。為了解決該問題,采用詞包法將特征轉(zhuǎn)化為行為視覺詞表示;最后, 采用稀疏表示進行群體行為識別。

      1 Grange因果檢驗

      文獻[14]提出了Grange因果檢驗,揭示不同經(jīng)濟因素之間的因果關系和反饋關系。Granger認為如果加入另一個時間序列X2,當前時間序列X1的自回歸預測誤差的方差減小,那么X2對X1有因果影響。

      設有兩個聯(lián)合平穩(wěn)隨機過程分別為Xi(t)和Xj(t),其對應的自回歸模型分別表示為:

      式中,ε1、η1分別為模型噪聲;Σ1和Γ1為方差。

      Xi(t)和Xj(t)的聯(lián)合自回歸模型可寫為:

      根據(jù)Grange因果檢驗,可以得到下列結(jié)論:

      1)因果關系:如果Σ2<Σ1, 則X2是X1的Granger因果關系。

      2)反饋:如果X2是X1的Granger因果關系,而X1是X2的Granger因果關系,則X1與X2具有反饋。

      3)因果率Fc:

      因果率Fc測量因果關系的強度,因果影響越強,F(xiàn)cij也越大;若X2對X1沒有因果影響,則Fcij= 0。

      4)反饋率Ffij表示反饋強度:

      本文利用Grange因果檢驗分析群體行為。對于一對個體,根據(jù)其運動軌跡,由最小二乘法可估計運動模型式(1)~式(4)中的系數(shù)及方差,再利用式(5)~(6)求得他們之間的因果律和反饋率,根據(jù)這些因果關系進行群體檢測和群體行為表示。

      2 行為群體檢測

      由于復雜場景中可能存在獨立的個體行為、雙人交互行為和群體行為,為了有效地識別群體行為,首先必須檢測出有意義的群體,為此利用因果關系和基于主集的聚類方法進行行為群體檢測。

      2.1 主集

      主集[15]是最大團到無向加權(quán)圖的推廣??紤]一個無向加權(quán)圖G=(V,E),V={1,2,…,n}是所有頂點的集合,E∈V×V是所有邊的集合,設S?V是頂點的一個非空子集,i∈S,則i關于S的平均加權(quán)度為:

      式中,|S|表示S的基數(shù);aij為節(jié)點j和i之間的相似度。如果節(jié)點j?S,則節(jié)點j和i的相似性為:

      i關于S的權(quán)值為:

      S的整體相似性定義為:

      滿足下列條件的非空子集S?V稱為主集:

      這表明主集等同類。求解下列優(yōu)化問題可得到主集:

      如果x是式(13)的局部極值解,那么x的支撐集σ(x)={i∈V:xi> 0}是節(jié)點的一個主集。

      2.2 基于主集圖聚類的行為群體檢測

      類具有較高的內(nèi)部一致性,并且類內(nèi)元素與內(nèi)外元素具有較高的可區(qū)分性。同樣,對于相互作用的群體,同一群體內(nèi)的成員之間具有很強的相互作用,而群內(nèi)成員與群外成員之間相互作用比較小?;谶@種比較, 將行為群體檢測看成在圖中搜索最大相互作用節(jié)點的主集,于是行為群體檢測就轉(zhuǎn)化為基于主集的圖聚類問題。

      將場景中的人看成無向圖G=(V,E,A),圖的頂點代表人,而A=(aij)代表場景中人之間的交互作用程度。很顯然, 當兩人間的因果關系越強,他們之間的交互作用也就越強;當兩個人越接近,他們之間交互作用的可能性也越大;另外,兩個人處在對方的視覺注意力范圍時,他們交互作用的可能性也越大。基于這些直覺,利用個體間的因果關系、空間位置關系以及視覺注意力方向關系定義個體間的交互程度。假設人的運動軌跡、空間位置、頭部姿態(tài)已經(jīng)確定。則根據(jù)個體的運動軌跡,利用Grange因果分析可得到個體間的因果律Fcij和反饋率Ffij;由空間位置可得到他們之間的空間距離dij;給定第i人的頭部姿態(tài),可確定其視覺注意力范圍αi,如第j個人出現(xiàn)在視覺注意力范圍αi內(nèi),則記為j∈αi。于是,第i和第j個人之間的交互程度aij定義為:

      根據(jù)式(14),可以確定矩陣A,然后根據(jù)文獻[16]的方法求解式(13)的局部優(yōu)化解和它的支撐集,該支撐集即為相互作用的群體。

      3 群體行為識別

      3.1 群體行為表示

      對于檢測到的群體,其行為用群內(nèi)個體的行為和個體間的交互作用來表示。利用低層視覺特征描述個體行為,因果關系描述個體間的交互行為。

      1)個體行為的低層特征表示

      采用局部外觀特征HOG和局部運動特征HOF表示個體行為。首先,利用多目標跟蹤算法[17]得到每個人的運動軌跡。為了避免跟蹤過程中軌跡的漂移,只跟蹤一段軌跡而不是整段軌跡,本文設跟蹤軌跡的長度L=50。其次,沿著每個人的軌跡,建立一個包圍人體的、大小為Nx×Ny×L的立方體,并將該立方體劃分為nx×ny×nL的時-空網(wǎng)格,本文取nx=ny=2,nL=3;然后,在網(wǎng)格上計算4-bin HOG和5-bin HOF。最后將所有網(wǎng)格的特征連起來得到HOG描述子和HOF描述子,HOG、HOF的維數(shù)分別為48 (2×2×3×4)和60(2×2×3×5)。連接HOG和HOF,得到個體行為的低層特征表示F1,其維數(shù)為108。

      2)交互行為的因果特征表示

      因果特征描述個體間的交互行為,包括兩個部分:相互作用強度和如何相互作用。用因果率Fcij和反饋率Ffij表示兩個個體之間的相互作用強度,而個體間如何相互作用按下列方法確定。

      設兩個個體運動軌跡Xi和Xj的聯(lián)合自回歸模型為式(2)和(4),如果將式(2)看成輸入、輸出分別為Xj和Xi的數(shù)字濾波器模型,則對應的系統(tǒng)函數(shù)為:

      式中,Xi(z)和Xj(z)分別為Xi和Xj的Z變換。利用對應的頻率特性來表示個體間如何相互作用[5],即取頻率特性在0, π/4, π/2, 3π/4, π處的幅值,以及在π/4,π/2,3π/4處的相角(因為在0和π處相角為常數(shù)):

      Fij反映Xj如何影響Xi。同樣,分別以Xi、Xj為濾波器的輸入和輸出,得到特征向量Fji,反映Xi如何影響Xj。

      因果率和反饋率表示一對個體之間的相互作用的強度,而頻率特性Fij、Fji反映一對個體如何相互作用,因此這些特征是互補的,將其合在一起表示一對個體的交互行為。另外,個體間的相對距離和相對速度通常也用于描述交互行為。因此,用Fij、Fji、dij、Δvij表示一對個體的交互行為:

      式中,F(xiàn)2是一個20維的因果特征向量。

      3)群體行為表示

      如上所述,每個個體行為用一條軌跡的108維低層特征來描述,一對個體的交互行為用一對軌跡的20維因果特征來描述,而整個群體行為由所有個體的行為特征及所有行為對特征聯(lián)合表示。但由于不同的群體行為包含個體的數(shù)目不同,相應的軌跡條數(shù)、軌跡對數(shù)不同,導致不同的群體行為特征維數(shù)不同。為此,利用詞包法(bag-of-words, BOW)來表示群體行為。首先根據(jù)低層特征和因果特征,用均值聚類法分別建立個體行為的字典BOWind和交互行為字典BOWint。對于每個群體行為,根據(jù)最近鄰原則,把它的每條軌跡/軌跡對歸入每一類,可得到各個視覺詞在樣本中出現(xiàn)的頻率,這些頻率就構(gòu)成了樣本的視覺詞表示。本文兩個字典大小分別為160、40,因此,群體行為用一個200維的視覺詞向量y表示。

      3.2 基于稀疏表示的群體行為識別

      利用稀疏表示識別群體行為。首先,對待測試群體行為樣本進行編碼;然后,計算在每一類上的重建誤差;最后,將待測試群體行為樣本分類到重建誤差最小的類中。

      設C有類群體行為,每個行為用上述特征向量表示,D=[D1,D2,…,DC]表示稀疏字典,其中Di是由K個第i類行為構(gòu)成的子字典,本文利用K-SVD算法來確定稀疏字典[18]。對于測試樣本y可表示為:

      式中,α= [α1,α2,…,αC]T為稀疏編碼向量,通過求解下列優(yōu)化問題得到:

      利用OMP法(orthogonal matching pursuit)求解上述優(yōu)化問題[19]。

      然后計算相對第i類的重建誤差:

      最后,群體行為樣本y根據(jù)下式分類(識別):

      4 實驗與結(jié)果

      為了驗證提出方法的有效性,本文在公共數(shù)據(jù)庫BEHAVE和collective activity(CAD)上進行了實驗,并與文獻[10, 12-13]的方法進行對比。所有實驗都在工作站(2.8 GHz CPU, 32GB RAM)上進行。在實驗中,首先根據(jù)個體運動軌跡,由最小二乘法估計運動模型的系數(shù)及方差,利用Grange因果檢驗求得個體間因果律和反饋率;其次,根據(jù)因果律、反饋率、個體間的空間距離及視覺注意力范圍,利用基于主集的聚類法找出行為群體;然后沿著每條軌跡提取HOG和HOF特征,以及兩條軌跡間的因果特征,并采用K-均值聚類法得到160個的低層特征視覺詞和40個因果特征視覺詞表示群體行為;最后,利用利用稀疏表示識別群體行為。

      4.1 BEHAVE數(shù)據(jù)庫

      BEHAVE數(shù)據(jù)庫包括4段視頻,幀速為25 fps,分辨率為640×480,記錄了10類群體行為,包括InGroup, Approach, Meet, WalkTogether, Split, Ignore,Chase, Fight, RunTogether, Following。本文只考慮Approach(A),Split(B),WalkTogether(W),RunTogether(R),Fighting(F)和InGroup(I)這6種群體行為,其他群體行為不考慮。

      圖1為該數(shù)據(jù)庫的一些群體行為的視頻幀。圖1a為多人追趕;圖1b為多人打架。實驗包含470個群體行為樣本,用220個群體行為學習稀疏字典,250個群體行為用于測試實驗。表1為幾種方法的識別率,可看出本文方法的識別率最高,平均識別率達到了94.7%。表2為幾種方法的平均識別時間,本文的方法識別時間為0.86 s,略小于其他方法,表明本文方法識別速度快。

      圖1 BEHAVE數(shù)據(jù)庫

      表1 在BEHAVE數(shù)據(jù)庫上的識別率

      表2 在BEHAVE數(shù)據(jù)庫上的平均識別時間

      BEHAVE數(shù)據(jù)庫中部分視頻同時含有個體行為、雙人交互行為和群體行為,為了驗證文中提出的群體檢測對群體行為識別的影響,對有、無行為群體檢測進行了對比實驗。表3和表4為兩種情況下,在BEHAVE數(shù)據(jù)庫上的群體行為識別的混淆矩陣。結(jié)果表明有群體檢測明顯提高群體行為的識別率。

      表3 有行為群體檢測混淆對比

      表4 無行為群體檢測混淆對比

      4.2 Collective Activity數(shù)據(jù)庫

      CAD數(shù)據(jù)庫包含5不同的群體行為:橫過馬路、等待、步行、談話和排隊。圖2為CAD數(shù)據(jù)庫的部分群體行為的視頻幀。圖2a橫過馬路;圖2b多人步行。實驗包含550個群體行為樣本,用250個群體行為學習稀疏字典,以300個群體行為進行測試實驗。表5為幾種方法在CAD數(shù)據(jù)庫上識別率,表中結(jié)果表明,本文方法的平均識別率達到了86.7%,明顯高于其他方法。表6為幾種方法的平均識別時間,本文方法識別時間為0.94 s,小于其他方法。

      圖2 CAD數(shù)據(jù)庫

      表5 在CAD數(shù)據(jù)庫上的識別率

      表6 在CAD數(shù)據(jù)庫上的平均識別時間

      表7 有行為群體檢測混淆對比

      表8 無行為群體檢測混淆對比

      該數(shù)據(jù)庫中的每段視頻都包同時含個體行為、雙人交互行為和群體行為,實驗中,在CAD數(shù)據(jù)庫上驗證了文中提出的群體檢測對群體行為識別的影響。表7和表8分別為有、無群體檢測的混淆矩陣。結(jié)果表明加入了群體檢測,群體行為的識別率明顯得到提高。

      從上述結(jié)果可看出,相比其他幾種方法,文中提出的方法在各種情況下都能提高群體行為的識別率,并且識別速度最快。在BEHAVE數(shù)據(jù)庫和collective activity數(shù)據(jù)庫中,場景中都可能同時存在獨立的個體行為、雙人的交互行為和群體行為,雖然文獻[10]利用子群信息可以識別群體行為,但很難檢測子群,導致這種方法的群體識別率不是很高。文獻[12]利用群體交互區(qū)檢測有意義的群體,排除了沒有參與群體行為的個體,所以識別率得到了提高。然而, 群體的檢測方法僅僅依靠個體之間的空間關系,這種關系并不能完全表明個體之間存在交互關系(如相互接近的人不一定有交互行為),這使得群體檢測率不是很高,從而限制了群體行為識別率。文獻[13]利用視覺注意力和社會距離檢測交互群體,檢測率得到提高,利用運動信息和交互信息識別群體行為,因此能有效地識別群體行為。本文的方法同時利用因果關系、空間位置關系和視覺注意力范圍,因此更能有效地從人群中檢測行為群體,采用低層視覺特征和因果特征可有效表示群體行為,因此可提高群體行為識別率。

      5 結(jié)束語

      本文提出了一種新的基于因果分析的群體行為識別方法。首先,利用Grange因果檢驗分析個體間因果關系,其次,結(jié)合個體間因果關系、空間關系和視覺注意力范圍,采用基于主集的聚類算法進行群體檢測;然后,利用低層視覺特征和因果特征描述群體行為,其中,HOG和HOF用于表示個體行為,因果特征用于表示群體內(nèi)個體間的交互行為,提高了特征的區(qū)分能力; 最后,利用稀疏表示識別群體行為。在公共行為數(shù)據(jù)庫BEHAVE和collective activity上與幾種方法進行了對比實驗,結(jié)果表明提出的方法比其他方法具有更高的識別率和識別速度。

      [1]KANEKO T, SHIMOSAKA M, ODASHIMA S.A fully connected model for consistent collective activity recognition in videos[J].Pattern Recognition Letters, 2014,43(1): 109-118.

      [2]AMER M R, TODOROVIC S.A chains model for localizing participantsof group activities in videos[C]//IEEE International Conference on Computer Vision.Barcelona:IEEE, 2011: 786-793.

      [3]ZHU G, YAN S, HAN T, et al.Generative group activity analysis with quaternion descriptor[J].Adv Multimed Model,2011, 6524: 1-11.

      [4]STEPHENS K, BORS A G.Group activity recognition on outdoor scenes[C]//IEEE International Conference on Advanced Video and Signal Based Surveillance.Colorado Springs: IEEE, 2016: 59-65.

      [5]ZHOU Y, HUANG T S, NI B, et al.Recognizing pair-activities by causality analysis[J].ACM Transactions on Intelligent Systems and Technology, 2011, 2(5): 1-20.

      [6]NI B, YAN S, KASSIM A.Recognizing human group activities with localized causalities[C]//IEEE Conference on Computer Vision and Pattern Recognition.Miam: IEEE,2009: 1470-1477.

      [7]CHENG Z, QIN L, HUANG Q.Group activity recognition by gaussian processes estimation[C]//IEEE International Conference on Pattern Recognition.Istanbul: IEEE, 2010.

      [8]YIN Y, YANG G, XU J.Small group human activity recognition[C]//IEEE International Conference on Image Processing.Lake Buena Vista: IEEE, 2012: 2709-2712.

      [9]ZHANG C, YANG X, LIN W, et al.Recognizing human group behaviors with multi-group causalities[C]//International Conference on Web Intelligence and Intelligent Agent Technology Workshops.Macau: IEEE, 2012: 44-48.

      [10]JU J, YANG C, SCHERER S.Recognition of human group activity for video analytics[C]//Pacific-Rim Conference on Multimedia.Gwangju: IEEE, 2015.

      [11]KIM Y J, CHO N G, LEE S W.Group activity recognition with group interaction zone[C]//International Conference on Pattern Recognition.Stockholm: IEEE, 2014: 3517-3521.

      [12]CHO N G, KIM Y J, PARK U.Group activity recognition with group interaction zone based on relative distance between human objects[J].International Journal Pattern Recognition and Artificial Intelligence,2015, 29(5): 1-10.

      [13]TRAN K N, YAN Xu, KAKADIARIS I A, et al.A hybrid approach for individual and group activity analysis in crowded scene[J].Communications in Computer and Information Science, 2016, 598: 189-204.

      [14]GRANGER C.Investigating causal relations by econometric models and cross-spectral methods[J].Econometrica, 1969, 37(3): 424-438.

      [15]PAVAN M, PELILLO M.Dominant sets and pairwise clustering[J].IEEE Transactions on PAMI, 2007, 29(1):167-172.

      [16]BULO S R, BOMZE I M.Infection and immunization: a new class of evolutionary game dynamics[J].GAMES and Economic Behavior, 2011, 71(1): 193-211.

      [17]MILAN A, SCHINDLER K, ROTH S.Multi-target tracking by discrete-continuous energy minimization[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(10): 2054-2068.

      [18]ZHANG Y S, GUO Y.2D OMP algorithm for space-time parameters estimation of moving targets[J].Electronics Letters, 2015, 51(22): 1809-1820.

      [19]MUKHERJEE S, BASU R, SEELAMANTULA C S.1-K-SVD: a robust dictionary learning algorithm with simultaneous update[J].Signal Processing, 2016, 123:42-52.

      猜你喜歡
      群體行為識別率軌跡
      群體行為識別深度學習方法研究綜述
      軌跡
      軌跡
      基于類圖像處理與向量化的大數(shù)據(jù)腳本攻擊智能檢測
      計算機工程(2020年3期)2020-03-19 12:24:50
      基于真耳分析的助聽器配戴者言語可懂度指數(shù)與言語識別率的關系
      提升高速公路MTC二次抓拍車牌識別率方案研究
      軌跡
      化工園區(qū)突發(fā)事件情景下的群體行為模擬演化研究*
      進化的軌跡(一)——進化,無盡的適應
      中國三峽(2017年2期)2017-06-09 08:15:29
      應急疏散中的群體及其行為研究
      科技資訊(2016年34期)2017-04-21 03:50:19
      鄄城县| 和静县| 罗田县| 高淳县| 广宗县| 如东县| 南召县| 精河县| 白沙| 鹤岗市| 花垣县| 阳曲县| 滨海县| 法库县| 关岭| 阿拉善右旗| 历史| 怀柔区| 东乌| 阿瓦提县| 乌兰浩特市| 昌江| 安新县| 南江县| 万山特区| 迁安市| 平江县| 卢氏县| 沾化县| 红原县| 安岳县| 扶绥县| 昌宁县| 湘潭县| 中山市| 平阴县| 嘉定区| 宝山区| 禹城市| 阿尔山市| 卓尼县|