一種基于SR3D網(wǎng)絡(luò)的人體行為識別算法

徐鵬飛 張鵬超 劉亞恒 咼生富

摘要：針對三維卷積神經(jīng)網(wǎng)絡(luò)無法高效地提取時空特征，提出了一種基于SR3D網(wǎng)絡(luò)的人體行為識別算法。首先，將三維殘差模塊的BN層和Relu激活函數(shù)放置在三維卷積層之前，更好地提取時空特征;然后，將改進的三維殘差塊和SE模塊組合成SR3D模塊，增加重要通道的利用率，提高了網(wǎng)絡(luò)的識別率。在UCF-101和自制異常行為數(shù)據(jù)集上進行了大量實驗結(jié)果表明，SR3D算法分別達到了47.7%和83.6%的識別率（top-1精度），與三維卷積網(wǎng)絡(luò)（C3D）相比分別提高了4.6和17.3個百分點。

關(guān)鍵詞：SR3D網(wǎng)絡(luò);人體行為識別;視頻分類;深度學(xué)習(xí);時空特征

中圖分類號：TP391? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）01-0010-02

1 引言

行為識別在智能視頻監(jiān)控[1]、智能機器人[2-3]等領(lǐng)域有著廣泛的應(yīng)用。早期的傳統(tǒng)行為識別方法主要由人為設(shè)計的特征來描述視頻中的行為，如方向梯度直方圖（Histogram of Oriented Gradients，HOG）[4]、密集軌跡特征（ Dense Trajectory， DT）[5]等。卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）[6]已經(jīng)成功地應(yīng)用到靜態(tài)圖像識別領(lǐng)域，達到了很高的識別精度，但不能有效地提取時域特征。針對這一問題，余興[7]提出了一種基于注意力機制的時空融合模型。通過利用基于快進連接的時空融合模型和時域多尺度時空融合模型，對基礎(chǔ)深層LSTM網(wǎng)絡(luò)模型的性能進行了提升。但該網(wǎng)絡(luò)只能進行單幀識別，容易丟失相鄰幀間的關(guān)鍵信息，且訓(xùn)練速度慢。Tran[8]提出了一種三維卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)將二維卷積神經(jīng)網(wǎng)絡(luò)中的卷積核和池化核從二維擴展到了三維，并將卷積層進行簡單的疊加，從而提取時空特征。但三維卷積神經(jīng)網(wǎng)絡(luò)參數(shù)量較多，容易過擬合，無法高效地提取時空信息?；谝陨蠁栴}，本文提出了一種基于SR3D的人體行為識別算法。SR3D網(wǎng)絡(luò)不僅可以重復(fù)使用上一層所提取的特征，還能對通道進行重標定操作，使得網(wǎng)絡(luò)可以多學(xué)習(xí)一些重要的行為特征，提高行為識別精度。

2 SR3D網(wǎng)絡(luò)模型

SR3D的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表1所示，第一層的卷積核為3?7?7，目的是擴大局部感知區(qū)域，更大范圍地提取行為特征。在殘差塊中，將BN層和Relu激活函數(shù)層放置在三維卷積層前面，更好地提取時空特征。在SE模塊中，用三維逐點卷積層代替了全連接層，減少了SE塊的參數(shù)量，加快了網(wǎng)絡(luò)模型的訓(xùn)練速度。

3實驗

3.1 數(shù)據(jù)集

UCF-101包含101類行為動作，主要分為五大類別：人物交互、身體的運動、人人交互、表演樂器以及體育運動。實驗中，按照split1的方式對UCF-101數(shù)據(jù)集劃分為訓(xùn)練集和測試集。

所使用的自制異常行為數(shù)據(jù)集從網(wǎng)上爬蟲獲得，包含105個打架視頻，126個腳踢視頻，118個吸煙視頻，154個跑步視頻，133個揮拳視頻。實驗中，按照8：2的比例將自制異常行為數(shù)據(jù)集劃分為訓(xùn)練集和測試集。

3.2實驗條件

所提算法均通過FaceBook公司開源的神經(jīng)網(wǎng)絡(luò)框架Pytorch實現(xiàn)，平臺為Ubuntu18.04，NVIDIATITAN XP GPU。

3.3 UCF-101數(shù)據(jù)集實驗

為了驗證本文算法的有效性，在UCF-101數(shù)據(jù)集上進行了大量的實驗。實驗采用從零開始的訓(xùn)練方式 ，輸入的視頻大小為16?112?112，采樣間隔為2，訓(xùn)練時使用隨機剪裁、隨機抖動以及水平翻轉(zhuǎn)來增加訓(xùn)練樣本的多樣性，并采用小批量隨機梯度下降法進行訓(xùn)練。目標函數(shù)為交叉熵損失函數(shù)，批量處理大小為16，momentum為0.9，epochs為80，初始學(xué)習(xí)率為0.01，每訓(xùn)練15個epochs，將學(xué)習(xí)衰減為原來的1/10，一直到訓(xùn)練完成，不同算法的Top-1識別精度如表2所示。

從表2中可以看出：在UCF-101數(shù)據(jù)集上，SR3D相比3D-ResNet和C3D分別提高了2.5個百分點和4.6個百分點。這說明在復(fù)雜數(shù)據(jù)集上，SR3D比C3D的結(jié)構(gòu)更優(yōu)異，精確度更高。

3.4 自制數(shù)據(jù)集實驗

自制數(shù)據(jù)集實驗過程與UCF-101數(shù)據(jù)集實驗過程基本相同，不同之處在于將初始學(xué)習(xí)率設(shè)置為0.001。不同算法的Top-1識別精度如表3所示。

從表3中可以看出：在自制數(shù)據(jù)集上，本文算法取得了83.6%的精確度，比C3D提高了17.3個百分比。雖然自制異常行為數(shù)據(jù)集存在背景復(fù)雜以及光照條件較差等問題，但SR3D仍然取得了較好的結(jié)果，充分驗證了SR3D網(wǎng)絡(luò)具有較好的魯棒性和遷移學(xué)習(xí)能力，能夠更好地提取時空特征，提高識別精度。

4 總結(jié)

針對三維卷積神經(jīng)網(wǎng)絡(luò)無法高效地提取時空特征，提出了一種基于SR3D網(wǎng)絡(luò)的人體行為識別算法，并在UCF-101數(shù)據(jù)集和自制異常行為數(shù)據(jù)集上進行了大量的實驗，取得了較好的結(jié)果，驗證了所提算法的有效性。由于實驗條件有限，在UCF-101數(shù)據(jù)集上的實驗是從零開始的，未來可以將算法在Kinetics數(shù)據(jù)集上進行預(yù)訓(xùn)練，在小型數(shù)據(jù)集上進行微調(diào)，以達到更好的識別效果。

參考文獻：

[1] Sutton R S.Learning to predict by the methods of temporal differences[J].Machine Learning，1988，3（1）：9-44.

[2]? Sutton R S， Barto A G.ReinforcementLearning：Anintroduction[M].Cambridge， MA： The MIT press， 2018.

[3] Watkins C J C H，Dayan P.Q-learning[J].Machine Learning，1992，8（3/4）：279-292.

[4] Dalal N，Triggs B.Histograms of oriented gradients for human detection[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR'05）.June 20-25，2005，San Diego，CA，USA.IEEE，2005：886-893.

[5] Wang H，Kl?ser A，Schmid C，et al.Dense trajectories and motion boundary descriptors for action recognition[J].International Journal of Computer Vision，2013，103（1）：60-79.

[6] Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks[J].Communications of the ACM，2017，60（6）：84-90.

[7] 余興.基于深度學(xué)習(xí)的視頻行為識別技術(shù)研究[D].成都：電子科技大學(xué)，2018.

[8] Tran D，Bourdev L，F(xiàn)ergus R，et al.Learning spatiotemporal features with 3D convolutional networks[C]//2015 IEEE International Conference on Computer Vision （ICCV）.December 7-13，2015，Santiago，Chile.IEEE，2015：4489-4497.

【通聯(lián)編輯：唐一東】

收稿日期：2021-04-16

基金項目：陜西省教育廳重點科學(xué)研究技術(shù)（20JS022）

作者簡介：徐鵬飛（1995—），男，河南南陽人，碩士，主要研究方向為人體行為識別;張鵬超（1977—），男，陜西咸陽人，教授，主要研究方向為機器人及其控制技術(shù);劉亞恒（1994—），男，山西運城人，碩士，主要研究方向為病蟲害識別;咼生富（1997—），男，重慶人，碩士，主要研究方向為機器人編隊。