李璦嘉， 彭新茗， 馬廣焜， 陳展鵬， 于 洋

（沈陽(yáng)工業(yè)大學(xué) 軟件學(xué)院， 沈陽(yáng) 110870）

0 引言

人體異常行為識(shí)別與檢測(cè)技術(shù)涵蓋對(duì)人體行為的識(shí)別、檢測(cè)和異常行為的分析，被越來(lái)越多地應(yīng)用在智能監(jiān)控、醫(yī)療看護(hù)和交通監(jiān)管等領(lǐng)域，其市場(chǎng)前景可觀，具有高可用性。 如，在智能監(jiān)控領(lǐng)域，通過(guò)該檢測(cè)技術(shù)，判斷公共場(chǎng)所人員是否發(fā)生擾亂公共秩序等違規(guī)行為。 在醫(yī)療看護(hù)領(lǐng)域，可對(duì)家人進(jìn)行24 h 監(jiān)護(hù)，避免家中老人或小孩突發(fā)意外狀況。 在交通監(jiān)管領(lǐng)域，對(duì)車內(nèi)外、以及車內(nèi)駕駛員的異常行為進(jìn)行監(jiān)控，進(jìn)一步降低交通事故發(fā)生的風(fēng)險(xiǎn)。

當(dāng)前，國(guó)內(nèi)外在異常行為檢測(cè)技術(shù)方面也有了較大的突破—從早期基于人工設(shè)計(jì)特征的方向梯度直方圖、光流直方圖、混合動(dòng)態(tài)紋理等異常行為檢測(cè)技術(shù)［1］，到現(xiàn)如今的基于深度學(xué)習(xí)的異常行為檢測(cè)算法。 隨著網(wǎng)絡(luò)層數(shù)的增加，特征也越來(lái)越抽象，這就直接導(dǎo)致了基于人工設(shè)計(jì)特征的檢測(cè)技術(shù)在應(yīng)用中會(huì)受到諸多限制；而基于深度學(xué)習(xí)的異常行為檢測(cè)算法是通過(guò)對(duì)原始圖像的學(xué)習(xí)來(lái)分析其復(fù)雜的非線性行為特征。 因此在較多網(wǎng)絡(luò)層數(shù)的情況下，就能夠更好地描述行為特征，且檢測(cè)準(zhǔn)確率更高，計(jì)算復(fù)雜性較低。 基于深度學(xué)習(xí)的異常行為檢測(cè)算法主要可分為單階段和雙階段兩種。 前者無(wú)候選區(qū)域，能夠直接產(chǎn)生物體的類別概率和位置坐標(biāo)值，以SSD 和YOLO 系列為例；而后者在檢測(cè)過(guò)程中，分為2 個(gè)階段。 第一階段：生成包含目標(biāo)位置信息的候選區(qū)域；第二階段：劃分候選區(qū)域，并精確求得目標(biāo)位置信息，以R－CNN、Fast R－CNN、Faster R－CNN為例［2］。 其中，R－CNN 及其延伸的算法，使用一個(gè)管道在多個(gè)步驟中執(zhí)行這個(gè)任務(wù)，存在運(yùn)行速度慢、需要單獨(dú)訓(xùn)練每一個(gè)組件和優(yōu)化效果不強(qiáng)等問(wèn)題。而YOLO 只用一個(gè)神經(jīng)網(wǎng)絡(luò)就能完成，因此項(xiàng)目擬采用YOLOv5 輕量化網(wǎng)絡(luò)模型作為行人異常行為檢測(cè)系統(tǒng)的網(wǎng)絡(luò)模型。

本文以校園封閉管理為例，選用在速度上有優(yōu)勢(shì)的YOLOv5 目標(biāo)檢測(cè)算法。 將大量真實(shí)的圍欄場(chǎng)景下的行人樣本載入訓(xùn)練模塊，進(jìn)行訓(xùn)練，結(jié)合訓(xùn)練好的檢測(cè)系統(tǒng)對(duì)監(jiān)控探頭拍攝的視頻圖像進(jìn)行智能識(shí)別并根據(jù)置信度、IoU的數(shù)值輸出不同檢測(cè)結(jié)果，當(dāng)被拍攝人員存在疑似翻越圍欄、偷取外賣等異常行為且達(dá)到額定百分比時(shí)，對(duì)其進(jìn)行自動(dòng)識(shí)別和抓拍，并發(fā)出報(bào)警信號(hào)達(dá)到警示的效果。

然而，在實(shí)際應(yīng)用過(guò)程中，基于圍欄場(chǎng)景的異常行為檢測(cè)面臨著諸多挑戰(zhàn)，如背景復(fù)雜度、光線、拍攝角度等非受控條件導(dǎo)致提取特征性能受限；在線分析大量實(shí)時(shí)數(shù)據(jù)時(shí)，存在異常行為檢測(cè)的高延遲等問(wèn)題。

1 校園圍欄檢測(cè)系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)概述

整個(gè)異常行為檢測(cè)系統(tǒng)由圍欄場(chǎng)景下的監(jiān)控?cái)z像頭、監(jiān)控室內(nèi)交換機(jī)、管理服務(wù)器、顯示屏幕和警報(bào)器組成。 學(xué)校相關(guān)管理部門可根據(jù)實(shí)際情況，如事件高發(fā)時(shí)段和高發(fā)地點(diǎn)，選擇開(kāi)啟檢測(cè)系統(tǒng)。 系統(tǒng)開(kāi)啟后，通過(guò)網(wǎng)絡(luò)將圍欄場(chǎng)景下人員的疑似翻越、偷取外賣等異常行為情況上傳給服務(wù)端，并將檢測(cè)與分析的結(jié)果存入日志文件。

系統(tǒng)整體采用流式開(kāi)發(fā)模型，系統(tǒng)流程如圖1所示。 首先對(duì)視頻流提取關(guān)鍵幀（本文可通過(guò)對(duì)幀率的更改，自定義提取關(guān)鍵幀），對(duì)圖像進(jìn)行預(yù)處理，而后提取其特征，得到與之相對(duì)應(yīng)的特征圖，并以此為參照對(duì)物體類別和邊框進(jìn)行預(yù)測(cè)，所得數(shù)據(jù)寫入日志。 該過(guò)程實(shí)現(xiàn)了真正的端到端的處理。

圖1 系統(tǒng)流程圖Fig. 1 Flowchart of the system

1.2 系統(tǒng)功能設(shè)計(jì)

系統(tǒng)使用客戶端／服務(wù)器（C／S）模式作為系統(tǒng)的整體架構(gòu)。 其中，服務(wù)器端提供基于YOLOv5 的目標(biāo)檢測(cè)方法的識(shí)別服務(wù)，其主要工作流程為處理視頻數(shù)據(jù)流，提取關(guān)鍵幀作為原始圖像，處理后將標(biāo)定好的圖像傳輸給客戶端。 客戶端向服務(wù)器端發(fā)送請(qǐng)求，服務(wù)器端接收、處理請(qǐng)求，并將結(jié)果返回。 系統(tǒng)的整體功能架構(gòu)如圖2 所示，該系統(tǒng)共分為2 部分：離線的網(wǎng)絡(luò)訓(xùn)練和在線的目標(biāo)檢測(cè)。 由圖2 可知，對(duì)該行為檢測(cè)系統(tǒng)中各研發(fā)模塊的功能設(shè)計(jì)可做闡釋分述如下。

圖2 系統(tǒng)功能架構(gòu)圖Fig. 2 System functional architecture diagram

（1）圖像采集模塊。 對(duì)視頻流進(jìn)行截取操作，截取關(guān)鍵幀，形成圖像數(shù)據(jù)集。

（2）圖像預(yù)處理模塊。 在本模塊中，由于圖像存在無(wú)關(guān)的信息，影響檢測(cè)效率，因此對(duì)圖像進(jìn)行了灰度化、幾何化和圖像增強(qiáng)處理，突出顯示需要檢測(cè)的目標(biāo)，這樣可以簡(jiǎn)化數(shù)據(jù)，提高檢測(cè)效率。

（3）圖像檢測(cè)模塊。 在該模塊中，采用單階段的目標(biāo)檢測(cè)算法—YOLOv5 目標(biāo)檢測(cè)網(wǎng)絡(luò)作為行人異常行為檢測(cè)的基礎(chǔ)網(wǎng)絡(luò)模型，涵蓋訓(xùn)練模塊和預(yù)測(cè)模塊兩部分，分別對(duì)訓(xùn)練集和測(cè)試集進(jìn)行處理，訓(xùn)練模塊根據(jù)采集到的圖像對(duì)網(wǎng)絡(luò)的參數(shù)進(jìn)行學(xué)習(xí)，提取特征圖；預(yù)測(cè)模塊再依據(jù)提取到的特征圖進(jìn)行目標(biāo)分類和邊框回歸。

（4）日志模塊。 該模塊不僅記錄檢測(cè)過(guò)程中產(chǎn)生的識(shí)別信息，還可以記錄檢測(cè)過(guò)程中系統(tǒng)的工作狀態(tài)、客戶端的請(qǐng)求、執(zhí)行的操作以及檢測(cè)出異常行為后的報(bào)警情況，形成日志文件，利于后續(xù)查看。

（5）報(bào)警模塊。 此模塊通過(guò)調(diào)用服務(wù)器接口來(lái)實(shí)現(xiàn)這部分的操作處理。 當(dāng)人員存在疑似翻越圍欄、偷取外賣等異常行為時(shí)，對(duì)其進(jìn)行自動(dòng)識(shí)別和抓拍，并上傳信息到客戶端。

2 關(guān)鍵技術(shù)

2.1 圖像預(yù)處理模塊

本實(shí)驗(yàn)對(duì)采集到的圖像依次進(jìn)行灰度化、幾何變換，這在一定程度上豐富了數(shù)據(jù)集、防止過(guò)擬合訓(xùn)練并有效提高了網(wǎng)絡(luò)模型的魯棒性。 首先，對(duì)原始圖像進(jìn)行灰度化處理，使每一個(gè)像素的顏色、即RGB 值相同；然后，通過(guò)平移、轉(zhuǎn)置、旋轉(zhuǎn)、縮放的幾何變換，來(lái)降低系統(tǒng)誤差和儀器擺放位置誤差帶來(lái)的影響。 而在此過(guò)程中，針對(duì)出現(xiàn)的采集圖像過(guò)多、不清晰、不可用的問(wèn)題，進(jìn)行圖像增強(qiáng)操作，即增強(qiáng)圖像中的有用信息，也就是針對(duì)給定圖像的不同應(yīng)用查找，有目的地增強(qiáng)圖像的整體特征或局部特征。該操作不但能使原圖像變得清晰，還能模糊不重要的特征，同時(shí)突出不同物體之前的區(qū)別。 通過(guò)圖像預(yù)處理機(jī)制可以增強(qiáng)畫質(zhì)，顯著提升對(duì)圖像的識(shí)別效果，進(jìn)一步滿足人體異常行為分析的需求。

2.2 圖像檢測(cè)模塊

本系統(tǒng)采用YOLOv5 框架。 共包括：輸入端（Head）、主 干網(wǎng) 絡(luò)（Backbone）、Neck 和 輸 出 端（Prediction）四大部分［3］。 對(duì)此研究?jī)?nèi)容，擬展開(kāi)解析表述如下。

（1）輸入端（Head）

①M(fèi)osaic 數(shù)據(jù)增強(qiáng)如圖3 所示。 對(duì)輸入的4張圖片，通過(guò)隨機(jī)縮放、隨機(jī)裁剪以及隨機(jī)排布的方式將圖像拼接起來(lái)。

圖3 Mosaic 數(shù)據(jù)增強(qiáng)示意圖Fig. 3 Mosaic data enhancement diagram

②自適應(yīng)錨框計(jì)算。 對(duì)每個(gè)設(shè)定不同長(zhǎng)寬錨框的數(shù)據(jù)集進(jìn)行訓(xùn)練，在其初始的錨框架上輸出預(yù)測(cè)框，并計(jì)算與真實(shí)框的差距，進(jìn)行反向更新，反復(fù)迭代參數(shù)。

③自適應(yīng)圖片縮放。 由于圖片可能存在尺寸不同，因此對(duì)原始圖像進(jìn)行自適應(yīng)圖片縮放，添加最少的黑邊來(lái)統(tǒng)一其尺寸，再進(jìn)入網(wǎng)絡(luò)檢測(cè)［4］。

（2）主干網(wǎng)絡(luò)（Backbone）

①Focus 結(jié)構(gòu)。 輸入原始圖像，進(jìn)行切片操作，改變特征圖的大小。

②CSP 結(jié)構(gòu)。 以該系統(tǒng)中的YOLOv5s 網(wǎng)絡(luò)為例，整個(gè)網(wǎng)絡(luò)模型中含2 種CSP 結(jié)構(gòu)。 一種存在于主干網(wǎng)絡(luò)（Backbone），另一種存在于Neck 中。

輸入圖像尺寸為608?608，特征圖變化如下：608?304?152?76?38?19，該結(jié)構(gòu)起到下采樣的作用，增強(qiáng)CNN 的學(xué)習(xí)能力，在輕量化的同時(shí)也確保了系統(tǒng)的準(zhǔn)確性［5］，并降低了內(nèi)存的計(jì)算開(kāi)銷。

（3）Neck。 采用FPN＋PAN 的結(jié)構(gòu)。 其中，F(xiàn)PN是由高維度向低維度傳遞語(yǔ)義信息的過(guò)程，使大目標(biāo)更加明確，而PAN 是由低維度向高維度再傳遞一次語(yǔ)義信息，從而在明確大目標(biāo)的同時(shí)也能夠清晰小目標(biāo)。

Neck 部分如圖4 所示。 在該部分中，將自頂向下傳達(dá)強(qiáng)語(yǔ)義特征與特征金字塔自底向上傳達(dá)強(qiáng)定位特征相結(jié)合，進(jìn)而能夠從任意主干層對(duì)任意檢測(cè)層進(jìn)行參數(shù)聚合。

圖4 Neck 部分示意圖Fig. 4 Schematic diagram of the Neck part

（4）輸出端（Prediction）

①CIoU＿Loss。CIoU＿Loss考慮邊界框?qū)捀弑鹊某叨?，能夠達(dá)到預(yù)測(cè)框回歸的速度要求和精度更高的效果。

②非極大值抑制（NMS）。 會(huì)在局部區(qū)域選取極大值窗口，而后刪除低分窗口，并一直重復(fù)此操作，來(lái)抑制分?jǐn)?shù)較低的窗口。

2.3 報(bào)警模塊

通過(guò)調(diào)用軟件接口連接傳統(tǒng)監(jiān)控系統(tǒng)，在測(cè)試其性能良好后，使用訓(xùn)練后的模型檢測(cè)校園圍欄場(chǎng)景下視頻中的異常行為。 根據(jù)攝像頭讀取到的視頻流，檢測(cè)系統(tǒng)進(jìn)行逐幀檢測(cè)，當(dāng)檢測(cè)到標(biāo)注的存在異常行為的人員時(shí)，系統(tǒng)會(huì)將對(duì)應(yīng)幀進(jìn)行保存，存儲(chǔ)到日志文件中，并標(biāo)注好對(duì)應(yīng)時(shí)間，方便用戶后續(xù)的翻閱查看。

3 系統(tǒng)測(cè)試及結(jié)果

3.1 數(shù)據(jù)集

本實(shí)驗(yàn)的訓(xùn)練集和測(cè)試集由Pascal VOC、MS Coco 公共數(shù)據(jù)集提供和自采集圖像組成。 其中，自采集圖像取材于沈陽(yáng)工業(yè)大學(xué)校園圍欄場(chǎng)景下的多角度、各時(shí)段的多個(gè)監(jiān)控視頻，使用光流法對(duì)視頻進(jìn)行關(guān)鍵幀提取，采用Labellmg 軟件對(duì)關(guān)鍵幀進(jìn)行標(biāo)注，設(shè)置異常行為的標(biāo)簽為：攀爬（climbing）、穿越（crossing）、偷取外賣（takeout），通過(guò)數(shù)據(jù)增強(qiáng)方法對(duì)樣本進(jìn)行擴(kuò)充。 從而在不同數(shù)據(jù)集來(lái)源上形成橫向?qū)Ρ鹊耐瑫r(shí)，能夠區(qū)別于監(jiān)控?cái)z像的一致俯拍角度對(duì)實(shí)況進(jìn)行左、右側(cè)的各角度抓拍。

3.2 測(cè)試環(huán)境

本實(shí)驗(yàn)處理器為：Intel（R） Core（TM） i7－6700X CPU＠3.70 Ghz，32 G 運(yùn)行內(nèi)存；顯卡Nvidia Geforce GTX 1650Ti；操作系統(tǒng)為Windows10。

該實(shí)驗(yàn)基于深度學(xué)習(xí)框架pytorch 1.9；實(shí)驗(yàn)環(huán)境python 3.8；GPU 加速軟件CUDA10.0。

3.3 測(cè)試結(jié)果

系統(tǒng)檢測(cè)結(jié)果如圖5、圖6 所示。 其中，圖5 為原始圖像和檢測(cè)圖像，圖6 為測(cè)試數(shù)據(jù)檢測(cè)結(jié)果。

圖5 圍欄翻越行為檢測(cè)示意圖Fig. 5 Schematic diagram of fence overfetch behavior detection

圖6 測(cè)試數(shù)據(jù)檢測(cè)結(jié)果示意圖Fig. 6 Schematic diagram of test data detection results

4 結(jié)束語(yǔ)

綜上所述，應(yīng)校園封閉管理之需，本文提出了一種基于YOLOv5 的圍欄場(chǎng)景下行人異常行為檢測(cè)系統(tǒng)。 首先，綜合考慮模型的檢測(cè)速度和精度等因素，選擇適當(dāng)?shù)哪繕?biāo)檢測(cè)模型，這里選擇了YOLOv5 輕量網(wǎng)絡(luò)模型。 其次，給出系統(tǒng)總體功能框架，并詳細(xì)描述該系統(tǒng)涉及的識(shí)別檢測(cè)模塊，共包括圖像采集、圖像預(yù)處理、圖像檢測(cè)、日志處理和報(bào)警五大模塊［6］。 該系統(tǒng)采用離線的網(wǎng)絡(luò)訓(xùn)練和在線的目標(biāo)檢測(cè)，能夠滿足真實(shí)圍欄場(chǎng)景下的異常行為實(shí)時(shí)檢測(cè)的需求，具有易于跨平臺(tái)搭建、運(yùn)行速度快、檢測(cè)效率高等特點(diǎn)，具有較高實(shí)用性。

但是，在實(shí)驗(yàn)中，系統(tǒng)的識(shí)別效果會(huì)受到監(jiān)控探頭拍攝角度和距離的影響，這就要求了在實(shí)際應(yīng)用中，要求監(jiān)控探頭的拍攝角度能夠確保在檢測(cè)范圍內(nèi)人員與圍欄之間無(wú)遮蓋。 今后的項(xiàng)目開(kāi)發(fā)中，通過(guò)對(duì)網(wǎng)絡(luò)模型參數(shù)的不斷修改，提高網(wǎng)絡(luò)的兼容性以及圍欄翻越檢測(cè)系統(tǒng)的識(shí)別效果。