基于深度學(xué)習(xí)的視頻監(jiān)控預(yù)警系統(tǒng)

李澤華

（武警重慶總隊(duì)，重慶 401147）

0 引言

隨著科學(xué)技術(shù)的不斷進(jìn)步和國(guó)家平安城市、雪亮工程、智慧城市建設(shè)等政策的大力推動(dòng)，視頻監(jiān)控已經(jīng)從專(zhuān)業(yè)領(lǐng)域普及到大街小巷，被廣泛應(yīng)用于社會(huì)治安、道路交通、智能家居等場(chǎng)景，為維護(hù)社會(huì)穩(wěn)定、保障安全生產(chǎn)生活提供了有力幫助[1]。根據(jù)美國(guó)知名研究機(jī)構(gòu)IHS提供的數(shù)據(jù)，2021年后全世界將有超過(guò)10億支監(jiān)控?cái)z像頭全時(shí)工作，其中50%的監(jiān)控探頭坐落在中國(guó)[2]。當(dāng)前部署的視頻監(jiān)控系統(tǒng)具有同步監(jiān)視和遠(yuǎn)程控制等功能，可根據(jù)時(shí)間、地點(diǎn)、人物等信息進(jìn)行調(diào)閱查看，但實(shí)時(shí)監(jiān)管、影像回放、發(fā)出警報(bào)等系列動(dòng)作一般由專(zhuān)人操作，智能化程度還不夠高。隨著監(jiān)控設(shè)備和監(jiān)控對(duì)象的不斷增加，監(jiān)控視頻數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)，人為操作不僅耗費(fèi)大量人力、物力和財(cái)力，而且極有可能出現(xiàn)遲報(bào)、漏報(bào)、誤報(bào)等情況，難以做到全時(shí)監(jiān)控預(yù)警，不能滿(mǎn)足現(xiàn)代社會(huì)對(duì)視頻監(jiān)控系統(tǒng)日益增長(zhǎng)的需求[3-4]。

近年來(lái)，得益于計(jì)算機(jī)性能、GPU加速技術(shù)的快速發(fā)展和提升，深度學(xué)習(xí)網(wǎng)絡(luò)展現(xiàn)出優(yōu)異的特性，在自然語(yǔ)言、時(shí)間序列、計(jì)算機(jī)視覺(jué)等任務(wù)中取得了較好成績(jī)。LeNet、AlexNet、VGG、GoogleNet、ResNet等各種不同結(jié)構(gòu)的深度學(xué)習(xí)網(wǎng)絡(luò)被相繼提出，網(wǎng)絡(luò)結(jié)構(gòu)從5層、8層、19層、22層，增加到上百層，大幅提升了學(xué)習(xí)預(yù)測(cè)能力，識(shí)別精度和時(shí)間成本也有了較大改善，特別是CNN模型中手寫(xiě)數(shù)字識(shí)別準(zhǔn)確率最高達(dá)到了98%，為實(shí)現(xiàn)視頻監(jiān)控全時(shí)預(yù)警提供了思路[5]。受暴力視頻檢測(cè)啟發(fā)[6]，本文擬將監(jiān)控視頻細(xì)分為不同的場(chǎng)景，利用預(yù)先訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)模型對(duì)監(jiān)控視頻進(jìn)行特征提取、分類(lèi)預(yù)測(cè)，形成預(yù)警信息后推送至監(jiān)控視頻調(diào)度中心。

1 監(jiān)控視頻處理現(xiàn)狀

視頻監(jiān)控一般利用安裝部署的攝像頭采集監(jiān)控區(qū)域內(nèi)的圖像、聲音等視頻信息，并通過(guò)有線(xiàn)或無(wú)線(xiàn)等方式將視頻信息傳輸?shù)奖O(jiān)控中心。目前，視頻監(jiān)控正朝著數(shù)字化、網(wǎng)絡(luò)化、高清化以及智能化的方向發(fā)展，安裝、部署和運(yùn)用涉及計(jì)算機(jī)多媒體技術(shù)、編碼壓縮技術(shù)、網(wǎng)絡(luò)傳輸技術(shù)、存儲(chǔ)技術(shù)等多項(xiàng)技術(shù)。但監(jiān)控視頻處理面臨攝像頭質(zhì)量、存儲(chǔ)傳輸、數(shù)據(jù)冗余等諸多方面的問(wèn)題，特別是越來(lái)越多的高清攝像頭拍攝的監(jiān)控視頻對(duì)軟硬件條件提出了更高要求，不斷考驗(yàn)網(wǎng)絡(luò)帶寬和服務(wù)器的承載能力，增加了視頻監(jiān)控系統(tǒng)的安裝、部署、使用和維護(hù)成本[7-9]。監(jiān)控視頻信息量較大、冗余度較高，存儲(chǔ)傳輸需要占用較大帶寬和存儲(chǔ)空間。以存儲(chǔ)傳輸為例，一部按PAL制編碼記錄60分鐘的電影，如果分辨率為640X480、場(chǎng)頻50Hz、每個(gè)像素24bit，則每秒數(shù)據(jù)量約為369Mb，60分鐘電影的數(shù)據(jù)量高達(dá)1 328 400Mb，且60分鐘內(nèi)可能只有幾分鐘甚至只有幾秒鐘的信息是需要進(jìn)行處理的異常情況。加之，受存儲(chǔ)介質(zhì)容量和容易發(fā)生故障等因素影響，監(jiān)控視頻需定期覆蓋原有存儲(chǔ)空間，且必須進(jìn)行一次或多次備份，后期調(diào)閱查看較為困難[10]。

監(jiān)控視頻處理大致可分為視頻信號(hào)處理和監(jiān)控視頻內(nèi)容分析。視頻信號(hào)處理主要對(duì)像素或像塊進(jìn)行處理，不涉及視頻內(nèi)容，主要是為視頻內(nèi)容分析提供清晰、連續(xù)的高質(zhì)量信源。目前視頻采集、濾波、壓縮、存儲(chǔ)、去噪、增強(qiáng)、傳輸?shù)瘸Ｒ?guī)處理技術(shù)已趨成熟，但供更多圖像細(xì)節(jié)的高動(dòng)態(tài)范圍（HDR）視頻圖像的均衡，提高視頻圖像空間分辨率的超分辨率重建，對(duì)霧天、暗光、遮擋等多種受損圖像的處理，去除傳輸引起的幀間抖動(dòng)等內(nèi)容還需進(jìn)一步完善。監(jiān)控視頻內(nèi)容分析包括場(chǎng)景分割、前后景分離，目標(biāo)檢測(cè)和跟蹤，人臉/車(chē)牌識(shí)別，人流/車(chē)流統(tǒng)計(jì)等。文獻(xiàn)［11-14］中，利用均值漂移算法、卡爾曼濾波算法和粒子濾波算法等方法進(jìn)行了積極有益的探索，但對(duì)包括天氣、溫度、光線(xiàn)的自然因素干擾，監(jiān)控視頻內(nèi)畫(huà)面相互遮擋，不同類(lèi)型的人和行為姿態(tài)等具體問(wèn)題還需要進(jìn)一步研究。

2 深度學(xué)習(xí)網(wǎng)絡(luò)發(fā)展現(xiàn)狀

深度學(xué)習(xí)是一種模擬生物大腦運(yùn)行和處理信息的神經(jīng)網(wǎng)絡(luò)算法，主要通過(guò)多層網(wǎng)絡(luò)結(jié)構(gòu)變換，將提取的原始數(shù)據(jù)或初始特征進(jìn)行重新組合，形成更加抽象的高層特征，能對(duì)數(shù)據(jù)進(jìn)行較好的本質(zhì)刻畫(huà)、層次化表達(dá)與特征提取。Hinton及其合作者設(shè)計(jì)的深度學(xué)習(xí)模型AlexNet在2012年ImageNet圖像識(shí)別大賽中一舉奪冠，谷歌公司基于深度學(xué)習(xí)開(kāi)發(fā)的AlphaGo以4：1的比分戰(zhàn)勝世界頂級(jí)棋手李世石，吸引了學(xué)術(shù)界和工業(yè)界對(duì)于深度學(xué)習(xí)的廣泛關(guān)注，并將深度學(xué)習(xí)的熱度推向了高峰。深度學(xué)習(xí)網(wǎng)絡(luò)通常包括輸入層、隱藏層和輸出層等網(wǎng)絡(luò)結(jié)構(gòu)，輸入信息經(jīng)過(guò)每一層網(wǎng)絡(luò)結(jié)構(gòu)時(shí)都做一次數(shù)學(xué)擬合，通過(guò)多層網(wǎng)絡(luò)疊加后，輸出無(wú)限逼近目標(biāo)的結(jié)果。目前，卷積神經(jīng)網(wǎng)絡(luò)（CNN）[15]、遞歸神經(jīng)網(wǎng)絡(luò)（RNN）[16]、循環(huán)神經(jīng)網(wǎng)絡(luò)（LSTM）[17]、對(duì)抗神經(jīng)網(wǎng)絡(luò)（GAN）[18]等深度學(xué)習(xí)網(wǎng)絡(luò)被廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自動(dòng)駕駛、自然語(yǔ)言處理領(lǐng)域，取得了較高的識(shí)別精度，性能遠(yuǎn)超其他機(jī)器學(xué)習(xí)技術(shù)。

不同的深度學(xué)習(xí)網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)差異較大，適用場(chǎng)景不盡相同。卷積神經(jīng)網(wǎng)絡(luò)由多層感知機(jī)演 變而來(lái)，包括LeNet、AlexNet、ResNet、VGGNet、GoogleNet等典型網(wǎng)絡(luò)，主要應(yīng)用于計(jì)算機(jī)視覺(jué)、模式識(shí)別等領(lǐng)域。其權(quán)值共享和局部連接策略使圖像可以直接作為網(wǎng)絡(luò)的輸入，避免傳統(tǒng)識(shí)別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過(guò)程，減少權(quán)值數(shù)量，降低網(wǎng)絡(luò)模型的復(fù)雜度，但無(wú)法對(duì)時(shí)間序列上的變化進(jìn)行建模。循環(huán)神經(jīng)網(wǎng)絡(luò)包括RNN、LSTM、GRU基本類(lèi)型，在語(yǔ)音識(shí)別、語(yǔ)言模型、機(jī)器翻譯、視頻標(biāo)記等領(lǐng)域表現(xiàn)出較好的特性。其網(wǎng)絡(luò)結(jié)構(gòu)中包含用于存儲(chǔ)前一時(shí)刻網(wǎng)絡(luò)信息的記憶模塊，記憶模塊中的內(nèi)容連同輸入層數(shù)據(jù)一起作為下一時(shí)刻的網(wǎng)絡(luò)輸入，這一網(wǎng)絡(luò)結(jié)構(gòu)使得循環(huán)神經(jīng)網(wǎng)絡(luò)具有記憶能力，能挖掘數(shù)據(jù)中的時(shí)序信息以及語(yǔ)義信息。此外，深度信念網(wǎng)絡(luò)主要做深度神經(jīng)網(wǎng)絡(luò)的權(quán)值初始化工作[19]，生成對(duì)抗網(wǎng)絡(luò)主要用于樣本數(shù)據(jù)概率分布的建模[20]，深度強(qiáng)化學(xué)習(xí)更加注重基于環(huán)境的改變而調(diào)整自身的行為[21]。

目前性能表現(xiàn)優(yōu)異的深度學(xué)習(xí)網(wǎng)絡(luò)大多受益于海量數(shù)據(jù)訓(xùn)練，也依賴(lài)于海量數(shù)據(jù)，需要大量的標(biāo)注數(shù)據(jù)，才能訓(xùn)練網(wǎng)絡(luò)參數(shù)，衡量學(xué)習(xí)性能，導(dǎo)致它存在無(wú)法自己推導(dǎo)出規(guī)則、無(wú)法實(shí)現(xiàn)真正的“人工智能”等問(wèn)題。為解決目前主流深度學(xué)習(xí)技術(shù)所需訓(xùn)練數(shù)據(jù)量大、訓(xùn)練標(biāo)注難于獲取、無(wú)法確定深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)的問(wèn)題，元學(xué)習(xí)、深度遷移學(xué)習(xí)、小樣本深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)構(gòu)架搜索、圖神經(jīng)網(wǎng)絡(luò)等逐漸成為未來(lái)發(fā)展的新方向。

3 預(yù)警系統(tǒng)實(shí)現(xiàn)框架

3.1 區(qū)分場(chǎng)景

監(jiān)控視頻應(yīng)用場(chǎng)景廣泛，不同的應(yīng)用場(chǎng)景在聲音、圖像、運(yùn)動(dòng)方面表現(xiàn)出較大的差異性，為提高預(yù)警系統(tǒng)報(bào)警準(zhǔn)確率，綜合社會(huì)治安、道路交通、智能家居等應(yīng)用場(chǎng)景特點(diǎn)，將監(jiān)控視頻區(qū)分為盜竊搶劫、打架斗毆、交通事故、非法聚集、應(yīng)急救援五種具體場(chǎng)景。

盜竊搶劫一般是指犯罪嫌疑人通過(guò)門(mén)、窗等非法途徑闖入他人家中，或在室外通過(guò)扒竊、暴力等手段進(jìn)行盜竊、搶奪他人財(cái)物。打架斗毆一般是指犯罪嫌疑人持刀、棍棒等兇器當(dāng)街行兇，造成被害人流血、昏迷、死亡。交通事故一般是指車(chē)輛之間或者車(chē)輛與行人之間發(fā)生碰撞、擦掛，導(dǎo)致車(chē)輛受損、人員受傷。非法聚集一般是指多名人員在同一地點(diǎn)聚集，采取拉橫幅、喊口號(hào)等方式進(jìn)行游行、靜坐、攔堵黨政機(jī)關(guān)或交通要道。應(yīng)急救援一般是指對(duì)發(fā)生的山體滑坡、道路坍塌、交通事故、行人暈倒、高空墜落等實(shí)施救援。

3.2 數(shù)據(jù)集

為建立用于訓(xùn)練、測(cè)試視頻監(jiān)控預(yù)警系統(tǒng)的視頻數(shù)據(jù)集，主要采取爬蟲(chóng)系統(tǒng)爬取網(wǎng)絡(luò)視頻和現(xiàn)場(chǎng)錄制拍攝兩種方式獲取相關(guān)視頻素材。

爬取網(wǎng)絡(luò)視頻，可以選取YouTube、嗶哩嗶哩、優(yōu)酷、騰訊等主流視頻網(wǎng)站作為爬蟲(chóng)系統(tǒng)爬取的主要來(lái)源，區(qū)分盜竊搶劫、打架斗毆、交通事故、非法聚集、應(yīng)急救援五種具體場(chǎng)景，對(duì)獲取的視頻進(jìn)行人工標(biāo)注。把人工標(biāo)注后得到的網(wǎng)絡(luò)視頻數(shù)據(jù)集作為訓(xùn)練集，用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。

錄制視頻是根據(jù)盜竊搶劫、打架斗毆、交通事故、非法聚集、應(yīng)急救援五種具體場(chǎng)景的特點(diǎn)，現(xiàn)場(chǎng)拍攝具有明顯特征的視頻。把人工標(biāo)注后得到的自制視頻作為測(cè)試集，用于評(píng)估預(yù)警系統(tǒng)報(bào)警準(zhǔn)確率。

3.3 模型訓(xùn)練

在制作的網(wǎng)絡(luò)視頻、錄制視頻數(shù)據(jù)集訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，訓(xùn)練集用于訓(xùn)練，測(cè)試集用于評(píng)估深度學(xué)習(xí)網(wǎng)絡(luò)效果。每隔0.5秒抽取一次輸入視頻的幀信息，然后利用深度學(xué)習(xí)網(wǎng)絡(luò)模型提取幀一級(jí)特征，融合處理幀一級(jí)特征后，獲取輸入視頻的視頻一級(jí)特征，對(duì)視頻一級(jí)特征進(jìn)行分類(lèi)預(yù)測(cè)，區(qū)分非法聚集、盜竊搶劫、應(yīng)急救援、個(gè)人極端事件等場(chǎng)景輸出，最終預(yù)測(cè)結(jié)果。

使用平均精度（average precision，AP）以及平均精度均值（mean average precision，mAP）作為視頻監(jiān)控預(yù)警系統(tǒng)性能評(píng)價(jià)指標(biāo)。

平均精度計(jì)算公式為：

N代表測(cè)試集中所有視頻的個(gè)數(shù)，P（k）表示在能識(shí)別出k個(gè)視頻時(shí)候的精確率（Precision）值。Δr（k）表示識(shí)別視頻個(gè)數(shù)從k-1變化到k時(shí)召回率（Recall）值的變化。

平均精度均值計(jì)算公式為：

C代表視頻檢測(cè)的類(lèi)別數(shù)，APi代表第i類(lèi)視頻的平均精度。

3.4 系統(tǒng)部署

基于深度學(xué)習(xí)的監(jiān)控視頻預(yù)警系統(tǒng)部署于服務(wù)器端，各監(jiān)控?cái)z像頭向服務(wù)器回傳實(shí)時(shí)監(jiān)控畫(huà)面。服務(wù)器內(nèi)同步進(jìn)行監(jiān)控視頻本地存儲(chǔ)和實(shí)時(shí)畫(huà)面上傳，完成監(jiān)控視頻特征提取、分類(lèi)預(yù)測(cè)操作后，將報(bào)警信號(hào)上傳至指揮中心，完成報(bào)警任務(wù)。指揮中心接到報(bào)警信息后，及時(shí)調(diào)閱對(duì)應(yīng)的監(jiān)控畫(huà)面進(jìn)行核查印證，同時(shí)將報(bào)警情況反饋給相關(guān)單位，迅速派出公安、消防、救護(hù)等人員進(jìn)行處置?；谏疃葘W(xué)習(xí)的視頻監(jiān)控預(yù)警系統(tǒng)如圖1所示。

圖1 基于深度學(xué)習(xí)的視頻監(jiān)控預(yù)警系統(tǒng)

4 結(jié)語(yǔ)

在深度學(xué)習(xí)技術(shù)迅猛發(fā)展并不斷完善更新的背景下，針對(duì)監(jiān)控視頻處理主要依靠人工進(jìn)行實(shí)時(shí)監(jiān)管、影像回放、發(fā)出警報(bào)的問(wèn)題，本文將不同類(lèi)型監(jiān)控視頻區(qū)分為盜竊搶劫、打架斗毆、交通事故、非法聚集、應(yīng)急救援五種具體場(chǎng)景，提出基于深度學(xué)習(xí)的視頻監(jiān)控預(yù)警系統(tǒng)，為實(shí)現(xiàn)監(jiān)控視頻自動(dòng)處理提供了一種有效可行的方法。

為滿(mǎn)足人們對(duì)視頻監(jiān)控日益增長(zhǎng)的要求，未來(lái)視頻監(jiān)控仍可能面臨諸多挑戰(zhàn)。一是目前得益于國(guó)家“天網(wǎng)”“雪亮”工程等項(xiàng)目的大力推進(jìn)，城市監(jiān)控?cái)z像頭數(shù)量飛速增長(zhǎng)，但仍不同程度地存在盲區(qū)死角，特別是經(jīng)濟(jì)欠發(fā)達(dá)地區(qū)，農(nóng)村、水庫(kù)、國(guó)道等人員相對(duì)較少的地域，監(jiān)控?cái)z像頭數(shù)量還嚴(yán)重不足，需加快推進(jìn)建設(shè)，不斷完善補(bǔ)充監(jiān)控點(diǎn)位。二是不同的深度學(xué)習(xí)網(wǎng)絡(luò)各有所長(zhǎng)，欠擬合、過(guò)擬合、參數(shù)調(diào)優(yōu)等方面還有進(jìn)一步改進(jìn)的空間，且深度學(xué)習(xí)網(wǎng)絡(luò)完全依賴(lài)數(shù)據(jù)，計(jì)算量普遍較大，對(duì)硬件需求較高，如果訓(xùn)練集出現(xiàn)不平衡的情況，將很大程度上影響預(yù)測(cè)結(jié)果。三是本系統(tǒng)主要區(qū)分盜竊搶劫、打架斗毆、交通事故、非法聚集、應(yīng)急救援五種具體場(chǎng)景，提高行為場(chǎng)景細(xì)分程度可以有效提升預(yù)測(cè)準(zhǔn)確率。未來(lái)可以在交通、物流、安防、救援等實(shí)際應(yīng)用領(lǐng)域，再具體細(xì)分為不同的場(chǎng)景，訓(xùn)練出合適的深度學(xué)習(xí)網(wǎng)絡(luò)模型，進(jìn)一步提高視頻監(jiān)控報(bào)警系統(tǒng)的報(bào)警準(zhǔn)確率。