基于人工智能的景區(qū)游客行為視頻分析指標(biāo)體系和算法模型研究

劉 艷

[內(nèi)容提要]本文利用基于人工智能的游客行為視頻分析技術(shù)，解決視頻數(shù)據(jù)瞬時分析、處理和應(yīng)用問題。以視頻分析標(biāo)簽體系為核心，研究游客密度、人流動態(tài)、游客流量、承載壓力等多場景化分類標(biāo)簽體系和景區(qū)重點區(qū)域游客密度算法模型，實現(xiàn)海量視頻數(shù)據(jù)高效檢索、精確定位，提升景區(qū)智慧化運營水平。

引 言

長期以來視頻監(jiān)控技術(shù)在景區(qū)安全管理、緊急救援、資源保護(hù)、服務(wù)效能提升等方面發(fā)揮了重要作用。隨著視頻監(jiān)控規(guī)模逐漸擴(kuò)大，僅依靠人工方式進(jìn)行景區(qū)基礎(chǔ)畫面的巡查調(diào)度暴露出來的局限性越發(fā)突出，如視頻資源存儲成本高、數(shù)據(jù)化整合和深度挖掘分析不夠、算力支撐不足，同時還面臨著海量視頻數(shù)據(jù)檢索困難、數(shù)據(jù)孤島林立、數(shù)據(jù)開放和應(yīng)用水平低的問題 。因此，利用人工智能相關(guān)技術(shù)實現(xiàn)視頻監(jiān)控數(shù)據(jù)的智能化分析越來越迫切。本文主要解決兩個問題：一是利用基于人工智能的游客行為視頻分析技術(shù)，解決視頻數(shù)據(jù)瞬時分析、處理和應(yīng)用問題，提升景區(qū)安全監(jiān)控與應(yīng)急指揮聯(lián)動能力，創(chuàng)新安全監(jiān)管和應(yīng)急指揮模式。二是以視頻分析標(biāo)簽體系為核心，研究游客密度、人流動態(tài)、游客流量、承載壓力等多場景化分類標(biāo)簽體系和景區(qū)重點區(qū)域游客密度算法模型，實現(xiàn)海量視頻數(shù)據(jù)高效檢索、精確定位，提升景區(qū)智慧化運營水平。

一 研究設(shè)計

（一）分析框架

本研究在技術(shù)架構(gòu)層面充分考慮多協(xié)議視頻源接入、視頻數(shù)據(jù)體量大、分布式部署、多應(yīng)用場景下視覺識別及分析等問題，采用分布式微服務(wù)架構(gòu)，以模塊化設(shè)計思想為導(dǎo)向，每個模塊專注于特定的業(yè)務(wù)處理和分析，使每個程序獨立進(jìn)行，耦合性低，且各模塊既高度自治又相互配合，讓平臺具有更高的可擴(kuò)展性和延展性。通過SDK、RTSP、GB28181等協(xié)議接入監(jiān)控視頻，利用人工智能的視頻分析技術(shù)對監(jiān)控視頻進(jìn)行精準(zhǔn)分析?？紤]到視頻數(shù)據(jù)量大且數(shù)據(jù)增速快，通過分布式大數(shù)據(jù)流處理技術(shù)對采集到的視頻數(shù)據(jù)進(jìn)行不同業(yè)務(wù)的實時處理，實現(xiàn)在海量數(shù)據(jù)下實時采集、實時分析、復(fù)雜計算和精準(zhǔn)輸出的要求。匹配突發(fā)事件在不同情景和階段下的不同特征，自動“搬運”數(shù)據(jù)，實現(xiàn)決策的同步迭代 。

（二）研究過程

通過視頻數(shù)據(jù)采集系統(tǒng)采集景區(qū)出入口、核心景觀區(qū)、人流聚集區(qū)、狹窄通道等重點區(qū)域相關(guān)視頻數(shù)據(jù)。充分利用大數(shù)據(jù)、人工智能等新技術(shù)，探索更多公共安全視頻共享應(yīng)用機(jī)制 。對系統(tǒng)采集到的視頻數(shù)據(jù)進(jìn)行清理和數(shù)據(jù)規(guī)約處理，使雜亂、無規(guī)律的數(shù)據(jù)結(jié)構(gòu)化。根據(jù)業(yè)務(wù)需要對結(jié)果數(shù)據(jù)進(jìn)行多維度分析，對分析后的數(shù)據(jù)進(jìn)行標(biāo)簽匹配。之后，按照不同算法模型判斷景區(qū)重點區(qū)域及整體的客流情況，實現(xiàn)管理者對景區(qū)的精準(zhǔn)監(jiān)管和應(yīng)急事件的事前預(yù)警與事中告警。

（三）數(shù)據(jù)來源

本研究所需要的數(shù)據(jù)主要來自文化和旅游部綜合監(jiān)測與應(yīng)急指揮平臺上已經(jīng)接入的全國306家5A景區(qū)和部分4A景區(qū)視頻數(shù)據(jù)。接入內(nèi)容以景區(qū)出入口、售票處、檢票口、核心游覽點、觀景臺、交通接駁點、停車場、景區(qū)內(nèi)重點道路、公共服務(wù)區(qū)（餐廳、購物區(qū)）等游客流量密集區(qū)域的視頻監(jiān)控畫面為主。視頻接入路數(shù)，每個景區(qū)15～20路。視頻監(jiān)控品牌包括海康、大華、宇視、天地偉業(yè)、英飛拓、電信全球眼等20余家。新冠肺炎疫情暴發(fā)以來，部分景區(qū)為降低成本，出現(xiàn)關(guān)閉攝像頭、減少運維人員的情況，導(dǎo)致已接入的景區(qū)視頻出現(xiàn)黑屏或者信號卡頓等情況。目前在線的視頻監(jiān)控2萬余路。

二 視頻監(jiān)控數(shù)據(jù)指標(biāo)體系

項目組圍繞課題研究方向開展了基于人工智能的游客行為視頻分析標(biāo)簽體系研究工作。通過景區(qū)調(diào)研和試點驗證，將視頻監(jiān)控標(biāo)簽劃分為屬性標(biāo)簽和監(jiān)控標(biāo)簽兩大類。本文重點研究基于人流密度標(biāo)簽的算法模型（見表1）。

表1 視頻監(jiān)控數(shù)據(jù)指標(biāo)體系

三 景區(qū)重點區(qū)域游客密度算法模型

目前大多數(shù)景區(qū)對核心區(qū)內(nèi)游客密度的監(jiān)控方式主要以單個監(jiān)控攝像頭識別的數(shù)據(jù)進(jìn)行區(qū)域的人數(shù)統(tǒng)計。由于單路監(jiān)控存在可視范圍盲區(qū)和死角，影響分析結(jié)果的準(zhǔn)確性，現(xiàn)代通信技術(shù)手段雖然早已進(jìn)場，但是僅僅用在某些信息處理的“點”或“線”上，而沒有用在整個信息系統(tǒng)中各功能單位間的信息流轉(zhuǎn)過程中 。亟須設(shè)計一套基于多攝像頭互補的算法模型用于區(qū)域游客密度分析。

景區(qū)重點區(qū)域游客密度算法模型旨在實時監(jiān)測并分析研判景區(qū)內(nèi)主要游覽區(qū)域的游客密度狀態(tài)。依據(jù)景區(qū)內(nèi)核心景點及游客聚集區(qū)域的監(jiān)控視頻流，識別該區(qū)域內(nèi)游客人數(shù)，結(jié)合區(qū)域有效可游覽面積、區(qū)域游客最大承載量及預(yù)警范圍，實時研判區(qū)域內(nèi)的游客密度狀態(tài)，掌握游客分布情況，并對游客大量聚集等異常情況進(jìn)行分級預(yù)警。該模型分析范圍是景區(qū)重要游客匯聚區(qū)域，例如：核心游覽點、觀景臺、購物區(qū)、游客服務(wù)中心等；分析對象是景區(qū)視頻監(jiān)控錄制及切片處理提供的監(jiān)控視頻采樣畫面；分析頻率是景區(qū)每日開園期間內(nèi)每5分鐘一次（或根據(jù)業(yè)務(wù)需要指定分析頻率）。主要包括五個分析步驟。

（一）計算并標(biāo)識多視角畫面的重疊區(qū)域

利用CNN等深度學(xué)習(xí)方法提取畫面特征，通過相似性度量等方法進(jìn)行特征點的匹配（含空間相關(guān)性）。通過“回歸網(wǎng)絡(luò)圖像配準(zhǔn)”計算單應(yīng)性矩陣，獲取各視角畫面重疊區(qū)域的像素空間映射關(guān)系和邊緣交點（見圖1、圖2）。

圖1 計算多視角畫面重疊區(qū)域步驟

圖2 多視角重疊區(qū)域示例

（二）生成圖像密度圖進(jìn)行人數(shù)統(tǒng)計

在分析區(qū)域內(nèi)，多尺度提取非重疊區(qū)域和重疊區(qū)域的畫面人物頭部特征，通過反卷積生成高分辨率密度圖，對密度圖進(jìn)行求和得到具體的人數(shù)。

（三）計算游客密度

生成區(qū)域密度圖可以直觀反映區(qū)域內(nèi)的游客密度狀態(tài)。計算規(guī)則為監(jiān)控區(qū)域內(nèi)游客數(shù)量與該區(qū)域游客最大承載量的比值。

1.依據(jù)《LB/T-034-2014景區(qū)最大承載量核定導(dǎo)則》計算區(qū)域游客最大承載量C1（監(jiān)控區(qū)域內(nèi)能夠容納的最大游客數(shù)量）。

式中：Xi表示i區(qū)域的有效可游覽面積（m2）；Yi表示i區(qū)域的游客單位游覽面積（m2/人）。

2.計算區(qū)域游客密度比值R。反映監(jiān)控區(qū)域游客人數(shù)占該區(qū)域最大承載量的比值，比值越大，密度越高。

式中：n表示AI識別出的該區(qū)域人數(shù)（人）；C1表示該區(qū)域內(nèi)游客最大承載量（人）。

3.計算區(qū)域游客密度指數(shù)TDI。將區(qū)域游客密度比值進(jìn)行歸一化（級差變換處理），得到區(qū)域游客密度。

式中：R 不超過 Rmax，即當(dāng) R>Rmax時，R=Rmax，指數(shù)保留小數(shù)點后1位，四舍五入。

（四）確定指數(shù)取值范圍和級別

通過設(shè)定0～10之間的不同指數(shù)級別，直觀分辨景區(qū)監(jiān)控區(qū)域內(nèi)游客密度的情況（見表2） 。

表2 游客密度指數(shù)范圍和級別

（五）景區(qū)驗證

選取甘肅張掖七彩丹霞景區(qū)游客大廳視頻監(jiān)控數(shù)據(jù)按照上述分析思路進(jìn)行分析，計算出游客密度指數(shù)為0.2，標(biāo)記狀態(tài)為稀疏（見圖3）。

圖3 甘肅張掖七彩丹霞景區(qū)游客大廳監(jiān)控畫面

四 建議

（一）人工智能賦能基礎(chǔ)建設(shè)，實現(xiàn)景區(qū)監(jiān)控智能化

客流量統(tǒng)計不僅有效管控景區(qū)的擁擠問題，而且提高了景區(qū)的旅游舒適度，同時也為景區(qū)的經(jīng)營決策提供了數(shù)據(jù)支持，已經(jīng)成為景區(qū)管理中不可或缺的一部分 。行人檢測和行為分析是智能視頻監(jiān)測中的一個重要的研究熱點和領(lǐng)域。景區(qū)前期的視頻監(jiān)控系統(tǒng)建設(shè)中，大部分?jǐn)z像機(jī)是標(biāo)清攝像機(jī)，少數(shù)是模擬攝像機(jī)，清晰度低，線路部署不方便。視頻數(shù)據(jù)存儲時間短，無法有效管理視頻錄像。視頻監(jiān)控設(shè)備品牌眾多，協(xié)議多樣，較難實現(xiàn)對設(shè)備運行狀態(tài)的集中管理。本研究能夠有效解決傳統(tǒng)監(jiān)控設(shè)備集成AI算法升級更新難度大、跨廠商兼容性差、更換AI監(jiān)控設(shè)備成本大等問題，充分利用景區(qū)已建成的視頻監(jiān)控系統(tǒng)，通過云端的人工智能視覺分析技術(shù)，實現(xiàn)景區(qū)監(jiān)控視頻智能分析，實現(xiàn)對景區(qū)客流、安全事件、環(huán)境等維度的數(shù)據(jù)分析及監(jiān)控。

（二）探索基于標(biāo)簽化的景區(qū)智能監(jiān)控管理模式創(chuàng)新

海量的視頻數(shù)據(jù)里蘊藏著消費者的需求、痛點、偏好、習(xí)慣。它們像石油一樣等待被開采，它們是提高生產(chǎn)效率的新能源 。景區(qū)視頻標(biāo)簽體系用于對海量景區(qū)視頻監(jiān)控進(jìn)行快速檢索、精準(zhǔn)定位和靈活處理，具有很強的專業(yè)性，必須通過深度學(xué)習(xí)，結(jié)合場景、人物、文字等多維度綜合分析才可以提煉出來。傳統(tǒng)的視頻標(biāo)簽主要用于視頻的精準(zhǔn)投放和分發(fā)。本研究建立的景區(qū)視頻監(jiān)控智能分析標(biāo)簽體系可快速檢索并定位出符合條件的景區(qū)，通過對視頻監(jiān)控中的實時數(shù)據(jù)進(jìn)行捕捉和處理，分析視頻中圖像、文字、語音、人臉、物體、行為等多模態(tài)信息，將景區(qū)內(nèi)部實時產(chǎn)生的人流密度、人流動態(tài)、游客流量、接待壓力、公共安全事件、突發(fā)自然災(zāi)害等過程化信息快速呈現(xiàn)，便于有針對性地展開應(yīng)急巡查調(diào)度及分析預(yù)測，充分發(fā)揮視頻內(nèi)容的量化分析價值，強化瞬時響應(yīng)速度。

（三）打造多場景數(shù)據(jù)應(yīng)用，助力監(jiān)管智能化升級

通過對視頻數(shù)據(jù)記錄下的游客行為分析研究，實現(xiàn)無感知景區(qū)游客行為數(shù)據(jù)獲取。將數(shù)據(jù)與業(yè)務(wù)建立對應(yīng)關(guān)系，實現(xiàn)多種事前事件預(yù)警、事中事件告警以及事后事件溯源分析的應(yīng)用場景，大幅提升特定目標(biāo)和場景的搜索效率。快速找到目標(biāo)景區(qū)、目標(biāo)人群、目標(biāo)區(qū)域，降低應(yīng)急管理的人力成本，助力監(jiān)管智能化升級。此外，應(yīng)急事件的事先預(yù)警和事中告警對網(wǎng)絡(luò)的實時響應(yīng)和及時反饋要求極高。如何利用5G網(wǎng)絡(luò)的邊緣計算技術(shù)形成視頻快速傳輸和本地計算處理能力，使得視頻分析數(shù)據(jù)更貼近用戶，僅傳輸依托標(biāo)簽體系精準(zhǔn)定位的視頻資源及分析結(jié)果，降低大規(guī)模視頻接入所需要的帶寬資源和算力資源是亟待解決的問題。機(jī)器有沒有悟性的邊界其實就是人的理解能力的極限 。

五 結(jié)語

智能分析、云計算、云存儲和大數(shù)據(jù)挖掘等眾多創(chuàng)新技術(shù)對公共安全領(lǐng)域的技術(shù)革新產(chǎn)生了深遠(yuǎn)的影響 。在景區(qū)“限量、預(yù)約、錯峰”的常態(tài)化背景下，游客動態(tài)監(jiān)測是景區(qū)安防監(jiān)控領(lǐng)域的研究重點，也是落實動態(tài)預(yù)約的關(guān)鍵。行人通常是監(jiān)控攝像頭中主要的關(guān)注目標(biāo)，對行人目標(biāo)的檢測是其他計算機(jī)視覺處理（比如異常行為分析，動作識別等）工作的基礎(chǔ)，其準(zhǔn)確度對整個系統(tǒng)都有至關(guān)重要的影響。但是對于行人目標(biāo)的準(zhǔn)確識別較為困難，若要實現(xiàn)較高的準(zhǔn)確度，會犧牲系統(tǒng)的速度。算法、數(shù)據(jù)和計算三大基礎(chǔ)要素共同驅(qū)動人工智能發(fā)展 。本研究提出的分析算法，能有效兼顧準(zhǔn)確性和分析速度，不僅能動態(tài)計算核心區(qū)的游客數(shù)量，還可以對實時視頻中的對象進(jìn)行搜索和檢測，從圖像序列中找到游客所在，并且對其行為進(jìn)行簡單的分類。更確切地說就是確定圖像區(qū)域中的行人和行為類型，為后續(xù)開展游客不文明行為和危險行為的監(jiān)測和預(yù)警提供技術(shù)支撐。