視頻結構化解析技術在公安警務實戰(zhàn)中的建設與應用

王治 韓祥

1. 安徽省安慶市公安局 2. 浙江杭州海康威視數(shù)字技術股份有限公司

引言

我國的平安城市視頻監(jiān)控建設起源于“科技強警”戰(zhàn)略和城市報警與監(jiān)控系統(tǒng)建設（即“3111”試點工程）兩大項目，從最初的前端點位建設到近幾年的聯(lián)網整合，視頻監(jiān)控技術已經成為繼刑偵、技偵、網偵技術之后公安工作新的技術支撐點。而卡口/微卡口系統(tǒng)作為平安城市視頻監(jiān)控的重要組成部分，在公安機關日常偵查辦案及社會治安管理中發(fā)揮的作用也越來越顯著。從近年的公安刑事案件規(guī)律來看，車輛成為了犯罪分子作案、生活中必不可少的工具，因此車輛的動態(tài)蹤跡在情報研判、調查取證和布控查緝等方面發(fā)揮著重要作用。尤其在治安刑事案件偵破過程中，能否充分發(fā)揮路面卡口的安防監(jiān)控作用，通過視頻偵查技術快速、及時、準確地鎖定目標車輛行蹤，往往成為整個案件突破的關鍵所在。

一、現(xiàn)狀與需求

（一）現(xiàn)狀分析

2015年底，公安部科技信息化局提出了“要將全國的治安卡口數(shù)據(jù)進行統(tǒng)一整合，逐級匯總到部里”的工作目標，以海量車輛數(shù)據(jù)為主線的卡口系統(tǒng)聯(lián)網整合，必將推動平安城市視頻監(jiān)控聯(lián)網建設邁向新高度。全國公安各地建設的卡口系統(tǒng)實現(xiàn)了過車數(shù)據(jù)的結構化，而這些結構化屬性在公安實際應用過程中維度往往是不夠的，如何確定哪些車輛圖片的信息維度是公安業(yè)務應用急需的，從而將這些關鍵屬性進行結構化提取，是本項目的重要問題之一。

在大數(shù)據(jù)時代下的公安信息化建設，講究的是從“汗水警務”到“智慧警務的轉變”，在此過程中需要著重解決的問題是如何實現(xiàn)警務數(shù)據(jù)的有效并軌，煙囪系統(tǒng)的打通，因此本項目的難點之二在于建立一個以過車數(shù)據(jù)為中心的，有效貫通警務數(shù)據(jù)的系統(tǒng)。

安慶市以大數(shù)據(jù)發(fā)展的頂層設計和總體部署為指導，結合實際，規(guī)劃對全市卡口、微卡口、視頻資源進行聯(lián)網整合，以實時視頻中車輛數(shù)據(jù)和過車圖片為主線，將大數(shù)據(jù)、結構化分析、分布式集群、實時搜索引擎、數(shù)據(jù)挖掘等前沿技術與實戰(zhàn)技戰(zhàn)法相結合，打破“事后被動偵查”的治安防控警務工作模式，以期打造一個智能、可視、高效的車輛大數(shù)據(jù)研判系統(tǒng)。

（二）需求分析

在警務應用和視頻偵查實戰(zhàn)中，視頻監(jiān)控系統(tǒng)主要關注人、車等活動目標，在刑偵破案中也往往根據(jù)關鍵區(qū)域視頻監(jiān)控中的人、車等關鍵信息來分析疑犯去向和相關線索。視頻圖像數(shù)據(jù)作為非結構化數(shù)據(jù)，只有實現(xiàn)結構化處理，才能將其中有價值的信息直觀、高效的提供給各個業(yè)務需求部門。而針對城市的車輛防控，當前卡口系統(tǒng)主要通過車牌進行車輛識別，并以車牌為檢索條件，實現(xiàn)從海量過車圖片中查找目標車輛。然而一旦有經驗的犯罪嫌疑人或交通肇事者使用假牌、套牌，或進行車牌遮擋等，常規(guī)僅能識別車牌的系統(tǒng)就難以繼續(xù)獲取目標車輛的動態(tài)信息，遇到該類案情，目前通常只能依據(jù)車輛本身固有和難以更改的信息，如品牌、型號、顏色等從海量過車視頻圖像中依靠人工進行查找和識別目標車輛。

因此安慶市以卡口/微卡口過車數(shù)據(jù)和車輛圖片為主線，通過對車輛圖片進行二次識別獲取結構化信息，同時結合己建天網視頻，對不少于1000路普通道路高清治安視頻中車輛進行實時結構化信息識別并提取，并聯(lián)動公安網上業(yè)務數(shù)據(jù)（如人口庫、車輛登記庫、盜搶車輛庫、前科犯罪人員庫等）進行車輛、人員、案件、物品、現(xiàn)場勘查、電磁軌跡及社會資源數(shù)據(jù)的關聯(lián)串并和碰撞比對，對高危車輛進行深度數(shù)據(jù)挖據(jù)，進一步放大和倍增數(shù)據(jù)價值，服務警務實戰(zhàn)，提高城市公共安全服務水平。

二、新技術的應用

依托云架構的GPU+CPU深度學習的車輛結構化識別技術，結合車輛大數(shù)據(jù)發(fā)展趨勢，設計圍繞“一網感知、云端解析，破解車輛大數(shù)據(jù)融合應用難題”的理念，開展車輛大數(shù)據(jù)研判系統(tǒng)建設，通過織密視頻監(jiān)控+車輛卡口靜態(tài)防控網，全方位感知路網行駛車輛；采用“前端卡口/微卡口車輛圖片提取+前端視頻車輛實時提取+云端解析”的模型，對視頻圖像中的車輛特征信息進行結構化提取，形成解析數(shù)據(jù)資源庫；依托大數(shù)據(jù)、視頻結構化解析等技術實現(xiàn)全網數(shù)據(jù)的融合、碰撞、分析、應用。

（一）視頻結構化解析技術

關于視頻結構化解析技術，業(yè)界內比較容易讓人理解的定義是：視頻結構化解析是指對視頻、圖片內容按語義關系，采用目標檢測、特征提取、對象識別、深度學習等分析手段，組織成可被計算機識別、理解、檢索的文本信息的技術。視頻圖像結構化分析流程如圖1所示。

目前，平安城市視頻監(jiān)控系統(tǒng)產生的海量視頻或圖片大多為非結構化或半結構化數(shù)據(jù)，其中，非結構化視頻或圖片多為原始視頻或圖片，視頻或圖片中的內容均需由人工完成信息的提取與識別；半結構化視頻或圖片，是由計算機提取部分信息，再結合人工完成內容信息的提取與識別。然而，非結構化或半結構化的視頻或圖片，均不能有效被計算機應用于公安基于數(shù)據(jù)開展的實戰(zhàn)業(yè)務中，因此，如何將視頻或圖片中的車輛信息進行結構化提取，將是開展本系統(tǒng)設計的先決條件。

前端設計采用內置智能分析技術的設備作為抓拍單元，實時抓拍過車圖片，提取結構化車輛信息；云端解析設計采用視頻結構化解析技術，對前端智能抓拍單元的過車圖片進行二次分析，深度挖掘車輛信息，如是否放下遮陽板、黃標車、危險品車等。車輛信息結構化分析過程如圖2所示。

（二）大數(shù)據(jù)技術

依托云架構的GPU+CPU深度學習的結構化解析識別技術，采用專業(yè)的圖像處理器GPU，結合車型識別算法，依托分布式計算、計算資源虛擬化等大數(shù)據(jù)技術，深度挖掘過車圖片中有價值車輛信息，建立車輛比對模型，破解傳統(tǒng)技術單純依賴車牌、車型識別車輛的難題；采用中央處理器CPU，結合視頻智能分析算法，提取視頻中過車圖片，識別車輛信息，破解視頻類非結構化數(shù)據(jù)依賴人海戰(zhàn)術提取有價值信息的難題。

在一定時間內通過傳統(tǒng)數(shù)據(jù)庫軟件對其內容進行分析、處理和管理的數(shù)據(jù)集合，一般可用4個V來概括大數(shù)據(jù)的基本特征：volume（大量化）、variety（多樣化）、value（價值密度低）和velocity（處理要求快，即快速化）。大數(shù)據(jù)特征描述示意如圖3所示。

本系統(tǒng)采用的大數(shù)據(jù)技術是針對大數(shù)據(jù)的四大特點，結合公安視頻監(jiān)控業(yè)務實際需求，基于分布式計算、全文搜索引擎等技術進行設計的，主要解決系統(tǒng)海量結構化、半結構化數(shù)據(jù)的存儲，提供數(shù)據(jù)的快速檢索、分析統(tǒng)計應用，并通過大數(shù)據(jù)的深度關聯(lián)分析，對事物的發(fā)展趨勢作出研判、預測。

三、視頻結構化解析系統(tǒng)建設思路和技術方案

（一）建設思路

視頻結構化解析系統(tǒng)建設，主要具體建設三類子系統(tǒng)：（1）解析類子系統(tǒng)，包含視頻結構化分析系統(tǒng)、視頻圖像智能處理工具集等；（2）存儲類子系統(tǒng)，包含海量視頻解析數(shù)據(jù)存儲庫、視頻圖像基礎資源庫、專題資源庫、索引庫等；（3）服務類子系統(tǒng)，包含視頻解析中心管理系統(tǒng)、視頻大數(shù)據(jù)分析系統(tǒng)等。

（二）技術方案

1. 建設思路

視頻結構化解析系統(tǒng)負責對視頻、圖片進行結構化分析，深度挖掘有價值車輛信息；大數(shù)據(jù)計算存儲系統(tǒng)負責存儲云解析系統(tǒng)提取的過車圖片、車輛數(shù)據(jù)、車輛模型數(shù)據(jù)，并對數(shù)據(jù)進行關聯(lián)分析，發(fā)掘數(shù)據(jù)背后隱藏價值；車輛大數(shù)據(jù)應用系統(tǒng)負責為用戶提供各類業(yè)務應用服務，并實現(xiàn)對系統(tǒng)的運維管理。車輛大數(shù)據(jù)“應用云”系統(tǒng)架構如圖4所示。

本次設計采用“前端提取+云端解析”的思路實現(xiàn)對車輛的結構化分析。

前端提取是指通過新建的卡口前端感知系統(tǒng)，部署卡口抓拍單元、微卡口監(jiān)控單元，實時采集現(xiàn)場過車畫面，并對畫面中的車輛特征進行結構化描述，實現(xiàn)前端智能化；云端解析是指中心部署云解析系統(tǒng)，通過分布式、GPU、智能算法等技術方式，實現(xiàn)云分析、虛擬卡口兩大功能，突破傳統(tǒng)技術在數(shù)據(jù)分析、信息挖掘等方面的性能瓶頸。其中云分析負責對前端推送的過車圖片進行二次識別和車輛以圖搜圖建模，深度挖掘車輛的特征信息；虛擬卡口負責對前端推送的視頻進行智能化分析，通過視頻觸發(fā)方式對每一幀圖像中的過往車輛進行抓拍、識別，提取出視頻監(jiān)控中的有用車輛信息。

2. 視頻結構化解析的功能應用

（1）車輛建模與分析主要功能

視頻結構化解析系統(tǒng)主要實現(xiàn)可識別車牌號碼字符、識別11種車身顏色、識別7種車輛車型、識別300多種車輛品牌、可識別5000多種車輛子品牌、遮陽板識別、安全帶識別、打手機識別、黃標車識別、危險品車識別、車輛建模等功能。

（2）大數(shù)據(jù)檢索主要功能

?

3. 解析抓拍庫情況

在市局后端部署視頻結構化解析運算系統(tǒng)，針對不少于1000路的視頻監(jiān)控，進行實時車輛結構化解析，車輛數(shù)據(jù)每天平均約80萬，月數(shù)據(jù)約2500萬條。

四、實戰(zhàn)成果

（一）簡要案情

2017年4月29日上午，安慶市高新區(qū)發(fā)生一起砸轎車車窗玻璃盜竊車內物品的案件，涉案價值一萬余元。

（二）破案經過

1. 視頻尋蹤受阻，案件陷入僵局

案件發(fā)生后，偵查員通過天網視頻發(fā)現(xiàn)案發(fā)時段一戴頭盔、著外套、戴手套駕駛無牌摩托車離開的男子有重大作案嫌疑。經視頻追蹤，嫌疑車輛行駛至迎江區(qū)長風鄉(xiāng)后失去蹤跡，因長風鄉(xiāng)系城鄉(xiāng)結合部，地廣人雜，線索至此中斷，案件陷入僵局。

2. 斷點續(xù)傳，結構化比對獲取嫌疑車輛新軌跡

視頻分析發(fā)現(xiàn)，嫌疑人離開中心現(xiàn)場后，在視頻盲區(qū)脫去外套、手套，但摩托車與頭盔特征比較明顯：

（1）嫌疑人佩戴的頭盔側面有一顆明顯的白色五角星；

（2）摩托車后備箱為銀色；

（3）摩托車正面為黑色擋板。

于是，以案發(fā)當天為軸，在全市范圍的天網監(jiān)控錄像內將上述特征結構化，進行特征的合并搜索，最終成功從數(shù)以億計的資料圖片中，篩選排查出嫌疑人案發(fā)當天早晨在沿江路出現(xiàn)過的蹤跡。

3. 視頻追蹤，鎖定嫌疑人落腳點

重新發(fā)現(xiàn)嫌疑人的蹤跡后，通過天網視頻反向追蹤還原了嫌疑人在案發(fā)當日的行駛軌跡，獲取到嫌疑人于當天上午9時27分從棋盤山路某小區(qū)駛出，結合出入口視頻確定摩托車號牌為皖H9Z508（系套牌）。

犯罪嫌疑人案發(fā)當日行駛軌跡，進入犯罪現(xiàn)場和逃竄的軌跡，全程40公里。

4. 視頻結構化布控，確定活動規(guī)律

依托視頻結構化分析系統(tǒng)，對嫌疑人落腳點出入口的車輛進行結構化布控。經過經營，確定了嫌疑人的日?；顒右?guī)律。6月13日，偵查人員發(fā)現(xiàn)嫌疑人駕駛的皖H9Z508摩托車更換為一輛黑色跨騎。經串并，6月13日安慶市老峰鎮(zhèn)一輛跨騎摩托車被盜，比對發(fā)現(xiàn)，嫌疑人駕駛的摩托車與被盜車輛相似度極高。

通過守候，7月14日早晨在嫌疑人落腳的棋盤山路36號門口將其抓獲。經審訊，嫌疑人陳某闖（男，身份證號碼：34081************，戶籍地址：安慶市迎江區(qū)長風鄉(xiāng)高松村云興組**號）對其在城區(qū)盜竊車內物品、摩托車的犯罪事實供認不諱。

（三）應用分析

實戰(zhàn)案例的成功偵破，關鍵在于：嫌疑人作案前后進行偽裝，通過視頻追蹤無法鎖定蹤跡后，參戰(zhàn)民警精準把握嫌疑人及車輛的細節(jié)特征，靈活運用視頻結構化分析這一先進技術進行比對，斷點續(xù)傳，從無到有，從而發(fā)現(xiàn)嫌疑人落腳點，成功偵破系列盜竊案件。

五、結語

通過視頻結構化析解技術及基于GPU深度學習算法，構建完整的車輛大數(shù)據(jù)分析體系，形成和警務實戰(zhàn)密切結合的技戰(zhàn)法應用，為公安機關提升車輛管理水平、涉車案件破獲等業(yè)務應用提供有力支撐，同時，也會明顯存在不同廠商車輛建模標準不一，沒有行業(yè)標準指導，實戰(zhàn)業(yè)務訴求也沒有被充分挖掘等問題，在結構化信息維度等方面還要進一步調研。