吳普民 趙晉揚(yáng) 陳德浪 王喆

1.江蘇省揚(yáng)州市公安局 2.北京曠視科技有限公司

引言

隨著公安信息化建設(shè)的不斷推進(jìn)，我國(guó)平安城市、雪亮工程、治安防控體系戰(zhàn)略的深入發(fā)展，公安機(jī)關(guān)已經(jīng)建設(shè)了海量的視頻攝像機(jī)，初步構(gòu)建起覆蓋公共區(qū)域、要害部位的“天網(wǎng)”，基本實(shí)現(xiàn)“全域覆蓋、全網(wǎng)共享、全時(shí)可用、全程可控”的公共安全視頻監(jiān)控聯(lián)網(wǎng)應(yīng)用。但大規(guī)模視頻產(chǎn)生的海量數(shù)據(jù)也讓指揮中心的工作變得更加繁重，這些晝夜不停記錄的攝像頭每天產(chǎn)生的視頻數(shù)據(jù)總和更是異常龐大，可想而知，僅依靠人力對(duì)視頻進(jìn)行人、地、事、物、組織的甄別，無(wú)異于大海撈針。

視頻結(jié)構(gòu)化技術(shù)的出現(xiàn)及不斷進(jìn)步，為公安部門各警種實(shí)戰(zhàn)應(yīng)用提供了有力的技術(shù)支撐，針對(duì)海量視頻分析、檢索及研判的問(wèn)題，已逐步從人工分析轉(zhuǎn)向基于人工智能技術(shù)的視頻結(jié)構(gòu)化分析，并且在實(shí)際案件偵破中起到了巨大的支撐和幫助，大大減輕了一線民警的工作負(fù)擔(dān)。

隨著社會(huì)形勢(shì)和實(shí)際案件的復(fù)雜程度不斷提高，犯罪嫌疑人的反偵察意識(shí)不斷加強(qiáng)，特別是疫情期間全員佩戴口罩出行對(duì)案件偵破帶來(lái)的新影響，現(xiàn)有視頻結(jié)構(gòu)化技術(shù)研判支撐不足的問(wèn)題日益突出。如何在沒有原始案件圖像的情況下獲取第一張線索圖片、目標(biāo)人員戴口罩的情況下如何及時(shí)發(fā)現(xiàn)目標(biāo)、當(dāng)目標(biāo)人員換裝后如何通過(guò)局部特征找到目標(biāo)人員整體圖像等問(wèn)題，已成為當(dāng)前公安利用視頻結(jié)構(gòu)化技術(shù)進(jìn)行案件偵破工作必須面對(duì)和解決的重要問(wèn)題。

一、視頻結(jié)構(gòu)化技術(shù)在案件偵破中遇到的問(wèn)題

（一）沒有目標(biāo)人員圖像時(shí)，無(wú)法找到第一張線索圖像

在公安實(shí)際案件偵破中，絕大多數(shù)行人識(shí)別方法是拿一張拍到的行人圖片進(jìn)行以圖搜圖，但某些情況下，可能無(wú)法拍到該人的圖像。特別是，刑偵中受害人或目擊者去報(bào)案，只能對(duì)見到的作案人員進(jìn)行描述，例如穿了黃色上衣、黑色褲子、背著雙肩包、戴著帽子等。在這種情況下，只能通過(guò)目標(biāo)人員屬性去尋找，但視頻結(jié)構(gòu)化系統(tǒng)的屬性種類有限，不足以完整描述整個(gè)人的衣著、體貌特征，使得行人識(shí)別效率低下，也就無(wú)法找到第一張線索圖像。

（二）人員戴口罩或面部遮擋時(shí)，無(wú)法第一時(shí)間發(fā)現(xiàn)目標(biāo)人員

在疫情期間，面對(duì)全民戴口罩出行的特點(diǎn)，即使公安機(jī)關(guān)掌握目標(biāo)人員的人臉圖像，利用現(xiàn)有人臉識(shí)別系統(tǒng)進(jìn)行人臉布控，也很難達(dá)到精準(zhǔn)報(bào)警的目的，因?yàn)槿四槺豢谡州^大范圍遮擋，必然會(huì)影響人臉識(shí)別的精準(zhǔn)度，從而導(dǎo)致公安在目標(biāo)人員布控抓捕時(shí)沒有更好的技術(shù)手段輔助。但即使目標(biāo)人員戴口罩時(shí)，其人體衣著特征依然明顯，若能利用視頻結(jié)構(gòu)化系統(tǒng)進(jìn)行人體布控報(bào)警，則大大提高疫情期間公安案件偵破的效率。

（三）目標(biāo)人員換裝后，無(wú)法發(fā)現(xiàn)有效線索

面對(duì)一些高反偵察能力的作案人員，當(dāng)其離開作案現(xiàn)場(chǎng)后，更換作案時(shí)所穿戴的衣著并戴上口罩或進(jìn)行面部遮擋后，當(dāng)其再次出現(xiàn)時(shí)，視頻系統(tǒng)和技術(shù)很難再次發(fā)現(xiàn)目標(biāo)人員?，F(xiàn)有視頻結(jié)構(gòu)化系統(tǒng)很難發(fā)揮實(shí)戰(zhàn)作用，給案件偵破和目標(biāo)人員抓捕帶來(lái)了巨大的困難。

考慮到以上問(wèn)題的同時(shí)，高智商犯罪案件頻頻發(fā)生，犯罪嫌疑人反偵察能力和作案手段層出不窮，公安民警越來(lái)越難以利用現(xiàn)有視頻結(jié)構(gòu)化技術(shù)發(fā)現(xiàn)案件當(dāng)中的有效線索，因此對(duì)視頻結(jié)構(gòu)化技術(shù)的研判能力提出了更高的要求。

二、解決方案

視頻結(jié)構(gòu)化應(yīng)用平臺(tái)應(yīng)充分利用人工智能、大數(shù)據(jù)、云存儲(chǔ)、云計(jì)算等先進(jìn)技術(shù)，廣泛應(yīng)用于公安部門各個(gè)警種，充分利用既有數(shù)據(jù)的價(jià)值，與各業(yè)務(wù)系統(tǒng)廣泛對(duì)接，實(shí)現(xiàn)日常業(yè)務(wù)、案件偵破流程化處理，強(qiáng)化事前、事中、事后的一體化操作流程。

（一）系統(tǒng)架構(gòu)

1.數(shù)據(jù)接入

支持通過(guò)GB/T 28181-2016協(xié)議的TCP/UDP模式接入視頻監(jiān)控聯(lián)網(wǎng)/共享平臺(tái)實(shí)現(xiàn)對(duì)接獲取視頻資源，支持通過(guò)GA/T 1400.4-2017協(xié)議接入視圖庫(kù)，支持RTSP等標(biāo)準(zhǔn)協(xié)議直接接入和管理前端攝像機(jī)資源，通過(guò)Kafka等協(xié)議直接接入和管理交通卡口資源，支持上傳 asf、 avi、 mp4、 mpeg等 H.264、H.265編碼的離線視頻，支持上傳fax、ico、jpeg等格式的離線圖片文件。

2.業(yè)務(wù)應(yīng)用

系統(tǒng)支持對(duì)人臉、人體、機(jī)動(dòng)車和非機(jī)動(dòng)車的結(jié)構(gòu)化分析，提供結(jié)構(gòu)化結(jié)果查詢檢索功能；提供基于人臉、人體、機(jī)動(dòng)車和非機(jī)動(dòng)車屬性的以圖搜圖服務(wù)；提供基于GIS服務(wù)的目標(biāo)展現(xiàn)、軌跡展現(xiàn)等應(yīng)用；擁有統(tǒng)一完善的用戶權(quán)限和系統(tǒng)運(yùn)維，可對(duì)系統(tǒng)硬件、服務(wù)狀態(tài)實(shí)時(shí)監(jiān)控等。

3.系統(tǒng)展現(xiàn)

搭載B/S客戶端，實(shí)現(xiàn)對(duì)視頻接入資源（監(jiān)控圖像、交通卡口、視頻共享/聯(lián)網(wǎng)平臺(tái)）的統(tǒng)一管理；提供視頻結(jié)構(gòu)化的處理過(guò)程、結(jié)果分類展示，以及貼近公安業(yè)務(wù)的查詢檢索交互邏輯；可視化系統(tǒng)運(yùn)維，系統(tǒng)軟硬件狀態(tài)一目了然。

（二）視頻結(jié)構(gòu)化關(guān)鍵技術(shù)

1.行人畫像的生成及基于畫像的行人識(shí)別

隨著視頻結(jié)構(gòu)化技術(shù)的不斷發(fā)展和突破，根據(jù)目擊證人的描述，對(duì)行人衣著、體貌特征的畫像以及基于虛擬畫像進(jìn)行行人識(shí)別成為了可能。

傳統(tǒng)刑偵畫像是根據(jù)目擊者的語(yǔ)言描述，利用素描等方法模擬刻畫出犯罪嫌疑人相貌特征的技術(shù)方法，這項(xiàng)技術(shù)能夠?yàn)楣矀刹槠瓢浮⒋驌舴缸锘顒?dòng)提供一定的技術(shù)支撐與服務(wù)。基于視頻結(jié)構(gòu)化技術(shù)的行人畫像檢索，一方面可以有效補(bǔ)充犯罪嫌疑人相貌特征信息不完整的情況下，利用行人人體信息挖掘價(jià)值線索；另一方面可以利用電腦技術(shù)，所見即所得，減少與目擊證人的語(yǔ)言溝通成本，豐富刑偵技術(shù)手段。

基于輸入信息生成待識(shí)別行人的行人畫像，以及基于行人圖像數(shù)據(jù)庫(kù)和所述行人畫像，利用訓(xùn)練好的行人識(shí)別神經(jīng)網(wǎng)絡(luò)進(jìn)行行人識(shí)別以得到與所述行人畫像相對(duì)應(yīng)的行人信息。同時(shí)，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)將所提取的畫像特征與圖像特征進(jìn)行融合，生成基于畫像的行人識(shí)別方法、裝置、系統(tǒng)和存儲(chǔ)介質(zhì)。對(duì)于無(wú)法提供待識(shí)別行人的行人圖像場(chǎng)景，通過(guò)生成行人畫像來(lái)實(shí)現(xiàn)對(duì)行人的完整視覺描述，并利用神經(jīng)網(wǎng)絡(luò)基于生成的行人畫像實(shí)施行人識(shí)別。相對(duì)于基于文字屬性描述的行人識(shí)別，能夠顯著提高行人識(shí)別效率和準(zhǔn)確度。

2.高精度行人重識(shí)別模型

行人重識(shí)別技術(shù)在公安應(yīng)用已有多年，發(fā)揮了重要的作用，由于行人場(chǎng)景中存在許多和行人外觀十分相似的背景異物，導(dǎo)致行人檢測(cè)系統(tǒng)在這些場(chǎng)景中會(huì)出現(xiàn)錯(cuò)誤檢測(cè)的情況，降低了行人檢測(cè)的精確度。在公安早期實(shí)戰(zhàn)場(chǎng)景中，經(jīng)常出現(xiàn)檢索出的目標(biāo)為樹葉、模糊的汽車等情況，無(wú)法發(fā)揮技術(shù)價(jià)值，錯(cuò)誤的檢測(cè)結(jié)果甚至?xí)?dǎo)致嚴(yán)重后果，行人重識(shí)別也無(wú)法達(dá)到人體布控預(yù)警的精度，因而需要更加精確的檢測(cè)系統(tǒng)，以降低與行人相似的異物對(duì)行人檢測(cè)所造成的干擾。

為了提高行人重識(shí)別的精度，利用基于權(quán)重自調(diào)節(jié)的行人檢測(cè)模型訓(xùn)練方法，將訓(xùn)練圖像輸入至神經(jīng)網(wǎng)絡(luò)，以生成關(guān)于訓(xùn)練圖像中的目標(biāo)對(duì)象的預(yù)測(cè)信息。預(yù)測(cè)信息包括檢測(cè)框位置、檢測(cè)框權(quán)重和檢測(cè)框分?jǐn)?shù)，檢測(cè)框權(quán)重表示檢測(cè)框中目標(biāo)對(duì)象與背景的相似性，相似性越高，則檢測(cè)框權(quán)重越低，計(jì)算檢測(cè)框分?jǐn)?shù)與分?jǐn)?shù)真值之間的第一分類誤差，并根據(jù)檢測(cè)框權(quán)重和計(jì)算檢測(cè)框位置與位置真值之間的位置誤差，進(jìn)一步基于位置誤差更新所述網(wǎng)絡(luò)參數(shù)，使得在行人檢測(cè)模型的訓(xùn)練過(guò)程中自動(dòng)降低與背景相似的行人樣本的檢測(cè)框權(quán)重，從而降低了易混淆樣本對(duì)網(wǎng)絡(luò)參數(shù)的不利影響，極大提高了行人檢測(cè)的精度，使得利用行人重識(shí)別技術(shù)的人體布控成為可能。

3.行人局部目標(biāo)重識(shí)別方法

在視頻結(jié)構(gòu)化的諸多應(yīng)用中，目標(biāo)分析至關(guān)重要，特別是目標(biāo)的身份識(shí)別在公安實(shí)戰(zhàn)中起著核心作用。目前已有行人重識(shí)別（Person Re-identification）[1]、車輛重識(shí)別（Vehicle Re-identification）[2]等身份重識(shí)別（Reid）技術(shù)。以行人重識(shí)別為例，該技術(shù)能夠基于待追蹤行人的一張圖像在城市龐大的攝像頭網(wǎng)絡(luò)所采集的各行人圖像中找到該人。

視頻結(jié)構(gòu)化在實(shí)際應(yīng)用場(chǎng)景下的數(shù)據(jù)非常復(fù)雜，會(huì)受到各種因素的影響，這些因素是客觀存在的，如在車站出入口前、高密度的人群等特殊場(chǎng)景下，行人容易被遮擋，造成只有局部身體暴露在圖像中，以及行人姿態(tài)、配飾、相機(jī)拍攝角度、圖片模糊不清、室內(nèi)外環(huán)境變化、白天晚上光線差異等因素，行人重識(shí)別的精度必然會(huì)受到影響?，F(xiàn)有方式通常是直接將局部圖像與圖像庫(kù)中的全身圖像進(jìn)行匹配，匹配精度不高，重識(shí)別的準(zhǔn)確率較低，無(wú)法達(dá)到以局部特征搜索全局特征的目的。

有鑒于此，通過(guò)大量算法研究及算法訓(xùn)練，對(duì)于局部目標(biāo)重識(shí)別的技術(shù)進(jìn)一步提升，能夠有效提升局部圖像與全身圖像的匹配精度，從而提高重識(shí)別準(zhǔn)確率。通過(guò)對(duì)已有目標(biāo)的全身圖像及待識(shí)別目標(biāo)的局部圖像，將全身圖像與所述局部圖像輸入預(yù)先訓(xùn)練得到的局部目標(biāo)重識(shí)別模型，使局部目標(biāo)重識(shí)別模型基于局部圖像對(duì)全身圖像進(jìn)行仿射變換處理，得到全身圖像的仿射圖像，并確定仿射圖像和所述局部圖像之間的特征間距，基于特征間距判別待識(shí)別目標(biāo)是否與已有目標(biāo)匹配。該技術(shù)與直接比對(duì)局部圖像與全身圖像的傳統(tǒng)方式相比，能夠更好地提升匹配精度，進(jìn)而提升重識(shí)別的準(zhǔn)確率。

在實(shí)戰(zhàn)應(yīng)用中，通過(guò)行人局部目標(biāo)重識(shí)別的方法，提高了視頻結(jié)構(gòu)化技術(shù)對(duì)復(fù)雜多變場(chǎng)景的適應(yīng)性。當(dāng)目標(biāo)人員被部分遮擋、姿態(tài)、配飾、相機(jī)拍攝角度、光線、外部環(huán)境等發(fā)生變化時(shí)，可利用其身體外表未改變的局部特征檢索整體人體圖像，提高檢索首位命中率，提升實(shí)戰(zhàn)價(jià)值，為后續(xù)室內(nèi)外行人動(dòng)線聯(lián)動(dòng)、全城聯(lián)動(dòng)打下基礎(chǔ)。

三、視頻結(jié)構(gòu)化技術(shù)的深度應(yīng)用

（一）畫像檢索

針對(duì)不掌握人臉、人體圖片的關(guān)注對(duì)象，可以根據(jù)其衣著、體貌特征進(jìn)行多維虛擬畫像，以該虛擬畫像圖片在海量結(jié)構(gòu)化數(shù)據(jù)中進(jìn)行檢索，以找到相似度最高的人體圖片，還原關(guān)注對(duì)象的活動(dòng)軌跡，為實(shí)戰(zhàn)應(yīng)用挖掘更多信息。

同時(shí)必須提供符合一線民警操作習(xí)慣和要求的定制人體畫像工具，提供人體畫像搜索機(jī)制，靈活自由搭配人體外形屬性，包括但不限于發(fā)型、帽子、上衣、下衣、外套、鞋、包、配飾、顏色、紋理等細(xì)節(jié)繪制，進(jìn)行跨攝像機(jī)的目標(biāo)檢索。人體畫像工具如圖2所示。

（二）人體布控

疫情期間全員常態(tài)化佩戴口罩、作案人員蒙面及無(wú)法獲取目標(biāo)人員臉部圖像等情況下，可利用基于高精度行人重識(shí)別技術(shù)的人體布控應(yīng)用，對(duì)目標(biāo)人員的人體進(jìn)行精準(zhǔn)布控，以實(shí)現(xiàn)目標(biāo)人員再次出現(xiàn)時(shí)進(jìn)行精準(zhǔn)報(bào)警。

以案發(fā)時(shí)間、地點(diǎn)為基準(zhǔn)，調(diào)取案發(fā)前后某一時(shí)間段的監(jiān)控視頻，利用行人重識(shí)別技術(shù)在各視頻中開展相似目標(biāo)的檢索，對(duì)于相似度較高的檢索目標(biāo)，可作為主動(dòng)布控預(yù)警的底庫(kù)信息，通過(guò)與平臺(tái)對(duì)接的實(shí)時(shí)視頻流進(jìn)行比對(duì)分析，實(shí)現(xiàn)對(duì)關(guān)注目標(biāo)人體的及時(shí)、準(zhǔn)確布控報(bào)警。人體布控截圖如圖3所示。

（三）全目標(biāo)以圖搜圖

通過(guò)對(duì)各種業(yè)務(wù)場(chǎng)景中不同視頻和圖片資源的接入，視頻結(jié)構(gòu)化系統(tǒng)同時(shí)需要對(duì)接入的視圖資源開展全目標(biāo)解析，即可將視圖資源中的人臉、人體、機(jī)動(dòng)車、非機(jī)動(dòng)車及車牌進(jìn)行全目標(biāo)解析，同時(shí)開展全目標(biāo)搜圖應(yīng)用。用戶通過(guò)上傳目標(biāo)圖像，可實(shí)現(xiàn)對(duì)圖像中所有目標(biāo)進(jìn)行檢測(cè)（人臉、人體、機(jī)動(dòng)車、非機(jī)動(dòng)車及車牌），進(jìn)而實(shí)現(xiàn)對(duì)檢測(cè)出的目標(biāo)一鍵式以圖搜圖應(yīng)用。同時(shí)對(duì)檢索結(jié)果支持按照目標(biāo)類型、時(shí)間、地點(diǎn)、卡口類型等進(jìn)行分類聚合，從而可從不同維度分析更多目標(biāo)的線索規(guī)律。全目標(biāo)以圖搜圖如圖4所示。

四、應(yīng)用成效

（一）某地入室搶劫傷人案件偵破

某局接到案件，嫌疑人入室盜竊被發(fā)現(xiàn)后持刀傷人，社會(huì)影響惡劣。公安通過(guò)查找錄像并未發(fā)現(xiàn)有效線索圖片，嫌疑人防范意識(shí)強(qiáng)，人臉、人體都無(wú)法獲取，案件處于停滯狀態(tài)。

通過(guò)畫像檢索技術(shù)，辦案民警根據(jù)目擊證人對(duì)作案人員衣著、體貌特征的描述進(jìn)行畫像，并通過(guò)畫像圖片在涉案視頻中進(jìn)行檢索，檢索后命中該作案人員，后續(xù)成功確認(rèn)其身份并掌握其活動(dòng)規(guī)律，迅速抓捕歸案。

（二）某地摩托車盜竊案件偵破

2020年4月某分局轄區(qū)出現(xiàn)多起盜竊電動(dòng)車、摩托車案件，警方僅掌握一張由小區(qū)內(nèi)監(jiān)控抓拍到的嫌疑人照片，且該嫌疑人戴著墨鏡和口罩無(wú)法進(jìn)行人臉識(shí)別。經(jīng)過(guò)兩天的排查沒有取得更多線索，案件處于停滯狀態(tài)。

經(jīng)過(guò)警方進(jìn)一步人體檢索研判分析，共獲取10個(gè)高價(jià)值線索，掌握其活動(dòng)范圍及活動(dòng)規(guī)律，后續(xù)通過(guò)人體布控，成功抓獲嫌疑人，高效完成了案件的偵破。

（三）某地入室盜竊案件偵破

某局接到報(bào)案，其轄區(qū)內(nèi)發(fā)生了一起入室盜竊案件，由于案發(fā)地點(diǎn)在某地鄉(xiāng)村，監(jiān)控點(diǎn)位稀少，經(jīng)過(guò)警方排查，僅在某村民家中的視頻監(jiān)控中發(fā)現(xiàn)了嫌疑人一張模糊的人體照片。經(jīng)過(guò)對(duì)案發(fā)地附近的監(jiān)控錄像檢索，并未發(fā)現(xiàn)其他相似度較高的人體圖片，案件一度陷入停滯。

經(jīng)過(guò)警方進(jìn)一步排查，利用全目標(biāo)以圖搜圖技術(shù)，導(dǎo)入該人體照片進(jìn)行全目標(biāo)檢索，最終成功檢索出該作案人員騎摩托車的一張照片，并利用該騎摩托車的照片繼續(xù)進(jìn)行全目標(biāo)檢索，警方找到了更多作案人員照片。經(jīng)過(guò)進(jìn)一步研判分析，成功還原其作案軌跡并掌握其活動(dòng)規(guī)律，最終成功將其抓獲。

五、結(jié)語(yǔ)

本文針對(duì)公安日常案件偵破工作中實(shí)際面臨的一些問(wèn)題，總結(jié)探討了視頻結(jié)構(gòu)化技術(shù)和產(chǎn)品在實(shí)戰(zhàn)工作中的深度應(yīng)用，并且視頻結(jié)構(gòu)化深度應(yīng)用技術(shù)已經(jīng)在實(shí)戰(zhàn)中取得了一些戰(zhàn)果。隨著作案人員反偵察意識(shí)的不斷增強(qiáng)、案件的復(fù)雜度不斷增加，提供更精準(zhǔn)、更有效、更貼合實(shí)戰(zhàn)的視頻結(jié)構(gòu)化應(yīng)用技術(shù)是今后較長(zhǎng)一段時(shí)間內(nèi)公安實(shí)戰(zhàn)業(yè)務(wù)的研究和發(fā)展方向。