王晶 韋永來

摘要：跨攝像頭的行人再識(shí)別是智能監(jiān)控系統(tǒng)的基本功能，它為公安干警追蹤犯罪嫌疑人、監(jiān)控犯罪行為提供了有力的技術(shù)支持。文中首先簡(jiǎn)單地介紹了行人再識(shí)別的概念與難點(diǎn)，然后分別從傳統(tǒng)方法和深度學(xué)習(xí)方法兩個(gè)方面詳細(xì)闡述了行人再識(shí)別技術(shù)的研究進(jìn)展，最后針對(duì)公安監(jiān)控系統(tǒng)的實(shí)際應(yīng)用展望了行人再識(shí)別技術(shù)的未來研究方向。

關(guān)鍵詞：行人再識(shí)別;深度學(xué)習(xí);公安監(jiān)控

中圖分類號(hào)：TP18? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? 文章編號(hào)：1009-3044（2018）35-0191-03

Abstract： Cross-camera person re-identification is the basic function of intelligent monitoring system. It provides strong technical support for police to track criminal suspects and monitor criminal acts. This paper first briefly introduces the concept and difficulties of person re-identification， then elaborates the research progress of person re-identification technology from two aspects of traditional methods and deep learning methods， and finally looks forward to the future research direction of person re-identification technology in view of the practical application of public security monitoring system.

Key words： person re-identification; Deep learning; Public security monitoring

隨著我國(guó)“平安城市”建設(shè)的穩(wěn)步推進(jìn)，視頻監(jiān)控設(shè)備已經(jīng)遍布在城市的大街小巷中，形成了一個(gè)巨大的視頻監(jiān)控網(wǎng)絡(luò)，這些監(jiān)控設(shè)備捕獲的視頻為公安干警抓捕犯罪嫌疑人、尋找丟失兒童等提供了有力的線索。每當(dāng)類似案件發(fā)生時(shí)，目標(biāo)人物一定會(huì)在移動(dòng)過程中出現(xiàn)在某些攝像頭下，相關(guān)部門需要在這些監(jiān)控視頻中尋找目標(biāo)人物。如今的監(jiān)控系統(tǒng)大多采用攝像頭實(shí)時(shí)錄像加人工監(jiān)察的方式進(jìn)行，監(jiān)查人員需要持續(xù)的觀察視頻場(chǎng)景的變化，這對(duì)監(jiān)查人員的要求極度苛刻。因此，這種以人工監(jiān)察為主的監(jiān)控系統(tǒng)已無法滿足如今監(jiān)控系統(tǒng)的網(wǎng)絡(luò)化發(fā)展趨勢(shì)。所以利用計(jì)算機(jī)自動(dòng)完成監(jiān)控任務(wù)的智能監(jiān)控系統(tǒng)應(yīng)運(yùn)而生。最初這類系統(tǒng)普遍采用較為成熟的人臉識(shí)別技術(shù)來搜索目標(biāo)行人，但是由于監(jiān)控?cái)z像頭的安裝位置較高、監(jiān)控范圍較廣導(dǎo)致無法獲得較為清晰的人臉圖像，因此這類系統(tǒng)逐漸放棄單純的使用人臉識(shí)別技術(shù)來搜索行人，而是選擇使用全身信息作為人臉之外的重要補(bǔ)充，實(shí)現(xiàn)對(duì)行人的跨攝像頭追蹤。這種被稱之為“行人再識(shí)別”的技術(shù)使得智能監(jiān)控系統(tǒng)的命中率發(fā)生了質(zhì)的變化。但是，目前的行人再識(shí)別算法依然面臨著巨大的挑戰(zhàn)。例如行人姿態(tài)差異、場(chǎng)景光照變化、攝像頭的視角以及相機(jī)成像質(zhì)量等都會(huì)使得同一行人在不同攝像頭下的外觀發(fā)生較大的變化。本文將從傳統(tǒng)方法和深度學(xué)習(xí)方法兩個(gè)方面詳細(xì)闡述行人再識(shí)別技術(shù)的研究進(jìn)展，并對(duì)其未來的研究方向進(jìn)行了展望。

1 傳統(tǒng)方法

現(xiàn)存的傳統(tǒng)方法主要從兩個(gè)方面來提升算法性能：（1）提取更加魯棒性的行人特征描述子來解決行人外觀變化問題;（2）設(shè)計(jì)更具判別力的距離測(cè)度來計(jì)算行人圖像之間的差異。

1.1 特征描述子

特征設(shè)計(jì)主要是為了尋找出對(duì)光照變化、視角變化、人體形變以及行人遮擋等具有不變性的特征描述子，增強(qiáng)不同行人間的特征差異，同時(shí)維持相同行人在不同攝像頭下的外觀不變性。常用的底層特征有顏色特征（RGB、HSV、LAB等）和紋理特征（LBP、SILTP等），但是僅使用底層特征來表示行人圖像難以取得理想效果。近年來，研究人員以底層特征為基礎(chǔ)提出了多種更具魯棒性的特征描述子。Liao等人[1]提出的局部最大發(fā)生特征（LOMO）將顏色特征（HSV）和紋理特征（SILTP）進(jìn)行了有效的融合，并加入了Multi-scale操作，對(duì)圖像進(jìn)行縮放處理，因此該特征具有良好的尺度魯棒性。Chen等人[2]通過改進(jìn)LOMO特征得到了多項(xiàng)式特征，該特征由HSV/SILTP、 HSV/HOG、LAB/SILTP、LAB/HOG組合而成，并通過將圖像分成四個(gè)子區(qū)域，每個(gè)區(qū)域獨(dú)立計(jì)算匹配距離來挖掘圖像的局部細(xì)節(jié)信息（圖1）。文獻(xiàn)[3]的提取特征方式與上文所述不同，它具體到圖像的每個(gè)像素，通過提取每個(gè)像素點(diǎn)的坐標(biāo)、梯度、顏色特征作為基礎(chǔ)信息，再經(jīng)過兩級(jí)不同的高斯變化得到最終的GOG特征。

圖1中，（a）為特征提取，首先將待提取特征區(qū)域通過滑動(dòng)窗口劃分出r個(gè)局部區(qū)域，再對(duì)r個(gè)局部區(qū)域提取出c個(gè)視覺線索（HSV、HOG等），最后將它們串聯(lián)后降維得到最終區(qū)域特征。（b）為距離測(cè)度，首先通過（a）中特征提取方法提取出整幅圖像和四個(gè)子區(qū)域的圖像特征，再將它們一一對(duì)應(yīng)計(jì)算出相應(yīng)的相似度，最后融合五種相似度得到最終的圖像相似度。

1.2 距離測(cè)度

通過推導(dǎo)或者優(yōu)化訓(xùn)練尋找一個(gè)使得相關(guān)目標(biāo)之間的距離減小，不相關(guān)目標(biāo)之間的距離增大的距離測(cè)度方法就稱之為距離測(cè)度學(xué)習(xí)。經(jīng)典的距離測(cè)度學(xué)習(xí)就是馬氏距離，它首先給出一個(gè)先驗(yàn)的相似度函數(shù)（公式1），然后通過標(biāo)記的訓(xùn)練樣本優(yōu)化求解得到M，最后利用M計(jì)算測(cè)試樣本之間的距離來衡量樣本之間的相似度。

基于馬氏距離測(cè)度學(xué)習(xí)的思想，近年來不斷地有新的距離測(cè)度算法被提出，如文獻(xiàn)[4]提出的KISSME算法將相關(guān)行人對(duì)與不相關(guān)行人對(duì)的概率比值作為相似度表達(dá)，進(jìn)而推導(dǎo)出測(cè)度矩陣M。Liao等人[1]提出的子空間學(xué)習(xí)與距離度量學(xué)習(xí)相結(jié)合的算法（XQDA），其測(cè)度矩陣是在學(xué)習(xí)得到的子空間中計(jì)算的。同樣利用子空間學(xué)習(xí)來實(shí)現(xiàn)行人再識(shí)別的還有文獻(xiàn)[5]提出的KCCA算法。還有一些學(xué)者通過將馬氏距離與其他距離相結(jié)合的方法來提高行人再識(shí)別性能，如Chen等人[2]提出的SCSP算法同時(shí)考慮了馬氏距離和雙線性距離，并利用ADMM優(yōu)化函數(shù)學(xué)習(xí)得到M。最終使得該算法較大程度地提升了行人再識(shí)別性能。

隨著各種不同特征描述子和距離測(cè)度函數(shù)不斷被提出，部分學(xué)者開始融合這些特征描述子和距離測(cè)度函數(shù)以達(dá)到更好的識(shí)別效果。比如文獻(xiàn)[11]中提出的融合算法使得其在VIPeR數(shù)據(jù)上的首位命中率（Rank-1）達(dá)到了66.01%，據(jù)我們所知，這也是目前傳統(tǒng)方法在VIPeR數(shù)據(jù)集上取得的最高識(shí)別率。需要指出的是不論哪種特征組合都需要尋找出一種與之相適應(yīng)的距離測(cè)度，因?yàn)橹挥幸粋€(gè)好的特征表達(dá)與有效的度量學(xué)習(xí)相結(jié)合才能實(shí)現(xiàn)高效的行人再識(shí)別。

2 深度學(xué)習(xí)方法

近年來，深度學(xué)習(xí)在圖像分類、目標(biāo)檢測(cè)、人臉識(shí)別等各種計(jì)算機(jī)視覺領(lǐng)域都取得了很大的成功。因此越來越多的學(xué)者將深度學(xué)習(xí)方法應(yīng)用到行人再識(shí)別的研究中。比如，Yi等人[6]提出了一種針對(duì)行人再識(shí)別的Siamese網(wǎng)絡(luò)，該網(wǎng)絡(luò)將輸入圖像劃分為三個(gè)重疊的水平部分，經(jīng)過兩個(gè)卷積層后再通過一個(gè)全連接層進(jìn)行融合，最終得到原始行人圖像的特征向量。Ahmed等人[7]改進(jìn)了Siamese網(wǎng)絡(luò)，通過計(jì)算兩幅輸入圖像的領(lǐng)域差來學(xué)習(xí)視角不變性特征。Cheng等人[8]使用三元組樣本來訓(xùn)練網(wǎng)絡(luò)，使相同行人之間的特征距離縮小，不同行人之間的特征距離增大。諸如此類的網(wǎng)絡(luò)還有很多，但是這些網(wǎng)絡(luò)的關(guān)注點(diǎn)主要還是在全局特征上，就是利用整幅圖像得到一個(gè)特征向量進(jìn)行圖像匹配。但是后來發(fā)現(xiàn)全局特征遇到了瓶頸，于是漸漸開始研究起局部特征。目前最具代表性的就是曠視科技Face++[9]提出的AlignedReID網(wǎng)絡(luò)，該網(wǎng)絡(luò)利用空間局部距離的自動(dòng)對(duì)齊模型，在不需要額外信息的情況下自動(dòng)對(duì)齊局部特征。

和其他的行人再識(shí)別網(wǎng)絡(luò)類似，AlignedReID同樣利用卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，用難樣本開采后的三元損失作為損失函數(shù)，把圖像特征之間的歐式距離作為兩張圖像的相似度。不同之處在于AlignedReID在學(xué)習(xí)圖像相似度的時(shí)候考慮了人體結(jié)構(gòu)的對(duì)齊，雖然之前有學(xué)者考慮過這一點(diǎn)，比如：簡(jiǎn)單地把行人圖像分成頭、身、腿三部分進(jìn)行對(duì)齊;還有更精細(xì)一點(diǎn)的是通過人體骨架估計(jì)，然后再通過骨架信息來對(duì)齊，但是這些網(wǎng)絡(luò)要么在結(jié)果上差強(qiáng)人意要么就需要額外的標(biāo)注工作。而AlignedReID通過引入端到端的思想，讓網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)人體對(duì)齊，進(jìn)而提高行人再識(shí)別性能。

AlignedReID不僅提取全局特征，同時(shí)也會(huì)對(duì)各局部提取局部特征。對(duì)于兩張行人圖像中的任意一對(duì)局部特征，計(jì)算它們之間的距離，構(gòu)成一個(gè)距離矩陣如圖3所示。再通過動(dòng)態(tài)規(guī)劃的方法尋找一條從距離矩陣左上角到右下角的最短路徑，這條最短路徑上的一條邊就代表一對(duì)局部匹配，這樣的人體對(duì)齊方式在保證身體各部分的相對(duì)位置時(shí)總距離也是最短的。在訓(xùn)練階段，最短路徑長(zhǎng)度被加入損失函數(shù)中輔助行人圖像的特征學(xué)習(xí)。仔細(xì)觀察圖3不難發(fā)現(xiàn)，最短路徑中的有些邊是冗余的，例如圖中的第一條邊。其實(shí)局部特征不僅要自我匹配，同時(shí)也要考慮到整個(gè)人體的對(duì)齊。為了使局部匹配能夠從頭到腳按順序執(zhí)行，存在一些冗余的匹配是不可避免的。

AlignedReID使得計(jì)算機(jī)在Market1501和CUHK03上的首位命中率分別達(dá)到了94.0%和96.1%，而一個(gè)熟練的標(biāo)注員在Market1501和CUHK03數(shù)據(jù)集上的命中率卻只有93.5%和95.7%。當(dāng)然，目前利用局部信息提升行人再識(shí)別性能的不僅僅只有曠世科技的這篇AlignedReID，還有云從科技的MGN[11]、Zhao等人[12]的Spindle net等，其中云從科技的MGN更是將Market1501數(shù)據(jù)集上的首位命中率提升至96.6%。這樣的結(jié)果還是相當(dāng)振奮人心的，但是還不能說行人再識(shí)別的任務(wù)被很好地解決了。因?yàn)樵趯?shí)際應(yīng)用場(chǎng)景中不可能在所有監(jiān)控環(huán)境下對(duì)數(shù)據(jù)進(jìn)行標(biāo)注、訓(xùn)練再測(cè)試。一個(gè)可行的思想便是在現(xiàn)有的一些標(biāo)注過的數(shù)據(jù)集上訓(xùn)練，再將訓(xùn)練后的模型在實(shí)際場(chǎng)景中微調(diào)應(yīng)用。Deng等人[10]就是基于這樣的思想提出了“Learning via Translation”框架。該框架主要包含兩個(gè)部分：1）將源域上帶標(biāo)簽的訓(xùn)練數(shù)據(jù)的風(fēng)格遷移到目標(biāo)域的風(fēng)格之上;2）利用風(fēng)格遷移后的數(shù)據(jù)訓(xùn)練一個(gè)行人再識(shí)別模型。由于遷移之后的圖像需要用于行人再識(shí)別的模型訓(xùn)練，因此需要在圖像遷移前后保證圖像的ID不發(fā)生變化。

基于以上的要求，作者提出了SPGAN網(wǎng)絡(luò)（圖5），該網(wǎng)絡(luò)由兩部分組成：（1）改進(jìn)的CycleGAN;（2）控制正負(fù)樣本對(duì)遠(yuǎn)近的SiaNet。對(duì)于CycleGAN部分作者添加了一個(gè)identity loss（公式2）來保證轉(zhuǎn)換前后的相似性，而對(duì)于SiaNet部分作者同樣設(shè)計(jì)了獨(dú)立的損失函數(shù)（公式3）。最后再將這兩個(gè)網(wǎng)絡(luò)的所有損失函數(shù)聯(lián)合起來（公式4），對(duì)整個(gè)SPGAN網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

將在DukeMTMC-reID數(shù)據(jù)集上訓(xùn)練的網(wǎng)絡(luò)模型通過SPGAN遷移到Market-1501上時(shí)，首位命中率可以達(dá)到57.7%;這樣的命中率雖然相對(duì)于有監(jiān)督訓(xùn)練還有較大的差距，但是對(duì)于在缺少標(biāo)簽信息指導(dǎo)的情況下還是相當(dāng)可觀的，同時(shí)這樣的遷移學(xué)習(xí)方法更接近于實(shí)際應(yīng)用場(chǎng)景。

3 總結(jié)與展望

行人再識(shí)別技術(shù)是當(dāng)前計(jì)算機(jī)視覺的熱門研究方向，主要解決跨攝像頭下的行人匹配問題，具有非常重要的理論意義和研究?jī)r(jià)值。例如，在大型公眾場(chǎng)所小朋友與其父母走失后，公安干警可通過行人再識(shí)別技術(shù)幫助其父母迅速找回丟失兒童;而犯罪嫌疑人在犯罪逃竄后，公安干警同樣可利用行人再識(shí)別技術(shù)追蹤犯罪嫌疑人的逃跑路徑。

本文從傳統(tǒng)方法和深度學(xué)習(xí)方法兩個(gè)方面分別闡述了最近幾年的研究進(jìn)展。傳統(tǒng)行人再識(shí)別算法的主要目標(biāo)是尋找更具魯棒性的行人特征和學(xué)習(xí)更具判別性的距離測(cè)度，這種算法的實(shí)現(xiàn)簡(jiǎn)單、實(shí)時(shí)性好且不需要大量的訓(xùn)練數(shù)據(jù);但是這種算法易受數(shù)據(jù)量影響，在數(shù)據(jù)量增大時(shí)其性能會(huì)顯著下滑。基于深度學(xué)習(xí)的行人再識(shí)別算法會(huì)通過深度神經(jīng)網(wǎng)絡(luò)提取出圖像的深度特征，具有較強(qiáng)的泛化能力，在大數(shù)據(jù)集上表現(xiàn)也是異常優(yōu)秀。同時(shí)利用遷移學(xué)習(xí)技術(shù)可以有效地解決實(shí)際應(yīng)用場(chǎng)景中缺乏標(biāo)注數(shù)據(jù)的問題。

雖然行人再識(shí)別技術(shù)已經(jīng)發(fā)展多年，但是因?yàn)閷?shí)際監(jiān)控系統(tǒng)的復(fù)雜性及不穩(wěn)定性使得其依舊面臨著諸多挑戰(zhàn)：1）有限的訓(xùn)練數(shù)據(jù);從現(xiàn)有的行人再識(shí)別數(shù)據(jù)集來看，當(dāng)前收集的數(shù)據(jù)相對(duì)于真實(shí)數(shù)據(jù)的時(shí)空分布是非常有限的和局部的。同時(shí)，與其他計(jì)算機(jī)視覺任務(wù)的數(shù)據(jù)集相比其數(shù)據(jù)規(guī)模也是非常小的。2）非理想場(chǎng)景下行人外觀變化大;行人不對(duì)齊、圖像質(zhì)量低和部分遮擋都會(huì)使得行人外觀發(fā)生巨大變化。3）大規(guī)模數(shù)據(jù)集下的算法效率問題;雖然現(xiàn)有行人再識(shí)別算法在小數(shù)據(jù)集上的表現(xiàn)優(yōu)異，但是隨著監(jiān)控網(wǎng)絡(luò)的擴(kuò)大，其運(yùn)算量將呈指數(shù)增長(zhǎng)。這一系列的問題阻止了行人再識(shí)別技術(shù)的落地應(yīng)用，但同時(shí)也為未來的技術(shù)研究提供了方向，例如，可以通過優(yōu)化算法，提高計(jì)算機(jī)運(yùn)算速度來解決大規(guī)模數(shù)據(jù)集下的算法速率問題;總而言之，隨著技術(shù)的發(fā)展，這一個(gè)個(gè)問題終將在不久的將來被一一解決。

參考文獻(xiàn)：

[1] S. Liao， Y. Hu， X. Zhu， and S. Z. Li. Person re-identification by local maximal occurrence representation and metric learning. In CVPR， 2015.

[2] D. Chen， Z. Yuan， B. Chen， N. Zheng. Similarity Learning with Spatial Constraints for Person Re-identification. In CVPR， 2016.

[3] T. Matsukawa， T. Okabe， E. Suzuki， Y. Sato. Hierarchical Gaussian Descriptor for Person Re-Identification. In CVPR， 2016.

[4] M.Koestinger，M.Hirzer，P.Wohlhart，et al.Large scale metric learning fromequivalence constraints.In CVPR，2012.

[5] Zhang L，Xiang T，Gong S.Learning a Discriminative Null Space for Person Re-identification.In CVPR， 2016，1239-1248.

[6] D. Yi， Z. Lei， S. Liao， S. Z. Li et al.Deep metric learning for person re-identification. In ICPR，vol. 2014， 2014， 34-39.

[7] E. Ahmed， M. Jones， and T. K. Marks. An improved deeplearning architecture for person re-identification. In CVPR，2015.

[8] D. Cheng， Y. Gong， S. Zhou， J. Wang， and N. Zheng. Personre-identification by multi-channel parts-based cnn withimproved triplet loss function. In CVPR， 2016.

[9] Zhang X， Luo H， Fan X， et al. AlignedReID： Surpassing Human-Level Performance in Person Re-Identification[J]. 2017.

[10] Deng W， Zheng L， Ye Q， et al. Image-Image Domain Adaptation with Preserved Self-Similarity and Domain-Dissimilarity for Person Re-identification[J]. 2017.

[11] Mumtaz S， Mubariz N， Saleem S， et al. Weighted hybrid features for person re-identification[C]//International Conference on Image Processing Theory. IEEE， 2018：1-6.

[通聯(lián)編輯：唐一東]