王 茜 陳欣如

1(上海市公安局刑事偵查總隊(duì)信息中心 上海 200083) 2(國網(wǎng)上海市電力公司市南供電公司 上海 201199)

0 引 言

近年來人像識別技術(shù)在公共安全領(lǐng)域中得到了越來越多的應(yīng)用，但許多在專業(yè)刑偵領(lǐng)域中對案件偵破起到?jīng)Q定作用的人像要素，如嫌疑人模擬畫像[1]、目擊者的頭腦印象(mental image)[2]、被害人顱骨復(fù)原像[3]、描述者語義化的特征描述[4]等，由于無法進(jìn)行常規(guī)人像比對和語義化屬性檢索，從而陷入只能依靠人工篩選的困境。同時(shí)在大量視頻偵查應(yīng)用中，許多非正面、殘缺、超分辨率等未達(dá)到人像識別和檢索質(zhì)量要求的素材，而往往被現(xiàn)有的人像檢索系統(tǒng)拒之門外。本文將上述非標(biāo)準(zhǔn)、非常規(guī)的人像檢索問題統(tǒng)一歸類為“非標(biāo)人像檢索”問題，嘗試尋找可行的解決方法。

以往針對“非標(biāo)人像”檢索問題的研究相對較少，在專門對應(yīng)算法方面的研究幾乎空白，因此只能通過人臉角度糾正、超分辨率圖像清晰化處理、人像補(bǔ)全等圖像處理方法修正“素材”來達(dá)到檢索的目的，耗費(fèi)人工且效果不佳。近年來，少數(shù)學(xué)者開始著眼于該領(lǐng)域，文獻(xiàn)[1]基于湯曉鷗教授早期的研究，通過將所有非標(biāo)圖像、頭腦印象均繪制為模擬畫像的方法實(shí)現(xiàn)了異質(zhì)人像(Heterogeneous Image)比對方法，但效果極大地受制于目擊者的描述能力以及繪制者的專業(yè)水平；文獻(xiàn)[2]針對頭腦印象進(jìn)行了深入研究，并試圖通過新興腦科學(xué)中的神經(jīng)影像學(xué)方法偵測出人腦中包含特征的相關(guān)人像；文獻(xiàn)[5]提出了利用人類智能“告知”機(jī)器操作者傾向的交互式檢索技術(shù)，可“根據(jù)用戶需求突出顯示最相關(guān)的結(jié)果”；文獻(xiàn)[6]進(jìn)一步提出了可運(yùn)用交互式技術(shù)解決模糊圖像、頭腦印象搜索問題的觀點(diǎn)，并構(gòu)建了一套基于超圖度量學(xué)習(xí)(HpyerGraph Metric Learning，HML)的交互式人像檢索系統(tǒng)，為本文的研究奠定了基礎(chǔ)。

本文針對非標(biāo)人像檢索的應(yīng)用需求，首先引入公安行業(yè)標(biāo)準(zhǔn)化人像屬性并通過多標(biāo)簽分類神經(jīng)網(wǎng)絡(luò)[7](Multi-label Classification Convolutional Neural Network, MLCNN)實(shí)現(xiàn)了人像屬性分類。接著通過人工交互的方式區(qū)分顯著性與非顯著性語義屬性，提出一種基于顯著性語義屬性的交互式非標(biāo)人像檢索方法，并最終根據(jù)該方法構(gòu)建了一套循環(huán)少、收斂快的交互式人像檢索應(yīng)用。

1 前期工作

1.1 多標(biāo)簽屬性神經(jīng)網(wǎng)絡(luò)

近幾年來，多位學(xué)者提出了基于語義的多標(biāo)簽圖像檢索方案，其中，文獻(xiàn)[8]構(gòu)建了基于支持向量回歸的機(jī)器學(xué)習(xí)方法(Support Vector Regressor based Machine Learning，SVR-L)，以提升算法對高維人臉的分辨能力，并明確提出了該方法可用于“描述檢索嫌疑犯”；文獻(xiàn)[9]提出多標(biāo)記收縮哈希方法，可以保留多標(biāo)記圖像的多水平語義相似性，使其更適用于更大規(guī)模的圖像搜索；文獻(xiàn)[10]提出了通過多標(biāo)簽屬性神經(jīng)網(wǎng)絡(luò)解決多標(biāo)記圖像的快速行人分類檢索方法。文獻(xiàn)[10]和文獻(xiàn)[11]將該方法運(yùn)用于相似服裝的精細(xì)化檢索中，均取得了較好的效果，證明了多標(biāo)簽屬性神經(jīng)網(wǎng)絡(luò)能較好地解決細(xì)粒度(fine-grained)圖像的檢索問題。

1.2 基于公安行業(yè)語義的人像分類屬性

對于人像的描述和特征屬性，我國公安行業(yè)已有現(xiàn)行的國級、部級標(biāo)準(zhǔn)(下簡稱行標(biāo))。較之現(xiàn)有CelebA(Large-scale CelebFaces Attributes Dataset)、LFW(Labeled Faces in the Wild Home)等已知的開放數(shù)據(jù)集而言，行標(biāo)屬性分類一是針對部件(主要指面部五官)的分類更細(xì)致，二是其關(guān)心的五官及整體面部特征與開放數(shù)據(jù)集不盡相同，如CelebA數(shù)據(jù)庫中40種屬性中僅有18種涉及到行標(biāo)關(guān)心的五官及整體面部特征，三是屬性值設(shè)定更加符合國人的表述方式，如三角眼、長方臉等。表1為本文采用的行標(biāo)與CelebA中相關(guān)屬性的比較(僅列出鼻部、前額部的相關(guān)屬性)。本文通過多標(biāo)簽分類神經(jīng)網(wǎng)絡(luò)對人像庫進(jìn)行了基于行標(biāo)分類標(biāo)簽，并生成了基于行標(biāo)語義屬性的人像分類表示集。

表1 本文采用的人像語義屬性與CelebA中的屬性設(shè)置的比較(前額部、鼻部)

1.3 交互式圖像檢索

交互式圖像檢索技術(shù)是將人的參與引入到檢索過程中，以解決人眼視覺和機(jī)器視覺間很難跨越的“語義鴻溝”[7]的檢索技術(shù)。近幾年，學(xué)者們注意到該方法的優(yōu)越性，嘗試將該方法作為人工分辨環(huán)節(jié)(human loop)[12]與各類機(jī)器視覺算法結(jié)合使用，在人像檢索領(lǐng)域中，獲得了較好的應(yīng)用效果。

在交互方式上，絕大多數(shù)交互式系統(tǒng)采用了更加便于機(jī)器理解的“是或否”的二進(jìn)制(binary)選擇方案，部分采用了選擇式方案[6]、比較式方案[8]、問答式方案[13]。本文在交互式檢索部分提出采用了“多選一”式的選擇交互方案，以減少交互次數(shù)、提升算法效率，并通過分類排序和部分丟棄策略進(jìn)一步解決單一交互式系統(tǒng)計(jì)算量大、收斂慢的問題。

1.4 引入顯著性屬性的交互式圖像檢索

圖像顯著性屬性(也可稱為視覺興趣屬性)的原理是讓機(jī)器模仿人眼對圖像不同區(qū)域的重視程度，提取出圖像的主要特征屬性[14]。其難點(diǎn)在于機(jī)器往往對何為顯著性屬性這一問題無法成功把握。對此，本文提出利用交互式系統(tǒng)“人機(jī)互動(dòng)”的天然優(yōu)越性，讓操作者直接“告知”機(jī)器所尋找目標(biāo)的顯著性屬性，從而大大降低了查找的范圍，提升了算法的效率。

2 方法介紹

2.1 整體框架

基于顯著性語義屬性的交互式人像檢索方法主要由以下幾個(gè)步驟組成：基于行標(biāo)語義屬性構(gòu)建一個(gè)多標(biāo)簽學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，將圖像轉(zhuǎn)化為各屬性標(biāo)簽的表示集[15]；進(jìn)行第一次人機(jī)交互，標(biāo)記顯著性語義屬性，分類及分類排序包含顯著性屬性圖像集和剩余圖像集，并根據(jù)策略獲取下一步候選隊(duì)列(candidates)；循環(huán)進(jìn)行第二步層進(jìn)式人機(jī)交互，并根據(jù)人工選擇結(jié)果進(jìn)行再排序，生成下一循環(huán)的候選隊(duì)列，直至操作者確認(rèn)結(jié)束。本文提出的基于顯著性語義屬性的交互式非標(biāo)人像檢索方法的整體框架如圖1所示。

圖1 基于顯著性語義屬性的交互式非標(biāo)人像檢索方法示意圖

2.2 詳細(xì)實(shí)施過程

方法的細(xì)化實(shí)施過程如下：

(1) 設(shè)I幅訓(xùn)練圖像集為{xi|xi∈Xv}，v為圖像向量的維度。設(shè)共計(jì)L個(gè)行業(yè)規(guī)范化屬性標(biāo)簽集合Z為一維二進(jìn)制向量{zl|zl∈Z}。應(yīng)用MLCNN神經(jīng)網(wǎng)絡(luò)，將訓(xùn)練圖像集轉(zhuǎn)化為v×L維的屬性表示集，即：

yi,l=Rep(xi) 1≤i≤I,1≤l≤L

(1)

式中：Rep(·)為從Xv到Y(jié)v×L的轉(zhuǎn)化函數(shù)。在假設(shè)每個(gè)屬性的貢獻(xiàn)(contribution)參數(shù)δ(i,l)一致的情況下，圖像xi基于各屬性的分值函數(shù)Score(xi)為yi,l個(gè)分屬性損失函數(shù)C(i,l)的和，即：

(2)

C(i,l)為各有效屬性的Softmax多標(biāo)記損失函數(shù)值：

(3)

根據(jù)Score(xi)，生成X的屬性分值矩陣Si，從而生成各圖像xi1和xi2間基于屬性的距離函數(shù)Dis(xi1-xi2)：

Dis(xi1-xi2)=(Si1-Si2)T(Si1-Si2)

(4)

(2) 交互式顯著性屬性獲取及初排序。在每次初始化的工作界面上，系統(tǒng)通過交互界面，列出了屬性Z中對應(yīng)的屬性值以供操作者選擇。交互者僅需選擇某幾個(gè)印象深刻、確定屬性的屬性值，而對其他相對模糊、無法確定的屬性選項(xiàng)予以留白。設(shè)每次循環(huán)操作者的選擇為目標(biāo)Qr，其中Q0為我們對初始化操作設(shè)置的目標(biāo)，根據(jù)操作者對s個(gè)輸入的人工選擇集合記為GQ0，我們生成了s個(gè)人工屬性集合GQr={g1,g2,…,gs}。根據(jù)GQr(r=0)，我們將規(guī)范化屬性標(biāo)簽集合Z中所有屬性分類為顯著性屬性和非顯著性屬性，將屬性集zl改寫為zl,φ(l)，并將顯著性屬性判斷函數(shù)φ(i,l)置為：

(5)

(6)

式中:α(r)表示當(dāng){φ(i,l)=1}即判斷該屬性為顯著性，或{φ(i,l)=0}即判斷該屬性為非顯著性時(shí)δ(l)會選用不同的屬性貢獻(xiàn)值;r是交互的循環(huán)次數(shù)。設(shè)初始值α(0)=0.9，且:

α(r+1)=min(0.5，α(0)-0.05r)r>0

從而使后續(xù)循環(huán)中，顯性屬性較之非顯性屬性優(yōu)勢逐漸衰減，直至r=10后，兩者屬性貢獻(xiàn)值一致，從而保證算法在最為重要的前10次循環(huán)中達(dá)到快速收斂的目的。同時(shí)，顯性屬性優(yōu)勢不斷衰減減少顯著性屬性選擇不當(dāng)所造成的損失。

將Y分為Y+和Y-是為了在下一步中實(shí)施不同的圖像集縮小策略，以減少每次交互檢索的計(jì)算量，而設(shè)置較大的α值，會使得初始排序中與目標(biāo)相似屬性越多的訓(xùn)練圖像相似度排序明顯靠前，快速接近目標(biāo)圖像。

將式(6)代入式(5)進(jìn)行重新計(jì)算，獲得了兩個(gè)基于目標(biāo)Qr按距離倒敘排列的基于顯著屬性距離的隊(duì)列RankA(Qr,Ar)∈Y+和非顯著屬性距離排序RankB(Qr,Br)∈Y-。通過Top(·)取位函數(shù)分別取RankA和RankB的前ta和前tb位(本文設(shè)ta=15和tb=5)入選交互顯示集Candidate(r)，即:

Candidate(r)=Top(RankA(Qr,Ar),ta)∩

Top(RankB(Qr,Br),tb)

(7)

獲取了初始候選人排序隊(duì)列Candidate(0)。

(3) 混合相似度再排序交互式檢索。為最大幅度減少人工誤差，增加機(jī)器視覺的輔助判斷作用，在這一步檢索中，對每次人工選擇Choice(r)∈Candidate(r-1)提取的LBP加HSV的整體復(fù)合特征Fu，并采用基于改進(jìn)保持直接簡單原則的度量方法(Keep it Simple and Straightforward Metric, KISSME)生成融合特征相似度距離矩陣A：

Dis(xi1-xi2)=(Ai1-Ai2)T(Vin-1-Vout-1)(Ai1-Ai2)

(8)

根據(jù)式(4)和式(8)生成融合距離函數(shù)，即：

D(xi1-xi2)=(1-μ)Dis(xi1-xi2)+μDis(xi1-xi2)

(9)

式中：μ為輔助特征權(quán)重函數(shù)，將這一權(quán)值設(shè)置簡單化，即如果人工選擇Qr+1落在式(7)中前一循環(huán)候選人隊(duì)列中Top(RankA(Qr,Ar),ta)部分，則說明基于顯著屬性的檢索效果好，執(zhí)行策略1，μ=0.1；反之執(zhí)行策略2，μ=0.5。

為避免無效循環(huán)和加速收斂，在每次循環(huán)的再排序步驟前，增加了聚類后的候選人轉(zhuǎn)化操作Kmean()：

Top′(RankA(Qr,Ar),ta)=

Kmean(Top(RankA(Qr,Ar),ta))

(10)

以Top(RankA(Qr,Ar),ta)為初始質(zhì)心，對RankA(Qr,Ar)集合做k-means聚類操作，獲取新質(zhì)心最近圖片集Top′(RankA(Qr,Ar),ta)。

同時(shí)，為減少每次循環(huán)的計(jì)算量，進(jìn)一步加速收斂，當(dāng)實(shí)施策略1時(shí)，將RankB(Qr,Br)丟棄，將RankA(Qr,Ar)按前后各一半分給RankA(Qr+1,Ar+1)和RankB(Qr+1,Br+1)；反之在策略2中，將RankB(Qr,Br)的后一半丟棄，前一半加入RankA(Qr,Ar)，并根據(jù)式(8)生成的倒序排列前后各半分賦值給RankA(Qr+1,Ar+1)與RankB(Qr+1,Br+1)，再實(shí)施檢索。

基于以上策略，不斷地在進(jìn)行生成Candidate(r)、候選人聚類轉(zhuǎn)化、獲取Qr、生成RankA(Qr,Ar)、生成Candidate(r+1)幾個(gè)操作中進(jìn)行循環(huán)，最終通過人工斷定找到最終目標(biāo)終止循環(huán)。

上述操作和權(quán)值設(shè)置既避免了僅依靠屬性識別帶來的弊端，又可以不斷縮減矩陣大小，減少了每次交互循環(huán)算法的消耗，實(shí)現(xiàn)了提升識別效果和快速檢索目標(biāo)的雙重作用，從而使算法可應(yīng)用于中大型規(guī)模的數(shù)據(jù)集。

3 實(shí) 驗(yàn)

3.1 專業(yè)數(shù)據(jù)庫生成

為貼近行業(yè)應(yīng)用的需求，本文采用了行業(yè)內(nèi)收集的人像樣本,構(gòu)建了30萬人人均1.7幅正面照片庫Df作為訓(xùn)練集。所有圖像根據(jù)行標(biāo)分為73個(gè)語義類別，合計(jì)315個(gè)屬性。為避免某一屬性下零樣本和小樣本的情況，本文手工挑選了Df中1 000人，以保證每個(gè)屬性下的分類圖像數(shù)DifN大于等于5，進(jìn)行了專家級標(biāo)注，該標(biāo)準(zhǔn)人像集記為Ds。通過MLCNN方法，生成了D的屬性表示集Dfd。

驗(yàn)證人員UserS共計(jì)40人，他們被分為2組，UseA組20人為專業(yè)偵查人員，UseB組20人為一般測試人員。

3.2 實(shí)驗(yàn)方法構(gòu)建

實(shí)驗(yàn)將兼顧算法本身性能和應(yīng)用效果，圍繞本文方法的重點(diǎn)，在算法收斂速度、精度、性能，以及應(yīng)用適用性等方面進(jìn)行驗(yàn)證。為此，本文構(gòu)建實(shí)驗(yàn)方法如下：

1) 不同方法生成度量距離的效果比較。本文的檢索性能通過查準(zhǔn)率P(precision)、召回率R(Recall)和F1(F-measure)值衡量，實(shí)驗(yàn)結(jié)果如表2所示。

表2 各算法生成度量距離結(jié)果比較(r=1)

2) 引入顯著性屬性查詢結(jié)果比較。通過計(jì)算累積精度值[8](cumulative precision)P(r)作為每次循環(huán)r可能成功的概率，精確評估算法的性能，結(jié)果如圖2所示。其中，con為無顯著性屬性的結(jié)果，con+為添加顯著性屬性和非顯著性屬性分類的結(jié)果。由于本文算法在r=0時(shí)進(jìn)行了初排序，故P(r)初始值不為0。

圖2 添加顯著性屬性對算法P(r)值的影響

3) 用戶能力對算法結(jié)果影響測試。已知交互式系統(tǒng)對用戶的專業(yè)性、熟練度要求較高，且最終是否能檢索成功存在一定隨機(jī)性[6]。將用戶組UseA和UseB用每種方法共10次進(jìn)行分類結(jié)果記錄，得到表3。最終成功數(shù)也參照設(shè)置HML方法，即60次循環(huán)為人可接受的最大交互次數(shù)，超過則視為失??；其他數(shù)值在統(tǒng)計(jì)中均去除了檢索失敗的情況。其中，本文方法在循環(huán)次數(shù)上均需要加一，這是因?yàn)楸疚姆椒ㄑh(huán)次數(shù)上需要增加其他文獻(xiàn)方法所沒有的顯著性屬性交互初排序步驟(r=0)。

表3 各算法檢索效能比較

4) 對不同應(yīng)用適用性能力應(yīng)用方法比較測試。從D中隨機(jī)選出40幅目標(biāo)圖像作為目標(biāo)集合，其中10幅人像記為Query1被轉(zhuǎn)化為專業(yè)人像畫家根據(jù)照片繪制的模擬畫像，但操作時(shí)為全程可見；10幅人像Query2被進(jìn)行模糊化或殘缺處理(處理至類似低清視頻中效果)，也全程可見；10幅圖像Query3未被處理，但僅允許操作者記憶3秒后隱藏顯示；10幅圖像Query4被轉(zhuǎn)換成60度側(cè)面照(無法完全看清全臉)，且操作時(shí)為全程可見。由UseA、UseB用戶組分別應(yīng)用本文算法進(jìn)行三種目標(biāo)圖像的各10次的檢索，并繪制圖3。

圖3 不同用戶組檢索不同目標(biāo)的P(r)值曲線圖

3.3 實(shí)驗(yàn)數(shù)據(jù)分析

1) 根據(jù)表2可知，本文所用的度量距離方法，在查準(zhǔn)率、召回率、F1值上均達(dá)到同類算法最優(yōu)，尤其是查準(zhǔn)率較之其他算法提高最多，提升了3到7個(gè)百分點(diǎn)，證明了算法在度量距離取值方法上的優(yōu)越性。

2) 根據(jù)圖2，未添加顯著性屬性的con曲線較之con+更加平滑；而添加顯著性屬性的con+升速較快，尤其在前10次循環(huán)中表現(xiàn)更甚，其在第5次達(dá)到了0.453，較之con第5次的0.369提升了8.4個(gè)百分點(diǎn)；在第10次達(dá)到了0.663，較之con第10次的0.577提升了8.6個(gè)百分點(diǎn)；而con+在最后極值達(dá)到0.966，較之con極值0.887提升了7.9個(gè)百分點(diǎn)。實(shí)驗(yàn)結(jié)果充分證明添加顯著性屬性的再排序方法對算法效能提升顯著。

3) 根據(jù)表3，本文算法最終成功檢索數(shù)較之其他算法多，平均循環(huán)次數(shù)上較其他算法有非常大的提升。未加入顯著性的算法con整體上較SVR-L更優(yōu)，略優(yōu)于HML，但加入顯著性屬性后平均循環(huán)次數(shù)明顯減少，平均循環(huán)次數(shù)僅為15.2和11.3，證明了本文算法在減少循環(huán)、快速收斂上的優(yōu)異性。同時(shí)，實(shí)驗(yàn)結(jié)果表明，交互式系統(tǒng)的整體檢索效果仍然與用戶的判斷能力有很大關(guān)聯(lián)，但本文算法會幫助減弱非專業(yè)用戶與專業(yè)用戶之間的差距。

但針對本文唯一一次不成功的檢索進(jìn)行追蹤分析，發(fā)現(xiàn)用戶在r=0時(shí)顯著性屬性判定和r=2時(shí)相似人像選擇連續(xù)兩個(gè)步驟中均判定錯(cuò)誤，正確結(jié)果被排除而導(dǎo)致了任務(wù)失敗。這表明本文算法失敗的主要風(fēng)險(xiǎn)集中于前期顯著性屬性判定步驟中，但這個(gè)是可控的。

4) 由圖3可知，人腦無論針對模擬畫像、模糊殘缺人像，甚至是Query4僅看到側(cè)面的情況下，也能較好把握人像的屬性特征，尤其是專業(yè)人員，這些都是目前機(jī)器視覺很難實(shí)現(xiàn)的，進(jìn)一步說明了在特殊應(yīng)用中選擇交互式算法而非其他僅機(jī)器視覺算法的正確性。同時(shí)，針對模擬畫像Query1，我們發(fā)現(xiàn)非專家組UseB往往在后期循環(huán)交互過程中無法較好把握目標(biāo)轉(zhuǎn)化為真實(shí)人像的特征，導(dǎo)致了該組平均循環(huán)次數(shù)的驟然增加，但該情況在專家組UseA中得到了很大緩解，故本文建議針對模擬畫像的應(yīng)用，所提的方法更適合專家級的用戶使用。

4 結(jié) 語

本文提出一種基于顯著性語義屬性的交互式非標(biāo)人像檢索方法，實(shí)現(xiàn)了一種人工工作量合理、檢索成功率高、收斂速度快、應(yīng)用面廣、符合公安行業(yè)規(guī)范的非標(biāo)人像檢索應(yīng)用。通過融合屬性的距離函數(shù)設(shè)置，逐步減少距離函數(shù)計(jì)算量的圖像集縮小策略，引入顯著性屬性的再排序方法，大大優(yōu)化了算法效率。下一步，我們將進(jìn)一步提升算法對人為判斷錯(cuò)誤的糾錯(cuò)能力，以及尋找針對模擬畫像的檢索應(yīng)用更加行之有效的方法。