基于殘差注意和非對(duì)稱損失的行人屬性識(shí)別

胡紅梅，張麗紅

(山西大學(xué) 物理電子工程學(xué)院，山西 太原 030006)

行人屬性識(shí)別(Pedestrian Attribute Recognition, PAR)的目的是挖掘給定圖像的目標(biāo)人物屬性，如性別、年齡和服裝風(fēng)格等。行人屬性可以對(duì)行人的外觀特征進(jìn)行精細(xì)表征，被廣泛應(yīng)用于智能監(jiān)控、視頻圖像檢索、行人重識(shí)別等諸多領(lǐng)域，具有廣闊的市場(chǎng)應(yīng)用前景[1]。但由于應(yīng)用場(chǎng)景的不確定性，導(dǎo)致屬性復(fù)雜樣本識(shí)別精度較低和屬性分布不平衡，行人屬性識(shí)別面臨著巨大的技術(shù)挑戰(zhàn)。

為了應(yīng)對(duì)這些挑戰(zhàn)，早期通常采用傳統(tǒng)手工提取特征的方法，如支持向量機(jī)(Support Vector Machines, SVM)。近年來(lái)，基于深度學(xué)習(xí)的行人屬性識(shí)別方法被很多學(xué)者深入研究。Liu等[2]提出利用多方向注意力機(jī)制模塊的網(wǎng)絡(luò)來(lái)定位細(xì)粒度的屬性并增強(qiáng)行人圖像的特征表示；Guo等[3]利用同一圖像的不同空間變換之間視覺注意區(qū)域一致性的假設(shè)，提出用注意一致性損失來(lái)獲得魯棒屬性定位；受特征金字塔網(wǎng)絡(luò)的啟發(fā)，Tang等[4]利用擠壓和激發(fā)(Squeeze-and-excitation networks, SE)塊[5]和空間變壓器網(wǎng)絡(luò)(Spatial Transformer Networks, STN)[6]構(gòu)建了屬性定位模塊，以增強(qiáng)屬性定位；另外，還有通過(guò)挖掘?qū)傩蚤g關(guān)系的方法，如Wang[7]提出的通過(guò)長(zhǎng)短期注意力機(jī)制將行人屬性識(shí)別問(wèn)題轉(zhuǎn)化成為一個(gè)序列預(yù)測(cè)問(wèn)題，期望挖掘出不同屬性間的關(guān)系。最近，Tan等[8]也提出使用圖卷積網(wǎng)絡(luò)(Graph Convolutional Network，GCN)來(lái)關(guān)注屬性關(guān)系，通過(guò)擴(kuò)展神經(jīng)網(wǎng)絡(luò)以使用圖結(jié)構(gòu)來(lái)處理數(shù)據(jù)，以捕獲屬性關(guān)系的上下文關(guān)系[9]。雖然以上提出的注意力機(jī)制或采用GCN的方法提高了屬性識(shí)別性能，卻增加了參數(shù)數(shù)量，導(dǎo)致圖像中行人屬性復(fù)雜樣本識(shí)別精度較低和屬性目標(biāo)大小分布不平衡問(wèn)題并沒有得到很好的解決。

為解決上述問(wèn)題，本文提出一種基于殘差注意的行人屬性識(shí)別網(wǎng)絡(luò)。該網(wǎng)絡(luò)以Resnet50[10]作為骨干網(wǎng)絡(luò)提取出具有語(yǔ)義信息的行人屬性特征，采用屬性類別殘差注意模塊(Attribute Category Residual Attention Module, ACRAM)加強(qiáng)對(duì)屬性所在區(qū)域的識(shí)別并挖掘不同屬性之間的內(nèi)部聯(lián)系。同時(shí)，對(duì)分類器的權(quán)值進(jìn)行歸一化并引入一種非對(duì)稱的損失函數(shù)[11]以降低行人屬性樣本分布不平衡的影響，這種非對(duì)稱損失能夠動(dòng)態(tài)降低權(quán)重和容易分類的負(fù)樣本，丟棄可能錯(cuò)誤標(biāo)記的樣本，提高屬性識(shí)別精度。

1 網(wǎng)絡(luò)框架

本文提出的基于殘差注意的行人屬性識(shí)別網(wǎng)絡(luò)整體框架如圖1 所示，包括特征提取模塊、屬性類別殘差注意模塊和多頭注意特征融合模塊3部分。首先，特征提取模塊采用基于Resnet50的主干網(wǎng)絡(luò)來(lái)提取具有一定語(yǔ)義信息的行人屬性特征，將得到的行人屬性特征通過(guò)1×1卷積解耦成多個(gè)不同的子特征，提取出具有空間依賴性和語(yǔ)義相關(guān)性的自注意力特征；然后，屬性類別殘差注意模塊可以有效地捕獲來(lái)自不同屬性類別的小對(duì)象所占據(jù)的不同空間區(qū)域，以關(guān)注行人屬性的關(guān)鍵部分并挖掘不同屬性之間的內(nèi)部聯(lián)系；最后，特征融合模塊將這些多分支的殘差注意特征相融合，同時(shí)，將融合后的特征輸入分類器得到最終的屬性預(yù)測(cè)。為了更好地加快模型的收斂速度，網(wǎng)絡(luò)中對(duì)分類器的權(quán)值進(jìn)行歸一化(Batch Normalization, BN)并采用非對(duì)稱損失函數(shù)來(lái)降低行人屬性樣本分布不平衡的影響。

圖1 基于殘差注意的行人屬性識(shí)別網(wǎng)絡(luò)整體框架

2 屬性類別殘差注意網(wǎng)絡(luò)結(jié)構(gòu)

屬性類別殘差注意網(wǎng)絡(luò)結(jié)構(gòu)主要是通過(guò)空間自注意力機(jī)制提取分辨率更高的行人屬性局部特征。該網(wǎng)絡(luò)為行人的每個(gè)屬性類別提取最大池化特征，并結(jié)合屬性類別未知的平均池化特征加強(qiáng)對(duì)屬性所在區(qū)域的識(shí)別和挖掘不同屬性類別之間的內(nèi)部聯(lián)系，對(duì)局部細(xì)粒度的行人屬性具有更好的識(shí)別效果。

在行人屬性識(shí)別網(wǎng)絡(luò)圖1 中，對(duì)于給定的行人圖像I，通過(guò)一個(gè)特征提取骨干網(wǎng)絡(luò)φ獲得特征張量x，其中d，h和w為特征張量x的維數(shù)、高度和寬度。

x=φ(I；θ)，

(1)

式中：θ是主干網(wǎng)絡(luò)的超參數(shù)。首先，采用Resnet50作為特征提取骨干網(wǎng)絡(luò)來(lái)提取行人的整體特征，輸入圖像的分辨率為224×224，提取得到2 048×14×14維的特征；然后，將提取到的特征通過(guò)全連接層(1×1卷積)變成c×h×w維的子特征，c是屬性類別。

圖2 殘差注意模塊原理框圖

(2)

(3)

(4)

實(shí)驗(yàn)發(fā)現(xiàn)，將g視為主要的特征向量可以取得良好的屬性識(shí)別效果，ai視為屬性類i的殘余特征。通過(guò)添加這兩個(gè)向量得到第i個(gè)屬性類別殘差注意特征

fi=g+λai,

(5)

式中：λ是結(jié)合全局平均池化和最大池化分?jǐn)?shù)的超參數(shù)。以上就是屬性類別殘差注意模塊，它不僅依賴于一個(gè)位置的殘余特征，還依賴于所有位置的殘余特征。直觀地說(shuō)，當(dāng)輸入的行人圖像中有多個(gè)來(lái)自同一個(gè)屬性類別的小對(duì)象時(shí)，屬性類別殘差注意比單獨(dú)的全局平均池化或者全局最大池化具有明顯優(yōu)勢(shì)。最后第i個(gè)屬性的得分yi定義為

(6)

式中：mi∈R2 048是第i類分類器的參數(shù)。

3 多頭注意力機(jī)制

為了避免對(duì)控制得分準(zhǔn)確性T調(diào)參，進(jìn)一步提出多頭注意力機(jī)制并將其擴(kuò)展應(yīng)用于網(wǎng)絡(luò)分支。殘差注意多個(gè)分支采用不同的超參數(shù)T，但共享相同λ，注意力分支的數(shù)量用H表示，為避免調(diào)參，當(dāng)選擇固定參數(shù)H=1時(shí)即單頭注意力機(jī)制。除了使用H=1外，本文還使用H=2，4，6和8，具體如下：

當(dāng)H=2,T1=1和T2=∞；

當(dāng)H=4,T1∶3=1,2,4和T4=∞；

當(dāng)H=6,T1∶5=1,2,3,4,5和T6=∞；

當(dāng)H=8,T1∶7=1,2,3,4,5,6,7和T8=∞.

不同的T值可以給分支帶來(lái)多樣性從而產(chǎn)生更好的識(shí)別效果，簡(jiǎn)而言之超參數(shù)T可以不用調(diào)參。將不同注意力分支的特征進(jìn)行融合再輸入分類器得到最終的屬性識(shí)別結(jié)果，此過(guò)程分別如式(7)和式(8)

(7)

(8)

式中：Ti是第i個(gè)注意力頭的參數(shù)，c是屬性數(shù)量。為了在訓(xùn)練過(guò)程中加快模型的收斂速度，將分類器的權(quán)值進(jìn)行歸一化。引入歸一化還可以解決以下兩個(gè)問(wèn)題：① 歸一化操作能夠讓不同屬性識(shí)別任務(wù)在同一位置的注意力權(quán)重保持在相同的尺度上；② 歸一化操作得到的注意力權(quán)重可以反映出特征空間對(duì)于不同屬性識(shí)別任務(wù)的相對(duì)重要性。

4 多標(biāo)簽非對(duì)稱損失函數(shù)

損失函數(shù)對(duì)于多屬性分類通常利用二進(jìn)制交叉熵?fù)p失函數(shù)來(lái)估計(jì)預(yù)測(cè)值和真實(shí)值之間的不一致程度[12]，定義如下

log(1-pij),

(9)

(10)

式中：N表示樣本數(shù)量；L表示屬性數(shù)量；yij表示第i個(gè)樣本第j個(gè)屬性的真實(shí)標(biāo)簽；pij表示第i個(gè)樣本第j個(gè)屬性的預(yù)測(cè)概率；xij表示第i個(gè)樣本第j個(gè)屬性。雖然所有屬性都被公平地考慮了，但在行人多屬性識(shí)別中正負(fù)樣本的比例差異較大，訓(xùn)練網(wǎng)絡(luò)對(duì)小比例的屬性識(shí)別性能較差。因此，Zhu等[13]采用加權(quán)二值交叉熵?fù)p失函數(shù)對(duì)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，即在二值交叉熵?fù)p失函數(shù)中引入加權(quán)因子來(lái)平衡正負(fù)樣本比例。該損失函數(shù)公式為

(1-yij)·log(1-Pij)，

(11)

(12)

式中：w為屬性負(fù)樣本占所有樣本的比例；Nj為訓(xùn)練集中屬性的正樣本數(shù)；Nall為訓(xùn)練集中訓(xùn)練的屬性樣本數(shù)量。屬性正樣本和負(fù)樣本之間的比例不平衡問(wèn)題雖然被考慮到了，但樣本分類難度被忽略了。在訓(xùn)練后期大部分簡(jiǎn)單樣本可以被正確分類，只有少數(shù)復(fù)雜樣本可能被錯(cuò)誤分類，但是簡(jiǎn)單樣本占損失函數(shù)的大部分，且梯度方向受簡(jiǎn)單樣本影響較大，而簡(jiǎn)單樣本不能提高分類精度。為了解決這一問(wèn)題，文獻(xiàn)[14]引入簡(jiǎn)單屬性和復(fù)雜屬性的權(quán)重，增加損失函數(shù)中復(fù)雜屬性在總體損失函數(shù)中的比例，提出了一種適合于多屬性分類的焦點(diǎn)損失函數(shù)公式如下

e1-w·(1-yij)·Pijr·log(1-Pij)，

(13)

式中：r是聚焦參數(shù)，其范圍設(shè)置為0到5。為更好地解決行人屬性識(shí)別中樣本不平衡問(wèn)題，本文提出了一種適合多屬性分類的非對(duì)稱損失如式(14)。該損失函數(shù)引入了額外的非對(duì)稱機(jī)制即概率位移轉(zhuǎn)移如式(15)，它對(duì)非常容易分類的負(fù)樣本進(jìn)行硬閾值化，即當(dāng)負(fù)樣本的概率很低時(shí)將被完全丟棄。非對(duì)稱損失在正負(fù)樣本上具有不同操作能夠動(dòng)態(tài)地降低權(quán)重和容易分類的負(fù)樣本，使得優(yōu)化過(guò)程更多地關(guān)注正樣本，并且還能夠丟棄錯(cuò)誤標(biāo)記的負(fù)樣本以更好地提高屬性識(shí)別精度。

(14)

Pm=max(Pij-m,0),

(15)

式中：Pm是概率位移轉(zhuǎn)移，r+和r-分別是正聚焦參數(shù)和負(fù)聚焦參數(shù)，m(m≥0)是概率邊際可調(diào)超參數(shù)，加號(hào)前面是正損失部分，加號(hào)后面是負(fù)損失部分。可以看到，概率位移相當(dāng)于將損失函數(shù)向右移動(dòng)一個(gè)因子m，因此，在Pijr+條件，另外，可以通過(guò)調(diào)整概率邊際m進(jìn)行硬閾值化。

5 實(shí)驗(yàn)結(jié)果及分析

5.1 數(shù)據(jù)集

本文采用公開PETA[15]數(shù)據(jù)集和PA100k數(shù)據(jù)集，部分?jǐn)?shù)據(jù)集中的行人樣本如圖3 所示。其中，PETA數(shù)據(jù)集的19 000張行人圖像主要從不同的室內(nèi)和室外場(chǎng)景捕獲所得，每個(gè)行人有61個(gè)二值屬性和4個(gè)多類別屬性，包括年齡、性別、發(fā)型、攜帶物、鞋子類型等屬性。實(shí)驗(yàn)選取了35個(gè)相對(duì)正負(fù)比例平衡的屬性進(jìn)行訓(xùn)練，分辨率范圍17×39 到169×365像素不等。實(shí)驗(yàn)隨機(jī)將圖像分為訓(xùn)練集9 500張，驗(yàn)證集1 900張，測(cè)試集7 600張。

圖3 數(shù)據(jù)集的部分樣本

PA100K[2]數(shù)據(jù)集通過(guò)室外監(jiān)控?cái)z像頭捕獲所得，是行人屬性識(shí)別中最大的數(shù)據(jù)集。此數(shù)據(jù)集包括10萬(wàn)個(gè)行人圖像，每張圖像具有26個(gè)常用二進(jìn)制屬性，屬性包括全局屬性和局部屬性，性別、年齡等特征等為全局屬性; 手提包、手機(jī)、上裝等特征為局部屬性。圖像分辨率范圍為50×100至758×454像素。整個(gè)數(shù)據(jù)集隨機(jī)被分為3個(gè)數(shù)據(jù)子集進(jìn)行評(píng)估，其中80 000張訓(xùn)練圖像，10 000張驗(yàn)證圖像和10 000張測(cè)試圖像。

5.2 評(píng)估指標(biāo)

在實(shí)驗(yàn)評(píng)估方面，采用了基于標(biāo)簽和基于樣本的兩種評(píng)估準(zhǔn)則來(lái)衡量模型性能。

1)平均精度(mean accuracy, mA)是基于標(biāo)簽的評(píng)估標(biāo)準(zhǔn)，也是屬性識(shí)別算法中最常用的性能度量指標(biāo)[16]。針對(duì)多屬性識(shí)別中屬性樣本不平衡問(wèn)題，平均精度可以防止網(wǎng)絡(luò)模型偏向于一些權(quán)重比例較高的正樣本。具體公式為

(16)

式中：N表示樣本數(shù)量；L為屬性數(shù)量；Pi和TPi分別表示屬性的正樣本數(shù)量和正確識(shí)別的正樣本數(shù)量；Ni和TNi分別表示屬性的負(fù)樣本數(shù)量和正確識(shí)別的負(fù)樣本數(shù)量。它獨(dú)立地處理每個(gè)屬性，而忽略了屬性之間的相關(guān)性。因此，李等[17]提出了一種基于實(shí)例的評(píng)價(jià)標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)更符合人類對(duì)行人屬性的預(yù)測(cè)。

2)準(zhǔn)確性(Accuracy, Acc)、精確率(Precision, Prec)、召回率(Recall, Rec)和F1值4種評(píng)價(jià)指標(biāo)是基于實(shí)例的評(píng)價(jià)標(biāo)準(zhǔn)。具體定義為

(17)

(18)

(19)

(20)

式中：N表示樣本數(shù)量;Yi為第i個(gè)實(shí)例的真實(shí)標(biāo)簽;f(xi)為第i個(gè)實(shí)例的預(yù)測(cè)標(biāo)簽;|·|表示集合中的屬性數(shù)?；趯?shí)例的評(píng)價(jià)準(zhǔn)則是以每個(gè)屬性樣本實(shí)例為單位評(píng)估，其中F1指標(biāo)是精確度和召回率的調(diào)和平均，能夠綜合來(lái)評(píng)價(jià)屬性識(shí)別能力，在多標(biāo)簽圖像分類中具有重要作用。

5.3 實(shí)驗(yàn)對(duì)比與分析

為有效評(píng)估所提出方法的可行性，分別在兩個(gè)最常用的行人屬性數(shù)據(jù)集PETA和PA100K上進(jìn)行了實(shí)驗(yàn)，表1 和表2 是分別在PETA 數(shù)據(jù)集和PA100k數(shù)據(jù)集上本文方法與其他8種基于深度學(xué)習(xí)的行人屬性識(shí)別方法的實(shí)驗(yàn)結(jié)果對(duì)比，并突出顯示了最好的性能。

表1 本文模型與其他不同模型在PETA數(shù)據(jù)集上得到的屬性識(shí)別性能對(duì)比結(jié)果

表2 本文模型與其他不同模型在PA100k數(shù)據(jù)集上得到的屬性識(shí)別性能對(duì)比結(jié)果

從表1 看出，本文所提出的方法在PETA數(shù)據(jù)集上的性能優(yōu)于其他方法，具體地說(shuō)在基于標(biāo)簽和3個(gè)基于樣本的評(píng)價(jià)指標(biāo)達(dá)到了最高值，識(shí)別準(zhǔn)確率略低于其他方法，但相對(duì)于其他多數(shù)方法仍有明顯優(yōu)勢(shì)，該結(jié)果驗(yàn)證了本文模型在行人屬性識(shí)別任務(wù)中的有效性。

表2 是本文模型與其他不同模型在PA100k數(shù)據(jù)集上得到的屬性識(shí)別性能對(duì)比結(jié)果，可以看出，本文方法有3個(gè)基于樣本的評(píng)價(jià)指標(biāo)達(dá)到了最高值，其中屬性的識(shí)別準(zhǔn)確率達(dá)到80.95%。

表3 和表4 分別是本文模型與不同損失函數(shù)結(jié)合在PETA和PA100k數(shù)據(jù)集上的比較結(jié)果，引入本文所提出的非對(duì)稱損失函數(shù)后，在各項(xiàng)指標(biāo)上均有不同程度的提升。這是由于此損失函數(shù)可以動(dòng)態(tài)降低權(quán)重和容易分類的負(fù)樣本，同時(shí)丟棄可能錯(cuò)誤標(biāo)記的樣本，以提高屬性識(shí)別精度。實(shí)驗(yàn)結(jié)果表明，本文所提出的非對(duì)稱損失函數(shù)可以有效提升行人屬性識(shí)別模型的判別能力。

表3 本文模型與不同損失函數(shù)結(jié)合在PETA數(shù)據(jù)集上的比較結(jié)果

表4 本文模型與不同損失函數(shù)結(jié)合在PA100k數(shù)據(jù)集上的比較結(jié)果

本實(shí)驗(yàn)采用224×224尺寸圖像作為骨干網(wǎng)絡(luò)Resnet50輸入，模型的參數(shù)更新采用隨機(jī)梯度下降法(Stochastic Gradient Descent, SGD)實(shí)現(xiàn)，網(wǎng)絡(luò)訓(xùn)練時(shí)設(shè)置的動(dòng)量(Momentum)和權(quán)值衰減參數(shù)(Weight decay)分別為0.9和0.000 5。通過(guò)對(duì)圖片進(jìn)行隨機(jī)擦除、隨機(jī)裁剪、水平翻轉(zhuǎn)和其他操作的數(shù)據(jù)增強(qiáng)處理，增加各類屬性樣本的數(shù)量以提升網(wǎng)絡(luò)的泛化能力。在訓(xùn)練時(shí)輸入圖片的批量大小為64，可訓(xùn)練的迭代次數(shù)為30，學(xué)習(xí)率為0.01。本文方法在PETA數(shù)據(jù)集和PA100k數(shù)據(jù)集上訓(xùn)練的總損失函數(shù)曲線如圖4 所示，從圖中可以看出，隨著迭代次數(shù)增加，模型趨近收斂。由于網(wǎng)絡(luò)對(duì)具有不同學(xué)習(xí)難度及收斂速度的屬性賦予不同的權(quán)重，緩解了行人屬性識(shí)別任務(wù)的負(fù)遷移問(wèn)題，因此，本文方法在行人屬性識(shí)別方法中具有明顯優(yōu)勢(shì)。

圖4 損失函數(shù)曲線

5.4 屬性識(shí)別可視化

為了進(jìn)一步驗(yàn)證本文方法的有效性，從測(cè)試數(shù)據(jù)集中選取了不同視角和場(chǎng)景下單個(gè)行人樣本進(jìn)行實(shí)驗(yàn)，屬性識(shí)別結(jié)果如圖5 所示，每個(gè)行人圖像右側(cè)是其對(duì)應(yīng)的屬性預(yù)測(cè)結(jié)果，其中橫線下半部分藍(lán)色標(biāo)注的為小目標(biāo)細(xì)粒度屬性識(shí)別。從圖5 可以看出，行人正面比背面的屬性信息更為豐富全面，且一些行人小目標(biāo)屬性也能檢測(cè)出來(lái)，如圍巾、眼鏡屬性均被檢測(cè)出來(lái)。綜上所述，本文方法可以有效提高屬性識(shí)別準(zhǔn)確率。

圖5 可視化效果

6 結(jié)束語(yǔ)

本文提出了一種基于Resnet50和屬性類別的殘差注意力機(jī)制相結(jié)合的行人屬性識(shí)別方法。該方法為行人的每個(gè)屬性類別提取最大池化特征，將其與屬性類別未知的平均池化特征相結(jié)合，能夠關(guān)注屬性存在的關(guān)鍵區(qū)域并挖掘不同屬性類別之間的內(nèi)部聯(lián)系；其次，本文還引入了一種新的非對(duì)稱損失，這種損失可以動(dòng)態(tài)地降低權(quán)重和容易分類的負(fù)樣本，同時(shí)丟棄可能錯(cuò)誤標(biāo)記的樣本，以提高識(shí)別精度和收斂速度。屬性類別殘差注意網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單也容易實(shí)現(xiàn)，并且沒有引入額外的訓(xùn)練數(shù)據(jù)，通過(guò)實(shí)驗(yàn)，驗(yàn)證了本文方法的合理性和有效性。在兩個(gè)行人屬性數(shù)據(jù)集上，實(shí)驗(yàn)結(jié)果表明，本文的方法較于其他方法具有明顯優(yōu)勢(shì)。