• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      結(jié)合MASP和語義分割的雙鏈路行人重識別方法

      2022-12-22 11:46:38朱亞梅施一萍江悅瑩
      關(guān)鍵詞:集上空洞全局

      朱亞梅,施一萍,江悅瑩,鄧 源,劉 瑾

      上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院,上海 201620

      行人重識別旨在通過給定的圖像在不同的攝像機(jī)中搜索同一個人。由于其在視頻監(jiān)控、基于內(nèi)容的圖像檢索等實(shí)際應(yīng)用中的重要性,近年來受到了廣泛的關(guān)注?,F(xiàn)如今,行人重識別仍然面臨許多挑戰(zhàn),如人的姿勢,光照和背景混亂等。此外,不同人群的衣著外觀相似,行人檢測不完善,進(jìn)一步增加了其在實(shí)際應(yīng)用中的難度。

      傳統(tǒng)的行人重識別方法主要依賴手工設(shè)計(jì)的特征和測量學(xué)習(xí)。Li等人[1]提出在行人重識別的距離度量學(xué)習(xí)中為了克服樣本量小的問題,學(xué)習(xí)一個滿足零類內(nèi)散射和正的類間散射的有判別力的零空間,在訓(xùn)練數(shù)據(jù)的判別零空間匹配行人。Liao等人[2]提出了一種有效的特征表示方法——局部最大概率(LOMO)和一種度量學(xué)習(xí)方法——交叉視圖二次判別分析法(XQDA)。傳統(tǒng)行人重識別方法存在一些缺點(diǎn),比如特征表示不足,相似性匹配精度低以及行人識別過程慢等。目前,基于深度學(xué)習(xí)[3]的行人重識別方法是一個熱點(diǎn)研究課題。典型的基于深度學(xué)習(xí)的行人重識別方法關(guān)注兩點(diǎn):學(xué)習(xí)強(qiáng)有力的特征表示來描述行人以及學(xué)習(xí)一個有效的度量學(xué)習(xí)方法,使同一個行人的距離更近,不同人的距離更遠(yuǎn)。Sun等人[4]設(shè)計(jì)了一個PCB網(wǎng)絡(luò)通過硬劃分提取局部特征,然后又提出用于后續(xù)精修的池化部分RPP(refined part pooling),學(xué)習(xí)更具有區(qū)分性的部件信息。Li等人[5]通過多尺度上下文感知網(wǎng)絡(luò)(MSCAN)和空間轉(zhuǎn)換網(wǎng)絡(luò)(STN)學(xué)習(xí)行人的全特征和局部特征。Cheng等人[6]對三元組損失進(jìn)行改進(jìn),考慮了行人的正負(fù)樣本對之間的絕對距離。Xiao等人[7]提出了一種挖掘困難樣本的方法,利用最有相似性的負(fù)樣本和最不相似的正樣本來訓(xùn)練網(wǎng)絡(luò)。

      基于深度學(xué)習(xí)的方法在準(zhǔn)確率和速度上相較于傳統(tǒng)方法都有提升,但仍存在一些問題?,F(xiàn)有的行人重識別模型通常學(xué)習(xí)輸入行人圖像的全局特征表示,或者學(xué)習(xí)一個基于部位的預(yù)定義的剛性部位特征表示或者學(xué)習(xí)兩者的特征融合[8]。盡管這些模型在現(xiàn)有的行人重識別數(shù)據(jù)集上已經(jīng)得到了顯著的結(jié)果,但是仍然存在兩個問題。第一,對于特征學(xué)習(xí),目前流行的深度學(xué)習(xí)模型通常使用單尺度卷積和最大池化層來生成深度網(wǎng)絡(luò)。隨著層數(shù)的增加,這些模型很容易丟失一些小規(guī)模的視覺線索,比如太陽鏡和鞋子。然而這些細(xì)粒度屬性對于區(qū)分類間差異較小的行人對是非常有用的,因此這些模型并不是行人特征學(xué)習(xí)的最佳選擇。第二,由于姿態(tài)變化以及行人檢測的不完善,行人圖像樣本可能會存在未對齊的情況。有時候會包含背景信息或者缺少某些部位,比如腿。在這些情況下,對于基于部位的特征表示,預(yù)定義的剛性分割網(wǎng)絡(luò)可能無法得到兩個行人圖像之間的正確部位對應(yīng)關(guān)系。因此,對于基于部位的特征學(xué)習(xí),剛性的預(yù)定義網(wǎng)格分割遠(yuǎn)遠(yuǎn)不夠魯棒。

      在本文中,提出了聯(lián)合學(xué)習(xí)行人的全局特征和語義部位特征并進(jìn)行融合。針對第一個問題,本文提出多空洞空間卷積金字塔(multiple atrous spatial pyramid,MASP)模塊,來對主干網(wǎng)絡(luò)提取的淺層特征進(jìn)行采樣,對于MASP的每個卷積層,采用具有不同感受野的空洞卷積來獲得多個特征圖,通過這種方式,增強(qiáng)了局部視覺線索的細(xì)粒度區(qū)分,然后通過級聯(lián)融合結(jié)構(gòu)連接不同卷積核的特征圖作為本層的輸出。最后,將MASP輸出的特征圖與主干網(wǎng)絡(luò)輸出的高級特征連接得到融合多尺度信息的行人全局特征。針對第二個問題,不同于剛性部位分割,本文通過語義分割得到行人部位概率圖,然后與行人特征圖加權(quán)融合,得到行人語義部位特征。

      一般來說,全身特征和身體部位特征是相輔相成的,全身特征更關(guān)注全局信息,而身體部位特征更關(guān)注局部區(qū)域信息。為了更好地利用這兩種特征,本文將全局特征和局部特征連接起來,形成最終的行人表示。在測試階段,對兩個特征進(jìn)行L2歸一化,然后采用歐式距離度量相似度來進(jìn)行行人重識別。

      1 結(jié)合MASP和語義分割的雙鏈路模型

      1.1 網(wǎng)絡(luò)結(jié)構(gòu)

      本文提出的方法的重點(diǎn)是學(xué)習(xí)強(qiáng)有力的特征表示來描述行人,該方法的總體框架如圖1所示,主要由全局特征提取鏈路、語義特征提取鏈路組成。

      圖1 本文提出的網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure diagram proposed in this paper

      全局特征提取鏈路首先通過主干網(wǎng)絡(luò)提取淺層特征,通過MASP模塊,使用空洞率分別為1、2、3、4的3×3的空洞卷積對特征圖進(jìn)行采樣,然后通過級聯(lián)融合結(jié)構(gòu)連接不同卷積核的特征圖作為本層的輸出。最后將輸出的特征圖與主干網(wǎng)絡(luò)輸出的高級特征連接得到行人的全局特征fg。

      語義特征提取鏈路通過語義分割網(wǎng)絡(luò),得到行人部位標(biāo)簽圖,將其縮放并變換得到通道部位圖,然后通過主干網(wǎng)絡(luò)提取中層特征,與通道部位圖按照通道相乘得到語義部位特征,最終的語義特征fp為語義各部位特征的最大值融合而得。

      1.2 基于MASP的全局特征提取

      在行人重識別過程中,不僅需要提取行人的高級特征,還需要提取行人的小尺度上下文信息,如帽子、太陽鏡等。采用深度神經(jīng)網(wǎng)絡(luò)提取行人特征。隨著網(wǎng)絡(luò)深度的增加,雖然可以獲得行人的高級特征,但隨著網(wǎng)絡(luò)不斷使用池化操作對特征進(jìn)行下采樣,這些小特征會丟失。針對這一問題,本文提出了一種有效的解決方案,利用不同空洞率的卷積對淺層特征圖進(jìn)行采樣,并將其連接到高級特征圖上,從而可以獲得包含多個比例的圖像上下文信息的特征表示,解決了池化操作導(dǎo)致的小規(guī)模信息丟失問題。

      空洞卷積[9]操作可以根據(jù)空洞率擴(kuò)大普通卷積核的大小??斩淳矸e核大小與原卷積核大小的關(guān)系如式(1)所示:

      其中,F(xiàn)ilter2為空洞后的卷積核的大小,d為空洞率,F(xiàn)ilter1為原卷積核的大小。由式(1)可以看出,利用原卷積的相同大小,使用不同的空洞率,可得到不同大小的空洞卷積。

      圖2是卷積核尺寸為3×3,空洞率為1、2、3的空洞卷積示意圖。采用空洞率為1、2、3,卷積核大小為3×3的卷積,而不采用卷積核大小為3×3、5×5、7×7的卷積,是因?yàn)楹笳邥a(chǎn)生更多的冗余信息,增加計(jì)算量。

      圖2 空洞卷積示意圖Fig.2 Schematic diagram of void convolution

      受文獻(xiàn)[5]的啟發(fā),本文設(shè)計(jì)了MASP網(wǎng)絡(luò)結(jié)構(gòu),即通過一個多尺度的信息融合模塊來提取行人的上下文信息。如圖3所示,主干網(wǎng)絡(luò)Resnet50提取淺層特征U2。然后使用空洞率分別為1、2、3、4的3×3空洞卷積,對特征圖進(jìn)行采樣,通過級聯(lián)融合結(jié)構(gòu)進(jìn)行連接,得到該層的輸出,然后采用1×1卷積調(diào)整特征圖的大小。最后將MASP模塊輸出的特征圖U5與主干網(wǎng)絡(luò)提取的高級特征U4連接,得到融合多尺度上下文信息的全局特征。

      圖3 MASP網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 MASP network architecture

      1.3 基于語義分割的部位特征提取

      行人語義分割是一個細(xì)粒度的語義分割任務(wù),也稱為行人解析,是指對行人圖像上的像素點(diǎn)按照人體的語義部位進(jìn)行分類。語義分割能夠精確定位身體各部位的任意輪廓,即使是在嚴(yán)重位姿變化的情況下,因此語義部位信息非常適合用于輔助行人再識別問題。

      給定輸入圖像,使用現(xiàn)有的語義分割方法SCHP[10]計(jì)算語義解析圖。通過語義分割網(wǎng)絡(luò),將行人分為5個語義區(qū)域,分別為頭發(fā)、臉、上半身、下半身和腳。圖4展示了部分行人圖片以及行人圖片通過SCHP得到的語義分割圖,第一行為行人圖片,第二行是對應(yīng)的語義分割結(jié)果,不同部位用不同的顏色表示。

      圖4 行人語義分割圖示例Fig.4 Person semantic segmentation graph example

      然后,通過ResNet50網(wǎng)絡(luò)來提取行人的全局特征。本文選擇網(wǎng)絡(luò)中間層提取的行人特征與行人語義解析圖加權(quán)融合。之所以選擇使用中間層,是因?yàn)殡S著網(wǎng)絡(luò)的加深,神經(jīng)網(wǎng)絡(luò)會編碼更多的抽象信息以及編碼更高的語義級別特征,比如,深層特征圖和輸入圖像的部位位置關(guān)系不是很清晰,因此將語義解析圖和神經(jīng)網(wǎng)絡(luò)中間層特征圖結(jié)合,是一個很好的選擇,因?yàn)橹虚g層沒有很多的抽象信息,并且同時對豐富的信息進(jìn)行了編碼。

      為了將中間層輸出的特征圖U3與行人語義部位概率圖融合,先將中間層特征U3進(jìn)行雙線性插值變換得到U3',然后將語義部位概率圖M縮放到與U3'同一空間尺度,得到M',再根據(jù)分類轉(zhuǎn)為5個通道部位圖,得到{Mi∈Rw×h}i=1,2,3,4,5。

      然后通過兩步得到行人的語義部位特征,先是將通道部位圖Mi和行人特征圖U3'的每個通道之間應(yīng)用逐元素乘積,再分別進(jìn)行平均池化,得到行人語義部位特征Fi=pooling(U3'×Mi),i=1,2,…,5,F∈R1×1×c×5,然后將各語義部位特征進(jìn)行最大值融合得到行人部位特征fp=(Fi)。

      1.4 損失函數(shù)

      為了增強(qiáng)模型學(xué)習(xí)特征的判別能力,本文結(jié)合度量損失和分類損失共同指導(dǎo)網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)。

      在行人重識別的分類任務(wù)中,經(jīng)常用到交叉熵?fù)p失函數(shù)[11]。交叉熵?fù)p失函數(shù)的公式如下所示:

      其中,ρ表示錯誤率,ρ可以提高模型的泛化能力。根據(jù)文獻(xiàn)[11]本文中將其設(shè)為0.1。N表示行人類別總數(shù)。當(dāng)訓(xùn)練數(shù)據(jù)相對較小時,標(biāo)簽平滑函數(shù)能夠比較有效地提升行人重識別模型的性能。使用標(biāo)簽平滑后,交叉熵?fù)p失函數(shù)表示為:

      其中,bi的值為

      在深度度量學(xué)習(xí)中,經(jīng)常使用三元組損失函數(shù)。三元組損失函數(shù)使同一類別行人樣本的距離更近,不同類別行人樣本之間的距離更遠(yuǎn),從而實(shí)現(xiàn)在特征空間中對同一類行人樣本進(jìn)行聚類。但是,三元組損失只度量樣本間的相對距離,由于其不能提供全局最優(yōu)約束,所以類間的距離可能小于類內(nèi)的距離。因此本文中采用邊界樣本挖掘損失(margin sample mining loss,MSML)[7]。邊界樣本挖掘損失不僅考慮正負(fù)樣本對間的絕對距離,而且引入了難樣本采樣的思想。訓(xùn)練時,在一個batch選擇最不相似的正樣本對和最相似的負(fù)樣本對。

      在公式(5)中,(x)+=max(x,0)。表示a和b的歐式距離,α是用來區(qū)分正樣本與負(fù)樣本的邊界值,a和b是最不相似的正樣本對,r和q是最相似的負(fù)樣本對。如果a和r是同一個類別中的行人,則考慮正負(fù)樣本對之間的相對距離,如果a和r不是同一個類別中的行人,則考慮正負(fù)樣本對的絕對距離。

      本文中的行人重識別模型使用度量損失函數(shù)和分類損失函數(shù)聯(lián)合訓(xùn)練。語義部位特征鏈路輸出的特征向量fp使用交叉熵?fù)p失,全局特征U6使用邊界樣本挖掘損失,同時對fg使用交叉熵?fù)p失。最終的損失函數(shù)表示為:

      在測試階段,將兩個鏈路中的特征fp與fg進(jìn)行級聯(lián)得到行人最終的特征表示,用于行人間的特征比對。

      2 實(shí)驗(yàn)與結(jié)果分析

      2.1 數(shù)據(jù)集和評價(jià)指標(biāo)

      2.1.1 數(shù)據(jù)集

      為了驗(yàn)證本文方法的有效性,所采用的實(shí)驗(yàn)數(shù)據(jù)主要來自目前行人重識別常用的數(shù)據(jù)集:Market1501[13]和DukeMTMC-reID[14]。Market-1501數(shù)據(jù)集包含6個攝像頭拍攝得到的32 668張行人圖像,是由DPM檢測得到的固定尺寸的圖像框。數(shù)據(jù)集包含1 501個行人,訓(xùn)練集有751個,測試集有750個。DukeMTMC-reID數(shù)據(jù)集包含8個高分辨率攝像機(jī)拍攝得到的1 812個行人總共36 411張行人圖像,其中有1 404個行人出現(xiàn)在兩個以上的攝像機(jī)中,408個行人僅出現(xiàn)在一個攝像機(jī)中,這408個行人身份用作干擾項(xiàng)。數(shù)據(jù)集分為兩部分,其中702個行人的16 522張圖像用來訓(xùn)練,其他的2 228張圖像用于查詢,測試集包含17 661張圖像。

      2.1.2 評價(jià)指標(biāo)

      本文采用兩個評價(jià)指標(biāo)來與現(xiàn)有的方法進(jìn)行對比,第一個指標(biāo)為Rank-n,是指給定查詢集中的一張圖片,計(jì)算這張圖片與圖庫集中所有圖片的相似度,從高到低排序,計(jì)算在前n個樣本中有同一個行人的概率。另一個評價(jià)指標(biāo)為mAP,同樣首先計(jì)算相似度,然后計(jì)算AP值即準(zhǔn)確率召回率曲線下方的面積并求均值得到mAP,mAP綜合考慮了查全率和查準(zhǔn)率,對性能的評價(jià)更全面。

      2.2 實(shí)驗(yàn)細(xì)節(jié)

      本文中的模型使用PyTorch來實(shí)現(xiàn)。在開始訓(xùn)練之前將數(shù)據(jù)集中圖片大小調(diào)整為256×128,通過隨機(jī)擦除進(jìn)行數(shù)據(jù)增強(qiáng),隨即擦除概率為0.5。實(shí)驗(yàn)中使用的2個數(shù)據(jù)集,預(yù)先使用SCHP[10]模型進(jìn)行行人語義解析,該方法是在LIP[15]數(shù)據(jù)集上訓(xùn)練的。模型訓(xùn)練共迭代100次,每個訓(xùn)練批次由8個不同身份的行人,每個行人隨機(jī)選取4張圖片組成,即訓(xùn)練批次大小設(shè)置為32。每個批次使用隨機(jī)梯度下降來更新參數(shù),動量設(shè)置為0.9。初始學(xué)習(xí)率設(shè)置為0.03,在經(jīng)過60個批次后學(xué)習(xí)率降為0.003。圖4顯示了Market-1501和DukeMTMC-reID的語義分割示例結(jié)果,SCHP對這兩個數(shù)據(jù)集都有很好的泛化。

      2.3 對比實(shí)驗(yàn)

      本節(jié)將所提出的模型與現(xiàn)有的先進(jìn)方法進(jìn)行比較。在Market-1501和DukeMTMC-reID數(shù)據(jù)集中分別測試了Rank-1和mAP性能指標(biāo),從表1可以看出,本文提出的模型在2個數(shù)據(jù)集中都取得不錯的效果。BagTricks[11]提出了一個強(qiáng)有力的基線模型,即通過分別對backbone使用6個訓(xùn)練技巧,來提升基線模型的識別能力,證明一些訓(xùn)練技巧可以有效提升網(wǎng)絡(luò)性能,本文與BagTricks相比,重識別效果提升不是很明顯,但是研究的側(cè)重點(diǎn)不同,本文通過改進(jìn)網(wǎng)絡(luò)模型來提升重識別準(zhǔn)確率,根據(jù)BagTricks的研究結(jié)果,如果要進(jìn)一步提升識別準(zhǔn)確率,采用適當(dāng)?shù)挠?xùn)練技巧,將會有顯著提升。PCB[4]對行人的局部特征進(jìn)行了有效的學(xué)習(xí),但是缺少對全局特征的學(xué)習(xí),因此在Market-1501數(shù)據(jù)集上,本文方法的Rank-1提高了2.4個百分點(diǎn),mAP提高了8.9個百分點(diǎn);在DukeMTMC-reID數(shù)據(jù)集上Rank-1提高了5.2個百分點(diǎn),mAP提高了9.1個百分點(diǎn)。SP-ReID[16]利用行人解析模型來提取行人的語義部位特征,并將行人的全局特征、前景特征和語義部位特征融合得到行人最終的特征表達(dá),但是缺少對因網(wǎng)絡(luò)加深而丟失的小規(guī)模視覺線索的特征提取,因此本文方法的Rank-1在Market-1501數(shù)據(jù)集上提高了3.2個百分點(diǎn),在DukeMTMC-reID數(shù)據(jù)集上提高了3.6個百分點(diǎn),mAP在Market-1501數(shù)據(jù)集上提高了6.6個百分點(diǎn),在DukeMTMC-reID數(shù)據(jù)集上提高了6.4個百分點(diǎn)。實(shí)驗(yàn)結(jié)果表明,本文的方法優(yōu)于當(dāng)前主流的方法。

      表1 不同方法在兩個數(shù)據(jù)集上的性能比較Table 1 Performance comparison of different methods on two datasets 單位:%

      考慮到采用不同空洞率的卷積以及空洞卷積的數(shù)量對行人識別效果的影響,分別設(shè)置對比實(shí)驗(yàn)來驗(yàn)證本文選取的方法的有效性。首先設(shè)置4組空洞率分別相同的卷積與本文方法進(jìn)行對比,空洞率分別設(shè)為1、2、3、4。在兩個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如圖5所示。由圖可知,采用空洞率分別為1、2、3、4的卷積組合的mAP和Rank-1值均高于采用空洞率相同的卷積組合,由此證明本文采取的卷積組合性能優(yōu)于采用相同卷積的組合。

      圖5 空洞率尺寸組合對性能的影響Fig.5 Effect of dilation ratio size combination on performance

      其次,分別設(shè)置空洞卷積個數(shù)為1、2、3的卷積組合與本文方法進(jìn)行比較,在兩個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如圖6所示。由圖可知,隨著卷積數(shù)量的增加,Rank-1識別率和mAP值也在逐步增加。當(dāng)卷積數(shù)量增加到5時,雖然Rank-1和mAP略有提升,但提升不是很大,考慮到模型復(fù)雜度,最終選取空洞卷積數(shù)量為4來提取行人的多尺度信息。

      圖6 空洞卷積數(shù)量對性能的影響Fig.6 Effect of number of dilation convolution on performance

      2.4 消融實(shí)驗(yàn)

      本節(jié)通過消融實(shí)驗(yàn)來深入研究本文提出方法的有效性。其中基線模型是ResNet50,用LG表示,在此基礎(chǔ)之上進(jìn)行改動。用LG-P表示使用行人全局特征和語義部位特征融合的方法,但是不采用MASP模塊,LG+MASP表示加入了MASP模塊的全局特征,但是沒有融合語義部位特征,LG-P+MASP表示本文的網(wǎng)絡(luò)結(jié)構(gòu)。分別評估LG-P+MASP網(wǎng)絡(luò)、LG+MASP網(wǎng)絡(luò)、LG-P網(wǎng)絡(luò)和LG網(wǎng)絡(luò)在2個數(shù)據(jù)集上的識別性能,如圖7所示,對于每張查詢的行人圖像,按照相似度計(jì)算的結(jié)果,排列出前10張,其中正確的結(jié)果用綠色數(shù)字表示,錯誤的結(jié)果用紅色數(shù)字表示。從圖7可以看出,LG-P+MASP網(wǎng)絡(luò)的性能最優(yōu),LG-P網(wǎng)絡(luò)和LG+MASP網(wǎng)絡(luò)次之,LG-P+MASP網(wǎng)絡(luò)和LG-P網(wǎng)絡(luò)以及LG+MASP網(wǎng)絡(luò)性能都高于ResNet50網(wǎng)絡(luò)。

      圖7 行人檢索結(jié)果排序圖Fig.7 Person retrieval results sequencing map

      表2所示為LG、LG-P、LG+MASP網(wǎng)絡(luò)和本文提出的LG-P+MASP網(wǎng)絡(luò)的定量實(shí)驗(yàn)結(jié)果,相較于LG,LG-P網(wǎng)絡(luò)在Market-1501數(shù)據(jù)集上,mAP提升了6.5個百分點(diǎn),Rank-1提升了3.8個百分點(diǎn),在DukeMTMC-reID數(shù)據(jù)集上,mAP提升了5.6個百分點(diǎn),Rank-1提升了4.3個百分點(diǎn),即在2個數(shù)據(jù)集上,LG-P網(wǎng)絡(luò)比ResNet50網(wǎng)絡(luò)對行人重識別的識別效果更好。實(shí)驗(yàn)結(jié)果表明,行人重識別中,全局特征和語義部位特征的結(jié)合共同作用,可以使行人重識別效果提升。語義部位信息從一定程度上補(bǔ)充了全局特征的不足,語義特征是由語義部位特征得來的,相當(dāng)于局部特征的融合,能夠與全局特征互補(bǔ),使得最終的行人特征具有不同尺度的信息。

      表2 本文提出的行人重識別方法在兩個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Table 2 Experimental performance of person re-identification method proposed in this paper on two datasets 單位:%

      相較于LG網(wǎng)絡(luò),LG+MASP網(wǎng)絡(luò)在Market-1501數(shù)據(jù)集上Rank-1提升了5.7個百分點(diǎn),mAP提升了8.7個百分點(diǎn),在DukeMTMC-reID數(shù)據(jù)集上,Rank-1提升了5.5個百分點(diǎn),mAP提升了9.5個百分點(diǎn)。相較于LG-P網(wǎng)絡(luò),本文提出的LG-P+MASP網(wǎng)絡(luò)同樣能夠使重識別效果進(jìn)一步提升。在Market-1501數(shù)據(jù)集上,Rank-1提升了6.4個百分點(diǎn),mAP提升了12.2個百分點(diǎn),在DukeMTMC-reID數(shù)據(jù)集上,Rank-1提升了4.3個百分點(diǎn),mAP提升了9.8個百分點(diǎn)。因此可知,在特征提取時采取MASP模塊對淺層特征進(jìn)行采樣,提取多尺度特征,并與高級特征連接的方式是有效的。本文提出的網(wǎng)絡(luò)結(jié)合了全局特征和語義部位特征,且通過MASP模塊獲得包含多個比例的圖像上下文信息的特征表示,相比于ResNet50網(wǎng)絡(luò),本文提出的方法明顯使行人重識別性能有效提升。

      3 結(jié)束語

      由于行人重識別中存在行人姿勢多變,行人圖像樣本未對齊等問題,為了學(xué)習(xí)魯棒的特征表示來描述行人,本文提出了結(jié)合MASP和語義分割的雙鏈路行人重識別方法。通過MASP模塊對行人淺層特征通過并聯(lián)的空洞卷積進(jìn)行采樣,然后與高級特征連接,得到融合多尺度信息的行人全局特征,同時使用語義分割網(wǎng)絡(luò)輸出概率圖與主干網(wǎng)絡(luò)的中層特征加權(quán)融合提取行人的語義部位特征,并最后在測試階段,將行人全局特征和語義部位特征連接,用于相似性度量。本文方法對特征進(jìn)行了多細(xì)粒度表示,有效地提升了特征向量的復(fù)雜性和多樣性。在2個行人重識別數(shù)據(jù)集Market-1501、DukeMTMC-reID上對本文方法進(jìn)行評估,實(shí)驗(yàn)結(jié)果表明,本文方法能夠使行人重識別效果明顯增強(qiáng)。未來的工作是進(jìn)一步優(yōu)化網(wǎng)絡(luò)模型,在不增加網(wǎng)絡(luò)復(fù)雜度的情況下,提升行人重識別的準(zhǔn)確率。

      猜你喜歡
      集上空洞全局
      Cahn-Hilliard-Brinkman系統(tǒng)的全局吸引子
      量子Navier-Stokes方程弱解的全局存在性
      Cookie-Cutter集上的Gibbs測度
      鏈完備偏序集上廣義向量均衡問題解映射的保序性
      落子山東,意在全局
      金橋(2018年4期)2018-09-26 02:24:54
      復(fù)扇形指標(biāo)集上的分布混沌
      空洞的眼神
      用事實(shí)說話勝過空洞的說教——以教育類報(bào)道為例
      新聞傳播(2015年20期)2015-07-18 11:06:46
      新思路:牽一發(fā)動全局
      幾道導(dǎo)數(shù)題引發(fā)的解題思考
      兖州市| 华蓥市| 郧西县| 栾城县| 宁强县| 大化| 洛扎县| 朝阳区| 张北县| 大城县| 长治市| 沈阳市| 天镇县| 云林县| 宁陕县| 富宁县| 于田县| 临沧市| 长顺县| 蕲春县| 化州市| 黎川县| 榆林市| 和龙市| 四子王旗| 图们市| 秦皇岛市| 清远市| 望城县| 大同市| 交口县| 大关县| 奎屯市| 蛟河市| 黄骅市| 佛坪县| 郯城县| 德阳市| 东方市| 广南县| 翁牛特旗|