• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      優(yōu)化三元組損失的深度距離度量學(xué)習(xí)方法

      2022-01-05 02:31:22李子龍王洪棟
      計(jì)算機(jī)應(yīng)用 2021年12期
      關(guān)鍵詞:三元組訓(xùn)練樣本度量

      李子龍,周 勇,鮑 蓉,王洪棟

      (1.徐州工程學(xué)院信息工程學(xué)院,江蘇徐州 221018;2.中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,江蘇徐州 221116)

      (?通信作者電子郵箱lzl@xzit.edu.cn)

      0 引言

      近年來(lái),距離度量學(xué)習(xí)在圖像檢索、行人再識(shí)別、聚類(lèi)等方面都有著很好的應(yīng)用,已經(jīng)成為計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)之一。隨著深度學(xué)習(xí)的飛速發(fā)展,許多專(zhuān)家提出了深度距離度量的方法[1]。深度距離度量旨在通過(guò)深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練樣本到特征的映射。在該映射下,相似樣本的距離更為接近,而相異樣本的距離則更為遠(yuǎn)離。

      為了學(xué)習(xí)樣本到特征的映射函數(shù),設(shè)計(jì)合適的距離度量損失函數(shù)是提高深度神經(jīng)網(wǎng)絡(luò)性能的重要因素。對(duì)比損失是深度距離度量學(xué)習(xí)中經(jīng)常被使用的一類(lèi)損失函數(shù)[2-4]。通過(guò)該損失函數(shù)能使正樣本對(duì)特征向量之間的距離最小化,而使負(fù)樣本對(duì)特征向量之間間隔一定的距離。三元組損失使用正樣本對(duì)和負(fù)樣本對(duì)組成三元組[3,5],在對(duì)比損失的基礎(chǔ)上進(jìn)一步考慮了類(lèi)內(nèi)距離和類(lèi)間距離的相對(duì)關(guān)系。相比負(fù)樣本對(duì),這樣會(huì)使得正樣本對(duì)在映射后的特征空間里距離更近。由于構(gòu)造三元組的數(shù)量往往巨大,一些學(xué)者提出通過(guò)減少三元組的數(shù)量來(lái)降低算法的復(fù)雜度[6-7]。文獻(xiàn)[8]中提出了一種層次的三元組損失結(jié)構(gòu),該方法將采樣和特征嵌入結(jié)合在一起進(jìn)行學(xué)習(xí);文獻(xiàn)[9]中提出了一種距離加權(quán)采樣的方法,它是基于相對(duì)距離進(jìn)行樣本選擇;文獻(xiàn)[3]中提出在訓(xùn)練過(guò)程中充分利用小批量數(shù)據(jù)來(lái)構(gòu)建成對(duì)距離矩陣,并使用結(jié)構(gòu)化損失函數(shù)來(lái)學(xué)習(xí)特征嵌入;文獻(xiàn)[3]中的工作后來(lái)在文獻(xiàn)[10]中進(jìn)行了擴(kuò)展,提出了一種基于結(jié)構(gòu)化預(yù)測(cè)的距離度量方案,并用其去優(yōu)化聚類(lèi)效果;文獻(xiàn)[11]中擴(kuò)展了三元組的思想,允許在多個(gè)負(fù)樣本之間進(jìn)行聯(lián)合比較;文獻(xiàn)[12]中考慮了角度關(guān)系,提出了一種新穎的角度損失函數(shù)。

      上述方法都是使用單一的距離度量去適應(yīng)多樣化的數(shù)據(jù),也就是從整個(gè)訓(xùn)練集上學(xué)習(xí)距離度量,這容易忽略訓(xùn)練樣本間的局部差異性,在數(shù)據(jù)類(lèi)內(nèi)變化大、類(lèi)間模糊的情況下就顯得力不從心;而且使用單一、全局的距離度量容易導(dǎo)致過(guò)擬合。為此,一些學(xué)者嘗試對(duì)訓(xùn)練樣本分組,然后在組內(nèi)對(duì)局部差異性進(jìn)行距離度量學(xué)習(xí),并使用集成技術(shù)進(jìn)一步增強(qiáng)其性能。如文獻(xiàn)[13]較早將集成學(xué)習(xí)的思想引入到度量學(xué)習(xí)中;文獻(xiàn)[14]中使用基于Boosting 的度量學(xué)習(xí)算法去計(jì)算按層次結(jié)構(gòu)組織的人臉數(shù)據(jù);文獻(xiàn)[15]中提出采用多個(gè)基于視覺(jué)注意機(jī)制的學(xué)習(xí)者進(jìn)行集成;文獻(xiàn)[16]中建議將訓(xùn)練數(shù)據(jù)的標(biāo)簽隨機(jī)分組,并以此來(lái)集成多個(gè)相關(guān)的嵌入模型。

      上述這些集成的方法主要關(guān)注訓(xùn)練過(guò)程的集成,并不是針對(duì)距離度量的集成,而且不能同時(shí)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)和弱學(xué)習(xí)者的端到端訓(xùn)練。本文采用Boosting 算法的思想,構(gòu)造多個(gè)三元組深度相對(duì)距離度量的級(jí)聯(lián)模型,每個(gè)相對(duì)距離對(duì)應(yīng)卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network,CNN)全連接層中所劃分的單獨(dú)的一組,每一組對(duì)應(yīng)的全連接層代表一個(gè)弱分類(lèi)器,所有組共享CNN 的底層表示。在Boosting 框架中,不斷地更新訓(xùn)練樣本的權(quán)重,使得后續(xù)的相對(duì)距離度量更加關(guān)注那些難樣本上。為了有效評(píng)價(jià)三元組訓(xùn)練樣本的相近程度,本文對(duì)經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)映射的三元組訓(xùn)練樣本的相對(duì)距離進(jìn)行閾值化處理,并使用線性分段函數(shù)作為相對(duì)距離的評(píng)價(jià)函數(shù)。該評(píng)價(jià)函數(shù)會(huì)作為弱分類(lèi)器不斷加入到Boosting 框架中去,最終生成一個(gè)強(qiáng)分類(lèi)器。為了優(yōu)化弱分類(lèi)器和神經(jīng)網(wǎng)絡(luò)的參數(shù),本文采用交替優(yōu)化的方法來(lái)獲得最優(yōu)值。相比經(jīng)典的基于三元組損失的距離度量方法,本文方法在深度神經(jīng)網(wǎng)絡(luò)上并沒(méi)有引入額外的參數(shù),且在學(xué)習(xí)評(píng)價(jià)函數(shù)參數(shù)時(shí)所花費(fèi)的代價(jià)也并不太大。

      1 基于Boosting的深度距離度量模型

      讓X=[x1,x2,…,xN]表示N個(gè)挑選而成的三元組訓(xùn)練樣本。其中,第i個(gè)三元組訓(xùn)練樣本表示為,它對(duì)應(yīng)一個(gè)三元組標(biāo)簽yi∈{-1,+1}。是組成三元組訓(xùn)練樣本的三個(gè)訓(xùn)練樣本,稱(chēng)為錨點(diǎn)樣本。如果這三個(gè)訓(xùn)練樣本的類(lèi)別一樣,都屬于正例樣本,則yi=+1;如果只有的類(lèi)別一樣,都為正例樣本,而為負(fù)例樣本,則yi=-1。

      本文使用多個(gè)神經(jīng)網(wǎng)絡(luò),第i個(gè)三元組訓(xùn)練樣本xi=經(jīng)過(guò)所學(xué)習(xí)的第m個(gè)神經(jīng)網(wǎng)絡(luò)映射后的三元組為。根據(jù)Boosting 算法的思路,本文使用一組對(duì)應(yīng)多個(gè)神經(jīng)網(wǎng)絡(luò)的三元組訓(xùn)練樣本的相對(duì)距離弱分類(lèi)器去構(gòu)造一個(gè)強(qiáng)分類(lèi)器,如下式所示:

      其中:M是弱分類(lèi)器的數(shù)量,φm是三個(gè)訓(xùn)練樣本經(jīng)過(guò)第m個(gè)神經(jīng)網(wǎng)絡(luò)映射的特征值之間兩兩組合的相對(duì)距離評(píng)價(jià)函數(shù)。為了評(píng)價(jià)三個(gè)訓(xùn)練樣本映射后的相對(duì)距離,使得相同類(lèi)別的三個(gè)訓(xùn)練樣本映射后的相對(duì)距離更為靠近,而不同類(lèi)別的三個(gè)訓(xùn)練樣本映射后的相對(duì)距離更為遠(yuǎn)離,本文使用了一個(gè)適應(yīng)能力更強(qiáng)的相對(duì)距離評(píng)價(jià)函數(shù),其定義如下式所示:

      在Boosting 算法中,每一次迭代都會(huì)產(chǎn)生一個(gè)新的弱分類(lèi)器并加入到強(qiáng)分類(lèi)器中。根據(jù)文獻(xiàn)[17]的介紹,一個(gè)弱分類(lèi)器添加到強(qiáng)分類(lèi)器的過(guò)程可以看作使下面的損失函數(shù)最小化的問(wèn)題:

      上式可進(jìn)一步變?yōu)橄旅娴膬?yōu)化問(wèn)題:

      2 優(yōu)化三元組損失的學(xué)習(xí)方法

      在Boosting 算法中訓(xùn)練多個(gè)CNN 的代價(jià)太高,為了避免較大的計(jì)算開(kāi)銷(xiāo),將CNN 的全連接層劃分為幾個(gè)不重疊的組,每個(gè)組代表一個(gè)弱分類(lèi)器,而所有的弱分類(lèi)器共享相同的底層表示,也就是將CNN 中連續(xù)的卷積層和池化層進(jìn)行共享。參考文獻(xiàn)[3],本文采樣小批次數(shù)據(jù),通過(guò)CNN 前向傳播,并在網(wǎng)絡(luò)的最后一層中組成三元組形式,最后根據(jù)損失函數(shù)反向傳播到網(wǎng)絡(luò)的全連接層。在本文實(shí)驗(yàn)中,參與對(duì)比的相關(guān)文獻(xiàn)也是采用此種方案。為了訓(xùn)練模型中的弱分類(lèi)器,本文參考文獻(xiàn)[18]的思路,采用交替優(yōu)化方法來(lái)學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)和距離評(píng)價(jià)函數(shù)的參數(shù)。

      在第m次迭代,固定第m個(gè)深度神經(jīng)網(wǎng)絡(luò)全連接層參數(shù)的同時(shí)來(lái)研究式(4)的優(yōu)化問(wèn)題。為此,本文先利用三元組訓(xùn)練樣本的標(biāo)簽對(duì)其進(jìn)行拆解分析,如下式所示:

      對(duì)拆解后的公式分別對(duì)αm和βm求偏導(dǎo)數(shù)并令偏導(dǎo)數(shù)為0,則可以得到這兩個(gè)參數(shù)的最優(yōu)值,如下式所示:

      在每次迭代之后,訓(xùn)練樣本的權(quán)重被更新,如下式所示:

      在訓(xùn)練樣本的權(quán)重被更新后,將所有訓(xùn)練樣本的權(quán)重進(jìn)行歸一化處理。經(jīng)過(guò)上面的分析,可知影響距離評(píng)價(jià)函數(shù)的參數(shù)實(shí)際上只與tm有關(guān),其優(yōu)化值采用窮舉法就可以得到。于是,一個(gè)最優(yōu)的弱分類(lèi)器被找到并可被加入到強(qiáng)分類(lèi)器中去。而此時(shí),被正確分類(lèi)的樣本會(huì)被賦予較低的權(quán)重,而被錯(cuò)誤分類(lèi)的樣本則被分配較高的權(quán)重,這就會(huì)使得后面的弱分類(lèi)器更加關(guān)注前面弱分類(lèi)器不能判別的樣本。

      接著固定第m個(gè)距離評(píng)價(jià)函數(shù)參數(shù)αm、βm、tm的值后,再去優(yōu)化第m個(gè)深度神經(jīng)網(wǎng)絡(luò)的全連接層參數(shù)。本文使用三元組損失函數(shù)去訓(xùn)練深度神經(jīng)網(wǎng)絡(luò),訓(xùn)練過(guò)程使用常規(guī)的反向傳播算法。具體來(lái)說(shuō),在前向傳播中,對(duì)每個(gè)三元組訓(xùn)練樣本計(jì)算其映射后的兩兩組合的相對(duì)距離。而在反向傳播算法中,迭代地反向傳播三元組損失函數(shù)值去更新深度神經(jīng)網(wǎng)絡(luò)的參數(shù)。參考文獻(xiàn)[5],使用經(jīng)典的三元組損失函數(shù),這種損失函數(shù)會(huì)懲罰正三元組訓(xùn)練樣本的較大距離和負(fù)三元組訓(xùn)練樣本的較小距離。使用前面根據(jù)學(xué)習(xí)得到距離度量閾值tm作為三元組相對(duì)距離的距離間隔,于是得到下面的三元組損失函數(shù):

      3 實(shí)驗(yàn)結(jié)果及分析

      為了驗(yàn)證本文方法的有效性,選取CUB-200-2011、Cars-196 和Standford Online Products(SOP)三個(gè)公開(kāi)可用的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),并與當(dāng)前流行的深度距離方法(文獻(xiàn)[2-3,5,8,11-12,15-16,19-21]中的方法)在檢索任務(wù)上進(jìn)行了比較。

      數(shù)據(jù)集CUB-200-2011 由200 種的鳥(niǎo)類(lèi)圖片構(gòu)成,使用前100 個(gè)類(lèi)別的5 864 幅圖像進(jìn)行訓(xùn)練,而剩余的100 個(gè)類(lèi)別的5 924 幅圖像用于測(cè)試;Cars-196 數(shù)據(jù)集包含196 種不同類(lèi)別的16 185 幅汽車(chē)圖像,使用前98 種不同類(lèi)別的8 054 幅圖像用于訓(xùn)練,而后98 種不同類(lèi)別的8 131 幅圖像用于測(cè)試;數(shù)據(jù)集SOP 包含大量產(chǎn)品圖片,使用11 318 個(gè)類(lèi)別的59 551 幅圖像用于訓(xùn)練,而其他11 316個(gè)類(lèi)別的60 502幅圖像用于測(cè)試。

      為了評(píng)估本文方法在圖像檢索方面的性能,使用Recall@K來(lái)度量檢索效果。這個(gè)度量指標(biāo)是這樣計(jì)算的:首先,對(duì)于測(cè)試集中的每幅圖像,從剩余的測(cè)試集中檢索出K幅最相似的圖像,這個(gè)相似性由本文所提出的三元組距離度量來(lái)定義;然后,如果這K幅檢索到的圖像中有一個(gè)與查詢圖像具有相同的標(biāo)簽,則將召回值增加1;最后,最終的Recall@K值是召回值占所有測(cè)試圖像的百分比。在數(shù)據(jù)集CUB-200-2011 和Cars-196 上選擇K∈{1,2,4,8,16,32}來(lái)計(jì)算召回率,在數(shù)據(jù)集SOP上選擇K∈{1,10,100,1 000}來(lái)計(jì)算召回率。網(wǎng)絡(luò)結(jié)構(gòu)上主要參考文獻(xiàn)[2]中使用GoogLeNet 作為特征提取器,并使用TensorFlow 來(lái)實(shí)現(xiàn)本文方法。實(shí)驗(yàn)中將batch 的大小設(shè)置128,所有深度神經(jīng)網(wǎng)絡(luò)均使用隨機(jī)梯度下降算法進(jìn)行訓(xùn)練。

      弱分類(lèi)器的數(shù)量對(duì)深度距離度量的效果有影響,為此,在CUB-200-2011、SOP 和Cars-196 這三個(gè)數(shù)據(jù)集上觀察弱分類(lèi)器數(shù)量對(duì)距離度量的影響,如圖1 所示。從圖1 可以看出,隨著弱分類(lèi)器數(shù)量的增加,Recall@1的值不斷增加,而后不斷下降。在Cars-196 數(shù)據(jù)集上,當(dāng)弱分類(lèi)的數(shù)量為4 時(shí)Recall@1的值達(dá)到頂峰,在SOP 和CUB-200-2011 這兩個(gè)數(shù)據(jù)集上,分別在弱分類(lèi)的數(shù)量為5 和6 時(shí)Recall@1 的值達(dá)到頂峰,這說(shuō)明在不同圖像數(shù)據(jù)集上進(jìn)行圖像檢索的難易程度是不同的,在后面與不同方法對(duì)比實(shí)驗(yàn)中也按照此方式設(shè)置。

      圖1 弱分類(lèi)器數(shù)量對(duì)圖像檢索性能的影響Fig.1 Influence of the number of weak classifiers on performance of image retrieval

      特征向量的大小也是影響深度距離度量中的一個(gè)重要因素,因此,在數(shù)據(jù)集Cars-196上進(jìn)行實(shí)驗(yàn)以觀察不同特征向量的大小對(duì)檢索精度的影響。文獻(xiàn)[19]中的實(shí)驗(yàn)針對(duì)特征向量大小從64 至1 024 的情況分析了它對(duì)檢索性能的影響,本文也進(jìn)行同樣的實(shí)驗(yàn),并與文獻(xiàn)[19]中的方法進(jìn)行對(duì)比分析,實(shí)驗(yàn)結(jié)果如圖2所示。從圖2中可以看出,隨著特征向量大小的增加,檢索性能逐漸提高。當(dāng)特征向量的大小為256 時(shí),本文方法的性能逐漸平穩(wěn),在后面的實(shí)驗(yàn)中將特征向量的大小設(shè)置為此值;而且本文方法在不同特征向量大小上的檢索性能都要優(yōu)于文獻(xiàn)[19]方法。

      圖2 不同大小的特征向量的大小對(duì)圖像檢索性能的影響Fig.2 Influence of feature vector size on performance of image retrieval

      接下來(lái)在數(shù)據(jù)集Cars-196 上與文獻(xiàn)[6]方法比較了訓(xùn)練和測(cè)試的檢索性能。從圖3 中可以看出,在訓(xùn)練集和測(cè)試集上,本文方法的Recall@1 值之間的差距比文獻(xiàn)[6]方法的要小。這清楚地表明,本文方法并不傾向于導(dǎo)致過(guò)擬合。

      圖3 不同時(shí)期數(shù)下訓(xùn)練和測(cè)試的圖像檢索性能Fig.3 Image retrieval performance of training and testing in different epochs

      本文方法和文獻(xiàn)[3,5,11,19]中的方法在數(shù)據(jù)集Cars-196 上訓(xùn)練時(shí)的收斂速度的對(duì)比如圖4。從圖4 中可以看出,在最開(kāi)始40 個(gè)時(shí)期內(nèi),本文方法的檢索性能就達(dá)到了最高值,比其他的方法快得多;并且,除了文獻(xiàn)[19]方法之外,其他方法都要100個(gè)時(shí)期以后開(kāi)始慢慢收斂。

      圖4 不同方法的收斂速度對(duì)比Fig.4 Convergence rate comparison of different methods

      最后,將本文與當(dāng)前流行的一些方法在圖像檢索任務(wù)上進(jìn)行了比較,結(jié)果如表1 所示。從數(shù)據(jù)集CUB-200-2011 和Cars-196 上的實(shí)驗(yàn)結(jié)果可以看出,本文方法優(yōu)于其他的對(duì)比方法,包括高階元組(文獻(xiàn)[3,11])、角度損失(文獻(xiàn)[12])和集成的方法(文獻(xiàn)[15-16]);特別地,本文方法的Recall@1 值在極具挑戰(zhàn)性的CUB-200-2011 數(shù)據(jù)集上也取得了較好成績(jī)。在SOP數(shù)據(jù)集上,本文方法的表現(xiàn)也很出色。

      表1 K取不同值時(shí)各方法在三個(gè)數(shù)據(jù)集上的Recall@K結(jié)果比較 單位:%Tab.1 Comparison of the Recall@K with different methods on three datasets when K takes different values unit:%

      4 結(jié)語(yǔ)

      為了提高深度距離度量的性能,本文提出了一種新的深度距離度量學(xué)習(xí)方法,該方法將距離度量和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)融入Boosting 算法中。使用線性分段函數(shù)評(píng)價(jià)通過(guò)神經(jīng)網(wǎng)絡(luò)映射的三元組訓(xùn)練樣本的相對(duì)距離,并將該評(píng)價(jià)函數(shù)作為Boosting 算法中的一個(gè)弱分類(lèi)器。通過(guò)在數(shù)據(jù)集Cars-196 上進(jìn)行訓(xùn)練和測(cè)試的結(jié)果,表明本文方法具有較好的泛化性能;同時(shí),通過(guò)在CUB-200-2011、Cars-196和SOP 數(shù)據(jù)集上與其他方法進(jìn)行圖像檢索任務(wù)的比較,結(jié)果也表明本文方法的性能優(yōu)于對(duì)比方法。

      猜你喜歡
      三元組訓(xùn)練樣本度量
      基于語(yǔ)義增強(qiáng)雙編碼器的方面情感三元組提取
      軟件工程(2024年12期)2024-12-28 00:00:00
      有趣的度量
      基于帶噪聲數(shù)據(jù)集的強(qiáng)魯棒性隱含三元組質(zhì)檢算法*
      模糊度量空間的強(qiáng)嵌入
      人工智能
      迷向表示分為6個(gè)不可約直和的旗流形上不變愛(ài)因斯坦度量
      關(guān)于余撓三元組的periodic-模
      寬帶光譜成像系統(tǒng)最優(yōu)訓(xùn)練樣本選擇方法研究
      融合原始樣本和虛擬樣本的人臉識(shí)別算法
      基于稀疏重構(gòu)的機(jī)載雷達(dá)訓(xùn)練樣本挑選方法
      大田县| 阳泉市| 偃师市| 盐津县| 繁峙县| 长兴县| 汉源县| 三河市| 永春县| 中山市| 屏南县| 翁牛特旗| 犍为县| 图片| 康保县| 德钦县| 桂平市| 罗田县| 温泉县| 旌德县| 汤原县| 达日县| 工布江达县| 瓮安县| 边坝县| 阳高县| 台安县| 遂川县| 丽江市| 陇川县| 岢岚县| 云南省| 铜鼓县| 甘孜| 贵德县| 海淀区| 无为县| 平江县| 镇康县| 泽库县| 黎城县|