• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      計(jì)算機(jī)視覺(jué)中相似度學(xué)習(xí)方法的研究進(jìn)展

      2019-11-26 22:47:12王法強(qiáng)張宏志張大鵬
      關(guān)鍵詞:馬氏三元組度量

      王法強(qiáng), 張宏志, 王 鵬, 鄧 紅, 張大鵬

      (1 哈爾濱工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 哈爾濱 150001; 2 東北農(nóng)業(yè)大學(xué) 理學(xué)院, 哈爾濱 150030)

      0 引 言

      相似度學(xué)習(xí)是計(jì)算機(jī)視覺(jué)中的一類重要方法,該方法通過(guò)在訓(xùn)練集中學(xué)習(xí)相似度(或距離)度量,使得同類別樣本之間的相似度提高(或距離減小),不同類別樣本之間的相似度降低(或距離增大)。相似度學(xué)習(xí)可以被嵌入到很多機(jī)器學(xué)習(xí)方法中,如k近鄰分類、k均值聚類等。相似度度量學(xué)習(xí)已經(jīng)應(yīng)用于很多計(jì)算機(jī)視覺(jué)問(wèn)題中,如人臉識(shí)別[1-2]、行人識(shí)別[3-5]和圖像檢索[6-7]等。對(duì)于不同的應(yīng)用場(chǎng)景和不同的數(shù)據(jù)分布,從已有的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)合適的相似度度量,已經(jīng)成為了計(jì)算機(jī)視覺(jué)中一個(gè)活躍的研究領(lǐng)域。一個(gè)好的相似度度量可以很大程度上提升計(jì)算機(jī)視覺(jué)應(yīng)用的實(shí)際效果。

      近年來(lái),隨著應(yīng)用領(lǐng)域新需求的產(chǎn)生,數(shù)據(jù)規(guī)模的增大,以及數(shù)據(jù)來(lái)源的多樣化,由相似度學(xué)習(xí)問(wèn)題即衍生了一系列新的研究領(lǐng)域。本文首先探討了相似度的表示方式和傳統(tǒng)的典型相似度學(xué)習(xí)方法,然后綜述了近年來(lái)相似度學(xué)習(xí)方法的研究進(jìn)展和發(fā)展過(guò)程,最后展望未來(lái)相似度學(xué)習(xí)方法可能的研究領(lǐng)域和發(fā)展方向。

      1 相似度的表示

      在目前的相似度學(xué)習(xí)方法中,大部分方法使用基于馬氏距離或歐氏距離來(lái)表示圖像之間的相似度,圖像之間的距離越大,相似度越小,反之亦然。

      對(duì)于基于馬氏距離的相似度學(xué)習(xí)方法,給定2個(gè)樣本x和y,樣本之間的馬氏距離定義為:

      (1)

      其中,M為距離度量矩陣,為了滿足馬氏距離的非負(fù)性,M應(yīng)當(dāng)為半正定矩陣。

      雖然傳統(tǒng)的馬氏距離度量學(xué)習(xí)方法可以從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)距離度量,但是這些方法一般基于人工設(shè)計(jì)的樣本特征,無(wú)法突破人工設(shè)計(jì)的特征對(duì)模型效果造成的瓶頸。由于近年來(lái)基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法在圖像分類、人臉識(shí)別、目標(biāo)檢測(cè)和目標(biāo)跟蹤等領(lǐng)域取得了標(biāo)志性重大進(jìn)展,很多學(xué)者將相似度學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行結(jié)合,研發(fā)了一系列深度相似度學(xué)習(xí)方法。這些方法通過(guò)聯(lián)合學(xué)習(xí)圖像的深度特征與相似度度量,取得了比基于人工設(shè)計(jì)的特征的相似度學(xué)習(xí)更好的效果。

      在深度相似度學(xué)習(xí)方法中,研究通過(guò)卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)并提取圖像x和y的特征,分別表示為f(x)和f(y),所以樣本x和y之間的相似度可以使用圖像特征f(x)和f(y)的歐氏距離表示如下:

      (2)

      除了公式(1)和(2)所示的相似度函數(shù)外,還有如余弦相似度、卡方距離等相似度函數(shù)均已在相似度學(xué)習(xí)方法中獲得了成功使用。

      2 典型相似度學(xué)習(xí)方法回顧

      自從距離度量學(xué)習(xí)問(wèn)題由Xing等人[8]提出以來(lái),眾多學(xué)者發(fā)展了一系列方法來(lái)學(xué)習(xí)以上形式的相似度度量。根據(jù)約束形式的不同,大多數(shù)相似度學(xué)習(xí)方法可以分為基于二元組約束的相似度學(xué)習(xí)方法以及基于三元組約束(又稱相對(duì)距離約束或相對(duì)相似度約束)的相似度學(xué)習(xí)方法。本節(jié)將從約束形式的角度對(duì)現(xiàn)有的典型相似度學(xué)習(xí)方法進(jìn)行總結(jié)和回顧。對(duì)此可做闡釋分述如下。

      2.1 基于二元組約束的相似度學(xué)習(xí)方法

      給定訓(xùn)練圖像集,可以建立一系列二元組(x,y),根據(jù)二元組中的2個(gè)樣本是否屬于同一類,就可以將二元組分為同類二元組集合S和異類二元組集合D。對(duì)于集合S和D中的二元組,分析指出研究中需分別滿足下列約束:

      s(x,y)≤b+1-ξ(x,y)?(x,y)∈D

      s(x,y)≥b-1+ξ(x,y)?(x,y)∈S

      (3)

      其中,s(x,y)為樣本x和y的相似度,ξ(x,y)為二元組(x,y)對(duì)應(yīng)的非負(fù)松弛變量。

      二元組約束的優(yōu)點(diǎn)在于可以將其應(yīng)用于弱監(jiān)督學(xué)習(xí)問(wèn)題,即每個(gè)樣本的類別標(biāo)記未知,僅能獲得每個(gè)二元組為同類二元組或異類二元組的標(biāo)記信息。

      在數(shù)學(xué)教學(xué)過(guò)程中,運(yùn)用數(shù)形結(jié)合這種方式進(jìn)行教學(xué)可以將復(fù)雜繁瑣的數(shù)學(xué)知識(shí)變得簡(jiǎn)單易懂。在數(shù)學(xué)知識(shí)以一種簡(jiǎn)單、直觀的方式呈現(xiàn)給學(xué)生,便于學(xué)生進(jìn)行理解和記憶。同時(shí)采用這種學(xué)習(xí)方法也可以幫助學(xué)生們更好學(xué)會(huì)轉(zhuǎn)換思維,便于學(xué)生在面對(duì)一道道復(fù)雜無(wú)比的題目時(shí)能輕松應(yīng)對(duì),例如面對(duì)一道難題時(shí),學(xué)生可以首先對(duì)這道數(shù)學(xué)題的條件進(jìn)行深入的研究,進(jìn)而找到題目考察的方向,最終找到難題的切入點(diǎn)而快速準(zhǔn)確的解題。在解題過(guò)程中除了增加學(xué)生們學(xué)習(xí)數(shù)學(xué)的自信外,也間接的提高了學(xué)生們的思維能力,通過(guò)這個(gè)過(guò)程的不斷應(yīng)用和重復(fù),學(xué)生們思維將會(huì)變得更加靈敏。

      對(duì)于馬氏距離度量學(xué)習(xí)方法,Xing等人[8]通過(guò)最小化同類二元組的距離,并且約束異類二元組的距離大于給定閾值,從而將距離度量學(xué)習(xí)構(gòu)造為一個(gè)凸優(yōu)化問(wèn)題。Davis等人[9]提出了一種基于信息論的度量學(xué)習(xí)方法,該方法在滿足二元組約束的同時(shí),通過(guò)引入度量矩陣的先驗(yàn)矩陣,由此求得了最小化度量矩陣與先驗(yàn)矩陣的KL散度,從而使得度量矩陣和先驗(yàn)矩陣盡可能接近。

      對(duì)于深度相似度學(xué)習(xí)方法,Sun等人[10]將二元組約束構(gòu)造為對(duì)比損失(ContrastiveLoss)函數(shù),并將其與Softmax損失結(jié)合,提出了一種深度相似度學(xué)習(xí)方法,再將其應(yīng)用于人臉驗(yàn)證問(wèn)題,在LFW數(shù)據(jù)集上的準(zhǔn)確率達(dá)到了99.15%。Lin等人[11]提出了一種泛化的相似度函數(shù),并且同樣使用二元組損失函數(shù)對(duì)相似度和深度網(wǎng)絡(luò)進(jìn)行學(xué)習(xí),而后則將該方法應(yīng)用于跨域匹配問(wèn)題。

      2.2 基于三元組約束的相似度學(xué)習(xí)方法

      基于三元組約束的相似度學(xué)習(xí)方法對(duì)訓(xùn)練集建立一系列的三元組約束,對(duì)于三元組(x,y,z),其中x和y類別相同,x與z類別不同,則該三元組應(yīng)當(dāng)建立以下約束:

      d(x,z)-d(x,y)≥1-ξ(x, y, z)

      (4)

      該類約束使得每個(gè)樣本在與同類樣本和異類樣本的距離對(duì)比中,其與同類樣本的距離更近。其優(yōu)點(diǎn)在于可以應(yīng)用于排序(Ranking)問(wèn)題(如圖像檢索)。在該問(wèn)題中,研究中只有參考圖像與查詢圖像的相對(duì)相似度排序信息,而沒(méi)有每個(gè)圖像的類別信息,在這種情況下三元組約束就可以得到有效應(yīng)用。

      在馬氏距離度量學(xué)習(xí)方法中,典型的基于三元組約束的方法、如大間隔最近鄰方法則是由Weinberger等人于2009年提出[12],設(shè)計(jì)上即通過(guò)最大化每個(gè)樣本與其同類樣本和不同類樣本的距離間隔來(lái)學(xué)習(xí)距離度量。Parameswaran等人[13]將該方法擴(kuò)展到多任務(wù)學(xué)習(xí)問(wèn)題上。Kedem等人[14]還將該方法延拓至卡方距離等非線性距離度量的學(xué)習(xí)研究中。

      在深度相似度學(xué)習(xí)方法中,Schroff等人[2]提出了FaceNet模型。該模型將三元組約束構(gòu)造為損失函數(shù)的形式,再將其與深度卷積網(wǎng)絡(luò)結(jié)合,旨在進(jìn)行深度相似度學(xué)習(xí),最終該模型在人臉驗(yàn)證中取得了突出的效果。Ding等人[15]同樣使用三元組約束學(xué)習(xí)深度相似度,也將其應(yīng)用于行人識(shí)別問(wèn)題。Zhang等人[6]使用海明貼近度(Hamming affinity)作為相似度函數(shù),又通過(guò)三元組約束構(gòu)造鉸鏈損失,隨后就可展開(kāi)圖像的哈希編碼學(xué)習(xí)。

      3 相似度學(xué)習(xí)方法的近期發(fā)展

      近年來(lái),隨著計(jì)算機(jī)視覺(jué)的應(yīng)用需求以及視覺(jué)數(shù)據(jù)來(lái)源的多樣化,對(duì)相似度學(xué)習(xí)模型的要求也在逐步提高。針對(duì)這種現(xiàn)狀,研究人員相繼推出了一系列新的相似度學(xué)習(xí)方法,這些方法的創(chuàng)新點(diǎn)包括新型距離(相似度)表示、新型相似度約束、圖像集之間的相似度學(xué)習(xí),以及跨模態(tài)的相似度學(xué)習(xí)等?;诖?,本節(jié)將闡述近年來(lái)相似度學(xué)習(xí)方法的發(fā)展過(guò)程和研究進(jìn)展。研究?jī)?nèi)容詳見(jiàn)如下。

      3.1 從歐氏距離和馬氏距離到新型距離(相似度)表示

      在傳統(tǒng)的距離度量學(xué)習(xí)與深度相似度學(xué)習(xí)中,一般采用公式(1)和(2)所示的馬氏距離或深度特征的歐氏距離來(lái)表示樣本間的相似度。除了這2種方式以外,研究人員還根據(jù)不同的應(yīng)用場(chǎng)景或需求構(gòu)造了其它類型的相似度函數(shù)。Chen等人[16]提出了一種聯(lián)合貝葉斯方法,該方法使用2個(gè)樣本屬于不同類和同類的概率比值作為2個(gè)樣本是否同類決策函數(shù),并且分析該函數(shù)相當(dāng)于馬氏距離與2個(gè)樣本交叉內(nèi)積項(xiàng)的組合。Li等人[17]在馬氏距離中引入了二階函數(shù)表示的自適應(yīng)閾值,從而將馬氏距離擴(kuò)展為預(yù)測(cè)2個(gè)樣本是否同類的二階決策函數(shù)。Li等人[18]將馬氏距離與余弦相似度進(jìn)行結(jié)合,構(gòu)造了一種新的相似度函數(shù),并且基于三元組約束設(shè)計(jì)了聯(lián)合優(yōu)化距離與相似度度量的方法。Lin等人[11]通過(guò)將傳統(tǒng)馬氏距離中的線性投影擴(kuò)展到仿射變換,并且將馬氏距離與余弦相似度結(jié)合,定義了一種通用相似度度量,該項(xiàng)工作還將該相似度與深度網(wǎng)絡(luò)結(jié)合,提出了一種深度相似度學(xué)習(xí)方法。Wang等人[19]將單圖像特征的歐氏距離和圖像對(duì)特征的二值分類輸出作為判斷圖像對(duì)是否同類的決策函數(shù),并將兩者進(jìn)行結(jié)合構(gòu)造了一種包含單圖像特征和圖像對(duì)特征的新型相似度函數(shù)。

      3.2 從傳統(tǒng)約束到新型約束

      傳統(tǒng)的相似度學(xué)習(xí)方法一般通過(guò)在優(yōu)化問(wèn)題中引入二元組約束或三元組約束來(lái)學(xué)習(xí)相似度度量。近年來(lái),研究人員針對(duì)相似度學(xué)習(xí)發(fā)表了一系列新型相似度約束的成果。Chen等人[20]將三元組約束進(jìn)行擴(kuò)展,提出了四元組相似度損失函數(shù),并將其與深度網(wǎng)絡(luò)進(jìn)行結(jié)合,即使得四元組中2個(gè)同類樣本的深度相似度高于2個(gè)異類樣本的深度相似度。Wang等人[21]對(duì)三元組損失函數(shù)加以改進(jìn),通過(guò)約束三元組中負(fù)樣本點(diǎn)與其它2個(gè)樣本構(gòu)成的角度小于給定閾值構(gòu)造了角度損失(Angular loss)。Song等人[22]提出了一種新的度量學(xué)習(xí)框架,該框架通過(guò)優(yōu)化聚類質(zhì)量度量NMI構(gòu)造損失函數(shù)。

      3.3 從圖像之間的相似度學(xué)習(xí)到圖像集之間的相似度學(xué)習(xí)

      傳統(tǒng)的相似度學(xué)習(xí)方法一般對(duì)2張圖像之間的相似度進(jìn)行學(xué)習(xí)。然而在一些計(jì)算機(jī)視覺(jué)問(wèn)題中,研究常常是將一組同一類別的圖像看作一個(gè)圖像集,并希望準(zhǔn)確度量圖像和圖像集之間的相似度,以及2個(gè)圖像集之間的相似度,如圖像-視頻匹配、視頻-視頻匹配等。因而需要繼續(xù)加強(qiáng)與圖像集相關(guān)的相似度學(xué)習(xí)方法的深入探究與開(kāi)發(fā)。研究可知,其關(guān)鍵問(wèn)題在于如何表示圖像集,以及如何表示圖像樣本點(diǎn)到圖像集之間以及2個(gè)圖像集之間的相似度。

      Zhu等人[23]提出了一種樣本點(diǎn)-集合和集合-集合距離度量學(xué)習(xí)方法,該方法使用仿射包表示圖像集,并基于此將圖像樣本點(diǎn)到圖像集之間的距離定義為樣本點(diǎn)到圖像集仿射包中最近點(diǎn)的距離,將2個(gè)圖像集之間的距離定義為2個(gè)相應(yīng)仿射包的最近點(diǎn)的距離。Wang等人[24]用流形表示圖像集,而且將流形表示為一組局部線性子空間,并基于此構(gòu)建了樣本點(diǎn)、子空間和流形之間的距離度量學(xué)習(xí)框架。Lu等人[25]將圖像集同樣表示為流形,并通過(guò)深度網(wǎng)絡(luò)學(xué)習(xí)非線性投影,再將每個(gè)流形投影到公共子空間中,而后計(jì)算求出其距離。Huang等人[26]針對(duì)樣本點(diǎn)到集合的匹配問(wèn)題,提出了歐幾里得-黎曼距離度量,該方法將圖像集合表示為黎曼流形,然后將其嵌入到高維希爾伯特空間中,最后將樣本集所在的希爾伯特空間和樣本點(diǎn)所在的歐幾里得空間投影至相同的歐幾里得子空間中,并計(jì)算投影后樣本點(diǎn)和樣本集之間的距離。

      3.4 從單一模態(tài)相似度學(xué)習(xí)到跨模態(tài)相似度學(xué)習(xí)

      傳統(tǒng)的相似度學(xué)習(xí)方法一般只針對(duì)單一模態(tài),例如自然圖像之間的相似度學(xué)習(xí)、素描圖像之間的相似度學(xué)習(xí)、文本之間的相似度學(xué)習(xí)等,然而傳統(tǒng)方法不能處理一些跨模態(tài)匹配的應(yīng)用場(chǎng)景,如自然圖像與素描圖像匹配、圖像與文本匹配等。

      針對(duì)這些新型應(yīng)用場(chǎng)景,研究人員通過(guò)將單一模態(tài)的相似度學(xué)習(xí)擴(kuò)展到跨模態(tài)相似度學(xué)習(xí),提出了一系列解決方法。這些方法可以分為2類,對(duì)其中的每一部分可給出研究表述如下。

      一類是基于跨模態(tài)樣本生成的方法,即通過(guò)將其中一個(gè)模態(tài)的樣本轉(zhuǎn)換為另一模態(tài),使得2個(gè)樣本模態(tài)相同,然后對(duì)2個(gè)樣本進(jìn)行匹配,如Zhang等人[27]針對(duì)人臉-素描圖像匹配問(wèn)題,通過(guò)全卷積網(wǎng)絡(luò)將人臉圖像生成對(duì)應(yīng)的偽素描圖像,再將其與素描圖像進(jìn)行匹配。

      另一類是基于特征學(xué)習(xí)的方法,這種方法一般尋找一個(gè)公共子空間,在此基礎(chǔ)上學(xué)習(xí)不同模態(tài)的樣本到該子空間的投影,并在公共子空間中學(xué)習(xí)不同模態(tài)樣本之間的距離。如Liong等人[28]提出了深度耦合度量學(xué)習(xí)(Deep Coupled Metric Learning, DCML)方法,通過(guò)學(xué)習(xí)2個(gè)深度網(wǎng)絡(luò),將2個(gè)模態(tài)的樣本非線性變換到公共空間,并最大化類間散度、最小化類內(nèi)散度。Bronstein等人[29]提出了一種跨模態(tài)相似度學(xué)習(xí)框架,將不同模態(tài)的樣本投影到公共的海明(Hamming)空間中,通過(guò)Boosting算法學(xué)習(xí)這種投影,再通過(guò)這種投影參數(shù)化相似度度量。

      4 結(jié)束語(yǔ)

      相似度學(xué)習(xí)是計(jì)算機(jī)視覺(jué)中的一類重要方法。本文從相似度的表示和相似度的約束兩方面回顧了現(xiàn)有的典型相似度學(xué)習(xí)方法,并且整體分析了近年來(lái)相似度學(xué)習(xí)的發(fā)展過(guò)程與研究進(jìn)展。對(duì)于相似度學(xué)習(xí)方法的未來(lái)走向,可以從應(yīng)用領(lǐng)域和訓(xùn)練方法等方面對(duì)現(xiàn)有的相似度學(xué)習(xí)方法進(jìn)行擴(kuò)展,或提出新的相似度學(xué)習(xí)方法。例如,在有些計(jì)算機(jī)視覺(jué)應(yīng)用中,2個(gè)自然圖像之間往往存在非常復(fù)雜的對(duì)應(yīng)關(guān)系,如何設(shè)計(jì)更符合樣本圖像以及網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)的新型相似度(或距離)函數(shù)對(duì)圖像的對(duì)應(yīng)關(guān)系建模即已成為目前亟待解決的熱點(diǎn)問(wèn)題。此外,由于深度網(wǎng)絡(luò)的高度非凸性,使得二元組或三元組的選取變得更加重要。所以設(shè)計(jì)一種能夠隨著訓(xùn)練的逐層推進(jìn),從訓(xùn)練集中自適應(yīng)地選取二元組(或三元組)的方式,也可以在識(shí)別效果和訓(xùn)練效率方面起到較大的作用。

      猜你喜歡
      馬氏三元組度量
      基于語(yǔ)義增強(qiáng)雙編碼器的方面情感三元組提取
      軟件工程(2024年12期)2024-12-28 00:00:00
      有趣的度量
      基于帶噪聲數(shù)據(jù)集的強(qiáng)魯棒性隱含三元組質(zhì)檢算法*
      模糊度量空間的強(qiáng)嵌入
      一類時(shí)間變換的強(qiáng)馬氏過(guò)程
      有環(huán)的可逆馬氏鏈的統(tǒng)計(jì)確認(rèn)
      關(guān)于樹(shù)指標(biāo)非齊次馬氏鏈的廣義熵遍歷定理
      迷向表示分為6個(gè)不可約直和的旗流形上不變愛(ài)因斯坦度量
      關(guān)于余撓三元組的periodic-模
      一致可數(shù)可加馬氏鏈不變測(cè)度的存在性
      普兰店市| 老河口市| 闻喜县| 广德县| 平昌县| 邵东县| 镇巴县| 瑞昌市| 民乐县| 盐源县| 元朗区| 太谷县| 遂昌县| 莱阳市| 鹤壁市| 枣阳市| 嘉禾县| 临清市| 政和县| 星子县| 台南县| 汉阴县| 大荔县| 紫阳县| 五指山市| 咸丰县| 桐柏县| 射阳县| 乌拉特前旗| 项城市| 朝阳县| 海兴县| 蓝田县| 犍为县| 吉木萨尔县| 修武县| 保山市| 临安市| 都江堰市| 利辛县| 酉阳|