• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      多階段特征重分布算法的小樣本目標(biāo)檢測(cè)

      2023-02-15 08:40:02劉露露賀占莊
      關(guān)鍵詞:源域類別精度

      劉露露,賀占莊,馬 鐘,劉 彬,王 莉

      (西安微電子技術(shù)研究所 西安 710065)

      近年來,深度神經(jīng)網(wǎng)絡(luò)已廣泛應(yīng)用于多個(gè)計(jì)算機(jī)視覺任務(wù),如圖像識(shí)別、目標(biāo)檢測(cè)等。深度神經(jīng)網(wǎng)絡(luò)的成功依賴于大量有標(biāo)簽的數(shù)據(jù)進(jìn)行訓(xùn)練,然而大量標(biāo)簽數(shù)據(jù)的獲取在許多實(shí)際應(yīng)用場(chǎng)景,如軍事、醫(yī)療等是非常昂貴、甚至不可能的。因此,如何利用少量標(biāo)簽數(shù)據(jù)實(shí)現(xiàn)對(duì)目標(biāo)任務(wù)的學(xué)習(xí),即小樣本學(xué)習(xí)(few-shot learning, FSL),已成為目前深度學(xué)習(xí)的一個(gè)熱點(diǎn)及難點(diǎn)。

      根據(jù)網(wǎng)絡(luò)學(xué)習(xí)方式不同,目前小樣本學(xué)習(xí)算法主要有以下幾類:數(shù)據(jù)增廣、遷移學(xué)習(xí)、元學(xué)習(xí)和度量學(xué)習(xí)?;跀?shù)據(jù)增廣的小樣本學(xué)習(xí)算法利用數(shù)據(jù)增廣策略以擴(kuò)充樣本數(shù)據(jù),主要包括在圖像層進(jìn)行增廣和在圖像特征層進(jìn)行增廣兩種方式[1-4]?;跀?shù)據(jù)增廣的方法通過增加數(shù)據(jù)量的方式緩解樣本不足的問題,通常與其他小樣本學(xué)習(xí)算法結(jié)合起來應(yīng)用,因此本文不做特別研究?;谶w移學(xué)習(xí)的小樣本學(xué)習(xí)算法,通過在大量訓(xùn)練數(shù)據(jù)下學(xué)習(xí)相關(guān)域的知識(shí),獲取一個(gè)性能較好的初始化模型,并將學(xué)習(xí)到的知識(shí)快速遷移到小樣本任務(wù)中,如IFT[5],TransMatch[6]及LST[7]等。自文獻(xiàn)[8]提出MAML算法后,元學(xué)習(xí)算法就已廣泛應(yīng)用于小樣本任務(wù)中[9-12]?;谠獙W(xué)習(xí)的小樣本學(xué)習(xí)算法是一種與模型無關(guān)的方法,因而可以應(yīng)用于任何采用基于梯度下降算法優(yōu)化的模型中。元學(xué)習(xí)是一種特殊的遷移學(xué)習(xí),算法針對(duì)小樣本任務(wù)對(duì)大量訓(xùn)練數(shù)據(jù)不斷進(jìn)行重采樣,以學(xué)習(xí)任務(wù)相關(guān)的元知識(shí),然后利用元學(xué)習(xí)的思想設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練模式,將學(xué)習(xí)到的元知識(shí)快速泛化到小樣本任務(wù)中,如NTM[10]、MANN[11]及Reptile[12]等。基于度量學(xué)習(xí)的小樣本學(xué)習(xí)算法則是根據(jù)圖像特征間的相似性程度實(shí)現(xiàn)對(duì)圖像的分類,算法通常結(jié)合元學(xué)習(xí)的思想利用大量數(shù)據(jù)訓(xùn)練一個(gè)特征提取網(wǎng)絡(luò),然后對(duì)特征采取某種相似性度量方式來獲取不同的度量表示,如孿生網(wǎng)絡(luò)[13]、匹配網(wǎng)絡(luò)[14]、原型網(wǎng)絡(luò)[15]及關(guān)系網(wǎng)絡(luò)[16]等。

      小樣本學(xué)習(xí)的研究在近年來取得了不錯(cuò)的進(jìn)展,然而仍存在一些挑戰(zhàn):1)目前針對(duì)小樣本學(xué)習(xí)的研究主要集中于圖像分類任務(wù),對(duì)小樣本目標(biāo)檢測(cè)任務(wù)的研究較少;2)小樣本目標(biāo)檢測(cè)任務(wù)較之小樣本圖像分類任務(wù)有更大的挑戰(zhàn)?,F(xiàn)有小樣本目標(biāo)檢測(cè)算法大部分借助于小樣本圖像分類算法,如元學(xué)習(xí)[17-20]、遷移學(xué)習(xí)[21-24]等來實(shí)現(xiàn)對(duì)目標(biāo)的檢測(cè)。然而這兩種算法在小樣本目標(biāo)檢測(cè)任務(wù)上均存在一些問題:基于元學(xué)習(xí)的目標(biāo)檢測(cè)算法優(yōu)化難度較大,同時(shí)舍棄了對(duì)源域數(shù)據(jù)的檢測(cè)能力;基于遷移學(xué)習(xí)的算法需要源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)有一定的相似性,即小樣本目標(biāo)數(shù)據(jù)與大量訓(xùn)練數(shù)據(jù)有類似的分布,相似性越高,遷移效率越好。此外,基于元學(xué)習(xí)和遷移學(xué)習(xí)的算法在面對(duì)小樣本任務(wù)時(shí)均未考慮源域數(shù)據(jù)與小樣本目標(biāo)域數(shù)據(jù)間的分布差異,知識(shí)遷移效率較差,因而檢測(cè)精度較低。

      因此,為了更好地將先驗(yàn)知識(shí)遷移到目標(biāo)任務(wù)中,提升小樣本目標(biāo)檢測(cè)任務(wù)的檢測(cè)性能,同時(shí)對(duì)源域類別仍有較好的檢測(cè)性能,本文提出了一種多階段特征向量重分布的小樣本目標(biāo)檢測(cè)算法。針對(duì)特征分布不一致的問題,本文提出了一種重分布變換算法,通過對(duì)特征向量進(jìn)行變換,使得源域特征和小樣本目標(biāo)域特征有相同或相似的分布;為了進(jìn)一步提高域知識(shí)的遷移效率,提出了一種多階段逐步微調(diào)的策略,將知識(shí)逐步遷移到目標(biāo)域中,從而實(shí)現(xiàn)對(duì)小樣本目標(biāo)任務(wù)的高精度檢測(cè)。

      1 本文算法總體結(jié)構(gòu)

      1.1 小樣本目標(biāo)檢測(cè)定義

      小樣本任務(wù)旨在從源域數(shù)據(jù)集Db中學(xué)習(xí)域相關(guān)的知識(shí),并利用少量目標(biāo)域數(shù)據(jù)集Ds將知識(shí)遷移到目標(biāo)域任務(wù)中。Ds為 目標(biāo)任務(wù)的訓(xùn)練集,Dq為目標(biāo)任務(wù)的測(cè)試集,用于衡量算法對(duì)小樣本任務(wù)的泛化能力。因此,小樣本任務(wù)的數(shù)據(jù)集D包含3 個(gè)部分:Db,Ds和Dq。 其 中,Ds和Dq共 同組成小樣本 目 標(biāo) 任 務(wù) 的 目 標(biāo) 域 數(shù) 據(jù) 集Dn。Db、Ds和Dq定義為:

      式中,C表示數(shù)據(jù)集D的全部目標(biāo)類別;Cb為源域目標(biāo)類別;Cn為目標(biāo)域待檢測(cè)類別;x為輸入圖像;y表示每個(gè)候選區(qū)域ci及 其對(duì)應(yīng)的目標(biāo)類別li。若目標(biāo)域訓(xùn)練數(shù)據(jù)集Ds中 待檢測(cè)類別Cn包 含有N個(gè)類別,每個(gè)類別有K張圖像,則將該任務(wù)記為N?wayK?shot任務(wù)。小樣本目標(biāo)檢測(cè)任務(wù)中,通常取N=5,K={1,2,3,5,10}。

      為了更加準(zhǔn)確地測(cè)試算法性能,減小數(shù)據(jù)泄露的風(fēng)險(xiǎn),Db、Ds和Dq應(yīng)滿足:

      1.2 方法概述

      本文提出一種面向小樣本目標(biāo)檢測(cè)任務(wù)的域知識(shí)遷移模型,模型對(duì)候選區(qū)域特征進(jìn)行重分布變換以使得源域和目標(biāo)域有相似的特征分布,利用源域數(shù)據(jù)集Db和 目標(biāo)域數(shù)據(jù)集Dn進(jìn)行多階段學(xué)習(xí),實(shí)現(xiàn)小樣本下域知識(shí)的高效遷移。本文選取廣泛使用的目標(biāo)檢測(cè)網(wǎng)絡(luò)Faster RCNN[25]作為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)。

      本文提出的算法模型MSFR 結(jié)構(gòu)如圖1 所示。第一階段利用大量源域數(shù)據(jù)Db學(xué)習(xí)域相關(guān)的知識(shí),需對(duì)網(wǎng)絡(luò)的所有模塊進(jìn)行學(xué)習(xí)。后續(xù)階段訓(xùn)練旨在將學(xué)習(xí)到的源域知識(shí)逐步遷移到目標(biāo)域中,因而在知識(shí)遷移的過程中需凍結(jié)相關(guān)模塊的參數(shù):其中,灰色部分和短線點(diǎn)部分表示在不同訓(xùn)練階段所需凍結(jié)參數(shù)的模塊;長(zhǎng)短線部分表示該階段需額外使用的數(shù)據(jù),分類模塊使用余弦分類器。具體學(xué)習(xí)過程將在下面詳細(xì)介紹。

      圖1 本文算法模型結(jié)構(gòu)圖

      原Faster RCNN 網(wǎng)絡(luò)的候選區(qū)域分類模塊cls 使用全連接層分類器來實(shí)現(xiàn),然而全連接層分類器旨在尋找類別間的最佳分類面,當(dāng)訓(xùn)練樣本較少時(shí)難以實(shí)現(xiàn)。為了更好地適用于小樣本任務(wù),本文提出使用余弦相似性度量分類器代替原網(wǎng)絡(luò)中的全連接層分類器。設(shè)目標(biāo)類別數(shù)為c,則候選區(qū)域分類器需將候選區(qū)域分為c+1類(包含背景目標(biāo)),分類器cls 的權(quán)重矩陣W可以寫為[w1,w2,w3,···,wc+1], 其中wj表 示類別j的權(quán)重向量。余弦分類器的計(jì)算如下:

      式中,x表示輸入圖像;xi表 示輸入圖像的第i個(gè)候選區(qū)域;j表示目標(biāo)類別;fROI(xi) 表 示第i個(gè)候選區(qū)域的特征;di,j表 示候選區(qū)域xi與 目標(biāo)類別j的余弦相似性距離。

      為了便于表述,本文將模型θ 記 為θ=θbc+θRPN+θcls+θReg, 其中, θbc表示特征提取模塊, θRPN表示候選區(qū)域提取模塊, θcls和 θReg表示分類模塊及回歸模塊。

      2 特征向量重分布

      根據(jù)中心極限定理,在許多實(shí)際應(yīng)用場(chǎng)景中,當(dāng)統(tǒng)計(jì)數(shù)據(jù)足夠多的情況下,許多統(tǒng)計(jì)變量都可近似用高斯分布來表示。同時(shí),目前的深度學(xué)習(xí)算法都遵循數(shù)據(jù)獨(dú)立同分布這一基本假設(shè),然而,在面對(duì)小樣本任務(wù)時(shí),難以估計(jì)出樣本真正的分布。同時(shí),在知識(shí)遷移過程中,若源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)的分布相同或相似,遷移效率會(huì)得到有效提升;若二者的分布差異較大,則遷移效果較差?,F(xiàn)有小樣本目標(biāo)檢測(cè)算法均是將大量源域數(shù)據(jù)上學(xué)習(xí)到的知識(shí)遷移到小樣本目標(biāo)域任務(wù)中,但無法保證源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)有相同的數(shù)據(jù)分布。因此,本文提出一種特征向量重分布算法,將特征向量分布變換為高斯分布或類高斯分布,然后進(jìn)行后續(xù)的處理。

      特征重分布變換函數(shù)需滿足以下條件:1)該變換函數(shù)為一個(gè)嚴(yán)格遞增的函數(shù),即在變換后仍保持原數(shù)據(jù)的大小關(guān)系,只是數(shù)據(jù)的相對(duì)大小發(fā)生了改變。2)該變換函數(shù)是一個(gè)連續(xù)函數(shù),使得原始數(shù)據(jù)中比較集中的數(shù)據(jù)在變換后仍比較集中。3)該變換函數(shù)是一個(gè)可導(dǎo)函數(shù)。

      因此本文提出的重分布變換方式如式(4)所示,設(shè)原特征向量為x,重分布后的特征向量為y:

      式中,x為 向量x的平均值;g=xλ+1;c為一個(gè)常數(shù),用以保證輸入為一個(gè)恒大于零的數(shù);λ ∈[?2,2]為一個(gè)超參,用于調(diào)整變換后的分布。

      該變換的基本原理是:若向量x的各元素與向量均值xˉ間的差異較小,則減小元素間的相對(duì)距離;若向量x的各元素與向量均值xˉ間的差異較大,則增大元素間的相對(duì)距離;通過改變向量間元素的相對(duì)距離來改變其分布。參數(shù) λ直接作用于變換后元素間的相對(duì)距離,因此 λ對(duì)變換后的分布有著直接影響。

      為了選取合適的 λ以得到最好的檢測(cè)精度,本文對(duì)λ ∈[?2,2]進(jìn)行遍歷,步長(zhǎng)為0.1。

      3 多階段微調(diào)訓(xùn)練

      Faster RCNN 網(wǎng) 絡(luò) 主 要 包 括 θbc、 θRPN、 θcls及θReg。其中, θbc用 于提取圖像特征; θRPN用于提取包含目標(biāo)的候選區(qū)域,該模塊僅對(duì)候選框中是否包含目標(biāo)進(jìn)行判斷,并不關(guān)心候選框包含何種目標(biāo),因而這兩部分與具體檢測(cè)類別相關(guān)性較小;候選框分類模塊 θcls、 候選框回歸模塊 θReg則需識(shí)別候選框包含何種目標(biāo)并對(duì)目標(biāo)進(jìn)行精確定位,與待檢測(cè)類別密切相關(guān)[21]。因此,本文提出了一種多階段微調(diào)訓(xùn)練策略,以使得將學(xué)習(xí)到的域知識(shí)更好地遷移到目標(biāo)任務(wù)中。

      3.1 第一階段基類模型訓(xùn)練

      第一階段基類網(wǎng)絡(luò)學(xué)習(xí)過程中,利用源域數(shù)據(jù)集Db用于訓(xùn)練一個(gè)泛化能力較強(qiáng)的特征提取模塊和目標(biāo)候選區(qū)域提取模塊。在Faster RCNN 的基礎(chǔ)上,結(jié)合本文提出的特征向量重分布算法對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn),改進(jìn)后其網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。算法對(duì)候選區(qū)域特征進(jìn)行重分布變換,使得同一類別間的特征分布保持一致或類似,以提高目標(biāo)檢測(cè)精度,候選區(qū)域分類器使用余弦相似性度量分類器。

      圖2 第一階段基類模型訓(xùn)練

      該階段網(wǎng)絡(luò)的損失函數(shù)L與文獻(xiàn)[25]保持一致,為:

      式中,LRPN為 候選區(qū)域提取模塊的損失函數(shù);Lcls為候選區(qū)域分類模塊的交叉熵?fù)p失函數(shù);LReg為Smooth L1 損失函數(shù)。

      3.2 第二階段微調(diào)訓(xùn)練

      在基類模型訓(xùn)練完成后,特征提取模塊 θbc、候選區(qū)域提取模塊θRPN具有非常好的性能,且具有較好的泛化能力,因此在第二階段微調(diào)訓(xùn)練時(shí)將這幾個(gè)模塊的參數(shù)凍結(jié)(即參數(shù)在訓(xùn)練過程中不進(jìn)行更新),只對(duì)候選區(qū)域分類 θcls及 回歸模塊 θReg進(jìn)行訓(xùn)練,其流程如圖3 所示。圖中,灰色部分表示在訓(xùn)練中需凍結(jié)的模塊,即凍結(jié)θbc+θRPN, 只對(duì) θcls和θReg進(jìn)行微調(diào)訓(xùn)練。

      圖3 第二階段微調(diào)訓(xùn)練

      第二階段微調(diào)過程中使用目標(biāo)域數(shù)據(jù)Ds訓(xùn)練,對(duì)于N?wayK?shot任 務(wù),Ds數(shù) 據(jù)集包含N個(gè)類別,每個(gè)類別均只有K張圖像。

      該階段微調(diào)訓(xùn)練的損失函數(shù)與基類訓(xùn)練的損失函數(shù)保持一致。但由于微調(diào)訓(xùn)練數(shù)據(jù)集Ds數(shù)量較少、微調(diào)過程只對(duì)模型的少數(shù)參數(shù)進(jìn)行更新等原因,若采用與第一階段訓(xùn)練過程中相同的學(xué)習(xí)率,微調(diào)模型難以跳出鞍點(diǎn),使得模型難以收斂。因此,在該階段訓(xùn)練中,學(xué)習(xí)率設(shè)置為第一階段基類訓(xùn)練學(xué)習(xí)率的0.1 倍。

      3.3 第三階段微調(diào)訓(xùn)練

      在第二階段訓(xùn)練結(jié)束后,網(wǎng)絡(luò)對(duì)目標(biāo)類別Cn有了一定的檢測(cè)能力,但卻舍棄了對(duì)源域類別Cb的檢測(cè)性能;此外,雖然Faster RCNN 網(wǎng)絡(luò)的最后一層(分類、回歸模塊)對(duì)小樣本任務(wù)有非常重要的作用,但是對(duì)于新類別,候選區(qū)域提取模塊也起著至關(guān)重要的作用。因此本文提出在第二階段微調(diào)模型的基礎(chǔ)上進(jìn)行進(jìn)一步地學(xué)習(xí),將候選區(qū)域提取模塊學(xué)習(xí)到的知識(shí)更好地遷移到小樣本任務(wù)中。該階段的網(wǎng)絡(luò)流程如圖4 所示。

      圖4 第三階段微調(diào)訓(xùn)練

      第三階段微調(diào)使用的數(shù)據(jù)Df由兩部分構(gòu)成,Ds和Db_f,其中,Ds為 第二階段訓(xùn)練數(shù)據(jù),Db_f為對(duì)源域數(shù)據(jù)集Db進(jìn)行重采樣后組成的基類小樣本數(shù)據(jù)集。Db_f的采樣過程如下:針對(duì)N?wayK?shot任務(wù),對(duì)源域數(shù)據(jù)集Db中 的每個(gè)類別li∈Cb隨機(jī)選取K個(gè)樣本,若源域類別Cb有Nb個(gè) 類別,則Db_f共有Nb×K張圖像。

      同樣地,圖4 中灰色部分表示在訓(xùn)練中凍結(jié)θbc的參數(shù)。該階段微調(diào)訓(xùn)練的學(xué)習(xí)率設(shè)置為第一階段基類訓(xùn)練學(xué)習(xí)率的0.05 倍。

      本文的算法流程實(shí)現(xiàn)如下:

      1) 數(shù)據(jù)集準(zhǔn)備。源域訓(xùn)練集Db, 對(duì)Db進(jìn)行重采樣的少量數(shù)據(jù)集Db_f,目標(biāo)域數(shù)據(jù)集Ds。

      2) 第一階段訓(xùn)練。訓(xùn)練過程如3.1 節(jié)所述,所得模型記為θ1=θbc_1+θRPN_1+θcls_1+θReg_1。

      3) 第二階段訓(xùn)練。將 θ1的最后一層刪除并根據(jù)Ds的 類別數(shù)對(duì)最后一層進(jìn)行隨機(jī)賦值,記為 θ1′;凍結(jié) θ1′中 θbc和 θRPN的 參數(shù),使用數(shù)據(jù)Ds對(duì) θ1′進(jìn)行訓(xùn)練。訓(xùn)練過程如3.2 節(jié)所述,所得模型記為θ2=θbc_1+θRPN_1+θcls_2+θReg_2。

      4) 第三階段訓(xùn)練。將 θ1和 θ2進(jìn)行融合做為第三階 段 訓(xùn) 練 的 初 始 模 型 θ2′, 即θ2′=θbc_1+θRPN_1+(θcls_1+θcls_2)+(θReg_1+θReg_2) , 可以看出, θ2′對(duì)源域類別和目標(biāo)域類別已具有一定的檢測(cè)能力;為了進(jìn)一步提高模型的檢測(cè)性能,進(jìn)行進(jìn)一步的微調(diào)訓(xùn)練:凍 結(jié) θ2′中 的 θbc_1,對(duì) 其 余 模 塊 參 數(shù) 進(jìn) 行 訓(xùn)練。訓(xùn)練過程如3.3 節(jié)所示。所得模型記為θ3=θbc_1+θRPN_3+θcls_3+θReg_3。

      4 實(shí)驗(yàn)結(jié)果及分析

      為了評(píng)估本文算法的有效性,在VOC 數(shù)據(jù)集上與目前多個(gè)小樣本目標(biāo)檢測(cè)方法進(jìn)行對(duì)比。

      4.1 數(shù)據(jù)集及實(shí)驗(yàn)設(shè)置

      本節(jié)使用的VOC 數(shù)據(jù)集包括2007 和2012 兩個(gè)版本。VOC2007 包含20 類圖像共9 963 張,其中訓(xùn)練集5 011 張,測(cè)試集4 952 張。VOC2012 是VOC2007 數(shù)據(jù)集的升級(jí)版,共20 類11 530 張。本文主要研究N?wayK?shot任務(wù)下小樣本目標(biāo)檢測(cè)的精度,其中,N=5,K={1,2,3,5,10}。為了驗(yàn)證算法的魯棒性,本文對(duì)VOC 數(shù)據(jù)集進(jìn)行劃分,以構(gòu)造小樣本任務(wù),劃分方式與文獻(xiàn)[14-20]保持一致。數(shù)據(jù)集的劃分共有3 種分組方式,每次劃分從VOC 數(shù)據(jù)集的20 個(gè)類別中選取15 類作為源域數(shù)據(jù)集Db進(jìn)行第一階段訓(xùn)練,其余5 類作為目標(biāo)域數(shù)據(jù)Dn, 小樣本待檢測(cè)目標(biāo)類別記為Cn。每個(gè)類從2007 和2012 版本的集合中隨機(jī)采樣K張圖像作為目標(biāo)域訓(xùn)練數(shù)據(jù)集Ds,該類別的其余圖像作為目標(biāo)域測(cè)試集Dq。精度衡量指標(biāo)使用AP50,置信度為0.5。本文實(shí)驗(yàn)環(huán)境為Ubuntu18.04,編程語言為Python1.6、Pytorch1.6 深度學(xué)習(xí)框架,顯卡為Nvidia v100s,顯卡支持為CUDA10.0。

      特征提取網(wǎng)絡(luò)模塊使用在ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練的ResNet101 模型。多階段訓(xùn)練時(shí)batchsize設(shè)置為16,優(yōu)化算法使用SDG。第一階段基類模型訓(xùn)練時(shí),初始學(xué)習(xí)率設(shè)置為0.02,訓(xùn)練次數(shù)為20 000 次;第二階段微調(diào)訓(xùn)練時(shí),初始學(xué)習(xí)率設(shè)置為0.002;第三階段微調(diào)訓(xùn)練時(shí),初始學(xué)習(xí)率設(shè)置為0.000 1。

      文獻(xiàn)[26]表明,當(dāng) λ =0.7時(shí),該變換在小樣本圖像分類任務(wù)中取得了最好的效果。因此,本文在后續(xù)實(shí)驗(yàn)中,均選取上述超參。

      4.2 精度分析

      本節(jié)實(shí)驗(yàn)將對(duì)VOC 數(shù)據(jù)集3 種不同劃分方式分別記為Novel1、Novel2、Novel3。為了更好地衡量算法的整體檢測(cè)性能,本文采用文獻(xiàn)[18]中的評(píng)價(jià)指標(biāo):其中,對(duì)源域類別的平均檢測(cè)精度記為bAp,目標(biāo)類別的平均檢測(cè)精度記為nAp,對(duì)VOC 數(shù)據(jù)集全部20 個(gè)類別的檢測(cè)精度記為Ap。

      在不同劃分下,首先利用源域數(shù)據(jù)集Db進(jìn)行第一階段訓(xùn)練,算法對(duì)源域類別Cb的檢測(cè)精度如表1 所示。由表1 可知,特征重分布算法在大量訓(xùn)練數(shù)據(jù)下對(duì)目標(biāo)檢測(cè)精度略有影響,較之原Faster RCNN 網(wǎng)絡(luò)對(duì)源域類別的檢測(cè)精度提升約0.15%。

      表1 第一階段源域類別檢測(cè)精度 %

      在完成第一階段訓(xùn)練后,分別對(duì)不同劃分進(jìn)行第二、三階段的微調(diào)訓(xùn)練,對(duì)比結(jié)果如表2 所示,其中加黑部分為各任務(wù)下的最優(yōu)精度。

      從表2 可以看出,本文算法在3 個(gè)劃分方式上對(duì)多個(gè)任務(wù)都達(dá)到了最好精度,較其余算法均有明顯提升,尤其是樣本少的時(shí)候提升更為明顯(如對(duì)1-3 shot 任務(wù))。在多個(gè)任務(wù)上,較其余最好精度提升了0.42%~9.06%,驗(yàn)證了本文算法的有效性;此外,在不同劃分下,隨著樣本數(shù)的增加,目標(biāo)檢測(cè)精度也隨之不斷提升。表3 為不同算法在VOC 數(shù)據(jù)集不同劃分不同任務(wù)下對(duì)新類別的檢測(cè)精度,其中加黑部分為各任務(wù)下對(duì)新類別的最優(yōu)精度。由表3 可以看出,各任務(wù)下本文算法對(duì)多數(shù)類別的檢測(cè)精度都有明顯提升。Meta-RCNN 對(duì)某些類別的檢測(cè)精度可以達(dá)到最優(yōu),然而會(huì)損耗對(duì)其余類別的檢測(cè)精度。如對(duì)于Novel2 劃分下5-shot 任務(wù),Meta-RCNN 對(duì)cow、horse 兩個(gè)類別達(dá)到了最優(yōu)精度,然而對(duì)bottle 的檢測(cè)精度最低,只有0.3%。此外,對(duì)于Novel2 劃分,本文算法和對(duì)比算法的檢測(cè)精度較之Novel1 和Novel3 均有較大差距。這是由于Novel2 中,新類別的形狀、顏色、尺寸等變化較大,目標(biāo)尺寸較小,僅使用5 個(gè)樣本難以學(xué)習(xí)到表征能力足夠的類別相關(guān)特征。而對(duì)于類間變化較小的類別,僅使用少量樣本如1-shot、2-shot,即可達(dá)到50%左右的精度。

      表2 本文算法與現(xiàn)有算法在VOC 數(shù)據(jù)集不同任務(wù)上的精度對(duì)比 %

      表3 本文算法與現(xiàn)有算法在VOC 數(shù)據(jù)集不同劃分不同任務(wù)下對(duì)新類別的檢測(cè)精度 %

      %續(xù)表

      由于本文算法在微調(diào)訓(xùn)練的數(shù)據(jù)集Df不僅包含目標(biāo)域數(shù)據(jù)集Ds,也包含源域數(shù)據(jù)Db_f,因此與基于元學(xué)習(xí)的算法在訓(xùn)練完成后只保留對(duì)新類別數(shù)據(jù)的檢測(cè)能力相比,本文算法在大幅提升對(duì)新類別檢測(cè)精度的同時(shí),仍保留了對(duì)源域數(shù)據(jù)類別的檢測(cè)能力。3 種不同劃分 5?shot任務(wù)下對(duì)源域類別、目標(biāo)類別、全部類別的檢測(cè)精度如表4所示。

      表4 同劃分方式下在5-shot 任務(wù)下的檢測(cè)性能 %

      通過表3 和表4 可知,在不同劃分下本文算法對(duì)源域類別的檢測(cè)精度基本一致,平均可達(dá)到78.72%,較第一階段精度僅下降約3%左右,有效證明了本文算法在提升小樣本目標(biāo)檢測(cè)精度的同時(shí),仍保持了對(duì)源域類別的檢測(cè)性能。

      4.3 計(jì)算復(fù)雜度分析

      與Faster RCNN 相比,本文提出的MSFR 網(wǎng)絡(luò)結(jié)構(gòu)有兩點(diǎn)改進(jìn):特征重分布模塊和余弦相似度分類模塊。因此,本文針對(duì)這兩個(gè)模塊分別進(jìn)行復(fù)雜度分析。設(shè)候選區(qū)域特征維度為N,本實(shí)驗(yàn)中N=512。

      特征重分布模塊:由式(4)可知,特征重分布模塊中包含加法、冪運(yùn)算、減法、除法4 種運(yùn)算,因此該模塊的計(jì)算量為FLOPs=4N=2 048

      余弦相似度分類模塊:為了簡(jiǎn)化余弦相似度計(jì)算過程,本實(shí)驗(yàn)在進(jìn)行余弦相似度計(jì)算過程時(shí),首先對(duì)wj和fROI(xi)進(jìn)行標(biāo)準(zhǔn)化處理,則式(3)簡(jiǎn)化為di,j=wj fROI(xi)??梢钥闯?,簡(jiǎn)化后的余弦相似度計(jì)算與全連接層的計(jì)算一致。因此,該模塊中增加的計(jì)算量在于特征向量標(biāo)準(zhǔn)化計(jì)算過程。標(biāo)準(zhǔn)化計(jì)算包含減法、除法兩種運(yùn)算,則該模塊較之全連接分類器增加的計(jì)算量為F LOPs=2×2N=2 048。

      MSFR 增 加 的 計(jì) 算 量 為 FLOPs=4 096。與Faster RCNN 相比,MSFR 額外增加的計(jì)算量可以忽略不計(jì)。

      4.4 消融實(shí)驗(yàn)

      為了驗(yàn)證特征向量重分布算法的有效性,本文對(duì)該模塊進(jìn)行了消融實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表2 所示。其中,MS 表示無特征重分布模塊的多階段學(xué)習(xí)算法,可以看出,特征向量重分布算法對(duì)小樣本目標(biāo)類別的檢測(cè)精度有著直接影響。較之無特征向量重分布模塊,本文算法在不同任務(wù)上對(duì)目標(biāo)類別的平均檢測(cè)精度提高了4.62%,樣本數(shù)量越少,提升越顯著,如對(duì)于K≤3的任務(wù),精度提升最高達(dá)10.67%,平均提升5.89%。

      為了驗(yàn)證特征重分布變換對(duì)特征分布的影響,本文在測(cè)試過程中提取重分布變換層輸入和輸出的特征向量,并對(duì)其特征分布進(jìn)行可視化分析,如圖5 所示。其中,圖5a 為特征變換前分布,圖5b為變換后的特征分布??梢钥闯?,特征向量在變換前是一種長(zhǎng)尾分布,而經(jīng)重分布變換后的特征分布為一個(gè)類高斯分布。

      圖5 VOC 數(shù)據(jù)集上5-shot 檢測(cè)結(jié)果示意圖

      圖6 展示了本文算法在VOC 數(shù)據(jù)集上5-shot任務(wù)下對(duì)不同劃分中新類別的檢測(cè)結(jié)果示意圖??梢钥闯?,本文算法在不同場(chǎng)景下對(duì)目標(biāo)類別都具有較好的檢測(cè)能力。

      圖6 特征向量重分布變換

      5 結(jié) 束 語

      針對(duì)現(xiàn)有小樣本目標(biāo)檢測(cè)的研究未考慮數(shù)據(jù)分布知識(shí)遷移效率的影響及檢測(cè)精度較低的問題,本文提出了一種多階段特征重分布的小樣本目標(biāo)檢測(cè)算法,在VOC 數(shù)據(jù)集的大量實(shí)驗(yàn)都取得了較高的檢測(cè)精度。本文結(jié)論如下:1)提出了基于特征重分布算法的小樣本目標(biāo)檢測(cè)算法。該方法將特征向量分布變換為高斯分布或類高斯分布,以保證小樣本目標(biāo)域數(shù)據(jù)和源域數(shù)據(jù)有相同或相似的數(shù)據(jù)分布。2)提出了一種多階段微調(diào)訓(xùn)練策略,提高了知識(shí)遷移效率。該方法通過分階段凍結(jié)不同模塊參數(shù),將不同模塊知識(shí)逐步遷移到小樣本任務(wù)中。本文算法在不同任務(wù)下對(duì)小樣本目標(biāo)域類別的檢測(cè)精度提高了0.42%~9.06%。尤其對(duì)典型的5-shot 任務(wù),本文算法對(duì)源域類別的平均檢測(cè)精度達(dá)78.72%,較第一階段檢測(cè)精度僅下降2.60%;對(duì)小樣本目標(biāo)域類別的最高檢測(cè)精度可達(dá)56.66%。大量實(shí)驗(yàn)表明,本文算法在提升小樣本目標(biāo)檢測(cè)精度的同時(shí),對(duì)源域類別的檢測(cè)性能未有顯著降低。

      實(shí)驗(yàn)結(jié)果表明,本文算法對(duì)于尺寸較小的目標(biāo)檢測(cè)精度較差。因此在將來的研究工作中,考慮使用注意力機(jī)制來抑制背景區(qū)域特征對(duì)目標(biāo)的干擾,以提高模型對(duì)小目標(biāo)的檢測(cè)性能,同時(shí)將本文算法推廣到紅外、遙感等圖像的小樣本目標(biāo)檢測(cè)任務(wù)中。

      猜你喜歡
      源域類別精度
      多源域適應(yīng)方法綜述
      基于參數(shù)字典的多源域自適應(yīng)學(xué)習(xí)算法
      基于DSPIC33F微處理器的采集精度的提高
      電子制作(2018年11期)2018-08-04 03:25:38
      GPS/GLONASS/BDS組合PPP精度分析
      服務(wù)類別
      可遷移測(cè)度準(zhǔn)則下的協(xié)變量偏移修正多源集成方法
      改進(jìn)的Goldschmidt雙精度浮點(diǎn)除法器
      論類別股東會(huì)
      商事法論集(2014年1期)2014-06-27 01:20:42
      中醫(yī)類別全科醫(yī)師培養(yǎng)模式的探討
      巧用磨耗提高機(jī)械加工精度
      河南科技(2014年14期)2014-02-27 14:11:53
      遂昌县| 弥渡县| 红桥区| 江津市| 松江区| 望奎县| 新龙县| 清新县| 新巴尔虎左旗| 监利县| 潼南县| 云梦县| 湄潭县| 双柏县| 射洪县| 兴城市| 阜城县| 延川县| 南安市| 阳曲县| 江孜县| 枣庄市| 泽普县| 淮安市| 重庆市| 融水| 湾仔区| 新疆| 泰安市| 光泽县| 黄平县| 育儿| 连江县| 黎川县| 永仁县| 武义县| 昌都县| 潞城市| 门头沟区| 塔河县| 巢湖市|