• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于層間模型知識(shí)遷移的深度堆疊最小二乘分類器

      2019-12-18 07:48:06杭文龍劉學(xué)軍
      計(jì)算機(jī)研究與發(fā)展 2019年12期
      關(guān)鍵詞:集上分類器分類

      馮 偉 杭文龍 梁 爽 劉學(xué)軍 王 輝

      1(南京工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 南京 211816)2(南京郵電大學(xué)地理與生物信息學(xué)院 南京 210023)(fengwei@njtech.edu.cn)

      最小二乘分類器(least square classifier,LSC)模型參數(shù)的解析解形式,使其通過留一交叉驗(yàn)證策略可以簡(jiǎn)便快速地確定最優(yōu)模型參數(shù)(如平衡參數(shù)以及高斯核寬),避免耗費(fèi)大量計(jì)算成本進(jìn)行參數(shù)尋優(yōu)[1].因此,LSC模型被廣泛應(yīng)用于圖像識(shí)別[2-3]、語音識(shí)別[4-5]、文本分類[6]等領(lǐng)域.然而,隨著信息技術(shù)的發(fā)展,數(shù)據(jù)特征和結(jié)構(gòu)趨于復(fù)雜化,例如遙感圖像、醫(yī)學(xué)圖像等.這些數(shù)據(jù)往往需要專業(yè)領(lǐng)域人員根據(jù)應(yīng)用場(chǎng)景設(shè)計(jì)特征提取器,將原始數(shù)據(jù)轉(zhuǎn)化成分類器易于處理的數(shù)據(jù)特征形式.上述過程需要輔助大量的領(lǐng)域知識(shí)和專業(yè)經(jīng)驗(yàn),給傳統(tǒng)的LSC模型在實(shí)際場(chǎng)景中的應(yīng)用帶來極大的挑戰(zhàn).

      近年來,深度學(xué)習(xí)在理論與技術(shù)的突破性發(fā)展,表現(xiàn)出優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)算法的性能[7].深度學(xué)習(xí)框架主要由多個(gè)非線性單元堆疊而成,其利用相鄰前層的輸出作為下一層的輸入,經(jīng)過多層特征提取后,自適應(yīng)地從原始數(shù)據(jù)中抽象出有效的特征表示.深度學(xué)習(xí)方法由于其強(qiáng)大的特征學(xué)習(xí)能力受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注,目前已成功應(yīng)用于計(jì)算機(jī)視覺[8-10]、自然語言處理[11-13]等領(lǐng)域.然而,主流的深度學(xué)習(xí)方法大多基于多層感知機(jī),需要求解非凸優(yōu)化問題,容易陷入局部最優(yōu)值.且參數(shù)較多、模型訓(xùn)練時(shí)間過長(zhǎng)[14-16].

      針對(duì)這些問題,本文結(jié)合堆疊泛化理論以及遷移學(xué)習(xí)機(jī)制提出一種新的堆疊架構(gòu),在LSC模型的基礎(chǔ)上提出了深度遷移最小二乘分類器(deep transfer least square classifier,DTLSC),其具有2個(gè)特點(diǎn):

      1)基于堆疊泛化原理,利用LSC模型作為基本堆疊單元構(gòu)建深度堆疊架構(gòu),避免了傳統(tǒng)深度網(wǎng)絡(luò)中需要求解非凸優(yōu)化的問題,提升模型分類性能的同時(shí)提高了網(wǎng)絡(luò)計(jì)算效率.具體地,DTLSC的第1層輸入為原始數(shù)據(jù).從第2層開始,每一層的輸入由所有前層輸出的隨機(jī)投影與原始特征疊加而成.從而利用了前層輸出遞歸地改變?cè)紨?shù)據(jù)流形,有助于下一層分類器對(duì)數(shù)據(jù)進(jìn)行分類.

      2)利用遷移學(xué)習(xí)機(jī)制,自適應(yīng)遷移所有前層網(wǎng)絡(luò)的模型知識(shí)以輔助當(dāng)前層網(wǎng)絡(luò)的模型構(gòu)建,以充分利用深度堆疊網(wǎng)絡(luò)中各層之間的關(guān)聯(lián)性,盡可能保持了層間模型的一致性,提升分類器泛化性能.此外,采用選擇性遷移策略,通過最小化當(dāng)前層訓(xùn)練集上的留一交叉驗(yàn)證誤差,自適應(yīng)地確定每個(gè)前層模型遷移知識(shí)的權(quán)重,避免因使用不相關(guān)模型知識(shí)導(dǎo)致的負(fù)遷移效應(yīng).

      1 相關(guān)工作

      Wolpert[17]首先提出堆疊泛化理論,通過將多個(gè)簡(jiǎn)單的函數(shù)或淺層分類器堆疊構(gòu)成深度網(wǎng)絡(luò),以得到更加復(fù)雜的函數(shù)或者深層分類器,從而最終提升分類或預(yù)測(cè)的準(zhǔn)確性.目前已經(jīng)有較多關(guān)于深度堆疊架構(gòu)的研究成果,根據(jù)堆疊單元不同,其方法大致可歸納為2類:1)通過堆疊多個(gè)多層感知機(jī)來構(gòu)建深度網(wǎng)絡(luò),此類深度網(wǎng)絡(luò)在相鄰層間傳遞數(shù)據(jù)時(shí)通常不包含監(jiān)督信息.目前應(yīng)用較為廣泛的有卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)[18-19]、深度玻爾茲曼機(jī)(deep Boltzmann machines,DBM)[20-21]、深度自編碼器(deep auto-encoder,DAE)[22-23]等.2)將多個(gè)簡(jiǎn)單的淺層分類器作為基本堆疊單元構(gòu)建深度網(wǎng)絡(luò),該類深度網(wǎng)絡(luò)通常利用前層輸出以及原始輸入特征構(gòu)成當(dāng)前層的輸入.可以看出:此類深度網(wǎng)絡(luò)在層間傳遞數(shù)據(jù)過程中利用了監(jiān)督信息,提高了模型的分類性能.此外,由于每層只需使用一個(gè)簡(jiǎn)單的分類器,避免了由于求解非凸優(yōu)化問題而容易陷入局部最優(yōu)的問題.另外,通過利用前層的預(yù)測(cè)值遞歸改變?cè)紨?shù)據(jù)流形結(jié)構(gòu),使得不同類別的數(shù)據(jù)樣本更加可分,有助于提升整個(gè)深層架構(gòu)的分類性能.Vinyals等人[24]提出了一種隨機(jī)遞歸線性支持向量機(jī)(random recursive support vector machine,R2SVM),將線性支持向量機(jī)(support vector machine,SVM)作為基本堆疊單元,同時(shí)引入隨機(jī)投影作為核心堆疊元素;Yu等人[25]結(jié)合極限學(xué)習(xí)機(jī)與堆疊泛化理論,提出了極限學(xué)習(xí)機(jī)深度網(wǎng)絡(luò)結(jié)構(gòu)(deep representations learning via extreme learning machine,DrELM);Wang等人[26]提出了深度遷移疊加核最小二乘支持向量機(jī)(deep transfer additive kernel least square support vector machine,DTA-LSSVM),所提深度網(wǎng)絡(luò)以疊加核最小二乘支持向量機(jī)(additive kernel least square support vector machine,AK-LSSVM)作為基本堆疊單元,將上一層輸出作為一個(gè)附加特征對(duì)原始特征擴(kuò)維作為當(dāng)前層的輸入,并且在相鄰層之間進(jìn)行知識(shí)遷移以提升模型的泛化性能.然而,目前這類深度堆疊架構(gòu)大部分均未充分考慮到深度堆疊網(wǎng)絡(luò)中各層之間的關(guān)聯(lián)性,模型的泛化性能有待進(jìn)一步改善.

      本文所提DTLSC算法利用LSC作為基本堆疊單元構(gòu)建深度堆疊網(wǎng)絡(luò),每層輸入均由所有前層輸出的隨機(jī)投影結(jié)果與原始輸入特征疊加而成,同時(shí)引入選擇性遷移學(xué)習(xí)機(jī)制,對(duì)所有前層的模型知識(shí)進(jìn)行自適應(yīng)遷移來輔助當(dāng)前層模型的構(gòu)建.值得注意的是,在深度堆疊網(wǎng)絡(luò)構(gòu)建過程中,相比于DTA-LSSVM僅遷移前一層的模型知識(shí),DTLSC算法利用了文獻(xiàn)[24]中的數(shù)據(jù)生成方式,遞歸地改變?cè)紨?shù)據(jù)流形,增加了數(shù)據(jù)的可分性;此外,DTLSC算法考慮了所有前層之間的關(guān)聯(lián)性,采用自適應(yīng)遷移學(xué)習(xí)技術(shù),能合理有效地利用所有前層的模型知識(shí),進(jìn)一步提升了模型的泛化性能[26].

      2 問題定義

      Table 1 Parameters Description表1 參數(shù)描述

      本文介紹經(jīng)典的LSC模型,然后給出本文提出的DTLSC算法.

      3 最小二乘分類器

      基于等式約束,Suykens等人在文獻(xiàn)[27]中給出了LSC模型:

      (1)

      LSC模型的優(yōu)化可以歸結(jié)為線性方程組的求解問題,由于使用了等式約束使其較易得到方程的解析解形式.然而,傳統(tǒng)LSC模型在有限的樣本和計(jì)算單元的情況下對(duì)復(fù)雜函數(shù)的表示能力有限,處理復(fù)雜的分類問題時(shí)存在局限性.

      4 深度遷移最小二乘分類器

      本文基于堆疊泛化理論和遷移學(xué)習(xí)機(jī)制,提出一種深度遷移最小二乘分類器DTLSC,該算法充分利用了深度堆疊架構(gòu)以及遷移學(xué)習(xí)的優(yōu)勢(shì)來提高LSC模型的學(xué)習(xí)與泛化性能,以提升傳統(tǒng)LSC在處理復(fù)雜的數(shù)據(jù)特征時(shí)的分類效果.

      4.1 基本框架

      DTLSC算法總體框架如圖1所示:

      Fig.1 The overall framework of DTLSC圖1 DTLSC的整體框架

      具體地,DTLSC算法第1層基本單元為傳統(tǒng)LSC,其輸入為原始數(shù)據(jù)X.從第2層開始,每一層的輸入由所有前層輸出的隨機(jī)投影與原始輸入特征疊加而成.利用前層輸出的隨機(jī)投影可以改變?cè)紨?shù)據(jù)的流形結(jié)構(gòu)[24],使得數(shù)據(jù)更具可分性,從而提升了分類器的分類性能.此外,從第2層開始,每層基本模塊為遷移LSC.具體地,采用遷移學(xué)習(xí)策略,自適應(yīng)地學(xué)習(xí)前層模型知識(shí)來輔助當(dāng)前層的分類模型構(gòu)建.

      Fig.2 Composition of the l th layer input圖2 第l層輸入數(shù)據(jù)的構(gòu)成

      (2)

      其中,pl,j表示第l層用于投影第j層輸出的投影矩陣.

      4.2 自適應(yīng)深度遷移

      深度堆疊網(wǎng)絡(luò)中各層之間存在一定的關(guān)聯(lián)性[26],為盡可能保持層間模型的一致性,DTLSC算法在深度堆疊架構(gòu)中引入遷移學(xué)習(xí)機(jī)制,利用前層的相關(guān)模型知識(shí)輔助當(dāng)前層的模型構(gòu)建,以進(jìn)一步提升模型的泛化性能.具體地,以構(gòu)建第l層模型為例,下面將介紹自適應(yīng)遷移前l(fā)-1層模型的詳細(xì)過程.首先,我們引入模型知識(shí)遷移權(quán)重βj,l,j=1,2,…,l-1,用于表示網(wǎng)絡(luò)層間知識(shí)遷移的程度,βj,l反映了第j層與當(dāng)前第l層模型知識(shí)之間的相關(guān)程度.給出DTLSC算法的目標(biāo)函數(shù):

      (3)

      其中,Cl為當(dāng)前層權(quán)衡函數(shù)復(fù)雜度和分類誤差的平衡參數(shù),ξi,l為第l層第i個(gè)訓(xùn)練樣本的分類誤差.可以看出,當(dāng)β1,l=β2,l…=βl-1,l=0時(shí),目標(biāo)函數(shù)退化為傳統(tǒng)LSC模型.

      從式(3)看出,由于引入反映深度網(wǎng)絡(luò)結(jié)構(gòu)層間遷移程度的模型參數(shù)βj,l,j=1,2,…,l-1,DTLSC算法能夠緩解利用不相關(guān)的前層模型知識(shí)而導(dǎo)致的負(fù)遷移效應(yīng),保證了模型的泛化性能.

      4.3 算法求解

      式(3)的拉格朗日形式:

      (4)

      (5)

      (6)

      (7)

      (8)

      將式(5)~(7)代入式(8),可得:

      (9)

      將式(9)寫成矩陣形式,可得:

      (10)

      采用Ml表示式(10)等號(hào)左邊第1個(gè)矩陣,即:

      (11)

      則可以得到當(dāng)前層的模型參數(shù),即:

      (12)

      (13)

      證明.令α(-i),l和b(-i),l表示第l層留一交叉驗(yàn)證中第i次迭代得到的模型參數(shù).在第1次迭代時(shí),第1個(gè)樣本被取出作為測(cè)試集,可得:

      (14)

      (15)

      結(jié)合式(10)和式(11)可知:

      因此:

      (16)

      由式(10)可得:

      (17)

      (18)

      (19)

      證畢.

      (20)

      其中,|x|+=max(0,x).

      則最優(yōu)化βl可表示為目標(biāo)函數(shù):

      (21)

      式(21)可通過梯度下降法求解,偽代碼如算法1所示.

      Fig.3 Artificial dataset圖3 人造數(shù)據(jù)集

      算法1.梯度下降優(yōu)化算法.

      輸出:βl.

      初始化:βl=0,當(dāng)前迭代值t=1;

      Repeat

      end if

      Step5.βj,l←max(βj,l,0),?j=1,2,…,l-1;

      Step6.t←t+1;

      Until convergence

      4.4 時(shí)間復(fù)雜度分析

      DTLSC算法使用留一交叉驗(yàn)證策略快速地進(jìn)行模型參數(shù)選擇,其僅需要較少的計(jì)算時(shí)間便可以獲得最優(yōu)參數(shù).在深度網(wǎng)絡(luò)建立過程中,第1層進(jìn)行LSC模型構(gòu)建的時(shí)間復(fù)雜度為O(N3).從第2層開始,每個(gè)模塊的時(shí)間復(fù)雜度主要分為2個(gè)部分:1)求矩陣Ml的逆運(yùn)算,相應(yīng)的時(shí)間復(fù)雜度為O(N3);2)用梯度下降法迭代求出遷移權(quán)重βl,相應(yīng)的時(shí)間復(fù)雜度為O((L-1)N).因此,DTLSC算法的整個(gè)時(shí)間復(fù)雜度為O(LN3+(L-1)2N).

      5 實(shí)驗(yàn)與分析

      本節(jié)將對(duì)所提DTLSC算法在人造數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上的分類效果進(jìn)行實(shí)驗(yàn)驗(yàn)證與分析.

      5.1 實(shí)驗(yàn)數(shù)據(jù)集

      1)人造數(shù)據(jù)集.本文將驗(yàn)證在不同噪聲下算法的分類性能.首先構(gòu)造正、負(fù)類各300個(gè)樣本的雙月數(shù)據(jù)集,圖3(a)所示.隨后分別對(duì)雙月數(shù)據(jù)集施加不同的高斯噪聲(均值為0,方差分別為0.1,0.3,0.5,0.8,1).圖3(b)中展示的是施加了均值為0、方差為0.3噪聲的雙月數(shù)據(jù)集.

      2)真實(shí)數(shù)據(jù)集.為進(jìn)一步驗(yàn)證DTLSC算法的分類性能,本文在10個(gè)UCI數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證,具體描述如表2所示:

      Table 2 Description of UCI Datasets表2 UCI數(shù)據(jù)集描述

      5.2 實(shí)驗(yàn)設(shè)置

      本文采用5種對(duì)比算法:

      1)經(jīng)典最小二乘分類器(LSC)[27];

      2)隨機(jī)遞歸層疊LSC(RRLSC)[24];

      3)深層遷移疊加核LSC(DTA-LSC)[26];

      4)本文所提DTLSC算法;

      5)僅遷移前一層模型知識(shí)的DTLSC算法(DTLSC-S).

      在上述對(duì)比算法中,本文將R2SVM算法的基本單元替換成LSC模型;此外,將DTA-LSSVM算法的基本單元(AK-LSSVM)替換成LSC模型.所有算法均采用線性核和RBF核,參數(shù)設(shè)置如表3所示:

      Table 3 Parameter Setup表3 實(shí)驗(yàn)參數(shù)設(shè)置

      對(duì)于人造數(shù)據(jù)集以及真實(shí)數(shù)據(jù)集,分別隨機(jī)抽取20%和30%的樣本用于訓(xùn)練,剩下的樣本用于測(cè)試,數(shù)據(jù)均統(tǒng)一進(jìn)行歸一化處理.在訓(xùn)練過程中采用五折交叉驗(yàn)證方法確定最優(yōu)參數(shù)Cl和δ.同時(shí)采用分類精度評(píng)估各算法的性能,具體表示為

      (22)

      其中,Dte表示測(cè)試數(shù)據(jù)集,yi表示zi的真實(shí)標(biāo)簽,sgn(f(zi))為zi的預(yù)測(cè)標(biāo)簽.所有算法均執(zhí)行10次,最后計(jì)算出各自的均值與方差.

      本文實(shí)驗(yàn)硬件平臺(tái)為Windows 64位Intel Core i5,內(nèi)存為8 GB.編程環(huán)境為MATLAB 2014b.

      5.3 實(shí)驗(yàn)結(jié)果

      5.3.1 人造數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

      圖4(a)(b)分別展示了設(shè)置20%樣本用于訓(xùn)練時(shí)各對(duì)比算法采用RBF核及線性核的分類精度.圖4(c)(d)分別展示了設(shè)置30%樣本用于訓(xùn)練時(shí)各對(duì)比算法采用RBF核及線性核的分類精度.根據(jù)圖4可以得到結(jié)論:4種深度堆疊算法,即RRLSC,DTA-LSC,DTLSC-S,DTLSC較淺層學(xué)習(xí)算法LSC可以獲得更好的分類準(zhǔn)確率.這主要是因?yàn)榛谏疃榷询B架構(gòu)的分類器模型能夠改變數(shù)據(jù)的流形結(jié)構(gòu),模型的分類性能得到提升.在一般情況下,對(duì)比無遷移的深度堆疊架構(gòu)RRLSC,深度遷移堆疊架構(gòu)DTA-LSC,DTLSC-S能獲得更高的分類精度,但卻都要遜于DTLSC算法.其原因主要是 DTA-LSC和 DTLSC-S僅僅利用了前一層模型的知識(shí)來輔助當(dāng)前層分類器模型的構(gòu)建,并未考慮到深度堆疊網(wǎng)絡(luò)中其他前層之間的關(guān)聯(lián)性.DTLSC算法通過自適應(yīng)遷移所有前層模型的有用知識(shí)可以改善上述問題,增強(qiáng)了模型的泛化性能.可以看出,本文所提DTLSC算法算法在人造數(shù)據(jù)集上的分類性能優(yōu)于其他對(duì)比算法.此外,由于DTLSC算法能夠利用留一交叉驗(yàn)證法快速、自適應(yīng)地決策各前層模型知識(shí)的遷移權(quán)重,可以避免因利用不相關(guān)模型知識(shí)導(dǎo)致的負(fù)遷移效應(yīng),具備一定的實(shí)用價(jià)值.

      Fig.4 Results of different algorithms on the two-moon dataset圖4 不同算法在雙月數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

      5.3.2 真實(shí)數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

      表4~7分別給出了各個(gè)對(duì)比算法在UCI數(shù)據(jù)集上的分類精度.其中,表4~5為僅有20%訓(xùn)練數(shù)據(jù)時(shí),分別采用線性核以及RBF核的分類結(jié)果;表6~7為有30%訓(xùn)練數(shù)據(jù)時(shí),采用線性核以及RBF核的分類結(jié)果.從各算法的分類結(jié)果中,可得到3個(gè)結(jié)論:

      Table 4 Accuracy of Comparison Algorithms on Ten UCI Datasets (RBF Kernel,20% Training Data)表4 對(duì)比算法在10個(gè)UCI數(shù)據(jù)集上的精確度結(jié)果(RBF核,20%訓(xùn)練數(shù)據(jù))

      Note:The values in boldface represent the highestclassification accuracy.

      Table 5 Accuracy of Comparison Algorithms on Ten UCI Datasets (Linear Kernel,20% Training Data)表5 對(duì)比算法在10個(gè)UCI數(shù)據(jù)集上的精確度結(jié)果(線性核,20%訓(xùn)練數(shù)據(jù))

      Note:The values in boldface represent the highestclassification accuracy.

      Table 6 Accuracy of Comparison Algorithms on Ten UCI datasets (RBF Kernel,30% Training Data)表6 對(duì)比算法在10個(gè)UCI數(shù)據(jù)集上的精確度結(jié)果(RBF核,30%訓(xùn)練數(shù)據(jù))

      Note:The values in boldface represent the highestclassification accuracy.

      Table 7 Accuracy of Comparison Algorithms on Ten UCI Datasets (Linear Kernel,30% Training Data)表7 對(duì)比算法在10個(gè)UCI數(shù)據(jù)集上的精確度結(jié)果(線性核,30%訓(xùn)練數(shù)據(jù))

      Note:The values in boldface represent the highestclassification accuracy.

      1)RRLSC的分類精度優(yōu)于LSC.這主要是由于RRLSC利用前層輸出的隨機(jī)投影改變了數(shù)據(jù)的流形結(jié)構(gòu),使得不同類別的數(shù)據(jù)相互分離,增加了數(shù)據(jù)可分性.

      2)DTA-LSC以及DTLSC-S算法的分類精度優(yōu)于RRLSC.這主要是由于DTA-LSC,DTLSC-S都考慮了相鄰層的關(guān)聯(lián)性,利用相鄰層的模型知識(shí)以輔助當(dāng)前層模型的構(gòu)建,提升了模型的泛化性能.

      3)本文所提算法DTLSC的分類精度優(yōu)于DTLSC-S以及DTA-LSC算法.這主要是由于DTLSC-S,DTA-LSC僅利用了相鄰層間的模型知識(shí),雖然具備一定的遷移效果,卻忽略了其他前層蘊(yùn)含的有用知識(shí).DTLSC算法能夠選擇性地遷移所有前層模型知識(shí),最大化利用深度堆疊網(wǎng)絡(luò)中各層之間的關(guān)聯(lián)性,進(jìn)一步增強(qiáng)了模型的泛化性能,故其分類效果得到提升.

      綜上,通過在人造數(shù)據(jù)集以及真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)與分析,驗(yàn)證了DTLSC算法的可行性與有效性.

      6 結(jié) 論

      本文基于堆疊泛化理論與遷移學(xué)習(xí)機(jī)制,提出了深度遷移最小二乘分類器DTLSC.所提算法既利用了前層輸出的隨機(jī)投影改變了輸入數(shù)據(jù)間的流形結(jié)構(gòu),增加了數(shù)據(jù)間的可分性,同時(shí)通過自適應(yīng)遷移所有前層的模型知識(shí)來輔助當(dāng)前層模型的構(gòu)建,能夠最大化利用深度堆疊網(wǎng)絡(luò)中各層之間的關(guān)聯(lián)性,盡可能保持層間模型的一致性,增強(qiáng)了分類模型的泛化性能.此外,基于留一交叉驗(yàn)證策略,能夠快速?zèng)Q策網(wǎng)絡(luò)中所有前層模型知識(shí)的遷移權(quán)重,避免了利用不相關(guān)模型知識(shí)導(dǎo)致的負(fù)遷移效應(yīng),提高了模型的可靠性.在人造數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果均驗(yàn)證了本文所提DTLSC算法的有效性.

      盡管DTLSC算法表現(xiàn)出良好的分類性能,但仍存在部分需要進(jìn)一步研究的問題.例如,如何將hinge loss 函數(shù)的優(yōu)異學(xué)習(xí)能力與本文所提快速模型知識(shí)遷移權(quán)重求解方法相結(jié)合;如何將DTLSC算法拓展到多分類任務(wù)中以及其他的學(xué)習(xí)系統(tǒng)中(如模糊系統(tǒng))等均是我們未來研究工作的重點(diǎn)內(nèi)容.

      猜你喜歡
      集上分類器分類
      分類算一算
      Cookie-Cutter集上的Gibbs測(cè)度
      鏈完備偏序集上廣義向量均衡問題解映射的保序性
      分類討論求坐標(biāo)
      數(shù)據(jù)分析中的分類討論
      BP-GA光照分類器在車道線識(shí)別中的應(yīng)用
      復(fù)扇形指標(biāo)集上的分布混沌
      教你一招:數(shù)的分類
      加權(quán)空-譜與最近鄰分類器相結(jié)合的高光譜圖像分類
      結(jié)合模糊(C+P)均值聚類和SP-V-支持向量機(jī)的TSK分類器
      屏东市| 金沙县| 安化县| 南江县| 汤阴县| 安吉县| 青岛市| 墨玉县| 任丘市| 陈巴尔虎旗| 墨玉县| 马尔康县| 湛江市| 中江县| 合山市| 邻水| 庆安县| 三穗县| 板桥市| 即墨市| 吉木萨尔县| 扎囊县| 申扎县| 前郭尔| 新建县| 西充县| 夏邑县| 文成县| 泸州市| 玛纳斯县| 黄冈市| 苍南县| 巧家县| 汉源县| 巨鹿县| 北流市| 阳朔县| 和林格尔县| 丹棱县| 凤庆县| 章丘市|