面向大規(guī)模類不平衡數(shù)據(jù)的變分高斯過程分類算法

馬 　 彪，　周 　 瑜，　賀 建 軍*,

( 1.大連民族大學(xué) 信息與通信工程學(xué)院， 遼寧 大連　116600；2.大連理工大學(xué) 電子信息與電氣工程學(xué)部， 遼寧 大連　116024 )

?

面向大規(guī)模類不平衡數(shù)據(jù)的變分高斯過程分類算法

馬 彪1，周 瑜2，賀 建 軍*1,2

( 1.大連民族大學(xué) 信息與通信工程學(xué)院， 遼寧 大連116600；2.大連理工大學(xué) 電子信息與電氣工程學(xué)部， 遼寧 大連116024 )

摘要：變分高斯過程分類器是最近提出的一種較有效的面向大規(guī)模數(shù)據(jù)的快速核分類算法，其在處理類不平衡問題時(shí)，對(duì)少數(shù)類樣本的預(yù)測(cè)精度通常會(huì)較低．針對(duì)此問題，通過在似然函數(shù)中引入指數(shù)權(quán)重系數(shù)和構(gòu)造包含相同數(shù)目正負(fù)類樣本的誘導(dǎo)子集解決原始算法的分類面向少數(shù)類偏移的問題，建立了一種可以有效處理大規(guī)模類不平衡問題的改進(jìn)變分高斯過程分類算法．在10個(gè)大規(guī)模UCI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法在類不平衡問題上的精度較原始算法得到大幅提高．

關(guān)鍵詞：類不平衡問題；高斯過程；變分推理；大規(guī)模數(shù)據(jù)分類

0引言

高斯過程模型具有完全的貝葉斯公式化表示、可自適應(yīng)地獲得模型參數(shù)、易實(shí)現(xiàn)等優(yōu)點(diǎn)，是繼支持向量機(jī)之后又一種受到人們廣泛關(guān)注的核機(jī)器學(xué)習(xí)方法，被廣泛地用于回歸[1]、分類[2]、聚類[3]、關(guān)系學(xué)習(xí)[4]、強(qiáng)化學(xué)習(xí)[5]、多示例多標(biāo)記學(xué)習(xí)[6]等各種機(jī)器學(xué)習(xí)問題中．在處理分類問題時(shí)，定義的似然函數(shù)通常是一個(gè)S形函數(shù), 因此并不能直接得到潛變量函數(shù)的后驗(yàn)概率的分析表達(dá)式．為此，人們嘗試?yán)酶鞣N方法來得到后驗(yàn)概率的近似表達(dá)式，如Laplace(LA)方法[2]、expectation propagation(EP)方法[7]、Kullback-Leibler(KL)散度最小化方法[8]、variational bounding(VB)方法[9]、mean field方法[10]等，雖然通過不斷改進(jìn)，目前已經(jīng)能取得較高的預(yù)測(cè)精度，但是由于相關(guān)算法的計(jì)算復(fù)雜度通常是O(n3)(其中n為樣本數(shù)目)，只能處理數(shù)據(jù)規(guī)模比較小的問題．為了降低算法的計(jì)算復(fù)雜度，人們提出了構(gòu)建稀疏模型的問題解決策略，代表性的算法有IVM[11]、FIFC[12]和KLSP[13]，它們的計(jì)算復(fù)雜度為O(nm2)，其中m為選擇的誘導(dǎo)變量的個(gè)數(shù)，通常m的取值達(dá)到數(shù)百時(shí)算法就可以取得較好的效果．

IVM、FIFC和KLSP等這些面向大規(guī)模數(shù)據(jù)的高斯過程分類算法，在模型構(gòu)建時(shí)很少考慮數(shù)據(jù)的類不平衡性對(duì)算法性能的影響，因此當(dāng)處理正負(fù)樣本比例比較懸殊的問題時(shí)，對(duì)少數(shù)類樣本的預(yù)測(cè)精度通常都很低[14]．針對(duì)以上問題，本文嘗試建立一種面向大規(guī)模類不平衡問題的高斯過程分類算法．KLSP是一種基于變分原理建立的算法，與其他兩種算法相比，它不僅具有較高的精度，而且還具有避免過擬合、可以用分布式或者隨機(jī)優(yōu)化的方法對(duì)模型進(jìn)行求解等優(yōu)點(diǎn)．通過分析KLSP算法發(fā)現(xiàn)，造成對(duì)少數(shù)類樣本預(yù)測(cè)精度比較低的主要原因在似然函數(shù)定義和誘導(dǎo)集合選擇這兩個(gè)環(huán)節(jié)，因此本文將通過改進(jìn)KLSP算法的這兩個(gè)環(huán)節(jié)來建立可以有效處理大規(guī)模類不平衡問題的高斯過程分類算法．

1類不平衡變分高斯過程模型的基本思想與主要模塊

設(shè)X為樣本的特征空間，S={(x1,y1),(x2,y2),…,(xn,yn)}為包含n個(gè)樣本的訓(xùn)練集，其中xi∈X和yi∈{+1,-1}分別是第i個(gè)樣本的特征向量和類別標(biāo)記．為便于描述，下面將用D={x1,x2,…,xn}和Y=(y1y2…yn)\%T\%分別表示S中所有訓(xùn)練樣本的特征向量構(gòu)成的集合和類別標(biāo)記構(gòu)成的向量．構(gòu)建分類算法實(shí)質(zhì)上就是利用訓(xùn)練集在特征空間中建立一個(gè)能正確輸出待預(yù)測(cè)樣本x*的真實(shí)標(biāo)記的函數(shù)f(x)．傳統(tǒng)高斯過程二分類模型的基本思想是在服從某個(gè)高斯過程分布的潛變量函數(shù)簇中尋找最有可能輸出待預(yù)測(cè)樣本x*的真實(shí)標(biāo)記的函數(shù)，要實(shí)現(xiàn)該目的通常包括定義潛變量函數(shù)的先驗(yàn)概率、定義似然函數(shù)、計(jì)算潛變量函數(shù)的后驗(yàn)概率和計(jì)算預(yù)測(cè)概率4個(gè)核心模塊．變分高斯過程模型與傳統(tǒng)高斯過程模型一樣，也包括這4個(gè)模塊，二者主要的不同在后驗(yàn)概率的計(jì)算上．傳統(tǒng)高斯過程模型是利用潛變量函數(shù)的先驗(yàn)概率和似然函數(shù)推導(dǎo)其后驗(yàn)概率的；而變分高斯過程模型是利用一組中間誘導(dǎo)變量來計(jì)算潛變量函數(shù)的后驗(yàn)概率分布的，這樣可以有效降低算法的計(jì)算復(fù)雜度．

1.1定義先驗(yàn)概率

假設(shè)潛變量函數(shù)f(x)服從如下零均值高斯過程分布：

f(x)～GP(0,k(x,x′))

(1)

其中k(x,x′)表示協(xié)方差函數(shù)，本文將采用如下的協(xié)方差函數(shù)：

(2)

假設(shè)U?D是選取的用于生成誘導(dǎo)變量的訓(xùn)練樣本子集，x*∈X為待預(yù)測(cè)樣本，則可以根據(jù)式(1)得到f(x)在D、U和x*上的函數(shù)值FD、FU和f*的如下先驗(yàn)概率分布和條件先驗(yàn)概率分布：

(3)

式中：FD是f(x)在樣本集D上的函數(shù)值構(gòu)成的列向量，即FD=(f1f2…fn)T，fi=f(xi)；KD是協(xié)方差函數(shù)k(x,x′)在D上的值構(gòu)成的矩陣，第i行第j列上的元素是k(xi,xj)；FU是f(x) 在誘導(dǎo)集U上的函數(shù)值構(gòu)成的列向量；KU是協(xié)方差函數(shù)k(x,x′)在U上的值構(gòu)成的矩陣；KDU表示D和U中樣本之間的協(xié)方差函數(shù)值構(gòu)成的矩陣；f*表示f(x)在待預(yù)測(cè)樣本x*上的值，即f*=f(x*)；K*U表示x*和U中樣本之間的協(xié)方差函數(shù)值構(gòu)成的行向量；K**=k(x*,x*)．

1.2定義似然函數(shù)

與傳統(tǒng)高斯過程分類模型一樣，f(x)在xi上的值fi的似然函數(shù)p(yi|fi)可以定義為

(4)

對(duì)于各個(gè)類別樣本數(shù)據(jù)比較均衡的問題，聯(lián)合似然函數(shù)p(Y|FD)可以定義為所有p(yi|fi)(i=1,2,…,n)的乘積．但是對(duì)于類不平衡問題，這樣的定義意味著錯(cuò)分一個(gè)少數(shù)類樣本的代價(jià)與錯(cuò)分一個(gè)多數(shù)類樣本的代價(jià)一樣，從而使得算法的分類面偏向少數(shù)類一側(cè)．本文將在聯(lián)合似然函數(shù)中的正負(fù)類樣本對(duì)應(yīng)的似然函數(shù)上引入不同的權(quán)重系數(shù)，使得錯(cuò)分少數(shù)類樣本的代價(jià)大于錯(cuò)分多數(shù)類樣本的代價(jià)，最終實(shí)現(xiàn)改善少數(shù)類樣本預(yù)測(cè)精度的目的．聯(lián)合似然函數(shù)的具體定義如下：

(5)

其中權(quán)重系數(shù)ri的取值為

n+和n-分別表示訓(xùn)練集中正負(fù)樣本的個(gè)數(shù)．從式(5)可以看出，少數(shù)類樣本對(duì)應(yīng)的權(quán)重系數(shù)要大于1，而多數(shù)類樣本對(duì)應(yīng)的權(quán)重系數(shù)要小于1，兩類樣本數(shù)目越懸殊，權(quán)重的差距也越大，由于所有正(負(fù))類樣本的權(quán)重系數(shù)之和是n/2，這在一定程度上保證了聯(lián)合似然函數(shù)中正負(fù)類樣本在整體上具有一樣的話語權(quán)，因此可以避免分類面的偏移．

1.3計(jì)算后驗(yàn)概率

p(FD|D,Y)=∫p(FD|FU,D)p(FU|D,Y)dFU≈

∫p(FD|FU,D)q(FU)dFU

(6)

其中q(FU)=N(FU|μ,Σ)是p(FU|D,Y)的一個(gè)高斯逼近，參數(shù)μ、Σ可以通過最大化邊緣似然函數(shù)p(Y|D) 的如下下界得到：

logp(Y|D)≥∫logp(Y|FD)q(FD)dFD-

KL(q(FU)‖p(FU|D))?Ψ(μ,Σ)

(7)

(8)

(9)

(10)

1.4計(jì)算預(yù)測(cè)概率

在得到后驗(yàn)概率p(FU|D,Y)的近似表達(dá)式以后,可以得到f*的后驗(yàn)概率分布：

p(f*|D,Y,x*)=∫p(f*|FU,D,x*)×

p(FU|D,Y)dFU≈

∫p(f*|FU,D,x*)q(FU)dFU=

(11)

然后可以計(jì)算樣本x*是正樣本的概率：

p(f*|D,Y,x*)df*

(12)

1.5誘導(dǎo)子集U的選取

誘導(dǎo)子集U的選取對(duì)算法的性能會(huì)有一定的影響，但是目前還沒有統(tǒng)一的策略，主要的策略是選取訓(xùn)練樣本的聚類中心作為誘導(dǎo)子集[16]．為了避免U中各個(gè)類別樣本的不均衡導(dǎo)致算法分類面的偏移，本文將利用K均值聚類算法分別從正負(fù)類中選取相同數(shù)目的樣本來構(gòu)成U．基本流程如下：假設(shè)擬選取m個(gè)樣本構(gòu)成誘導(dǎo)子集U，則先利用K均值聚類算法分別對(duì)正負(fù)類樣本進(jìn)行聚類，各生成m/2個(gè)聚類中心，然后把這些聚類中心合并構(gòu)成誘導(dǎo)子集U．為了降低計(jì)算復(fù)雜度，本文采用Chen[17]實(shí)現(xiàn)的一種快速K均值聚類算法來完成U的選取，其中算法的迭代次數(shù)設(shè)定為150．該算法有時(shí)會(huì)存在生成的聚類中心數(shù)目小于設(shè)定的數(shù)目的情況，對(duì)于這種情況，將隨機(jī)從樣本較多的聚類中選取相應(yīng)數(shù)目的樣本來補(bǔ)齊．

2仿真實(shí)驗(yàn)

本章將在10個(gè)大規(guī)模類不平衡二分類數(shù)據(jù)集上驗(yàn)證本文所建算法的性能．這10個(gè)數(shù)據(jù)集全部來自于UCI數(shù)據(jù)庫(kù)[18]，其中，mnist0和mnist9數(shù)據(jù)集是在原始的mnist多類數(shù)據(jù)集基礎(chǔ)上分別以手寫數(shù)字0和9所在類別為正類、其他類別為負(fù)類形成的二分類數(shù)據(jù)集；covtype3、covtype4和covtype7數(shù)據(jù)集是分別以原始的covtype多類數(shù)據(jù)集中的第3、4和7類別為正類、其他類別為負(fù)類形成的二分類數(shù)據(jù)集；poker3和poker4數(shù)據(jù)集是分別以原始的poker多類數(shù)據(jù)集的第3、4類別為正類、其他類別為負(fù)類形成的二分類數(shù)據(jù)集；關(guān)于這些數(shù)據(jù)集的詳細(xì)信息見表1．本文的主要?jiǎng)?chuàng)新在于對(duì)文獻(xiàn)[13]提出的變分高斯過程算法(KLSP算法)進(jìn)行了改進(jìn)，使其可以有效處理類不平衡問題，因此下面將主要對(duì)本文所建算法(簡(jiǎn)稱IMKLSP)和KLSP算法進(jìn)行對(duì)比、分析．兩個(gè)算法都采用式(2)所示的協(xié)方差函數(shù)，并且利用有限儲(chǔ)存擬牛頓方法[15]進(jìn)行求解，其中，協(xié)方差函數(shù)的參數(shù)α和β的取值是分別在集合{10-6,10-5,…,105}和{3-4du,3-3du,…,36du}(du為誘導(dǎo)子集與訓(xùn)練集的樣本之間的平均距離)中通過交叉驗(yàn)證法選取確定的，有限儲(chǔ)存擬牛頓方法的存儲(chǔ)長(zhǎng)度M的取值為10，算法迭代次數(shù)L的取值為20．以下所有實(shí)驗(yàn)結(jié)果都是通過隨機(jī)選取1/2 的樣本作為訓(xùn)練數(shù)據(jù)，1/2的樣本作為測(cè)試數(shù)據(jù)，然后重復(fù)進(jìn)行5次實(shí)驗(yàn)得到的平均結(jié)果．

表1　驗(yàn)證算法性能所用數(shù)據(jù)集

本文主要是通過改進(jìn)KLSP算法的似然函數(shù)定義和誘導(dǎo)子集選擇這兩個(gè)環(huán)節(jié)來實(shí)現(xiàn)最終的IMKLSP算法的．為了驗(yàn)證改進(jìn)這兩個(gè)環(huán)節(jié)的必要性，首先在ijcnn1數(shù)據(jù)集上對(duì)KLSP、IMKLSP、IMKLSP-L和IMKLSP-I 4個(gè)算法進(jìn)行了比較，其中IMKLSP-L表示通過只改變似然函數(shù)的定義環(huán)節(jié)而不改變誘導(dǎo)子集選擇環(huán)節(jié)所建立的算法，IMKLSP-I表示通過只改變誘導(dǎo)子集選擇環(huán)節(jié)而不改變似然函數(shù)的定義環(huán)節(jié)所建立的算法．圖1給出了誘導(dǎo)子集的樣本數(shù)目m取不同值時(shí)，上述4個(gè)算法在精度(Ac)、F-測(cè)量值(Fmeasure)和G-均值(Gmean)3個(gè)不同評(píng)價(jià)指標(biāo)上的實(shí)驗(yàn)結(jié)果．從圖1可以看出，雖然KLSP算法在精度這個(gè)評(píng)價(jià)指標(biāo)上取得了與IMKLSP算法相當(dāng)?shù)慕Y(jié)果，但是在另外兩個(gè)指標(biāo)F-測(cè)量值和G-均值上的結(jié)果

(a) 精度

(b)F-測(cè)量值

(c)G-均值

圖1不同誘導(dǎo)子集樣本數(shù)目下各個(gè)算法在ijcnn1數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

Fig.1Theexperimentalresultsofeachalgorithmonijcnn1datasetwhenvaryingthesamplenumberofinducingset

卻遠(yuǎn)遠(yuǎn)小于IMKLSP算法，這正好說明了KLSP算法不能很好地對(duì)類不平衡問題中的少數(shù)類樣本做出預(yù)測(cè)．進(jìn)一步將IMKLSP-L和IMKLSP-I算法與IMKLSP算法進(jìn)行對(duì)比可以看出，這兩個(gè)算法的性能都要比IMKLSP算法差，這表明改進(jìn)似然函數(shù)定義和誘導(dǎo)子集選擇這兩個(gè)環(huán)節(jié)都是必要的．特別的，似然函數(shù)定義環(huán)節(jié)對(duì)算法的影響要比誘導(dǎo)子集選擇環(huán)節(jié)的影響大．此外，從圖1可以看出，只要誘導(dǎo)子集的樣本個(gè)數(shù)達(dá)到100，各個(gè)算法就已經(jīng)能取得較好的預(yù)測(cè)結(jié)果．

表2列出了誘導(dǎo)子集的樣本個(gè)數(shù)m取200時(shí)，KLSP和IMKLSP算法在10個(gè)UCI數(shù)據(jù)集上的預(yù)測(cè)結(jié)果，可以看出，除在skin和mnist0數(shù)據(jù)集上兩個(gè)算法取得了相當(dāng)?shù)膶?shí)驗(yàn)結(jié)果外，在其他的8個(gè)數(shù)據(jù)集上，無論是在F-測(cè)量值還是G-均值指標(biāo)上，IMKLSP算法的性能都遠(yuǎn)遠(yuǎn)優(yōu)于KLSP算法．而在skin和mnist0數(shù)據(jù)集上之所以兩個(gè)算法的性能相當(dāng)是因?yàn)檫@兩個(gè)樣本集中的正負(fù)樣本比例不太懸殊，而且KLSP算法在這兩個(gè)數(shù)據(jù)集上的預(yù)測(cè)結(jié)果本身就比較高，改進(jìn)的空間比較?。傊陨蠈?shí)驗(yàn)結(jié)果表明在處理大規(guī)模類不平衡問題方面，IMKLSP算法要明顯優(yōu)于KLSP算法．

表2IMKLSP與KLSP算法在10個(gè)大規(guī)模類不平衡UCI數(shù)據(jù)集上的性能對(duì)比

Tab.2TheperformancecomparisonofIMKLSPandKLSPalgorithmsontenlarge-scaleclass-imbalancedUCIdatasets

數(shù)據(jù)集FmeasureGmeanKLSPIMKLSPKLSPIMKLSPmnist00.9730.9640.9810.991mnist90.8270.8460.9060.963w8a0.0710.2780.4780.826ijcnn10.4040.6300.6330.865skin0.9710.9710.9920.992covtype30.5530.5570.8070.907covtype40.0160.3820.5380.866covtype70.2610.3170.5150.902poker30.0870.1510.4020.637poker40.0420.0940.4150.719

3結(jié)語

本文基于最近提出的變分高斯過程模型建立了一種可以有效處理大規(guī)模類不平衡問題的核分類算法，在10個(gè)UCI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該算法可以取得較高的預(yù)測(cè)精度．本文算法也還有需要改進(jìn)的地方，其中一個(gè)問題就是建立適合該算法的快速聚類算法，在實(shí)驗(yàn)過程中發(fā)現(xiàn)同一個(gè)實(shí)驗(yàn)重復(fù)進(jìn)行兩次有時(shí)會(huì)取得不一樣的結(jié)果，甚至能相差兩個(gè)百分點(diǎn)，通過分析發(fā)現(xiàn)，這主要是由誘導(dǎo)子集選取環(huán)節(jié)中采用的K均值聚類算法造成的，該聚類算法雖然可以進(jìn)行快速聚類，但是算法的初始聚類中心每次都是隨機(jī)給定的，這會(huì)導(dǎo)致得到的聚類中心有時(shí)會(huì)有一定的誤差；此外，考慮到目前基于交叉驗(yàn)證法選取協(xié)方差函數(shù)參數(shù)的策略不僅效率低而且不能得到最優(yōu)參數(shù)，如何利用模型的邊緣似然函數(shù)自動(dòng)選擇協(xié)方差函數(shù)參數(shù)也是下一步需要考慮的問題．

參考文獻(xiàn)：

[1] Ranganathan A, Yang Ming-hsuan, Ho J. Online sparse Gaussian process regression and its applications [J]. IEEE Transactions on Image Processing, 2011, 20(2):391-404.

[2]Williams C, Barber D. Bayesian classification with Gaussian processes [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(12):1342-1351.

[3]Kim Hyun-chul, Lee Jaewook. Clustering based on Gaussian processes [J]. Neural Computation, 2007, 19(11):3088-3107.

[4]Chu W, Sindhwani V, Ghahramani Z,etal. Relational learning with Gaussian processes [J]. Advances in Neural Information Processing Systems, 2007:289-296.

[5]Engel Y, Mannor S, Meir R. Reinforcement learning with Gaussian processes [C] // Proceedings of the 22nd International Conference on Machine Learning. New York:ACM Press, 2005:201-208.

[6]HE Jian-jun, GU Hong, WANG Zhe-long. Bayesian multi-instance multi-label learning using Gaussian process prior [J]. Machine Learning, 2012, 88(1-2):273-295.

[7]Kim Hyun-chul, Ghahramani Z. Bayesian Gaussian process classification with the EM-EP algorithm [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(12):1948-1959.

[8]Opper M, Archambeau C. The variational Gaussian approximation revisited [J]. Neural Computation, 2008, 21(3):786-792.

[9]Gibbs M N, MacKay D J C. Variational Gaussian process classifiers [J]. IEEE Transactions on Neural Networks, 2000, 11(6):1458-1464.

[10]Opper M, Winther O. Mean field methods for classification with Gaussian processes [J]. Advances in Neural Information Processing Systems, 1999:309-315.

[11]Lawrence N, Seeger M, Herbrich R. Fast sparse Gaussian process methods:The informative vector machine [J]. Advances in Neural Information Processing Systems, 2003:609-616.

[12]Naish-Guzman A, Holden S. The generalized FITC approximation [C] // Advances in Neural Information Processing Systems 20-Proceedings of the 2007 Conference. New York:Curran Associates Inc., 2009.

[13]Hensman J, Matthews A G, Ghahramani Z. Scalable variational Gaussian process classification [J]. Journal of Machine Learning Research, 2015, 38:351-360.

[14]Ganganwar V. An overview of classification algorithms for imbalanced datasets [J]. International Journal of Emerging Technology and Advanced Engineering, 2012, 2(4):42-47.

[15]Nocedal J, Wright S J. Numerical Optimization [M]. 2nd ed. New York:Springer, 2006:195-204.

[16]Hensman J, Fusi N, Lawrence N D. Gaussian processes for big data [C] // Uncertainty in Artificial Intelligence-Proceedings of the 29th Conference, UAI 2013. Arlington:AUAI Press, 2013:282-290.

[17]Chen M. Kmeans clustering [CP/OL]. [2013-01-05]. http://www.mathworks.com/matlabcentral/fileexchange/24616-kmeans-clustering.

[18]Bache K, Lichman M. UCI machine learning repository [DB/OL]. [2013-01-05]. http://archive.ics.uci.edu/ml.

Variational Gaussian process classification algorithm for large-scale class-imbalanced data

MABiao1,ZHOUYu2,HEJian-jun*1,2

( 1.College of Information and Communication Engineering, Dalian Nationalities University, Dalian 116600, China；2.Faculty of Electronic Information and Electrical Engineering, Dalian University of Technology, Dalian 116024, China )

Abstract：Variational Gaussian process classifier is an effective fast kernel algorithm proposed recently for large-scale data classification. However, for the class-imbalanced problem, it usually achieves lower accuracy on the samples of minority class. By assigning different index weight coefficients to the likelihood functions and constructing an inducing set containing equal numbers of positive and negative samples to avoid hyperplane biased toward the side of minority class, an improved variational Gaussian process classification algorithm is proposed, which can deal with the large-scale class-imbalanced problem effectively. The experimental results of ten large-scale UCI datasets show that the proposed algorithm can achieve much higher accuracy than the original one for class-imbalanced problem.

Key words：class-imbalanced problem; Gaussian process; variational inference; large-scale data classification

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)識(shí)碼：A

doi:10.7511/dllgxb201603009

作者簡(jiǎn)介:馬 彪(1962-)，男，工程師，E-mail:mab996@sina.com；賀建軍*(1983-)，男，博士，講師，E-mail:jianjunhe@live.com.

基金項(xiàng)目:國(guó)家自然科學(xué)基金資助項(xiàng)目(61503058，61374170)；遼寧省自然科學(xué)基金資助項(xiàng)目(2015020084，2015020099)；遼寧省教育廳科學(xué)技術(shù)研究項(xiàng)目(L2014540，L2015127)；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目(DC201501055，DC201501060201).

收稿日期：2016-01-05；修回日期: 2016-03-06．

文章編號(hào)：1000-8608(2016)03-0279-06