郭克友,郭曉麗,王藝偉

(北京工商大學(xué) 材料與機(jī)械工程學(xué)院，北京 100048)

?

SVM參數(shù)優(yōu)化方法分析與決策

郭克友,郭曉麗,王藝偉

(北京工商大學(xué) 材料與機(jī)械工程學(xué)院，北京 100048)

針對支持向量機(jī)應(yīng)用過程中的參數(shù)選擇問題，從UCI數(shù)據(jù)庫選擇樣本集，分別采用傳統(tǒng)的網(wǎng)格法、智能優(yōu)化算法中的粒子群法及遺傳算法實(shí)現(xiàn)核函數(shù)參數(shù)尋優(yōu)過程，將所得最佳參數(shù)應(yīng)用到樣本測試中;在深入分析優(yōu)化過程中各參數(shù)關(guān)系、參數(shù)對支持向量機(jī)性能的影響以及傳統(tǒng)與智能優(yōu)化算法的優(yōu)劣后，得出了核函數(shù)優(yōu)化策略;即先使用智能優(yōu)化算法初步確定最優(yōu)解范圍，再結(jié)合網(wǎng)格法進(jìn)行高精度尋優(yōu);實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證了參數(shù)優(yōu)化策略的有效性，為擴(kuò)大支持向量機(jī)泛化率、提高應(yīng)用性做了鋪墊。

支持向量機(jī)；核函數(shù)；傳統(tǒng)優(yōu)化算法; 智能優(yōu)化算法

0 引言

支持向量機(jī)(support vector machine, SVM)，可利用核函數(shù)在原空間直接計算，既能避免“維數(shù)災(zāi)難”，又能高效地解決非線性分類問題，成為淺層機(jī)器學(xué)習(xí)算法中的優(yōu)秀代表。人工神經(jīng)網(wǎng)絡(luò)和基于規(guī)則的分類器是以貪心學(xué)習(xí)為策略對假設(shè)空間搜索最優(yōu)解，但容易陷入局部解，而且會出現(xiàn)“過擬合”[1]。SVM可以表示為凸優(yōu)化問題，一般依靠小樣本進(jìn)行訓(xùn)練學(xué)習(xí)，將待分類問題轉(zhuǎn)化到高維線性可分空間，找到最大分類間隔，得到目標(biāo)函數(shù)的全局最優(yōu)解。Vapnik等人[2-3]的研究成果表明，在解決實(shí)際問題時，核函數(shù)的參數(shù)及懲罰因子對SVM性能影響很大，因此研究參數(shù)選取問題具有很大的意義。

1 數(shù)據(jù)準(zhǔn)備

樣本來自加州大學(xué)歐文分校(University of CaliforniaIrvine)的UCI數(shù)據(jù)庫[4]。該數(shù)據(jù)庫中為樣本提供了特征向量，可避免使用者設(shè)計特征提取算法或因主觀因素而造成的特征選取不當(dāng)問題。實(shí)驗(yàn)中將類別標(biāo)簽命名為1、2等數(shù)字，樣本按8:2隨機(jī)劃分為訓(xùn)練和測試樣本。為充分利用給定數(shù)據(jù)集，降低VC維，訓(xùn)練過程采用交叉驗(yàn)證法的思想。選取的數(shù)據(jù)集信息如表1所示，基本分布如圖1。經(jīng)過多次試驗(yàn)測試，得到如下實(shí)驗(yàn)數(shù)據(jù)集選取原則：

表1 UCI標(biāo)準(zhǔn)數(shù)據(jù)庫部分?jǐn)?shù)據(jù)

1)數(shù)據(jù)集的實(shí)例個體數(shù)目分布多樣化；

2)實(shí)例的特征向量維數(shù)多樣化，因?yàn)榫S數(shù)對機(jī)器學(xué)習(xí)訓(xùn)練時間和模型影響較大；

3)應(yīng)包含二分類和多分類情況；

4)樣本類別應(yīng)均衡分布，針對不均衡或欠采樣的數(shù)據(jù)，SVM需做其他處理，或難以確定分類器性能[5-6]。

圖1 數(shù)據(jù)集樣本分布盒圖

圖1顯示了Abalone、Au和Wine數(shù)據(jù)集的特征向量維數(shù)較多，Abalone、blood-transfusion 和wine數(shù)據(jù)集個別向量在維度上的值跨度較大。Balance-scale數(shù)據(jù)集分布較為均衡。

2 數(shù)據(jù)預(yù)處理多參數(shù)全局車道線檢測模型

2.1 數(shù)據(jù)歸一化

特征向量屬性不同，在數(shù)值分布上的差別會導(dǎo)致奇異樣本數(shù)據(jù)，引起網(wǎng)絡(luò)不收斂，訓(xùn)練時間增長等問題，所以需要對特征進(jìn)行數(shù)量級統(tǒng)一，即歸一化。國內(nèi)外學(xué)者的研究表明，在代價函數(shù)中，奇異樣本數(shù)據(jù)中的大值特征分量對結(jié)果的影響大于小值特征分量，特征歸一化會使分類器的識別率提高，加快訓(xùn)練速度[7]，歸一化公式如(1)所示：

(1)

其中：xi為樣本集，yi為歸一化后的值。

考慮每個維度的量綱不同，且數(shù)量級差別懸殊，為盡量減少樣本原始信息的丟失，應(yīng)對每個維度單獨(dú)歸一化。經(jīng)對圖1數(shù)據(jù)分布盒形圖分析，將數(shù)據(jù)集按照公式式(1)進(jìn)行歸一化到[-1,1]區(qū)間，歸一化前后數(shù)據(jù)集樣本分布如圖2所示。

圖2 歸一化后數(shù)據(jù)集樣本分布

2.2 PCA數(shù)據(jù)降維

統(tǒng)計學(xué)上，SVM的基礎(chǔ)是VC維理論和結(jié)構(gòu)風(fēng)險最小原理。在保證分類精度的同時，盡量降低機(jī)器學(xué)習(xí)的VC維，才能使模型在給定數(shù)據(jù)上的期望風(fēng)險得到有效控制。降低VC維重要的手段就是對樣本的特征向量進(jìn)行降維處理。主成分分析法(principal component analysis, PCA)在最小均方意義下尋找最能代表原始數(shù)據(jù)的投影方向，能保存數(shù)據(jù)內(nèi)在結(jié)構(gòu)和原始信息，已成功運(yùn)用在人臉識別領(lǐng)域。本文所用實(shí)驗(yàn)數(shù)據(jù)維數(shù)范圍是4～45，根據(jù)一般降維原則，提取90%的主成分。6個數(shù)據(jù)集的成分占比如圖3所示。

圖3 數(shù)據(jù)集主樣本分布

3 SVM核函數(shù)參數(shù)選取

支持向量機(jī)通過引進(jìn)內(nèi)積核函數(shù)巧妙的解決了高維空間中的內(nèi)積運(yùn)算，而不同的核函數(shù)選擇也構(gòu)成了不同的支持向量機(jī)。常用的核函數(shù)有：線性核、多項(xiàng)式核、高斯核、二層神經(jīng)收集核，一般高斯核最為有效[8]。設(shè)定2分類問題，在SVM理論中，若將SVM分類超平面記為l(i)，表示其相似度的高斯核函數(shù)記為f(i)，如式(2)。則高斯支持向量機(jī)的目標(biāo)函數(shù)(cost function)F可記為式(3)：

(2)

(3)

3.1 網(wǎng)格算法參數(shù)尋優(yōu)

網(wǎng)格算法屬傳統(tǒng)優(yōu)化算法的一種，其實(shí)質(zhì)是窮舉法，隨著排列組合情況增多，運(yùn)算量急劇增加。但在實(shí)現(xiàn)過程中，能較好的找到最優(yōu)參數(shù)的分布范圍，即參數(shù)組合的“好區(qū)”[9]，擺脫局部最優(yōu)解，得到一定精度下的全局最優(yōu)解。本文中C和g取值為[2^(-5),2^(-4),…,2^8,2^9 ]，共255個(C,σ2)組合。數(shù)據(jù)集經(jīng)預(yù)處理后進(jìn)行參數(shù)訓(xùn)練，圖4顯示了數(shù)據(jù)集1 以網(wǎng)格法進(jìn)行參數(shù)尋優(yōu)的過程，表2匯總了6個數(shù)據(jù)集的訓(xùn)練情況。

圖4 網(wǎng)格法參數(shù)組的尋優(yōu)過程

經(jīng)驗(yàn)風(fēng)險指訓(xùn)練樣本的錯誤率，置信風(fēng)險指測試樣本的錯誤率。結(jié)構(gòu)化風(fēng)險為經(jīng)驗(yàn)風(fēng)險和置信風(fēng)險之和。表2表明，網(wǎng)

表2 網(wǎng)格算法參數(shù)尋優(yōu)實(shí)驗(yàn)數(shù)據(jù)

格算法尋優(yōu)的計算耗時與樣本的個數(shù)、維數(shù)成正相關(guān)。數(shù)據(jù)集2有25 000個樣本，訓(xùn)練時間長，且難以達(dá)到理想的效果。數(shù)據(jù)集2也說明置信風(fēng)險不一定高于經(jīng)驗(yàn)風(fēng)險，即在訓(xùn)練過程中不能過度追求低經(jīng)驗(yàn)風(fēng)險，以結(jié)構(gòu)化風(fēng)險最小為原則，合理平衡經(jīng)驗(yàn)風(fēng)險和置信風(fēng)險。綜合6組實(shí)驗(yàn)，經(jīng)驗(yàn)風(fēng)險越低，獲得的置信風(fēng)險越低。

3.2 粒子群算法參數(shù)尋優(yōu)

通過對生物系統(tǒng)和行為動態(tài)特征的觀察與模擬，產(chǎn)生了較多的智能優(yōu)化算法或稱為啟發(fā)式優(yōu)化算法，包括遺傳算法(genetic alogrithm, GA)、蟻群算法(ant colony opimization, ACO)、禁忌搜索算法(tabu search)、模擬退火算法(simulated annealing, SA)、粒子群算法(particle swarm optimization, PSO)等，其中遺傳算法和粒子群算法較適用于組合優(yōu)化問題[10-11]。應(yīng)用粒子群算法進(jìn)行支持向量機(jī)參數(shù)尋優(yōu)，根據(jù)式(4)、(5)進(jìn)行粒子i的第d維速度、位置更新。

(4)

(5)

實(shí)驗(yàn)中粒子個體位置和速度都是二維向量，即(vi1,vi2)、(xi1,xi2)；速度慣性權(quán)重w=1；學(xué)習(xí)步長加速度常數(shù)c1=c2=1；種群變化的極值cmax=100,cmin=0.1,gmax=1 000,gmin=0.01。將預(yù)處理后的樣本集進(jìn)行粒子群算法參數(shù)尋優(yōu)，尋優(yōu)過程中采用三折交叉驗(yàn)證。利用PSO算法優(yōu)化過程如圖5所示，優(yōu)化所得的結(jié)果如表3所示。

圖5 粒子群算法參數(shù)尋優(yōu)過程

序號最佳參數(shù)組(C,g)經(jīng)驗(yàn)風(fēng)險/%置信風(fēng)險/%結(jié)構(gòu)化風(fēng)險/%訓(xùn)練耗時/s1(25.0763,49.6905)46.475548.712695.18813115.7431982(20.7043,652.1897)66.566.6167133.1167205381.0802143(51.5964,0.01)8.730213.627322.357552.5100174(69.9501,1.227)21.33321.571942.904947.0443235(0.1,1.9503)3.3337.510.8336.0304706(5.2359,0.01)04.96454.96458.745354

實(shí)驗(yàn)結(jié)果表明，在粒子群尋優(yōu)過程中，代數(shù)較小時，隨著代數(shù)增加，平均擬合度逐步提升，個體趨于自我的最優(yōu)狀態(tài)，整體表現(xiàn)出較好的適應(yīng)性。代數(shù)到達(dá)一定數(shù)值后，個體和群體的適應(yīng)度更新緩慢，種群最佳適應(yīng)度不再變化，個體最優(yōu)解一致。說明粒子群算法在空間搜索時出現(xiàn)了停滯，容易陷入局部最優(yōu)解。6組實(shí)驗(yàn)數(shù)據(jù)表明，隨著樣本數(shù)量的增加，粒子群算法收斂速度緩慢，算法的時間復(fù)雜度為O(n2)，受樣本影響大。

3.3 遺傳算法參數(shù)尋優(yōu)

在尋優(yōu)過程中，最優(yōu)參數(shù)組具有不確定性，當(dāng)窮舉范圍較大時，計算量的劇增為尋優(yōu)帶來更多不確定因素。對這類多項(xiàng)式復(fù)雜程度的非確定性問題(non-deterministic polynomial, NP)搜索方法中較有名的就是遺傳算法(genetic algorithm, GA)[14]。此外該算法對適應(yīng)度函數(shù)無解析性質(zhì)要求，且可得到全局最優(yōu)解。按照Dariwin進(jìn)化論中生物進(jìn)化過程設(shè)定種群，并對個體進(jìn)行二進(jìn)制或格雷碼形式基因編碼。根據(jù)設(shè)定的尋優(yōu)目標(biāo)，得到個體適應(yīng)度，再經(jīng)過基因選定父代，通過父代的交叉或變異，產(chǎn)生新個體，最終達(dá)到尋優(yōu)的目的。該啟發(fā)式搜索算法采用輪盤賭法(roulette wheel selection)，個體被選中的概率正比于適應(yīng)度，逐步淘汰適應(yīng)度低者。在由M個個體組成的群體中，設(shè)個體的適應(yīng)度設(shè)為fi，對應(yīng)的遺傳給新一代的概率P(xi)如式(6)，累計概率qi如式(7)。

(6)

(7)

遺傳算法的參數(shù)設(shè)置一般依據(jù)經(jīng)驗(yàn)進(jìn)行，不同的參數(shù)組合對其性能影響較大，其中種群個數(shù)、遺傳代數(shù)、交叉率、變異率都會影響解空間搜索的深度和廣度。本文根據(jù)以往經(jīng)驗(yàn)設(shè)置種群規(guī)模pop=20，最大遺傳代數(shù)為200。為保證個體在有限的區(qū)域進(jìn)行最優(yōu)解搜索，設(shè)定參數(shù)c的變化范圍為[0,100]，參數(shù)g的變化范圍為[0,1 000]，交叉率為0.9，變異率為0.1，編碼長度為20，將預(yù)處理后的樣本集進(jìn)行遺傳算法參數(shù)尋優(yōu)，尋優(yōu)過程中采用三折交叉驗(yàn)證。利用GA算法優(yōu)化過程如圖6所示，訓(xùn)練所得結(jié)果如表4。

圖6 遺傳算法參數(shù)尋優(yōu)過程

序號最佳參數(shù)組(C,g)經(jīng)驗(yàn)風(fēng)險/%置信風(fēng)險/%結(jié)構(gòu)化風(fēng)險/%訓(xùn)練耗時/s1(11.5126,25.4269)41.696547.335389.03181964.5455452(*,*)****3(0.2944,2.1315)7.14298.617215.760137.3132134(2.5928,729.3432)21.333324.414745.74857.7599485(0.0052452,2.2049)07.57.52.3790516(6.288,0.15831)07.09227.09223.432706

由表4可看出在遺傳算法中，隨著代數(shù)的增加，遺傳算法過程能實(shí)現(xiàn)優(yōu)勝劣汰，收斂到全局最優(yōu)解。實(shí)驗(yàn)中，數(shù)據(jù)集2在經(jīng)歷97小時的訓(xùn)練后仍未得到理想模型。數(shù)據(jù)集3的經(jīng)驗(yàn)風(fēng)險率低于置信風(fēng)險率。大部分?jǐn)?shù)據(jù)集在迭代20次后達(dá)到最優(yōu)，但數(shù)據(jù)集5經(jīng)過了62次迭代，表明GA的尋優(yōu)能力受數(shù)據(jù)分布和規(guī)模影響。數(shù)據(jù)集2的尋優(yōu)過程異常緩慢，其原因是算法中的隨機(jī)變異和交叉率影響了個體的品質(zhì)，在有限的進(jìn)化代數(shù)中失去了尋優(yōu)能力。以數(shù)據(jù)集6為例，遺傳代數(shù)為3時達(dá)到了最優(yōu)解，但因交叉和變異過程的進(jìn)行，雖群體平均適應(yīng)度逐步提升，但函數(shù)失去了收斂能力，只能依賴代數(shù)增加，逐漸收斂。故應(yīng)適度的加入保護(hù)精英主義思想，保證當(dāng)前最優(yōu)解不參加變異，避免全局最優(yōu)解被破壞。

3.4 實(shí)驗(yàn)分析

3.4.1 優(yōu)化算法分析與應(yīng)用策略

對比三種算法的最優(yōu)解和尋優(yōu)過程可知傳統(tǒng)的迭代算法適用于小數(shù)據(jù)計算。數(shù)據(jù)量增大時，算法從設(shè)定的初始點(diǎn)開始，難以實(shí)現(xiàn)并行、網(wǎng)絡(luò)計算，且因針對二維參數(shù)組尋優(yōu)，算法復(fù)雜度為O(n2)，窮舉過程時間頻度高，計算效率低。網(wǎng)格算法的優(yōu)點(diǎn)體現(xiàn)在對“壞數(shù)據(jù)”——數(shù)據(jù)集2的處理上，樣本分類正確率比智能算法高30%。網(wǎng)格算法以時間和空間復(fù)雜度為代價，可以在規(guī)定的解空間內(nèi)搜索到全局最優(yōu)解，但精度嚴(yán)重依賴所設(shè)定的步長，解空間的設(shè)置依賴初始值的選取，故需在時間、精度以及空間做出權(quán)衡。

在SVM參數(shù)尋優(yōu)過程中，PSO相較于GA，收斂時間較短但置信風(fēng)險高，即快速收斂是以犧牲最優(yōu)解的精度為代價。PSO實(shí)現(xiàn)較為簡單，GA算法中既要保證種群的多樣性，維持一定的交叉率和變異率，也要對適應(yīng)度高的個體進(jìn)行精英保護(hù)。本文所用的GA算法，對并行機(jī)制和網(wǎng)絡(luò)反饋信息利用不充分，導(dǎo)致數(shù)據(jù)集5的收斂速度較慢。終止進(jìn)化條件應(yīng)靈活設(shè)置，避免數(shù)據(jù)集6在經(jīng)驗(yàn)風(fēng)險為0后，繼續(xù)進(jìn)化。

實(shí)驗(yàn)中，PSO和GA的算法復(fù)雜度分別為O(n^2)、O(log2n)。與傳統(tǒng)的網(wǎng)格法比較，這兩種智能算法表現(xiàn)出了極高的學(xué)習(xí)性能，有良好的全局搜索能力及并行性，可進(jìn)行快速分布式計算。給定的參數(shù)組范圍c=[0,100],g=[0,1 000]，計算次數(shù)遠(yuǎn)多于網(wǎng)格算法的225次，但耗時與網(wǎng)格算法相當(dāng)。智能算法的缺陷是過分依賴初始化種群的規(guī)模、迭代次數(shù)及變異率等參數(shù)，且無嚴(yán)格的參數(shù)設(shè)置原則，嚴(yán)重依賴于經(jīng)驗(yàn)。由于訓(xùn)練過程中的變異和選擇過程具有隨機(jī)性，實(shí)驗(yàn)結(jié)果難以重現(xiàn)。故在尋優(yōu)過程中，可以使用智能算法進(jìn)行最優(yōu)解范圍初步確定，以此確定解空間的初始值，再使用網(wǎng)格法進(jìn)行高精度運(yùn)算。

3.4.2 參數(shù)對SVM性能的影響

綜合訓(xùn)練結(jié)果，訓(xùn)練樣本對SVM的性能有較大的影響。數(shù)據(jù)集5、6分布均衡，個數(shù)適中，不同的優(yōu)化算法都能得到較穩(wěn)定的最優(yōu)參數(shù)組合，得到較高的泛化機(jī)器。數(shù)據(jù)集3、4的數(shù)據(jù)分布不均勻，效果稍差。三種方法對數(shù)據(jù)集2的處理，都沒有得到較理想的效果，且尋優(yōu)時間長，過程緩慢，分析有以下三種原因：1)該數(shù)據(jù)的規(guī)模不適合選擇支持向量機(jī)，應(yīng)嘗試神經(jīng)網(wǎng)絡(luò)、弱分類器級聯(lián)等方法；2)高斯核函數(shù)對該數(shù)據(jù)不適用，可選擇多項(xiàng)式核函數(shù)或二層神經(jīng)收集核函數(shù)；3)本文直接進(jìn)行了數(shù)學(xué)機(jī)械式歸一化與降維，忽略了物理意義，應(yīng)嘗試針對特征向量的物理意義，做不同的預(yù)處理，以期達(dá)到理想的訓(xùn)練模型。

目標(biāo)函數(shù)式(2)中訓(xùn)練樣本誤差項(xiàng)的懲罰系數(shù)C，控制著使分類間隔最大且錯誤率最小的折中，在確定的特征空間中調(diào)節(jié)學(xué)習(xí)機(jī)器的置信范圍和經(jīng)驗(yàn)風(fēng)險的比例；而高斯函數(shù)的方差系數(shù)σ2，主要影響樣本數(shù)據(jù)在高維特征空間中分布的復(fù)雜程度。通過網(wǎng)格算法可以看出，隨著σ2的增大，分類效果會變差。但為追求最高適應(yīng)度，使σ2不能減小超過臨界點(diǎn)(即最優(yōu)解)，否則帶來嚴(yán)重的過擬合問題，使得經(jīng)驗(yàn)風(fēng)險概率與置信風(fēng)險概率差距懸殊。實(shí)驗(yàn)數(shù)據(jù)也說明SVM有較高的獨(dú)立性，針對不同的數(shù)據(jù)集，最優(yōu)參數(shù)不同，不具有泛化性。

4 結(jié)語

本文利用傳統(tǒng)和智能優(yōu)化算法對 SVM應(yīng)用過程中的核函數(shù)參數(shù)組(C,σ2)進(jìn)行優(yōu)化。在對原始數(shù)據(jù)進(jìn)行歸一化和降維后，分別采取了網(wǎng)格法、粒子群法和遺傳算法實(shí)現(xiàn)參數(shù)組尋優(yōu)過程，并分析了 (C,σ2)對SVM泛化性能的影響。在應(yīng)用SVM時，為加快收斂速度、提高最優(yōu)解精度，應(yīng)采取優(yōu)化算法混合的策略，利用智能算法進(jìn)行初步最優(yōu)解定位，然后采用網(wǎng)格算法進(jìn)行高精度最優(yōu)解的確定，可以得到性能較好的支持向量機(jī)模型。

[1] Vapnik V. The nature of statistical learning theory[M]. Springer Science & Business Media, 2013.

[2] Vapnik V N, Vapnik V. Statistical learning theory[M]. New York: Wiley, 1998.

[3] Chapelle O, Vapnik V, Bousquet O, et al. Choosing multiple parameters for support vector machines[J]. Machine learning, 2002, 46(1-3): 131-159.

[4] University of California-Irvine． UCI Machine Learning Repository.http://archive.ics.uci.edu/ml/datasets.html.2015-04-11.

[5] Eitrich T, Lang B. Parallel tuning of support vector machine learning parameters for large and unbalanced data sets[M].Springer Berlin Heidelberg, 2005: 253-264.

[6] He H, Garcia E A. Learning from imbalanced data[J]. Knowledge and Data Engineering, IEEE Transactions on, 2009, 21(9): 1263-1284.

[7] Zhang Z, Guo H. Research on Fault Diagnosis of Diesel Engine Based on PSO-SVM[A].Proceedings of the 6th International Asia Conference on Industrial Engineering and Management Innovation[C]. Atlantis Press, 2016: 509-517.

[8] Smits G F, Jordaan E M. Improved SVM regression using mixtures of kernels[A]. 2002. IJCNN'02.Proceedings of the 2002 International Joint Conference on IEEE[C]. 2002, 3: 2785-2790.

[9] Keerthi S S, Lin C J. Asymptotic behaviors of support vector machines with Gaussian kernel[J]. Neural computation, 2003, 15(7): 1667-1689.

[10] Duan S M, Mao J L, Li J L, et al. Design Implementation and Application of Swarm Intelligence Algorithm Optimization Function Simulation Platform[A].Software Engineering and Information Technology: Proceedings of the 2015 International Conference on Software Engineering and Information Technology (SEIT2015)[C]. 2016: 196-203.

[11] Yu S, Zhang J, Zheng S, et al. Provincial carbon intensity abatement potential estimation in China: a PSO-GA-optimized multi-factor environmental learning curve method[J]. Energy Policy, 2015, 77: 46-55.

[12] Shi Y, Eberhart R C. Empirical study of particle swarm optimization[A]. CEC 99.Proceedings of the 1999 Congress on Evolutionary Computation[C].IEEE, 1999, 3.

[13] Rao B J, Babu M S P. Ongole Breed Cattle Health Expert Advisory System Using Parallel Particle Swarm Optimization Algorithm[J]. 2014.

[14] Yang C, Xu X, Han J, et al. Energy efficiency-based device-to-device uplink resource allocation with multiple resource reusing[J]. Electronics Letters, 2015, 51(3): 293-294.

Analysis and Strategy for Parameter OptimizationMethodsof SVM

Guo Keyou, Guo Xiaoli, Wang Yiwei

(School of Material and Mechanical Engineering, Beijing Technology and Business University，Beijing 100048，China)

To selectparameters of support vector machine (SVM) during application, we choose sample sets from UCI database. TheparametersoptimizationofSVM with kernel function is achieved throughtraditional grid method, particle swarm optimization algorithmand genetic algorithm inintelligentoptimization algorithms. And the optimum parameters are applied to testingsamples. The kernel function optimization strategy is obtained after athorough analysis of the relationship between parameters, the influence of parameters on the performance of SVMand the pros and cons of both traditional and intelligent optimization algorithms. The users should use intelligent optimization algorithm preliminarily to make sure the scope ofparameters, and couple it with grid method to obtain a high degree of accuracy.Experimental datas verify the effectiveness of the strategy, which expandsthe generalization and application ofSVM.

support vector machine; kernel function; traditionaloptimization algorithms; intelligentoptimization algorithms

2016-03-24；

2016-04-21。

交通運(yùn)輸部信息化科技項(xiàng)目(2012-364-835-110)；北京工商大學(xué)科研能力計劃項(xiàng)目。

郭克友(1975-) ，男，黑龍江省齊齊哈爾市人，博士，副教授，主要從事數(shù)字圖像處理，模式識別，智能交通方向的研究。

1671-4598(2016)06-0255-05

10.16526/j.cnki.11-4762/tp.2016.06.070

TP391

A