基于網(wǎng)格搜索超參數(shù)優(yōu)化的支持向量回歸

劉佳星

（齊齊哈爾大學(xué)，黑龍江 齊齊哈爾 161006）

1 概述

支持向量機(jī)(SVM)是一種監(jiān)督學(xué)習(xí)的數(shù)據(jù)挖掘模型，其主要目標(biāo)是找到一個(gè)使類之間距離最大化的超平面[1-2]。支持向量機(jī)分為支持向量分類機(jī)和支持向量回歸機(jī)。支持向量分類機(jī)（SVC)用于研究輸入變量與二分類型輸出變量的關(guān)系預(yù)測(cè)；支持向量回歸機(jī)（SVR)用于研究輸入變量與數(shù)值型輸出變量的關(guān)系,對(duì)新觀測(cè)的輸出變量值進(jìn)行預(yù)測(cè)。

SVM基于統(tǒng)計(jì)學(xué)習(xí)理論，在解決非線性、小樣本和高維的回歸和分類問題上有許多優(yōu)勢(shì)。正因如此，SVR 已經(jīng)成功應(yīng)用與諸多領(lǐng)域，例如：工業(yè)建筑[3-7]、生物醫(yī)療[8-9]、地理環(huán)境[10-11]、農(nóng)業(yè)金融[12-13]和物理化學(xué)[14-17]。

2 支持向量回歸

如圖1 所示是有兩個(gè)輸入變量情況下的支持向量回歸超平面。

圖1 支持向量回歸超平面

為了降低過擬合風(fēng)險(xiǎn)，采用ε- 不敏感損失函數(shù)，ε（ε＞0）是觀測(cè)X 輸出變量的實(shí)際值與預(yù)測(cè)值之間允許的最大偏差?！肮艿馈眱?nèi)的ε 很重要，ε 過大或過小都會(huì)影響預(yù)測(cè)結(jié)果（見圖2）。所以，需要權(quán)衡過擬合風(fēng)險(xiǎn)和預(yù)測(cè)偏差。一方面通過適當(dāng)增加“管道”內(nèi)的ε，盡量降低過擬合風(fēng)險(xiǎn)，另一方面損失函數(shù)值也不能過高。

圖2 ε- 管

目標(biāo)函數(shù)中的可調(diào)參數(shù)C（Cost＞0）是損失懲罰函數(shù)，用于平衡模型復(fù)雜度和損失。C較大時(shí)，將導(dǎo)致“管”過窄；C較小或趨近于0 時(shí)，將導(dǎo)致“管“過寬。參數(shù)C太大或太小都不恰當(dāng)，可通過N折交叉驗(yàn)證方式確定參數(shù)C。

支持向量機(jī)具有如下優(yōu)點(diǎn)：（1）SVM訓(xùn)練相對(duì)容易。與神經(jīng)網(wǎng)絡(luò)不同，沒有局部最優(yōu)。（2）SVM有正則化參數(shù)，可以幫助避免過度擬合。（3）在高維空間中依然有效。（4）在決策函數(shù)中使用訓(xùn)練點(diǎn)的子集（稱為支持向量，見圖2 右圖），因此它也具有內(nèi)存效率。盡管如此，SVM也存在求解模型的參數(shù)難以解釋、SVR 的超參數(shù)對(duì)模型精度有顯著影響這一不足。

3 超參數(shù)優(yōu)化

在機(jī)器學(xué)習(xí)中，超參數(shù)優(yōu)化旨在尋找使得機(jī)器學(xué)習(xí)算法在驗(yàn)證數(shù)據(jù)集上表現(xiàn)性能最佳的超參數(shù)，這些超參數(shù)返回一個(gè)優(yōu)化模型，該模型減少了預(yù)定義的損失函數(shù)，進(jìn)而提高了給定獨(dú)立數(shù)據(jù)的預(yù)測(cè)或者分類精度。那么如何優(yōu)化超參數(shù)至關(guān)重要。

為了進(jìn)行超參數(shù)調(diào)優(yōu)，我們一般會(huì)采用網(wǎng)格搜索、隨機(jī)搜索和貝葉斯優(yōu)化等算法[20]。隨機(jī)搜索要求樣本點(diǎn)集足夠大，貝葉斯優(yōu)化算法又容易陷入局部最優(yōu)值。網(wǎng)格搜索是最應(yīng)用最廣泛的超參數(shù)搜索算法，通過查找搜索范圍內(nèi)的所有的點(diǎn)來確定最優(yōu)值。如果采用較大的搜索范圍以及較小的步長，網(wǎng)恪搜索大概率找到全局最優(yōu)值。

4 衡量標(biāo)準(zhǔn)

本研究通過計(jì)算平均絕對(duì)誤差(Mean Absolute Error，MAE)、均方誤差(Mean Square Error，MSE)和均方根誤差(Root Mean Square Error，RMSE) 來測(cè)試回歸器的準(zhǔn)確性。三種衡量標(biāo)準(zhǔn)的計(jì)算公式如下：

假設(shè)，預(yù)測(cè)值：y^={y^1，y^2，y^3，…，y^n}，真實(shí)值：y={y1，y2，y3，…，yn}，

其中n 是預(yù)測(cè)數(shù)據(jù)長度。四種評(píng)估指標(biāo)均用于測(cè)量觀察值與真實(shí)值之間的偏差，同時(shí)也是機(jī)器學(xué)習(xí)模型預(yù)測(cè)準(zhǔn)確性的度量標(biāo)準(zhǔn)。他們的值越大，代表模型的性能越低，預(yù)測(cè)值和真實(shí)值之間的偏差也越大。

5 實(shí)驗(yàn)

本研究在R 語言（64 位）平臺(tái)上進(jìn)行，首先將線性回歸（lm）、SVR 和超參數(shù)優(yōu)化的支持向量回歸三種回歸器建模，然后通過三種評(píng)價(jià)指標(biāo)，分析三個(gè)模型的準(zhǔn)確性。

實(shí)驗(yàn)第一步創(chuàng)建線性回歸模型并將其可視化，如圖3所示：實(shí)心圓表示輸入變量X 的真實(shí)值，直線為其線性擬合。此時(shí)線性回歸的均方根誤差為5.719515，平均絕對(duì)誤差為4.758571，均方誤差為32.71286。從評(píng)價(jià)指標(biāo)和圖3 中都看出lm的準(zhǔn)確性較差，有效性不佳。

圖3 觀測(cè)值與線性回歸

實(shí)驗(yàn)第二步在R 平臺(tái)上調(diào)用e1071 包創(chuàng)建支持向量回歸模型，如圖4 所示：×表示輸出的預(yù)測(cè)值。此時(shí)SVR 的均方根誤差是3.003165，平均絕對(duì)誤差是2.529023，均方誤差是9.019002。SVR 的衡量指標(biāo)相較于lm均有顯著提高。

圖4 觀測(cè)值與支持向量回歸

為了提高支持向量回歸的性能，我們將采用網(wǎng)格搜索方法進(jìn)行超參數(shù)優(yōu)化，為模型選擇最佳參數(shù)C 和ε。實(shí)驗(yàn)第三步調(diào)用tune( )函數(shù)，并繪制網(wǎng)格搜索結(jié)果。在圖5 中可以觀察到，區(qū)域顏色越深，模型性能就越好（因?yàn)镽MSE 在深色區(qū)域更接近于零）。實(shí)驗(yàn)第四步將在更窄的范圍內(nèi)嘗試另一個(gè)網(wǎng)格搜索，嘗試在0 和0.2 之間的尋找ε 值。

圖5 SVRcost 與ε

最終通過網(wǎng)格搜索獲得SVR 的最佳參數(shù)：cost=128，ε=0.09。（圖6）

圖6 優(yōu)化的SVRcost 與ε

超參數(shù)優(yōu)化SVR 的均方根誤差是1.931165，平均絕對(duì)誤差降低到1.632323，均方誤差為3.729399，三種評(píng)價(jià)指標(biāo)均獲得最低值（見圖7）。

圖7 三種評(píng)價(jià)指標(biāo)柱狀對(duì)比圖

實(shí)驗(yàn)第五步將SVR 和超參數(shù)優(yōu)化的SVR 這兩個(gè)模型可視化。在圖8 中，細(xì)線條表示默認(rèn)參數(shù)的SVR，粗線條表示超參數(shù)調(diào)優(yōu)后的SVR 模型，擬合效果最佳。

圖8 SVR 超參數(shù)調(diào)優(yōu)前后對(duì)比

6 結(jié)論

支持向量回歸機(jī)已經(jīng)廣泛應(yīng)用于諸多領(lǐng)域，皆取得了良好的效果，但其精度受超參數(shù)影響顯著。本文通過使用網(wǎng)格搜索進(jìn)行超參數(shù)優(yōu)化,通過實(shí)驗(yàn)獲得最佳SVR。下一步將考慮如何進(jìn)一步降低誤差值。