王振國，賈 飛，余 洋

(內(nèi)蒙古電力(集團(tuán))有限責(zé)任公司烏海電業(yè)局，內(nèi)蒙古 烏海 016000)

0 引言

隨著電網(wǎng)系統(tǒng)的負(fù)荷持續(xù)增長以及電網(wǎng)規(guī)模的不斷增容，影響電網(wǎng)穩(wěn)定運(yùn)行的不確定因素也日漸增多。電網(wǎng)故障檢測是保障電力系統(tǒng)正常、有效運(yùn)行的關(guān)鍵技術(shù)。相對于傳統(tǒng)電網(wǎng)，智能電網(wǎng)可以借助人工智能和機(jī)器學(xué)習(xí)技術(shù)，保障電力系統(tǒng)的穩(wěn)定運(yùn)行。支持向量機(jī)[1](support vector machine,SVM)是一種優(yōu)秀的機(jī)器學(xué)習(xí)模型。為構(gòu)造一個最優(yōu)分類超平面，SVM以最大間隔為優(yōu)化目標(biāo)，實(shí)現(xiàn)了學(xué)習(xí)模型的結(jié)構(gòu)風(fēng)險(xiǎn)極小化。它在處理小樣本數(shù)據(jù)方面性能卓越。同時，它的全局最優(yōu)解可通過優(yōu)化一個凸二次規(guī)劃問題來獲得。SVM的優(yōu)勢受到了學(xué)術(shù)界與工業(yè)界的關(guān)注，并且已被成功地應(yīng)用了到各大領(lǐng)域[2-4]，比如故障檢測、場景識別、金融信用、生物識別等。

為解決SVM在處理異構(gòu)數(shù)據(jù)分布學(xué)習(xí)問題上性能較差的不足，Jayadeva等[5]在機(jī)器學(xué)習(xí)領(lǐng)域期刊TPAMI上提出了非平行支持向量機(jī)學(xué)習(xí)范式，并在此基礎(chǔ)上給了一個雙胞支持向量機(jī)(twin support vector machine,TWSVM)模型。相對SVM，TWSVM模型在處理“交叉型”數(shù)據(jù)問題上表現(xiàn)出卓越的泛化能力，并具有更好的學(xué)習(xí)效率。因此，TWSVM得到了國內(nèi)外很多學(xué)者的青睞，并后續(xù)提出了很多優(yōu)秀的模型。例如，雙胞界限支持向量機(jī)(twin band support vector,achine,TBSVM)[6]，最小二乘雙胞支持向量機(jī)(least square twin support vector machine,LSTSVM)[7]，雙胞參數(shù)間隔支持向量機(jī)(twin parametric-margin support vector machine,TPMSVM)[8]，中心雙胞參數(shù)間隔支持向量機(jī)(centroid parametic-margin support vector machine,CTPSVM)[9]，多標(biāo)簽支持向量機(jī)(multi-label twin support vector machine,MPSVM)[10-11]等模型。

CTPSVM[9]是近年來被提出的一種非平行機(jī)器學(xué)習(xí)方法，擁有優(yōu)秀的泛化能力。然而，CTPSVM故障檢測模型的解需要通過求解二次規(guī)劃問題來獲得，并不適合處理大規(guī)模學(xué)習(xí)問題。為解決上述問題，受最小二乘法LSTSVM模型[7]啟發(fā)，將提出一個新的最小二乘中心雙胞參數(shù)間隔支持向量機(jī)(least square centroid twin parametric-margin support vector machine,LSCTPSVM)故障檢測模型。該模型旨在使得每個類的樣本盡量聚在它所對應(yīng)的每個超平面的附近，同時其超平面盡量遠(yuǎn)離樣本中心點(diǎn)。對于CTPSVM模型，該模型擁有如下特點(diǎn)：將CTPSVM模型的不等式約束松弛到等式約束，并引入最小二乘法損失函數(shù)來懲罰犯錯樣本；為提高模型的泛化能力，額外的正則項(xiàng)被引入到LSCTPSVM模型中，保障了模型解的唯一性；相對于CTPSVM模型的解需要借助于二次規(guī)劃的對偶問題來間接的求得，LSCTPSVM模型可直接使用簡單而高效的線性方程組系統(tǒng)來獲得其原始問題的最優(yōu)解。在線性和非線性分類問題上，本文提出的LSCTPSVM擁有與CTPSVM相近的泛化能力，但具有更高效的學(xué)習(xí)效率。

1 中心雙胞參數(shù)支持向量機(jī)

本文采用如下的符號約定：所有的向量都為列向量；上標(biāo)“T”表示轉(zhuǎn)置；I表示單位矩陣；0和E分別表示全0向量和全1向量?？紤]n維實(shí)空間Rn中的二分類學(xué)習(xí)問題[1]，給定訓(xùn)練數(shù)據(jù)集為:

T={(x1,y1),(x2,y2),...,(xt,yt)}

(1)

式中:l為訓(xùn)練集的規(guī)模；x∈Rn為第i個訓(xùn)練樣本點(diǎn)；yi∈{-1,+1}為訓(xùn)練樣本點(diǎn)所對應(yīng)的類別標(biāo)簽。

此外，記I+和I-分別為屬于正類和父類的樣本集合索引，其規(guī)模分別為l1和l2。

CPTSVM模型[9]的核心思想是，在特征空間中，尋找一對最優(yōu)的非平行超平面。

(2)

使得每個超平面fk(x)盡量將當(dāng)前第k類的樣本劃分為同一側(cè)；另一方面，樣本中心盡量在另一側(cè)遠(yuǎn)該超平面。為實(shí)現(xiàn)上述目標(biāo)，CPTSVM模型[9]優(yōu)化如下原始問題：

(3)

(4)

類似于SVM，為求解問題和的解，首先將它們轉(zhuǎn)換為對偶問題：

(5)

(6)

然后，當(dāng)求得對偶問題的最優(yōu)解α1和α2，可推得原始問題的解：

(7)

(8)

值得注意的是，在CTPSVM模型中，b1和b2的最優(yōu)解不能直接由對偶解α1和α2計(jì)算得到，而是必須通過支持向量與ω1和ω2間接計(jì)算得到。對于新樣本x的預(yù)測，其類別的判別依據(jù)如以下決策函數(shù)：

Classx=f1(x)+f2(x)=

sign[(ω1+ω2)Tx+(b1+b2)

(9)

2 最小二乘中心雙胞參數(shù)間隔支持向量機(jī)

CTPSVM模型的解需要通過求解二次規(guī)劃問題來獲得，并不適合處理大規(guī)模學(xué)習(xí)問題。為此，受最小二乘法LSTSVM模型[7]啟發(fā)，提出LSCTPSVM模型，旨在選擇一對最優(yōu)的非平行超平面：

(10)

使得每個類的樣本盡量聚在它所對應(yīng)的每個超平面的附近，同時該超平面盡量的遠(yuǎn)離樣本中心點(diǎn)。為實(shí)現(xiàn)上述目標(biāo)，首先將CTPSVM的原始問題和中的L1模的松弛變量ξ和η轉(zhuǎn)換為L2模，同時將不等式約束。轉(zhuǎn)換為等式約束，構(gòu)造如下的經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)：

(11)

(12)

式中:c1,c2,μ1,μ2>0為懲罰參數(shù)，用于調(diào)節(jié)損失函數(shù)式和中各項(xiàng)損失的權(quán)重。

(13)

(14)

接下來，將對LSCTPSVM模型給出解釋。首先，討論和分析優(yōu)化問題。LSCTPSVM模型的幾何解釋如圖1所示。

圖1 LSCTPSVM模型的幾何解釋

①第1項(xiàng)和約束條件實(shí)現(xiàn)了正類樣本的經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)。這里使用最小二乘法準(zhǔn)則度量正類樣本離超平面的距離。對于偏離超平面的正類樣本點(diǎn)，引入松弛變量ξi度量其誤差。極小化這項(xiàng)期望所有正類樣本能聚在正類超平面附近。

②極小化第2項(xiàng)是希望樣本的中心點(diǎn)m盡量在超平面f1函數(shù)值為負(fù)的半空間，且距離超平面f1越遠(yuǎn)越好。f1(m)越小，則代表正類與負(fù)類中的間隔越大，那么模型的泛化能力將會越強(qiáng)。

3 模型優(yōu)化與求解

將優(yōu)化問題的等式約束代入到目標(biāo)函數(shù)中，可將問題和轉(zhuǎn)換為如下的無約束的二次規(guī)劃問題：

(15)

(16)

對于無約束優(yōu)化問題，其最優(yōu)解可以通過對J1(ω1,b1)關(guān)于變量ω1和b1求偏導(dǎo)：

(17)

(18)

整理可得:

(19)

(20)

同理，對于無約束優(yōu)化問題，其最優(yōu)解可以通過J2(ω2,b2)對關(guān)于變量ω2和b2求偏導(dǎo)：

(21)

(22)

整理式(21)和式(22)，得:

(23)

(24)

優(yōu)化問題(13)、(14)及其最優(yōu)解可通過求解式(20)、式(21)和線性方程組獲得。相對于CTPSVM通過對偶問題的二次規(guī)劃間接獲得最優(yōu)解，LSCTPSVM模型可通過求解線性方程組問題來直接優(yōu)化原始問題獲得最優(yōu)解。對于新樣本x的預(yù)測，其類別的判別依據(jù)如下決策函數(shù)：

Cx=f1(x)+f2(x)=sign[(ω1+ω2)Tx+(b1+b2)]

(25)

4 試驗(yàn)結(jié)果分析

表1 線性各分類器在UCI數(shù)據(jù)集上的分類準(zhǔn)確率對比

表2 各非線性分類器在UCI數(shù)據(jù)集上的分類準(zhǔn)確率對比

表1和表2分別給出了各模型在UCI數(shù)據(jù)集上的線性和非線性的平均分類準(zhǔn)確率。試驗(yàn)結(jié)果表明：本文所提出的LSCTPSVM模型，具有與CTPSVM相近的分類性能。比如對于線性和非線性情況，LSCTPSVM在8個UCI數(shù)據(jù)集中，分別有3個和4個數(shù)據(jù)集的分類性能超過CTPSVM。從分類結(jié)果的穩(wěn)定性上看，在大部分?jǐn)?shù)據(jù)集，LSCTPSVM的分類方差比CTPSVM的要小，主要原因是在LSCTPSVM模型中引入了額外的正則項(xiàng)b2，可以直接得到模型的最優(yōu)解，進(jìn)而提高了模型的穩(wěn)定性。此外，LSCTPSVM模型在線性和非線性性能在大部分的數(shù)據(jù)上都超過了SVM。各線性和非線性分類器在UCI數(shù)據(jù)集上的學(xué)習(xí)時間比較如圖2所示。

圖2 各線性和非線性分類器在UCI數(shù)據(jù)集上的學(xué)習(xí)時間比較圖

試驗(yàn)結(jié)果表明：LSCTPSVM模型的訓(xùn)練時間最短，其次是CTPSVM，最慢的是SVM。這是由于LSCTPSVM通過直接優(yōu)化原始問題，只需要求解一組線性方程組來獲得最優(yōu)解；而SVM和CTPSVM的最優(yōu)解需要通過求解二次規(guī)劃問題來獲得，時間復(fù)雜度較高；同時，SVM優(yōu)化一個較大的二次規(guī)劃問題，而CTPSVM和LSCTPSVM將較大的優(yōu)化問題分為兩個較小規(guī)模的問題。上述線性和非線性試驗(yàn)結(jié)果驗(yàn)證了LSCTPSVM模型的有效性。

5 結(jié)論

由于故障檢測模型CTPSVM的解需要通過求解二次規(guī)劃問題來獲得，并不適合處理大規(guī)模學(xué)習(xí)問題。為此，受最小二乘法LSSVM模型啟發(fā)，本文提出了一個新的最小二乘中心雙胞參數(shù)間隔支持向量機(jī)模型，簡稱LSCTPSVM。該模型旨在使得每個類的樣本盡量聚在它所對應(yīng)的每個超平面的附近，同時該超平面盡量遠(yuǎn)離樣本中心點(diǎn)。本文的主要貢獻(xiàn)是：①在LSCTPSVM模型中，首先將CTPSVM模型的不等式約束松弛到等式約束，并引入最小二乘法損失函數(shù)來懲罰犯錯樣本;②為提高模型的泛化能力，額外的正則項(xiàng)被引入到LSCTPSVM模型中，進(jìn)而保證了模型解的唯一性;③相對于CTPSVM模型的解需要借助于二次規(guī)劃的對偶問題來間接的求得，LSCTPSVM模型可直接使用簡單而高效的線性方程組系統(tǒng)來獲得其原始問題的最優(yōu)解。最后，在公共數(shù)據(jù)集和電網(wǎng)遙感數(shù)據(jù)集上，驗(yàn)證了LSCTPSVM故障檢測模型的有效性[13]。