支持向量機(jī)和神經(jīng)網(wǎng)絡(luò)的融合

(成都理工大學(xué) 四川 成都 610059)

一、前言

隨著信息時代的來臨，大數(shù)據(jù)已經(jīng)成為當(dāng)代社會一個重大時代變革的起源。因此，大數(shù)據(jù)的分析和應(yīng)用越來越受到人們的關(guān)注和歡迎。分類問題是處理大數(shù)據(jù)時最常見的問題，它已成為研究大數(shù)據(jù)的重要組成部分。因此，各種各樣分類算法在大數(shù)據(jù)分析領(lǐng)域大放異彩。有計(jì)算簡單，易于理解，可適應(yīng)不同的數(shù)據(jù)類型的決策樹算法；也有簡單有效的k近鄰算法；還有適用于小樣本數(shù)據(jù)的支持向量機(jī)以及適合非線性數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)算法等。在數(shù)據(jù)分類算法中，人工神經(jīng)網(wǎng)絡(luò)(ANN)以其學(xué)習(xí)能力、大規(guī)模并行計(jì)算等方面的優(yōu)異表現(xiàn)成為分類算法的代表之一。當(dāng)然，任一領(lǐng)域都不缺乏追趕者和挑戰(zhàn)者，支持向量機(jī)(SVM)憑借其在處理非線性數(shù)據(jù)表現(xiàn)優(yōu)異、魯棒性強(qiáng)的優(yōu)勢與人工神經(jīng)網(wǎng)絡(luò)并駕齊驅(qū)。在機(jī)器學(xué)習(xí)領(lǐng)域中，人工神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)一直處于“對抗”狀態(tài)。“支持向量機(jī)的提出就是為了打敗并取代神經(jīng)網(wǎng)絡(luò)?！盨ch?lkopf如是說道(Vapnik V，1971)。支持向量機(jī)，在處理線性不可分問題時采用核函數(shù)方法，將其轉(zhuǎn)化為高維狀態(tài)下的凸二次規(guī)劃問題，從而受到廣大研究者的關(guān)注與追捧。2006年，Deep Learning神經(jīng)網(wǎng)絡(luò)算法由神經(jīng)網(wǎng)絡(luò)大師Hinton(2006)提出，Deep Learning神經(jīng)網(wǎng)絡(luò)算法與普通的神經(jīng)網(wǎng)絡(luò)算法相比，處理能力更高。據(jù)Hinton所說，Deep Learning的這個名字完全是為了“反擊”支持向量機(jī)(因?yàn)閷τ谥С窒蛄繖C(jī)，他認(rèn)為是“Shallow Learning”)。2004年，Guang-Bin Huang及其團(tuán)隊(duì)的極限學(xué)習(xí)機(jī)(ELM)的提出,也掀起了機(jī)器學(xué)習(xí)新的浪花。

支持向量機(jī)是一種基于Vapnik的統(tǒng)計(jì)學(xué)習(xí)理論的高效的機(jī)器學(xué)習(xí)方法。從1981年開始,Vapnik(1971)和他的合作者提出了各種重要基礎(chǔ)理論。到了1995年,Vapnik總結(jié)自己的研究，整合出了統(tǒng)計(jì)學(xué)習(xí)理論(Vapnik，1982)，并首次提出來了這一新概念——支持向量機(jī)。由于支持向量機(jī)在對于小訓(xùn)練樣本的學(xué)習(xí)精度和能識別任意樣本且無錯誤的能力之間取得了平衡,因此擁有優(yōu)異的泛化能力。

支持向量機(jī)分類的本質(zhì)是將求解問題劃分為一個二次規(guī)劃的優(yōu)化問題，繼而通過解決二次規(guī)劃問題來解決原問題。對于二次規(guī)劃問題，研究者研究出了各種改進(jìn)算法，并且算法表現(xiàn)優(yōu)異，尤其是在某些特殊問題的解決中。

支持向量機(jī)優(yōu)勢是在于：小樣本問題、非線性數(shù)據(jù)分類及高維模式識別效果好，泛化能力強(qiáng)，并且易推廣。由于支持向量機(jī)在函數(shù)回歸、預(yù)測控制、數(shù)據(jù)挖掘、計(jì)算機(jī)入侵檢測、金融序列分析等領(lǐng)域獲得顯著優(yōu)勢，由此成為研究焦點(diǎn)，支持向量機(jī)的研究，主要集中在核函數(shù)方法。研究出最適合于樣本的核函數(shù)，是現(xiàn)在SVM研究的基本方向。

神經(jīng)網(wǎng)絡(luò)是抽象、簡化與模擬人腦結(jié)構(gòu)的簡易網(wǎng)絡(luò)。由于它是人腦的模仿，人腦具有的基本的自組織、自適應(yīng)和自學(xué)習(xí)的能力，神經(jīng)網(wǎng)絡(luò)也擁有。由于這個特性，神經(jīng)網(wǎng)絡(luò)可處理模糊的信息問題。所以，目前神經(jīng)網(wǎng)絡(luò)已廣泛應(yīng)用于語音識別、圖形識別與理解，計(jì)算機(jī)視覺、智能機(jī)器人、故障檢測等領(lǐng)域中(郭虎升，2009)。雖然神經(jīng)網(wǎng)絡(luò)的研究一波三折，但從九十年代至今，神經(jīng)網(wǎng)絡(luò)的研究幾乎滲透到了科學(xué)的各個領(lǐng)域，眾多研究領(lǐng)域的學(xué)者專家紛紛加入到神經(jīng)網(wǎng)絡(luò)的研究，在模型的設(shè)計(jì)、動力學(xué)研究、模型的應(yīng)用各個方面取得了大量成果。

二、RBF神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)

RBF是Radical Basis Function的簡稱，即徑向基函數(shù)。什么是徑向基函數(shù)？徑向基函數(shù)就是以到固定點(diǎn)的距離為自變量的一類函數(shù).徑向基函數(shù)的函數(shù)形式如，其中自變量為，代表空間中某一點(diǎn)x到某一中心點(diǎn)c之間的歐式距離。1985年，Powell提出了多變量插值的RBF法，故RBF應(yīng)用于神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)其思想根源在于解決插值問題(劉輝耀，2017)。權(quán)值與基函數(shù)的乘數(shù),構(gòu)成了大小各異的徑向基函數(shù)值，最后，可擬合出趨于完美的函數(shù)曲線。

根據(jù)COVER定理，在低維空間不可分的數(shù)據(jù)可能在高維空間變得可分(Haykin S，2011)。RBF神經(jīng)網(wǎng)絡(luò)的基本思想是：用徑向基函數(shù)作為隱單元的“基”，構(gòu)成隱含層空間，隱含層對輸入矢量進(jìn)行變換，將低維的模式輸入數(shù)據(jù)變換到高維空間內(nèi)，使得在低維空間內(nèi)的線性不可分問題在高維空間可分(石靈丹，2009)。由此可以看出，徑向基網(wǎng)絡(luò)的隱含層單元的功能，即將樣本映射高維空間，映射依據(jù)是徑向基函數(shù)。最后，在高維空間進(jìn)行數(shù)據(jù)分類，避免局限最優(yōu)，從而得到全局最優(yōu)解。

支持向量機(jī)的理論最初來自于對數(shù)據(jù)分類問題的處理。對于線性可分?jǐn)?shù)據(jù)的二值分類。如果采用神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)，其機(jī)理可以簡單描述為：系統(tǒng)隨機(jī)產(chǎn)生一個超平面，并移動它，直到訓(xùn)練集合中屬于不同類別的點(diǎn)正好位于該超平面的不同側(cè)面，就完成了對網(wǎng)絡(luò)的設(shè)計(jì)要求(管軍，2006)。但是這種機(jī)理決定了不能保證最終所獲得的分割平面位于兩個類別的中心，這對于分類問題的容錯性是不利的。

三、融合算法

在某種條件下，正則化的神經(jīng)網(wǎng)絡(luò)與SVM存在等價的關(guān)系，兩者之間可以相互轉(zhuǎn)化，從而可推導(dǎo)出正則化的RBF 神經(jīng)網(wǎng)絡(luò)與核函數(shù)為RBF的SVM 互為充要條件且可以彼此轉(zhuǎn)化(劉耀輝，2017)。

通過了解徑向基神經(jīng)網(wǎng)絡(luò)可知，徑向基網(wǎng)絡(luò)分為正則化網(wǎng)絡(luò)和廣義網(wǎng)絡(luò)，正則化網(wǎng)絡(luò)將所有的樣本都作為網(wǎng)格中心，當(dāng)樣本點(diǎn)有噪聲時，正則化網(wǎng)絡(luò)就會出現(xiàn)過擬合現(xiàn)象，泛化能力降低，同時，由于所有的樣本都作為了中心，樣本數(shù)太多時，神經(jīng)元太多，使得網(wǎng)絡(luò)變得復(fù)雜，計(jì)算量增大，增加計(jì)算時間。而廣義網(wǎng)絡(luò)由于選擇的是部分樣本作為中心，對于噪聲樣本，不會陷入過擬合現(xiàn)象，同時少量的神經(jīng)元使得網(wǎng)絡(luò)的復(fù)雜程度和計(jì)算量降低，增強(qiáng)了泛化能力。選擇以廣義網(wǎng)絡(luò)的徑向基神經(jīng)網(wǎng)絡(luò)為模型基礎(chǔ)。

廣義徑向基網(wǎng)絡(luò)的特點(diǎn)，核心點(diǎn)主要有三個：網(wǎng)絡(luò)中心，擴(kuò)展常數(shù)(作用域)以及權(quán)值w(隱含層到輸出層之間)。通過學(xué)習(xí)SVM可知，影響一個SVM模型的關(guān)鍵參數(shù)是懲罰變量C與其核函數(shù)的參數(shù)。當(dāng)支持向量機(jī)選擇徑向基核函數(shù)時，此時兩者就會有相似的地方，即徑向基函數(shù)中的確定。由此，RBF網(wǎng)絡(luò)中的可以完全借用核函數(shù)為RBF的SVM的。