粒子群與遺傳算法優(yōu)化支持向量機(jī)的應(yīng)用

滿春濤　劉博　曹永成

摘 要：為了提高參數(shù)優(yōu)化精度，研究將粒子群算法與支持向量機(jī)相結(jié)合，建立基于粒子群算法的支持向量機(jī)復(fù)雜過(guò)程系統(tǒng)穩(wěn)態(tài)模型。在此基礎(chǔ)上，為解決粒子群算法容易出現(xiàn)早熟收斂、搜索精度不高、在迭代的后期效率低、容易陷入局部極優(yōu)點(diǎn)等問(wèn)題，提出了引入遺傳算法的改進(jìn)粒子群算法。通過(guò)利用改進(jìn)后的粒子群算法對(duì)支持向量機(jī)參數(shù)進(jìn)行優(yōu)化，并應(yīng)用到青霉素發(fā)酵這一復(fù)雜工業(yè)系統(tǒng)。仿真結(jié)果表明，改進(jìn)算法提高了工業(yè)產(chǎn)量，實(shí)現(xiàn)了對(duì)系統(tǒng)結(jié)果的優(yōu)化。

關(guān)鍵詞：粒子群優(yōu)化算法;遺傳算法;支持向量機(jī);青霉素發(fā)酵

DOI：10.15938/j.jhust.2019.03.014

中圖分類號(hào)： TP183

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1007-2683（2019）03-0087-06

Abstract：In order to improve the precision of the parameter optimization， the research integrates the Particle Swarm Optimization Algorithm? with Support Vector Machine， and matches the experimental data， and then establishes a steadystate model of complex process system， which is based on Particle Swarm Optimization Algorithm and Support Vector Machine. On the basis of this model， an improved Particle Swarm Optimization Algorithm introduced to Genetic Algorithm is proposed， in order to overcome the defects of Particle Swarm Optimization Algorithm about premature convergencesearching accuracy is not high， the iterative efficiency is low in the late stage， trapping into the local optimization and so on.By making use of the improved Particle Swarm Optimization algorithm to optimize the parameters of Support Vector Machine， it is applied to the complex industrial system of penicillin fermentation. The simulation result shows that the optimized algorithm improves the industrial outputs， and optimizes the system results.

Keywords：particle swarms optimization algorithm; genetic algorithm; support vector machine; penicillin fermentation

0 引 言

隨著現(xiàn)代社會(huì)科學(xué)技術(shù)的不斷進(jìn)步和工業(yè)生產(chǎn)方法的持續(xù)創(chuàng)新，復(fù)雜工業(yè)系統(tǒng)的穩(wěn)態(tài)優(yōu)化問(wèn)題很難再用單一的方法加以解決，因而新的智能建模與優(yōu)化的復(fù)合方法勢(shì)在必行。現(xiàn)代化大工業(yè)過(guò)程控制結(jié)構(gòu)可看作三層，即控制層、優(yōu)化層和調(diào)度層[1]。本文的研究正是處于優(yōu)化層段，通過(guò)建立智能優(yōu)化方法，使系統(tǒng)在最佳工況運(yùn)行，提高生產(chǎn)的經(jīng)濟(jì)效益。

在優(yōu)化方面，遺傳算法（genetic algorithm，GA）和粒子群優(yōu)化算法（particle swarm optimization algorithm，PSO）都在群智能和生物進(jìn)化計(jì)算的范疇內(nèi)，具有很強(qiáng)的互補(bǔ)性[2]。遺傳算法擁有極強(qiáng)的探索精度和求變功能，在解空間全局尋優(yōu)上具有優(yōu)勢(shì)，但在局部搜索能力上相對(duì)不足[3]。而作為一種帶有隨機(jī)性質(zhì)的全局尋優(yōu)算法，粒子群算法的優(yōu)勢(shì)在于對(duì)優(yōu)化對(duì)象的函數(shù)并不要求可解析性[4]，因而遇到難解的非線性問(wèn)題且有不可微等繁復(fù)情況時(shí)多采用該方法。如果將兩者結(jié)合，將產(chǎn)生新的基于遺傳的粒子群優(yōu)化算法，即一種將遺傳算子融入粒子群的，帶有慣性權(quán)重的非線性減小機(jī)制的改進(jìn)優(yōu)化算法，它會(huì)極大程度上避免較大震蕩現(xiàn)象的出現(xiàn)，同時(shí)加快迭代速度，提高全局優(yōu)化能力[5]。

在控制方面，支持向量[6]（Support Vector Machine，SVM）不但能任意逼近非線性，而且能夠在小樣本數(shù)據(jù)下建立非常好的非線性映射模型，克服了一些傳統(tǒng)智能算法容易陷入局部極小值的缺陷，在預(yù)測(cè)控制方面具有非常高的穩(wěn)定性和魯棒性[7]。

在工業(yè)應(yīng)用中，本文擬在充分研究復(fù)雜系統(tǒng)特性的基礎(chǔ)上，以青霉素發(fā)酵工業(yè)過(guò)程為例[8-9]，將粒子群算法、遺傳算法、支持向量機(jī)有機(jī)結(jié)合，建立起復(fù)雜過(guò)程系統(tǒng)的穩(wěn)態(tài)模型，進(jìn)一步增強(qiáng)解決復(fù)雜工業(yè)系統(tǒng)的優(yōu)化問(wèn)題的能力。

1 支持向量機(jī)

SVM算法是基于VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小的原理[10]。其本質(zhì)是建立一個(gè)最優(yōu)超平面，在保證最小經(jīng)驗(yàn)風(fēng)險(xiǎn)的前提下，準(zhǔn)確分開(kāi)兩類數(shù)據(jù)樣本并且使其間隔最大，即分類間隔最大。

2）對(duì)個(gè)體解碼，將解碼后的參數(shù)代入到訓(xùn)練測(cè)試樣本中，計(jì)算出個(gè)體的適應(yīng)度函數(shù)值，并分別保留每個(gè)個(gè)體最新?tīng)顟B(tài)的二進(jìn)制編碼。從t=2開(kāi)始，若當(dāng)前最新個(gè)體的適應(yīng)度函數(shù)值小于前一次保留的值，那么就用新個(gè)體替換上一代個(gè)體，否則不替換。這樣的更新就保證了每個(gè)個(gè)體的歷史最優(yōu)解都能保留下來(lái)，同時(shí)也保留下來(lái)了個(gè)體每代的最優(yōu)解，為4）提供條件。

3）隨機(jī)選取種群中一定數(shù)目的個(gè)體，選取適應(yīng)度最好的個(gè)體做為父體并以此為條件，完成所有個(gè)體的選擇。

4）應(yīng)用均勻交叉，變異前先對(duì)個(gè)體進(jìn)行解碼，變異完成后再重新對(duì)個(gè)體編碼。

5）判斷是否滿足終止條件，若達(dá)到最大迭代次數(shù)Tmax或者所得參數(shù)停止變化，則終止迭代并獲得最優(yōu)參數(shù)與優(yōu)化的模型，否則得到新的粒子種群后返回到2）。

粒子群算法與遺傳算法結(jié)合對(duì)SVM進(jìn)行參數(shù)優(yōu)化的具體流程如圖2所示。

4 優(yōu)化算法的工業(yè)應(yīng)用

如今，復(fù)雜工業(yè)系統(tǒng)的控制目標(biāo)正向多元化發(fā)展，變量數(shù)目也日益增多并存在著各種約束條件。本文的研究，是一個(gè)非線性、時(shí)變性、滯后性和不確定性都較為嚴(yán)重的工業(yè)生產(chǎn)過(guò)程，各種環(huán)境條件都能影響到青霉素的合成。因此，為了提高資源利用能力與生產(chǎn)能力，工業(yè)上對(duì)其控制過(guò)程進(jìn)行優(yōu)化成為十分重要的方法。

影響青霉素最終產(chǎn)量的因素主要有以下幾點(diǎn)：溫度、酸堿度（PH值）、壓力、基質(zhì)濃度、溶解氧濃度等。優(yōu)化青霉素發(fā)酵過(guò)程的控制方法，其基本思想是：設(shè)定主控制量為基質(zhì)補(bǔ)料的速率，以溫度、溶解氧濃度和PH值為輔助控制量，利用粒子群與遺傳算法優(yōu)化 SVM后的模型對(duì)青霉素發(fā)酵過(guò)程進(jìn)行改進(jìn)，使得發(fā)酵終止時(shí)產(chǎn)量最優(yōu)。青霉素發(fā)酵過(guò)程優(yōu)化控制框圖如圖3所示。

整個(gè)優(yōu)化控制的過(guò)程具體流程如下：

1）從多批次青霉素發(fā)酵數(shù)據(jù)中選出模型的多組樣本集進(jìn)行訓(xùn)練，再對(duì)基于GAPSO與SVM的青霉素發(fā)酵建模。

2）利用上述優(yōu)化控制思想，根據(jù)具體的環(huán)境情況，在kT時(shí)刻由GAPSO算法確定一組控制過(guò)程中的補(bǔ)料速率、溶解氧、溫度、酸堿度等參數(shù)值。經(jīng)過(guò)補(bǔ)料流加發(fā)酵過(guò)程，均勻交叉變異得到的生物參數(shù)測(cè)量值會(huì)被隨時(shí)記錄分析，并需要不斷改變懲罰系數(shù)C、不敏感函數(shù)ε、RBF核函數(shù)寬度系數(shù)σ等控制參數(shù)。然后，通過(guò)對(duì)支持向量機(jī)的狀態(tài)評(píng)估與預(yù)估值的比較，對(duì)產(chǎn)品進(jìn)行下一步處理。重復(fù)此過(guò)程到（k+1）T時(shí)刻，得到一組新的參數(shù)值并把它作為（k+1）T到（k+2）T時(shí)刻的控制參數(shù)值。

3）以此規(guī)律循環(huán)直到各參數(shù)值不再發(fā)生變化，則發(fā)酵結(jié)束，最終使產(chǎn)出青霉素濃度最優(yōu)。

本文共用到10組數(shù)據(jù)，前7組用作訓(xùn)練樣本，其余3組用作測(cè)試樣本，模型參數(shù)經(jīng)過(guò)訓(xùn)練調(diào)整，最終達(dá)到最優(yōu)。其中，利用式（4）作為RBF核函數(shù)。取粒子種群規(guī)模為30，c1=c2=2，r1、r2是均勻分布在[0，1]區(qū)間上的隨機(jī)數(shù)，本文取0.5，最大迭代次數(shù)為400。懲罰系數(shù)C在區(qū)間為[1，1000]內(nèi)取值，核參數(shù)σ取值區(qū)間為[0，5]。記錄不同參數(shù)值，得到數(shù)據(jù)表如表1所示。

通過(guò)GAPSO算法對(duì)支持向量機(jī)模型參數(shù)的調(diào)整，最終得到數(shù)據(jù)表如表2所示。

用該參數(shù)集訓(xùn)練所得青霉素發(fā)酵過(guò)程菌體濃度值與PSO優(yōu)化SVM的模型所得菌體濃度值，如圖5所示。

從圖5可以看出，在GAPSO優(yōu)化SVM的模型下，發(fā)酵的最終產(chǎn)物濃度從原來(lái)的4.637g/L提高至5.041g/L，青霉素發(fā)酵過(guò)程得到了優(yōu)化，最終達(dá)到了提高產(chǎn)量的目的。

5 結(jié) 論

本文在青霉素發(fā)酵的支持向量機(jī)模型的基礎(chǔ)上，采用粒子群與遺傳算法相結(jié)合的方式對(duì)工業(yè)過(guò)程變量進(jìn)行優(yōu)化調(diào)整，并與基本粒子群算法優(yōu)化SVM模型的仿真結(jié)果進(jìn)行對(duì)比。最終研究表明，本文提出的基于粒子群與遺傳算法優(yōu)化向量機(jī)參數(shù)的方法尋優(yōu)效果更好，資源利用率更高，最終產(chǎn)物的產(chǎn)量得到進(jìn)一步提升，其應(yīng)用前景十分廣闊，具有重要的理論價(jià)值和實(shí)際應(yīng)用意義。

參 考 文 獻(xiàn)：

[1] TOM F.Moving Beyond Steady State Optimization.Hydrocarbon Processing，Jun 2002，81（6）：15.

[2] 張?chǎng)卧?，胡曉敏，林? 遺傳算法和粒子群優(yōu)化算法的性能對(duì)比分析[J]. 計(jì)算機(jī)科學(xué)與探索，2014，8（1） ： 91.

[3] 韋琦，楊明.改進(jìn)神經(jīng)網(wǎng)絡(luò)算法的智能電網(wǎng)短期負(fù)荷預(yù)測(cè)[J].哈爾濱理工大學(xué)學(xué)報(bào)，2017，（04）：65.

[4] DEAN T， ALLEN J， ALOIMONOS Y. Artificial Intelligence： Theory and Practice. Pearson Education North Asia and Publishing House of Electronics Industry， 2003： 17.

[5] 曹春紅，張永堅(jiān)，李文輝. 雜交粒子群算法在工程幾何約束求解中的應(yīng)用. 儀器儀表學(xué)報(bào)，2004，8（8）： 397.

[6] 陳君，彭小奇，宋彥坡，等.特征空間最小數(shù)據(jù)分布最大間隔支持向量機(jī)[J].電機(jī)與控制學(xué)報(bào)， 2013（3）： 105.

[7] 趙娟平，陳健，姜長(zhǎng)洪青霉素發(fā)酵過(guò)程建模研究[J]，計(jì)算機(jī)仿真，2008， 55（9）： 25.

[8] 李國(guó)正，王猛，曾華正. 支持向量機(jī)導(dǎo)論[M]. 北京： 電子工業(yè)出版社，2004.

[9] 潘豐，李海波，呂光帥. 發(fā)酵過(guò)程的建模與優(yōu)化方法研究.計(jì)算機(jī)與應(yīng)用化學(xué)2006，23（11）： 1112.

[10]蓋晁旭，梁隆愷，何勇軍.數(shù)據(jù)不充分情況下的說(shuō)話人識(shí)別[J].哈爾濱理工大學(xué)學(xué)報(bào)，2017（3）： 13.

[11]ZHANG X G. Introduciton to Statistical Learning Theory and Support Vector Machine. Acta Automatic Since， 2000， 26（l）： 32.

[12]周建萍，鄭應(yīng)平，王志萍. 最小二乘支持向量機(jī)分類問(wèn)題的算法實(shí)現(xiàn)[J]. 上海電力學(xué)院學(xué)報(bào)， 2008，24（4）： 381.

[13]楊冬云，李數(shù)函. 支持向量機(jī)核函數(shù)的構(gòu)造方法研究與分析[J]. 高師理科學(xué)刊，2010，30（2）： 23.

[14]KENNEDY J， EBERHART R. Particle Swarm Optimization. In： Proc IEEE Int Conf on Neural Networks，1995： 1942.

[15]馬志偉，滿春濤，李巍.基于STDM與粒子群優(yōu)化的音頻水印算法[J].哈爾濱理工大學(xué)學(xué)報(bào)，2016（5）： 73.

[16]熊偉麗，徐保國(guó). 粒子群算法在支持向量機(jī)參數(shù)選擇優(yōu)化中的應(yīng)用研究[C]∥中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集，沈陽(yáng)：東北大學(xué)出版社，2007： 447.

[17]WANG Xibin， ZHANG Xiaoping， WANG Hanhu. Parameter Optimization of Support Vector Machine and Application Based on Particle Swarm Optimization Mode Search.? Journal of Computer Applications， 2011.

[18]馬超，鄧超，熊堯，等.一種基于混合遺傳和粒子群的智能優(yōu)化算法[J]. 計(jì)算機(jī)研究與發(fā)展， 2013（11）.

[19]王廣澤.改進(jìn)粒子群算法在供應(yīng)鏈庫(kù)存控制中的應(yīng)用[J].哈爾濱理工大學(xué)學(xué)報(bào)，2016（5）： 90.

[20]朱霄珣，徐搏超，焦宏超，等.遺傳算法對(duì)SVR風(fēng)速預(yù)測(cè)模型的多參數(shù)優(yōu)化[J].電機(jī)與控制學(xué)報(bào)，2017，21（2）：70.

（編輯：關(guān) 毅）