改進約束雞群算法在神經網絡的應用*

張瑩杰，張樹群

(暨南大學信息科學技術學院，廣東廣州510632)

1 引言

近年來，Hinton教授等人［1］提出深度置信網絡DBN(Deep Belief Network)，掀起了深度學習DL(Deep Learning)的熱潮。而最早的人工神經網絡(又稱神經網絡)又重新引起了許多學者的關注，其中BP(Back Propagation)神經網絡是應用最廣泛的神經網絡模型。BP神經網絡有著并行處理、魯棒性、自適應組織等特點，非常適合解決復雜的非線性問題，在模式識別、故障測試、圖像處理等領域有著廣泛的應用。

近年來，隨著智能優(yōu)化算法的發(fā)展，更多的智能優(yōu)化算法被用于解決規(guī)模大、維數高的復雜工程問題，如粒子群優(yōu)化算法［2-5］、螢火蟲算法［6-8］、蟻群算法［9］?；谡`差反向傳播算法的BP神經網絡存在收斂速度慢、易陷于局部極小值的問題，和智能算法相結合優(yōu)化BP神經網絡已成為一個研究熱點。

雞群算法CSO(Chicken Swarm Optimization)［10］是一種基于雞群搜索行為的群智能算法，它模擬雞群等級制度和雞群行為，將雞群分為若干子群，每個子群由一只公雞、若干母雞和小雞組成，不同種類的雞遵循不同的移動規(guī)律，每個子群中的個體都圍繞這個子群中的公雞尋找食物，而公雞隨機移動。CSO具有良好的全局收斂性和魯棒性，在工程中得到了廣泛的應用。Ahmed等人［11］基于雞群優(yōu)化算法提出一種自適應方法，更好地解決了復雜社會網絡中的社區(qū)發(fā)現問題。Hafez等人［12］提出了一種基于雞群優(yōu)化算法的特征選擇系統(tǒng)，取得了更好的分類精度。然而，雞群算法兼具這些優(yōu)點的同時不免也會有自己的缺陷，例如在求解多極值優(yōu)化問題時易陷入局部最優(yōu)、收斂速度較慢等問題。針對在高維問題求解中，CSO算法容易陷入局部最優(yōu)的問題，提出了一種改進的CSO算法，在高維情況下，通過大量的測試函數進行相關參數分析和優(yōu)化能力驗證。

本文針對雞群算法存在的收斂速度較慢及易陷入局部最優(yōu)［13-15］等問題，提出了一種改進約束雞群算法ICCSO(Improved Constrained Chicken Swarm Optimization)，從約束函數和進化機制兩方面對基本雞群算法進行了改進，提高了算法的收斂速度和全局搜索能力，并以幾個標準測試函數和BP神經網絡為例進行了仿真實驗，結果表明，該算法在收斂速度、全局搜索能力上優(yōu)于基本雞群算法、改進雞群算法。

2 改進雞群優(yōu)化算法

2．1 基本雞群優(yōu)化算法

在基本雞群優(yōu)化算法中，雞群被分為若干子群，每個子群由帶頭公雞、若干母雞和小雞組成。雞群中，適應度最好的若干個體作為帶頭公雞，適應度最差的一些個體作為小雞，剩余的個體作為母雞。母雞隨機選擇公雞，母雞與小雞的母子關系也是隨機建立的，且這種等級制度、支配關系和母子關系一旦建立就保持不變，直至數代以后才開始更新。每個子群中的個體都圍繞這個子群中的公雞尋找食物，而公雞隨機移動，迭代進行群體更新以獲取目標。

在解決優(yōu)化問題時，雞群中的每個個體都對應優(yōu)化問題的一個解。假設雞群中所有個體數為N，公雞、母雞、小雞和媽媽母雞的個數分別為 NR、NH、NC和 NM。xti，j(i∈［1，N］，j∈［1，D］)表示個體i第t次迭代時在j維搜索空間的位置。

雞群中雞的類型有3種，不同類型的雞的位置更新公式不同。公雞是雞群中適應度最好的一群個體，它們在更廣泛的空間尋找食物，公雞所對應的位置更新公式如下:其中，randn(0，σ2)是均值為0、標準差為σ2的一個高斯分布;ε是一個很小的常數。k(k∈［1，N］，k≠i)為公雞中不為i的任一個體，是從所有非雞群子群的公雞中隨機選擇的。f為個體x對應的適應度值。

母雞所對應的位置更新公式如下:

其中，rand為［0，1］的隨機數;r1為第i只母雞自身所在子群中的公雞;r2為隨機選取的任意公雞或者母雞個體，且 r1≠r2。

小雞所對應的位置更新公式如下:

其中，m為第i只小雞對應的母雞;FL(FL∈［0，2］)為跟隨系數，表示小雞跟隨其對應母雞尋找食物。

2．2 改進雞群優(yōu)化算法

基本雞群算法存在收斂速度較慢及易陷入局部最優(yōu)等問題，本文從約束函數和進化機制兩方面對基本雞群算法進行了改進。

2．2．1 約束函數的改進

在基本雞群算法中，如果個體超出搜索范圍，個體將從最接近的邊界重新開始搜索。數學描述如下:

其中，Lbj、Ubj分別表示第j維的下邊界、上邊界。

雞群算法用相應的上下界替代約束值，收斂速度較慢。本文提出用當前種群中最優(yōu)秀群體相應值的隨機移動替換約束值，以提高算法的收斂速度。描述如下:

其中，w1為步長，randn(0，1)為標準正態(tài)分布，是從當前最優(yōu)的Nwell(Nwell=NR)個個體中隨機選擇的，為從當前較優(yōu)的 Ngood(Ngood=N －NC)個個體中隨機選擇的。

2．2．2 進化機制的改進

由基本雞群算法3種類型的雞的位置更新公式可知，每個子群中的個體都圍繞這個子群中的公雞尋找食物，而公雞隨機移動。如果公雞陷入局部最優(yōu)，則整個子群也可能陷入局部最優(yōu);而且公雞間相互沒有信息交流，收斂速度較慢。針對這些缺點，我們增加了整個雞群最優(yōu)個體對公雞和母雞的牽引作用，以提高算法的收斂速度和全局搜索能力。

改進后的公雞所對應的位置更新公式如下:

其中

其中，w2為自適應調整因子，wmin、wmax分別為調整因子的最小值和最大值;M為迭代的最大次數。

改進后的母雞所對應的位置更新公式如下:

改進后的算法步驟如下所示:

步驟1初始化。確定初始參數 N、NR、NH、NC、NM、M等，在解空間內隨機生成雞群各個個體的初始位置x，計算其適應度，初始化個體當前最好位置Pbest和雞群全局最好位置Ibest。

步驟2如果滿足更新雞群關系條件，對雞群的適應度值進行排序，建立雞群的等級制度、支配關系和母子關系。

步驟3分別由公式(9)、公式(11)、公式(6)更新公雞、母雞和小雞的位置并計算其適應度值。

步驟4更新雞群的個體當前最好位置和雞群全局最好位置。

步驟5步驟2～步驟4為一次迭代過程，完成后判斷是否達到最大迭代次數，如果是，則終止循環(huán)，否則繼續(xù)循環(huán)。

2．3 基于改進約束雞群算法的BP神經網絡優(yōu)化

BP神經網絡是按誤差反向傳播算法進行學習的多層前饋神經網絡，BP神經網絡結構一般為3層:輸入層、隱含層和輸出層(層內無連接、層間全連接)。BP神經網絡通過誤差函數梯度反方向下降調整權值和閾值，反復訓練學習權值和閾值使誤差函數達到最小。

結合雞群算法優(yōu)化BP神經網絡［16-18］的基本原理是:神經網絡中的權值和閾值作為雞群個體，誤差函數作為雞群算法的適應函數，通過迭代更新找到整個雞群最優(yōu)個體，再將最優(yōu)個體返還回神經網絡進行誤差結果測試。具體步驟如下:

步驟1根據實際要求初始化BP神經網絡結構:每層神經網絡的節(jié)點數、權值、閾值等;

步驟2將權值和閾值視為雞群個體，初始化雞群算法參數;

步驟3計算個體當前最好位置Pbest和雞群全局最好位置Ibest，建立雞群的等級制度、支配關系和母子關系;

步驟4更新公雞、母雞和小雞的位置，計算其適應度值，并更新雞群的個體當前最好位置和雞群全局最好位置;

步驟5進行雞群算法迭代更新:搜索雞群最優(yōu)個體;

步驟6將最優(yōu)個體傳回BP神經網絡進行訓練并用測試數據進行驗證。

3 實驗仿真和分析

3．1 雞群算法仿真

本文采用表1所列出的5個標準測試函數來分析和驗證ICCSO算法的實際性能效果，并將結果與ICSO［19］和CSO算法進行了對比。

Table 1 Standard test functions for testing algorithm performance表1 用于測試算法性能的標準測試函數

本實驗中，ICCSO算法的種群大小N為100，維數D為10，最大迭代次數M 為1 000。NR、NH、NC、NM分別為0．2N、0．6N、0．1N、0．1NH，FL 為［0．4，1］的隨機數，G=10，wmin=0．8，wmax=1．0。每個測試函數分別獨立運行50次，以消除隨機性，將計算出的最優(yōu)值、最差值、平均值、標準差值與CSO和ICSO的計算結果相比較，如表2所示和圖1所示。

(1)F1函數:由表2可以看出，ICCSO算法的平均值和最優(yōu)值精度比ICSO算法和CSO算法的提高了40多個數量級，而ICSO算法的平均值和最優(yōu)值精度只是比CSO算法的多一個數量級。圖1a中ICCSO在迭代次數為24左右時就收斂，而ICSO和CSO算法曲線還未收斂，向最優(yōu)值收斂靠攏，ICCSO算法的收斂曲線比 ICSO、CSO算法的收斂曲線更平滑陡峭，說明ICCSO算法能夠更快速收斂，而CSO和ICSO算法出現了最優(yōu)解停滯現象。在迭代次數相同時，ICCSO算法比ICSO、CSO算法的適應度值更優(yōu)。

(2)F2函數:F2函數在高維情況下存在眾多極值點，CSO算法和ICSO算法在運算過程中都沒有避免這個問題，陷入了局部最優(yōu)值;而ICCSO算法避免了陷入局部最優(yōu)，并且取得了較高的收斂精度。從表2中看出，ICCSO算法的最優(yōu)值和平均值精度都要比ICSO、CSO算法的更優(yōu)。圖1b顯示ICCSO算法迭代15次左右時就收斂了，下降速度比ICSO算法、CSO算法更快，說明ICCSO算法能夠快速收斂，并且相比較其他兩個算法，每一次迭代ICCSO算法的適應度值更好。

Table 2 Comparison of test results among the algorithms表2 算法的測試結果對比

(3)F3函數:從表2可以看出，ICCSO算法的最優(yōu)值和平均值精度要比ICSO算法、CSO算法的精度高40～50個數量級。圖1c中ICCSO算法能在迭代15次以后達到收斂，比其他兩個算法更快速找到最優(yōu)值，并保持了較好的速度和精度。

(4)F4函數:從表2中可以看出，ICCSO算法的最優(yōu)值精度和平均值精度都要比ICSO算法、CSO算法高出45個左右數量級。圖1d中ICCSO算法的收斂曲線要更平滑陡峭，收斂速度比其他算法更快一些。

(5)F5函數:表2中ICCSO算法的最優(yōu)值、平均值精度要達到e－170左右，而ICSO、CSO算法的精度卻只有e－120左右。圖1e中ICCSO算法收斂速度要更快一些，能快速找到最優(yōu)值并進入收斂狀態(tài)。

綜上所述，對于這5個標準測試函數，尤其是對于存在眾多極值點的問題，ICCSO算法都取得了比CSO算法和ICSO算法更令人滿意的結果。仿真結果表明，ICCSO算法在全局搜索能力和收斂速度、收斂精度方面都優(yōu)于CSO算法和ICSO算法。

3．2 BP神經網絡測試結果和分析

本仿真實驗是對某型齒輪箱故障［20，21］樣本進行識別，分別從正常運行、點蝕、磨損、斷齒、點蝕磨損混合、斷齒磨損混合6種齒輪狀態(tài)隨機抽取80個樣本作為訓練集，再從6種狀態(tài)中選取20個樣本作為測試集。用測試樣本的測試誤差作為衡量網絡的優(yōu)劣，再通過誤差計算個體的適應度值，個體的誤差越小，適應度越好，則該個體越優(yōu)［22］。將基本雞群算法的BP神經網絡、改進雞群算法的BP神經網絡以及改進約束雞群算法的BP神經網絡進行對比，其中BP神經網絡的網絡結構均為輸入層9個節(jié)點、隱含層19個節(jié)點、輸出層6個節(jié)點。3種算法的神經網絡測試結果如表3所示。

從表3可以看出，ICCSO算法改進的BP神經網絡的測試誤差為4．133 3e-08，相比ICSO算法、CSO算法改進的BP神經網絡的測試誤差精度提高了2個數量級，也就是說，ICCSO算法能夠比ICSO算法、CSO算法改進的BP神經網絡更準確地識別齒輪箱的6種狀態(tài)，表示ICCSO算法改進的BP神經網絡具有更好的故障識別精度以及較強的適應能力，也從側面反映出本文提出的ICCSO算法的收斂速度、全局搜索能力確實得到了改進，驗證了其應用于齒輪箱故障診斷的可行性與正確性。

4 結束語

基本雞群算法有收斂精度高和魯棒性好等優(yōu)點，但存在收斂速度較慢及易陷入局部最優(yōu)等問題，通過改進基本雞群算法，并結合BP神經網絡，對齒輪箱故障進行識別，結果表明改進約束雞群算法結合BP神經網絡比改進雞群算法、基本雞群算法有著更好的識別效果。