徐 濤,燕憲金,楊國慶(.中國民航大學計算機科學與技術學院,天津 300300；.中國民航信息技術科研基地,天津 300300)

基于神經網絡集成的單個飛行事件噪聲預測模型

徐 濤1,2*,燕憲金1,楊國慶2(1.中國民航大學計算機科學與技術學院,天津 300300；2.中國民航信息技術科研基地,天津 300300)

通過分析影響單個飛行事件噪聲的各種因素,構建了BP神經網絡回歸預測模型,并通過自適應遺傳算法優(yōu)選出參與集成的個體神經網絡,提出了預測單個飛行事件噪聲的神經網絡集成預測模型.為了有效保證差異性,設置不同隱藏神經元個數和 Bagging算法來構建和訓練單個網絡.實驗結果表明,單個飛行事件噪聲的神經網絡集成預測模型相對單個BP神經網絡模型泛化能力更強,穩(wěn)定性能更好.本文方法在測試集上誤差在3dB以內的平均比率為96.9%,比單個網絡高6.8%.

單個飛行事件噪聲；預測模型；BP神經網絡；神經網絡集成；遺傳算法

近年來,中國民航的迅猛發(fā)展受到世界矚目.但是,不斷新建、擴建的機場和持續(xù)增長的航空運輸量,也使得困擾中國民航已久的機場噪聲問題愈發(fā)嚴重[1].如何有效地控制機場噪聲是當前面臨的重要課題.機場噪聲預測是制定機場噪聲控制措施的主要依據,因此,構建準確高效的噪聲預測模型顯得尤為重要.

機場噪聲是由諸多單個飛行事件所引起的噪聲污染.單架飛機單次飛行稱為單個飛行事件

[2],其產生的噪聲稱為單個飛行事件噪聲.目前,主要根據噪聲計算模型來預測噪聲級,其中美國聯(lián)邦航空局(FAA)提出的綜合噪聲模型 INM (Integrated Noise Model)[3]應用最為廣泛.該模型對單個飛行事件噪聲的計算是根據預測點到飛機航跡的距離,對該飛機既有基本聲學數據進行插值,進而計算得到該預測點的噪聲級,并在此基礎上運用噪聲影響因素修正模型對噪聲級進行修正,從而得出實際噪聲級[4].但該模型需要大量參數,而在現(xiàn)實環(huán)境中,很難全面、精確地獲取這些參數,從而致使預測精度較低.由于機場噪聲與其影響因素之間存在復雜的非線性關系,很難建立相應的函數模型.而理論證明,包含一個隱藏層的三層前饋神經網絡可以以任意精度逼近任意復雜的非線性函數[5],因此可以用神經網絡模型來擬合噪聲與其影響因素之間的函數模型.目前,神經網絡在噪聲預測領域已展現(xiàn)出其有效性和可行性.2006年,陳可可等[6]提出了道路交通噪聲的神經網絡預測模型.2008年,Yang等[7]應用神經網絡對機場噪聲進行仿真預測.然而在實際應用過程中,單個神經網絡存在一定的缺陷,如容易陷入局部極小值且穩(wěn)定性差等.

已有研究表明,神經網絡集成在處理復雜問題時可以克服單個神經網絡的缺陷[8-9],因此本文提出了一種單個飛行事件噪聲的神經網絡集成預測方法.首先構建單個飛行事件噪聲的BP(Back Propagation)神經網絡回歸預測模型,在構建和訓練過程中采用設置不同隱藏層神經元個數和 Bagging算法來增加個體網絡之間的差異性,然后通過自適應遺傳算法從候選網絡中選出參與集成的個體神經網絡,組建神經網絡集成預測模型,從而提高預測精度和穩(wěn)定性能.

1 BP神經網絡

BP神經網絡是一種多層前饋神經網絡,它采用反向傳播算法,具有很強的非線性映射能力,因此在系統(tǒng)仿真、函數擬合、模式識別等領域具有廣泛的應用[10].但該網絡存在一定的局限性,如收斂速度慢,容易陷入局部極小值等,采用附加動量項和自適應學習率,能有效改進 BP神經網絡性能.

標準BP神經網絡在調整權值時僅考慮誤差在梯度上的作用,附加動量項法[11]通過給每個權值變化量加上一個正比于前一次權值變化量的動量項,使網絡連接權值的變化和網絡訓練效果相聯(lián)系.這樣不僅考慮誤差在梯度上的作用,也考慮了在誤差曲面上變化趨勢的影響,利用附加動量能有效抑制網絡陷入局部極小.

在標準 BP神經網絡的訓練中,學習速率固定不變,收斂速度慢.自適應調整學習率法[12]在訓練過程中根據訓練結果動態(tài)調整學習速率,若一輪訓練后誤差減小,則增大學習率,加快網絡收斂,反之減小學習率.這樣可以保證網絡總是以最大可接受的學習率進行訓練.

2 單個飛行事件噪聲的BP神經網絡回歸預測模型

利用神經網絡預測單個飛行事件噪聲,就是通過學習構建反映噪聲影響因素和噪聲值之間關系的神經網絡回歸模型.單個飛行事件噪聲影響因素包括:飛機型號、發(fā)動機推力、操作模式(起飛或著陸)、飛行航跡,以及氣象條件等[13].通過分析發(fā)現(xiàn),發(fā)動機推力、飛機操作模式(0表示起飛,1表示降落)、飛機到預測點的直線距離、飛機的垂直高度、平均風速、最大風速為影響噪聲事件的主要因素,并作為網絡的輸入.等效連續(xù)A聲級Leq[14]是常用的噪聲評價量,能反映單個飛行事件噪聲的特點,其單位為 dB(A),因此可以將Leq作為網絡的輸出.理論證明,僅含有一個非線性隱藏層的BP神經網絡可以對任意復雜度的函數以任意精度進行逼近.采用三層 BP神經網絡構建單個飛行事件噪聲的神經網絡回歸預測模型,其模型結構如圖1所示.

圖1 單個飛行事件噪聲的BP神經網絡回歸預測模型Fig.1 Regression prediction model based on BP neural network for single aircraft noise event

3 單個飛行事件噪聲的神經網絡集成預測模型

3.1 神經網路集成學習

神經網絡集成是用有限個神經網絡對同一個問題進行學習,在某輸入示例下的集成輸出由構成集成的各神經網絡在該示例下的輸出共同決定.神經網絡集成泛化誤差為:

單個飛行事件噪聲的神經網絡集成預測模型構建分為兩個步驟:應用訓練樣本獨立訓練多個候選個體網絡;通過遺傳算法選擇個體網絡進行集成,最終進行集成預測,輸出預測結果.

3.2 個體網絡構建與訓練

通常,增加個體網絡之間的差異,可以增強集成的泛化能力,減小預測誤差.而不同的網絡結構能有效增加個體網絡之間的差異,因此,候選個體網絡可采用由 5種不同數量神經元構成的隱藏層構建的 BP神經網絡,相同隱藏層神經元數目的個體網絡個數為4個,共計20個候選個體網絡.為使候選個體網絡具有盡可能大的差異性,采用Bagging算法中訓練個體的方法來訓練候選個體網絡.Bagging算法是利用對訓練樣本集的擾動來獲得個體網絡之間的差異[15],該策略從原始訓練集中產生多個新的訓練樣本子集,用每個新的訓練子集來訓練候選網絡,其訓練過程具體描述如下:

步驟 1:進行初始化,確定原始訓練集D={(X1,Y1),(X2,Y2),…,(Xn,Yn)}, n表示原始訓練集的樣本個數,假設候選網絡個數為 m, fi表示第 i個候選網絡;

步驟2:For i = 1 to m do //循環(huán)m次,訓練m個候選網絡

{

通過可放回的隨機取樣從 D中選出新的訓練集Di;

用Di作為候選個體網絡fi的訓練集并進行訓練.

}.

3.3 遺傳算法選擇集成

3.3.1 適應度函數 適應度函數(Fitness function)是遺傳算法對問題中的每一個染色體進行度量的函數,是對一個解的優(yōu)劣進行評價的指標.

本文采用的適應度函數為在驗證集上的均方誤差的倒數,其表達式形如:

式中:n表示訓練樣本的個數;v表示驗證集;iy′表示樣本i的預測輸出值;yi表示樣本i的實際輸出值.

3.3.2 交叉、變異概率 交叉是指對兩個相互配對的染色體,依據交叉概率Pc按某種方式相互交換其部分基因,從而形成兩個新的染色體.變異是指依據變異概率Pm,將染色體編碼串中的某些位置的數碼用其他數碼來替換,從而形成一個新的染色體.標準遺傳算法的交叉率和變異率固定不變,易導致過早收斂而獲得局部最優(yōu)解.本文對標準遺傳算法做如下改進,采用自適應的交叉、變異概率[16],表達式如下:

3.3.3 選擇集成 利用遺傳算法的優(yōu)化思想進行選擇神經網絡集成,使得集成的泛化誤差最小.即假定已經獨立訓練了m個神經網絡{,利用遺傳算法優(yōu)化選擇的一個子集St,使得由 St中個體網絡構建的集成網絡的泛化能力最強.具體思路是,為每一個候選網絡分配一個權值表示候選個體網絡 fi的權重,反映了個體網絡在集成中的重要程度,對應于遺傳算法中的染色體的基因,然后將權值向量作為遺傳算法中的染色體,通過遺傳算法尋優(yōu)最終得到權值向量的最優(yōu)解,最后將優(yōu)化后大于給定閾值λ的個體網絡加入集成,小于λ的個體網絡被剔除,進而得出最終的集成模型.在采用遺傳算法實現(xiàn)選擇集成過程中,神經網絡集成對輸入 χ的實際輸出為:

其中:

式中:iw′表示參與集成的個體網絡fi的權重;s表示參與集成的網絡數量.

于是,基于遺傳算法選擇集成的步驟如下:

步驟 1:染色體采用實數編碼,編碼范圍為[0,1],對應{w1,w2,…,wm},長度為候選網絡個數m,設定種群大小H、最大進化代數、最大和最小交叉概率和、最大和最小變異概率和,隨機初始化種群;

步驟 2:根據公式(2)計算種群中每個染色體的適應度值f;

步驟3:根據適應度值f,采用輪盤賭方法選出進入下一代的染色體;

步驟 4:根據公式(3)提供的自適應交叉概率Pc進行單點實數交叉;

步驟 5:根據公式(4)提供的自適應變異概率Pm進行基本位變異;

步驟 6:得到新一代種群,若沒有迭代到最大進化代數,則轉步驟2,否則進入下一步;

步驟 7:輸出群體中適應度值最優(yōu)的染色體,作為最優(yōu)權值向量;

步驟8:最優(yōu)權值向量中權值大于給定閾值λ的個體網絡加入集成,反之則被剔除.

4 結果分析

實驗數據來源于某樞紐機場噪聲監(jiān)測系統(tǒng)對飛機噪聲事件的實際監(jiān)測數據和 ANP (Aircraft Noise and Performance Database)數據庫.根據確定的輸入和輸出參數,從噪聲監(jiān)測系統(tǒng)的噪聲事件數據和ANP數據庫中綜合整理出實驗所需的樣本數據集,其格式與部分數據如表1所示.隨機選擇1000條樣本數據作為訓練集,500條樣本數據作為驗證集,100條樣本數據作為測試集,并進行歸一化處理.

表1 樣本數據集數據格式Table 1 Data format of sample data set

實驗環(huán)境:Windows XP,Matlab R2009a.

實驗一:對單個飛行事件噪聲的 BP神經網絡回歸預測模型進行實驗,考察隱藏層神經元個數對泛化能力的影響.隨機選擇1000條樣本數據作為訓練集,100條樣本數據作為測試集.BP神經網絡為單隱藏層的三層網絡,隱藏層神經元數量從3個逐步增加到12個,隱藏層、輸出層的傳遞函數分別為tansig函數和purelin函數,訓練函數采用帶有附加動量項和自適應學習率的BP算法,最大訓練次數為500次,訓練目標為0.0001.為消除隨機性造成的影響,對每種不同隱藏層神經元個數的神經網絡分別進行10次重復實驗,取其平均值.實驗結果如圖2所示.

從圖 2中可以看出,隨著隱藏層神經元數量的增加,BP神經網絡在測試集上的泛化誤差呈現(xiàn)先減小后增大的趨勢.隱藏層神經元數量過少時,BP神經網絡的學習能力不足,泛化能力差;隱藏層神經元數量過多時,出現(xiàn)過擬合現(xiàn)象,影響網絡的泛化能力,泛化誤差變大.當神經元數量為 4個時,泛化誤差最小.

實驗二:對單個飛行事件噪聲的神經網絡集成預測模型進行實驗,考察其泛化能力并與 BP神經網絡回歸預測模型進行對比.隨機選擇1000條樣本數據作為訓練集,500條樣本數據作為驗證集,100條樣本數據作為測試集.從增大個體網絡之間差異性、降低個體網絡誤差角度出發(fā),根據實驗一的結論,個體網絡隱藏層神經元個數分別為3、4、5、6、7(個體網絡誤差最小的5種),相同隱藏層神經元數目的個體網絡個數為4個,共計20個候選個體網絡.個體網絡的其他參數和實驗一相同,遺傳算法中,種群大小H為80,染色體長度為 20,根據交叉、變異概率最優(yōu)推薦范圍,Pcmax=0.9,Pcmin=0.4,Pmmax=0.09,Pmmin=0.01,最大進化代數為100代,選擇操作采用輪盤賭方法,交叉采用單點交叉方法,閾值λ=1/20.為消除隨機性造成的影響,進行 10次重復實驗,取其平均值.實驗結果如表2、表3、表4和圖3所示.

圖2 不同隱藏層神經元數量下BP神經網絡模型的均方誤差平均值Fig.2 Average root mean square error of BP neural network models with different number of hidden nodes

表2 測試集預測誤差范圍比例的對比(%)Table 2 Comparison of the percentage of every prediction error range in the test set(%)

從表 2中可以看出,本文方法在測試集誤差為[0, 0.5)dB、[0.5, 1)dB區(qū)間的比例分別比單個網絡高9.4%和5.9%;誤差在[3, +∞) dB區(qū)間的比例比單個網絡低6.8%;誤差在[0, 3)dB區(qū)間的比例為96.9%,而單個網絡為90.1%.

表3 本文方法與單個網絡、全部集成的誤差對比(dB)Table 3 Comparison of error among proposed model, single best network model and all networks ensemble (dB)

表4 集成網絡個數Table 4 The number of ensemble networks

圖3 本文方法和單個網絡模型10次實驗均方誤差對比Fig.3 Comparison of root mean square error of 10 times between proposed model and single network model

從表 3中可以看出,本文方法在測試集上的均方誤差平均值比單個網絡小 0.8198,減少了24.28%,說明本文方法在測試集的泛化能力更強.本文方法 10次實驗的標準差比單個網絡小0.204,說明集成模型用于單個飛行事件噪聲預測比單個網絡表現(xiàn)出更好的穩(wěn)定性.

雖然本文方法的標準差比全部網絡參與集成的標準差要稍大,但本文方法10次實驗誤差的最大值比全部集成的最小值還要小,說明本文方法泛化能力更強.并且從表4中還可以看出,本文方法參與集成的網絡個數平均為 3.2個,遠小于20個,節(jié)省了存儲空間.

從圖 3中還能直觀地看出集成模型的泛化誤差比單個網絡要小,并且波動較小,具有更好的穩(wěn)定性能.

5 結論

5.1 本研究將集成學習方法應用于機場噪聲預測,首先構建和訓練若干候選 BP神經網絡回歸預測模型,然后通過遺傳算法優(yōu)化選擇個體網絡參與集成,構建神經網絡集成預測模型.

5.2 在測試集上,神經網絡集成預測模型的均方誤差平均值比單個網絡小 0.8198,標準差比單個網絡小 0.204,預測精度比單個網絡高 5.9%以上.也就是說,神經網絡集成預測模型泛化能力更強,預測精度更高,穩(wěn)定性能更好.

5.3 相比傳統(tǒng)預測模型,本文方法不需要構建計算模型,只需要部分參數,預測過程簡單.

[1] 過春燕,張邦俊.基于Surfer的機場噪聲等值線計算機繪制方法[J]. 中國環(huán)境科學, 2003,23(6):631-634.

[2] 程國勇,王 巍.單次飛行事件噪聲等值線計算方法的研究 [J].噪聲與振動控制, 2011,31(1):161-165.

[3] FAA, FAR150. Airport noise compatibility planning [S]. 2006.

[4] 沈洪艷,劉勁松.機場噪聲預測模型及應用實例 [J]. 河北師范大學學報(自然科學版), 2000,24(1):137-140.

[5] Hornik K M, Stineheombe M, White H. Multilayer feed-forward networks are universal approximators [J]. Neural Networks, 1989, 2(2):359-366.

[6] 陳可可,姚 建,徐 磊.BP人工神經網絡模型在拉薩道路交通噪聲預測中的應用 [J]. 環(huán)境科學與管理, 2006,31(5):78-81.

[7] Yang Y J, Hinde C. Airport noise simulation using neural networks [C]//Proceedings of International Joint Conference on Neural Networks, 2008:1917-1923.

[8] Hansen L K, Salamon P. Neural network ensembles [J]. IEEE transactions on pattern analysis and machine intelligence, 1990, 12(10):993-1001.

[9] 徐 鶴,王鎖萍,王汝傳,等.基于神經網絡集成的 P2P流量識別研究 [J]. 南京郵電大學學報(自然科學版), 2010,30(3): 79-83.

[10] 王國平.灰色系統(tǒng)理論在城市交通噪聲預測和絕對關聯(lián)度分析中的應用 [J]. 中國環(huán)境科學, 1996,16(1):56-59.

[11] 史春朝.BP神經網絡算法的改進及其在PID控制中的應用研究[D]. 天津:天津大學, 2006.

[12] 張永宏,吳 鑫.BP神經網絡在圖像字符識別中的改進和應用[J]. 南京信息工程大學學報(自然科學版), 2012,4(6):526-529. [13] 李 冉.機場航空噪聲預測及其影響因素研究 [D]. 天津:中國民航大學, 2008.

[14] 肖慧慧,王 超,徐肖豪.機場飛機噪聲影響評價量及其限值的探討 [J]. 噪聲與振動控制, 2011,31(2):134-138.

[15] Wang Y, Li W S, Li R, et al. Feature selection based on bagging ensemble learning algorithm [C]//Proceedings of IET International Communication Conference on Wireless Mobile and Computing, 2009:734-736.

[16] Yan T S. An improved genetic algorithm and its blending application with neural network [C]//Proceedings of International Workshop on Intelligent Systems and Applications, 2010:1-4.作者簡介：徐 濤(1962-),男,重慶人,教授,博士,主要從事民航信息系統(tǒng)理論和智能信息處理與分析研究.發(fā)表論文60篇.

《中國環(huán)境科學》獲評“百種中國杰出學術期刊”

《中國環(huán)境科學》2012年被中國科學技術信息研究所評為“2011年度百種中國杰出學術期刊”.“百種中國杰出學術期刊”是根據中國科技學術期刊綜合評價指標體系進行評定的,包含總被引頻次、影響因子、基金論文比、他引總引比等多個文獻計量學指標.

《中國環(huán)境科學》編輯部

Prediction model of noise event for single flight based on neural network ensemble.

XU Tao1,2*, YAN Xian-jin1,

YANG Guo-qing2(1.College of Computer Science and Technology, Civil Aviation University of China, Tianjin 300300, China；2.Information Technology Research Base of Civil Aviation Administration of China, Tianjin 300300, China). China Environmental Science, 2014,34(2)：539～544

Through analyzing the influence factors of the noise event for single flight, the regression prediction model based on BP neural network was established. Then, the ensemble prediction model based on neural network for single noise event was constructed by selecting neural networks with the aid of adaptive genetic algorithm. Simultaneously, in order to maintain the diversity of neural networks, different number of hidden nodes and Bagging algorithm were used. Experimental results show that the proposed ensemble prediction model based on neural network was better than the model of single BP neural network in terms of generalization ability and higher stability. The average accuracy rate of the proposed model was 96.9% on the test set within ±3dB error and was 6.8% higher than that of the single network model.

：noise event for single flight；prediction model；BP neural network；neural network ensemble；genetic algorithm

X593

：A

：1000-6923(2014)02-0539-06

2013-05-20

國家自然科學基金項目(61139002);國家“863”項目(2012AA063301);中國民用航空局科技項目(MHRD201006、MHRD201101);中央高?；究蒲袠I(yè)務費專項資金(3122013P013)

* 責任作者, 教授, txu@cauc.edu.cn