BP 神經(jīng)網(wǎng)絡(luò)模型的電離層預(yù)報(bào)精度評(píng)估

宋秉紅

( 蘭州城市建設(shè)設(shè)計(jì)研究院有限公司, 蘭州 730050 )

0 引言

電離層是日地空間觀(guān)測(cè)環(huán)境中的一個(gè)重要組成部分，對(duì)人類(lèi)生活生產(chǎn)產(chǎn)生了重要的影響. 電離層作為近地空間環(huán)境的重要組成部分，對(duì)電波通信、衛(wèi)星導(dǎo)航定位等都有重要影響，對(duì)電離層電子總含量(total electron content，TEC)進(jìn)行預(yù)報(bào)，有助于理解電離層時(shí)空演化特征和應(yīng)用[1-2]. 早期學(xué)者可通過(guò)對(duì)電離層建模對(duì)電離層進(jìn)行預(yù)報(bào)，主要分為經(jīng)驗(yàn)?zāi)Ｐ?國(guó)際參考電離層(international reference ionosphere，IRI)模型)和數(shù)學(xué)模型(球諧函數(shù)模型、自回歸滑動(dòng)平均(autoregressive moving average model，ARMA)模型、Klobuchar 模型、整合移動(dòng)平均自回歸(autoregressive integrated moving average model， ARIMA)模型、NeQuick 模型等[3-4]). 近年來(lái)，人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)的快速發(fā)展和計(jì)算機(jī)硬件性能的提升為電離層預(yù)報(bào)提供了新的思維方向. 深度學(xué)習(xí)方法作為一種特定類(lèi)型的機(jī)器學(xué)習(xí)方法，與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型相比，新增了更多的網(wǎng)絡(luò)層級(jí)和參數(shù)，在應(yīng)用能力方面顯著提升[5]. 人工神經(jīng)網(wǎng)絡(luò)能夠處理非線(xiàn)性函數(shù)的問(wèn)題為電離層預(yù)報(bào)提供了理論基礎(chǔ)[6-7]. 廖文梯等[8]基于長(zhǎng)短期記憶(long short-term memory，LSTM)神經(jīng)網(wǎng)絡(luò)模型和深度神經(jīng)網(wǎng)絡(luò)(deep neural networks, DNN)的混合模型對(duì)全球電離層TEC 進(jìn)行中短期預(yù)報(bào)，該混合模型有效解決了網(wǎng)絡(luò)層數(shù)增加帶來(lái)的梯度消失的問(wèn)題；馬國(guó)輝等[9]基于深度學(xué)習(xí)門(mén)限循環(huán)單位(gate recurrent unit，GRU)模型對(duì)電離層TEC 進(jìn)行了預(yù)報(bào)，實(shí)驗(yàn)結(jié)果表明：GRU 模型能夠較好地預(yù)測(cè)低、中、高地區(qū)電離層TEC，且在低緯地區(qū)的精度高于中緯地區(qū)，中緯地區(qū)的精度高于高緯地區(qū)；吉長(zhǎng)東等[10]基于LSTM 神經(jīng)網(wǎng)絡(luò)模型和總體經(jīng)驗(yàn)?zāi)B(tài)分解(ensemble empirical mode decomposition，EEMD)結(jié)合的方法實(shí)現(xiàn)了對(duì)電離層TEC 值進(jìn)行短期預(yù)報(bào). 電離層TEC 數(shù)值大小與太陽(yáng)活動(dòng)、地磁活動(dòng)、中性大氣背景以及電動(dòng)力學(xué)過(guò)程有關(guān)密切相關(guān)[11]，目前既有文獻(xiàn)較多僅對(duì)TEC 數(shù)值進(jìn)行時(shí)間序列分析及其預(yù)報(bào)，本文采用非線(xiàn)性預(yù)報(bào)反向傳播神經(jīng)網(wǎng)絡(luò)(back propagation neural network，BPNN)模型將電離層格網(wǎng)(global ionosphere maps，GIM)數(shù)據(jù)、時(shí)間點(diǎn)、經(jīng)緯度、太陽(yáng)射電通量F10.7數(shù)據(jù)、赤道地磁活動(dòng)指數(shù)Dst和全球地磁活動(dòng)指數(shù)Kp數(shù)據(jù)，以此來(lái)提高電離層TEC 預(yù)報(bào)的精度，同時(shí)可為今后探索電離層數(shù)據(jù)在天氣預(yù)報(bào)方面的應(yīng)用提供依據(jù).

1 原理與方法

1.1 BPNN 數(shù)學(xué)模型

BPNN 算法主要由輸入層、隱含層和輸出層三部分組成. BPNN 模型主要與網(wǎng)絡(luò)層數(shù)、每層的神經(jīng)元個(gè)數(shù)和激活函數(shù)有關(guān).

神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜程度取決于隱含層的個(gè)數(shù)和神經(jīng)元的個(gè)數(shù)，隱含層的個(gè)數(shù)又取決于輸入層和輸出層的神經(jīng)元個(gè)數(shù). 隨著神經(jīng)元個(gè)數(shù)的增加樣本訓(xùn)練迭代次數(shù)會(huì)隨之增加，本文通過(guò)經(jīng)驗(yàn)公式來(lái)確定最佳的 隱含層神經(jīng)元的個(gè)數(shù)[12]，即

式中：k為隱含神經(jīng)層神經(jīng)元的個(gè)數(shù)；m為輸入層的神經(jīng)元的個(gè)數(shù)；n為輸出層神經(jīng)元的個(gè)數(shù)，a為常數(shù)，一般在[1,10]取值.

在建模的過(guò)程中若輸入原始數(shù)據(jù)，往往會(huì)導(dǎo)致輸入層中神經(jīng)元權(quán)重不同對(duì)結(jié)果產(chǎn)生一定的影響，因此在建模過(guò)程中往往對(duì)輸入層數(shù)據(jù)進(jìn)行歸一化處理，將原 始數(shù)據(jù)映射在區(qū)間(–1,1)中，即

式中：Xi為歸一化處理之后得到的數(shù)值；X為歸一化處理的對(duì)象；Xmax、Xmin分別為原始數(shù)據(jù)中最大值和最 小值.

1.2 LSTM 數(shù)學(xué)模型

LSTM 神經(jīng)網(wǎng)絡(luò)模型是在遞歸神經(jīng)網(wǎng)絡(luò)(recurr ent neural network，RNN)模型的基礎(chǔ)上新增了3 個(gè)“門(mén)限”結(jié)構(gòu)來(lái)替代原有的RNN 神經(jīng)元，通過(guò)輸入門(mén)限、遺忘門(mén)限和輸出門(mén)限來(lái)選擇性記憶反饋的誤差函數(shù)隨梯度下降的修正參數(shù)，從而實(shí)現(xiàn)時(shí)間上的記憶功能，并防止梯度消失，假設(shè)為輸入層數(shù)據(jù)，為模型的輸出結(jié)果，則LSTM 記憶單元的狀態(tài)和輸出的計(jì)算公式可表示為：

式中：it、Ot和ft分別為t時(shí)刻輸入門(mén)、遺忘門(mén)和輸出門(mén)的輸出值；ct、mt分別為神經(jīng)元和記憶單元在t時(shí)刻的激活狀態(tài)；W為神經(jīng)網(wǎng)絡(luò)模型不同層之間的權(quán)系數(shù)矩陣；b為偏置項(xiàng)；σ為激活函數(shù)；tanh為雙曲正切激活函數(shù).

2 數(shù)據(jù)來(lái)源和樣本訓(xùn)練

2.1 數(shù)據(jù)來(lái)源

本文實(shí)驗(yàn)使用的數(shù)據(jù)包括歐洲定軌中心(Center for Orbit Determination in Europe，CODE)提供的電離層格網(wǎng)GIM 數(shù)據(jù)，空間分辨率均為2.5°×5°，時(shí)間分辨率為1 h；中國(guó)科學(xué)院空間環(huán)境預(yù)報(bào)中心提供太陽(yáng)射電通量F10.7數(shù)據(jù)，時(shí)間分辨率為1 d；日本京都地磁數(shù)據(jù)中心提供赤道地磁活動(dòng)指數(shù)Dst和全球地磁活動(dòng)指數(shù)Kp數(shù)據(jù)，時(shí)間分辨率為3 h. 在實(shí)際使用過(guò)程中需要將各個(gè)數(shù)據(jù)的線(xiàn)性?xún)?nèi)插方式得到時(shí)間分辨率為1 h 的數(shù)據(jù).

2.2 樣本訓(xùn)練

本文選擇樣本數(shù)量為2020—2021 年數(shù)據(jù)，共計(jì)731 d，考慮到全球電離層TEC 存在半年/年周期性變化，本文實(shí)驗(yàn)數(shù)據(jù)為抽樣選取，以一個(gè)月為周期，每個(gè)月前20 d 數(shù)據(jù)作為訓(xùn)練集，中間5 d 為驗(yàn)證集，后5 d 為測(cè)試集，若當(dāng)月天數(shù)不足30 d 的，則訓(xùn)練集減少相應(yīng)的天數(shù)，若當(dāng)月天數(shù)超過(guò)30 d 的，增訓(xùn)練集增加相應(yīng)的天數(shù)，訓(xùn)練樣本結(jié)構(gòu)如圖1 所示.

圖1 BPNN 模型樣本訓(xùn)練結(jié)構(gòu)圖

在圖1 中，B、L表示格網(wǎng)點(diǎn)經(jīng)緯度信息，同時(shí)將原始GIM 數(shù)據(jù)進(jìn)行歸一化處理，經(jīng)過(guò)歸一化處理的數(shù)據(jù)能夠更好反饋特征項(xiàng)，不會(huì)因?yàn)槟硞€(gè)數(shù)量量級(jí)過(guò)大導(dǎo)致模型精度較差的結(jié)果. 通過(guò)式(4)確定隱含層的個(gè)數(shù)為14 個(gè). 樣本輸入輸出數(shù)據(jù)均為附加時(shí)間和空間位置屬性的GIM 格網(wǎng)數(shù)據(jù).

3 精度評(píng)估

將CODE 中心提供的2020—2021 年共計(jì)731 d的GIM 數(shù)據(jù)按照低緯度(22.5°N，65°E)、(22.5°N，125°E)、中緯度(45°N，65°E)、(45°N，125°E)、高緯度(67.5°N，65°E)、(67.5°N，125°E)以月為周期提取各格網(wǎng)點(diǎn)時(shí)間序列數(shù)據(jù)，每個(gè)月前20 d 數(shù)據(jù)作為訓(xùn)練集，中間5 d 數(shù)據(jù)為驗(yàn)證集來(lái)輔助預(yù)報(bào)模型的構(gòu)建，后5 d為測(cè)試集進(jìn)行精度評(píng)估. 將電離層預(yù)報(bào)結(jié)果與CODE中心的電離層產(chǎn)品數(shù)據(jù)進(jìn)行對(duì)比，同時(shí)以殘差的平均值、均方根誤差 (root mean square error，RMSE)和平均相對(duì)精度作為精度因子進(jìn)行精度評(píng)估. 殘差的平均值、RMSE 和平均相對(duì)精度分別表示為：

式中：AAVE為殘差的平均值；ARMSE為RMSE；ARA為平均相對(duì)精度； TECi為第i個(gè)歷元電離層預(yù)報(bào)值；TECGIMi為第i個(gè)歷元的參考值；n為歷元長(zhǎng)度.

將CODE 中心提供的GIM 產(chǎn)品作為參考值，將低緯度(22.5°N，65°E)、(22.5°N，125°E)、中緯度(45°N，65°E)、(45°N，125°E)和高緯度(67.5°N，65°E)、(67.5°N，125°E)各格網(wǎng)點(diǎn)共計(jì)60 d (每月5 d 的預(yù)報(bào)結(jié)果，2 a共計(jì)60 d)的預(yù)報(bào)結(jié)果進(jìn)行對(duì)比分析，將最大殘差值、最小值、平均值、RMSE、平均相對(duì)精度進(jìn)行統(tǒng)計(jì)，結(jié)果如表1 所示.

表1 預(yù)報(bào)電離層各網(wǎng)點(diǎn)殘差值統(tǒng)計(jì)結(jié)果

由表1 可知，基于BPNN 模型預(yù)報(bào)的電離層TEC 值在低緯度、中緯度、高緯度的預(yù)測(cè)結(jié)果存在差異性，這可能是由于不同緯度地區(qū)電離層TEC 值存在較大差異性導(dǎo)致的. 低緯度、中緯度和高緯度電離層格網(wǎng)點(diǎn)TEC 最大殘差值分別為3.12 TECU、3.88 TECU、5.02 TECU，低緯度的平均相對(duì)精度優(yōu)于中緯度平均相對(duì)精度，中緯度的平均相對(duì)精度優(yōu)于高 緯度平均相對(duì)精度，在低緯度地區(qū)、中緯度地區(qū)、高緯度地區(qū)平均RMSE 分別為1.94 TECU、2.13 TECU、3.08 TECU.

為了進(jìn)一步評(píng)估BP 神經(jīng)網(wǎng)絡(luò)BPNN 模型在電離層預(yù)報(bào)中的可靠性和穩(wěn)定性，將BPNN 神經(jīng)網(wǎng)絡(luò)模型電離層預(yù)報(bào)結(jié)果與LSTM 神經(jīng)網(wǎng)絡(luò)模型電離層預(yù)報(bào)結(jié)果進(jìn)行對(duì)比分析，結(jié)果如圖2 所示.

圖2 2 種神經(jīng)網(wǎng)絡(luò)模型預(yù)報(bào)精度對(duì)比圖

由圖2 可知，在中緯度、高緯度地區(qū)BPNN 和LSTM 神經(jīng)網(wǎng)絡(luò)模型對(duì)電離層預(yù)報(bào)均有較好的精度，且2 種神經(jīng)網(wǎng)絡(luò)模型對(duì)電離層預(yù)報(bào)精度基本相當(dāng).與BPNN 神經(jīng)網(wǎng)絡(luò)模型相比，LSTM 神經(jīng)網(wǎng)絡(luò)模型在低緯度地區(qū)預(yù)測(cè)的電離層殘差值和RMES 值更大，預(yù)報(bào)精度較低. 因此，在低緯度地區(qū)使用BPNN神經(jīng)網(wǎng)絡(luò)模型對(duì)電離層預(yù)報(bào)具有更高的精度. 同時(shí)，也進(jìn)一步證實(shí)了BPNN 神經(jīng)網(wǎng)絡(luò)模型在電離層預(yù)報(bào)中具有較好的可靠性和穩(wěn)定性.

4 結(jié)束語(yǔ)

針對(duì)TEC 時(shí)間序列高噪聲、非平穩(wěn)、包含了線(xiàn)性和非線(xiàn)性的動(dòng)態(tài)序列的問(wèn)題，本文采用非線(xiàn)性預(yù)報(bào)BPNN 模型將GIM 數(shù)據(jù)、時(shí)間點(diǎn)、經(jīng)緯度、太陽(yáng)射電通量F10.7數(shù)據(jù)、赤道地磁活動(dòng)指數(shù)Dst和全球地磁活動(dòng)指數(shù)Kp數(shù)據(jù)作為樣本訓(xùn)練，同時(shí)將預(yù)報(bào)結(jié)果進(jìn)行精度評(píng)估，實(shí)驗(yàn)結(jié)果表明：

1) 基于BPNN 模型通過(guò)樣本訓(xùn)練能夠較好地預(yù)報(bào)低緯度、中緯度和高緯度電離層TEC 值；

2) BPNN 模型能夠較好地反映出電離層TEC 值的變化特征，在低緯度、中緯度、高緯度的預(yù)報(bào)殘差平均值分別為1.505 TECU、1.595 TECU、1.885 TECU；平均RMSE 分別為1.94 TECU、2.13 TECU、3.08 TECU；平均相對(duì)精度分別為90.5%、88.7%、85.35%；

3) 由于電離層時(shí)空特性變化機(jī)理較為復(fù)雜，如何將預(yù)報(bào)電離層TEC 數(shù)據(jù)在地震預(yù)報(bào)、天氣預(yù)報(bào)中取得實(shí)際應(yīng)用可作為下一步重點(diǎn)研究?jī)?nèi)容之一.