BDS衛(wèi)星鐘差短期預(yù)報(bào)的LSTM算法

吉長(zhǎng)東，朱錦帥,，黎 虎，張 萌，呂廣涵

（1. 遼寧工程技術(shù)大學(xué) 測(cè)繪與地理科學(xué)學(xué)院，遼寧 阜新 123000；2. 張家界市測(cè)繪院，湖南 張家界 427000）

0 引言

在多導(dǎo)航系統(tǒng)并存的環(huán)境下，實(shí)時(shí)衛(wèi)星鐘差產(chǎn)品的精度直接影響到全球衛(wèi)星導(dǎo)航系統(tǒng)（global navigation satellite system, GNSS）的服務(wù)能力[1-2]。我國(guó)北斗衛(wèi)星導(dǎo)航系統(tǒng)（BeiDou navigation satellite system, BDS）搭載的原子鐘均為自主研發(fā)，其精度和穩(wěn)定性與美國(guó)全球定位系統(tǒng)（global positioning system, GPS）和歐盟伽利略衛(wèi)星導(dǎo)航系統(tǒng)（Galileo navigation satellite system, Galileo）的衛(wèi)星鐘不同，因此，BDS鐘差產(chǎn)品的精度和穩(wěn)定性應(yīng)受到更多的關(guān)注[3]。

超快速鐘差產(chǎn)品作為國(guó)際GNSS服務(wù)組織（International GNSS Service, IGS）的核心產(chǎn)品之一，是實(shí)現(xiàn)分米級(jí)實(shí)時(shí)定位服務(wù)的重要一環(huán)。文獻(xiàn)[4-5]通過(guò)二次多項(xiàng)式加1個(gè)周期項(xiàng)擬合，預(yù)報(bào)IGS超快速產(chǎn)品中的GPS鐘差，但其精度與廣播星歷相比并沒(méi)有顯著改善。文獻(xiàn)[6]把小波神經(jīng)網(wǎng)絡(luò)（wavelet neural network, WNN）模型應(yīng)用到鐘差短期預(yù)報(bào)中，將小波分析與神經(jīng)網(wǎng)絡(luò)結(jié)合，預(yù)報(bào)精度優(yōu)于二項(xiàng)式模型和灰色模型。文獻(xiàn)[7]以WNN模型為基礎(chǔ)，對(duì)數(shù)據(jù)預(yù)處理方法進(jìn)行改進(jìn)后，以IGS發(fā)布的GPS超快速鐘差進(jìn)行實(shí)驗(yàn)并得到優(yōu)于超快速鐘差預(yù)報(bào)部分?jǐn)?shù)據(jù)的結(jié)果。文獻(xiàn)[8]使用徑向基函數(shù)（radial basis function, RBF）神經(jīng)網(wǎng)絡(luò)，對(duì)GPS鐘差進(jìn)行超短期5 min和1 h以及短期1 d預(yù)報(bào)，均可取得高精度預(yù)報(bào)結(jié)果。文獻(xiàn)[9]提出的循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network, RNN）是1種具有記憶功能的深度學(xué)習(xí)模型。文獻(xiàn)[10]通過(guò)修改隱藏層的結(jié)構(gòu)，建立1種基于RNN的長(zhǎng)短時(shí)記憶（long short-term memory, LSTM）模型，進(jìn)而削弱了RNN在長(zhǎng)序列訓(xùn)練過(guò)程中的梯度消失和梯度爆炸問(wèn)題。

目前，只有德國(guó)地學(xué)研究中心（Deutsches Geo Forschungs Zentrum, GFZ）和我國(guó)的全球連續(xù)監(jiān)測(cè)評(píng)估系統(tǒng)（international GNSS monitoring and assessment system, iGMAS）提供開(kāi)放式BDS鐘差產(chǎn)品，且現(xiàn)有的鐘差預(yù)報(bào)算法主要集中于穩(wěn)定的GPS鐘差數(shù)據(jù)以及IGS發(fā)布的鐘差產(chǎn)品，對(duì)于BDS以及iGMAS發(fā)布的鐘差產(chǎn)品缺少研究。為此，針對(duì)BDS超快速鐘差，提出1種將修正1次差的鐘差預(yù)處理方法和LSTM模型相組合的鐘差短期預(yù)報(bào)方法。

1 鐘差數(shù)據(jù)預(yù)處理及LSTM預(yù)報(bào)原理

iGMAS綜合鐘差產(chǎn)品的時(shí)標(biāo)采用北斗時(shí)（BDS time, BDT），用戶(hù)將iGMAS的BDT產(chǎn)品轉(zhuǎn)換到GPS時(shí)（GPS time, GPST）時(shí)，不考慮微小量可以時(shí)[11]，其計(jì)算方法為

式中：涉及物理量的單位均為 s；tGPST為t時(shí)刻GPS鐘差值；tBDT為t時(shí)刻BDS鐘差值。iGMAS提供的鐘差產(chǎn)品具體數(shù)據(jù)如表1所示，鐘差產(chǎn)品精度用均方根值（root mean square，RMS）表示。

表1 iGMAS鐘差產(chǎn)品介紹[11]

1.1 鐘差1次差預(yù)報(bào)方法原理

為了獲得高精確度的時(shí)間信息值，原始衛(wèi)星鐘差相位數(shù)據(jù)具有更多的有效位數(shù)。文獻(xiàn)[6]提出了對(duì)鐘差相位數(shù)據(jù)相鄰歷元間求1次差的方法，這不僅可以降低原始鐘差數(shù)據(jù)序列中趨勢(shì)項(xiàng)的影響，進(jìn)而得到1組有效數(shù)字位數(shù)減少且數(shù)值較大的1組數(shù)據(jù)序列。設(shè)L=｛li,i=1,2,…,n｝（li為i時(shí)刻鐘差值）為任意1組鐘差序列，對(duì)序列中2個(gè)相鄰歷元的鐘差做差，可以得到鐘差的1次差分序列ΔL=｛Δli,i=2,3,…,n｝，其中Δli=li-li-1。利用1次差分后的序列ΔL進(jìn)行學(xué)習(xí)、建模并預(yù)報(bào)第n個(gè)歷元以后m（m＞0）個(gè)歷元的鐘差的1次差分序列ΔLm=｛Δlj,j=n+1,n+2,…,n+m｝，最后根據(jù)預(yù)報(bào)的1次差序列求累加和與第n個(gè)歷元的鐘差值ln相加，即可得第k個(gè)歷元的鐘差相位值[6]為

式中：Δlk為預(yù)報(bào)的第k個(gè)歷元的1次差值，k=n+1,n+2,…,n+m。

1.2 基于鐘差1次差分序列的粗差處理

針對(duì)鐘差相位數(shù)據(jù)相鄰歷元間求1次差后的數(shù)據(jù)序列，文獻(xiàn)[12]設(shè)計(jì)了1種修正1次差法數(shù)據(jù)預(yù)處理方法，以改進(jìn)中位數(shù)為基礎(chǔ)的抗差估計(jì)探測(cè)粗差方法：將每個(gè)鐘差1次差分?jǐn)?shù)據(jù)Δli與1次差分序列的中數(shù)及絕對(duì)中位數(shù)（median absolute deviation，MAD）數(shù)倍之和進(jìn)行比較，MAD可表示為

式中：kΔ為1次差序列的中間數(shù)；Median為對(duì)序列取中位數(shù),即kΔ=Median｛ΔL｝。若鐘差1次差分值滿足式（4），則將其判定為異常值并剔除該值，然后通過(guò)內(nèi)插或者置零的方法補(bǔ)充該點(diǎn)數(shù)據(jù)[13]，即

式中：a為根據(jù)實(shí)際情況需要確定的1個(gè)正整數(shù)。

本文遵循探測(cè)出的異常值個(gè)數(shù)不超過(guò)建模數(shù)據(jù)的5%的原則，將a設(shè)置為3，這樣既在一定程度上降低異常值對(duì)模型預(yù)報(bào)性能的影響，又避免了有效信息的剔除。對(duì)于剔除數(shù)據(jù)歷元，這里使用線性插值的方法補(bǔ)全歷元。

1.3 循環(huán)神經(jīng)網(wǎng)絡(luò)原理

循環(huán)神經(jīng)網(wǎng)絡(luò)是1種可以有效提取、利用和處理時(shí)間序列的高位非線性動(dòng)力學(xué)模型[14]。在循環(huán)神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元不但可以接受其他神經(jīng)元的信息，也可以接受自身的信息，將神經(jīng)元最近1次（或幾次）的結(jié)果導(dǎo)入自己接下來(lái)的運(yùn)算中，形成具有環(huán)路的網(wǎng)絡(luò)結(jié)構(gòu)。設(shè)x=(x1,x2,xt)為模型輸入，y=(y1,y2,yt)為模型輸出，在1個(gè)完全連接的RNN模型中，在時(shí)刻t時(shí)，令xt表示網(wǎng)絡(luò)的輸入，yt表示網(wǎng)絡(luò)輸出，網(wǎng)絡(luò)模型如圖1所示。

圖1 RNN模型及其展開(kāi)示意圖

圖1中：h為隱藏層狀態(tài)（即隱藏層神經(jīng)元的活性值，也稱(chēng)之狀態(tài)或隱狀態(tài)），ht-1、ht-1為t-1、t時(shí)刻活性值；U、W和V均為網(wǎng)絡(luò)參數(shù)，U為狀態(tài)—狀態(tài)的權(quán)重矩陣，W為狀態(tài)—輸入的權(quán)重矩陣，V為狀態(tài)—輸出的權(quán)重矩陣。則RNN模型在時(shí)刻t的參數(shù)更新公式為：

式中：zt為t時(shí)刻隱藏層的凈輸入；b表示偏置向量；f(zt)表示非線性的激活函數(shù)。從圖1和式（5）、式（6）可以看出，t時(shí)刻隱藏層的狀態(tài)ht不僅有與時(shí)刻t的輸入xt相關(guān)，也和上一時(shí)刻隱藏層的狀態(tài)ht-1有關(guān)。

1.4 LSTM原理

在RNN實(shí)際應(yīng)用中，隱藏層存儲(chǔ)的時(shí)間是有限的，同時(shí)梯度消失的問(wèn)題也是長(zhǎng)程時(shí)間序列預(yù)測(cè)中存在的主要問(wèn)題?；诖耍墨I(xiàn)[15]以LSTM模型為基礎(chǔ)，在網(wǎng)絡(luò)中引入1個(gè)新的內(nèi)部狀態(tài)ct和門(mén)控機(jī)制，專(zhuān)門(mén)進(jìn)行線性的循環(huán)信息傳遞，同時(shí)（非線性的）輸出信息給隱藏層的外部狀態(tài)th。在t時(shí)刻，內(nèi)部狀態(tài)tc的公式計(jì)算為：

式中fsig為sigmoid型激活函數(shù)。

2 鐘差預(yù)報(bào)的LSTM模型構(gòu)造

利用LSTM模型建立鐘差預(yù)報(bào)模型的方式包括鐘差數(shù)據(jù)的訓(xùn)練和預(yù)報(bào)兩部分。在訓(xùn)練階段，將鐘差序列作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)，輸入的訓(xùn)練數(shù)據(jù)既作為網(wǎng)絡(luò)的輸入也作為網(wǎng)絡(luò)的期望輸出，通過(guò)LSTM神經(jīng)元的訓(xùn)練，使其掌握數(shù)據(jù)前后間的映射關(guān)系；在預(yù)報(bào)階段，將當(dāng)前時(shí)刻的鐘差數(shù)據(jù)作為網(wǎng)絡(luò)的輸入，通過(guò)已建立的網(wǎng)絡(luò)之間前后映射及拓?fù)潢P(guān)系，依次進(jìn)行外推得到預(yù)報(bào)結(jié)果。

根據(jù)訓(xùn)練輸入的鐘差序列有限個(gè)樣本點(diǎn)的數(shù)據(jù)特征，參考LSTM預(yù)報(bào)模型的從簡(jiǎn)設(shè)計(jì)原則，構(gòu)建基于LSTM的深度循環(huán)神經(jīng)網(wǎng)絡(luò)。對(duì)于鐘差序列預(yù)報(bào)的整體框架如圖2所示。

LSTM模型預(yù)報(bào)部分由輸入層、隱藏層、輸出層、網(wǎng)絡(luò)訓(xùn)練和參數(shù)優(yōu)化5個(gè)部分組成。輸入層負(fù)責(zé)對(duì)輸入的鐘差時(shí)間序列進(jìn)行處理，使得輸入的鐘差時(shí)間序列滿足LSTM神經(jīng)元的輸入要求；隱藏層使用基于LSTM神經(jīng)元的深度循環(huán)神經(jīng)網(wǎng)絡(luò)；網(wǎng)絡(luò)訓(xùn)練部分使用自適應(yīng)優(yōu)化算法中的亞當(dāng)（Adam）算法結(jié)合LSTM神經(jīng)元對(duì)輸入數(shù)據(jù)進(jìn)行訓(xùn)練；使用網(wǎng)格搜索和交叉驗(yàn)證算法進(jìn)行超參數(shù)的優(yōu)化；輸出層負(fù)責(zé)預(yù)報(bào)結(jié)果的輸出。

圖2 LSTM預(yù)報(bào)模型流程

以預(yù)處理后鐘差時(shí)間序列L0= {l1,l2,…,lr}為例，將其導(dǎo)入網(wǎng)絡(luò)進(jìn)行訓(xùn)練、預(yù)報(bào)計(jì)算的具體流程如下：

1）數(shù)據(jù)標(biāo)準(zhǔn)化。將預(yù)處理后的鐘差時(shí)間序列L0= {l1,l2,…,lr}分 為 訓(xùn) 練集Ltr= {l1,l2,…,ls}和 測(cè)試集Lte= {l s+1,ls+2,…,lr}，其中1＜s＜r。之后，對(duì)訓(xùn)練集中的每個(gè)數(shù)據(jù)lu(1 ≤u≤s)通過(guò)式（14）進(jìn)行Z-score標(biāo)準(zhǔn)化，得到標(biāo)注化數(shù)據(jù)集Lt′r= {l1′,l2′ ,…,ls′}，即

式中：μ為序列Ltr的均值；σ為序列Ltr的標(biāo)準(zhǔn)差。

2）數(shù)據(jù)分割。根據(jù)數(shù)據(jù)分割長(zhǎng)度L，將標(biāo)準(zhǔn)化后的訓(xùn)練數(shù)據(jù)集Lt′r分割為長(zhǎng)度為L(zhǎng)的(s-L+1)個(gè)數(shù)列，使訓(xùn)練集輸入變?yōu)閄= {X1,X2,…,Xs-L+1}，其 中Xp= {l′p,l′p+1,…,l′p+L-1}；則此刻 對(duì)應(yīng) 的 理論 輸出Y= {Y1,Y2,…,Ys-L+1}，其中Yp={l′p+1,l′p+1+2,…,l′p+L}，1≤p≤s-L+1。

3）數(shù)據(jù)訓(xùn)練。當(dāng)模型的輸入為X時(shí)，令其經(jīng)隱 藏 層 計(jì) 算 后 的 輸 出 為P= {P1,P2,…,Ps-L+1}，則Pp=fLSTM-forward(X p,c p-1,hp-1)，Xp表示當(dāng)前時(shí) 刻 的輸入，cp-1表示前一歷元LSTM神經(jīng)元的狀態(tài)值，hp-1表示前一歷元LSTM神經(jīng)元的輸出值，fLSTM-forward表示LSTM神經(jīng)元的更新公式。網(wǎng)絡(luò)訓(xùn)練過(guò)程中以求得損失函數(shù)結(jié)果更小為模型優(yōu)化目標(biāo)，在這個(gè)過(guò)程中使用小批量梯度下降法（minibatch gradient descent, M-BGD），每次選擇批尺寸大小為B個(gè)輸入值作為1批輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過(guò)Adam優(yōu)化器使得網(wǎng)絡(luò)不斷更新各個(gè)參數(shù)的權(quán)重，最后得到1個(gè)對(duì)輸入序列X擬合效果最好的LSTM模型，記作fLSTM-net。

4）超參數(shù)優(yōu)選。將網(wǎng)格搜索和交叉驗(yàn)證方法結(jié)合，對(duì)數(shù)據(jù)分割長(zhǎng)度L和批尺寸大小B進(jìn)行優(yōu)選。

5）數(shù)據(jù)預(yù)測(cè)。預(yù)測(cè)是采用逐個(gè)歷元數(shù)據(jù)迭代的方法，利用訓(xùn)練好的fLSTM-net模型，將訓(xùn)練集的最后1組 數(shù) 據(jù)輸 入fLSTM-net中，得 到 的 輸 出 結(jié) 果 為Ps-L+1=fLSTM-net(Ys-L+1)={ps-L+2,ps-L+3,…,ps+1}。將s+1時(shí)刻的預(yù)測(cè)值ps+1與YL合 并 為1組新 的 數(shù)據(jù)將YL+1帶入fLSTM-net中，可以得到s+2時(shí)刻的預(yù)測(cè)值ps+2；按照這個(gè)方法依次計(jì)算，得到預(yù)測(cè)序列P0={p s+1,ps+2,…,pr}。將預(yù)測(cè)序列P0進(jìn)行Z-score反標(biāo)準(zhǔn)化還原，就可以得到預(yù)報(bào)結(jié)果。

3 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)數(shù)據(jù)選取iGMAS超快速（iGMAS ultrarapid, ISU）鐘差文件，其中包括超快速觀測(cè)部分（ISU observed, ISU-O）和超快速預(yù)報(bào)部分（ISU predicted, ISU-P），數(shù)據(jù)文件格式為isu*****_00.clk，*****為BDT，前4位是BDT星期，第5位是星期內(nèi)天）?？紤]BDS包含地球靜止軌道（geostationary Earth orbit, GEO）、傾斜地球同步軌道（inclined geosynchronous orbits, IGSO）及中圓地球軌道（medium Earth orbit, MEO）三種不同軌道的衛(wèi)星，不同軌道所處空間環(huán)境不同，因此在每個(gè)軌道隨機(jī)選取某一刻衛(wèi)星進(jìn)行實(shí)驗(yàn)，本文選取的是C04、C07和C12三顆衛(wèi)星進(jìn)行實(shí)驗(yàn)。最后，以實(shí)測(cè)部分ISU-O為訓(xùn)練數(shù)據(jù)和期望輸出，采用均方根誤差（root mean squared error，RMSE）和極差（Range）2個(gè)性能指標(biāo)來(lái)評(píng)估預(yù)報(bào)結(jié)果的精度與穩(wěn)定性[9]。RMSE和R的具體定義為：

式中：R為極差；εi為i時(shí)刻期望輸出li與預(yù)報(bào)值l?i的殘差；εmax和εmin分別代表差值序列中的最大值與最小值。

3.1 超參數(shù)優(yōu)選實(shí)驗(yàn)分析

結(jié)合網(wǎng)格搜索和交叉驗(yàn)證的方法，對(duì)LSTM神經(jīng)網(wǎng)絡(luò)中使用的超參數(shù)窗口分割長(zhǎng)度L和批尺寸大小B兩種超參數(shù)進(jìn)行優(yōu)化。根據(jù)數(shù)據(jù)類(lèi)型設(shè)計(jì)超參數(shù)的取值范圍，其中窗口分割長(zhǎng)度分別取0.5、1.0、1.5、2.0、3.0、4.0、6.0及12 h內(nèi)的數(shù)據(jù)個(gè)數(shù)，即L∈{2, 4, 6, …, 24, 48}，批尺寸大小B∈{2, 4,… ,48}，以訓(xùn)練集中訓(xùn)練數(shù)據(jù)的誤差函數(shù)最小為目標(biāo)進(jìn)行訓(xùn)練，運(yùn)用多層網(wǎng)格搜索對(duì)超參數(shù)L、B進(jìn)行優(yōu)選。

以C12衛(wèi)星的ISU鐘差預(yù)報(bào)為例，選取2019-01-14的15 min采樣率共96個(gè)歷元的ISU-O數(shù)據(jù)進(jìn)行訓(xùn)練，預(yù)報(bào)96個(gè)歷元數(shù)據(jù)。以2019-01-15的ISU-O數(shù)據(jù)為真值，計(jì)算RMSE值，遍歷本文所選的L、B兩個(gè)超參數(shù)的取值范圍，繪制超參數(shù)優(yōu)選圖如圖3所示。

圖3 參數(shù)優(yōu)選

從圖3中可以看出，當(dāng)批尺寸大小B的取值在20以?xún)?nèi)時(shí)，LSTM網(wǎng)絡(luò)的預(yù)報(bào)結(jié)果不甚理想，且容易陷入局部最優(yōu)解，B的取值大于20時(shí)，不同的窗口分割長(zhǎng)度預(yù)報(bào)結(jié)果的RMSE值變化在0～1.2×10-8的范圍內(nèi)。表2給出了C04、C07和C12三顆衛(wèi)星使用上述預(yù)報(bào)方案時(shí)，前5組最優(yōu)參數(shù)組合以及預(yù)測(cè)精度。綜合來(lái)看，當(dāng)L=4、B=30時(shí)，預(yù)報(bào)精度更為理想。

表2 C04、C07、C12衛(wèi)星LSTM模型前5組最優(yōu)參數(shù)組合及預(yù)測(cè)精度

3.2 不同數(shù)據(jù)預(yù)處理方法的LSTM預(yù)報(bào)實(shí)驗(yàn)

不同數(shù)據(jù)預(yù)處理方法對(duì)神經(jīng)網(wǎng)絡(luò)的預(yù)報(bào)精度有著重要影響，使用文中提到的2種1次差數(shù)據(jù)預(yù)處理方法與未使用1次差處理的數(shù)據(jù)進(jìn)行LSTM模型預(yù)報(bào)精度分析。為了便于區(qū)分，將未使用1次差處理鐘差數(shù)據(jù)的LSTM預(yù)報(bào)方案命名為L(zhǎng)STM_1，使用鐘差1次差法處理的預(yù)報(bào)方案命名為L(zhǎng)STM_2，經(jīng)過(guò)改進(jìn)MAD法粗差處理后的1次差數(shù)據(jù)預(yù)報(bào)方案命名為L(zhǎng)STM_3。為了對(duì)比這3種方案的預(yù)報(bào)性能，以日期2019-01-09的ISU-O數(shù)據(jù)進(jìn)行預(yù)處理，然后訓(xùn)練預(yù)報(bào)第2天（2019-01-10）的鐘差，以第2天的ISU-O數(shù)據(jù)為真值與預(yù)報(bào)結(jié)果作對(duì)比，其部分預(yù)報(bào)結(jié)果的相位數(shù)據(jù)及1 d的預(yù)報(bào)殘差如圖4所示。

將圖4中實(shí)驗(yàn)結(jié)果與對(duì)應(yīng)的真值進(jìn)行對(duì)比后可以看出，LSTM_2方案的預(yù)報(bào)殘差變化范圍最大，其前5個(gè)歷元的預(yù)報(bào)結(jié)果最好，經(jīng)過(guò)1次差處理后，鐘差數(shù)據(jù)中的粗差被放大，導(dǎo)入網(wǎng)絡(luò)訓(xùn)練的輸入數(shù)據(jù)中粗差對(duì)網(wǎng)絡(luò)訓(xùn)練的影響增大，干擾了模型的訓(xùn)練、擬合過(guò)程，造成網(wǎng)絡(luò)出現(xiàn)過(guò)擬合現(xiàn)象，使網(wǎng)絡(luò)結(jié)構(gòu)極不穩(wěn)定，因此當(dāng)預(yù)報(bào)數(shù)據(jù)長(zhǎng)度超過(guò)20個(gè)歷元后，其預(yù)報(bào)殘差將持續(xù)增大（包括向正無(wú)窮與負(fù)無(wú)窮）。對(duì)比LSTM_1和LSTM_3這2種實(shí)驗(yàn)方案：前5個(gè)歷元，2種方法的殘差大小和變化趨勢(shì)有明顯差距，在前20個(gè)歷元內(nèi)，2種方法的預(yù)報(bào)殘差趨于穩(wěn)定，變化趨勢(shì)相近；但是LSTM_3的殘差波動(dòng)幅度明顯較LSTM_1的殘差浮動(dòng)小。

圖4 不同預(yù)處理方法后預(yù)報(bào)結(jié)果與殘差圖

為進(jìn)一步對(duì)比3種預(yù)處理方法對(duì)預(yù)報(bào)結(jié)果精度的影響，將預(yù)報(bào)結(jié)果與ISU-O真值進(jìn)行RMSE和R值統(tǒng)計(jì)，如表3所示。

從表3可以看出：LSTM_2由于原始數(shù)據(jù)中粗差被放大造成網(wǎng)絡(luò)訓(xùn)練過(guò)程中不穩(wěn)定，其R值從6 ns到30 ns，而RMSE值高達(dá)16 ns，預(yù)報(bào)結(jié)果的精度和穩(wěn)定度較差；對(duì)比LSTM_1和LSTM_3，這2個(gè)模型的RMSE和R值均在納秒級(jí)，其中以LSTM_3方案的結(jié)果最好，其RMSE和R值都能保持在2 ns以?xún)?nèi)。通過(guò)對(duì)1次差序列進(jìn)行改進(jìn)MAD法粗差探測(cè)、剔除與補(bǔ)齊，不僅削弱了鐘差相位數(shù)據(jù)中趨勢(shì)項(xiàng)和粗差數(shù)據(jù)對(duì)網(wǎng)絡(luò)訓(xùn)練的影響，還能減少輸入數(shù)據(jù)有效數(shù)位長(zhǎng)度，使輸入的數(shù)據(jù)更能表征數(shù)據(jù)的變化特點(diǎn)，減少網(wǎng)絡(luò)的冗余。

表3 不同數(shù)據(jù)預(yù)處理方法預(yù)報(bào)精度統(tǒng)計(jì)表 單位：ns

3.3 ISU鐘差預(yù)報(bào)精度分析

圖5 ISU-O短期預(yù)報(bào)結(jié)果與殘差

為了進(jìn)一步驗(yàn)證LSTM在BDS的ISU鐘差產(chǎn)品中的預(yù)報(bào)性能，選用日期2019-01-09的ISU-O數(shù)據(jù)作為L(zhǎng)STM和WNN模型的訓(xùn)練數(shù)據(jù)，以ISU鐘差產(chǎn)品中的預(yù)報(bào)部分和WNN預(yù)報(bào)結(jié)果作為對(duì)照。選擇3.2實(shí)驗(yàn)中LSTM_3使用的數(shù)據(jù)預(yù)處理方法對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行預(yù)處理，然后將預(yù)處理后的數(shù)據(jù)，分別通過(guò)WNN和LSTM兩種神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練并預(yù)報(bào)第2天（2019-01-10）的鐘差，以第2天的ISU-O數(shù)據(jù)為真值，對(duì)比ISU-P數(shù)據(jù)以及WNN和LSTM預(yù)測(cè)結(jié)果，其部分預(yù)報(bào)結(jié)果的相位數(shù)據(jù)及1 d的預(yù)報(bào)殘差如圖5所示。

從圖5每顆衛(wèi)星前12個(gè)歷元的預(yù)報(bào)鐘差值可以發(fā)現(xiàn)：LSTM、WNN和ISU-P的結(jié)果與ISU-O的數(shù)據(jù)趨勢(shì)基本相同，結(jié)合預(yù)報(bào)殘差圖分析，ISU-P數(shù)據(jù)的殘差偏離程度最大，尤其是C04衛(wèi)星，其ISU-P數(shù)據(jù)的殘差呈遞增趨勢(shì)，其預(yù)報(bào)誤差達(dá)到了30 ns以上；WNN的預(yù)報(bào)結(jié)果具有明顯的趨勢(shì)項(xiàng)，從C04和C07 2顆衛(wèi)星的預(yù)報(bào)結(jié)果來(lái)看，其預(yù)報(bào)誤差呈明顯的遞增或遞減趨勢(shì)，但是其離散程度與ISU-P的殘差相比明顯較??；而LSTM的預(yù)報(bào)結(jié)果較前二者明顯更好一些，表現(xiàn)了明顯的“自我約束能力”。

為了反映LSTM、WNN和ISU-P短期預(yù)報(bào)的性能，將3種預(yù)報(bào)結(jié)果前1、2、3、4、6及12 h的預(yù)報(bào)結(jié)果精度進(jìn)行RMSE統(tǒng)計(jì)，如表4所示。

表4 LSTM、WNN和ISU-P短期預(yù)報(bào)RMSE統(tǒng)計(jì)表

從表4可以看出：3種預(yù)報(bào)方案在最初1～2 h的預(yù)報(bào)精度波動(dòng)較為明顯，隨著預(yù)報(bào)時(shí)間增加，預(yù)報(bào)精度逐步提升。為了整體了解LSTM、WNN和ISU-P 3種結(jié)果的預(yù)報(bào)精度和穩(wěn)定度，將3顆衛(wèi)星的3種結(jié)果與ISU-O作比較表征其精度與穩(wěn)定度的RMSE與R值進(jìn)行統(tǒng)計(jì)如表5所示。

表5 LSTM、WNN和ISU-P 1d預(yù)報(bào)精度統(tǒng)計(jì)表 單位：ns

從表5中可以看出，LSTM模型的預(yù)報(bào)精度和穩(wěn)定性在3顆衛(wèi)星中表現(xiàn)得最好，3顆衛(wèi)星平均精度在1 ns左右，穩(wěn)定度在2 ns左右，尤其是C12衛(wèi)星的預(yù)報(bào)精度可達(dá)0.85 ns，穩(wěn)定度在1 ns左右。而ISU-P的預(yù)報(bào)精度和穩(wěn)定性最差，1 d內(nèi)誤差最大可達(dá)33 ns，同時(shí)精度也達(dá)到18 ns，這樣的精度在進(jìn)行單點(diǎn)定位時(shí)誤差在米級(jí)。

對(duì)比這3種預(yù)報(bào)結(jié)果，WNN和LSTM的日預(yù)報(bào)精度均優(yōu)于ISU-P數(shù)據(jù)，其中在C04、C07和C12三顆衛(wèi)星中，LSTM的預(yù)報(bào)精度較ISU-P數(shù)據(jù)相比精度分別提高了93%、59%和70%，較WNN分別提高了45%、50%和38%。相較于WNN模型，LSTM更適合作為1種較有效的鐘差預(yù)報(bào)方法應(yīng)用到鐘差短期預(yù)報(bào)中。

4 結(jié)束語(yǔ)

為了提高鐘差短期預(yù)報(bào)性能，提出1種1次差和LSTM模型組合的鐘差預(yù)報(bào)模型。經(jīng)過(guò)超參數(shù)優(yōu)選及2種數(shù)據(jù)預(yù)處理方法對(duì)比，搭建適合BDS超快速鐘差預(yù)報(bào)的組合LSTM模型，將LSTM預(yù)報(bào)結(jié)果分別與WNN模型預(yù)報(bào)結(jié)果及ISU-P數(shù)據(jù)比較，得到如下結(jié)論：

1）采用網(wǎng)格搜索和交叉驗(yàn)證結(jié)合的方法對(duì)L和B共2個(gè)超參數(shù)進(jìn)行優(yōu)選，提高了LSTM模型的預(yù)報(bào)性能和泛化能力。當(dāng)L=4、B=30時(shí)，LSTM模型預(yù)報(bào)精度較好。

2）對(duì)鐘差1次差分?jǐn)?shù)據(jù)進(jìn)行粗差剔除，不僅可以消除鐘差數(shù)據(jù)中的異常點(diǎn)，還減少了有效數(shù)據(jù)長(zhǎng)度，可降低LSTM網(wǎng)絡(luò)的復(fù)雜程度。通過(guò)這種預(yù)處理方法后，LSTM模型預(yù)報(bào)結(jié)果較直接使用LSTM模型進(jìn)行預(yù)報(bào)的精度提高了76%。

3）鐘差數(shù)據(jù)1次差剔除粗差預(yù)處理后，再使用LSTM模型預(yù)報(bào)鐘差，其單日預(yù)報(bào)精度較WNN預(yù)報(bào)模型提高了45%，與ISU-P數(shù)據(jù)相比，則提高了74%。該模型至少在日內(nèi)預(yù)報(bào)精度優(yōu)于ISU-P數(shù)據(jù)，可以作為1種較為有效的鐘差預(yù)報(bào)模型。