馮鴻超 許德剛

摘要： 本文使用LSTM網(wǎng)絡(luò)模型，將某一城市多年地面氣象數(shù)據(jù)作為變量，使用sigmoid函數(shù)作為激活函數(shù)，預(yù)測未來一段時(shí)間內(nèi)的天氣溫度。通過仿真實(shí)驗(yàn)，將真實(shí)數(shù)據(jù)與預(yù)測數(shù)據(jù)進(jìn)行對比分析，預(yù)測精度可達(dá)86%，誤差較小，相對普通RNN網(wǎng)絡(luò)模型預(yù)測精度提升40%。

關(guān)鍵詞： 深度學(xué)習(xí);RNN;LSTM

中圖分類號： S165.2?? ?文獻(xiàn)標(biāo)識碼： A?? ?文章編號： 1672-9129（2018）09-0052-01

Abstract： ?In this paper， we use the LSTM network model to use the sigmoid function as an activation function to predict the weather temperature for a period of time in the future. Through simulation experiments， the real data and the forecast data are compared and analyzed， the prediction accuracy can reach 86%， the error is small， and the prediction accuracy of the common RNN network model is improved by 40%.

Key words： ?deep learning;RNN;LSTM

1 前言

天氣變化極大的影響人們的日常生活，人們從未停止過對天氣的預(yù)測，隨著人們所掌握科學(xué)技術(shù)的進(jìn)步，氣象觀測站數(shù)量在迅速增長，由此產(chǎn)生大量的氣象數(shù)據(jù)，通過氣象大數(shù)據(jù)的分析，用于提高天氣預(yù)報(bào)的準(zhǔn)確率，預(yù)測未來較長一段時(shí)間內(nèi)地面天氣的溫度，預(yù)知極端天氣的出現(xiàn)，提前做好相應(yīng)的防范措施，還可用于其他對天氣有依賴性的研究。

隨著深度學(xué)習(xí)（Deep Learning）理論的不斷發(fā)展，神經(jīng)網(wǎng)絡(luò)在預(yù)測模型方面?zhèn)涫荜P(guān)注，其中使用深度學(xué)習(xí)的自編碼網(wǎng)絡(luò)預(yù)測城市交通流[1]，可用深度學(xué)習(xí)方法進(jìn)行氣象預(yù)測[2][3]，應(yīng)用于PM2.5預(yù)測[7]，電子病歷的匿名化處理和疾病及健康預(yù)測[6]等方面。循環(huán)網(wǎng)絡(luò)具有時(shí)間相關(guān)性，可以構(gòu)建廣泛用于與時(shí)間相關(guān)的預(yù)測及處理領(lǐng)域，如文本語言處理[4]，音頻識別[5]等時(shí)間序列相關(guān)領(lǐng)域。因此本文選用LSTM網(wǎng)絡(luò)模型對較長時(shí)間段內(nèi)的溫度進(jìn)行預(yù)測。

2 基于LSTM網(wǎng)絡(luò)模型的氣象溫度預(yù)測

在循環(huán)神經(jīng)網(wǎng)絡(luò)中，隨著時(shí)間增長，RNN存在梯度消失問題，導(dǎo)致不能處理延遲過長的時(shí)間序列，導(dǎo)致第一層輸出的結(jié)果對后邊輸出的影響越來越弱，直至消失。長短期記憶網(wǎng)絡(luò)（LSTM）是一種特殊的RNN，能都解決RNN存在的梯度消失問題，能夠?qū)W習(xí)到長期依賴關(guān)系，LSTM模型是將隱藏層替換成LSTM細(xì)胞單元，使其具有長期記憶的能力。

2.1 LSTM 型循環(huán)神經(jīng)網(wǎng)絡(luò)。LSTM的關(guān)鍵是細(xì)胞狀態(tài)（Cell State），它穿過整個(gè)隱藏網(wǎng)絡(luò)，LSTM通過門結(jié)構(gòu)控制細(xì)胞狀態(tài)添加或者刪除信息，門結(jié)構(gòu)是一種選擇性讓信息通過的方法，是為了保證LSTM 網(wǎng)絡(luò)能夠保存和獲取長時(shí)間周期的上下文信息，解決了普通RNN模型中的梯度消失問題。其步驟如下：

（1）通過遺忘門決定細(xì)胞狀態(tài)中的信息狀態(tài)。遺忘門通過觀察ht-1和xt，對細(xì)胞狀態(tài)ct-1中的每一個(gè)元素，輸出一個(gè)0～1之間的數(shù)，1表示“完全保留該信息”，0表示“完全丟棄該信息”。

ft=σ（Wfxt+Ufht-1+bf）?????? （1）

（2）通過輸入門確定需要更新的信息。

it ?= σ（Wi xt ?+ Ui ht-1 ?+ bi ）???? （2）c ～ t ?= tanh（Wc xt ?+ Uc ht -1 ?+ bc ）??? ?（3）

（3）更新細(xì)胞狀態(tài)。

ct=ft⊙ct-1+it⊙c ～ t?????????? （4）

（4）輸出門輸出。首先輸出選擇后細(xì)胞的輸出部分，然后將細(xì)胞狀態(tài)通過tanh后與輸出門相乘，得到想要的輸出結(jié)果。

ot ?= σ（wo xt ?+ Uo ht -1 ?+ bo ）??? ?（5）ht ?= ot ⊙tanh（ct ）??? ??（6）

其中，i、f、c、o分別代表輸入門、遺忘門、細(xì)胞狀態(tài)、輸出門，it表示輸入信號，xt表示在t時(shí)刻輸入層的數(shù)據(jù)，ht-1表示上一時(shí)刻輸出層的輸出，和b分別表示對應(yīng)的權(quán)重系數(shù)矩陣和偏置量，c ～ t表示激活函數(shù)的信號，σ和tanh分別表示sigmoid和雙曲正切激活函數(shù)。

2.2 基于LSTM型網(wǎng)絡(luò)的氣象溫度預(yù)測

基于LSTM的氣象溫度預(yù)測模型主要包括5部分：輸入層、隱藏層、輸出層、網(wǎng)絡(luò)訓(xùn)練和網(wǎng)絡(luò)預(yù)測。其主要步驟如下：

（1）輸入層將原始?xì)庀髷?shù)據(jù)進(jìn)行初步處理，使其滿足網(wǎng)絡(luò)輸入的條件.

（2）輸入層的輸入后進(jìn)入隱藏層，隱藏層的主要工作是網(wǎng)絡(luò)訓(xùn)練，將處理好的輸入數(shù)據(jù)表示為X，將X輸入隱藏層，隱藏層包含M個(gè)按順序連接的同構(gòu)LSTM細(xì)胞單元，X經(jīng)隱藏層后的輸出與理論輸出進(jìn)行比較，計(jì)算損失函數(shù)，以損失函數(shù)最小化為優(yōu)化目標(biāo)，設(shè)定學(xué)習(xí)率、訓(xùn)練迭代次數(shù)等初始值，不斷更新網(wǎng)絡(luò)權(quán)重，確定最終隱藏層網(wǎng)絡(luò)。

（3）應(yīng)用訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行預(yù)測，理論輸出最后一行數(shù)據(jù)，則n+1時(shí)刻的預(yù)測值為pn+1，將pn+1與理論輸出的最后一行數(shù)據(jù)合并為一行新的數(shù)據(jù)，預(yù)測出n+2時(shí)刻的預(yù)測值，依次類推，求出得到所有預(yù)測值，經(jīng)過輸出層的反標(biāo)準(zhǔn)化得到預(yù)測的實(shí)際值，計(jì)算得出模型出預(yù)測精度與誤差。

2.3數(shù)據(jù)獲取。本文采用某城市1986年1月1日至2015年12月31日共30年每天的氣象數(shù)據(jù)，數(shù)據(jù)內(nèi)容為每天的氣溫均值，日照時(shí)間，大氣壓強(qiáng)，平均風(fēng)速，降雨量。根據(jù)實(shí)際數(shù)據(jù)的取值范圍，按照表1的數(shù)據(jù)編碼標(biāo)準(zhǔn)，做標(biāo)準(zhǔn)化處理，將原始數(shù)據(jù)轉(zhuǎn)換為0、1矩陣，將轉(zhuǎn)換值作為位置坐標(biāo)，將全0矩陣中相應(yīng)位置的值改為1。將處理過后的矩陣使用append方法合并為一個(gè)矩陣，組成一個(gè)n行470列的數(shù)組，n為所有數(shù)據(jù)的條數(shù)。

3 仿真實(shí)驗(yàn)

實(shí)驗(yàn)所用計(jì)算機(jī)配置及環(huán)境如下：CPU： I;內(nèi)存：8GB;Win7（64位）操作系統(tǒng);使用python3語言，在PyCharm集成開發(fā)環(huán)境下完成實(shí)驗(yàn)。輸入層節(jié)點(diǎn)數(shù)為5，輸入值為每天的氣溫均值，日照時(shí)間，氣壓，風(fēng)速，降雨量。輸出層節(jié)點(diǎn)數(shù)為1，為氣象溫度。試驗(yàn)中使用LSTM模型與RNN模型作對比試驗(yàn)，兩個(gè)模型使用的訓(xùn)練參數(shù)設(shè)置一樣，網(wǎng)絡(luò)基礎(chǔ)學(xué)習(xí)率設(shè)為1‰，最大迭代次數(shù)為40萬，隱藏單元為180個(gè)，批處理的數(shù)據(jù)為128。

按照提出的模型的步驟進(jìn)行實(shí)驗(yàn)，圖1為LSTM與RNN網(wǎng)絡(luò)模型預(yù)測的溫度值與實(shí)際值局部對比圖，從圖中可以看出LSTM比RNN網(wǎng)絡(luò)模型具有更高的擬合度。圖2為300天的溫度預(yù)測值與實(shí)際值的對比圖，從圖中可以看出，預(yù)測溫度值與實(shí)際溫度值具有相同的走勢，預(yù)測值具有較高的可信度。

RNN和LSTM模型隨著迭代次數(shù)的增加損失函數(shù)逐漸減小，預(yù)測精度不斷增大，到了迭代的后期，兩個(gè)網(wǎng)絡(luò)模型的損失函數(shù)值和精度出現(xiàn)上下波動，說明訓(xùn)練已經(jīng)達(dá)到飽和，LSTM網(wǎng)絡(luò)模型預(yù)測精度最終在80%～90%范圍內(nèi)，最終值為87%，而RNN網(wǎng)絡(luò)模型的預(yù)測精度則在50%～60%范圍內(nèi)，實(shí)驗(yàn)的整體的誤差值在[-2.5，2.5]之間，具有較高的可信度和參考意義?？傮w來說，在氣象溫度預(yù)測中，LSTM網(wǎng)絡(luò)模型比RNN網(wǎng)絡(luò)模型具有更高的預(yù)測精度。

4 結(jié)束語

基于深度學(xué)習(xí)的認(rèn)知機(jī)理，使用基于LSTM網(wǎng)絡(luò)模型的溫度預(yù)測模型，通過仿真實(shí)驗(yàn)，證明模型具有較好的預(yù)測效果，300天左右的天氣預(yù)測溫度與實(shí)際溫度具有相同的走勢，預(yù)測精度約為87%。在以后的研究工作中將進(jìn)一步嘗試對激活函數(shù)進(jìn)行優(yōu)化，增加隱藏層深度等方面進(jìn)行嘗試，對模型進(jìn)一步的優(yōu)化。

參考文獻(xiàn)：

[1]譚娟，王勝春.基于深度學(xué)習(xí)的交通擁堵預(yù)測模型研究[J].計(jì)算機(jī)應(yīng)用研究，2015，32（10）：2951-2954.

[2]劉鑫達(dá).基于深度學(xué)習(xí)的氣象溫度預(yù)測研究[D].寧夏：寧夏大學(xué)，2016，03.

[3]楊函.基于深度學(xué)習(xí)的氣象預(yù)測研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2017，06.

[4]張劍，屈丹，李真.基于詞向量特征的循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型[J].模式識別與人工智能，2015，28（4）：299-305.

[5]黎長江，胡燕.基于循環(huán)神經(jīng)網(wǎng)絡(luò)的音素識別研究[J].微電子學(xué)與計(jì)算機(jī)，2017，34（8）：47-51.

[6]李昆.基于電子病歷的深度神經(jīng)網(wǎng)絡(luò)預(yù)測模型研究與應(yīng)用[D].鄭州：鄭州大學(xué)，2017，05.

[7]鄭毅，朱成璋.基于深度信念網(wǎng)絡(luò)的PM2.5預(yù)測[J].山東大學(xué)學(xué)報(bào)（工學(xué)版），2014，44（6）：19-25.