黃艷國，周陳聰，左可飛

(江西理工大學(xué) 電氣工程與自動化學(xué)院, 江西 贛州 341000)

0 引言

近年來，高速公路的擁堵問題日益嚴重，隨著社會車輛保有量的增加也逐漸暴露出道路基礎(chǔ)設(shè)施不足的問題，而公路基建的資源瓶頸也影響著交通運輸?shù)陌踩凸芾?。為了對有限的高速公路資源進行最優(yōu)的合理調(diào)度，道路的交通流預(yù)測成為了高速路資源分配十分重要的技術(shù)領(lǐng)域，對緩解高速路的擁堵起著至關(guān)重要的作用[1-2]。

隨著科技的發(fā)展，國內(nèi)外相關(guān)學(xué)者對公路交通流的預(yù)測手段也從傳統(tǒng)的基于參數(shù)預(yù)測轉(zhuǎn)變?yōu)楫?dāng)下流行的非參數(shù)預(yù)測。前者主要以數(shù)理統(tǒng)計和微積分等傳統(tǒng)數(shù)學(xué)和物理方法為基礎(chǔ)的預(yù)測模型，后者則以現(xiàn)代科學(xué)技術(shù)和方法(如神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)、大數(shù)據(jù))為主要研究手段而形成的預(yù)測模型[3]。然而，由于參數(shù)模型適用的局限性且預(yù)測精確度的有限性，在一定程度上難以滿足交通流非線性特征的需求[4-5]，因此考慮交通流非線性特征的預(yù)測模型也隨之出現(xiàn)。對非參數(shù)模型來說，主要分為淺層機器學(xué)習(xí)模型和深度學(xué)習(xí)模型。第1類主要是支持向量回歸(Support Vector Regression，SVR)等淺層模型[6-8]。第2類為長短時記憶網(wǎng)絡(luò)(Long Short-term Memory，LSTM)為代表的循環(huán)神經(jīng)網(wǎng)絡(luò)模型。其中，由于SVR模型對核的選取比較敏感及大量的參數(shù)需求，存在一定的局限性。同時淺層的機器學(xué)習(xí)模型結(jié)構(gòu)簡單，在處理大規(guī)模的交通流數(shù)據(jù)時會遇到結(jié)構(gòu)瓶頸，難以適應(yīng)大數(shù)據(jù)的車流量信息。而深度學(xué)習(xí)憑借著計算機技術(shù)發(fā)展和海量的車流量數(shù)據(jù)，逐漸被學(xué)者將其應(yīng)用到預(yù)測領(lǐng)域并在試驗研究中取得不錯的效果。如王祥雪等[9]將LSTM模型用于交通流預(yù)測，其試驗預(yù)測結(jié)果顯示LSTM模型比傳統(tǒng)的RNN模型在其數(shù)據(jù)集上的評價指標MAE和RMSE分別有所下降。Fu等[10]首次將門控循環(huán)單元(GRU)應(yīng)用于交通流預(yù)測，也取得了不錯的預(yù)測效果。Lü等[11]考慮了交通流空間上的相關(guān)性，提出了堆疊式自編碼器(Stacked Autoencoder，SAE)模型。雖然上述深度模型的試驗預(yù)測效果很好，但在實際應(yīng)用中，模型存在的一些缺陷也隨之出現(xiàn)。比如LSTM網(wǎng)絡(luò)模型本身無法捕捉數(shù)據(jù)的空間特征，SAE模型沒有考慮時序上的影響。研究學(xué)者也針對模型的缺陷進行了相應(yīng)的改進與完善，增加神經(jīng)網(wǎng)絡(luò)深度是提高整體性能的有效方法[12]。Sagheer等[13]提出了一種深度長短期記憶網(wǎng)絡(luò)(Deep LSTM)結(jié)構(gòu)進行時間序列預(yù)測，可以更高效地表示長間隔時間序列數(shù)據(jù)的復(fù)雜特征，并采用遺傳算法優(yōu)化參數(shù)。由于遺傳算法本身存在收斂速度慢及局部搜索能力不足的特點，導(dǎo)致模型訓(xùn)練存在不穩(wěn)定性。而Liu等[14]提出了一個新的優(yōu)化算法RAdam，根據(jù)方差分散度，動態(tài)地打開或關(guān)閉自適應(yīng)學(xué)習(xí)率，既能保證收斂速度快，也不容易掉入局部最優(yōu)解。針對交通流時間序列而言，其周期性、空間和時間相關(guān)性都對下一步的預(yù)測效果產(chǎn)生直接的影響，進一步影響到模型預(yù)測的準確度[15-17]。因此，如何綜合地提取交通流序列的特征信息是基于深度學(xué)習(xí)的組合模型亟需解決的關(guān)鍵問題。

為了較為全面地提取交通流特性，本研究根據(jù)現(xiàn)有交通流預(yù)測方法存在的不足和最優(yōu)化算法領(lǐng)域的研究成果，提出一種以自動編碼器和長短期記憶循環(huán)網(wǎng)絡(luò)為結(jié)構(gòu)基礎(chǔ)的交通流預(yù)測算法。該算法通過引入深層LSTM模型來獲取交通流時間序列潛在的周期性和和時空性特征，利用AE模型作為底層框架，對捕獲的特征信息在空間維度上進行解析和重建，進一步增強對交通流數(shù)據(jù)的時間和空間相關(guān)性能力，并結(jié)合RAdam算法對組合模型進行全局的優(yōu)化訓(xùn)練，達到更高預(yù)測精確度的目的。

1 DLSTM-AE組合模型的構(gòu)建

1.1 時間相關(guān)性信息提取

LSTM模型是遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的一種特殊網(wǎng)絡(luò)架構(gòu)[18]，其核心關(guān)鍵在于提出了細胞狀態(tài)和門機制概念，在一定程度上解決了RNN模型梯度消失問題。但對復(fù)雜的時間序列數(shù)據(jù)而言，深層RNN模型與淺層RNN模型相比，可以更好地表達高維度的非線性和長間隔時間特征，能充分學(xué)習(xí)到時間序列數(shù)據(jù)更深層的關(guān)聯(lián)信息。Deep LSTM(DLSTM)是標準LSTM模型的一種堆疊形式，屬于深層循環(huán)神經(jīng)網(wǎng)絡(luò)。每個LSTM塊都具有多個LSTM單元，每個單元和下一個LSTM塊的對應(yīng)單元存在前饋連接[10,19]。同時，每個塊都在進行不同時間尺度的訓(xùn)練。這種架構(gòu)在進行反向傳播時可以全局調(diào)整各個塊的參數(shù)，對復(fù)雜的交通流時序具有較高的非線性擬合能力[20]。

1.2 空間相關(guān)性信息提取

自編碼器網(wǎng)絡(luò)是一個簡單的3層神經(jīng)網(wǎng)絡(luò)，由輸入層、隱藏層和輸出層依次排列連接，其欠完備自編碼器結(jié)構(gòu)如圖1所示。AE作為生成模型，每層訓(xùn)練都采用無監(jiān)督學(xué)習(xí)算法，其訓(xùn)練過程由Encoder和Decoder 2個階段組成。交通流數(shù)據(jù)經(jīng)過Encoder映射到隱藏層。在該階段，生成模型會將輸入數(shù)據(jù)進行壓縮表示，進行降維，捕獲輸入的深層特征。再通過Decoder，對原始數(shù)據(jù)進行重建，生成與輸入數(shù)據(jù)對應(yīng)的編碼格式。

圖1 欠完備自編碼器結(jié)構(gòu)圖(n∈R,j∈R,m

給定1個未標記的交通流輸入數(shù)據(jù)集Xn∈Rm(n=1，2，3，…，N);m,N∈R。AE 2個階段用公式表示為：

H(x)=f(U1x+b1)，

(1)

(2)

1.3 基于DLSTM-AE組合模型的預(yù)測

本研究提出了一種新架構(gòu)作為自編碼器原始架構(gòu)的變體，使其能夠從時間序列問題中提取特征。特別是，本研究將原始AE架構(gòu)從前饋神經(jīng)網(wǎng)絡(luò)基礎(chǔ)更改為DLSTM循環(huán)網(wǎng)絡(luò)基礎(chǔ) (如圖2所示)，并將其表示為基于DLSTM的自動編碼器(DLSTM-AE)。DLSTM-AE依賴于循環(huán)神經(jīng)網(wǎng)絡(luò)，更適合對時間序列數(shù)據(jù)進行建模[14]。DLSTM-AE模型的結(jié)構(gòu)如圖2所示。

圖2 DLSTM-AE模型的架構(gòu)Fig.2 Architecture of DLSTM-AE model

DLSTM-AE模型的預(yù)測步驟如下：

步驟1 對原始數(shù)據(jù)進行歸一化，再根據(jù)預(yù)測目標的間隔時間重新劃分成新的訓(xùn)練集和測試集。

步驟2 隨機初始化DLSTM-AE模型中的參數(shù)W和b，將訓(xùn)練集數(shù)據(jù)Xt(x1,x2,x3,…,xn),n∈R送入Encoder模塊，通過DLSTM模型讀取輸入數(shù)據(jù)并將其編碼為學(xué)習(xí)到的表示向量(h1,h2,h3,…,hm,m

步驟6 在訓(xùn)練網(wǎng)絡(luò)，調(diào)整參數(shù)階段，考慮訓(xùn)練期間的變化和動量的影響，選擇RAdam優(yōu)化器對涉及的權(quán)重進行迭代更新。

步驟7 訓(xùn)練模型之后，經(jīng)測試集得出最終的預(yù)測序列Y={Yt-(k-1),Yt-(k-2),Yt-(k-3),…,Yt}，Yt為模型在t時刻的預(yù)測值，Y為模型在t時刻的預(yù)測序列。

2 基于RAdam的模型優(yōu)化算法

在以往的模型訓(xùn)練過程中，大多數(shù)采用Adam算法進行參數(shù)優(yōu)化。由于Adam優(yōu)化器在訓(xùn)練初期二階矩的方差會非常大，而二階矩指數(shù)Vt與優(yōu)化器的更新梯度方向有關(guān)，因此Adam參數(shù)更新量的方差也會很大，容易導(dǎo)致在尋找最優(yōu)解過程中收斂到局部最優(yōu)?；贏dam改進的Radam優(yōu)化器的算法優(yōu)勢在于使用warmup的方法進行初期預(yù)熱，即在訓(xùn)練開始階段，由隨機梯度下降SGD和動量Momentum進行預(yù)熱，縮小方差。以達到模型更高預(yù)測精度的同時提高訓(xùn)練的時效性。RAdam算法步驟描述如表1所示。

表1 RAdam算法步驟Tab.1 Steps of Radam algorithm

當(dāng)樣本批量batch-size大小為256，迭代次數(shù)epochs大小為600，滑動窗口lag為12，Encoder-LSTM層數(shù)為3，Decoder-LSTM層數(shù)為3，LSTM塊隱藏神經(jīng)元個數(shù)為32，激活函數(shù)為ReLU時，在訓(xùn)練集上的損失函數(shù)表現(xiàn)如圖3所示。

由圖3可知，在損失函數(shù)在訓(xùn)練集和驗證集的測試中，與Adam優(yōu)化器比較，RAdam對學(xué)習(xí)率變化具有良好的時效性和魯棒性。

圖3 RAdam 和Adam分別在訓(xùn)練集和驗證集上的損失函數(shù)Fig.3 RAdam and Adam in training set and verification set respectively注：圖中驗證集的損失函數(shù)為執(zhí)行驗證集劃分validation_split=0.05后的損失值。

3 仿真結(jié)果與分析

3.1 試驗環(huán)境與數(shù)據(jù)來源

本研究試驗基于TensorFlow中的Keras神經(jīng)網(wǎng)絡(luò)庫，在PyCharm開發(fā)環(huán)境(Windows10專業(yè)版，CPU為2.3 GHz，4核，Inter(R) Core(TM) i5-6300HQ，16GB內(nèi)存)中完成模型的搭建及訓(xùn)練。選取的數(shù)據(jù)集來自美國加利福尼亞州運輸部交通流數(shù)據(jù)集(Performance Measurement System, PeMS)，其數(shù)據(jù)是從跨越加利福尼亞州所有主要大都市區(qū)的高速公路的各個探測器實時收集。通過篩選掉那些節(jié)點間距小于5.6 km的檢測器，用線性插值法填充缺失值并將輸入數(shù)據(jù)歸一化至[0, 1]區(qū)間。進行預(yù)處理后的數(shù)據(jù)集包含12 096組數(shù)據(jù)，其中訓(xùn)練集包含7 777組數(shù)據(jù)，測試集包含4 321組數(shù)據(jù)。時間范圍從2016年1月4日至2016年3月31日，每組數(shù)據(jù)的時間間隔為5 min。

3.2 評價指標

在試驗過程中，為了科學(xué)評估DLSTM-AE組合模型的性能，選用均方根誤差RMSE、平均絕對誤差MAE和相關(guān)系數(shù)R2作為模型的評價指標。

(3)

(4)

(5)

3.3 模型參數(shù)設(shè)置

經(jīng)多次模型訓(xùn)練調(diào)試后，最終確定模型參數(shù) batch-size為256，epoch為600次，時間步長為12，激活函數(shù)選擇ReLU，Encoder解析后的表示向量長度m和Decoder重構(gòu)后的狀態(tài)向量長度j均為6，并且將validation-split設(shè)置為0.05。

3.4 基于交通流時空性的預(yù)測結(jié)果對比分析

為了驗證所提出模型的有效性，選取一些基準神經(jīng)網(wǎng)絡(luò)預(yù)測模型作為對照組，而本研究提出的模型設(shè)置為試驗組，通過試驗驗證進行對比分析。試驗數(shù)據(jù)仍來源于PeMS數(shù)據(jù)集中，該數(shù)據(jù)的測試集時間間隔為5 min。其中對照組的試驗?zāi)Ｐ头謩e為門控循環(huán)單元模型(GRU)、長短時記憶網(wǎng)絡(luò)模型(LSTM)、雙向長短時記憶網(wǎng)絡(luò)模型(BiLSTM)和堆疊式自編碼網(wǎng)絡(luò)模型(SAEs)。就試驗預(yù)測模型的優(yōu)化器而言，試驗組選擇RAdam優(yōu)化器，對照組選擇RMSprop優(yōu)化器。根據(jù)試驗組所測試的各項參數(shù)結(jié)果，對照組與試驗組的訓(xùn)練參數(shù)保持一致。各試驗?zāi)Ｐ驮谠摂?shù)據(jù)集上的評估指標如表2所示。

表2 基于PeMS數(shù)據(jù)集的預(yù)測結(jié)果Tab.2 Evaluation result based on PeMS dataset

從表中可知，DLSTM-AE模型在PeMS數(shù)據(jù)集上的平均預(yù)測RMSE、MAE值均小于對照組模型，R2值均大于對照組模型，訓(xùn)練時間與GRU模型接近。相比對照組，試驗組的RMSE值下降了約0.445～1.826，MAE值下降了約0.282～0.984，R2值提高了約0.005～0.023。而在訓(xùn)練時間上，SAEs模型雖用時最短，其原因在于采用自下而上逐層的非監(jiān)督預(yù)訓(xùn)練，減少了反向傳播的時間。但其RMSE和MAE值相比較與試驗組分別高出約9.70%與10.43%，R2值降低約1.16%。

試驗結(jié)果表明，本研究提出的DLSTM-AE組合模型結(jié)合了循環(huán)記憶網(wǎng)絡(luò)的預(yù)測精確度和自編碼器的時效性，在PeMS數(shù)據(jù)集上的預(yù)測表現(xiàn)最優(yōu)。

3.5 基于交通流周期性的預(yù)測結(jié)果對比分析

為了進一步分析交通流的周期性和時空特性，基于PeMS數(shù)據(jù)集，分別對2016年3月的2周內(nèi)多個特定的工作日(星期一、星期三、星期五)進行預(yù)測，以更好地評估組合模型的預(yù)測性能。DLSTM-AE模型與對照組模型的預(yù)測結(jié)果如表3和表4所示。

由表3和表4可知，從相鄰周的多個特定工作日來看，DLSTM-AE模型隨著預(yù)測步長增加在評估指標RMSE和MAE值也逐漸上升，R2緩慢下降。表明預(yù)測時間的長短對模型性能有較大的影響。但相比較于對照組模型的試驗數(shù)據(jù)，DLSTM-AE組合模型的性能評價指標更具有中心化，模型泛化能力更強。對于試驗?zāi)Ｐ图軜?gòu)來說，DLSTM-AE組合模型對預(yù)測時間步長的增加導(dǎo)致模型誤差積累的趨勢具有減緩效果，彌補了單一模型在長時間預(yù)測能力上的不足。

表3 DLSTM-AE模型與對照組模型在第k周下的預(yù)測結(jié)果Tab.3 Prediction result of DLSTM-AE model and control model in kth week

表4 DLSTM-AE模型與對照組模型在第k+1周下的預(yù)測結(jié)果Tab.4 Prediction result of DLSTM-AE model and control model in (k+1)th week

DLSTM-AE組合模型與對照組模型在特定工作日下早高峰時間段的車流量預(yù)測結(jié)果如圖4所示。

圖4 試驗?zāi)Ｐ驮诙鄠€特定工作日下的預(yù)測結(jié)果Fig.4 prediction result of experimental model in multiple specific working days

由圖4可知，通過對比2幅圖的曲線擬合結(jié)果，DLSTM-AE模型在實際交通流周期性和時空性的預(yù)測數(shù)據(jù)更加貼合真實數(shù)據(jù)。當(dāng)車流量處于高峰時，交通流量處于快速突變狀態(tài)，會增加交通流預(yù)測的難度，但DLSTM-AE模型對比對照組模型可以較好地追蹤真實交通流量，較少出現(xiàn)異常的預(yù)測值。當(dāng)車流量處于急劇變化的周期內(nèi)，會造成模型預(yù)測值的精確度下降，而DLSTM-AE模型在此周期結(jié)束的下一刻仍準確預(yù)測交通流的變化趨勢。

4 結(jié)論

本研究將對交通流時序數(shù)據(jù)的時間維上具有良好擬合效果的DLSTM模型與對空間維上具有優(yōu)勢的AE模型進行組合，充分挖掘了交通流的時空信息。利用RAdam優(yōu)化算法解決深層循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度退化問題，從而提高了交通流量預(yù)測的準確率。通過仿真試驗，對比常用的LSTM，BiLSTM，GRU和SAEs預(yù)測模型，對多個特定工作日的交通流進行了預(yù)測。本研究提出的組合模型在預(yù)測精確度和時效性上均有較好的表現(xiàn)。在相鄰周對應(yīng)工作日的預(yù)測結(jié)果來看，DLSTM-AE組合模型的預(yù)測誤差更小，時效性更強，這對城市道路的管理具有重大意義。在后續(xù)的工作中，應(yīng)考慮天氣等其他因素的影響，同時模型的實際應(yīng)用價值也值得進一步研究。