張安勤 秦添
摘 要:傳統(tǒng)的交通流量預(yù)測模型對歷史數(shù)據(jù)進行時空建模,忽略了交通數(shù)據(jù)的時間周期性內(nèi)部潛在關(guān)系和交通路網(wǎng)間節(jié)點的距離特征和相似性空間特征。據(jù)此,提出面向交通流量預(yù)測的多通道時空編碼器模型MC-STGNN,用于提高交通流量預(yù)測的準確率。首先將交通數(shù)據(jù)處理成三通道的周期性時間序列,并對整體的序列數(shù)據(jù)進行時間位置編碼和自適應(yīng)的空間位置編碼,提取路網(wǎng)節(jié)點間的動態(tài)相關(guān)性;其次引入具有卷積結(jié)構(gòu)的多頭自我注意力機制,更大程度地捕獲周期數(shù)據(jù)不同程度的時間相關(guān)性;最后提出一種圖生成器生成新的時空圖,提取路網(wǎng)節(jié)點間的相似性和距離特征,并利用門控圖卷積網(wǎng)絡(luò)整合原始圖和新時空圖的空間信息。在高速公路數(shù)據(jù)集PEMS03和PEMS08上進行一小時的交通流量綜合預(yù)測實驗,結(jié)果表明,MC-STGNN模型與其他的基線模型相比,具有更佳的性能指標,說明MC-STGNN模型具有更優(yōu)的建模能力。
關(guān)鍵詞:交通流量預(yù)測; 編碼器; 空間位置編碼; 注意力機制; 圖生成器
中圖分類號:TP391?? 文獻標志碼:A?? 文章編號:1001-3695(2024)01-013-0083-05
doi:10.19734/j.issn.1001-3695.2023.06.0209
Traffic flow prediction model based on multi-channel spatial-temporal encoder
Abstract:Traditional traffic flow prediction models model historical data in terms of time and space, ignoring the internal potential temporal periodicity of traffic data and the distance characteristics and similarity spatial characteristics of nodes between traffic networks. Based on this, this paper proposed a multi-channel spatio-temporal encoder model MC-STGNN for traffic flow prediction to improve the accuracy of traffic flow prediction. Firstly, it processed the traffic data into a three channel periodic time series, and encoded the overall sequence data with temporal and adaptive spatial positions to extract dynamic correlations between road network nodes. Secondly, it introduced a multi-heads self-attention mechanism with convolutional structure to capture varying degrees of temporal correlation of periodic data to a greater extent. Finally, it proposed a graph generator to generate a new spatiotemporal map, extracting similarity and distance features between road network nodes, and integrating the spatial information of the original map and the new spatiotemporal map using a gated graph convolutional network. It conducted comprehensive traffic flow prediction experiments for an hour on the highway datasets PEMS03 and PEMS08. The experimental results show that the MC-STGNN model has better performance indicators compared to other baseline models, indicating that the MC-STGNN model has better modeling ability.
Key words:traffic flow prediction; encoder; spatial position coding; attention mechanism; graph generator
0 引言
近年來,全國汽車保有量持續(xù)增長。2017—2022年,全國汽車保有量由2.17億輛增長至3.15億輛,增長率為45.16%。汽車給人們的出行帶來了極大的便利,同時也帶來了日趨嚴重的擁堵問題。對于高速公路這一場景而言,其特點為行車速度快、交通流量大、場景封閉性強,一旦產(chǎn)生擁堵問題,會嚴重影響人們的出行效率。因此,實現(xiàn)實時、高效的交通流量預(yù)測尤為重要?,F(xiàn)有的交通流預(yù)測方案主要有模型驅(qū)動型、數(shù)據(jù)驅(qū)動型和深度學習三種。模型驅(qū)動型方法有差分自回歸移動平均模型(autoregressive integrated moving average,ARIMA)[1]、卡爾曼濾波模型[2]等。這些傳統(tǒng)模型局限于預(yù)設(shè)的假定條件和固有的算法結(jié)構(gòu),適用于數(shù)據(jù)量小的預(yù)測方案,對于路況復(fù)雜的交通路網(wǎng),無法挖掘出交通流的潛在非線性特征,因此模型預(yù)測性能不佳。數(shù)據(jù)驅(qū)動型方法,如支持向量機(support vector machine,SVM)[3]、貝葉斯網(wǎng)絡(luò)[4]、K近鄰[5]、梯度提升決策樹(gradient boosting decision tree,GBDT)[6]、VAR[7]等,這類機器學習模型以數(shù)學基礎(chǔ)作支撐,能夠很好地學習交通流數(shù)據(jù)與輸入?yún)?shù)間的非線性映射關(guān)系。然而Kamarianakis等人[7]通過實驗表明,基于ARIMA和VAR的模型無法應(yīng)對復(fù)雜數(shù)據(jù)的可變性。Drucker等人[8]提出基于支持向量機的SVR模型,也同樣存在對高維數(shù)據(jù)處理能力欠佳的問題。此后,深度學習模型因其更好的非線性映射能力和高維映射數(shù)據(jù)的處理能力得到更多運用。
起初,常見的深度學習模型將交通數(shù)據(jù)看作時序數(shù)據(jù),大多數(shù)研究工作都是基于LSTM(long short-term memory)[9]和GRU(gated recurrent unit)[10]展開的。王慶榮等人[11]采用LSTM捕捉時間序列的長期依賴關(guān)系,利用注意力機制自適應(yīng)地選擇相應(yīng)的驅(qū)動序列進行建模。這類循環(huán)神經(jīng)網(wǎng)絡(luò)模型在捕獲時間序列的時間相關(guān)性方面擁有較好的能力,但它們無法處理交通數(shù)據(jù)空間維度的相關(guān)性。故此,部分學者嘗試引入圖卷積網(wǎng)絡(luò)(graph convolution network,GCN)[12]處理交通路網(wǎng)的空間特征。DCRNN[13]采用信息擴散的GCN模型捕獲交通路網(wǎng)的空間依賴關(guān)系,STGCN[14]模型串聯(lián)一維卷積和 GCN 層分別獲取交通路網(wǎng)的時間和空間相關(guān)性。Song等人[15] 提出STSGCN模型構(gòu)造時空同步圖卷積模塊,堆疊多個GCN用于捕獲復(fù)雜的時空相關(guān)性和交通流量數(shù)據(jù)存在的時空異質(zhì)性。然而,數(shù)據(jù)集的預(yù)定義鄰接矩陣的時序圖結(jié)構(gòu)往往是復(fù)雜且不精確的。Guo等人[16]采用注意力機制來優(yōu)化模型,圖的動態(tài)結(jié)構(gòu)在一定程度上得到完善。同時,為了充分提取時間周期依賴性,它采用組件的思想來建模交通數(shù)據(jù)的鄰近時間、天周期和周周期特征。Li等人[17]提出STFGNN模型,通過構(gòu)造各種時空圖學習隱藏的時空依賴關(guān)系。此后,周楚昊等人[18]提出在Transformer的編碼-解碼器網(wǎng)絡(luò)架構(gòu)中,利用通道注意力對歷史流入數(shù)據(jù)、歷史流出數(shù)據(jù)、混合數(shù)據(jù)進行整合。Shin等人[19]提出PGCN模型,通過構(gòu)造適應(yīng)數(shù)據(jù)的漸進圖,并結(jié)合擴張因果卷積來模擬交通數(shù)據(jù)的時空相關(guān)性。Jiang等人[20]提出的PDFormer模型,通過不同的掩碼方式,將局部鄰接圖和全局鄰接圖嵌入到自我注意力機制中,以捕獲長短距離的空間依賴。
雖然現(xiàn)有的研究已考慮到時空相關(guān)性,但仍然面臨以下挑戰(zhàn):在空間相關(guān)性的建模中,交通路網(wǎng)的每個傳感器節(jié)點周圍都有不同數(shù)量的鄰居節(jié)點,GCN[12]被廣泛用于提取空間特性。然而GCN過于依賴交通路網(wǎng)的原始結(jié)構(gòu),僅能提取靜態(tài)空間特征,并且GCN的運用使深度學習模型將附近鄰域的節(jié)點強制賦予相似的節(jié)點特征,忽略了交通路網(wǎng)節(jié)點間的距離特征和節(jié)點之間的相似性在不同時間周期下的動態(tài)關(guān)系。例如,在上下班高峰期,相鄰的住宅區(qū)和辦公樓之間的關(guān)聯(lián)性加強,同一道路的節(jié)點間呈現(xiàn)出更強的相似性,節(jié)點之間的距離特征在空間特征中的權(quán)重提高,而節(jié)假日住宅區(qū)與娛樂場所間的關(guān)聯(lián)性更強。針對該問題,本文采用構(gòu)造圖生成器的方式學習路網(wǎng)節(jié)點間的動態(tài)距離特征和相似性特征,同時,提出可訓練位置編碼,動態(tài)地調(diào)整節(jié)點之間的編碼順序。
在時間相關(guān)性建模中,采用GRU和LSTM模型進行預(yù)測,每一步都依賴于前序的預(yù)測結(jié)果,序列增長時容易產(chǎn)生誤差累積問題,同時無法提取周期規(guī)律。因此,本文采用注意力機制建模時間相關(guān)性。同時,以往的周期模型,如ASTGCN[16],分別對歷史各周期數(shù)據(jù)進行建模,導(dǎo)致無法獲取時間周期性的內(nèi)在關(guān)聯(lián)。此外,在歷史周期序列的建模中,歷史數(shù)據(jù)會產(chǎn)生不同程度的冗余特征。考慮到上述亟待解決的問題,本文提出了多通道的時空編碼器模型(MC-STGNN),以期望在時空維度上構(gòu)建交通數(shù)據(jù)的時空相關(guān)性,提高高速路網(wǎng)的交通流預(yù)測精度。
本文主要工作如下:
a)提出了基于編碼器架構(gòu)的三通道時空預(yù)測模型(MC-STGNN),實現(xiàn)在同一架構(gòu)下建模交通路網(wǎng)的周、日、鄰近等關(guān)系的周期性內(nèi)部關(guān)系。同時,針對不同周期,對多頭注意力機制應(yīng)用不同的卷積策略,以過濾并提取不同周期的時間依賴關(guān)系。
b)對三通道數(shù)據(jù)應(yīng)用時空位置編碼,提出了可訓練的空間位置編碼,對空間維度的異質(zhì)性進行建模,自適應(yīng)地調(diào)節(jié)節(jié)點間的動態(tài)空間相關(guān)性。
c)提出了一種基于節(jié)點相似性和距離度量的圖生成器,捕獲不同周期條件下交通路網(wǎng)節(jié)點之間的交通模式特征,然后構(gòu)造門控圖卷積(G-GCN)來整合原始鄰接圖和構(gòu)造圖的空間信息。
1 MC-STGNN模型設(shè)計
1.1 問題定義
在智能交通系統(tǒng)中,交通數(shù)據(jù)中蘊涵了非常多的信息可用于交通流量預(yù)測。在本文中,交通路網(wǎng)被描述為無向圖,其拓撲結(jié)構(gòu)為G=(V,E),其中V表示為圖G的節(jié)點集合,包含N個節(jié)點,E為反映節(jié)點連通性的邊集。由節(jié)點集V與邊集E所構(gòu)成的鄰接矩陣為A∈RApN×N。
圖G中N個節(jié)點在t時刻收集的數(shù)據(jù)表示為特征矩陣Xt∈RApN×C,其中C為節(jié)點的特征數(shù)量。給定歷史T時段的交通流量,預(yù)測未來P時段的交通流量,預(yù)測過程如式(1)所示。
{Yt+1,…,Yt+P}=f(Xt-T,…,Xt)(1)
其中:Yt+1表示t+1時刻的預(yù)測數(shù)據(jù);f(·)表示預(yù)測方法的映射函數(shù)。
1.2 MC-STGNN模型框架
MC-STGNN模型如圖1所示,采用基于卷積的多頭自我注意力機制(Conv-Attention)[21]和基于構(gòu)造圖的門控圖卷積G-GCN的編碼器模型架構(gòu)。首先將歷史交通流量數(shù)據(jù)處理成周周期(Xw)、天周期(Xd)、近期段(Xr)的三通道時空數(shù)據(jù),經(jīng)過時空位置編碼的加權(quán)編碼策略,為交通路網(wǎng)的各節(jié)點賦予隨時間步變化的動態(tài)位置特征;其次,經(jīng)過多層編碼器模型迭代計算;最后,編碼器的輸出序列切片為周期性輸出序列,即周周期(Yw)、天周期(Yd)、近期段(Yr),將這三個切片序列加權(quán)并映射到一維進行預(yù)測。為充分獲取周期數(shù)據(jù)的隱藏時空相關(guān)性并捕獲周期性數(shù)據(jù)的內(nèi)在關(guān)聯(lián),將周期數(shù)據(jù)作為整體輸入到編碼器模型,其中每個模塊之間采用殘差連接和層規(guī)范化,增強模型的泛化能力。注意力模塊在捕獲周期數(shù)據(jù)時間依賴性的前提下,對不同的周期通道應(yīng)用不同的一維卷積,有助于過濾歷史數(shù)據(jù)的冗余信息。門控圖卷積模塊G-GCN利用構(gòu)造的基于節(jié)點相似性和距離度量的圖生成器,實現(xiàn)對交通路網(wǎng)節(jié)點的空間特征關(guān)系提取,門控機制有助于整合原始圖的空間信息。
1.3 時間位置編碼
MC-STGNN模型是基于編碼器的架構(gòu)設(shè)計的,為確保輸入序列的順序性,對模型應(yīng)用位置編碼的策略,利用時間位置編碼建模時間特征,同時利用空間位置編碼策略來捕獲交通路網(wǎng)的空間異質(zhì)性。最終,應(yīng)用加權(quán)融合的方式聯(lián)合編碼位置信息。
利用式(2)將三通道的周期數(shù)據(jù)映射為編碼器結(jié)構(gòu)所在維度dmodel,t表示所在時間片,d為校驗參數(shù),區(qū)分奇偶。
1.4 空間位置編碼
以往的位置編碼大多忽略了交通路網(wǎng)的空間特征,例如周楚昊等人[18]將交通流數(shù)據(jù)進行獨熱(one-hot)編碼后拼接來進行位置編碼,使得向量離散化,但容易產(chǎn)生編碼零頻問題,需要進行平滑處理。因此本文提出可訓練的空間位置編碼,在描述空間異質(zhì)性的基礎(chǔ)上,動態(tài)調(diào)整各節(jié)點的編碼信息。做法如下:
MLP(X)=W3(W2(W1(X)+b1)+b2)+b3(3)
針對N個路網(wǎng)節(jié)點進行0~N-1的順序編碼,采用多層感知機(MLP)網(wǎng)絡(luò)學習節(jié)點間的空間相關(guān)性,如式(3)所示,其預(yù)訓練結(jié)果記為H(0)。其中,W1∈RApdmodel×2dmodel、W2∈RApdmodel×2dmodel、W3∈RApdmodel×2dmodel;b1、b2、b3均為偏置參數(shù)。為解決節(jié)點位置編碼的平滑問題,本文對預(yù)訓練結(jié)果做如下操作:
H(i)=(1-α)H(0)+α(IN+D-12AD-12)H(i-1)(4)
本文設(shè)計了一種迭代器來實現(xiàn)平滑,同時使得節(jié)點的位置編碼強制靠近其鄰居節(jié)點。其中IN∈RApN×N為單位矩陣;D∈RApN×N為鄰接矩陣A的度矩陣;α為調(diào)控因子,取值為0~1。將歸一化鄰接矩陣與迭代器的上一次隱藏輸出狀態(tài)結(jié)合,使其聚合交通路網(wǎng)的鄰域信息,同時為每一個隱藏狀態(tài)添加原預(yù)訓練結(jié)果??臻g位置編碼的輸出結(jié)果H(i)記為SPE。最終,MC-STGNN的位置編碼如式(5)所示,H(i)為規(guī)范化矩陣激活函數(shù)。
PE=softmax(TPE+SPE)(5)
1.5 時間相關(guān)性模塊
注意力機制能夠有效提取時間依賴,王慶榮等人[11]將LSTM和注意力機制相融合進行預(yù)測,但并不能處理長序列的時空數(shù)據(jù)。多頭自我注意力機制[21]對長序列數(shù)據(jù)預(yù)測具有更佳的表現(xiàn)。本文采用多頭自我注意力機制建模目標序列上下文的時間相關(guān)性,如圖2所示。
Conv-Attention的計算過程如下:
a)Conv-Attention的輸入Q(query)、K(key)、V(value)全部為三通道的輸入序列[Xw;Xd;Xr]。
{Q、K、V}=[Xw;Xd;Xr](6)
b)為了更好地挖掘交通路網(wǎng)的潛在時空相關(guān)性,同時過濾歷史周期數(shù)據(jù)的冗余特征,本文對Q、K、V進行一維卷積操作。具體計算過程如下:
其中:表示卷積操作;Θd、Θc表示卷積核參數(shù);Θd表示一維因果卷積;Θc表示一維標準卷積;Concat表示拼接操作;ReLU為非線性激活函數(shù);dmodel為各通道的模型維度;softmax激活函數(shù)可規(guī)范化注意力系數(shù)。
如圖3所示,對PEMS數(shù)據(jù)集進行隨機抽取可發(fā)現(xiàn),在天周期數(shù)據(jù)Xd中,周五和周三、周四的交通流量數(shù)據(jù)具有較大程度的差異性。為減少因時間間隔較遠而產(chǎn)生的差異性,對來自周周期、天周期的數(shù)據(jù)Xw和Xd的Q值作一維因果卷積。由于近期段數(shù)據(jù)與待預(yù)測數(shù)據(jù)間具有更強的時空相似性,采用標準一維卷積可減少對強時空相似性的過濾。
1.6 圖生成器
為了更好地表示交通路網(wǎng)節(jié)點間的拓撲關(guān)系,設(shè)計了一種圖生成器來構(gòu)建新的鄰接矩陣Aw∈RApN×N,從時間序列中捕獲動態(tài)的節(jié)點相似性和距離特征。首先計算在時間序列中節(jié)點間的成對余弦相似性Sij,用于描述節(jié)點隨時間動態(tài)變化的相似性特征,如式(12)所示。
為了準確反映節(jié)點間的相似性度量,構(gòu)造P∈RApN×N矩陣來學習節(jié)點的相似性。其中Wij∈RApN×N是訓練的權(quán)重參數(shù),τ~為調(diào)控因子,初始值為0.5,AI∈RApN×N為單位矩陣。為過濾低階的節(jié)點相似性,對矩陣P中相似度值小于1的成對節(jié)點賦值為0。其計算結(jié)果如式(13)所示。
構(gòu)造矩陣Dij∈RApN×N,用于反映交通路網(wǎng)的距離特征,計算過程如式(14)所示。
Dij=ln(dist(vi,vj)2+Aone)(14)
其中:dist為節(jié)點vi和vj間的距離值;Aone∈RApN×N為全1矩陣。最終,圖生成器Aw如式(15)所示,k為相似性矩陣P的階數(shù),Wadj∈RApN×N為可訓練參數(shù),學習節(jié)點間基于距離的拓撲特征,使用ReLU激活函數(shù)消除矩陣間的弱連接。
1.7 門控圖卷積
空間圖卷積(GCN)的計算方式如式(16)所示。
其中:X為輸入的時間序列;IN為單位矩陣;D為度矩陣;W為投影矩陣。本文設(shè)計了門控圖卷積(G-GCN),G-GCN將構(gòu)造的圖生成器參與到空間圖卷積的運算中。G-GCN的具體計算過程如式(17)所示。
其中:Aw為1.6節(jié)圖生成器的輸出矩陣;σ為非線性的激活函數(shù)sigmoid;W1、W2為投影矩陣,將模型投影到輸出維度dmodel。G-GCN在捕獲低階有效空間信息的基礎(chǔ)上,挖掘了交通流中潛在的節(jié)點關(guān)系,從相似性度量和距離度量角度提高卷積對路網(wǎng)鄰接關(guān)系的深度挖掘能力。
2 實驗
為了驗證MC-STGNN模型在周期性交通流量預(yù)測的有效性,同時驗證圖生成器在不同路網(wǎng)規(guī)模的性能,本文選取了來自PEMS系統(tǒng)(http://pems.dot.ca.gov)的高速公路數(shù)據(jù)集PEMS03與PEMS08來開展實驗。PEMS03數(shù)據(jù)集的時間為2018年9月1日~2018年11月30日,傳感器節(jié)點的個數(shù)為358個;PEMS08數(shù)據(jù)集的時間為2016年7月1日~2016年8月31日,傳感器節(jié)點的個數(shù)為170個。
2.1 數(shù)據(jù)集預(yù)處理
PEMS03與PEMS08數(shù)據(jù)集以5 min為一個時間窗,交通路網(wǎng)中各傳感器24 h可收集288條交通流數(shù)據(jù),本文挑選交通流量特征進行預(yù)測。如圖4所示,每個數(shù)據(jù)集均劃分為周周期Xw、天周期Xd、近期段Xr的三通道數(shù)據(jù)X(h)。將樣本的當前時刻設(shè)為t,歷史時間步長設(shè)為T,一天的時間步數(shù)為q。數(shù)據(jù)集的表現(xiàn)形式如下:
Xr=(Xt-T+1,Xt-T+2,…,Xt)(18)
Xd=(Xt-q+1,Xt-q+2,…,Xt-q+T)(19)
Xw=(Xt-7×q+1,Xt-7×q+2,…,Xt-7×q+T)(20)
X(h)=[Xw;Xd;Xr](21)
本文將劃分好的數(shù)據(jù)集分割為訓練集、驗證集、測試集,比例為6∶2∶2。為了規(guī)范化數(shù)據(jù),將數(shù)據(jù)集作min-max歸一化處理,其中,樣本最小值為min,最大值為max,具體操作如下:
2.2 評價指標
為了評價MC-STTGNN模型的性能,分別采用平均絕對誤差(mean absolute error,MAE)、平均絕對百分比誤差(mean absolute percent error, MAPE)和均方根誤差(root mean square error,RMSE)對模型進行評估。
2.3 實驗設(shè)置
本文將MC-STGNN模型與傳統(tǒng)的統(tǒng)計學模型和機器學習模型(VAR[7]、SVR[8]),深度學習基線模型(LSTM[9]、DCRNN[13]、STGCN[14]、ASTGCN[16]、STSGCN[15]、STFGNN[17]、PGCN[19]、PDFormer[20])進行對比實驗。為了通過驗證集測試出最優(yōu)的模型參數(shù),并用于測試集上得出模型的預(yù)測性能,將PEMS03和PEMS08數(shù)據(jù)集劃分為三部分,其用途和占比分別為訓練集60%、驗證集20%、測試集20%。所有實驗均在Linux服務(wù)器(CPU為IntelCoreTM i7-10700 CPU@2.90 GHz,GPU為NVIDIA GeForce RTX 3070),PyTorch框架進行編譯和測試。實驗采用Adam優(yōu)化器對模型進行訓練,使用平均絕對誤差(MAE)作為損失函數(shù),其計算方式如式(23)所示。
為了公平比較,各方法的超參數(shù)設(shè)置和訓練策略在PEMS03和PEMS08數(shù)據(jù)集上均保持一致。表1為MC-STGNN模型的超參數(shù)設(shè)置,其中,Layers表示編碼器的層數(shù),T表示各通道的歷史時間步長,Dmodel表示各通道的模型維度,Heads表示多頭自我注意力機制中的注意力的頭數(shù)。
2.4 實驗結(jié)果
PEMS03數(shù)據(jù)集的實驗結(jié)果如表2所示。本文對比了未來一小時交通流量的預(yù)測性能,其中,最優(yōu)結(jié)果加粗表示,次優(yōu)結(jié)果用“*”號表示。可以看到,MC-STGNN的未來一小時綜合預(yù)測具有很好的表現(xiàn)。VAR、SVR模型不能很好地處理非線性高維數(shù)據(jù),預(yù)測誤差較大,而LSTM模型忽略了交通路網(wǎng)的空間相關(guān)性,因此性能表現(xiàn)不佳。在考慮時空相關(guān)性的深度學習模型DCRNN、STGCN、ASTGCN、STSGCN、STFGNN、PGCN、PDFormer上,模型預(yù)測效果有很大提升。MC-STGNN模型對比基線模型PDFormer在MAE、RMSE上的預(yù)測效果分別下降了0.01和0.03,在MAPE上對比STFGNN僅相差0.21%,同時優(yōu)于其他所有模型。
在PEMS08數(shù)據(jù)集上,對MC-STGNN疊加4層編碼器層,同時將模型映射到更高維度,如表3所示,MC-STGNN獲得了最佳的綜合性能表現(xiàn)。對比基線模型PDFormer,MC-STGNN在MAE和RMSE上分別下降了0.07%和0.02%,在MAPE上相差0.53%。
綜上,在PEMS03和PEMS08數(shù)據(jù)集上,對比一小時的綜合預(yù)測結(jié)果,MC-STGNN模型較其他模型有顯著提升。在長時預(yù)測中具有低誤差優(yōu)勢,對非線形和復(fù)雜的交通流量數(shù)據(jù)具有更好的建模能力。為了反映MC-STGNN模型在具體應(yīng)用中的直觀結(jié)果,在PEMS03和PEMS08數(shù)據(jù)集上與PDFormer模型進行預(yù)測效果對比,如圖5所示。
圖5為同一節(jié)點上進行未來一小時預(yù)測的可視化結(jié)果。對比于最新的基線模型PDFormer,可見MC-STGNN模型具有更好的擬合效果,預(yù)測結(jié)果更加接近真實值,因此在實際應(yīng)用中的預(yù)測效果更好。
2.5 消融研究
為了驗證MC-STGNN模型各模塊的有效性,本文在PEMS08數(shù)據(jù)集上開展消融實驗,探究本文模型的位置編碼、Conv-Attention、G-GCN對預(yù)測性能的影響,結(jié)果如圖6~8所示。
如圖6~8所示,本文探求了不同模塊對未來一小時內(nèi)交通流量預(yù)測的作用。其中:圖6中MC-STGNN-noSE表示去除空間位置編碼,只對序列進行時間位置編碼;圖7中MC-STGNN-noConv表示去除對多頭注意力機制的卷積操作,采用原始多頭注意力機制;圖8中MC-STGNN-noGGCN表示在門控圖卷積G-GCN中去除GGCN,只采用GCN捕獲空間相關(guān)性。實驗結(jié)果表明,不同程度的消融均對預(yù)測結(jié)果產(chǎn)生了較大的影響。多頭注意力機制的卷積操作和基于圖生成器的圖卷積GGCN對模型預(yù)測效果有積極影響。
2.6 參數(shù)研究
為探究MC-STGNN模型中超參數(shù)對模型性能的影響,本文對自編碼器的層數(shù)Layers、多通道的模型維度Dmodel和注意力頭數(shù)Heads在PEMS03數(shù)據(jù)集上進行對照實驗。
如圖9~11所示,MC-STGNN在編碼器層數(shù)為4、模型維度為32、注意力頭數(shù)為8時具有最佳的綜合性能。
3 結(jié)束語
本文提出了多通道時空編碼器模型MC-STGNN,用于交通流量預(yù)測。MC-STGNN模型將輸入數(shù)據(jù)建模為多通道的周期性數(shù)據(jù),從整體相關(guān)性角度挖掘周周期、天周期、近期段數(shù)據(jù)間的內(nèi)在關(guān)聯(lián)性。通過時空位置編碼,學習節(jié)點的時空相關(guān)性和空間異質(zhì)性。然后,通過基于卷積結(jié)構(gòu)的多頭自我注意力機制進一步捕獲時間依賴,并消除了對歷史周期數(shù)據(jù)的冗余關(guān)注。同時,設(shè)計了基于相似性度量和距離度量的圖生成器構(gòu)造全新的鄰接矩陣,利用門控圖卷積聚合構(gòu)造圖和原始圖的空間特征。在公共真實數(shù)據(jù)集PEMS03和PEMS08上進行實驗,結(jié)果表明,MC-STGNN模型的預(yù)測性能優(yōu)于其他的基線模型。下一步將繼續(xù)探究MC-STGNN模型對復(fù)雜城市交通路網(wǎng)的預(yù)測效果。
參考文獻:
[1]唐毅,劉衛(wèi)寧,孫棣華,等.改進時間序列模型在高速公路短時交通流量預(yù)測中的應(yīng)用[J].計算機應(yīng)用研究,2015,32(1):146-149.(Tang Yi, Liu Weining, Sun Dihua, et al. Application of improved time series model in forecasting of short-term traffic flow for freeway[J].Application Research of Computers,2015,32(1):146-149.)
[2]Kumar S V. Traffic flow prediction using Kalman filtering technique[J].Procedia Engineering,2017,187:582-587.
[3]Feng Xinxin, Ling Xianyao, Zheng Haifeng, et al. Adaptive multi-kernel SVM with spatial-temporal correlation for short-term traffic flow prediction[J].IEEE Trans on Intelligent Transportation Systems,2019,20(6):2001-2013.
[4]王永恒,高慧,陳炫伶.采用變結(jié)構(gòu)動態(tài)貝葉斯網(wǎng)絡(luò)的交通流量預(yù)測[J].計算機科學與探索,2017,11(4):528-538.(Wang Yong-heng, Gao Hui, Chen Xuanling. Traffic prediction method using structure varying dynamic Bayesian networks[J].Journal of Frontiers of Computer Science and Technology,2017,11(4):528-538.)
[5]祁朵,毛政元.基于自適應(yīng)時序剖分與KNN的短時交通流量預(yù)測[J].地球信息科學學報,2022,24(2):339-351.(Qi Duo, Mao Zhengyuan. Short-term traffic flow prediction based on adaptive time slice and KNN[J].Journal of Geo-Information Science,2022,24(2):339-351.)
[6]鄧晶,張倩.交通流數(shù)據(jù)自適應(yīng)特征選擇算法[J].計算機技術(shù)與發(fā)展,2019,29(12):76-80.(Deng Jing, Zhang Qian. Adaptive feature selection algorithm for traffic flow data[J].Computer Techno-logy and Development,2019,29(12):76-80.)
[7]Kamarianakis Y, Vouton V. Forecasting traffic flow conditions in an urban network:comparison of multivariate and univariate approaches[J].Transportation Research Record Journal of the Transportation Research Board,2003,1857(1):74-84.
[8]Drucker H, Burges C J C, Kaufman L, et al. Support vector regression machines[C]//Proc of the 9th International Conference on Neural Information Processing Systems.La Jolla,CA:NIPS Press,1997:779-784.
[9]Ma Xiaolei, Tao Zhimin, Wang Yinhai, et al. Long short-term me-mory neural network for traffic speed prediction using remote microwave sensor data[J].Transportation Research Part C: Emerging Technologies,2015,54:187-197.
[10]Fu Rui, Zhang Zuo, Li Li. Using LSTM and GRU neural network methods for traffic flow prediction[C]//Proc of the 31st Youth Academic Annual Conference of Chinese Association of Automation.Piscataway,NJ:IEEE Press,2016:324-328.
[11]王慶榮,田可可,朱昌鋒,等.融合多因素的短時交通流預(yù)測研究[J].計算機工程與應(yīng)用,2022,58(21):309-316.(Wang Qing-rong, Tian Keke, Zhu Changfeng, et al. Short term traffic prediction based on multi-factors[J].Computer Engineering and Applications,2022,58(21):309-316.)
[12]Deferard M, Breson X, Vandergheynst P. Convolutional neural networks on graphs with fast localized spectral filtering[C]//Proc of the 30th International Conference on Neural Information Processing Systems.La Jolla,CA:NIPS Press,2016:3844-3852.
[13]Li Yaguang, Yu R, Shahabi C. Diffusion convolutional recurrent neural network:data-driven traffic forecasting[EB/OL].(2018)[2021-03-10].https://doi.org/10.48550/arXiv.1707.01926.
[14]Yu Bing, Yin Haoteng, Zhu Zhanxing. Spatio-temporal graph convolutional networks:a deep learning framework for traffic forecasting[EB/OL].(2018-07-12).https://doi.org/10.48550/arXiv.1709.04875.
[15]Song Chao, Lin Youfang, Guo Shengnan, et al. Spatial-temporal synchronous graph convolutional networks:a new framework for spatial-temporal network data forecasting[C]//Proc of the 34th AAAI Confe-rence on Artificial Intelligence.Palo Alto,CA:AAAI Press,2020:914-921.
[16]Guo Shengnan, Lin Youfang, Feng Ning, et al. Attention based spatial-temporal graph convolutional networks for traffic flow forecasting[C]//Proc of the 33rd AAAI Conference on Artificial Intelligence.Palo Alto,CA:AAAI Press,2019:922-929.
[17]Li Mengzhang, Zhu Zhanxing. Spatial-temporal fusion graph neural networks for traffic flow forecasting[C]//Proc of the 35th AAAI Conference on Artificial Intelligence.Palo Alto,CA:AAAI Press,2021:4189-4196.
[18]周楚昊,林培群.基于多通道Transformer的交通量預(yù)測方法[J].計算機應(yīng)用研究,2023,40(2):435-439.(Zhou Chuhao, Lin Peiqun. Traffic flow prediction method based on multi-channel Transformer[J].Application Research of Computers,2023,40(2):435-439.)
[19]Shin Y, Yoon Y. PGCN: progressive graph convolutional networks for spatial-temporal traffic forecasting[EB/OL].(2022)[2022-02-18].https://doi.org/10.48550/arXiv.2202.08982.
[20]Jiang Jiawei, Han Chengkai, Zhao W X, et al. PDFormer: propagation delay-aware dynamic long-range transformer for traffic flow prediction[EB/OL].(2023)[2023-05-04].https://doi.org/10.48550/arXiv.2301.0794.
[21]Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook,NY:Curran Associates Inc.,2017:6000-6010.