張乾隆,胡智群,肖海林

(湖北大學 計算機與信息工程學院，武漢 430062)

0 引言

隨著城市規(guī)模的不斷擴大，城市交通擁堵問題愈加嚴重。為了解決擁堵問題，如何提高車輛通行效率近幾年來被廣泛地進行研究。然而，除了駕駛車輛，行人也是使用道路的主要元素。追求車輛通行效率所帶來的潛在行人安全問題也不容忽視。據交通事故統(tǒng)計[1]22%的行人死亡事故發(fā)生在有標志的人行橫道上，超過30%的行人死亡可以歸因于非法穿越行為。因此，綜合考慮車輛效率和行人安全的交通信號控制機制變得至關重要。

傳統(tǒng)的基于效率的交通信號控制通常是基于歷史車流量預設的固定配時方案，或者基于當前車流狀態(tài)調整交通信號時長，或者基于人工智能算法智能調整信號配時方案。例如SCOOT[2]和SCATS[3]系統(tǒng)已在全世界廣泛使用。但是這些信號控制方案缺乏自適應性和預見性，甚至導致大量的人力負擔。近年來，人工智能技術在交通控制領域的應用有效地解決SCOOT，SCATS系統(tǒng)所面臨的問題。文獻[4-5]提出利用Q學習算法將交通信號控制問題轉換為馬爾可夫決策問題，通過與交通環(huán)境的不斷交互反饋，無需復雜的數(shù)學模型，不斷積累經驗學習最佳的控制策略。由于Q學習需要通過表來存儲所學習到的Q值，當網絡狀態(tài)復雜且高維時，需要占用較大的內存資源，無法適應于復雜的場景。文獻[6-7]對Q學習進行改進，將DQN算法應用在交通信號控制，通過深度神經網絡對Q值進行近似，選取最佳交通信號燈動作。由于DQN算法依賴于找到最大近似Q值，當處理連續(xù)動作的交通場合時，需要對每個步驟迭代優(yōu)化，隨著迭代的增加，量化誤差越來越大，無法在連續(xù)復雜的交通網絡中找到最優(yōu)策略。文獻[7]提出利用DDPG算法解決Q學習應用在交通場合時動作空間不連續(xù)問題，利用策略網絡和目標網絡組成的雙網絡結構，在與交通環(huán)境交互探索時對所選Q值動作不斷進行梯度計算調整，使得智能體傾向于生成車輛效率更好的動作選擇，不斷引導智能體找到最優(yōu)策略。這些策略方法根據路口車流量自適應的調整配時方案，能夠有效地提高路口的通行效率，緩解交通擁堵問題。但是這些方案只注重駕駛車輛，沒有考慮行人因素。由于車輛和行人速度相差較大，只考慮車輛擁堵現(xiàn)象，會導致綠燈期間行人不能完全通過馬路，與車輛產生沖突，安全受到威脅。據文獻[8]研究發(fā)現(xiàn)79%的行人在交通燈變紅之前沒有通過交叉路口。

在有關行人安全過馬路的研究中，文獻[9]提出一種行人手動激活控制方案，在有過馬路需求時，行人通過手動按下激活按鈕改變交通信號燈狀態(tài)，以保障安全通過路口。但是經過研究發(fā)現(xiàn)[10]，這種將行人與車輛分離的控制方案，實際上大大影響了交通信號燈控制系統(tǒng)的整體效率。Guo等人[11]和Midenet等人[12]的研究發(fā)現(xiàn)車輛和行人信號協(xié)調控制對交叉口安全具有積極影響。

為了進一步探討車輛與行人行為對交通信號控制的影響，通過仿真、數(shù)學模型等手段研究協(xié)調控制被廣泛研究。文獻[13]考慮行人因素的條件下，提出一種基于遺傳算法的交通信號燈控制方案。通過適應度函數(shù)表示車輛與行人的等待數(shù)量，評價候選染色體的有效性來調控信號燈。然而所考慮的僅僅是減少行人或者車輛的等待隊列長度，沒有考慮車輛和行人整體協(xié)調，在遇到兩者不公平的情形下，設定車輛優(yōu)先級大于行人。文獻[14]綜合考慮了車輛和行人的隊列長度，提出一種基于分布式多智能體強化學習的交通信號控制方案，實現(xiàn)車輛與行人等待時間最小化。但是忽略了行人在綠燈期間可能無法完全通過路口，造成與車輛沖突的問題。文獻[15]提出了一種考慮車輛總延遲和行人安全的全網絡交通信號策略。通過建立行人-車輛混合流網絡宏觀模型智能調控交通信號燈，過程中考慮到綠燈閃爍期間行人違規(guī)率較高，在每個綠燈閃爍期間結束時引入一個動態(tài)全紅階段，并根據違規(guī)行人的數(shù)量自適應調整其持續(xù)時間。但是動作空間里固定了綠燈閃爍時間而且持續(xù)時間較長，由于行人往往忽略綠燈閃爍剩余時間強行通過路口，會導致每一動態(tài)全紅階段持續(xù)時間都較長，大大影響了車輛通行效率。

為了協(xié)調車輛效率和行人安全，本文提出了一種基于行人安全的交通信號燈智能控制方案，通過對交叉口流量的實時觀測，綜合考慮行人違規(guī)和車輛效率存在的矛盾，精準設計強化學習架構中的獎勵函數(shù)引導智能體學習，智能地調控交通信號周期時長，相位順序以及相位持續(xù)時間，實現(xiàn)交叉路口安全高效的智能控制，同時，采用基于優(yōu)先經驗的樣本采樣和方差縮放，加速了算法收斂。研究結果表明，基于行人安全配時方案在行人與車輛沖突量，車輛的排隊長度、等待時間和平均速度等方面均優(yōu)于固定配時方案和DQN配時方案。

1 系統(tǒng)模型和算法設計

1.1 DDPG算法

在交通信號燈控制中，自適應地調整周期時長、相位順序和相位持續(xù)時間可以看成典型的馬爾可夫決策問題，它很好的符合強化學習(RL,reinforcement learning)框架。智能體通過和交叉路口環(huán)境交互，獲取環(huán)境狀態(tài)st，隨后采用“試錯”機制尋找最佳策略π。在每次探索過程中，智能體根據所選策略執(zhí)行動作at，動作執(zhí)行后將積累的獎勵值rt和交叉口下一狀態(tài)st+1返還給智能體，智能體以獎勵值為導向對動作評估，不斷更新策略，如此循環(huán)以尋找最大預期值Q。如公式(1)：

Qπ(s,a) =E[rt+γrt + 1+γ2rt + 2+...|st=s,

(1)

式中,Q(s,a)定義為智能體接收到交叉路口車輛和行人狀態(tài)s時，交通信號燈采取動作a時所獲得的未來累計獎勵；γ∈[0,1]為折扣因子，表明了未來交通信號燈配時方案回報相對于當前配時方案回報的重要程度。

隨后通過貝爾曼公式不斷更新值函數(shù)直至逼近最優(yōu)值函數(shù)，由此智能體學習最優(yōu)策略π*，如公式(2)：

(2)

DDPG算法是一種基于策略梯度的RL算法，可以通過與交通系統(tǒng)在線互動輸出連續(xù)的動作。算法采用行動者-評判家(AC，actor-critic)框架，通過相同的神經網絡架構，構成當前Actor網絡和Critic網絡，目標Actor網絡和Critic網絡，協(xié)作完成算法的決策與更新。

▽θμJ≈E[▽θμQ(s,μ(s|θμ)|θQ)=

E[▽aQ(s,μ(s)|θQ)▽θμμ(s|θμ)]

(3)

當前Critic網絡用于擬合并參數(shù)化Q函數(shù)為Q(s,a|θQ)，并采用均方誤差形式完成對當前交通信號燈配時方案的實時評估，具體形式如公式(4)：

(4)

式中,yi=ri+γQ′(si+1,μ′(si+1|θμ′)|θQ′)，μ′和Q′分別對應目標Actor網絡和目標Critic網絡。其中，目標Actor網絡用于輸出估計的交通信號燈配時方案，目標Critic網絡用于輸出對估計的交通信號燈配時方案評估。

當前Actor網絡和Critic網絡通過從記憶庫中采樣實現(xiàn)更新，而目標Actor網絡和Critic網絡的更新采用軟更新的形式，能夠使得目標網絡參數(shù)變化小，訓練更易于收斂。軟更新的具體形式如式(5)：

θμ′←τθμ+(1-τ)θμ′

(5a)

θQ′←τθQ+(1-τ)θQ′

(5b)

1.2 DDPG算法改進

1.2.1 交叉口行人交通背景

行人在穿越路口時，往往不會注意綠燈剩余時間，經常會發(fā)生還沒有完全通過路口，信號燈就變成了紅燈的情況；老年人和兒童在通過路口的時候，往往會因為速度過慢而不能在綠燈期間通過路口；攜帶較多、較重物品的行人在通過路口時同樣也會遇到相同的情況。這些情況下，行人安全難以保證。行人在規(guī)定綠燈時間內，不能按時通過交叉口，極易和車輛產生沖突，一方面行人安全難以保證，另一方面造成交通阻塞。以前的交通信號燈智能控制方案往往只專注于提高車輛效率，而忽略了行人，這實際上有很大的安全隱患。因此，智能交通有必要將行人不確定因素考慮進去，尤其是行人較多的例如學校、醫(yī)院等旁邊的交叉路口。

通過實際行人交通背景我們可以知道，行人經常會發(fā)生不能在規(guī)定時間內通過交叉口的情況[16-17]。因為強化學習特殊的“試錯”學習機制，這實際上可以作為一條條寶貴的“學習經驗”供智能體學習，以保證智能體能夠有效的學習行人行為，進而保障行人安全。

1.2.2 PRE-DDPG算法設計

DDPG算法中當前Actor網絡和Critic網絡在采樣更新時認為記憶庫中所有經驗都一樣重要，因此它等概率地從經驗池中選取一定數(shù)目的樣本來訓練網絡。而實際上，通過行人交通背景分析知道，在交叉口行人不能按時通過時，智能體理應獲取一個較差的“經驗”，以避免這種情況的發(fā)生。因此，為了更有效地保證行人安全，合理處理交叉口行人與車輛行為實際經驗，結合獎勵值函數(shù)的精準設計，提出一種基于優(yōu)先經驗回放的DDPG(PER-DDPG，DDPG with prioritized experience replay)行人安全算法，并在記憶庫滿了后對方差進行0.999的縮放，以提高優(yōu)先級大的樣本的利用率，進而提高學習的效率，加快算法收斂。TD誤差δ(t)計算如式(6)所示：

δ(t)=Rt+1+γQ(St+1，At+1)-Q(St,At)

(6)

定義抽取樣本的概率如式(7)所示：

pi=|δ(t)|+ε

(7)

其中:ε用于防止概率為0。

為了避免每次抽樣都需要針對p對所有樣本排序，采用SumTree的樹形結構對數(shù)據進行存儲。SumTree是一種樹形結構，每片樹葉存儲每個樣本的優(yōu)先級p，每個樹枝節(jié)點只有兩個分叉，節(jié)點的值是兩個分叉的和。數(shù)據采樣時，將優(yōu)先級p的總和除以抽樣數(shù)，得到區(qū)間數(shù)，然后在每個區(qū)間里隨機選取一個數(shù)，將此數(shù)從SumTree的根節(jié)點開始按照一定規(guī)律向下搜索，最后將搜索得到的優(yōu)先級p與樣本數(shù)據相對應，即可實現(xiàn)更為高效的經驗回放。SumTree結構如圖1所示。

圖1 SumTree結構圖

1.3 基于行人安全智能交通燈控制模型

本小節(jié)主要闡述行人安全智能交通燈控制算法中狀態(tài)、動作和獎勵的設計和信號燈控制模型的建立。

1.3.1 狀態(tài)

狀態(tài)為在每一時間步中，智能體接收到關于交叉路口環(huán)境的定量描述。本設計將路口車輛等待數(shù)量，行人與車輛的沖突量作為狀態(tài)輸入。定義狀態(tài)表達式如下所示：

st={w1,...,wn,v1,...,vn}

(8)

式中,w1,...,wn表示道路nn上車輛的平均等待數(shù)量；v1,...,vn表示人行橫道n上行人與車輛的沖突量。

1.3.2 動作

本設計將動作設置為交通信號燈周期可變、相位可變和相位持續(xù)時間可變。定義動作如式(9)所示：

at={c,p1,...,p6,d1,...,dm}

(9)

式中,cc代表決定下一周期持續(xù)時間的時長，為避免周期過大或過小，將周期限制在內[cminT,cmaxT]，cmin，cmax，T分別取0.6，2，90；p1,...,p6表示下一周期相位持續(xù)順序；d1,...,dm表示下一周期內各階段的持續(xù)時長的比例因子，通過與環(huán)境交互后由softmax歸一化處理確定。

1.3.3 獎勵

為有效保證行人安全，我們設定只有在綠燈亮起范圍內通過路口的行人才是合法的，其他各階段行人出現(xiàn)在人行橫道上均視為違規(guī)行為，視為與車輛正常行駛發(fā)生沖突，此時行人數(shù)量稱為行人與車輛的沖突量。由此，在評價行人過路口是否安全時，我們以每一時刻行人與車輛的沖突量多少來反映，智能體通過學習減少沖突量來保障行人安全。在評價車輛通行效率時，評價指標為每條道路上車輛的平均速度。

綜上所述，本文充分考慮行人安全和車輛通行效率存在的矛盾及行人與車輛不同行為所帶來的不同經驗，定義獎勵函數(shù)如下所示：

(10)

1.3.4 基于行人安全的交通信號燈控制模型

本模型綜合考慮了交叉口行人安全和車輛效率，通過共享行人與車輛狀態(tài)，賦予路口智能體更為廣闊的觀測視野，同時，采用優(yōu)先經驗回放提高采樣效率，加速算法收斂，使智能體能夠通過觀測的全局狀態(tài)及時調控自身策略，導出全局最優(yōu)Q值，基于行人安全的交通信號控制結構如圖2所示。

圖2 基于行人安全的交通信號控制結構示意圖

每一回合開始，讀取相同的行人與車輛流量文件，以一個周期為頻率更新信號配時。當前Actor網絡的輸出確定下一周期的時長、相位順序及相位持續(xù)時間。當一個周期結束以后通過目標Actor網絡和目標Critic網絡的輸出值函數(shù)與當前Critic網絡輸出的值函數(shù)計算出TD誤差，并按概率大小存儲到優(yōu)先經驗回放池，當前Critic網絡從優(yōu)先經驗池中按概率抽樣更新，進而指導當前Actor在下一時刻作出包含更少沖突量和更高車輛效率的配時方案，以不斷完善策略，如此循環(huán)直至達到最終仿真時長?；谛腥税踩慕煌糁悄芸刂颇Ｐ蛡未a如算法1所示。

算法1基于行人安全的交通信號燈控制模型

初始化：隨機初始化當前Actor 神經網絡μ(st|θμ)和當前Critic 神經網絡Q(s,a|θQ)，初始化目標網絡μ′和Q′，記憶庫R和高斯噪聲N。

算法：

1)for episode = 1, M do：

2)在SUMO平臺上導入行人與車輛流量文件

3)隨機初始化分布N用作動作探索

4)初始化初始狀態(tài)s0

5)for step = 1, 10800 do：

6)Actor 網絡獲取當前路口行人與車輛沖突量

信息和路口車輛通行速度信息，并根據當前的策略選取動作傳遞給交通信號燈執(zhí)行，即ai=μ(sj|θμ)+N

7)Actor網絡將獲取的路口行人與車輛數(shù)據

(si,ai,ri,si+1)存儲在記憶庫中,以作為網絡訓練學習

的數(shù)據集。

8)計算記憶庫R中樣本抽樣概率

9)pi=|δ(t)|+ε

10)將搜索得到的優(yōu)先級p與樣本數(shù)據相對應,作

為當前Actor網絡和當前Critic網絡的訓練數(shù)據

11)yi=ri+γQ′(si+1,μ′(si+1|θμ′)|θQ′)

12)記憶庫存儲滿后對方差進行0.999的縮放

13)根據公式(3)更新當前 Actor 網絡

14)根據公式(4更新當前Critic網絡

15)更新目標網絡

16)θμ′←τθμ+(1-τ)θμ′

θμ′←τθμ+(1-τ)θμ′

17)end for

18)end for

2 仿真實驗

2.1 仿真環(huán)境與參數(shù)設置

交通仿真環(huán)境采用SUOM1.9.0(simulation of urban mobility，城市交通仿真)搭建，并利用TraCI接口完成與算法的在線交互。算法環(huán)境采用python3.6.6+TensorFlow1.1.2搭建完成。

2.1.1 單路口屬性設置

針對單路口進行仿真分析，道路為4車道，每條路長150 m，從里到外分別為：左轉或直行，直行，右轉，人行道。其中車道限速為34 km/h，人行道限速為1 m/s，人行橫道速限速為1.3 m/s。在仿真中不考慮車輛右轉的情況。

2.1.2 交通燈初始屬性設置

交通燈屬性設置按SUMO官方推薦四車道設置，具體見表1。

表1 交通信號燈初始相位設置

2.1.3 流量設置

車輛和行人的到達服從泊松分布，根據在不同時間段更改車輛和行人到達概率有效模擬出“早高峰”、“晚高峰”和“超低峰”等場景，從而反映出一天內真實的流量環(huán)境。將一天的交通流量進行壓縮至3個小時(10 800 s)進行仿真實驗。分為0～1 350 s，1 350～3 150 s，3 150～4 050 s，4 050～5 400 s，5 400～6 300 s，6 300～7 650 s，7 650～8 550 s，8 550～10 800 s共8個時間段對流量進行統(tǒng)計。各時間段內的到達流量如圖3所示。車輛隨機進入交叉口的入口并提前選擇所在車道，駛出路口時隨機選擇目標車道，行人隨機進入交叉口的入口，直行通過路口。

圖3 車輛與行人流量分布柱狀圖

2.1.4 參數(shù)選取

神經網絡參數(shù)及其余參數(shù)選取參考文獻[18-19]，實際使用中根據學習情況作適當調整，具體參數(shù)如表2和表3所示。

表2 神經網絡參數(shù)

表3 其余參數(shù)

2.2 對比方案分析

為了測試模型的有效性，將本文方法與以下方法進行對比。各方案配備相同的路口屬性和行人與車輛流量，如2.1.1和2.1.3所示。

1)固定配時方案。交通燈的相位及相位持續(xù)時間設置如2.1.2節(jié)，方案中利用SUMO的TraCI接口直接獲取每一時刻行人與車輛沖突量，車輛的平均速度等數(shù)據來反映路口車輛通行效率和行人安全度。

2)DQN算法配時方案[20]。狀態(tài)設定為路口車輛位置-速度矩陣和行人位置-速度矩陣；初始動作設定為每個子階段10 s，學習后智能體根據路口流量動態(tài)地改變相位持續(xù)時間(可以為0 s)；獎勵值函數(shù)設定同行人安全配時方案保持一致。方案中相關參數(shù)設置見表4所示。

表4 DQN配時方案相關參數(shù)

2.3 實驗

為了驗證本研究的有效性和可用性，需要進行仿真實驗回答以下兩個問題：

問題1：本研究是否能夠提高行人安全性？即在相同的實驗環(huán)境下與對比方案相比，平均沖突量是否有明顯降低？

問題2：本研究是否兼顧了行人安全和車輛效率？即在相同的實驗環(huán)境下與對比方案相比，路口的總體性能如何？

強化學習中學習率的選取至關重要，實驗設計驗證前先進行學習率的確定，然后進行對比實驗。

2.3.1 PRE-DDPG算法學習率選取

圖4描述了單路口下基于行人安全配時方案在不同學習率下的收斂結果。從圖4中可以看出學習速率過大或者過小都可能帶來性能的損失。當LR-A=LR-C=0.000 001時，算法表現(xiàn)出較好的性能優(yōu)勢。因此在本小節(jié)后續(xù)的仿真中，算法學習率均選擇LR-A=LR-C=0.000 001。

圖4 不同學習率的行人安全配時方案訓練過程中回合獎勵值性能對比

2.3.2 實驗設計及結果分析

為了回答以上2個問題，本小節(jié)進行了如下實驗設計：

1)針對問題1，進行對比實驗1：

為了驗證交叉口行人安全是否得到提高，即各配時方案中行人與車輛的平均沖突量情況，在同一實驗環(huán)境下將所提行人安全配時方案與其它對比方案作對比實驗。

(1)各配時方案行人與車輛平均沖突量對比

圖5即為各配時方案中行人與車輛的平均沖突量對比。從圖5可以看到，在相對于其他配時方案，基于學習的配時方案能夠根據人流量、車流量的情況實時地調整最佳配時方案，有效地減少行人與車輛的相互沖突。相對于DQN配時方案，我們所提出的行人安全配時方案平均沖突量為0.66，減少了16.40%的行人與車輛的事故率，有效地改善了行人過馬路的安全性。

圖5 行人與車輛的平均沖突量對比

2)針對問題2，進行對比實驗2：

為了驗證所提行人安全配時方案的總體性能，在同一實驗環(huán)境下對各方案作摘除行人因素的對比實驗。

1)考慮行人安全下，各配時方案車輛平均速度對比。

圖6為各配時方案中車輛在平均速度的對比情況。從圖中可以發(fā)現(xiàn)，本文所提出的方案在平均速度性能上優(yōu)于對比方案，特別是在高峰車流量下(例如，時間段3)。通過對各時段的數(shù)據進行平均處理，我們可以得到行人安全配時方案中每條道路上車輛平均速度為21.40 km/h。相對于DQN配時方案均速度提高了40.28%，相對于固定配時方案平均速度提高了29.62%，車輛效率有效得到改善。同時可以看到，DQN配時方案相對于固定配時方案車輛平均速度減少了5.40%，平均沖突量減少了64.04%，可以明顯看出DQN配時方案為保證行人安全通過交叉口犧牲了一定的車輛通行效率。

圖6 車輛平均速度性能對比

2)摘除行人因素前后，各配時方案車輛平均時延對比。

為了更好地比較各方案中行人因素對車輛效率的影響，分別對各方案作摘除行人因素的對比實驗。圖7為各方案中每條路上車輛平均時間延遲的對比情況。時間延遲為車輛實際行駛時間與最大行駛速度行駛時間的差值。從圖7可以看到各配時方案中行人因素對于車輛效率的影響：

圖7 車輛平均時間延遲對比

(1)將行人安全配時方案和DQN配時方案分別做摘除行人因素前后車輛平均時延對比，得到所提行人安全配時方案由不考慮行人時的車輛平均時延2.59 s增長到3.32 s，DQN配時方案由5.46 s增長到7.05 s?？梢钥闯?，交叉口考慮行人安全會對車輛效率產生一定的負面影響。

(2)盡管考慮行人安全會對車輛效率產生一定的負面影響，但所提基于行人安全配時方案在兼顧行人安全和車輛效率方面，優(yōu)勢仍然比較明顯。對比車輛平均時延可以看到，行人安全配時方案相對于DQN配時方案(不考慮行人)有39.16%的提高，相對于DQN配時方案有52.90%的提高，相對于固定配時方案有47.54%的提高。

3 結束語

提出了基于行人安全的交通信號燈智能控制方案，折中考慮行人安全與車輛通行效率，實現(xiàn)系統(tǒng)效用的最大化。相對于傳統(tǒng)配時方案，所提方案考慮行人因素并且自適應性強，能夠在連續(xù)強大的交通環(huán)境中提取合適的特征，選取合適的動作。研究結果顯示，該算法模型具有較好的收斂性，在兼顧行人安全和車輛效率上都明顯優(yōu)于固定配時方案和DQN配時方案。本文僅考慮了單路口時行人和車輛問題，沒有做多路口的情況，下一步的研究主要集中在多路口協(xié)調下的行人和車輛問題。