基于多智能體的城市交通區(qū)域協(xié)調(diào)控制方法*

黃艷國 羅 強(qiáng) 許倫輝

(江西理工大學(xué)機(jī)電工程學(xué)院1) 贛州 341000) (華南理工大學(xué)土木與交通學(xué)院2) 廣州 510640)

城市交通是由大量道路及交叉口組成的道路交通網(wǎng),交叉口是道路網(wǎng)中連接各支路的節(jié)點(diǎn),是不同方向車流進(jìn)入和駛出的匯接地,成為整個(gè)道路網(wǎng)中的“瓶頸”.如何在保證每個(gè)交叉口暢通的前提下提高城市交通運(yùn)輸效率,使整個(gè)區(qū)域處于最佳運(yùn)行狀態(tài)是交通信號(hào)區(qū)域協(xié)調(diào)控制的關(guān)鍵[1-3].許多學(xué)者將現(xiàn)代控制理論和人工智能技術(shù)應(yīng)用到交通控制領(lǐng)域[4-5],并且取得了一定的成果.本文將智能體技術(shù)和加強(qiáng)學(xué)習(xí)算法應(yīng)用到城市交通信號(hào)控制中,為城市交通協(xié)調(diào)控制作一些探索和研究.

1 基于多智能體的城市交通信號(hào)控制系統(tǒng)

1.1 系統(tǒng)結(jié)構(gòu)

智能體(Agent)理論和技術(shù)是計(jì)算機(jī)和分布式人工智能領(lǐng)域的新一代研究成果,是面向?qū)ο蠹夹g(shù)的新發(fā)展,具有處理模糊不確定復(fù)雜問題的能力.多智能體系統(tǒng)(multi-agent-system,MAS)[6]以智能體為結(jié)構(gòu)單元,對(duì)于解決分布式復(fù)雜系統(tǒng)問題是具有廣闊前景的方法體系[7].而交通問題是典型的時(shí)變不確定系統(tǒng),通過智能體之間的通信和協(xié)調(diào)機(jī)制,為解決現(xiàn)代交通問題提供了新的思路.

本文以多智能體為基礎(chǔ)的分層遞階的城市道路控制系統(tǒng)結(jié)構(gòu)如圖1所示.當(dāng)局部交通狀況發(fā)生變化時(shí),交叉口Agent之間根據(jù)相互關(guān)聯(lián)程度通過通信模塊和協(xié)調(diào)機(jī)制進(jìn)行協(xié)調(diào),實(shí)時(shí)調(diào)整信號(hào)配時(shí)方案.當(dāng)路口之間的協(xié)調(diào)無法達(dá)到理想的控制效果時(shí),路口Agent向子區(qū)域Agent發(fā)出協(xié)調(diào)請(qǐng)求,子區(qū)域Agent根據(jù)一定的策略和優(yōu)化目標(biāo)在子區(qū)域內(nèi)部各交叉口Agent之間進(jìn)行協(xié)商,以求達(dá)到滿意的控制效果.當(dāng)子區(qū)域Agent無法有效的解決交通問題時(shí),可以通過信息發(fā)布模塊向區(qū)域Agent發(fā)布交通狀況信息和協(xié)調(diào)請(qǐng)求,以求在更大的區(qū)域之間解決.這種方式不僅在局部小范圍能自主決策,達(dá)到實(shí)時(shí)自適應(yīng)控制,更能從宏觀上調(diào)整區(qū)域的交通狀況,使整個(gè)區(qū)域交通保持較理想的運(yùn)行狀態(tài).

1.2 智能體模型

控制系統(tǒng)以智能體為控制單元,每個(gè)交叉口Agent是一個(gè)可獨(dú)立運(yùn)行的實(shí)體,通過智能體之間的協(xié)調(diào)達(dá)到整個(gè)優(yōu)化控制的目的,結(jié)構(gòu)模型如圖2所示[8].

圖1 多Agent交通信號(hào)控制系統(tǒng)結(jié)構(gòu)圖

圖2 交叉口Agent結(jié)構(gòu)模型

圖2 中知識(shí)庫存儲(chǔ)交通信號(hào)控制常識(shí)、交通規(guī)則、本路口和相鄰路口相關(guān)信息(如路段長度、車道數(shù)、車道類型和飽和流量等),為學(xué)習(xí)器提供基本的數(shù)據(jù)資料,并為決策模塊提供決策的依據(jù).記憶庫則存儲(chǔ)采集的交通流信息、控制方案以及學(xué)習(xí)器在學(xué)習(xí)過程中的中間數(shù)據(jù)和反饋信息.通信模塊負(fù)責(zé)Agent模型內(nèi)部模塊的數(shù)據(jù)交互,知識(shí)庫數(shù)據(jù)的更新,同時(shí)可與相鄰路口的Agent以及子區(qū)域Agent進(jìn)行通信.

2 城市區(qū)域交通信號(hào)的優(yōu)化與協(xié)調(diào)

2.1 基于Q-學(xué)習(xí)的交叉口控制Agent

在多路口的交通協(xié)調(diào)MAS中,每個(gè)Agent負(fù)責(zé)對(duì)一個(gè)路口進(jìn)行控制.感知系統(tǒng)通過車輛檢測器將檢測到的交通流量和路況信息發(fā)送給Q-學(xué)習(xí)器,學(xué)習(xí)器根據(jù)接收到的信息和知識(shí)庫中的經(jīng)驗(yàn)知識(shí)以及記憶庫中歷史數(shù)據(jù)進(jìn)行再勵(lì)學(xué)習(xí),并將學(xué)習(xí)結(jié)果發(fā)送到?jīng)Q策模塊,決策模塊根據(jù)一定的原則產(chǎn)生控制策略,并交執(zhí)行模塊執(zhí)行.控制策略包括2種行為{(1)結(jié)束當(dāng)前綠燈相位,轉(zhuǎn)為紅燈相位;(2)保持綠燈相位,并延長當(dāng)前綠燈時(shí)間Δt s}.

單步Q-學(xué)習(xí)算法的Q值更新公式可描述為:

式中:α∈[0,1]為學(xué)習(xí)速率;γ∈[0,1]為折扣因子為環(huán)境的后續(xù)狀態(tài);r(s,a)為獎(jiǎng)懲函數(shù),即為Agent在狀態(tài)s采用a動(dòng)作使環(huán)境狀態(tài)轉(zhuǎn)移到s′獲得的瞬時(shí)獎(jiǎng)賞值;A為可供選擇的行為的集合.

傳統(tǒng)的感應(yīng)式控制只能根據(jù)交通流調(diào)節(jié)信號(hào)周期和綠信比,對(duì)車流信息處理過于簡單,無法知道控制行為的效果,基于Q-學(xué)習(xí)的信號(hào)控制,根據(jù)車流量狀況,通過加強(qiáng)學(xué)習(xí),調(diào)整配時(shí)方案,并將控制行為的實(shí)際效果作為下次學(xué)習(xí)的參考,從而實(shí)現(xiàn)實(shí)時(shí)自適應(yīng)控制.

2.2 智能體間的協(xié)調(diào)與全局優(yōu)化

如圖3所示的路網(wǎng)圖,交叉口Agent實(shí)體間的協(xié)調(diào)可以在兩個(gè)關(guān)聯(lián)性非常強(qiáng)的相鄰交叉口A1與交叉口A2之間進(jìn)行,也可以在有關(guān)聯(lián)的多個(gè)交叉口組成的子區(qū)域內(nèi)部進(jìn)行,如在子區(qū)域E1內(nèi)部全面協(xié)調(diào)交叉口A1,A2,A3之間的控制策略,以期最大限度地實(shí)現(xiàn)各自目標(biāo),提高整體運(yùn)輸效率.

2.績效審計(jì)的目的。績效審計(jì)的目的是從第三者的角度，向有關(guān)利害關(guān)系人提供經(jīng)濟(jì)責(zé)任履行情況的信息，促使資源的管理者或經(jīng)營者改進(jìn)工作，更好地履行經(jīng)濟(jì)責(zé)任。同其他審計(jì)種類一樣，績效審計(jì)產(chǎn)生和發(fā)展的理論基礎(chǔ)是受托經(jīng)濟(jì)責(zé)任關(guān)系?？冃徲?jì)起源于這樣一種經(jīng)濟(jì)責(zé)任關(guān)系：在油田企業(yè)中，管理層作為受托方對(duì)企業(yè)資源進(jìn)行管理和經(jīng)營，在資源越來越少的情況下，對(duì)股權(quán)所有者負(fù)有不斷提高公共資源的使用效率和效果的責(zé)任。

圖3 區(qū)域路網(wǎng)結(jié)構(gòu)圖

本文選擇的協(xié)調(diào)控制目標(biāo)為:區(qū)域內(nèi)各路口的平均車輛延誤最小.

設(shè)qpn為P相位在第n s時(shí)到達(dá)的車輛數(shù),在第i-1個(gè)周期P相位綠燈信號(hào)末該方向車輛滯留數(shù)為Qi-1p,則在第i周期該相位綠燈方向的車輛總延誤為[9]

式中:O f f_c為綠燈信號(hào)時(shí)路口通過率;Ti為第i個(gè)周期時(shí)長,Gp為P相位的綠燈信號(hào)時(shí)長,則紅燈方向車輛總延誤為

式中:K為總相位數(shù),對(duì)4相位交叉口,K=4,分別表示東西、南北直行和左轉(zhuǎn),交叉口 A1在P相位的總延誤為D 1p=DGP+DRP

N個(gè)交叉口車輛平均延誤為

式中:Q為參與協(xié)調(diào)的N個(gè)交叉口所有方向到達(dá)車輛總數(shù)

以主干道關(guān)聯(lián)性較強(qiáng)的相鄰兩交叉口為例,如圖3所示的交叉口A1與A2.

協(xié)調(diào)算法的步驟如下.

步驟1 按預(yù)設(shè)的相位差,兩路口從初始相位i開始,并執(zhí)行各自路口該相位綠燈時(shí)間tig1,tig2.

步驟2 路口 A1在t時(shí)刻檢測到車流量變化較大,通過加強(qiáng)學(xué)習(xí)和決策模塊按一定的原則決策以后,形成決策1,對(duì)當(dāng)前相位的綠燈信號(hào)時(shí)長進(jìn)行調(diào)整,調(diào)整時(shí)間為Δt s.

步驟3 路口 A1向A2發(fā)出請(qǐng)求,并等待 A2的協(xié)調(diào)結(jié)果.

步驟4 路口A2根據(jù)當(dāng)前自身的交通狀態(tài)和學(xué)習(xí)結(jié)果,對(duì)A1的請(qǐng)求進(jìn)行綜合評(píng)價(jià),并向A1發(fā)出協(xié)調(diào)結(jié)果.

步驟5 路口 A1接收A2的協(xié)商結(jié)果,若協(xié)調(diào)成功,則A1執(zhí)行決策1,A2執(zhí)行自己的決策,本次局部路口間的協(xié)調(diào)結(jié)束.

步驟6 若A1與A2不能協(xié)調(diào),則 A1向所在子區(qū)域Agent發(fā)送協(xié)調(diào)請(qǐng)求.

步驟7 區(qū)域Agent根據(jù)請(qǐng)求信息以及區(qū)域內(nèi)整體交通狀況,在區(qū)域內(nèi)部或區(qū)域之間權(quán)衡利弊,進(jìn)行整體優(yōu)化,并計(jì)算出新的協(xié)調(diào)方案.

步驟8 區(qū)域Agent協(xié)調(diào)方案可行,則將新的協(xié)調(diào)方案傳輸給各路口Agent執(zhí)行,結(jié)束區(qū)域內(nèi)部之間的協(xié)調(diào);若區(qū)域 Agent協(xié)調(diào)方案不可行,則向其他區(qū)域Agent發(fā)送協(xié)調(diào)請(qǐng)求,在區(qū)域之間進(jìn)行協(xié)調(diào),直至在區(qū)域內(nèi)找到最佳的調(diào)整方案為止.

3 仿真實(shí)驗(yàn)

基于以上的模型和算法,采用VC++編寫交叉口仿真程序,以圖3所示的交通網(wǎng)絡(luò)中主干道相鄰兩交叉口A1,A2所組成的簡單交通網(wǎng)絡(luò)進(jìn)行仿真實(shí)驗(yàn),如圖4所示,設(shè)交叉口環(huán)境為:4相位,且左轉(zhuǎn)設(shè)專用車道,左轉(zhuǎn)車流占進(jìn)口車輛的20%,綠燈期間路口通過率為0.4 pcu/s,2交叉口間距為500 m,飽和流量為3 600 pcu/h,分別在不同車流大小情況下進(jìn)行控制,并與兩交叉口定時(shí)控制和感應(yīng)控制相比較,通過對(duì)比試驗(yàn),表1為在不同車流量的情況下車輛的平均延誤時(shí)間,圖5為車輛到達(dá)率為1 650 pcu/h的仿真效果圖.

圖4 相鄰交叉口相位運(yùn)行圖

圖5 控制效果對(duì)比圖1-定時(shí)控制;2-感應(yīng)控制;3-Agent協(xié)調(diào)控制

表1 相鄰交叉路口不同控制方式比較

從仿真結(jié)果可以看出,在交通流較小的情況下,2路口排隊(duì)的車輛較少,車輛的平均延誤較小,協(xié)調(diào)控制的作用效果不是很明顯;當(dāng)車流量繼續(xù)增大但不超過飽和流量時(shí),路口排隊(duì)等候的車輛逐漸增加,整體的性能指標(biāo)明顯增加,即平均延誤增加,而通過協(xié)調(diào)控制算法與定時(shí)控制和感應(yīng)控制相比,不僅單路口Agent可以根據(jù)不同方向車輛的到達(dá)情況實(shí)時(shí)調(diào)整不同相位的綠燈時(shí)間和信號(hào)周期,而且系統(tǒng)通過多路口 Agent進(jìn)行協(xié)調(diào),優(yōu)化信號(hào)配時(shí),因此數(shù)據(jù)明顯下降,控制效果明顯;當(dāng)流量增加到飽和流量甚至超過飽和流量時(shí),協(xié)調(diào)算法作用也不明顯,在這種情況下,在局部子區(qū)域內(nèi)進(jìn)行協(xié)調(diào)已經(jīng)失敗,子區(qū)域必須向上級(jí)區(qū)域發(fā)送交通擁堵信息,請(qǐng)求在其他子區(qū)域的控制來調(diào)整該子區(qū)域的交通流量,或通過其他道路管理和控制手段,從宏觀上解決.

4 結(jié)束語

城市道路交通系統(tǒng)是一個(gè)復(fù)雜的時(shí)變系統(tǒng),本文提出基于多智能體技術(shù)的交通區(qū)域控制系統(tǒng)結(jié)構(gòu),單路口Agent實(shí)體通過加強(qiáng)學(xué)習(xí),對(duì)信號(hào)配時(shí)進(jìn)行在線調(diào)整,實(shí)現(xiàn)局部優(yōu)化,并通過Agent間的相互協(xié)調(diào),以平均延誤最小為優(yōu)化目標(biāo)實(shí)現(xiàn)區(qū)域交通的整體優(yōu)化,并以兩相關(guān)聯(lián)的交叉口進(jìn)行仿真,驗(yàn)證該方法的有效性和可能性.本文在將多智能體應(yīng)用于交通控制領(lǐng)域方面進(jìn)行了初步的嘗試,在此基礎(chǔ)上,進(jìn)一步完善模型結(jié)構(gòu)和協(xié)調(diào)算法,擴(kuò)大區(qū)域協(xié)調(diào)控制的范圍是進(jìn)一步研究的方向.

[1]劉燦齊.城市道路網(wǎng)路交通信號(hào)協(xié)調(diào)控制的優(yōu)化[J].同濟(jì)大學(xué)學(xué)報(bào),2003,32(8):1000-1004.

[2]承向軍,杜 鵬,楊肇夏.基于多智能體的分布式交通信號(hào)協(xié)調(diào)控制方法[J].系統(tǒng)工程理論與實(shí)踐,2005(8):130-135.

[3]王繼峰,陸化普.公路網(wǎng)布局的多目標(biāo)優(yōu)化模型[J].武漢理工大學(xué):交通科學(xué)與工程版,2009,33(3):888-891.

[4]Jeffrey L,V ictor J.A cooperative multi-agent transportation managementand route guidance system[J].Transportation Reseach Part C,2002,10:433-454.

[5] 馬壽峰,李 英,劉 豹.一種基于Agent協(xié)調(diào)的兩路口交通控制方法[J].系統(tǒng)工程學(xué)報(bào),2003,18(3):272-278.

[6]楊煜普,李曉萌,許曉鳴.多智能體協(xié)作技術(shù)綜述[J].信息與控制,2001,30(4):337-342.

[7]O liveira E.Multi-agent system:w hich research for which app lications[J].Robotics and Autonomous Systems,1999,27:91-106.

[8]黃艷國,許倫輝,鄺先驗(yàn).基于M u lti-agent協(xié)調(diào)的區(qū)域交通信號(hào)優(yōu)化控制[J].江西理工大學(xué)學(xué)報(bào),2009,30(1):49-52.

[9]黃艷國,許倫輝,劉文亮.基于GA的多相位交通信號(hào)模糊控制器優(yōu)化方法[J].南昌大學(xué)學(xué)報(bào):工科版,2006,28(1):38-41.