王 璐 張健浩 王 廷 伍楷舜

1(深圳大學(xué)計(jì)算機(jī)與軟件學(xué)院 廣東深圳 518060)

2(上海市高可信計(jì)算重點(diǎn)實(shí)驗(yàn)室(華東師范大學(xué)) 上海 200062)

(wanglu＠szu.edu.cn)

近年來,平板電腦、智能手機(jī)、大規(guī)模傳感器以及各式各樣的異構(gòu)物聯(lián)網(wǎng)設(shè)備變得越來越流行,已經(jīng)成為我們?nèi)粘Ｉ钪械闹饕?jì)算資源[1].據(jù)保守估計(jì),到2022年,將有500億臺(tái)終端設(shè)備進(jìn)行互聯(lián)[2].隨著終端設(shè)備的爆炸式增長,為終端設(shè)備設(shè)計(jì)的應(yīng)用程序也大量涌現(xiàn),如交互式游戲、自然語言處理、面部識(shí)別、增強(qiáng)現(xiàn)實(shí)等.這種類型的應(yīng)用程序往往需要大量的資源,包括密集的計(jì)算資源和高速的傳輸資源.隨著新穎的交互式移動(dòng)應(yīng)用程序的日益豐富和終端設(shè)備功能的日益強(qiáng)大,我們正處在移動(dòng)計(jì)算的重大變革之中.

近期的研究進(jìn)展見證了移動(dòng)計(jì)算的模式轉(zhuǎn)變.在終端設(shè)備不斷產(chǎn)生的海量數(shù)據(jù)驅(qū)動(dòng)下,集中式的移動(dòng)云計(jì)算正在向移動(dòng)邊緣計(jì)算進(jìn)行遷移.計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源均在基站(base station,BS)端集成[3-4].網(wǎng)絡(luò)邊緣大量空閑的計(jì)算資源和存儲(chǔ)空間可以被充分利用,以完成計(jì)算密集型和延遲關(guān)鍵型的計(jì)算任務(wù)[5-6].隨著各種計(jì)算和存儲(chǔ)資源越來越貼近終端用戶,移動(dòng)邊緣計(jì)算有望為資源消耗龐大的應(yīng)用程序提供超低延遲和超低網(wǎng)絡(luò)擁塞的服務(wù).

終端設(shè)備的爆發(fā)式增長使得無線連接成為發(fā)掘移動(dòng)邊緣計(jì)算潛力的關(guān)鍵技術(shù)之一[7].因此,移動(dòng)邊緣計(jì)算的適用范圍已經(jīng)擴(kuò)展到無線接入網(wǎng)絡(luò)(radio access network,RAN)內(nèi),以提供邊緣計(jì)算的能力.這也稱為多接入邊緣計(jì)算(multi-access edge computing,MEC).在多接入計(jì)算架構(gòu)中,邊緣計(jì)算的資源可以部署在LTE基站(eNodeB)、3G無線電網(wǎng)絡(luò)控制器(radio network controller,RNC)或多天線聚合基站中.多接入邊緣計(jì)算將移動(dòng)計(jì)算和無線通信2個(gè)學(xué)科的理論和技術(shù)進(jìn)行了深度融合,是云網(wǎng)融合的典型技術(shù)之一,因此受到學(xué)術(shù)界和工業(yè)界研究人員的一致倡導(dǎo).可以預(yù)見,將新型的無線網(wǎng)絡(luò)技術(shù)與面向服務(wù)的邊緣-云體系結(jié)構(gòu)進(jìn)行結(jié)合,可以顯著降低網(wǎng)絡(luò)擁塞和用戶延時(shí),提高用戶的服務(wù)質(zhì)量(quality of service,QoS)和服務(wù)體驗(yàn)(quality of experience,QoE)[8-9],為終端應(yīng)用程序、內(nèi)容提供商和第三方運(yùn)營商提供更好的服務(wù).

盡管研究人員在多接入邊緣計(jì)算方向進(jìn)行了不斷的嘗試和大量的努力,然而,由于終端設(shè)備的物理硬件限制以及無線信道的連接能力限制,多接入邊緣計(jì)算依然面臨著諸多挑戰(zhàn)[10].目前的已有工作大多考慮粗粒度的資源分配策略,包括傳輸、計(jì)算和存儲(chǔ)資源,這些分配策略缺乏對(duì)所有可能資源的細(xì)粒度控制,這成為實(shí)現(xiàn)延遲敏感服務(wù)的主要障礙.目前亟需新的多接入邊緣計(jì)算架構(gòu),可以對(duì)所有的資源進(jìn)行細(xì)粒度的靈活分配.具體來說,對(duì)于新的多接入邊緣計(jì)算架構(gòu),我們考慮3個(gè)問題:

1)是否存在一種細(xì)粒度的多接入邊緣計(jì)算架構(gòu),可以對(duì)網(wǎng)絡(luò)資源和計(jì)算資源進(jìn)行細(xì)粒度的協(xié)同優(yōu)化,從而更好地支持終端多樣化的云網(wǎng)融合?

2)如果存在這樣的架構(gòu),那么,應(yīng)該如何設(shè)計(jì)接入網(wǎng)的信道接入策略,從而使終端用戶可以并發(fā)地使用細(xì)粒度的網(wǎng)絡(luò)資源?

3)基于細(xì)粒度的網(wǎng)絡(luò)接入策略,如何靈活地進(jìn)行計(jì)算任務(wù)卸載,并對(duì)邊緣計(jì)算資源進(jìn)行分配,從而更好地支持多服務(wù)、多租戶生態(tài)系統(tǒng)?

針對(duì)這3個(gè)問題,本文將系統(tǒng)地研究一種面向云網(wǎng)融合的細(xì)粒度多接入邊緣計(jì)算架構(gòu).本文從網(wǎng)絡(luò)底層入手,通過研究媒體接入控制層(media access control layer,MAC)和物理層(physical layer,PHY)的特性,討論細(xì)粒度接入策略簡單高效的解決方案、優(yōu)化策略及系統(tǒng)結(jié)構(gòu),并結(jié)合邊緣計(jì)算的計(jì)算資源分配需求,對(duì)計(jì)算卸載服務(wù)進(jìn)行協(xié)同優(yōu)化,從而較大程度地減輕網(wǎng)絡(luò)傳輸負(fù)擔(dān),提高計(jì)算卸載效率.具體來說,本文提出了一種基于軟件定義的細(xì)粒度多接入邊緣計(jì)算架構(gòu),通過對(duì)網(wǎng)絡(luò)資源和計(jì)算資源的靈活控制,可以更好地滿足異構(gòu)物聯(lián)網(wǎng)服務(wù)的服務(wù)質(zhì)量.具體來說,首先,由于無線接入網(wǎng)建立在多接入策略之上為異構(gòu)物聯(lián)網(wǎng)提供服務(wù),因此本文解決了如何利用物理層/MAC層的切片來支持多用戶簡單高效的并發(fā)傳輸.進(jìn)一步地,本文設(shè)計(jì)了一種基于深度強(qiáng)化學(xué)習(xí)的資源分配策略,可以對(duì)資源分配進(jìn)行自適應(yīng)的學(xué)習(xí),同時(shí),通過設(shè)計(jì)一種基于軟件定義的多接入邊緣計(jì)算架構(gòu),將控制平面與數(shù)據(jù)平面解耦,可以對(duì)所有可能的資源,包括網(wǎng)絡(luò)資源和計(jì)算資源,進(jìn)行統(tǒng)一的細(xì)粒度管理.最后,本文通過大規(guī)模的仿真實(shí)驗(yàn),驗(yàn)證了該架構(gòu)的有效性和可靠性.總的來說,本文的主要貢獻(xiàn)有3個(gè)方面:

1)提出了一種基于軟件定義的多接入邊緣計(jì)算架構(gòu),通過對(duì)物理層/MAC進(jìn)行簡單高效的切片設(shè)計(jì),可以對(duì)通信資源和計(jì)算資源進(jìn)行細(xì)粒度的控制,從而更好地支持復(fù)雜的底層環(huán)境,滿足多樣的用戶需求.

2)基于所提出的多接入邊緣計(jì)算架構(gòu),我們?cè)O(shè)計(jì)了一種基于深度強(qiáng)化學(xué)習(xí)的資源分配策略,通過對(duì)網(wǎng)絡(luò)資源和計(jì)算資源的自適應(yīng)訓(xùn)練和學(xué)習(xí),實(shí)現(xiàn)了低延時(shí)的計(jì)算卸載服務(wù).

3)利用網(wǎng)絡(luò)仿真軟件NS3進(jìn)行了大規(guī)模的仿真實(shí)驗(yàn),并通過實(shí)驗(yàn)驗(yàn)證了所提架構(gòu)的有效性.實(shí)驗(yàn)證明,相比于傳統(tǒng)的MEC架構(gòu),該架構(gòu)性能提高30%以上.

1 相關(guān)工作

由于物聯(lián)網(wǎng)中計(jì)算密集型應(yīng)用程序的大量涌現(xiàn),以及工業(yè)物聯(lián)網(wǎng)、車聯(lián)網(wǎng)等新型業(yè)務(wù)的爆發(fā)式增長,網(wǎng)絡(luò)業(yè)務(wù)需求日益復(fù)雜.大量的研究人員將精力投入到云計(jì)算與網(wǎng)絡(luò)架構(gòu)的融合設(shè)計(jì)中去,從而協(xié)同應(yīng)對(duì)計(jì)算與傳輸?shù)碾p重挑戰(zhàn).

Cloudlet是首個(gè)將云計(jì)算放在網(wǎng)絡(luò)邊緣的計(jì)算模式[11],其主要目的是為了支持資源匱乏的移動(dòng)用戶運(yùn)行資源密集型和交互式應(yīng)用程序.事實(shí)上,Cloudlet將計(jì)算資源接近移動(dòng)用戶的這種思想和WiFi的概念很相似,WiFi的設(shè)計(jì)目的就是為了讓移動(dòng)用戶可以便捷地訪問互聯(lián)網(wǎng)資源[12].隨后,Cisco提出了霧計(jì)算,將云計(jì)算從網(wǎng)絡(luò)核心擴(kuò)展到網(wǎng)絡(luò)邊緣,減少了需要向中央云系統(tǒng)所傳輸?shù)臄?shù)據(jù)量[13].因此,大部分的密集計(jì)算,以及終端用戶收集到的數(shù)據(jù),都可以由霧計(jì)算中網(wǎng)絡(luò)邊緣的霧節(jié)點(diǎn)進(jìn)行處理和分析,從而大大減少了計(jì)算延遲和網(wǎng)絡(luò)擁塞.然而,Cloudlet和霧計(jì)算并沒有將計(jì)算資源整合到移動(dòng)網(wǎng)絡(luò)的體系結(jié)構(gòu)中去.因此,Cloudlet和霧計(jì)算的節(jié)點(diǎn)常常由私有企業(yè)進(jìn)行部署,很難為移動(dòng)用戶提供有QoS和QoE保證的計(jì)算服務(wù)[14-15].

云無線接入網(wǎng)絡(luò)(cloud radio access network,C-RAN)首次將云計(jì)算的概念引入無線接入網(wǎng)中.在C-RAN架構(gòu)中,傳統(tǒng)BS被分布式遠(yuǎn)程無線電頭(remote radio heads,RRH)和集中式基帶單元(baseband units,BBU)所取代.而傳統(tǒng)由BS負(fù)責(zé)的基帶信號(hào)遷移到中央BBU中進(jìn)行[16-17].通過這種去耦的方式,RRH只需要負(fù)責(zé)基本的射頻功能,因此可以高容量地網(wǎng)絡(luò)接入,而中央BBU則提供大規(guī)模的信號(hào)處理,例如集中編碼和解碼,以及聯(lián)合波束成形和資源分配.

2014年末,歐洲電信標(biāo)準(zhǔn)研究所(European Telecommunications Standards Institute,ETSI)制定了移動(dòng)邊緣計(jì)算的行業(yè)規(guī)范,并首次提出了MEC的概念.作為C-RAN架構(gòu)的補(bǔ)充,MEC旨在對(duì)接入網(wǎng)和云服務(wù)進(jìn)行融合,將傳統(tǒng)的云計(jì)算功能融入無線接入網(wǎng)中,從而更接近移動(dòng)用戶端[17].因此,MEC可以支持多種終端用戶應(yīng)用,例如無人駕駛、虛擬現(xiàn)實(shí)(virtual reality,VR)/增強(qiáng)現(xiàn)實(shí)(augmented reality,AR)、沉浸式媒體等.為了通過異構(gòu)接入網(wǎng),如5G,WiFi,LoRa來發(fā)掘更多MEC的潛力,ETSI在2017年將移動(dòng)邊緣計(jì)算正式更名為多接入邊緣計(jì)算[18].經(jīng)過這次修訂,MEC服務(wù)器可以由網(wǎng)絡(luò)運(yùn)營商在接入網(wǎng)的任何位置進(jìn)行部署,如BS(4G中的eNodeB、5G中的g NodeB)、光纖網(wǎng)絡(luò)單元、WiFi接入點(diǎn)等.這次轉(zhuǎn)型將計(jì)算智能遷移到網(wǎng)絡(luò)邊緣,可以更好地對(duì)網(wǎng)絡(luò)資源和計(jì)算資源進(jìn)行融合.

在MEC中,網(wǎng)絡(luò)和計(jì)算的資源分配一直是關(guān)系到MEC性能的關(guān)鍵問題.文獻(xiàn)[19]提出了一種集中式的多用戶資源分配策略[19].通過對(duì)計(jì)算、存儲(chǔ)和通信資源的協(xié)同優(yōu)化,實(shí)現(xiàn)了較高性能的計(jì)算卸載策略.集中式的分配策略可以對(duì)資源進(jìn)行協(xié)同優(yōu)化,卻具有較高的計(jì)算復(fù)雜度和傳輸代價(jià),因此并不適用于分布式的多接入邊緣計(jì)算架構(gòu).文獻(xiàn)[20]提出了一種分布式的多用戶MEC資源分配和計(jì)算卸載策略[20].通過交替方向乘子法(alternating direction method of multipliers,ADMM),文獻(xiàn)[20]實(shí)現(xiàn)了較為高效的分布式資源分配策略.

近幾年,人工智能與網(wǎng)絡(luò)的結(jié)合取得了巨大的進(jìn)步.由于MEC資源優(yōu)化問題的復(fù)雜性,很多學(xué)者將深度強(qiáng)化學(xué)習(xí)(deep reinforcement learning,DRL)引入MEC之中.通過和網(wǎng)絡(luò)環(huán)境不斷地進(jìn)行交互,從而自動(dòng)學(xué)習(xí)不同情況下的最優(yōu)分配策略.文獻(xiàn)[21]將MEC的計(jì)算卸載問題描述成一個(gè)Markov決策過程(Markov decision process,MDP),并將用戶和Cloudlet節(jié)點(diǎn)間的信道質(zhì)量引入狀態(tài)決策之中[21].文獻(xiàn)[22]將Q-Learning和深度學(xué)習(xí)(deep learning)進(jìn)行結(jié)合,從而自適應(yīng)地學(xué)習(xí)最優(yōu)卸載決策和卸載速率[22].

網(wǎng)絡(luò)切片技術(shù)是5G新無線電(new radio,NR)的關(guān)鍵技術(shù)之一.切片技術(shù)允許運(yùn)營商共享相同的網(wǎng)絡(luò)基礎(chǔ)架構(gòu)資源,如頻譜、基站等[23].通過切片技術(shù),運(yùn)營商可以基于單一物理設(shè)施為用戶提供多虛擬網(wǎng)絡(luò)運(yùn)行服務(wù),滿足個(gè)性化的業(yè)務(wù)需求.第三代合作伙伴計(jì)劃(3rd generation partnership project,3GPP)將網(wǎng)絡(luò)切片定義為一項(xiàng)使運(yùn)營商能夠創(chuàng)建不同的網(wǎng)絡(luò)來滿足和優(yōu)化不同市場需求的技術(shù)[24].而ITU-T將網(wǎng)絡(luò)切片定義為邏輯隔離網(wǎng)絡(luò)分區(qū)(logical isolated network partitions,LINP).隔離分區(qū)由多種虛擬資源組成,這些資源相互隔離并配有可編程控制和數(shù)據(jù)平面[25].大量的現(xiàn)有研究已解決了網(wǎng)絡(luò)中不同級(jí)別的切片問題[26-30].在文獻(xiàn)[26]中,作者提出了一種基于部分頻域復(fù)用的資源共享協(xié)議政策,通過比較數(shù)據(jù)間的相關(guān)性來減少丟包.在文獻(xiàn)[27]中,作者設(shè)計(jì)了一種切片資源的分配方案.通過調(diào)節(jié)切片資源的利用率來提高網(wǎng)絡(luò)的整體性能.在文獻(xiàn)[28]中,作者通過減少片間干擾來解決相鄰基站之間的干擾問題.然而,目前很少有工作從接入網(wǎng)的物理層切片技術(shù)入手,討論無線網(wǎng)絡(luò)的資源優(yōu)化問題.文獻(xiàn)[29]第1次著重闡述了物理層切片對(duì)于無線網(wǎng)絡(luò)優(yōu)化的重要性,并提出了自適應(yīng)的物理層切片分配算法.在文獻(xiàn)[30]中,作者進(jìn)一步提出,物理層網(wǎng)絡(luò)切片要和邊緣計(jì)算進(jìn)行聯(lián)合,并設(shè)計(jì)了相應(yīng)的優(yōu)化方案SI-EDGE,對(duì)MEC資源進(jìn)行統(tǒng)一優(yōu)化.

然而,當(dāng)前的MEC架構(gòu)沒有將網(wǎng)絡(luò)特性和計(jì)算特性進(jìn)行很好地融合.而且,由于資源的分配過于粗粒度,并不能很好地適應(yīng)底層網(wǎng)絡(luò)復(fù)雜多變的情況和上層用戶動(dòng)態(tài)多樣的資源需求.如圖1所示,本文旨在提出一種細(xì)粒度的多接入邊緣計(jì)算架構(gòu),將接入網(wǎng)的信道傳輸特性和基于軟件定義的計(jì)算資源進(jìn)行深度融合,通過深度強(qiáng)化學(xué)習(xí),對(duì)所有可能的資源進(jìn)行協(xié)同優(yōu)化,以滿足資源的高效利用.

為了實(shí)現(xiàn)以上目標(biāo),我們要從網(wǎng)絡(luò)底層入手,重新思考整個(gè)網(wǎng)絡(luò)的架構(gòu).因此,當(dāng)前的設(shè)計(jì)面臨著3個(gè)挑戰(zhàn):

Fig.1 Fine-grained multi-access edge computing architecture for cloud-network Integration圖1 面向云網(wǎng)融合的細(xì)粒度多接入邊緣計(jì)算架構(gòu)

1)為了保證接入網(wǎng)的信道資源可以細(xì)粒度地訪問,接入網(wǎng)的物理層要實(shí)現(xiàn)切片,并對(duì)傳輸信號(hào)進(jìn)行有效分離.這樣,終端用戶才可以在傳統(tǒng)的接入網(wǎng)信道中細(xì)粒度地使用信道資源,實(shí)現(xiàn)按需的混合MAC并發(fā)傳輸.然而,如何在不改變?cè)姓{(diào)制編碼的情況下,有效地將不同用戶的數(shù)據(jù)區(qū)分開,進(jìn)行MAC協(xié)議協(xié)同合作,是一個(gè)嚴(yán)峻的挑戰(zhàn).

2)傳統(tǒng)的MEC架構(gòu)基于固定的網(wǎng)絡(luò)部署,這往往會(huì)增加資源調(diào)用的代價(jià).基于軟件定義的網(wǎng)絡(luò)控制器應(yīng)該如何部署,才能結(jié)合接入網(wǎng)的網(wǎng)絡(luò)特性,盡可能減少控制信息傳輸代價(jià),進(jìn)行有效的資源卸載,也是一個(gè)繼續(xù)思考的問題.

3)在保證細(xì)粒度的網(wǎng)絡(luò)資源接入和靈活的計(jì)算資源部署之后,如何利用深度強(qiáng)化學(xué)習(xí)相關(guān)技術(shù),更好地結(jié)合云網(wǎng)各自的優(yōu)勢(shì)來實(shí)現(xiàn)資源的有效利用,是本文需要解決的重要問題.

2 面向云網(wǎng)融合的細(xì)粒度物理層/MAC層切片

本節(jié)我們主要介紹面向云網(wǎng)融合的細(xì)粒度物理層/MAC層切片.該架構(gòu)從網(wǎng)絡(luò)底層入手,通過物理層/MAC層切片,可以實(shí)現(xiàn)接入網(wǎng)細(xì)粒度的混合MAC并發(fā)傳輸.

2.1 物理層/MAC層切片概述

Fig.2 Design of edge computing protocol stack for cloud-network integration圖2 面向云網(wǎng)融合的邊緣計(jì)算協(xié)議棧設(shè)計(jì)

由于智能終端用戶的傳輸需求動(dòng)態(tài)多樣,加之無線接入網(wǎng)底層的環(huán)境復(fù)雜多變,傳統(tǒng)單一且粗粒度的MAC接入方式已經(jīng)不能應(yīng)對(duì)如此巨大的挑戰(zhàn).目前急需細(xì)粒度且靈活的MAC接入方式,來滿足不同用戶的傳輸需求.因此,本文從接入網(wǎng)的底層入手,首先提出了一種基于物理層和MAC層的切片設(shè)計(jì).圖2描述了基于物理層/MAC層切片設(shè)計(jì)的協(xié)議棧.原始的物理信道被切分成若干個(gè)細(xì)粒度的單元(例如,由若干子載波組成的子信道),每個(gè)子信道可以支持一種MAC接入方式.這樣,不同的終端設(shè)備就可以根據(jù)自己的信道質(zhì)量和傳輸需求,在同一個(gè)信道通過不同的MAC協(xié)議進(jìn)行接入,從而最大化地對(duì)信道資源進(jìn)行利用.具體來說,物理層/MAC層切片建立在正交頻分復(fù)用技術(shù)(orthogonal frequency-division multiplexing,OFDM)之 上.通過對(duì)物理層子載波之間進(jìn)行解耦和,從而實(shí)現(xiàn)細(xì)粒度的MAC訪問.物理層/MAC層切片為終端用戶接入網(wǎng)絡(luò)提供了靈活、自適應(yīng)的傳輸承諾.多種MAC訪問在頻域上的并發(fā)傳輸,可以更好地迎合終端用戶動(dòng)態(tài)多樣的傳輸需求.在這種背景下,協(xié)議棧配有一個(gè)軟件定義網(wǎng)絡(luò)(software defined network,SDN)控制器,運(yùn)行在物理層/MAC層切片之上,負(fù)責(zé)物理層子信道和MAC層協(xié)議的分配.通過及時(shí)調(diào)整物理層的子信道資源和MAC層的接入?yún)f(xié)議,SDN控制器旨在利用底層信道的多樣性,對(duì)物理層和MAC層資源進(jìn)行協(xié)同優(yōu)化,最大化地提高資源利用率.

2.2 物理層/MAC層切片設(shè)計(jì)

為了使各式各樣的智能終端設(shè)備可以利用物理層/MAC層切片設(shè)計(jì)進(jìn)行細(xì)粒度的信道接入,本文設(shè)計(jì)中使用的基本訪問粒度是元信道(meta channel).每個(gè)元信道由一組OFDM子載波組成.以無線局域網(wǎng)(wireless local area network,WLAN)為例,對(duì)于一個(gè)具有64個(gè)快速傅里葉變換(fast Fourier transform,FFT)點(diǎn)的20 MHz信道,通常每16個(gè)子載波(帶寬為1.33 MHz)組成一個(gè)元信道,而若干元信道組成一個(gè)子信道.子信道可以是連續(xù)的,也可以在頻域上相對(duì)分離.子信道的大小由SDN控制器統(tǒng)一進(jìn)行安排,一般遵循2個(gè)標(biāo)準(zhǔn):1)每個(gè)子信道的分配應(yīng)足夠?qū)?以確保滿足終端用戶的傳輸需求;2)子信道的分配也應(yīng)該足夠窄,從而充分利用頻率選擇效應(yīng)進(jìn)行適合的MAC傳輸.當(dāng)一種MAC協(xié)議在一組子信道上進(jìn)行接入時(shí),剩余的子信道資源由SDN控制器進(jìn)行分配,分配主要依據(jù)2個(gè)原則:終端用戶的信道質(zhì)量和傳輸計(jì)算需求.其中,子信道的質(zhì)量由終端用戶進(jìn)行評(píng)估,并反饋給SDN控制器;而傳輸計(jì)算需求則在競爭輪詢時(shí)將請(qǐng)求報(bào)告給SDN控制器.由于傳統(tǒng)的時(shí)間競爭策略大大增加了傳輸代價(jià),因此,本文設(shè)計(jì)了一種頻域競爭策略.與傳統(tǒng)的時(shí)域競爭相比,頻域競爭策略可以充分利用頻域資源.在頻域競爭策略中,終端用戶可以利用不同的頻域同時(shí)進(jìn)行資源需求的請(qǐng)求,因此可以避免時(shí)域競爭的傳輸沖突,大大降低了競爭的開銷.

頻域競爭策略的想法雖然聽上去簡單直接,然而,為了可以應(yīng)用到細(xì)粒度的邊緣計(jì)算架構(gòu)中,需要設(shè)計(jì)兩級(jí)F-RTS/F-CTS結(jié)構(gòu).圖3給出了一個(gè)頻域競爭策略的示例,整個(gè)信道分為5個(gè)子信道.當(dāng)網(wǎng)絡(luò)初始化之后,終端用戶先等待DCF幀間間隔(DCF interframe space,DIFS),以完成同步.隨后,在輪詢時(shí)段,終端用戶通過頻域競爭策略進(jìn)行傳輸/計(jì)算需求的請(qǐng)求.當(dāng)SDN控制器獲得所有用戶的需求之后,將運(yùn)行資源分配策略,根據(jù)終端用戶的信道質(zhì)量和傳輸/計(jì)算需求,對(duì)所有可能的資源(如傳輸資源、計(jì)算資源和存儲(chǔ)資源)進(jìn)行分配,并在F-CTS中反饋分配結(jié)果.在等待PCF幀間間隔(PCF interframe space,PIFS)之后,終端用戶可以根據(jù)通知結(jié)果,去接入自己分配的信道資源.

Fig.3 Physical layer/MAC layer slice example圖3 物理層/MAC層切片示例

具體來說,兩級(jí)F-RTS/F-CTS結(jié)構(gòu)實(shí)現(xiàn)了兩級(jí)的競爭輪詢,分別是競爭/通知輪詢階段和傳輸輪詢階段.第1級(jí)的競爭/輪詢階段由F-RTS/F-CTS負(fù)責(zé),用于信道和計(jì)算資源的分配.在第2級(jí)的傳輸輪詢階段,F-RTS/F-CTS有另外的用途.如果終端用戶被分配的是競爭類型的MAC協(xié)議,如載波監(jiān)聽多址接入(carrier sense multiple access,CSMA),即如圖3中的子信道2和子信道5,那么這2個(gè)子信道的F-RTS/F-CTS用于組織終端用戶進(jìn)行的接入網(wǎng)的訪問.如果終端用戶被分配的是預(yù)約類型的MAC協(xié)議,如圖3中的子信道1,3,4,那么這3個(gè)子信道的F-RTS/F-CTS用于安排傳輸時(shí)間表.因此,F-RTS/F-CTS在這2層中具有不同的幀格式.舉例說明,在第1級(jí),F-RTS/F-CTS用于資源的競爭,因此在頻域中,F-RTS/CTS包括2個(gè)部分:1)作為標(biāo)識(shí);2)作為競爭/通知頻段.標(biāo)識(shí)部分用來說明當(dāng)前的幀是F-RTS還是F-CTS.這部分標(biāo)識(shí)放置在幀的開頭.以64點(diǎn)的FFT為例,通常來說,為了保證BAM的抗干擾能力,16個(gè)子載波比較合適.然后,在競爭/通知頻段,為了保證抗干擾性能,以每4個(gè)子載波為一個(gè)基本單元進(jìn)行傳輸需求的請(qǐng)求,而每12個(gè)子載波為一個(gè)基本單元進(jìn)行計(jì)算資源的請(qǐng)求.相應(yīng)地,在通知階段,子載波也分成2個(gè)部分:1)用來確認(rèn)MAC協(xié)議的分配;2)用來確認(rèn)子信道的分配.在第2級(jí)中,F-RTS/F-CTS用于細(xì)粒度的接入網(wǎng)資源訪問,由于終端設(shè)備的傳輸需求動(dòng)態(tài)多樣,第2級(jí)的傳輸可以用于不同類型的MAC協(xié)議進(jìn)行并發(fā)傳輸.這部分的具體分配也由SDN控制器進(jìn)行規(guī)劃.例如,預(yù)約類型的MAC協(xié)議,如時(shí)分復(fù)用的多址接入(time division multiple access,TDMA)可以通過F-CTS進(jìn)行傳輸調(diào)度安排.而競爭類型的MAC協(xié)議,如CSMA可以利用F-RTS/F-CTS進(jìn)行細(xì)粒度子信道訪問競爭.在第2級(jí)的CSMA競爭中,用戶可以隨機(jī)選擇一個(gè)子載波作為其標(biāo)識(shí),并使用該子載波在F-RTS期間發(fā)送BAM符號(hào).如果該終端用戶的訪問被授予,SDN控制器將在F-CTS期間在對(duì)應(yīng)的子載波進(jìn)行通知.通過這種方式,可以實(shí)現(xiàn)細(xì)粒度的接入網(wǎng)資源分配,最大化地提高接入網(wǎng)的頻譜利用率和系統(tǒng)效能.我們進(jìn)一步設(shè)計(jì)了基于Q-Learning的兩級(jí)自適應(yīng)資源分配學(xué)習(xí)策略,將在第3節(jié)中詳細(xì)介紹.

3 基于軟件定義的細(xì)粒度多接入邊緣計(jì)算架構(gòu)

本節(jié)我們將詳細(xì)介紹基于軟件的細(xì)粒度多接入邊緣計(jì)算架構(gòu).傳統(tǒng)的邊緣計(jì)算架構(gòu)無法充分地利用接入網(wǎng)和邊緣-云節(jié)點(diǎn)的資源.在本文中,基于細(xì)粒度的物理層/MAC層切片,邊緣計(jì)算可以更好地利用接入網(wǎng)特性和MEC節(jié)點(diǎn)的資源進(jìn)行協(xié)同優(yōu)化.

3.1 基于軟件定義的多接入邊緣計(jì)算架構(gòu)設(shè)計(jì)

如圖1所描述,具有存儲(chǔ)和計(jì)算資源的MEC節(jié)點(diǎn)(例如服務(wù)器)部署在接入網(wǎng)之中,從而為終端用戶提供具有彈性的網(wǎng)絡(luò)服務(wù),如計(jì)算卸載和服務(wù)緩存.這些MEC節(jié)點(diǎn)可以部署在eNodeB、BS、宏站甚至是小型基站之中.此外,MEC節(jié)點(diǎn)也可以部署在住宅區(qū)域,并通過邊緣交換機(jī)或集成交換機(jī)進(jìn)行接入訪問.除了接入網(wǎng)絡(luò)中的MEC節(jié)點(diǎn)之外,我們也在接入網(wǎng)和匯聚網(wǎng)之間根據(jù)需要部署具有適當(dāng)規(guī)模的MEC數(shù)據(jù)中心(data center,DC),通常,匯聚網(wǎng)的聚合節(jié)點(diǎn),例如公用電話交換網(wǎng)(public switched telephone network,PSTN)、中央或移動(dòng)電話交換局(mobile telephone switching office,MTSO),是部署MEC數(shù)據(jù)中心的理想場所,因?yàn)樗辛髁吭诮尤氲絀nternet之前,都會(huì)經(jīng)過這些節(jié)點(diǎn).并且,MEC DC也是基于軟件定義的數(shù)據(jù)中心,其中MEC節(jié)點(diǎn)(即包含計(jì)算、存儲(chǔ)能力的資源池)根據(jù)需要由一個(gè)或多個(gè)SDN控制器進(jìn)行控制.

圖4給出了基于軟件定義的多接入邊緣計(jì)算分布式節(jié)點(diǎn)架構(gòu)設(shè)計(jì).這些MEC節(jié)點(diǎn)有幾種不同的功能和角色,包括公共節(jié)點(diǎn)(common node,CNode)、區(qū)域代理節(jié)點(diǎn)(regional node,RANode)、超級(jí)節(jié)點(diǎn)(super node,SNode)和證書授權(quán)節(jié)點(diǎn)(certificate authority,CA).這些MEC節(jié)點(diǎn)的角色描述為:

1)CNode.CNode是最常見的MEC節(jié)點(diǎn),分布在整個(gè)接入網(wǎng)中.CNode用于為終端用戶提供計(jì)算卸載服務(wù),并為遠(yuǎn)程Internet/云服務(wù)的服務(wù)緩存提供存儲(chǔ)資源.CNode是高度虛擬化的,并且虛擬機(jī)(virtual machine,VM)可以在SNode的控制下遠(yuǎn)程安裝/遷移到CNodes上.

2)RANode.RANode代表位于接入網(wǎng)中的區(qū)域代理MEC節(jié)點(diǎn).RANode由SNode進(jìn)行選擇.SNode從接入網(wǎng)范圍內(nèi)的CNode中確定合適的RANode.RANode負(fù)責(zé)資源發(fā)現(xiàn)、管理/監(jiān)視其區(qū)域內(nèi)所有CNode的狀態(tài).盡管具有區(qū)域代理的作用,但RANode本身還是CNode,可以執(zhí)行計(jì)算卸載.

Fig.4 Software-defined based multi-access edge computing architecture design圖4 基于軟件定義的多接入邊緣計(jì)算架構(gòu)設(shè)計(jì)

3)SNode.SNode代表位于接入網(wǎng)和匯聚網(wǎng)之間MEC數(shù)據(jù)中心中的超級(jí)智能節(jié)點(diǎn).每個(gè)SNode負(fù)責(zé)管理SDN控制器分配給它的一定數(shù)量的CNode和RANode.SNode的任務(wù)包括管理CNodes/RANode上的VM遠(yuǎn)程安裝、節(jié)點(diǎn)的加入/離開(無縫擴(kuò)展)、節(jié)點(diǎn)配置、用戶管理等.SNode由SDN控制器控制,并且可以與其他SNode通信.SNode還可以緩存從遠(yuǎn)程數(shù)據(jù)中心卸載的Internet服務(wù)和云服務(wù).進(jìn)一步地,SNode可以將部分緩存服務(wù)卸載到更接近終端用戶的CNode或RANode中,從而極大地提高計(jì)算卸載效率.

4)CA.證書授權(quán)節(jié)點(diǎn)CA是位于MEC數(shù)據(jù)中心內(nèi)的節(jié)點(diǎn),負(fù)責(zé)用戶的證書生成和管理,提供簽名、授權(quán)和證書的功能,并保留證書存儲(chǔ)庫內(nèi)所有授權(quán)用戶的信息.

3.2 云網(wǎng)資源分配問題建模

我們將面向云網(wǎng)融合的細(xì)粒度邊緣架構(gòu)抽象成圖5所示的系統(tǒng)模型.該模型設(shè)定為由m個(gè)用戶client i,i∈{1,2,…,m},n個(gè)邊緣計(jì)算節(jié)點(diǎn)CNode j,j∈{1,2,…,n},SDN控制器SNode和中心云所組成的多層次網(wǎng)絡(luò).基于該系統(tǒng)模型,我們將資源分配算法進(jìn)行建模,具體為:

1)用戶任務(wù).Client Task i(i∈{1,2,…,m}),表示用戶i所提交的任務(wù)請(qǐng)求.Client Task i又可細(xì)分為Client Task i＝{Mem i,f i}.其中,Mem i表示任務(wù)所需內(nèi)存大小,代表該任務(wù)所需的存儲(chǔ)能力;f i則表示處理1 b數(shù)據(jù)所需的時(shí)鐘周期,代表該任務(wù)所需的計(jì)算能力.

Fig.5 Resource allocation model for cloud-network integration圖5 面向云網(wǎng)融合的資源分配模型

2)服務(wù)節(jié)點(diǎn)資源.ServerSource j(j∈{1,2,…,n}),表示服務(wù)節(jié)點(diǎn)j擁有的資源量.ServerSource j同樣可細(xì)分為ServerSource j＝{Mem j,f j}.

3)MAC協(xié)議.MACProtocol＝{TDMA,CSMA}.

4)信道質(zhì)量CSI.CSI＝{CSI c1,CSI c2,…,CSI cm}.

該模型應(yīng)符合約束條件,即用戶任務(wù)應(yīng)小于服務(wù)節(jié)點(diǎn)資源Client Task i＝{Mem i,f i}≤?Server-Source j＝{Mem i,f j},i∈{1,2,…,m},j∈{1,2,…,n}.而用戶所選擇的MAC協(xié)議與信道質(zhì)量CSI之間也存在關(guān)系:MACProtocol＝λ×CSI,其中,λ是選擇某一種MAC協(xié)議的概率.

給定了用戶任務(wù)ClientTask i和信道質(zhì)量CSI i,我們的目標(biāo)是優(yōu)化整個(gè)系統(tǒng)的網(wǎng)絡(luò)效用和計(jì)算效用,即

優(yōu)化問題復(fù)雜度:這個(gè)優(yōu)化問題可以轉(zhuǎn)化成算法布林可滿足性問題(Boolean satisfiability problem,SAT)[31].由于給定變量,包括Server,Task,CSI,MACProtocol,都對(duì)應(yīng)著SAT問題中的一個(gè)析取范式C i,而SAT問題求解的實(shí)質(zhì)是要確保每一個(gè)Ci中都能夠存在1,從而保證子句C＝1.對(duì)應(yīng)于我們提出的問題,其實(shí)質(zhì)就是對(duì)應(yīng)給定的一個(gè)Task,能夠正確地選擇出合適的MACProtocol,CSI以及Server作為一組結(jié)果,也即SAT問題的解.因此,我們將SAT問題規(guī)約到我們的算法中繼續(xù)解決,從而證明本算法屬于NP-Complete問題.

3.3 基于Q-Learning的細(xì)粒度自適應(yīng)資源分配算法

由于該問題是NP-Complete問題,本節(jié)提出了一種基于深度強(qiáng)化學(xué)習(xí)Deep Q-Learning(DQN)[32]的細(xì)粒度自適應(yīng)資源分配方法.深度強(qiáng)化學(xué)習(xí)可以通過感知周圍環(huán)境,不斷進(jìn)行學(xué)習(xí),并根據(jù)環(huán)境的反饋進(jìn)行策略調(diào)整,最終學(xué)習(xí)到最優(yōu)的策略.在本文中,我們?cè)O(shè)計(jì)了一種融合網(wǎng)絡(luò)和云端特性的協(xié)同學(xué)習(xí)優(yōu)化策略.系統(tǒng)首先通過終端用戶的接入網(wǎng)網(wǎng)絡(luò)特性對(duì)傳輸資源的分配進(jìn)行細(xì)粒度的學(xué)習(xí),根據(jù)傳輸資源的學(xué)習(xí)結(jié)果,再結(jié)合邊緣計(jì)算節(jié)點(diǎn)的計(jì)算性能進(jìn)行計(jì)算卸載的策略學(xué)習(xí),從而最大化地利用網(wǎng)絡(luò)和計(jì)算資源.

具體來說,SNode首先根據(jù)終端用戶的信道質(zhì)量CSI i,i∈{1,2,…,m},對(duì)于每一個(gè)用戶的物理層/MAC層策略進(jìn)行自適應(yīng)學(xué)習(xí).假設(shè)當(dāng)前一共有S個(gè)子信道channel j,j∈{1,2,…,s},用戶client i所需要卸載的計(jì)算任務(wù)可表示為Task i＝{s i,g i},i∈{1,2,…,Q},其中Q表示用戶i卸載的任務(wù)總量,s i表示任務(wù)數(shù)據(jù)輸入大小,g i則表示請(qǐng)求的服務(wù)器計(jì)算資源大小.則SNode需要為用戶client i確定使用的MAC策略MACProtocol i.

1)狀態(tài)(State).control擁有所有的終端用戶信道質(zhì)量,因此control表示的系統(tǒng)整體狀態(tài)為

其中,Subch表示信道資源,MACProtocol i表示第i個(gè)用戶分配的子信道MAC協(xié)議.

2)動(dòng)作(Action).動(dòng)作表示為control為用戶選擇的MAC協(xié)議,即Action集合為

3)獎(jiǎng)勵(lì)(reward).獎(jiǎng)勵(lì)部分由執(zhí)行動(dòng)作前后的環(huán)境信息狀態(tài)進(jìn)行確定.如基于時(shí)延指標(biāo)的環(huán)境信息,若State t＝100 s以及State t＋1＝120 s,則易知存在－0.2的增長.因此,得到指標(biāo)增長比:

式(1)等號(hào)右側(cè)分子部分采用絕對(duì)值形式,是因?yàn)榛诓煌闹笜?biāo)形式,指標(biāo)增長比所帶來的效果是不一致的.對(duì)于時(shí)延指標(biāo)來說,指標(biāo)值增加帶來負(fù)收益,而對(duì)于吞吐量等指標(biāo)來說,指標(biāo)值增長則是正收益.因此,需要依照具體指標(biāo)形式,設(shè)定指標(biāo)增長比計(jì)算公式.

依照上述分析,可獲取指標(biāo)值的增長比,但是為了防止出現(xiàn)過擬合現(xiàn)象以及Q表更新合理性分析,設(shè)定為

式(2)中,在已經(jīng)獲取優(yōu)勢(shì)MAC協(xié)議后,設(shè)定reward＝0,以防止Q表值過大,Q-Learning收斂過快;λ則為衰減因子,防止IncreaseRatio過大,從而導(dǎo)致reward過大、過快收斂.算法1描述了基于Q-Learning的自適應(yīng)MAC分配協(xié)議.

算法

1.基于Q-Learning的MAC協(xié)議選擇算法.

輸入:網(wǎng)絡(luò)指標(biāo)類型;

輸出:網(wǎng)絡(luò)性能指標(biāo).

①初始化Q表、初始狀態(tài);

重復(fù):

②由當(dāng)前狀態(tài)以及網(wǎng)絡(luò)指標(biāo)類型確定當(dāng)前網(wǎng)絡(luò)狀況;

③利用Q表或者ε_(tái)貪婪策略,基于當(dāng)前網(wǎng)絡(luò)狀況選擇MAC協(xié)議;

④用戶改變MAC協(xié)議,并報(bào)告新狀態(tài);

⑤由新狀態(tài)以及網(wǎng)絡(luò)指標(biāo)類型確定新網(wǎng)絡(luò)狀況;

⑥通過前后網(wǎng)絡(luò)狀況對(duì)比,計(jì)算動(dòng)作獎(jiǎng)勵(lì);

⑦依照獲取的獎(jiǎng)勵(lì)更新Q表,并更新當(dāng)前狀態(tài);

⑧記錄本次網(wǎng)絡(luò)性能指標(biāo);

結(jié)束條件:達(dá)到終止?fàn)顟B(tài)或者達(dá)到訓(xùn)練次數(shù);

Return:網(wǎng)絡(luò)性能指標(biāo).

當(dāng)確定終端用戶的物理層/MAC層策略之后,SNode進(jìn)一步對(duì)終端用戶進(jìn)行計(jì)算卸載的策略學(xué)習(xí).假設(shè)服務(wù)器Server j資源可表示為source j＝{f j},j∈{1,2,…,n},其中f j表示對(duì)服務(wù)器資源的綜合評(píng)價(jià).而通信方面分配的資源用MAC協(xié)議進(jìn)行描述,即c k＝{TDMA,CSMA},k∈{1,2,…,n}.

1)狀態(tài)(State).control擁有所有的邊緣服務(wù)器信息以及用戶所提交的任務(wù)信息,因此control表示的系統(tǒng)整體狀態(tài)為

其中,EdgeServerSource n表示第n個(gè)邊緣服務(wù)器所擁有的資源,Task u表示第u個(gè)用戶的任務(wù)請(qǐng)求信息.

2)動(dòng)作(Action).動(dòng)作表示為control為用戶選擇卸載服務(wù)器,即Action集合為

其中,EdgeServer n表示第n個(gè)邊緣服務(wù)器,cloud表示云服務(wù)器.

3)獎(jiǎng)勵(lì)(reward).由計(jì)算卸載的目標(biāo)準(zhǔn)則可知,針對(duì)用戶任務(wù)卸載請(qǐng)求,完成任務(wù)所需要消耗的時(shí)延越短越好.因此易知,當(dāng)用戶任務(wù)卸載至本區(qū)域內(nèi)的邊緣服務(wù)器時(shí),其所消耗時(shí)延將小于卸載至其他區(qū)域內(nèi)的邊緣服務(wù)器,遠(yuǎn)小于卸載至云服務(wù)器的時(shí)延.同理,卸載至其他區(qū)域邊緣服務(wù)器所消耗的代價(jià)略大于本區(qū)域的邊緣服務(wù)器,小于云服務(wù)器的代價(jià).因此,設(shè)定不同的優(yōu)先級(jí)標(biāo)識(shí)不同層次的服務(wù)器級(jí)別.

依照不同的優(yōu)先級(jí),將獲得不同收益;我們期望高優(yōu)先級(jí)能夠獲取更好的收益,而中優(yōu)先級(jí)所獲取收益相對(duì)來說較少,而對(duì)于云服務(wù)器來說,由于其長距離導(dǎo)致的高時(shí)延問題,因此將獲得負(fù)收益.其reward計(jì)算為

其中,λ表示衰減因子,防止網(wǎng)絡(luò)收斂過快.算法2描述了基于DQN的計(jì)算卸載自適應(yīng)學(xué)習(xí)過程.

算法2.基于DQN的計(jì)算卸載算法.

輸入:預(yù)測神經(jīng)網(wǎng)絡(luò)、目標(biāo)神經(jīng)網(wǎng)絡(luò)、經(jīng)驗(yàn)池;

輸出:網(wǎng)絡(luò)性能指標(biāo).

①初始化 經(jīng)驗(yàn)池、神經(jīng)網(wǎng)絡(luò)參數(shù);重復(fù):

②由邊緣服務(wù)器信息以及任務(wù)請(qǐng)求確定當(dāng)前狀態(tài);

③利用預(yù)測神經(jīng)網(wǎng)絡(luò)或者ε_(tái)貪婪策略,基于當(dāng)前狀態(tài)選擇動(dòng)作(卸載節(jié)點(diǎn))Action;

④用戶卸載至邊緣服務(wù)器[Action]或者云服務(wù)器;

⑤獲取新狀態(tài),并計(jì)算動(dòng)作獎(jiǎng)勵(lì);

⑥將四元組(當(dāng)前狀態(tài),動(dòng)作,獎(jiǎng)勵(lì),新狀態(tài))存儲(chǔ)到經(jīng)驗(yàn)池;

⑦由經(jīng)驗(yàn)池隨機(jī)抽樣作為預(yù)測神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù);

⑧基于預(yù)測神經(jīng)網(wǎng)絡(luò)、目標(biāo)神經(jīng)網(wǎng)絡(luò),計(jì)算損失函數(shù);

⑨利用損失函數(shù)更新,預(yù)測神經(jīng)網(wǎng)絡(luò)參數(shù);

⑩經(jīng)過一定次數(shù)訓(xùn)練探索后將預(yù)測神經(jīng)網(wǎng)絡(luò)參數(shù)替換目標(biāo)神經(jīng)網(wǎng)絡(luò)參數(shù);

○

1記錄本次網(wǎng)絡(luò)性能指標(biāo);

結(jié)束條件:達(dá)到終止?fàn)顟B(tài)或者達(dá)到訓(xùn)練次數(shù);

Return:網(wǎng)絡(luò)性能指標(biāo).

算法復(fù)雜度:

我們定義函數(shù)regret來衡量采用的epsilon_greedy策略對(duì)探索和利用的平衡效果.具體而言,regret表示每一步平均的可能機(jī)會(huì)損失,其復(fù)雜度為Ω(min{T,A H/2}),其中T表示Q-Learning總訓(xùn)練步數(shù),H表示每個(gè)episode的訓(xùn)練步數(shù),A表示動(dòng)作數(shù)量.因此,時(shí)間復(fù)雜度為一次Q-Learning算法訓(xùn)練時(shí)間,主要在于讀取Q表,而Q表讀取時(shí)間為S×A.因此總時(shí)間為:總訓(xùn)練次數(shù)×讀取Q表時(shí)間,即O(T×A×S),T＝KH,其中T表示Q-Learning總訓(xùn)練步數(shù),K表示總的episode,H表示每個(gè)episode的訓(xùn)練步數(shù),S表示服務(wù)器數(shù)量,A表示動(dòng)作數(shù)量.而空間復(fù)雜度包含信道以及服務(wù)器資源存儲(chǔ)空間和Q表存儲(chǔ)空間,即O((C＋S×|R|)×A×H),其中C表示信道資源量,S表示服務(wù)器數(shù)量,由多元組表示服務(wù)器資源,A表示動(dòng)作數(shù)量,H表示每個(gè)episode的訓(xùn)練步數(shù).

具體來說,SDN在本文設(shè)計(jì)的多接入邊緣計(jì)算架構(gòu)中的工作機(jī)制為:

首先,Internet服務(wù)提供商主動(dòng)將與他們自己相關(guān)聯(lián)的服務(wù)卸載到MEC節(jié)點(diǎn).以圖6為例,假設(shè)移動(dòng)用戶正在通過常規(guī)數(shù)據(jù)路徑訪問基于Internet的游戲前端服務(wù)器.該游戲服務(wù)提供商通過注冊(cè)來使用MEC節(jié)點(diǎn),從而主動(dòng)卸載其服務(wù)并進(jìn)行緩存,并將其存儲(chǔ)在適當(dāng)?shù)腟Node中.進(jìn)一步地,SNode通過將服務(wù)復(fù)制到CNode來將服務(wù)推向最終用戶.同時(shí),CNode在固定時(shí)間間隔內(nèi)搜集覆蓋范圍內(nèi)的移動(dòng)用戶的信道信息CSI,并上報(bào)給SNode.

在計(jì)算服務(wù)被分流之后,當(dāng)一個(gè)移動(dòng)用戶想要訪問游戲服務(wù)器時(shí),該用戶向SNode提出自己的請(qǐng)求.SNode首先根據(jù)用戶的信道質(zhì)量,運(yùn)行物理層/MAC層分配算法.下一步,根據(jù)終端用戶分配的MAC協(xié)議及訪問需求,SNode為該用戶選擇最佳的CNode進(jìn)行卸載,若不存在合適的CNode,則將用戶任務(wù)卸載至中心云.這樣,相關(guān)的流量從網(wǎng)絡(luò)核心和Internet上成功進(jìn)行了卸載,從而大大減輕了流量負(fù)擔(dān).

4 實(shí)驗(yàn)與結(jié)果

本節(jié)我們使用網(wǎng)絡(luò)模擬器NS3對(duì)本文提出的多接入邊緣計(jì)算架構(gòu)進(jìn)行了仿真.我們首先驗(yàn)證了物理層/MAC層切片的可行性.進(jìn)一步地,我們驗(yàn)證了基于Q-Learning的自適應(yīng)資源分配算法的有效性.最后,我們對(duì)比了MEC架構(gòu)中的隨機(jī)卸載算法,以及目前最好的工作SI-EDGE卸載算法[30].通過大量的仿真實(shí)驗(yàn)證明,我們?cè)O(shè)計(jì)的細(xì)粒度資源分配算法相比經(jīng)典的卸載算法,延時(shí)降低了30%,而對(duì)比SI-EDGE卸載算法,延時(shí)降低了10%.

4.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)拓?fù)鋱D設(shè)置如圖5所示,我們考慮一個(gè)典型的MEC計(jì)算卸載場景.終端用戶的信道模擬為頻率選擇性衰落信道(frequency selective fading channel),因此不同子信道之間的質(zhì)量差異較大.信道基本帶寬為10 MHz.終端用戶隨機(jī)分布在邊緣計(jì)算節(jié)點(diǎn)CNode周圍,MEC服務(wù)器的計(jì)算能力為fMEC＝5 GHz/s,每個(gè)終端用戶的計(jì)算能力為fUE＝1 GHz/s.具體的實(shí)驗(yàn)參數(shù)設(shè)置如表1所示:

Fig.6 Example of SDN-based resource allocation and task offloading process圖6 基于SDN的資源分配及任務(wù)卸載流程示例

Table 1 Experimental Setup表1 實(shí)驗(yàn)設(shè)置

4.2 物理層/MAC層切片性能

在物理層/MAC切片中,頻域競爭對(duì)于確保有效的無線資源訪問至關(guān)重要.為了驗(yàn)證其有效性,我們通過單個(gè)沖突域拓?fù)溥M(jìn)行模擬頻域競爭策略.其中,SDN控制器作為集中控制部分,負(fù)責(zé)自適應(yīng)策略的學(xué)習(xí)和最終分配解決方案的決定.因此在傳輸分配時(shí)不會(huì)產(chǎn)生沖突.然而,在傳輸競爭中,很可能幾個(gè)終端用戶隨機(jī)選擇到同一段子載波作為它們的競爭子載波.競爭子載波上的這種沖突將大大降低子信道的訪問效率,沖突的終端用戶無法將發(fā)送任何東西.在這里,我們?cè)u(píng)估2個(gè)或多個(gè)客戶端選擇相同的競爭子載波的可能性,從而評(píng)估頻域競爭策略的可行性.

圖7描述了頻域競爭策略下不同數(shù)量的競爭用戶碰撞的概率P.其中橫坐標(biāo)是用戶的個(gè)數(shù),縱坐標(biāo)是選擇同一段競爭子載波的概率.從圖7中我們可以看出,碰撞概率P隨著終端用戶數(shù)量的增加而增加.因此隨著用戶數(shù)量的增加,用戶選擇同樣的子載波的概率變得更高.為了應(yīng)對(duì)這個(gè)問題,我們?cè)黾恿俗有诺缼拋頊p少多用戶之間的碰撞概率.當(dāng)子信道中子載波數(shù)量n＝8時(shí),終端用戶之間的競爭空間是28－1＝255.此時(shí),這個(gè)競爭空間產(chǎn)生的最大碰撞概率為30%.如果我們繼續(xù)對(duì)子信道進(jìn)行擴(kuò)充,例如,當(dāng)n＝10時(shí),隨著競爭空間提升至210－1＝1 023,則碰撞概率會(huì)迅速下降至10%.足夠大的競爭空間,可以為用戶提供更多的選擇機(jī)會(huì),去選擇不同的競爭子載波,從而提供更好的接入網(wǎng)頻域選擇性能.

Fig.7 The conflict probability of the frequency domain competition strategy under different numbers of users圖7 頻域競爭策略在不同用戶數(shù)量下的沖突概率

4.3 基于Q-Learning的自適應(yīng)資源分配方法

本節(jié)我們對(duì)基于Q-Learning的自適應(yīng)資源分配法進(jìn)行仿真驗(yàn)證.首先,我們驗(yàn)證基于Q-Learning的MAC協(xié)議選擇算法.我們?cè)O(shè)定一個(gè)動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境,節(jié)點(diǎn)可任意接入,造成信道質(zhì)量的波動(dòng).節(jié)點(diǎn)根據(jù)信道質(zhì)量進(jìn)行學(xué)習(xí),從而選擇CSMA協(xié)議或者TDMA協(xié)議.網(wǎng)絡(luò)狀況設(shè)置為:網(wǎng)絡(luò)初始20 s保持較為空閑狀態(tài),在20～40s網(wǎng)絡(luò)轉(zhuǎn)換為繁忙狀態(tài),在40 s后網(wǎng)絡(luò)又切換為空閑狀態(tài).在這種網(wǎng)絡(luò)動(dòng)態(tài)變化的情況下,我們驗(yàn)證根據(jù)不同信道學(xué)習(xí)對(duì)MAC協(xié)議進(jìn)行學(xué)習(xí)的性能.

Fig.8 Adaptive learning algorithm test圖8 自適應(yīng)學(xué)習(xí)算法測試

圖8(a)顯示了用戶對(duì)MAC協(xié)議的學(xué)習(xí)和切換過程.在網(wǎng)絡(luò)初始的0～20 s之內(nèi),除了幾次基于隨機(jī)探索外,基于Q-Learning的MAC選擇算法都能夠正確地選擇時(shí)延較低的CSMA協(xié)議.在20～40 s,由于信道質(zhì)量突變,導(dǎo)致學(xué)習(xí)過程中產(chǎn)生巨大的負(fù)向reward,因此算法能夠及時(shí)地切換MAC協(xié)議.可以發(fā)現(xiàn),在該時(shí)間段,算法能夠正確地選擇時(shí)延較低的TDMA協(xié)議.然而在40～60 s時(shí),我們可以發(fā)現(xiàn)網(wǎng)絡(luò)狀態(tài)已經(jīng)切換為空閑狀態(tài)了,但是算法不能及時(shí)反應(yīng)時(shí)延較低的CSMA協(xié)議.這是由于從TDMA切換到CSMA協(xié)議所獲得正向reward相對(duì)于前面突發(fā)網(wǎng)絡(luò)所造成的負(fù)向reward較小,需要進(jìn)行多次隨機(jī)探索才能夠很好地消除巨大負(fù)向reward造成的影響.在113 s時(shí),算法經(jīng)過多次隨機(jī)探索后,正確地切換為時(shí)延較短的CSMA協(xié)議.

下一步,我們驗(yàn)證基于DQN的計(jì)算卸載算法.在訓(xùn)練初始階段,根據(jù)一定概率,隨機(jī)為用戶選擇節(jié)點(diǎn)卸載.因此,在訓(xùn)練初始階段,部分的卸載選擇了其他區(qū)域或者云服務(wù)器進(jìn)行卸載.而當(dāng)經(jīng)過一段實(shí)驗(yàn)訓(xùn)練后,DQN做出的卸載決策主要集中于卸載至本地邊緣服務(wù)器上.圖8(b)描述了基于DQN的訓(xùn)練卸載結(jié)果.其中,當(dāng)任務(wù)超過一定數(shù)量之后,如7個(gè),超過了本地服務(wù)器的計(jì)算能力.由于任務(wù)量過大,DQN會(huì)選擇卸載至云端,因此時(shí)延會(huì)有所增加.

4.4 基于軟件定義的細(xì)粒度邊緣計(jì)算架構(gòu)的性能

本節(jié)我們對(duì)基于軟件定義的細(xì)粒度邊緣計(jì)算架構(gòu)的性能進(jìn)行了評(píng)估.對(duì)于傳統(tǒng)物理層/MAC層未切片的邊緣計(jì)算架構(gòu),我們?cè)O(shè)計(jì)的邊緣計(jì)算架構(gòu)可以使終端用戶細(xì)粒度的接入無線網(wǎng)絡(luò)進(jìn)行計(jì)算卸載.我們選擇了云端卸載、隨機(jī)卸載以及SI-EDGE三種方法作為對(duì)比.為了保證對(duì)比實(shí)驗(yàn)的公平性,我們?yōu)檫@3種的計(jì)算架構(gòu)添加了頻域競爭策略,從而降低了競爭的傳輸代價(jià).與本文設(shè)計(jì)的頻域競爭策略一致,這3種邊緣計(jì)算架構(gòu)中終端用戶利用FRTS宣布其計(jì)算需求,并且通過SDN控制器,利用F-CTS進(jìn)行分配決定的通知.在云端卸載架構(gòu)和隨機(jī)卸載架構(gòu)中,并沒有使用切片化的物理層/MAC層資源,用戶每次分別選擇云端進(jìn)行計(jì)算卸載(云端),根據(jù)一定的概率選擇卸載的節(jié)點(diǎn)(隨機(jī)).而在SI-EDGE中,網(wǎng)絡(luò)使用切片化資源,并利用Edge Slicing Optimization Problem(ESP)算法進(jìn)行網(wǎng)絡(luò)和計(jì)算資源的聯(lián)合優(yōu)化.

圖9描述了在不同任務(wù)數(shù)量的對(duì)比下4種計(jì)算架構(gòu)的服務(wù)時(shí)間.首先,云端卸載和隨機(jī)卸載,由于并沒有利用切片化的資源,因此和本文提出的MEC架構(gòu)表現(xiàn)出很大的性能差異.在云端卸載和隨機(jī)架構(gòu)中,服務(wù)時(shí)間隨著用戶數(shù)量的增加而迅速增加設(shè)備用戶.由于傳統(tǒng)的架構(gòu)每次只能服務(wù)一類的MAC協(xié)議,并不能同時(shí)滿足多種多樣的計(jì)算要求.相比而言,本文設(shè)計(jì)的細(xì)粒度MEC架構(gòu)在頻率上可以對(duì)多種MAC進(jìn)行并發(fā)傳輸.由于多個(gè)MAC協(xié)議可以同時(shí)運(yùn)行,并且每個(gè)子信道可以根據(jù)終端用戶的信道質(zhì)量,最大化地進(jìn)行計(jì)算卸載的協(xié)同優(yōu)化,因此,能夠適應(yīng)動(dòng)態(tài)多變的終端用戶的需求.

相比而言,由于SI-EDGE的架構(gòu)也采用了切片技術(shù),因此SI-EDGE相較于云端卸載和隨機(jī)卸載也表現(xiàn)出良好的性能,然而由于SI-EDGE并沒有采取MAC的學(xué)習(xí)策略,因此其性能相比本文提出的細(xì)粒度卸載策略還是有所差距.可以發(fā)現(xiàn),在前面任務(wù)數(shù)量較少時(shí),SI-EDGE策略和本文設(shè)計(jì)的策略之間差異較小,而隨著任務(wù)數(shù)量的增多,兩者之間的差異也越來越大.原因主要是因?yàn)槿蝿?wù)數(shù)量增大,從而使得本文涉及的策略增加更多的訓(xùn)練學(xué)習(xí)機(jī)會(huì),因此能夠更好地決定卸載決策.

Fig.9 Performance comparison of MEC圖9 MEC的性能比較

最后,我們測試了本文設(shè)計(jì)架構(gòu)的可靠性.我們分別測試了在鏈路故障和節(jié)點(diǎn)故障下,計(jì)算卸載的性能分析.我們隨機(jī)選擇一條鏈路使其故障,此時(shí),SNode會(huì)直接從路由表中刪除當(dāng)前鏈路,并啟用備用的鏈路進(jìn)行傳輸.圖10(a)描述了鏈路故障下計(jì)算卸載時(shí)延的變化.其中,加粗線條表示的是節(jié)點(diǎn)切換路由表項(xiàng)的時(shí)間,其所需時(shí)間較短.由于訓(xùn)練后,節(jié)點(diǎn)選擇的鏈路會(huì)比備用鏈路更好,因此鏈路故障之后,最初數(shù)據(jù)包的往返時(shí)延會(huì)隨著更換鏈路而增大.但是仍然可以繼續(xù)進(jìn)行計(jì)算卸載并在線學(xué)習(xí).隨后,我們進(jìn)行了節(jié)點(diǎn)故障的測試.我們?cè)谟?jì)算節(jié)點(diǎn)中隨機(jī)選擇一個(gè)節(jié)點(diǎn)使其故障.此時(shí),用戶會(huì)向RNode提出切換節(jié)點(diǎn)請(qǐng)求,而RNode會(huì)返回相應(yīng)新節(jié)點(diǎn)并將業(yè)務(wù)遷移到新的節(jié)點(diǎn)上.因此,節(jié)點(diǎn)故障后,并不能夠很快發(fā)送和接收數(shù)據(jù)包,而需要等待一段遷移時(shí)間才能夠獲取到達(dá)新節(jié)點(diǎn)的往返時(shí)延.圖10(b)描述了節(jié)點(diǎn)故障下計(jì)算卸載的實(shí)驗(yàn)變化.其中,結(jié)果中所示的節(jié)點(diǎn)進(jìn)行業(yè)務(wù)的遷移時(shí)間,由于要進(jìn)行業(yè)務(wù)遷移,時(shí)延增加較多,然而,在該架構(gòu)下計(jì)算卸載仍可以順利進(jìn)行,并可以繼續(xù)在線學(xué)習(xí).

Fig.10 Reliability analysis of fine-grained multi-access edge computing architecture圖10 細(xì)粒度多接入邊緣計(jì)算架構(gòu)的可靠性分析

5 總 結(jié)

針對(duì)目前多邊緣計(jì)算架構(gòu)中資源優(yōu)化粒度粗、掌控不充分等諸多問題,本文設(shè)計(jì)了一種基于SDN的細(xì)粒度多接入邊緣計(jì)算架構(gòu),可以對(duì)網(wǎng)絡(luò)資源和計(jì)算資源進(jìn)行細(xì)粒度的控制并進(jìn)行協(xié)同管理,從而提高多接入邊緣計(jì)算的服務(wù)質(zhì)量.本文提出了接入網(wǎng)簡單高效的物理層/MAC切片方法,可以根據(jù)設(shè)備的計(jì)算要求來支持混合的按需并發(fā)傳輸.本文進(jìn)一步設(shè)計(jì)了一種基于深度強(qiáng)化學(xué)習(xí)Q-Learning的兩級(jí)資源分配策略,對(duì)網(wǎng)絡(luò)資源和計(jì)算資源進(jìn)行自適應(yīng)的細(xì)粒度學(xué)習(xí),并通過軟件定義的體系結(jié)構(gòu)將控制平面與數(shù)據(jù)平面分離,增加了邊緣計(jì)算架構(gòu)的靈活性和可靠性.與傳統(tǒng)固定的邊緣計(jì)算架構(gòu)相比,本文提出的細(xì)粒度架構(gòu)可以對(duì)所有的資源進(jìn)行邏輯集中控制,因此控制平臺(tái)能夠提供更有效的計(jì)算分流和服務(wù)擴(kuò)展.我們討論了所提架構(gòu)的可行性,并通過仿真證明了其有效性.

為了能夠充分發(fā)揮多接入邊緣計(jì)算的軟件定義計(jì)算卸載的潛力,仍需解決多項(xiàng)研究問題.由于能耗始終是物聯(lián)網(wǎng)設(shè)備的主要問題,因此應(yīng)在計(jì)算分流和能耗之間取得平衡.此外,安全性和隱私問題在物聯(lián)網(wǎng)計(jì)算卸載中也至關(guān)重要.在下一階段,我們建議在實(shí)時(shí)測試平臺(tái)(例如軟件定義的無線電和軟件定義的網(wǎng)絡(luò)平臺(tái))上驗(yàn)證本文提出的多接入邊緣計(jì)算框架,并將更多功能集成到該框架中,以使更多物聯(lián)網(wǎng)應(yīng)用受益.