基于深度強(qiáng)化學(xué)習(xí)的流媒體邊緣云會(huì)話調(diào)度策略

李聞斌 黃晟 龐璐寧

【摘要】? ? 近些年來(lái)，以視頻流媒體為首的新興技術(shù)已經(jīng)逐步占據(jù)網(wǎng)絡(luò)總流量的重要部分。其中，視頻流媒體中的網(wǎng)絡(luò)視頻服務(wù)互聯(lián)網(wǎng)產(chǎn)業(yè)的推動(dòng)作用下，已經(jīng)逐步成為當(dāng)代視頻流媒體不可或缺的服務(wù)內(nèi)容。在這樣的發(fā)展態(tài)勢(shì)下，傳統(tǒng)流媒體服務(wù)系統(tǒng)已經(jīng)難以適用于當(dāng)前互聯(lián)網(wǎng)發(fā)展規(guī)模當(dāng)中。為及時(shí)解決這一問(wèn)題，本文主要對(duì)基于深度強(qiáng)化學(xué)習(xí)的流媒體邊緣云會(huì)話調(diào)度問(wèn)題進(jìn)行研究分析，以期可以拓寬我國(guó)流媒體領(lǐng)域發(fā)展、滿(mǎn)足用戶(hù)高質(zhì)量服務(wù)需求。

【關(guān)鍵詞】? ? 深度強(qiáng)化學(xué)習(xí)? ? 流媒體邊緣云? ? 會(huì)話調(diào)度策略

前言：

傳統(tǒng)以CDN與P2P技術(shù)為主流的流媒體系統(tǒng)，在應(yīng)用性能方面多存在較多亟待解決的問(wèn)題，難以為流媒體系統(tǒng)的應(yīng)用可靠性與價(jià)值性提供良好保障。近年來(lái)，隨著我國(guó)新興網(wǎng)絡(luò)技術(shù)的成熟化發(fā)展，流媒體服務(wù)模式逐漸與云形態(tài)相接軌。結(jié)合應(yīng)用發(fā)展情況來(lái)看，技術(shù)人員通過(guò)將流媒體云放置在網(wǎng)絡(luò)邊緣，不僅可以達(dá)到減輕核心網(wǎng)絡(luò)流量負(fù)載的目的，同時(shí)也可以達(dá)到提高用戶(hù)請(qǐng)求響應(yīng)速度的目的。最重要的是，流媒體邊緣云系統(tǒng)在資源方面屬于按需分配進(jìn)行合理應(yīng)用。與傳統(tǒng)流媒體服務(wù)系統(tǒng)相較而言，流媒體邊緣云在資源調(diào)度方面更具彈性特征。但是從客觀角度上來(lái)看，當(dāng)前所應(yīng)用的流媒體邊緣云在資源調(diào)度以及求解方面，仍舊按照傳統(tǒng)模式進(jìn)行規(guī)劃解決，存在自適應(yīng)程度不高的問(wèn)題。為緩解這一現(xiàn)象問(wèn)題，研究人員可以利用強(qiáng)化學(xué)習(xí)以試錯(cuò)的機(jī)制與環(huán)境之間進(jìn)行交互的方法，以期消除以往自適應(yīng)程度不高的問(wèn)題。

一、流媒體邊緣云架構(gòu)體系分析

1.1 總體架構(gòu)形式

流媒體云系統(tǒng)的構(gòu)建主要是由多個(gè)放置在網(wǎng)絡(luò)邊緣的流媒體邊緣云組成，在流媒體邊緣云網(wǎng)絡(luò)位置上對(duì)用戶(hù)發(fā)出的視頻請(qǐng)求進(jìn)行針對(duì)性處理。與以往系統(tǒng)架構(gòu)形式不同，流媒體邊緣云在響應(yīng)用戶(hù)請(qǐng)求速度方面大幅度增強(qiáng)，同時(shí)主干網(wǎng)絡(luò)負(fù)載方面幅度減少，利于滿(mǎn)足用戶(hù)高質(zhì)量服務(wù)需求。

最重要的是，流媒體子云內(nèi)部的各服務(wù)節(jié)點(diǎn)借助云計(jì)算方式實(shí)現(xiàn)對(duì)系統(tǒng)構(gòu)建過(guò)程的動(dòng)態(tài)分析。根據(jù)實(shí)際應(yīng)用反饋情況來(lái)看，流媒體云系統(tǒng)在一定程度上可以有效消除傳統(tǒng)流媒體服務(wù)系統(tǒng)存在的弊端問(wèn)題。并且在內(nèi)部資源的應(yīng)用方面可按照科學(xué)合理的應(yīng)用配置原則進(jìn)行調(diào)度應(yīng)用，可以減少以往資源浪費(fèi)問(wèn)題。

1.2 功能特點(diǎn)

流媒體邊緣云系統(tǒng)按照云計(jì)算方式進(jìn)行組合構(gòu)建可直接向附近互聯(lián)網(wǎng)用戶(hù)提供相應(yīng)的服務(wù)內(nèi)容，如視頻服務(wù)。在提供相應(yīng)服務(wù)的過(guò)程中，流媒體邊緣云系統(tǒng)集成計(jì)算能力與存儲(chǔ)能力于一體，利用虛擬化功能的方式將各類(lèi)視頻資源進(jìn)行統(tǒng)籌規(guī)劃與合理配置，組成多個(gè)邊緣服務(wù)器。圖1為流媒體邊緣云系統(tǒng)結(jié)構(gòu)圖。

從流媒體邊緣云系統(tǒng)結(jié)構(gòu)圖不難看出，流媒體邊緣云系統(tǒng)即可直接向附近互聯(lián)網(wǎng)用戶(hù)提供相對(duì)應(yīng)的視頻服務(wù)，也能根據(jù)用戶(hù)實(shí)際情況制定與執(zhí)行調(diào)度策略。

近些年來(lái)，為進(jìn)一步加強(qiáng)流媒體邊緣云系統(tǒng)的應(yīng)用效果，研究人員主張利用Open Flow技術(shù)構(gòu)建全新的流媒體邊緣云系統(tǒng)框架形式，如圖2所示?；贠pen Flow技術(shù)的流媒體邊緣云系統(tǒng)框架在處理用戶(hù)訪問(wèn)請(qǐng)求以及響應(yīng)速度方面可以達(dá)到好的應(yīng)用效果。

1.3 功能模塊

結(jié)合圖2所示的流媒體邊緣云系統(tǒng)結(jié)構(gòu)圖來(lái)看，流媒體邊緣云系統(tǒng)在運(yùn)行功能方面需要借助Open Flow設(shè)備與媒體服務(wù)器進(jìn)行實(shí)現(xiàn)。其中，網(wǎng)絡(luò)層的Open Flow設(shè)備在結(jié)構(gòu)組成方面，主要以交換機(jī)與控制器設(shè)施為主。具體應(yīng)用過(guò)程中，控制器與應(yīng)用層的媒體服務(wù)器各自發(fā)揮自身的功能作用，利用相對(duì)應(yīng)的調(diào)度策略生成流表項(xiàng)，將流表項(xiàng)中的內(nèi)容及時(shí)反饋給交換機(jī)設(shè)備當(dāng)中。同時(shí)，研究人員需要立足于互聯(lián)網(wǎng)用戶(hù)實(shí)際需求，對(duì)應(yīng)用層中的媒體服務(wù)器的應(yīng)用性能問(wèn)題進(jìn)行重點(diǎn)關(guān)注。為確保媒體服務(wù)器應(yīng)用性能良好，研究人員可以放置Open Flow交換機(jī)實(shí)現(xiàn)對(duì)流表項(xiàng)的合理接收。并在網(wǎng)絡(luò)上實(shí)現(xiàn)數(shù)據(jù)包轉(zhuǎn)發(fā)過(guò)程，確保了互聯(lián)網(wǎng)用戶(hù)與應(yīng)用層的媒體服務(wù)器間的信息指令接收效果。

除此之外，流媒體服務(wù)器應(yīng)該與互聯(lián)網(wǎng)用戶(hù)之間進(jìn)行互動(dòng)交流。目的在于及時(shí)掌握互聯(lián)網(wǎng)用戶(hù)的實(shí)際需求情況，并根據(jù)需求反饋數(shù)據(jù)對(duì)當(dāng)前用戶(hù)視頻服務(wù)工作存在的不足問(wèn)題進(jìn)行及時(shí)定位與深化處理。有一點(diǎn)需要注意的是，為確保業(yè)務(wù)管理服務(wù)器功能應(yīng)用效果得以滿(mǎn)足預(yù)期要求，研究人員可主動(dòng)利用會(huì)話調(diào)度算法生成相關(guān)策略，完成對(duì)用戶(hù)視頻請(qǐng)求的針對(duì)性處理。綜合來(lái)看，流媒體邊緣云會(huì)話調(diào)度主要通過(guò)高效合理分配系統(tǒng)內(nèi)部資源，實(shí)現(xiàn)對(duì)用戶(hù)請(qǐng)求的針對(duì)性處理，主要通過(guò)請(qǐng)求接入、會(huì)話遷移等方式予以實(shí)現(xiàn)。

二、 強(qiáng)化學(xué)習(xí)概念內(nèi)容、基本原理及應(yīng)用優(yōu)勢(shì)分析

2.1 概念內(nèi)容

強(qiáng)化學(xué)習(xí)屬于機(jī)器學(xué)習(xí)方法的領(lǐng)域范疇，主要可以理解為智能體從外界環(huán)境到行為決策的映射學(xué)習(xí)過(guò)程。在應(yīng)用強(qiáng)化學(xué)習(xí)的過(guò)程中，系統(tǒng)可以與外界環(huán)境之間進(jìn)行交互作用，通過(guò)不斷進(jìn)行試錯(cuò)，以最大累積回報(bào)之方式確定科學(xué)合理的策略方法。在這一點(diǎn)上，強(qiáng)化學(xué)習(xí)與動(dòng)態(tài)規(guī)劃存在相類(lèi)似的理念思想。舉例而言，強(qiáng)化學(xué)習(xí)方法主要利用價(jià)值函數(shù)對(duì)相關(guān)解決策略進(jìn)行生成處理。并根據(jù)生成處理方案，選擇最優(yōu)的解決策略。除此之外，強(qiáng)化學(xué)習(xí)在方法策略方面，主動(dòng)集成人工智能技術(shù)以及神經(jīng)網(wǎng)絡(luò)技術(shù)等學(xué)科領(lǐng)域優(yōu)勢(shì)，進(jìn)一步加強(qiáng)了系統(tǒng)運(yùn)行功能。

2.2 基本原理

強(qiáng)化學(xué)習(xí)在基本原理方面主要表現(xiàn)于以下幾點(diǎn)：

當(dāng)系統(tǒng)在執(zhí)行某個(gè)行為動(dòng)作之后受到外界因素的影響而出現(xiàn)改變問(wèn)題時(shí)，系統(tǒng)可以及時(shí)從外界環(huán)境中獲取相關(guān)信息，并根據(jù)相關(guān)信息反饋情況制定相對(duì)應(yīng)的獎(jiǎng)懲措施;當(dāng)系統(tǒng)執(zhí)行某一動(dòng)作之后，外界環(huán)境因素對(duì)執(zhí)行動(dòng)作產(chǎn)生正面影響，則可以認(rèn)為智能體今后的行為動(dòng)作在概念方面將會(huì)得到不斷增加;當(dāng)系統(tǒng)執(zhí)行某一動(dòng)作之后，外界環(huán)境因素對(duì)執(zhí)行動(dòng)作產(chǎn)生負(fù)面影響，則與上述內(nèi)容相反。

2.3 應(yīng)用優(yōu)勢(shì)

結(jié)合以往的應(yīng)用經(jīng)驗(yàn)來(lái)看，強(qiáng)化學(xué)習(xí)系統(tǒng)通常具備以下幾點(diǎn)優(yōu)勢(shì)：

一是自適應(yīng)性程度較高。強(qiáng)化學(xué)習(xí)系統(tǒng)可以主動(dòng)與外部環(huán)境之間進(jìn)行互動(dòng)聯(lián)系，并從外界環(huán)境中獲取信息。二是反應(yīng)性程度較高。強(qiáng)化學(xué)習(xí)系統(tǒng)主要根據(jù)既定的經(jīng)驗(yàn)以及動(dòng)作情況，對(duì)現(xiàn)有動(dòng)作策略進(jìn)行合理選擇;三是很少依賴(lài)外部指導(dǎo)信號(hào)。系統(tǒng)可以根據(jù)外部環(huán)境對(duì)系統(tǒng)實(shí)際作用影響情況，采取針對(duì)性措施進(jìn)行決策判斷。

三、基于深度強(qiáng)化學(xué)習(xí)的流媒體邊緣云會(huì)話調(diào)度策略分析

3.1 會(huì)話調(diào)度模型

流媒體邊緣云會(huì)話調(diào)度策略再結(jié)合深度強(qiáng)化學(xué)習(xí)內(nèi)容時(shí)，需要堅(jiān)持按照會(huì)話調(diào)度模型構(gòu)建要求進(jìn)行統(tǒng)籌規(guī)劃與合理部署。結(jié)合實(shí)踐應(yīng)用情況來(lái)看，研究人員所設(shè)定的強(qiáng)化學(xué)習(xí)目標(biāo)需要圍繞大量學(xué)習(xí)訓(xùn)練反饋情況進(jìn)行合理確立。其中，在決策器設(shè)施的確立方面，研究人員可以根據(jù)MEC系統(tǒng)的運(yùn)行情況以及用戶(hù)視頻實(shí)際需求，選擇合適的服務(wù)器進(jìn)行協(xié)助處理。這樣一來(lái)，系統(tǒng)可以及時(shí)獲取新用戶(hù)的請(qǐng)求信息。并根據(jù)用戶(hù)請(qǐng)求信息情況，確定合適的調(diào)度策略。在會(huì)話調(diào)度模型的構(gòu)建方面，可以參照?qǐng)D3。

3.2 會(huì)話調(diào)度的強(qiáng)化學(xué)習(xí)模型及會(huì)話調(diào)度算法

合理應(yīng)用強(qiáng)化學(xué)習(xí)算法始終是構(gòu)建強(qiáng)化學(xué)習(xí)模型的重要步驟。在具體應(yīng)用過(guò)程中，研究人員應(yīng)該根據(jù)流媒體邊緣云會(huì)話調(diào)度系統(tǒng)的應(yīng)用需求，將會(huì)話調(diào)度問(wèn)題轉(zhuǎn)為強(qiáng)化學(xué)習(xí)問(wèn)題。并在此基礎(chǔ)上，從MEC系統(tǒng)中得到的狀態(tài)信息視為環(huán)境狀態(tài)反饋內(nèi)容，將用戶(hù)視頻請(qǐng)求接入到服務(wù)器當(dāng)中。在強(qiáng)化學(xué)習(xí)會(huì)話調(diào)度算法的應(yīng)用方面，建議研究人員可以從確定行為動(dòng)作策略、存儲(chǔ)價(jià)值函數(shù)等方面進(jìn)行統(tǒng)籌規(guī)劃與合理計(jì)算。在具體計(jì)算過(guò)程中，建議研究人員可利用行為選擇策略與深度神經(jīng)網(wǎng)絡(luò)進(jìn)行合理完成。必要時(shí)為確保系統(tǒng)環(huán)境運(yùn)行安全，研究人員也可以利用行為搜索策略進(jìn)行針對(duì)性處理。

結(jié)術(shù)語(yǔ)：總而言之，隨著我國(guó)互聯(lián)網(wǎng)用戶(hù)規(guī)模及數(shù)量的不斷增加，用戶(hù)對(duì)于視頻流媒體服務(wù)的需求也不斷增加。在這樣的發(fā)展態(tài)勢(shì)下，如何滿(mǎn)足用戶(hù)請(qǐng)求接入與用戶(hù)高質(zhì)量服務(wù)要求，儼然成為我國(guó)流媒體服務(wù)系統(tǒng)亟待解決的問(wèn)題。結(jié)合以往的經(jīng)驗(yàn)來(lái)看，傳統(tǒng)基于CDN與P2P技術(shù)的流媒體系統(tǒng)在應(yīng)用方面存在較多弊端問(wèn)題，難以有效應(yīng)用于當(dāng)前視頻流媒體服務(wù)工作當(dāng)中。為及時(shí)解決這一問(wèn)題，建議研究人員可以主動(dòng)結(jié)合深度強(qiáng)化學(xué)習(xí)策略方法，并利用流媒體邊緣云會(huì)話調(diào)度策略，促使流媒體服務(wù)不斷朝向云形態(tài)轉(zhuǎn)變，對(duì)我國(guó)流媒體服務(wù)系統(tǒng)的進(jìn)一步發(fā)展提供良好的技術(shù)支持。

參? 考? 文? 獻(xiàn)

[1]徐西建. 基于深度強(qiáng)化學(xué)習(xí)的流媒體邊緣云會(huì)話調(diào)度策略[D].中國(guó)科學(xué)技術(shù)大學(xué)，2018.

[2]徐西建，王子磊，奚宏生. 基于深度強(qiáng)化學(xué)習(xí)的流媒體邊緣云會(huì)話調(diào)度策略[J]. 計(jì)算機(jī)工程，2019，45（05）：237-242+248.

[3]姜同全. 流媒體邊緣云的聯(lián)合優(yōu)化資源調(diào)度策略研究[D].中國(guó)科學(xué)技術(shù)大學(xué)，2016.

[4]江坤. 跨域流媒體邊緣云聯(lián)合優(yōu)化策略研究[D].中國(guó)科學(xué)技術(shù)大學(xué)，2017.

[5]姜同全，王子磊，奚宏生. 基于動(dòng)態(tài)閾值分配的流媒體邊緣云會(huì)話遷移策略[J]. 計(jì)算機(jī)工程，2017，43（01）：55-60.