方禹，李學(xué)華，潘春雨，云翔

(1.北京信息科技大學(xué) 現(xiàn)代測(cè)控技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100101；2.北京信息科技大學(xué)-佰才邦技術(shù)智慧物聯(lián)聯(lián)合實(shí)驗(yàn)室,北京 100094)

0 引言

工業(yè)是實(shí)現(xiàn)碳達(dá)峰、碳中和目標(biāo)的關(guān)鍵領(lǐng)域。工業(yè)領(lǐng)域碳達(dá)峰行動(dòng)是我國(guó)“碳達(dá)峰十大行動(dòng)”[1]之一。工業(yè)互聯(lián)網(wǎng)(industrial internet network，IIN)是實(shí)現(xiàn)“雙碳”的新型基礎(chǔ)設(shè)施和共性技術(shù)，IIN通過(guò)多種數(shù)字技術(shù)深度集成，打通云、邊、端，促進(jìn)智能化綠色化融合發(fā)展，聚力實(shí)現(xiàn)“雙碳”目標(biāo)。隨著智能設(shè)備和移動(dòng)通信網(wǎng)絡(luò)的高速發(fā)展，IIN中的數(shù)據(jù)量呈爆發(fā)式增長(zhǎng)趨勢(shì)。在IIN中，一些設(shè)備(如軍工設(shè)施、自動(dòng)駕駛汽車(chē)等)資源受限，無(wú)法自行處理大量的數(shù)據(jù)。此外，由于帶寬等資源限制，無(wú)法高效率地將數(shù)據(jù)傳輸至云端，依賴(lài)云計(jì)算執(zhí)行計(jì)算任務(wù)存在缺點(diǎn)[2]。移動(dòng)邊緣計(jì)算(mobile edge computing,MEC)可以補(bǔ)充云計(jì)算的不足，使系統(tǒng)運(yùn)行時(shí)間和能耗顯著降低[3-4]。將MEC應(yīng)用到IIN有利于處理時(shí)延敏感型計(jì)算任務(wù)，但是MEC服務(wù)器的計(jì)算資源仍然有限，面對(duì)IIN系統(tǒng)內(nèi)大量的終端設(shè)備，如何調(diào)度資源保證任務(wù)執(zhí)行效率成為關(guān)鍵問(wèn)題。

近年來(lái)，已有大量文獻(xiàn)研究MEC技術(shù)的應(yīng)用與優(yōu)化。文獻(xiàn)[5]通過(guò)在博弈模型中引入強(qiáng)化學(xué)習(xí)(reinforcement learning，RL)機(jī)制，讓多個(gè)MEC節(jié)點(diǎn)協(xié)同服務(wù)單個(gè)用戶(hù)，提高對(duì)用戶(hù)的服務(wù)質(zhì)量?？紤]到多數(shù)終端設(shè)備在MEC技術(shù)誕生前已經(jīng)被廣泛使用，文獻(xiàn)[6]讓終端無(wú)縫接入MEC系統(tǒng)。文獻(xiàn)[7]提出了一種基于優(yōu)先級(jí)分類(lèi)的MEC卸載框架，實(shí)現(xiàn)最小化系統(tǒng)總時(shí)延。文獻(xiàn)[8]研究衛(wèi)星通信網(wǎng)場(chǎng)景的MEC，以最小化計(jì)算密集型任務(wù)的時(shí)延。文獻(xiàn)[9]研究了MEC設(shè)備由于垃圾信息殘留導(dǎo)致的高開(kāi)銷(xiāo)和穩(wěn)定性降低問(wèn)題。文獻(xiàn)[10]的研究表明，人工智能技術(shù)可以為MEC解決關(guān)鍵問(wèn)題。文獻(xiàn)[11]通過(guò)深度強(qiáng)化學(xué)習(xí)(deep reinforcement learning，DRL)解決MEC接入空天地一體化網(wǎng)絡(luò)系統(tǒng)的最小化計(jì)算延遲問(wèn)題。文獻(xiàn)[12]介紹了深度學(xué)習(xí)和MEC的融合進(jìn)展。文獻(xiàn)[13]的研究表明，MEC可以節(jié)約能源。

上述研究主要關(guān)于MEC的優(yōu)化，隨著IIN的高速發(fā)展，其中的設(shè)備數(shù)量越來(lái)越多，如何管理IIN中的帶寬、計(jì)算等資源，優(yōu)化網(wǎng)絡(luò)性能成為近年來(lái)的研究熱點(diǎn)。為了保證設(shè)備的公平性，文獻(xiàn)[14]設(shè)計(jì)了一種分布式Q學(xué)習(xí)功率分配算法。文獻(xiàn)[15]通過(guò)評(píng)估工業(yè)物聯(lián)網(wǎng)節(jié)點(diǎn)觀測(cè)數(shù)據(jù)的自相似性，對(duì)節(jié)點(diǎn)進(jìn)行動(dòng)態(tài)優(yōu)先級(jí)排序，設(shè)計(jì)了一種基于深度Q網(wǎng)絡(luò)(deep Q network,DQN)的自適應(yīng)資源分配算法，以提高網(wǎng)絡(luò)吞吐量。然而，文獻(xiàn)[14-15]主要優(yōu)化了工業(yè)物聯(lián)網(wǎng)無(wú)線傳輸方面的性能，并沒(méi)有考慮計(jì)算任務(wù)的卸載優(yōu)化問(wèn)題。為了解決這一問(wèn)題，文獻(xiàn)[16]提出了以最小化任務(wù)的長(zhǎng)期處理延遲為目標(biāo)的動(dòng)態(tài)資源管理方案。但是，IIN中大多數(shù)應(yīng)用場(chǎng)景具有低能耗、長(zhǎng)續(xù)航的需求，而該文獻(xiàn)并沒(méi)有考慮到設(shè)備電池資源受限情況。

因此，本文根據(jù)IIN場(chǎng)景中任務(wù)生成的動(dòng)態(tài)性和連續(xù)性等特點(diǎn)，針對(duì)MEC-IIN場(chǎng)景下任務(wù)卸載模式和計(jì)算資源分配問(wèn)題進(jìn)行優(yōu)化，考慮不同參數(shù)對(duì)成本的影響，基于Python進(jìn)行仿真實(shí)驗(yàn)，給出系統(tǒng)性能仿真結(jié)果，構(gòu)造系統(tǒng)成本函數(shù)，利用DRL的智能化處理，提出了一種動(dòng)態(tài)資源分配策略(deep dynamic allocation policy，DDAP)，聯(lián)合優(yōu)化系統(tǒng)的任務(wù)執(zhí)行時(shí)延和能耗。實(shí)驗(yàn)結(jié)果表明，與全卸載算法[17-18]、隨機(jī)分配算法[17-18]、全本地算法[17]和基于Q學(xué)習(xí)[18]的算法相比，本文提出的算法在降低系統(tǒng)延遲和能耗方面具有更好的性能。

1 系統(tǒng)模型與問(wèn)題描述

1.1 網(wǎng)絡(luò)模型

假設(shè)IIN設(shè)備n到基站的最大上行速率可由香農(nóng)公式確定[20]，則設(shè)備n可實(shí)現(xiàn)上載數(shù)據(jù)速率為

(1)

式中：M為當(dāng)前執(zhí)行卸載操作的IIN設(shè)備的數(shù)量；Pn為n用于上傳數(shù)據(jù)時(shí)的發(fā)射功率；Gn為n在無(wú)線信道中的信道增益；N0為高斯信道白噪聲。

圖1 配置MEC服務(wù)器的IIN系統(tǒng)

1.2 通信模型

假設(shè)每個(gè)IIN設(shè)備都有一個(gè)計(jì)算任務(wù)Qn，可以通過(guò)自身資源執(zhí)行處理，也可以卸載到MEC服務(wù)器執(zhí)行計(jì)算操作，本文分別討論本地計(jì)算和邊緣計(jì)算的通信模型。Bn表示任務(wù)的數(shù)據(jù)大小，Dn表示完成計(jì)算任務(wù)需要的CPU執(zhí)行次數(shù),Dn與Bn成正比，并且假設(shè)Dn的值不因計(jì)算設(shè)備的改變而變化。同時(shí)，假設(shè)任務(wù)不能被拆分到不同的設(shè)備上處理，即每個(gè)IIN設(shè)備僅通過(guò)單一設(shè)備執(zhí)行自身任務(wù)。本文采用αn∈{0,1} 表示IIN設(shè)備n的卸載方式，并將卸載決策向量定義為λ=(α1,α2,…,αN),其中，αn=0時(shí)表示n通過(guò)自身資源執(zhí)行任務(wù)，αn=1時(shí)表示n借助MEC服務(wù)器執(zhí)行任務(wù)。

1.3 計(jì)算模型

對(duì)于本地計(jì)算模式，如果任務(wù)Qn被選擇為僅在本地進(jìn)行運(yùn)算，則本地執(zhí)行耗時(shí)為

(2)

另外，任務(wù)Qn執(zhí)行所需的能耗為

(3)

本文中假設(shè)能耗和時(shí)延的權(quán)重相等，則本地計(jì)算部分的整體成本可以記為

(4)

對(duì)于邊緣(卸載)計(jì)算模式，如果IIN設(shè)備n通過(guò)卸載至MEC來(lái)執(zhí)行任務(wù)Qn，則整個(gè)卸載過(guò)程如下：首先，n借助無(wú)線傳輸將數(shù)據(jù)上傳至基站，然后基站將數(shù)據(jù)通過(guò)有線傳輸至MEC服務(wù)器，MEC服務(wù)器根據(jù)卸載策略，調(diào)配計(jì)算資源來(lái)執(zhí)行任務(wù)，最后將結(jié)果返回給對(duì)應(yīng)設(shè)備。

根據(jù)上述步驟，卸載計(jì)算的第一步所需要的時(shí)間是傳輸延遲：

(5)

式中，rn為網(wǎng)絡(luò)模型中提到的無(wú)線信道中IIN設(shè)備n的上行鏈路速率。第一步對(duì)應(yīng)的能耗為

(6)

對(duì)于卸載計(jì)算的第二步，由于MEC服務(wù)器和基站之間為有線連接且距離很近，忽略基站將數(shù)據(jù)轉(zhuǎn)發(fā)給MEC服務(wù)器的時(shí)間消耗[22]，這一步的時(shí)延可表示為

(7)

(8)

對(duì)于卸載計(jì)算的最后一步，所需時(shí)間為處理結(jié)果的下載延遲，表示為

(9)

式中：Bb為執(zhí)行結(jié)果的數(shù)據(jù)量；rb為IIN設(shè)備的下行傳輸速率。根據(jù)文獻(xiàn)[23]，Bb很小且rb很大，這一過(guò)程可以忽略時(shí)延能耗。

根據(jù)式(5)～(8)，IIN設(shè)備n通過(guò)卸載計(jì)算方法的計(jì)算延遲為

(10)

能量消耗為

(11)

將二者的成本結(jié)合起來(lái)，卸載計(jì)算的總成本為

(12)

1.4 問(wèn)題描述

在模型假設(shè)中，不同任務(wù)的執(zhí)行是并行的，并且由于計(jì)算資源有限導(dǎo)致不同任務(wù)的延遲是相互影響的。本文針對(duì)IIN設(shè)備電池容量受限和對(duì)延遲容忍度低的特點(diǎn)，通過(guò)聯(lián)合優(yōu)化任務(wù)卸載位置和計(jì)算資源分配來(lái)達(dá)到在降低能耗的基礎(chǔ)上減少所有計(jì)算任務(wù)的平均延遲。

本文計(jì)算的MEC卸載系統(tǒng)中所有任務(wù)處理所需的總成本為

(13)

式中，αn∈{0,1} 表示IIN設(shè)備n的計(jì)算卸載決策。αn=0時(shí)表示IIN設(shè)備n上的任務(wù)在本地進(jìn)行處理，無(wú)需卸載；αn=1時(shí)表示IIN設(shè)備n上的任務(wù)需要卸載到MEC服務(wù)器進(jìn)行運(yùn)算處理。本文的優(yōu)化目標(biāo)是使整個(gè)系統(tǒng)的總成本最小，則優(yōu)化問(wèn)題可以描述為

(14)

式中：f=[f1,f2,…,fN]是計(jì)算資源分配向量；C1表示每個(gè)IIN設(shè)備只能通過(guò)自身計(jì)算資源或者M(jìn)EC服務(wù)器執(zhí)行計(jì)算任務(wù)；C2表示任意一個(gè)卸載任務(wù)被分配到的計(jì)算資源不能超過(guò)服務(wù)器的總計(jì)算資源；C3表示所有卸載任務(wù)被分配到的計(jì)算資源之和不能超過(guò)服務(wù)器的總計(jì)算資源。

問(wèn)題(14)可以通過(guò)尋求任務(wù)卸載決策向量λ和計(jì)算資源分配向量f的最優(yōu)組合來(lái)解決，但問(wèn)題(14)的目標(biāo)函數(shù)為非凸函數(shù)。終端呈遞增趨勢(shì)時(shí)，問(wèn)題(14)的規(guī)模呈爆發(fā)式增長(zhǎng)。傳統(tǒng)的枚舉法機(jī)器學(xué)習(xí)處理這類(lèi)問(wèn)題耗時(shí)過(guò)高并且缺少可移植性，因此，本文提出基于DRL方法來(lái)求得λ和f的最優(yōu)組合，借助神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)性而不是用傳統(tǒng)的優(yōu)化方法來(lái)解決該問(wèn)題。

2 問(wèn)題解決方案

2.1 RL三要素

RL被認(rèn)為是解決動(dòng)態(tài)規(guī)劃問(wèn)題的傳統(tǒng)方法之一[24]。然而，傳統(tǒng)基于RL的方法通常需要計(jì)算所有可能的狀態(tài)和動(dòng)作空間對(duì)的值函數(shù)，效率過(guò)低。DRL算法利用深度神經(jīng)網(wǎng)絡(luò)逐步逼近策略函數(shù)，被認(rèn)為是處理大規(guī)模復(fù)雜馬爾可夫問(wèn)題的一種高效方法[24]。在本文所提的網(wǎng)絡(luò)框架和優(yōu)化問(wèn)題下，RL的狀態(tài)、動(dòng)作和獎(jiǎng)勵(lì)可以分別進(jìn)行下述定義。

狀態(tài)：系統(tǒng)狀態(tài)由兩個(gè)分量c和q組成。其中c為系統(tǒng)整體的總成本，即c=Aall；q為MEC服務(wù)器當(dāng)前可用的計(jì)算資源，即：

(15)

動(dòng)作：系統(tǒng)的動(dòng)作a由兩部分組成，分別是n個(gè)IIN設(shè)備的卸載決策向量λ和MEC服務(wù)器的計(jì)算資源分配向量f。因此，動(dòng)作a為λ和f中元素的組合。

獎(jiǎng)勵(lì)：對(duì)于每一次迭代過(guò)程，agent執(zhí)行動(dòng)作a之后，將在進(jìn)入下一步狀態(tài)的同時(shí)獲得獎(jiǎng)勵(lì)R。獎(jiǎng)勵(lì)函數(shù)和目標(biāo)函數(shù)一般呈正相關(guān)，但是本文的優(yōu)化問(wèn)題的目標(biāo)是獲得最小的總成本，RL的目標(biāo)是獲得最大的獎(jiǎng)勵(lì)R，因此獎(jiǎng)勵(lì)函數(shù)應(yīng)該和目標(biāo)函數(shù)呈負(fù)相關(guān)，定義獎(jiǎng)勵(lì)R為

(16)

式中：clocal是全本地計(jì)算的總成本；c(s,a)為當(dāng)前狀態(tài)和動(dòng)作下的總成本。

2.2 經(jīng)驗(yàn)存儲(chǔ)

在訓(xùn)練過(guò)程中，會(huì)將當(dāng)前狀態(tài)、根據(jù)當(dāng)前狀態(tài)選擇的動(dòng)作、執(zhí)行所選動(dòng)作后進(jìn)入的新?tīng)顟B(tài)、獲得的獎(jiǎng)勵(lì)和是否為終止?fàn)顟B(tài)這一組數(shù)據(jù)放入記憶庫(kù)，agent和環(huán)境每次互動(dòng)的過(guò)程中，會(huì)產(chǎn)生一組數(shù)據(jù)。當(dāng)數(shù)據(jù)量足夠多，便會(huì)從記憶庫(kù)隨機(jī)抽出一定大小的數(shù)據(jù)，將它們放入神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，神經(jīng)網(wǎng)絡(luò)中的權(quán)重參數(shù)隨著訓(xùn)練的進(jìn)行不斷調(diào)整，由于挑選的訓(xùn)練數(shù)據(jù)是隨機(jī)的，所以可以學(xué)習(xí)到大范圍的數(shù)據(jù)，避免數(shù)據(jù)因?yàn)榫植拷?jīng)驗(yàn)而導(dǎo)致的過(guò)擬合問(wèn)題。

2.3 Q-learning算法

Q-learning是在時(shí)序差分(temporal difference,TD)基礎(chǔ)上更新的，TD的更新公式為

V(St)←V(St)+α[Rt+1+γV(St+1)-V(St)]

(17)

Q-learning算法將TD公式中的V值換成Q值，每對(duì)S-A具有對(duì)應(yīng)的Q值。Q-learning的更新流程為，從任意的狀態(tài)出發(fā)，通過(guò)noisy-greedy策略選定動(dòng)作，在完成動(dòng)作后，會(huì)進(jìn)入到新?tīng)顟B(tài)S(t+1)，檢查S(t+1)中所有的動(dòng)作，選擇Q值最大的動(dòng)作，并用式(18)來(lái)更新當(dāng)前動(dòng)作A的Q值：

Q(S,A)←Q(S,A)+

(18)

其中α表示學(xué)習(xí)率。繼續(xù)從S′出發(fā)，進(jìn)行新一輪更新，到此為一個(gè)循環(huán)，進(jìn)行多次循環(huán)迭代求得最優(yōu)結(jié)果。

2.4 DDAP算法

3 仿真與結(jié)果分析

使用Python3.7對(duì)1個(gè)配置MEC服務(wù)器的基站和n個(gè)IIN設(shè)備組成的IIN-MEC系統(tǒng)進(jìn)行建模仿真，評(píng)估所提出的算法效果。其中每個(gè)設(shè)備距離基站的距離服從0～200 m的隨機(jī)分布，如圖2所示，中心的三角表示基站和MEC服務(wù)器的位置，圓點(diǎn)表示服從隨機(jī)分布的IIN設(shè)備位置。其他主要參數(shù)如表1所示。仿真中使用二進(jìn)制“0”、“1”分別代表任務(wù)在本地執(zhí)行和卸載至MEC服務(wù)器執(zhí)行，最初通過(guò)隨機(jī)生成任務(wù)卸載位置和計(jì)算資源分配的組合，并計(jì)算該情況下產(chǎn)生的總成本獲得對(duì)應(yīng)獎(jiǎng)勵(lì)，將每一種組合及對(duì)應(yīng)的總成本和獎(jiǎng)勵(lì)值作為整體存入記憶庫(kù)中，待記憶庫(kù)存儲(chǔ)一定經(jīng)驗(yàn)后進(jìn)行迭代學(xué)習(xí)，訓(xùn)練DQN網(wǎng)絡(luò)對(duì)Q值的評(píng)估，最后選擇Q值最大的動(dòng)作執(zhí)行即可得到算法下的近似最優(yōu)解。

圖2 以20個(gè)IIN設(shè)備為例的系統(tǒng)模型仿真圖

表1 仿真參數(shù)表

在不同的帶寬W下，IIN設(shè)備數(shù)、服務(wù)器處理能力以及任務(wù)量大小與總成本的關(guān)系如圖3～5所示。由圖可知，當(dāng)帶寬W小于10 MHz時(shí)，帶寬的值對(duì)其關(guān)系存在一定影響，而當(dāng)帶寬W大于10 MHz時(shí)，這種影響不再明顯，所以仿真使用的系統(tǒng)內(nèi)帶寬W值設(shè)置為10 MHz，以降低帶寬對(duì)結(jié)果的影響。

圖3 不同帶寬下終端數(shù)量和總成本的關(guān)系

圖4 不同帶寬下服務(wù)器處理能力和總成本的關(guān)系

圖5 不同帶寬下任務(wù)量和總成本的關(guān)系

本文將所提出的算法與其他4種方法在上述仿真場(chǎng)景中進(jìn)行了比較：將所有IIN設(shè)備都通過(guò)自身資源執(zhí)行計(jì)算任務(wù)簡(jiǎn)稱(chēng)為“全本地”；所有IIN設(shè)備將其計(jì)算任務(wù)卸載到MEC服務(wù)器執(zhí)行，并且MEC服務(wù)器將計(jì)算資源F平均分配給每個(gè)任務(wù)簡(jiǎn)稱(chēng)為“全卸載”；所有IIN設(shè)備將計(jì)算任務(wù)隨機(jī)地選擇在本地執(zhí)行或卸載到MEC服務(wù)器執(zhí)行，同時(shí)MEC服務(wù)器的計(jì)算資源F平均分配給每個(gè)卸載到服務(wù)器的計(jì)算任務(wù)簡(jiǎn)稱(chēng)為“隨機(jī)卸載”；利用Q-learning算法決定任務(wù)的卸載位置和計(jì)算資源分配簡(jiǎn)稱(chēng)為“Q學(xué)習(xí)”。

圖6和圖7分別為設(shè)備數(shù)量較小和較大時(shí)的IIN數(shù)量與系統(tǒng)總成本關(guān)系圖，其中設(shè)定MEC服務(wù)器的計(jì)算能力F為5 GHz/s。

圖6 IIN設(shè)備數(shù)量與總成本的對(duì)應(yīng)關(guān)系(小間隔)

圖7 IIN設(shè)備數(shù)量與總成本的對(duì)應(yīng)關(guān)系(大間隔)

圖7雖然能更明顯地體現(xiàn)出各算法在設(shè)備數(shù)增長(zhǎng)時(shí)對(duì)應(yīng)總成本的變化趨勢(shì)，但是其中全本地算法、隨機(jī)卸載算法和Q學(xué)習(xí)算法間距較小，不能很好地體現(xiàn)出算法之間的效果區(qū)別，這是由于全卸載算法在設(shè)備數(shù)量增長(zhǎng)后需要很高的總成本造成坐標(biāo)軸壓縮導(dǎo)致的。圖6選擇在設(shè)備數(shù)量較小的部分，著重呈現(xiàn)出幾種算法之間的不同效果。從整體上看，5種方法的總成本與IIN設(shè)備的數(shù)量呈正相關(guān)，但是本文所提的DDAP算法的總成本始終最低。這是由于DDAP算法相比全卸載算法和全本地算法，通過(guò)agent的迭代學(xué)習(xí)，可以獲得問(wèn)題的更優(yōu)解；由于實(shí)際應(yīng)用中狀態(tài)動(dòng)作對(duì)的復(fù)雜性，Q學(xué)習(xí)需要很長(zhǎng)時(shí)間收斂，并且會(huì)產(chǎn)生估計(jì)的Q值偏大現(xiàn)象，DDAP算法通過(guò)兩個(gè)參數(shù)不同的神經(jīng)網(wǎng)絡(luò)對(duì)同一個(gè)動(dòng)作進(jìn)行評(píng)估，消除Q值偏大的現(xiàn)象，獲得更好的結(jié)果。

圖8表示了不同算法下總成本隨MEC服務(wù)器的計(jì)算能力增加的變化。其中設(shè)定IIN設(shè)備的數(shù)量為5。從圖中可以看出，除全本地算法不受MEC服務(wù)器計(jì)算能力的影響，其他算法的總成本與MEC計(jì)算能力呈負(fù)相關(guān)，并且所提出的DDAP算法在各數(shù)值下都得到相對(duì)最低總成本。其中全本地計(jì)算過(guò)程由于不需要借助MEC計(jì)算資源，所以總成本的值不隨著MEC服務(wù)器計(jì)算能力改變，其他幾種算法都借助MEC計(jì)算能力，所以隨著MEC計(jì)算資源的增加，總成本降低，體現(xiàn)出卸載計(jì)算的優(yōu)勢(shì)。

圖8 MEC服務(wù)器計(jì)算能力與總成本對(duì)應(yīng)關(guān)系

圖9展示了不同算法下，IIN-MEC系統(tǒng)卸載任務(wù)的任務(wù)計(jì)算數(shù)據(jù)量Bn與時(shí)延能耗總成本的對(duì)應(yīng)關(guān)系，其中IIN設(shè)備的數(shù)量為5。所有方法的總成本與Bn均呈正相關(guān)，更大的數(shù)據(jù)量增大了執(zhí)行所需要的時(shí)間也增大了對(duì)應(yīng)的能耗。但是與其他4種算法相比，DDAP算法的增長(zhǎng)趨勢(shì)更慢，得到更優(yōu)結(jié)果。并且從圖中的曲線斜率可以看出，隨著計(jì)算數(shù)據(jù)量的增加，MEC輔助計(jì)算的優(yōu)勢(shì)更加明顯。

圖9 計(jì)算任務(wù)數(shù)據(jù)大小與總成本關(guān)系

4 結(jié)束語(yǔ)

本文以IIN網(wǎng)絡(luò)對(duì)系統(tǒng)時(shí)延與能耗的需求為導(dǎo)向，通過(guò)搭建IIN-MEC框架，進(jìn)行任務(wù)卸載決策和MEC計(jì)算資源分配問(wèn)題的仿真研究，提出了基于DRL的DDAP算法。將所提算法與全本地方案、完全卸載方案、隨機(jī)卸載方案和基于Q學(xué)習(xí)算法的卸載方案進(jìn)行仿真對(duì)比，可知在降低系統(tǒng)時(shí)延和能耗的問(wèn)題上，本文所提算法具有更優(yōu)秀的性能，有助于降低工業(yè)生產(chǎn)成本和發(fā)展綠色能源經(jīng)濟(jì)。在未來(lái)的研究中，將考慮設(shè)備具有移動(dòng)性和通過(guò)多個(gè)MEC服務(wù)器來(lái)彌補(bǔ)服務(wù)器計(jì)算資源無(wú)法滿(mǎn)足更多任務(wù)的MEC-IIN系統(tǒng)的任務(wù)卸載和資源分配問(wèn)題。