黃博聞 陳曉龍 方存亮 周文樺 李金紅 黃琪雯 池凱凱

摘要：無線供能及移動邊緣計算技術(shù)的整合為下一代無線通信網(wǎng)的實現(xiàn)提供了技術(shù)支持。然而，用戶數(shù)量的激增將對諸如系統(tǒng)響應(yīng)時效性和超低延時等需求的實現(xiàn)提出了新的挑戰(zhàn)。因此，如何設(shè)計迭代次數(shù)少、收斂速度快、靈活性強的實時計算卸載策略成了研究的新熱點。文章梳理了無線供能移動邊緣計算（Wireless Powered Mobile Edge Computing，WP-MEC）系統(tǒng)在實現(xiàn)超低延時需求上面臨的問題與挑戰(zhàn)；總結(jié)了WP-MEC系統(tǒng)的網(wǎng)絡(luò)模型及其計算卸載策略的研究概況；詳細闡述了4種不同接入方式下的WP-MEC系統(tǒng)的計算卸載策略研究現(xiàn)狀；對比分析了各類傳統(tǒng)的數(shù)值優(yōu)化方法及深度強化學(xué)習優(yōu)化方法在實時計算卸載決策方面的優(yōu)劣；對低復(fù)雜度高效計算卸載策略的發(fā)展進行總結(jié)與展望，提出了延時最小化計算卸載策略的3個關(guān)鍵研究方向。

關(guān)鍵詞：深度強化學(xué)習；無線供能網(wǎng)絡(luò)；移動邊緣計算；卸載策略；計算延時最小化

中圖分類號：TN929.5文獻標志碼：A

0 引言

泛在物聯(lián)網(wǎng)被認為是下一代無線通信網(wǎng)的關(guān)鍵驅(qū)動力^[1-3]，將提供近100%的地理無線覆蓋范圍，但由于尺寸及制造成本的限制，泛在物聯(lián)網(wǎng)用戶節(jié)點（簡稱“用戶節(jié)點”）的計算能力、電池電量及壽命均受到限制。用戶節(jié)點具有數(shù)量多、部署無規(guī)律等缺點，導(dǎo)致為用戶節(jié)點更換電池會產(chǎn)生大量開銷。

移動邊緣計算（Mobile Edge Computing，MEC）的出現(xiàn)實現(xiàn)了將用戶節(jié)點數(shù)據(jù)卸載至服務(wù)器（簡稱“計算節(jié)點”）的功能，從而解決了用戶節(jié)點計算能力受限的問題^[4-7]。除此以外，無線能量傳輸（Wireless Powered Transfer，WPT）技術(shù)的出現(xiàn)解決了用戶節(jié)點由數(shù)據(jù)處理、任務(wù)卸載等操作而導(dǎo)致的大量電池能量消耗、電池能量供給不足、電池壽命降低等問題。由WPT和MEC技術(shù)集成的無線供能邊緣計算（Wireless Powered MEC，WP-MEC）系統(tǒng)可以較好地解決低功耗節(jié)點能量和計算能力受限的問題^[8-10]。

然而，隨著用戶節(jié)點的快速增長，如何滿足數(shù)以億計的用戶節(jié)點采集數(shù)據(jù)的時效性和超低延時要求將成為一個新的需求。為此，需要進一步提升系統(tǒng)處理和數(shù)據(jù)響應(yīng)的能力。如何設(shè)計一種既具有較低復(fù)雜度又能夠達到計算延時最小化性能的高效計算卸載技術(shù)成了新的待攻克問題，也是我國亟需占領(lǐng)的物聯(lián)網(wǎng)技術(shù)新高地^[11-12]。此外，形成高效的無線供能邊緣計算卸載理論^[13]還有助于形成綠色低碳循環(huán)經(jīng)濟體系，助力實現(xiàn)碳達峰碳中和目標。

1 無線供能邊緣計算系統(tǒng)的計算卸載策略研究現(xiàn)狀

1.1 無線供能邊緣計算系統(tǒng)計算卸載策略概述

卸載策略是在不同應(yīng)用場景下，根據(jù)不同的實際情況（主要包含網(wǎng)絡(luò)模型種類、卸載傳輸方式、任務(wù)處理方式），結(jié)合特定的優(yōu)化目標、決策變量及優(yōu)化方法而確定的策略。

目前，有關(guān)WP-MEC系統(tǒng)計算卸載策略的研究結(jié)果如圖1所示。這些研究在確定了網(wǎng)絡(luò)模型種類、卸載傳輸方式和任務(wù)處理方式后，分別將計算速率、計算效率、能耗、延時、公平性作為優(yōu)化目標，采用李雅普諾夫優(yōu)化技術(shù)、凸優(yōu)化技術(shù)、拉格朗日對偶優(yōu)化方法、馬爾可夫決策過程、在線學(xué)習智能算法等，對計算節(jié)點能量、傳輸時長、用戶節(jié)點計算卸載比例、傳輸功率、CPU計算周期頻率等變量進行聯(lián)合優(yōu)化。

1.2 無線供能邊緣計算系統(tǒng)網(wǎng)絡(luò)模型

目前，對于無線供能邊緣計算系統(tǒng)計算卸載策略的相關(guān)研究大多集中在單計算節(jié)點、多用戶節(jié)點網(wǎng)絡(luò)結(jié)構(gòu)中，如圖2所示。對于WP-MEC系統(tǒng)而言，一般假設(shè)計算節(jié)點具有強大的計算能力，可以為用戶節(jié)點處理部分計算工作，并能通過下行鏈路為所有用戶節(jié)點傳輸能源；用戶節(jié)點既可通過上下行鏈路將計算任務(wù)傳遞給計算節(jié)點，又可執(zhí)行本地計算。下行無線供能和本地計算功能可以同時執(zhí)行，但是下行無線在進行供能的同時無法執(zhí)行上行計算的卸載操作。

在已有的卸載策略中，時間幀通常包含4個階段，如圖3所示。第一階段，計算節(jié)點向K個用戶傳輸能量。第二階段，用戶通過使用時分多址（Time Division Multiple Access，TDMA）、頻分多址（frequency division multiple access，F(xiàn)DMA）、正交頻分多址（Orthogonal Frequency-Division Multiple Access，OFDMA）、非正交多址接入（Non-Orthgonal Multiple Access，NOMA）等無線接入技術(shù)將計算任務(wù)卸載給MEC。第三階段，MEC執(zhí)行來自用戶的計算任務(wù)。第四階段，邊際外部成本（Marginal External Cost，MEC）將計算結(jié)果下載給用戶。

1.3 不同接入方式下的無線供能邊緣計算系統(tǒng)計算卸載策略

針對基于單計算節(jié)點、多用戶節(jié)點的網(wǎng)絡(luò)結(jié)構(gòu)場景，本文根據(jù)不同的優(yōu)化目標和無線接入方式，歸納現(xiàn)有文獻的研究現(xiàn)狀，如表1所示。下面對4種無線接入方式下的WP-MEC系統(tǒng)研究現(xiàn)狀進行詳細介紹。

1.3.1 基于TDMA接入計算卸載策略研究現(xiàn)狀

Zeng等^[14]提出了一種上行鏈路采用NOMA和TDMA進行信息傳輸?shù)姆椒āＭㄟ^聯(lián)合優(yōu)化用戶節(jié)點二分卸載、能量傳輸時長、用戶節(jié)點CPU計算周期頻率和傳輸功率，所提研究方法實現(xiàn)了所有用戶節(jié)點計算速率總和的最大化，證明了TDMA和NOMA系統(tǒng)的最大可實現(xiàn)率是相同的；但采用NOMA進行協(xié)議傳輸?shù)姆椒軌蜻M一步提高系統(tǒng)的公平性。

Feng等^[15]提出了一種考慮計算節(jié)點的傳輸功率、用戶節(jié)點的卸載數(shù)據(jù)比例和發(fā)送功率的聯(lián)合優(yōu)化方法，利用拉格朗日對偶方法設(shè)計迭代算法，將被卸載的延遲約束轉(zhuǎn)換為被卸載的數(shù)據(jù)速率約束。所提方法在卸載延時約束下，既能使數(shù)據(jù)利用率最大化，又能使運營商能耗最小化。

Zhou等^[16]提出了一種計及能量傳輸時長、用戶節(jié)點計算任務(wù)卸載時間、傳輸功率、CPU計算周期頻率的聯(lián)合優(yōu)化方法。在最大-最小公平計算準則下，所提方法實現(xiàn)了計算效率最大化。仿真結(jié)果表明，所提出的資源分配方案在用戶公平性方面優(yōu)于基準資源分配方案，部分計算卸載模式在計算效率方面優(yōu)于二進制計算卸載模式，NOMA在計算效率方面優(yōu)于TDMA。

Bi等^[17]提出了一種考慮用戶能量傳輸和計算卸載模式（二元卸載）的聯(lián)合優(yōu)化方法，實現(xiàn)了用戶節(jié)點的總計算率的最大化。仿真結(jié)果表明，所提出的資源分配方案在用戶公平性方面優(yōu)于基準資源分配方案，部分計算卸載模式在計算效率方面優(yōu)于二進制計算卸載模式，NOMA在計算效率方面優(yōu)于TDMA。

Mirghasemi等^[18]提出了一種計及能量傳輸時長、用戶節(jié)點傳輸功率和CPU計算周期頻率的聯(lián)合優(yōu)化方法，利用李雅普諾夫優(yōu)化方法，在保證任務(wù)和能量隊列穩(wěn)定性的前提以及滿足比例公平性的條件下，實現(xiàn)了計算效用函數(shù)最大化。

Wu等^[19]研究了WP-MEC系統(tǒng)中的異構(gòu)物聯(lián)網(wǎng)系統(tǒng)的聯(lián)合調(diào)度問題。假設(shè)信道條件和任務(wù)到達率服從概率分布，基于李雅普諾夫優(yōu)化理論，利用能量感知資源調(diào)度在線算法，在未考慮網(wǎng)絡(luò)狀態(tài)信息先驗知識的情況下，文章提出了一種考慮用戶節(jié)點能量傳輸和信息傳輸?shù)臅r間分配以及本地計算和卸載計算的比例和上傳傳輸功率的聯(lián)合優(yōu)化方法，實現(xiàn)了系統(tǒng)效用（包括吞吐量和公平性）的最大化。

Wu等^[20]考慮了數(shù)據(jù)有效時間問題，若數(shù)據(jù)超過一定時間未被處理，則認為該數(shù)據(jù)已無意義需要丟棄。利用李雅普諾夫和凸優(yōu)化技術(shù)，基于數(shù)據(jù)有效時間感知調(diào)度機制，文章提出了一種計及用戶節(jié)點能量傳輸和信息傳輸?shù)臅r間分配、用戶節(jié)點數(shù)據(jù)到達率和丟棄率的聯(lián)合優(yōu)化方法，實現(xiàn)了系統(tǒng)效用的最大化。

Li等^[21]假設(shè)用戶節(jié)點任務(wù)到達率服從概率分布的隨機變量，采用李雅普諾夫優(yōu)化技術(shù)，聯(lián)合優(yōu)化能量傳輸時長、用戶節(jié)點CPU計算周期頻率、傳輸功率，實現(xiàn)了能源效率和延時的平衡。

葉迎暉等^[22]提出了一種考慮能量傳輸時長、用戶節(jié)點計算任務(wù)卸載比例、CPU計算周期頻率、傳輸功率的聯(lián)合優(yōu)化方法，實現(xiàn)了各用戶節(jié)點計算延時之和最小化。Ye等^[23]考慮了集成混合被動反向通信（Back散射）和主動傳輸WP-MEC網(wǎng)絡(luò)，提出了一種計及專用能量傳輸時長、用戶節(jié)點計算任務(wù)卸載比例、CPU計算周期頻率、傳輸功率的聯(lián)合優(yōu)化方法，實現(xiàn)了各用戶節(jié)點計算延時之和最小化。由此可見，文獻[22-23]研究了TDMA無線接入場景下計算延時最小化的卸載策略。

1.3.2 基于FDMA接入計算卸載策略研究現(xiàn)狀

Li等^[24]假設(shè)用戶節(jié)點任務(wù)到達率服從概率分布的隨機變量，采用李雅普諾夫優(yōu)化技術(shù)，在每個時隙，提出一種考慮能量傳輸時長、用戶節(jié)點CPU計算周期頻率、傳輸功率的聯(lián)合優(yōu)化方法，實現(xiàn)了時間平均計算速率的最大化。

Wang等^[25-26]利用射頻信號的發(fā)射能量波束，形成可以向具有動態(tài)任務(wù)到達率的用戶節(jié)點充電的場景。在由多個時隙組成的有限時間范圍內(nèi)，基于滑動窗口的在線資源分配算法和拉格朗日對偶法，提出一種計及能量傳輸協(xié)方差矩陣、計算節(jié)點遠程執(zhí)行任務(wù)輸入位數(shù)、用戶本地計算和卸載的任務(wù)輸入位數(shù)的聯(lián)合優(yōu)化方法，在有限的時間范圍內(nèi)實現(xiàn)了系統(tǒng)的總能耗最小化。

1.3.3 基于OFDMA接入計算卸載策略研究現(xiàn)狀

Tran等^[27]考慮了用戶節(jié)點采用OFDMA協(xié)議卸載到計算節(jié)點的二分卸載，提出了一種計及用戶節(jié)點與計算節(jié)點的關(guān)聯(lián)、用戶節(jié)點的發(fā)射功率和計算節(jié)點的計算資源分配的聯(lián)合優(yōu)化方法，與本地計算相比，實現(xiàn)任務(wù)完成時間和能耗減少量加權(quán)和的最大化。

Li等^[28]同樣考慮了用戶節(jié)點采用OFDMA協(xié)議卸載到計算節(jié)點的二分卸載，提出了一種二階段啟發(fā)式算法，在每個節(jié)點的計算延遲約束下，優(yōu)化節(jié)點的卸載決策、信道選擇、功率分配和計算資源分配，實現(xiàn)了用戶節(jié)點的能耗最小化。

Wei等^[29]提出了一種新的OFDMA系統(tǒng)協(xié)議，其中，無線能量傳輸輔助中繼工作在全雙工解碼和轉(zhuǎn)發(fā)模式，考慮到EH效率的非線性，通過聯(lián)合優(yōu)化時隙持續(xù)時間、子載波分配及源節(jié)點和中繼節(jié)點的傳輸功率，設(shè)計了一種近乎最優(yōu)的基于迭代的動態(tài)無線能量傳輸全雙工中繼算法。

Huang等^[30]假設(shè)計算節(jié)點和用戶節(jié)點分別是服務(wù)提供商（Service Provider，SP）和設(shè)備所有者（Device Owner， DO），SP設(shè)置計算資源和能源的價格，而DO根據(jù)給定的價格做出最優(yōu)響應(yīng)。假設(shè)SP對DO的充電時間固定，每個DO都有一個等待執(zhí)行的任務(wù)，已知每個任務(wù)的數(shù)據(jù)大小、完成任務(wù)所需的計算資源以及允許完成的最大時間。假設(shè)能量傳輸時長固定，采用OFDMA卸載進行信息傳輸，制定了一個2級優(yōu)化問題：上層為SP生成計算資源和能量的價格；在給定的價格下，下層為DO的模式選擇（二分卸載）、廣播功率和計算資源分配的優(yōu)化。所提策略實現(xiàn)了SP為DO整體效用最大化。

Nguyen等^[31]考慮了基于OFDMA接入技術(shù)的反向散射通信輔助的WP-MEC網(wǎng)絡(luò)，通過聯(lián)合優(yōu)化卸載決策、時間分配、后向散射系數(shù)和發(fā)射功率，最大化總計算速率。

綜上所述，現(xiàn)有研究尚未對計算延時最小化卸載策略和OFDMA接入技術(shù)中各子載波的動態(tài)分配進行深入研究。

1.3.4 基于NOMA接入計算卸載策略研究現(xiàn)狀

Li等^[32]基于NOMA技術(shù)，假設(shè)所有用戶節(jié)點采用二分卸載到計算節(jié)點，采用的解碼順序是從信道增益較好的用戶節(jié)點到信道增益較差的節(jié)點，在所提方案中，計算節(jié)點已知該解碼順序，以便為無線設(shè)備分配無線信道；基于李雅普諾夫優(yōu)化框架，所提方案利用凸逼近方法的迭代算法，提出一種考慮能量傳輸時長、用戶節(jié)點計算卸載比例、CPU計算周期頻率和傳輸功率的聯(lián)合優(yōu)化方案，在滿足延遲約束的條件下，實現(xiàn)能耗最小化。

Fang等^[33]考慮多個節(jié)點以NOMA技術(shù)進行部分卸載到計算節(jié)點的場景，通過聯(lián)合優(yōu)化用戶節(jié)點的卸載比例和發(fā)射功率，所提方案能夠同時滿足發(fā)射功率和節(jié)點能耗的約束，實現(xiàn)任務(wù)計算能耗的最小化。

Vu等^[34]研究了基于NOMA技術(shù)接入的WP-MEC，推導(dǎo)涉及用戶節(jié)點誤塊率、吞吐量、能源效率、延遲和可靠性的閉式表達式，提出了一種有效的算法，所提算法通過優(yōu)化功率分配系數(shù)來最小化NOMA用戶的誤塊率。

Cheng等^[35]研究了基于NOMA技術(shù)接入的WP-MEC系統(tǒng)，根據(jù)用戶到計算節(jié)點的距離，將用戶分為近端用戶和遠端用戶。研究方案選擇一個近端用戶和一個遠端用戶組成NOMA對，在下行階段收集能量，在上行階段傳輸信息，從而分析推導(dǎo)了信道容量。

Shi等^[36]考慮了用戶節(jié)點以NOMA技術(shù)進行部分卸載到計算節(jié)點的場景。首先，在每個周期內(nèi)，計算節(jié)點進行無線供能；然后，用戶節(jié)點基于NOMA方式進行部分卸載；最后，計算節(jié)點進行任務(wù)計算。通過聯(lián)合優(yōu)化時間分配、發(fā)射功率和計算頻率的迭代算法，實現(xiàn)了計算能量效率的最大化。

Qian等^[37]利用NOMA來實現(xiàn)MA-MEC中的計算卸載，提出了一種多址多任務(wù)計算卸載、NOMA傳輸和計算資源分配的聯(lián)合優(yōu)化方法，其目標是在所需的延遲限制下最大限度地減少物聯(lián)網(wǎng)設(shè)備的總能耗，以完成其任務(wù)。文獻[14，16，18，21]同時研究了TDMA和NOMA協(xié)議。

綜上可知，目前，基于NOMA的接入技術(shù)均假設(shè)采用從信道增益較好的用戶節(jié)點到信道增益較差的節(jié)點的解碼順序，并未對計算延時最小化卸載策略和有關(guān)如何確定最優(yōu)的解碼順序方面開展深入研究。

2 深度強化學(xué)習賦能的無線供能移動邊緣計算延時最小化卸載策略

2.1 深度強化學(xué)習賦能的無線供能移動邊緣計算系統(tǒng)計算卸載策略研究現(xiàn)狀

通過對無線供能移動邊緣計算系統(tǒng)的計算卸載策略研究現(xiàn)狀的分析可知，不論是二分卸載還是部分卸載，所采用的優(yōu)化方法集中于傳統(tǒng)的非在線學(xué)習智能算法。這些傳統(tǒng)的優(yōu)化方法未必能達到計算延時最小化的優(yōu)化目標。例如，在無線衰落環(huán)境中，時變無線信道條件在很大程度上影響了無線供電MEC系統(tǒng)的最佳卸載決策^[38]。在多用戶場景中，主要的挑戰(zhàn)是單獨計算模式（即卸載或本地計算）和無線資源分配的聯(lián)合優(yōu)化。而由于存在二進制卸載變量，通常將此類問題表述為混合整數(shù)規(guī)劃（Mixed Integer Programming，MIP）問題。為了解決MIP問題，現(xiàn)有研究采用分支定界算法^[39]和動態(tài)規(guī)劃法^[40]，但上述方法存在計算復(fù)雜度高的缺陷。為了降低計算復(fù)雜度，Bi等^[41-42]提出了啟發(fā)式局部搜索方法，Guo等^[43-44]提出了凸松弛方法。然而，以上研究都需要相當數(shù)量的迭代才能達到令人滿意的局部最優(yōu)，故上述方法不適合在快速衰落信道中做出實時卸載決策，因為一旦信道衰落發(fā)生顯著變化，就需要重新解決優(yōu)化問題^[45]。

為了使網(wǎng)絡(luò)系統(tǒng)的處理過程及數(shù)據(jù)響應(yīng)過程實現(xiàn)前述的超低延遲要求，現(xiàn)有的研究目標是獲得一種在線學(xué)習智能算法。該算法可以將任務(wù)卸載決策和無線資源分配進行聯(lián)合優(yōu)化以最優(yōu)地適應(yīng)時變無線信道條件。這需要在信道相干的時間內(nèi)快速解決硬組合優(yōu)化問題，而傳統(tǒng)的數(shù)值優(yōu)化方法很難實現(xiàn)。值得一提的是，針對不同的應(yīng)用場景，在線智能算法之間也存在優(yōu)劣之分。在動態(tài)無線網(wǎng)絡(luò)中，使用深度強化學(xué)習算法相對于基于監(jiān)督學(xué)習的深度神經(jīng)網(wǎng)絡(luò)算法具有如下優(yōu)勢：深度強化學(xué)習無須手動標記的訓(xùn)練樣本；深度強化學(xué)習算法對用戶信道分布的變化具有更強的魯棒性。目前，對于無線供能移動邊緣計算卸載策略的研究大多采用深度強化學(xué)習方法作為在線智能算法。下面重點介紹在不同的研究目標下，基于深度強化學(xué)習方法對無線供能移動邊緣計算卸載策略進行卓有成效的研究策略。

為了降低系統(tǒng)的長期成本，Xu等^[46]提出了一種基于深度強化學(xué)習的在線資源管理方案。任務(wù)卸載和服務(wù)器的提供都可以通過設(shè)計一個基于決策后狀態(tài)的算法來學(xué)習。Li等^[47]采用無人機作為服務(wù)器模式為用戶節(jié)點充電，以獲取數(shù)據(jù)，據(jù)此設(shè)計了一個車載深度學(xué)習網(wǎng)絡(luò)來最小化用戶節(jié)點的數(shù)據(jù)包丟失方案，通過學(xué)習充電和數(shù)據(jù)收集決策，以獲得最優(yōu)的解決方案。

為了最大化系統(tǒng)的計算效率，Huang等^[45]提出了一個基于深度強化學(xué)習的在線卸載框架。該框架利用深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)了一個可擴展的解決方案，從經(jīng)驗中學(xué)習二進制卸載決策。所提方案消除了解決組合優(yōu)化問題的需求，特別是在大型網(wǎng)絡(luò)中，大幅降低了計算復(fù)雜度。為了進一步降低復(fù)雜性，該文獻還提出了一個自適應(yīng)程序，自動調(diào)整DROO算法的參數(shù)。數(shù)值計算結(jié)果表明，與現(xiàn)有的優(yōu)化方法相比，該算法能在顯著減少計算時間的同時，實現(xiàn)接近最優(yōu)性能的目標。

為了最大化系統(tǒng)計算速率總和，Zhang等^[48]考慮基于部分卸載模式的WP-MEC網(wǎng)絡(luò)，建立考慮計算節(jié)點能量傳輸時長、用戶節(jié)點的傳輸時間分配和部分卸載比例的聯(lián)合優(yōu)化問題，并將上述卸載問題分解為主問題和子問題。文章設(shè)計了一個基于在線深度強化學(xué)習的框架，采用一個深度神經(jīng)網(wǎng)絡(luò)及其探索策略和訓(xùn)練策略來求主問題的最優(yōu)解，并設(shè)計了一種有效的優(yōu)化算法來解決子問題。數(shù)值結(jié)果表明，與使用求解器CVX求解子問題和使用深度神經(jīng)網(wǎng)絡(luò)求解主問題的方案相比，基于深度強化學(xué)習的卸載算法實現(xiàn)了接近最大的總計算速率和，同時減少了至少2個數(shù)量級的處理時間。

目前，對于深度強化學(xué)習賦能的無線供能移動邊緣計算的卸載策略的研究并未在計算延時最小化卸載策略方向上進行相關(guān)探索。

2.2 深度強化學(xué)習賦能的無線供能移動邊緣計算延時最小化卸載策略研究方向的總結(jié)與展望

目前的研究成果基本上假設(shè)用戶的計算卸載時間和本地計算時間都在最大的允許范圍內(nèi)，或是在給定延時要求的前提下，實現(xiàn)了計算速率、能耗、能效的優(yōu)化。然而，根據(jù)前述分析，計算時延是MEC的關(guān)鍵性能指標，因此WP-MEC的計算延時最小化策略研究意義重大。但根據(jù)表1中文獻列表的研究現(xiàn)狀，有關(guān)延時最小化的計算卸載策略的研究較少，只有葉迎暉等^[22-23]研究了TDMA無線接入的場景，利用變量松弛、二分查找優(yōu)化等手段處理復(fù)雜、難以直接求解的優(yōu)化問題。另一方面，葉迎暉等^[22-23]采用的方法在面對優(yōu)化參數(shù)較多、約束較多的WP-MEC計算延時最小化卸載問題時，存在“維度災(zāi)”問題。由于存在計算節(jié)點能量傳輸時長、各用戶節(jié)點本地計算時間和計算卸載傳輸時間3個時間維度的優(yōu)化，這3個時間維度的優(yōu)化均是一個max-max函數(shù)，且互相耦合影響。與此同時，在能量因果約束中也存在優(yōu)化變量耦合這一情況，因此和其他優(yōu)化目標相比，計算延時最小化問題具有大量的優(yōu)化變量、大量的約束和復(fù)雜的數(shù)學(xué)刻畫，基于優(yōu)化理論的方法可能有較高的計算復(fù)雜度（無法應(yīng)用于快衰落無線信道）。而人工智能模型如DQN（Deep Q-network）、深度確定性策略梯度（Deep Deterministic Policy Gradient，DDPG）等，由于巨大的狀態(tài)空間和動作空間以及難以處理的大量約束，很難實現(xiàn)最終的收斂目標（即使收斂，收斂性能通常也不理想）。因此，設(shè)計既具有較低復(fù)雜度又能達到較好任務(wù)計算性能的計算延時最小化卸載算法面臨較大的挑戰(zhàn)。

綜上所述，為了能夠?qū)崿F(xiàn)具有較低計算復(fù)雜度的同時獲得近似最優(yōu)的計算性能，形成相關(guān)理論推動WP-MEC邊緣計算技術(shù)的發(fā)展，未來可以在以下3個關(guān)鍵問題上展開進一步的探究，如圖4所示。

2.2.1 基于TDMA的計算延時最小化卸載策略設(shè)計

對該問題的研究旨在設(shè)計出基于信道增益、用戶任務(wù)的最優(yōu)化能量傳輸時長的深度強化學(xué)習框架，形成基于TDMA接入技術(shù)的深度強化學(xué)習和優(yōu)化技術(shù)聯(lián)合賦能的計算延時最小化卸載技術(shù)及理論。

該研究方向需要基于TDMA接入方式，探明計算延時和信道增益、能量傳輸時長、傳輸功率、CPU計算周期頻率、計算任務(wù)大小、卸載比例分配之間的因果關(guān)系，構(gòu)建計算延時最小化優(yōu)化模型。如何將優(yōu)化問題轉(zhuǎn)化為適合深度強化學(xué)習模型以及基于凸優(yōu)化、連續(xù)凸近似等優(yōu)化理論求解的子問題將是一個具有挑戰(zhàn)性的工作。另外，探索策略的設(shè)計也是該研究的一個難點。所研究的基于能量傳輸時長與各控制變量因果關(guān)系，不僅要設(shè)計提升深度神經(jīng)網(wǎng)絡(luò)連續(xù)變量優(yōu)化算法性能的探索策略，還要設(shè)計合適的候選能量傳輸時長的集合，避免算法的局部收斂，以在計算復(fù)雜度、收斂速度和收斂效果上取得較好的均衡。

2.2.2 基于OFDMA的計算延時最小化卸載策略設(shè)計

對該問題的研究旨在設(shè)計出基于信道增益、用戶任務(wù)的最優(yōu)化用戶節(jié)點子載波數(shù)目分配策略的深度強化學(xué)習框架，形成基于OFDMA接入技術(shù)的深度強化學(xué)習和優(yōu)化技術(shù)聯(lián)合賦能的計算延時最小化卸載技術(shù)及理論。

該研究方向需要基于OFDMA接入方式，在研究基于TDMA的計算延時最小化卸載策略設(shè)計的因果關(guān)系基礎(chǔ)上，進一步探明計算延時和各用戶節(jié)點子載波數(shù)目分配的因果關(guān)系，構(gòu)建計算延時最小化優(yōu)化模型。對于該研究問題的解決，其中一種可能的方向是將原問題分解為用戶節(jié)點子載波數(shù)目分配最優(yōu)化的整數(shù)規(guī)劃問題和給定各用戶節(jié)點子載波數(shù)目分配的卸載策略和資源分配最優(yōu)化問題。并針對以上子問題設(shè)計出基于網(wǎng)絡(luò)狀態(tài)求解最優(yōu)化用戶節(jié)點子載波數(shù)目的基于深度神經(jīng)網(wǎng)絡(luò)的深度強化學(xué)習模型以及合適的搜索算法。

對于該研究方向而言，基于用戶節(jié)點子載波數(shù)目分配與各控制變量因果關(guān)系，研究如何提升深度神經(jīng)網(wǎng)絡(luò)整數(shù)規(guī)劃算法性能的探索策略，設(shè)計合適的候選子載波分配決策和隨機噪聲添加方法，避免算法局部收斂，以在計算復(fù)雜度、收斂速度和收斂效果上取得較好均衡將是一個具有挑戰(zhàn)性的工作。

2.2.3 基于NOMA的計算延時最小化卸載策略設(shè)計

目前，基于NOMA技術(shù)的相關(guān)研究基本假設(shè)解碼順序是從信道增益較好的用戶節(jié)點到信道增益較差的節(jié)點，然而，此種解碼順序顯然無法滿足不同網(wǎng)絡(luò)模型對計算延時最小化的需求。所以設(shè)計出基于信道增益、用戶任務(wù)的最優(yōu)化用戶節(jié)點解調(diào)順序策略是一個有意義的研究方向。

該研究方向需要基于NOMA接入方式，在前述2個研究方向因果關(guān)系的基礎(chǔ)上，進一步探明計算延時和計算節(jié)點對各用戶節(jié)點信號的解調(diào)順序因果關(guān)系，構(gòu)建計算延時最小化優(yōu)化模型。對于該研究問題的解決，其中一種可能的方向是將原問題分解為最優(yōu)化計算節(jié)點對各用戶節(jié)點信號的解調(diào)順序的排序優(yōu)化問題和給定計算節(jié)點對各用戶節(jié)點信號的解調(diào)順序的卸載策略和資源分配問題。而如何設(shè)計基于深度神經(jīng)網(wǎng)絡(luò)的深度強化學(xué)習模型，在計算復(fù)雜度較低的情況下找到用戶節(jié)點信號解調(diào)的最優(yōu)順序，實現(xiàn)計算總延時最小化的計算卸載策略，并巧妙設(shè)計激活函數(shù)，實現(xiàn)深度強化學(xué)習模型輸出為解調(diào)順序是問題求解的關(guān)鍵。這其中最核心的問題是如何設(shè)計神經(jīng)網(wǎng)絡(luò)輸出層與動作決策的映射關(guān)系，并制定合適的決策概率分布函數(shù)來增強強化學(xué)習的探索特性，避免算法局部收斂，降低計算復(fù)雜度，提升收斂速度。

3 結(jié)語

本文闡述了下一代無線通信網(wǎng)絡(luò)將會面臨的由用戶數(shù)量激增所導(dǎo)致的系統(tǒng)響應(yīng)時效性和超低延時等新需求的挑戰(zhàn)，并對6類優(yōu)化目標的研究現(xiàn)狀進行了調(diào)研，發(fā)現(xiàn)當前對于計算延時最小化的研究還相對較少，從而將問題聚焦到無線供能移動邊緣計算系統(tǒng)的計算延時最小化上。而后，本文梳理并對比分析了各類優(yōu)化方法的優(yōu)劣，發(fā)現(xiàn)將深度強化學(xué)習算法與傳統(tǒng)算法相結(jié)合能夠使問題求解的迭代次數(shù)更少，收斂速度更快，靈活性更強。最后，本文給出了深度強化學(xué)習賦能的無線供能移動邊緣計算網(wǎng)絡(luò)的計算延時最小化的3個關(guān)鍵未來研究方向。以上問題的研究將為應(yīng)對無線用戶節(jié)點計算能力與能量的雙重受限問題，提供更高效、優(yōu)化的計算卸載策略，并為其提供技術(shù)支持和科學(xué)的設(shè)計思路。

參考文獻

[1]WEI Z Q，YU X H，NG D W K，et al. Resource allocation for simultaneous wireless information and power transfer systems：a tutorial overview[J]. Proceedings of the IEEE，2022（1）：127-149.

[2]STOYANOVA M，NIKOLOUDAKIS Y，PANAGIO-TAKIS S，et al. A survey on the Internet of Things （IoT）forensics：Challenges，approaches，and open issues[J]. IEEE Communications Surveys & Tutorials，2020（2）：1191-1221.

[3]AHMAD Q Y，NAUMAN A，BIN Z Y，et al. The future of healthcare Internet of Things：A survey of emerging technologies[J]. IEEE Communications Surveys & Tutorials，2020（2）：1121-1167.

[4]CHETTRI L，BERA R. A comprehensive survey on Internet of Things （IoT）toward 5G wireless systems[J]. IEEE Internet of Things Journal，2020（1）：16-32.

[5]ZHAO P，TAO J W，LUI K，et al. Deep reinforcement learning-based joint optimization of delay and privacy in multiple-user MEC systems[J]. IEEE Transactions on Cloud Computing，2023（2）：1487-1499.

[6]WANG X J，NING Z L，GUO L，et al. Online learning for distributed computation offloading in wireless powered mobile edge computing networks[J]. IEEE Transactions on Parallel and Distributed Systems，2022（8）：1841-1855.

[7]張依琳，梁玉珠，尹沐君，等.移動邊緣計算中計算卸載方案研究綜述[J].計算機學(xué)報，2021（12）：2406-2430.

[8]JU H，ZHANG R. Throughput maximization in wireless powered communication networks[J]. IEEE Transactions on Wireless Communications，2014（1）：418-428.

[9]LIU G H，WANG Z H，JIANG T. QoS-aware throughput maximization in wireless powered underground sensor networks[J]. IEEE Transactions on Communications，2016（11）：4776-4789.

[10]CHI K K，ZHU Y H，LI Y J，et al. Minimization of transmission completion time in wireless powered communication networks[J]. IEEE Internet of Things Journal，2017（5）：1671-1683.

[11] PARK J，SOLANKI S，BAEK S，et al. Latency minimization for wireless powered mobile edge computing networks with nonlinear rectifiers[J]. IEEE Transactions on Vehicular Technology，2021（8）：8320-8324.

[12]LAN X L，CHEN Q C，CAI L，et al. Buffer-aided adaptive wireless powered communication network with finite energy storage and data buffer[J]. IEEE Transactions on Wireless Communications，2019（12）：5764-5779.

[13]LI B G，SI F Q，ZHAO W，et al. Wireless powered mobile edge computing with NOMA and user cooperation[J]. IEEE Transactions on Vehicular Technology，2021（2）：1957-1961.

[14]ZENG M，DU R，F(xiàn)ODOR V，et al. 2019 IEEE 20th International Symposium on Power Electronics：Computation Rate Maximization for Wireless Powered Mobile Edge Computing with NOMA，October 23-26，2019[C]. Novi Sad，Serbia：IEEE，2019.

[15]FENG J，PEI Q Q，YU F R，et al. Computation offloading and resource allocation for wireless powered mobile edge computing with latency constraint[J]. IEEE Wireless Communications Letters，2019（5）：1320-1323.

[16]ZHOU F，HU R Q. Computation efficiency maximization in wireless-powered mobile edge computing Networks [J]. IEEE Transactions on Wireless Communications，2020（5）：3170-3184.

[17]BI S Z，ZHANG Y J. Computation rate maximization for wireless powered mobile-edge computing with binary computation offloading[J]. IEEE Transactions on Wireless Communications，2018（6）：4177-4190.

[18]MIRGHASEMI H，VANDENDORPE L，ASHRAF M. 2020 IEEE Wireless Communications and Networking Conference：Optimal Online Resource Allocation for SWIPT-based Mobile Edge Computing Systems，May 25-28，2020[C] （WCNC）. Seoul，South Korea：IEEE，2020.

[19]WU H，LYU X，TIAN H. Online optimization of wirelss powered mobile-edge computing for Het-erogeneous[J]. Industrial Internet of Things Journal，2019（6）：9880-9892.

[20]WU H，TIAN H，F(xiàn)AN S S，et al. Data age aware scheduling for wireless powered mobile-edge computing in industrial Internet of Things[J]. IEEE Transactions on Industrial Informatics，2021（1）：398-408.

[21]LI C L，CHEN W N，TANG H L，et al. Stochastic computation resource allocation for mobile edge computing powered by wireless energy transfer[J]. Ad Hoc Networks，2019，93：101897.

[22]葉迎暉，施麗琴，盧光躍.無線供能移動邊緣網(wǎng)絡(luò)中計算時延最小化資源分配方法研究[J].電子與信息學(xué)報，2022（5）：1839-1846.

[23]YE Y H，SHI L Q，CHU X L，et al. Delay minimization in wireless powered mobile edge computing with hybrid BackCom and AT[J]. IEEE Wireless Communications Letters，2021（7）：1532-1536.

[24]LI C L，CHEN W N，TANG J H，et al. Radio and computing resource allocation with energy harvesting devices in mobile edge computing environment[J]. Computer Communications，2019，145：193-202.

[25]WANG F，XING H，XU J. ICC 2019 - 2019 IEEE International Conference on Communications：Optimal Resource Allocation for Wireless Powered Mobile Edge Computing with Dynamic Task Arrivals，May 20-24，2019[C]. Shanghai，China：IEEE，2019.

[26]WANG F，XING H，XU J. Real-time resource allocation for wireless powered multiuser mobile edge computing with energy and task causality[J]. IEEE Transactions on Communications，2020（11）：7140-7155.

[27]TRAN T X，POMPILI D. Joint task offloading and resource allocation for multi-server mobile-edge computing networks[J]. IEEE Transactions on Vehicular Technology，2019（1）：856-868.

[28]LI H L，XU H T，ZHOU C C，et al. Joint optimization strategy of computation offloading and resource allocation in multi-access edge computing environment[J]. IEEE Transactions on Vehicular Technology，2020（9）：10214-10226.

[29]WEI Z X，SUN S M，ZHU X，et al. Resource allocation for wireless-powered full-duplex relaying systems with nonlinear energy harvesting efficiency[J]. IEEE Transactions on Vehicular Technology，2019（12）：12079-12093.

[30]HUANG P Q，WANG Y，WANG K Z. A divide-and-conquer bilevel optimization algorithm for jointly pricing computing resources and energy in wireless powered MEC[J]. IEEE Transactions on Cybernetics，2022（11）：12099-12111.

[31]NGUYEN P X，TRAN D H，ONIRETI O，et al. Backscatter-assisted data offloading in OFDMA-based wireless-powered mobile edge computing for IoT networks[J]. IEEE Internet of Things Journal，2021（11）：9233-9243.

[32]LI C L，TANG J H，LUO Y L. Dynamic multi-user computation offloading for wireless powered mobile edge computing[J]. Journal of Network and Computer Applications，2019，131：1-15.

[33]FANG F，XU Y Q，DING Z G，et al. Optimal resource allocation for delay minimization in NOMA-MEC networks[J]. IEEE Transactions on Communications，2020（12）：7867-7881.

[34]VU T H，NGUYEN T V，NGUYEN T T，et al. Performance analysis and deep learning design of wireless powered cognitive NOMA IoT short-packet communications with imperfect CSI and SIC[J]. IEEE Internet of Things Journal，2022（13）：10464-10479.

[35]CHENG Y Y，LI K H，TEH K C，et al. Two-tier NOMA-based wireless powered communication networks[J]. IEEE Systems Journal，2022（3）：4698-4707.

[36]SHI L Q，YE Y H，CHU X L，et al. Computation energy efficiency maximization for a NOMA-based WPT-MEC network[J]. IEEE Internet of Things Journal，2021（13）：10731-10744.

[37]QIAN L P，WU Y，JIANG F L，et al. NOMA assisted multi-task multi-access mobile edge computing via deep reinforcement learning for industrial Internet of Things[J]. IEEE Transactions on Industrial Informatics，2021（8）：5688-5698.

[38]YOU C S，HUANG K B，CHAE H. Energy efficient mobile cloud computing powered by wireless energy transfer[J]. IEEE Journal on Selected Areas in Communications，2016（5）：1757-1771.

[39]NARENDRA P M，F(xiàn)UKUNAGA K. A branch and bound algorithm for feature subset selection [J]. IEEE Transactions on Computers，1977（9）：917-922.

[40]BERTSEKAS D P. Dynamic programming and optimal control[M]. Belmont，MA：Athena Scientific，1995.

[41]BI S Z，ZHANG Y J. Computation rate maximization for wireless powered mobile-edge computing with binary computation offloading[J]. IEEE Transactions on Wireless Communications，2018（6）：4177-4190.

[42]TRAN T X，POMPILI D. Joint task offloading and resource allocation for multi-server mobile-edge computing networks[J]. IEEE Transactions on Vehicular Technology，2019（1）：856-868.

[43]GUO S T，XIAO B，YANG Y Y，et al. IEEE INFOCOM 2016 - The 35th Annual IEEE International Conference on Computer Communications：Energy-Efficient Dynamic Offloading and Resource Scheduling in Mobile Cloud Computing，April 10-15，2016[C]. San Francisco，CA，USA：IEEE，2016.

[44]DINH T Q，TANG J H，LA Q D，et al. Offloading in mobile edge computing：task allocation and computational frequency scaling[J]. IEEE Transactions on Communications，2017（8）：3571-3584.

[45]HUANG L，BI S Z，ZHANG Y J A. Deep reinforcement learning for online computation offloading in wireless powered mobile-edge computing networks[J]. IEEE Transactions on Mobile Computing，2020（11）：2581-2593.

[46]XU J，REN S L. 2016 IEEE Global Communications Conference：Online Learning for Offloading and Autoscaling in Renewable-Powered Mobile Edge Computing，December 4-8，2016[C]. Washington，DC，USA：IEEE，2016.

[47]LI K，NI W，TOVAR E，et al. On-board deep Q-network for UAV-assisted online power transfer and data collection[J]. IEEE Transactions on Vehicular Technology，2019（12）：12215-12226.

[48]ZHANG S B，GU H，CHI K K，et al. DRL-based partial offloading for maximizing sum computation rate of wireless powered mobile edge computing network[J]. IEEE Transactions on Wireless Communications，2022（12）：10934-10948.

（編輯 王雪芬編輯）

Review of research on offloading strategy for computing delay optimization

in wireless powered edge computing

Huang? Bowen¹， Chen? Xiaolong^1*， Fang? Cunliang¹， Zhou? Wenhua¹， Li? Jinhong¹， Huang? Qiwen¹， Chi? Kaikai²

（1.Jinhua Polytechnic， Jinhua 321000， China; 2.Zhejiang University of Technology， Hangzhou 310014， China）

Abstract： The integration of wireless energy supply and mobile edge computing technology provides a technical support for the realization of the next generation wireless communication network. However， the surge in the number of users poses new challenges to the realization of requirements such as system response timeliness and ultra-low latency. Therefore， how to design a real-time computing offloading strategy with fewer iterations， fast convergence and strong flexibility has become a new research focus. This paper combs the problems and challenges faced by wireless powered mobile edge computing（WP-MEC） system in achieving ultra-low latency requirements， summarizes the research overview of WP-MEC system network models and computing offload strategies， and describes in detail the research status of computing offloading strategies of WP-MEC systems under four different access modes. This paper compares and analyzes the advantages and disadvantages of various traditional numerical optimization methods and deep reinforcement learning optimization methods in real-time computing offloading decision-making. This paper summarizes and prospects the development of low complexity and efficient computing offloading strategies， and proposes three key research directions of delay minimization computing offloading policy.

Key words： deep reinforcement learning; wireless powered network; mobile edge computing; offloading strategy; computing delay minimization