大規(guī)模衛(wèi)星網(wǎng)絡(luò)的立體可重構(gòu)資源管控架構(gòu)與方法

摘 要：大規(guī)模衛(wèi)星網(wǎng)絡(luò)（Ｍｅｇａ Ｓａｔｅｌｌｉｔｅ Ｎｅｔｗｏｒｋｓ，ＭＳＮｓ）是由位于不同軌道高度、不同功能的衛(wèi)星組成的多層衛(wèi)星網(wǎng)絡(luò)，可突破現(xiàn)有地面網(wǎng)絡(luò)的覆蓋限制，實(shí)現(xiàn)未來６Ｇ 無縫覆蓋的高質(zhì)量服務(wù)需求。然而，ＭＳＮｓ 中各類衛(wèi)星高動(dòng)態(tài)移動(dòng)，致使網(wǎng)絡(luò)資源異構(gòu)且拓?fù)浯髸r(shí)空尺度持續(xù)變化，對海量資源自主管控和保障多樣化業(yè)務(wù)需求的實(shí)時(shí)響應(yīng)提出了嚴(yán)峻的挑戰(zhàn)。針對該挑戰(zhàn)，設(shè)計(jì)了面向ＭＳＮｓ 的立體可重構(gòu)資源管控架構(gòu)，通過在空間部署不同功能等級的衛(wèi)星管控節(jié)點(diǎn)實(shí)現(xiàn)對ＭＳＮｓ 異構(gòu)資源的層次化管理，并提出基于深度強(qiáng)化學(xué)習(xí)（Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ，ＤＲＬ）的多維資源調(diào)度策略對多元業(yè)務(wù)需求動(dòng)態(tài)重構(gòu)不同管控節(jié)點(diǎn)的資源，以提高資源利用率和保障服務(wù)質(zhì)量。仿真結(jié)果驗(yàn)證了基于所提架構(gòu)的資源管控方法相較于傳統(tǒng)啟發(fā)式算法，可提升１１． ６４％ 的資源利用率和４６． ４％ 的任務(wù)完成率。

關(guān)鍵詞：大規(guī)模衛(wèi)星網(wǎng)絡(luò)；軟件定義網(wǎng)絡(luò)；可重構(gòu)管控；深度強(qiáng)化學(xué)習(xí)

中圖分類號：ＴＮ９１９． ２３ 文獻(xiàn)標(biāo)志碼：Ａ 開放科學(xué)（資源服務(wù)）標(biāo)識碼（ＯＳＩＤ）：

文章編號：１００３－３１１４（２０２４）０６－１１６９－０８

０ 引言

近些年，衛(wèi)星網(wǎng)絡(luò)正在蓬勃發(fā)展，例如“星鏈”計(jì)劃的實(shí)施和中國北斗導(dǎo)航衛(wèi)星的發(fā)射等，使得目前在軌衛(wèi)星數(shù)量高達(dá)數(shù)千顆以上［１］，可提供更大的連接容量、更低的延遲、更廣的覆蓋范圍、更強(qiáng)的抗干擾能力等，有效克服了以地面蜂窩網(wǎng)絡(luò)為主的二維平面覆蓋結(jié)構(gòu)覆蓋不足、對地面基礎(chǔ)設(shè)施強(qiáng)依賴等問題，促進(jìn)了環(huán)境監(jiān)測、工業(yè)自動(dòng)化、智慧城市等眾多應(yīng)用的發(fā)展［２］。隨著各國及企業(yè)衛(wèi)星項(xiàng)目的逐步實(shí)施，空間網(wǎng)絡(luò)已成為由不同軌道高度、不同功能衛(wèi)星組成的大規(guī)模衛(wèi)星網(wǎng)絡(luò)（Ｍｅｇａ Ｓａｔｅｌｌｉｔｅ Ｎｅｔｗｏｒｋｓ，ＭＳＮｓ）［３］。其海量衛(wèi)星節(jié)點(diǎn)高動(dòng)態(tài)移動(dòng)，導(dǎo)致星間鏈路高動(dòng)態(tài)切換，網(wǎng)絡(luò)拓?fù)浯蠓秶⒊掷m(xù)性動(dòng)態(tài)變化，使得ＭＳＮｓ 自主管控極具挑戰(zhàn)。與此同時(shí)，數(shù)據(jù)流量持續(xù)增長且需求快速變化，但不同功能的資源通常只為特定的業(yè)務(wù)調(diào)度，這些資源受制于其專用硬件基礎(chǔ)設(shè)施，且來自不同的制造商，具有不同的通信協(xié)議，對ＭＳＮｓ 衛(wèi)星節(jié)點(diǎn)各類異構(gòu)資源的協(xié)同調(diào)度也提出了難題［４－５］。

在人工智能興起的時(shí)代，軟件定義網(wǎng)絡(luò)（Ｓｏｆｔｗａｒｅ Ｄｅｆｉｎｅｄ Ｎｅｔｗｏｒｋｉｎｇ，ＳＤＮ）、網(wǎng)絡(luò)功能虛擬化以及智能學(xué)習(xí)成為突破這些限制的可能，其中ＳＤＮ 已成功應(yīng)用于地面通信系統(tǒng)，對網(wǎng)絡(luò)設(shè)計(jì)和優(yōu)化產(chǎn)生了重要的推動(dòng)作用［６］。通過ＳＤＮ，可以控制邏輯與底層數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備分離，并對數(shù)據(jù)平面進(jìn)行集中控制。而ＳＤＮ 控制器能夠根據(jù)整個(gè)網(wǎng)絡(luò)的狀態(tài)制定高效的資源分配策略［７］。由于只有數(shù)據(jù)轉(zhuǎn)發(fā)功能，支持ＳＤＮ 的基礎(chǔ)設(shè)施不需要冗雜的傳輸協(xié)議，只需執(zhí)行從控制器接收到的指令，進(jìn)而簡化了不同硬件的耦合以及底層基礎(chǔ)設(shè)施的配置，從而降低系統(tǒng)升級成本。大量研究人員為支持ＳＤＮ 的ＭＳＮｓ開發(fā)了許多新穎的體系結(jié)構(gòu)，這些提出的體系結(jié)構(gòu)大多在地面部署ＳＤＮ 控制器來集中控制衛(wèi)星，但由于中軌（Ｍｅｄｉｕｍ Ｅａｒｔｈ Ｏｒｂｉｔ，ＭＥＯ）衛(wèi)星和低地球軌道（Ｌｏｗ Ｅａｒｔｈ Ｏｒｂｉｔ，ＬＥＯ）衛(wèi)星的高移動(dòng)性和星間鏈路的長傳播延遲，地面控制器難以及時(shí)獲取整個(gè)網(wǎng)絡(luò)的狀態(tài)信息。此外，很少有研究考慮ＳＤＮ 在涉及多層衛(wèi)星網(wǎng)絡(luò)和地面通信網(wǎng)絡(luò)中的適用性。

為實(shí)現(xiàn)ＭＳＮｓ 的自主管控和保障高質(zhì)量服務(wù)，本文提出了立體可重構(gòu)的ＳＤＮ 資源管控架構(gòu)，通過ＳＤＮ 和虛擬化技術(shù)對多維異構(gòu)資源進(jìn)行整合，實(shí)現(xiàn)統(tǒng)一化管理，并在不同軌道高度的衛(wèi)星上部署不同等級的管控功能，減少對地面管控節(jié)點(diǎn)的依賴，完成自主化遞階管控?；谠摴芸丶軜?gòu)，提出了業(yè)務(wù)驅(qū)動(dòng)的資源管理框架以實(shí)現(xiàn)高效的資源分配。在該管理框架中，資源分配策略直接決定資源的利用率。傳統(tǒng)資源分配方法，如數(shù)學(xué)規(guī)劃和啟發(fā)式優(yōu)化［８］，無法適應(yīng)大規(guī)模的資源與業(yè)務(wù)適配場景，復(fù)雜度隨著網(wǎng)絡(luò)規(guī)模的增大呈指數(shù)級增長［９－１０］。因此，本文采用深度強(qiáng)化學(xué)習(xí)（Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ，ＤＲＬ）方法依據(jù)多元業(yè)務(wù)的動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境對不同管控節(jié)點(diǎn)的資源進(jìn)行重構(gòu)，以顯著提升各類資源的利用率并保障業(yè)務(wù)的不同需求。性能評估結(jié)果驗(yàn)證了立體可重構(gòu)的ＳＤＮ 架構(gòu)可以顯著減少管控開銷，基于ＤＲＬ 的資源分配方法相較于傳統(tǒng)啟發(fā)式方法具有更高的資源利用率。

１ 基于ＳＤＮ 的立體可重構(gòu)資源管控架構(gòu)

本節(jié)介紹了ＳＤＮ 在ＭＳＮｓ 中的應(yīng)用，并設(shè)計(jì)了基于ＳＤＮ 的立體可重構(gòu)資源管控架構(gòu)以實(shí)現(xiàn)高效的資源協(xié)作。

１． １ ＳＤＮ 在ＭＳＮｓ 中的應(yīng)用

考慮ＭＳＮｓ 中的一個(gè)典型多層體系結(jié)構(gòu)，如圖１所示，該體系結(jié)構(gòu)主要由高軌（Ｇｅｏｓｙｎｃｈｒｏｎｏｕｓ ＥａｒｔｈＯｒｂｉｔ，ＧＥＯ）、ＭＥＯ 和ＬＥＯ 衛(wèi)星及地面通信設(shè)備組成。ＧＥＯ 和ＭＥＯ 衛(wèi)星通常體積較大，可攜帶更多的載荷，因此ＳＤＮ 控制器得以在中高軌上部署以實(shí)現(xiàn)控制面和數(shù)據(jù)面的分離。由于衛(wèi)星的快速發(fā)展，ＬＥＯ 衛(wèi)星攜帶載荷能力增強(qiáng)，使控制器部署在一些ＬＥＯ 衛(wèi)星上成為可能。以北斗三號系統(tǒng)為例，其包含３ 顆地球同步軌道衛(wèi)星、３ 顆傾斜地球同步軌道衛(wèi)星和２４ 顆ＭＥＯ 衛(wèi)星，可在沒有地面站支持的情況下自主運(yùn)行［１１］，其中地球同步軌道衛(wèi)星可以提供最大的覆蓋范圍，同時(shí)表現(xiàn)出最高的傳播延遲。雖然ＬＥＯ 衛(wèi)星的傳播延遲最小，但為了提供更大的覆蓋范圍，必須在軌道上部署大量衛(wèi)星，導(dǎo)致了切換和移動(dòng)管理的復(fù)雜性。因此，為減少ＬＥＯ 衛(wèi)星的管控復(fù)雜度，減緩地面的壓力，實(shí)現(xiàn)對網(wǎng)絡(luò)行為的動(dòng)態(tài)調(diào)節(jié)和網(wǎng)絡(luò)資源的管理，以地面網(wǎng)絡(luò)管控衛(wèi)星為主，在空間各層部署不同能力的控制器成為未來管控架構(gòu)設(shè)計(jì)的趨勢。

ＳＤＮ 在ＭＳＮｓ 中的運(yùn)行模式根據(jù)具體目標(biāo)可以分為兩大類：衛(wèi)星中的ＳＤＮ、地面網(wǎng)絡(luò)管控中心中的ＳＤＮ。目前越來越多的衛(wèi)星具備了機(jī)載處理和路由的能力，因此，可以執(zhí)行來自控制器的切換及資源調(diào)度方案。而地面ＳＤＮ 可作為全局控制中心來宏觀調(diào)控空間衛(wèi)星控制器，通過空間上收集空間衛(wèi)星控制器的信息來實(shí)時(shí)反饋網(wǎng)絡(luò)環(huán)境信息，充分利用星間鏈路資源，減緩星地下行鏈路通道擁塞情況，提升星間和星地資源利用率?？紤]到衛(wèi)星數(shù)量繁多，可根據(jù)衛(wèi)星節(jié)點(diǎn)之間的傳輸時(shí)延以及流量分布進(jìn)行動(dòng)態(tài)聚簇，并篩選出簇頭來部署控制器，該控制器需要采集管控區(qū)域內(nèi)的網(wǎng)絡(luò)信息，而部署控制器的成本和用以交互的管控信令傳輸開銷相互制約，部署的控制器越多，受控衛(wèi)星到達(dá)最近控制器的傳輸時(shí)延越小，反之越大。因此，需要在二者之間權(quán)衡，以獲取最優(yōu)的集中－分布式管控架構(gòu)，實(shí)現(xiàn)高效的資源管控。

１． ２ 立體可重構(gòu)資源管控架構(gòu)

駐留在地面網(wǎng)絡(luò)管控中心的主控制器作為主協(xié)調(diào)器負(fù)責(zé)整個(gè)網(wǎng)絡(luò)的集中管控，通過接口與空間段衛(wèi)星網(wǎng)絡(luò)中的其他控制器通信交換聚合的控制信息。在衛(wèi)星網(wǎng)絡(luò)中，數(shù)據(jù)平面由ＬＥＯ 衛(wèi)星組成，它們充當(dāng)交換機(jī)，簡單地執(zhí)行基于流的數(shù)據(jù)轉(zhuǎn)發(fā)。控制平面由部署控制器的ＧＥＯ／ ＭＥＯ／ ＬＥＯ 衛(wèi)星組成，其中高級控制器集中管理和控制ＬＥＯ 衛(wèi)星之間的移動(dòng)切換管理、全局流量統(tǒng)計(jì)、服務(wù)質(zhì)量保障和故障管理，低級控制器負(fù)責(zé)業(yè)務(wù)規(guī)劃、路由決策、拓?fù)涓潞唾Y源分配與管理等。控制器通過衛(wèi)星網(wǎng)絡(luò)的ＯｐｅｎＦｌｏｗ 通道，將所有控制指令發(fā)送到所屬區(qū)域內(nèi)的ＬＥＯ 衛(wèi)星，控制器之間的交互由地面管控中心遞階反饋與傳遞，如圖２ 所示，基于ＳＤＮ 的體系結(jié)構(gòu)中衛(wèi)星網(wǎng)絡(luò)將易于配置和更新。

由于大量的信令開銷和不可忽略的控制延遲，僅依靠一個(gè)地面ＳＤＮ 控制器進(jìn)行全網(wǎng)范圍的資源管控效率非常低。為了可擴(kuò)展性，多個(gè)ＳＤＮ 控制器被組織成一個(gè)立體層次結(jié)構(gòu)來管理多層衛(wèi)星資源，不同層的ＳＤＮ 控制器針對自己管控區(qū)域內(nèi)的節(jié)點(diǎn)操作。其中可部署控制器的ＬＥＯ 衛(wèi)星處于立體結(jié)構(gòu)的最低級，覆蓋面積最小。在距離較近的情況下，ＬＥＯ 衛(wèi)星的控制器能夠及時(shí)管理和調(diào)度周邊其他ＬＥＯ 衛(wèi)星內(nèi)的資源。ＭＥＯ 衛(wèi)星控制器可覆蓋更大的區(qū)域，協(xié)調(diào)多個(gè)ＬＥＯ 衛(wèi)星控制器進(jìn)行更高層次的網(wǎng)絡(luò)操作。地面網(wǎng)絡(luò)管控中心則作為最高級控制，用來定期收集衛(wèi)星與網(wǎng)絡(luò)環(huán)境信息，例如軌道位置、覆蓋范圍、資源可用性、業(yè)務(wù)請求等，并相應(yīng)地快速分配資源，對整個(gè)網(wǎng)絡(luò)進(jìn)行規(guī)整，協(xié)調(diào)各個(gè)控制器的操作。

２ 業(yè)務(wù)驅(qū)動(dòng)的資源管理框架

在ＭＳＮｓ 中，衛(wèi)星的資源種類和使用情況都存在較大差異。本節(jié)在前文基礎(chǔ)上，提出了面向大規(guī)模網(wǎng)絡(luò)的資源管控框架，利用ＳＤＮ 和虛擬化技術(shù)實(shí)現(xiàn)ＭＳＮｓ 統(tǒng)一的資源管控，如圖３ 所示。

框架由４ 層組成：基礎(chǔ)設(shè)施層、虛擬資源層、控制層和應(yīng)用層?；A(chǔ)設(shè)施層包括各種網(wǎng)絡(luò)的通信及管理設(shè)備，如衛(wèi)星、地面站和網(wǎng)絡(luò)管控中心等，甚至設(shè)備單元，如終端有效載荷、天線、傳感器和存儲(chǔ)器等。虛擬資源層包括資源虛擬化管理和虛擬資源池，通過資源虛擬化管理將設(shè)備的物理資源映射為虛擬化資源；同時(shí)構(gòu)建虛擬資源池來管理網(wǎng)絡(luò)中的多個(gè)虛擬化資源，其中感知、通信、計(jì)算和存儲(chǔ)資源均被抽象為虛擬化資源。而應(yīng)用層與業(yè)務(wù)相關(guān)，通過提取服務(wù)的特征和需求對業(yè)務(wù)進(jìn)行分類。由于提取過程適用于各種空間業(yè)務(wù)，因此業(yè)務(wù)特征管理具有較強(qiáng)的可擴(kuò)展性，可以適應(yīng)ＭＳＮｓ 中不斷增加的業(yè)務(wù)。最關(guān)鍵的是控制層，其通過ＳＤＮ 實(shí)現(xiàn)控制平面與數(shù)據(jù)平面分離，并在地面網(wǎng)絡(luò)管控中心以及攜帶計(jì)算載荷的部分衛(wèi)星，實(shí)現(xiàn)以地面段管控為主、空間段衛(wèi)星為輔的空間分層管控，進(jìn)而達(dá)到更高的資源分配管理效率。資源分配管理策略決定了網(wǎng)絡(luò)對不同需求業(yè)務(wù)的服務(wù)程度以及資源的利用情況，是保障對多樣化業(yè)務(wù)高效服務(wù)的關(guān)鍵。

２． １ 資源虛擬化

資源虛擬化根據(jù)對應(yīng)的物理資源特性，使用統(tǒng)一的范式進(jìn)行映射和表達(dá)。由于不同衛(wèi)星中同一類別資源存在差異性，可構(gòu)建虛擬資源池并將預(yù)先規(guī)劃好的虛擬資源集合起來，實(shí)現(xiàn)ＭＳＮｓ 多維異構(gòu)資源的統(tǒng)一管理，包括衛(wèi)星坐標(biāo)、覆蓋范圍、頻帶、天線數(shù)量等參數(shù)可以轉(zhuǎn)化為時(shí)間、頻率和空間上的通信資源。而計(jì)算載荷和存儲(chǔ)空間也可以進(jìn)一步被映射為計(jì)算資源和存儲(chǔ)資源，且可見光或紅外光學(xué)載荷以及合成孔徑雷達(dá)等可被抽象為感知資源，網(wǎng)絡(luò)可根據(jù)業(yè)務(wù)需求靈活匹配多維資源。因此，資源虛擬化管理在保持物理資源與對應(yīng)虛擬資源的映射關(guān)系方面起著重要作用。通過映射關(guān)系，資源虛擬化管理可以實(shí)現(xiàn)動(dòng)態(tài)更新虛擬資源池，根據(jù)物理資源的狀態(tài)，定期更新虛擬資源池中的虛擬化資源。例如，因衛(wèi)星之間不可見而導(dǎo)致通信鏈路斷開時(shí)，資源虛擬化管理可以將相關(guān)的虛擬通信資源從虛擬資源池中移除。同時(shí)，資源虛擬化管理可以篩選合適的虛擬資源以服務(wù)對應(yīng)的業(yè)務(wù)，即在為業(yè)務(wù)分配虛擬資源時(shí)，選擇具有相應(yīng)物理資源的設(shè)備來提供服務(wù)。

２． ２ 業(yè)務(wù)特征提取

根據(jù)上述分析可知，不同的任務(wù)對各種虛擬資源的需求也不盡相同，而多樣化的業(yè)務(wù)也給ＭＳＮｓ帶來了巨大的壓力。常見的業(yè)務(wù)包括遙感、導(dǎo)航以及通信任務(wù)等，其中遙感任務(wù)產(chǎn)生各種光學(xué)或雷達(dá)圖像等時(shí)空高分辨率數(shù)據(jù)，造成海量流量，要求網(wǎng)絡(luò)提供高帶寬的傳輸鏈路，以獲取指定環(huán)境信息來支撐環(huán)境監(jiān)測等服務(wù)。導(dǎo)航任務(wù)注重高精度數(shù)據(jù)的提取與快速傳輸，極具時(shí)延敏感性且優(yōu)先級高，以支持地面交通等領(lǐng)域的應(yīng)用。通信業(yè)務(wù)主要涉及數(shù)據(jù)傳輸業(yè)務(wù)，包括地面用戶的語音業(yè)務(wù)和視頻業(yè)務(wù)等，通常由Ｓｔａｒｌｉｎｋ 等ＬＥＯ 衛(wèi)星來實(shí)現(xiàn)數(shù)據(jù)快速地存儲(chǔ)與轉(zhuǎn)發(fā)。由于需求和約束的不同，各種業(yè)務(wù)之間很難實(shí)現(xiàn)統(tǒng)一的管理。在應(yīng)用層中，本文構(gòu)建了一個(gè)業(yè)務(wù)特征模型以支撐業(yè)務(wù)特征的管理，該模型提取了不同業(yè)務(wù)的多個(gè)典型的特征，包括流量、優(yōu)先級、時(shí)延、速率和分辨率等，這些需要量化的指標(biāo)可通過人為采集或機(jī)器采樣等方式獲取，例如業(yè)務(wù)流量的實(shí)時(shí)人為監(jiān)測可獲取其流量特征和分布等。與此同時(shí)，也可以通過自動(dòng)提取的方式獲取，例如利用深度神經(jīng)網(wǎng)絡(luò)來提取業(yè)務(wù)特征。自動(dòng)提取的方式從智能機(jī)器的角度揭示了業(yè)務(wù)和特征之間的內(nèi)在映射關(guān)系，包括準(zhǔn)確的特征描述，甚至其他更具代表性的隱藏特征。需要注意的是，盡管可以通過自動(dòng)提取找到更好的特征，但它通常需要更多的計(jì)算，對星上載荷的能力要求更高。因此，人為對智能采集進(jìn)行操控，篩選理想的特征進(jìn)行業(yè)務(wù)特征管理并節(jié)省計(jì)算量，是滿足未來日益增長的業(yè)務(wù)需求的最佳選擇。

３ 面向ＭＳＮｓ 的資源智能管理

傳統(tǒng)的資源管理方法強(qiáng)烈依賴于環(huán)境的先驗(yàn)知識，例如通過時(shí)變圖建模線性規(guī)劃問題對一段周期內(nèi)的資源進(jìn)行規(guī)劃［１２］，或者采用傳統(tǒng)啟發(fā)式方法對大規(guī)模規(guī)劃問題進(jìn)行快速求解。但面對日益增長的多樣化業(yè)務(wù)需求和更加復(fù)雜多變的網(wǎng)絡(luò)環(huán)境，這類方法不僅需要更多的計(jì)算成本，而且需要更多的全局網(wǎng)絡(luò)信息。因此，本文引入ＤＲＬ 來減少對環(huán)境先驗(yàn)知識的依賴，并根據(jù)網(wǎng)絡(luò)和業(yè)務(wù)的動(dòng)態(tài)變化來動(dòng)態(tài)更新決策。ＤＲＬ 是一種具有較強(qiáng)學(xué)習(xí)和計(jì)算能力的人工智能方法，基于數(shù)據(jù)的預(yù)處理，可以直接響應(yīng)各種輸入需求。

考慮一個(gè)具體的多維資源分配場景，衛(wèi)星拓?fù)湓趧澐值拿總€(gè)時(shí)隙內(nèi)視為準(zhǔn)靜態(tài)，并且ＬＥＯ 衛(wèi)星在每個(gè)時(shí)隙內(nèi)都不斷地產(chǎn)生新的任務(wù)數(shù)據(jù)，例如時(shí)延敏感任務(wù)和時(shí)延容忍任務(wù)，依據(jù)所提的立體可重構(gòu)架構(gòu)，計(jì)算任務(wù)可被傳輸?shù)讲渴鹆丝刂破鞯男l(wèi)星管控節(jié)點(diǎn)上進(jìn)行卸載，并通過重構(gòu)這些節(jié)點(diǎn)上的計(jì)算資源以保障任務(wù)的服務(wù)質(zhì)量，完成最小化任務(wù)周期內(nèi)處理時(shí)延和最大化任務(wù)完成率等目標(biāo)。同時(shí)，不同類型任務(wù)的時(shí)延需求，以及不同等級管控節(jié)點(diǎn)攜帶的計(jì)算資源、通信資源、能量和卸載選擇等約束，與所設(shè)目標(biāo)共同構(gòu)成資源分配問題。然而該類問題通常被建模為混合整數(shù)非線性規(guī)劃問題，其變量和約束通常是高維的，傳統(tǒng)啟發(fā)式算法依賴于網(wǎng)絡(luò)環(huán)境的先驗(yàn)知識，且容易陷入局部最優(yōu)解。因此，本文提出了一種基于ＤＲＬ 的多維資源調(diào)度策略來求解該問題。該問題可以用四元組表示的馬爾可夫決策過程，即（Ｓ，Ａ，π，Ｒ），其中Ｓ 表示每個(gè)時(shí)隙開始時(shí)各衛(wèi)星狀態(tài)構(gòu)成的狀態(tài)空間，包括ＬＥＯ 衛(wèi)星生成的任務(wù)信息，所有管控節(jié)點(diǎn)剩余的計(jì)算資源、能量資源和帶寬資源等；Ａ 表示每個(gè)時(shí)隙開始時(shí)管控節(jié)點(diǎn)對資源的分配決策，包括任務(wù)在哪顆管控衛(wèi)星（ＭＥＯ 或ＧＥＯ 衛(wèi)星）上卸載處理，對任務(wù)的計(jì)算資源和帶寬資源分配量；π 表示狀態(tài)轉(zhuǎn)移概率，即當(dāng)前時(shí)隙的衛(wèi)星狀態(tài)和資源分配決策直接決定了下一個(gè)時(shí)隙的狀態(tài)，屬于確定性的狀態(tài)轉(zhuǎn)移；Ｒ 表示獎(jiǎng)勵(lì)，是直接影響ＤＲＬ 學(xué)習(xí)效果的因素［１３］。本文獎(jiǎng)勵(lì)由５ 個(gè)函數(shù)組成：當(dāng)前時(shí)隙下的所有任務(wù)處理時(shí)延函數(shù)和任務(wù)完成量函數(shù)，并設(shè)置權(quán)重以保障二者的量級統(tǒng)一；懲罰函數(shù)，包括任務(wù)超時(shí)的時(shí)延懲罰函數(shù)、計(jì)算資源和帶寬資源的過載懲罰函數(shù)以及能量資源的耗盡懲罰函數(shù)。

考慮到所提問題的動(dòng)作空間是連續(xù)高維的［１４］，本文應(yīng)用了演員－評論者（Ａｃｔｏｒ-Ｃｒｉｔｉｃ，ＡＣ）框架，并采用深度確定性策略梯度（Ｄｅｅｐ Ｄｅｔｅｒｍｉｎｉｓｔｉｃ ＰｏｌｉｃｙＧｒａｄｉｅｎｔ，ＤＤＰＧ）方法提升算法的學(xué)習(xí)效率和穩(wěn)定性。如圖４ 所示的ＡＣ 框架中，Ａｃｔｏｒ 和Ｃｒｉｔｉｃ 分別包含一個(gè)策略網(wǎng)絡(luò)和一個(gè)Ｑ 網(wǎng)絡(luò)［１５］。策略網(wǎng)絡(luò)的功能是對策略進(jìn)行參數(shù)化，Ｑ 網(wǎng)絡(luò)用于對動(dòng)作進(jìn)行評估。因此，Ａｃｔｏｒ 可以根據(jù)Ｃｒｉｔｉｃ 的評價(jià)優(yōu)化策略梯度并更新策略，而Ｃｒｉｔｉｃ 可以根據(jù)Ａｃｔｏｒ 的策略更新Ｑ 網(wǎng)絡(luò)。Ａｃｔｏｒ 和Ｃｒｉｔｉｃ 之間的持續(xù)互動(dòng)最終使策略收斂，從而獲得ＬＥＯ 任務(wù)每個(gè)時(shí)隙在哪個(gè)管控節(jié)點(diǎn)、管控節(jié)點(diǎn)分配了多少計(jì)算資源、需要多少帶寬資源進(jìn)行任務(wù)傳輸?shù)葎?dòng)作信息，進(jìn)而獲取最優(yōu)的資源分配策略來實(shí)現(xiàn)最低的任務(wù)處理時(shí)延和最大的任務(wù)完成量。

４ 仿真結(jié)果與分析

為簡化問題，本文假設(shè)了兩個(gè)相對距離最遠(yuǎn)的地面站，并引入ＧＥＯ 和ＭＥＯ 衛(wèi)星、Ｋｕｉｐｅｒ 以及ＳｔａｒＬｉｎｋ 星座參數(shù)［１６］，統(tǒng)計(jì)了不同規(guī)模和管控模式下的受控節(jié)點(diǎn)到部署了ＳＤＮ 控制器設(shè)備的距離。

如圖５ 所示，當(dāng)網(wǎng)絡(luò)規(guī)模較小時(shí)，只有地面網(wǎng)絡(luò)管控的模式與加入了管控衛(wèi)星的跳數(shù)相差較小，一旦規(guī)模增大到千顆以上時(shí)，純地基管控模式的控制器傳輸開銷明顯增大。相比之下，部署了控制器的ＭＥＯ 和ＬＥＯ 衛(wèi)星空間管控模式可最大減少約１２ 跳。與此同時(shí)，本文統(tǒng)計(jì)了相同控制器數(shù)量下僅ＭＥＯ 和ＭＥＯ＋ＬＥＯ 兩種管控模式，來探索分布式管控模式的優(yōu)勢。隨著規(guī)模增大，控制器數(shù)量也在增多，當(dāng)ＬＥＯ 衛(wèi)星數(shù)量分別為１００、５００、１ ０００ 和１ ５００時(shí)，ＳＤＮ 控制器數(shù)量對應(yīng)為７、１９、３８ 和４５。在相同控制器數(shù)量時(shí)可以發(fā)現(xiàn)，添加了ＬＥＯ 控制器的管控模式可進(jìn)一步減少傳輸跳數(shù)，說明當(dāng)構(gòu)造空間輔控的立體可重構(gòu)管控架構(gòu)時(shí)，可充分利用空間資源通過底層控制器輔助管控高層衛(wèi)星管控不到的ＬＥＯ衛(wèi)星，彌補(bǔ)網(wǎng)絡(luò)中的管控空洞。在相同控制器部署開銷的情況下，立體可重構(gòu)管控架構(gòu)的傳輸增益可提升約１． ５ 倍，是未來管控ＭＳＮｓ 的趨勢。

本文對集中管控架構(gòu)與所提架構(gòu)在控制流表開銷方面進(jìn)行了比較，如圖６ 所示。集中管控架構(gòu)需要地面管控中心對衛(wèi)星網(wǎng)絡(luò)中的每一顆衛(wèi)星進(jìn)行管控，其流表中包含了衛(wèi)星路由的冗余信息，例如相同的下一跳或者重疊的匹配字段，進(jìn)而導(dǎo)致遠(yuǎn)大于所提架構(gòu)的流表大小。所提架構(gòu)充分利用了空間的冗余性，在空間段不同等級的控制器內(nèi)對流表中的冗余信息進(jìn)行壓縮，可降低至原流表開銷的１ ／５。雖然衛(wèi)星控制器部署越多，流表開銷越小，但控制器的部署成本同時(shí)也在增加。因此，流表的開銷與控制器部署的成本需要權(quán)衡，以最大程度提升所提架構(gòu)的性能。

本文深入研究了基于ＤＲＬ 的智能方法和其他啟發(fā)式算法關(guān)于資源分配策略性能上的對比，假設(shè)每顆ＬＥＯ 衛(wèi)星在每個(gè)時(shí)隙隨機(jī)產(chǎn)生觀測任務(wù)和導(dǎo)航任務(wù)，前者通常任務(wù)數(shù)據(jù)量較大，屬于時(shí)延容忍型（Ｄｅｌａｙ Ｓｅｎｓｉｔｉｖｅ，ＤＳ），設(shè)置為１ ～ １０ ｓ；后者任務(wù)數(shù)據(jù)量較小，屬于時(shí)延敏感型（Ｄｅｌａｙ Ｔｏｌｅｒａｎｔ，ＤＴ），設(shè)置為５０ ～ １００ ｍｓ。通過假設(shè)可以在本地和不同等級的控制器上（如ＧＥＯ）對任務(wù)進(jìn)行計(jì)算卸載，展示計(jì)算資源的協(xié)作對任務(wù)完成情況和資源利用情況的影響，具體仿真參數(shù)參考了文獻(xiàn)［１７－１８］。

如圖７ 所示，隨著ＤＳ 和ＤＴ 任務(wù)量的持續(xù)增加，分別統(tǒng)計(jì)了兩種業(yè)務(wù)的完成率。對于隨機(jī)選擇控制器以及貪婪思想的調(diào)度策略，當(dāng)任務(wù)數(shù)據(jù)量增大時(shí)，ＤＴ 任務(wù)完成率基本呈線性下降，而基于ＤＲＬ資源調(diào)度策略的兩類任務(wù)完成率僅降低約１５％ ，相比于貪婪和隨機(jī)方法，最多可提升４６． ４％ 的任務(wù)完成增益。原因是對于ＤＳ 任務(wù)，貪婪策略優(yōu)先選擇高級控制器，如ＧＥＯ 的計(jì)算資源，使得傳輸時(shí)延成本增加，導(dǎo)致ＤＳ 任務(wù)時(shí)延需求無法滿足，進(jìn)而任務(wù)完成率低；對于ＤＴ 任務(wù)，貪婪策略優(yōu)先占用本地的計(jì)算資源進(jìn)行計(jì)算，但本地計(jì)算資源有限，需要占用鄰近的衛(wèi)星對任務(wù)進(jìn)行處理，導(dǎo)致其他衛(wèi)星的任務(wù)無法及時(shí)處理，惡化任務(wù)完成情況。而隨機(jī)策略將任務(wù)隨機(jī)發(fā)送至不同的衛(wèi)星控制器上進(jìn)行處理，有效減少對鄰近衛(wèi)星的占用。因此在ＤＴ 任務(wù)量增長后，其任務(wù)完成率比貪婪策略高２０． ４％ 。

圖８ 通過統(tǒng)計(jì)不同類別的資源使用情況，可以得知算法性能優(yōu)劣。基于ＤＲＬ 的資源調(diào)度策略通過提高資源利用率來提升任務(wù)完成率，相較于貪婪和隨機(jī)策略可顯著提升１１． ６４％ 。同時(shí)，貪婪策略下的通信資源利用率低于其他兩種策略，這是因?yàn)樨澙凡呗缘木徒瓌t導(dǎo)致通信鏈路的開銷明顯小于其他兩種策略。綜上，隨機(jī)策略雖然可以利用其他控制器的資源進(jìn)行計(jì)算，但不能最大程度利用；而貪婪算法在每個(gè)時(shí)隙優(yōu)化得到該時(shí)隙下最優(yōu)的分配方法，不具備長期策略性，導(dǎo)致靠后的時(shí)隙資源利用不能達(dá)到最優(yōu)。引入ＤＲＬ 的智能資源分配方案可動(dòng)態(tài)調(diào)整策略以應(yīng)對網(wǎng)絡(luò)環(huán)境變化，高效處理大規(guī)模、高維且不確定性的任務(wù)規(guī)劃問題。

５ 結(jié)束語

本文研究了ＭＳＮｓ 中的資源管理問題，討論了ＳＤＮ 和虛擬化技術(shù)在衛(wèi)星網(wǎng)絡(luò)中的應(yīng)用，并依據(jù)不同衛(wèi)星的軌道高度、載荷能力等部署不同的控制器，設(shè)計(jì)了面向ＭＳＮｓ 的立體可重構(gòu)資源管控架構(gòu)，使得控制平面和數(shù)據(jù)平面有效分離，底層基礎(chǔ)設(shè)施的升級及配置也更加簡易。基于新的管控架構(gòu)，進(jìn)一步提出了一種資源管控框架，通過ＳＤＮ 和虛擬化技術(shù)整合所有異構(gòu)資源，以匹配資源和多樣化業(yè)務(wù)。為提高匹配效率，ＤＲＬ 作為智能方法被引入以高效提取業(yè)務(wù)與資源特征，進(jìn)而快速獲取有效匹配決策并顯著提升資源利用率與任務(wù)完成率，成為滿足新型網(wǎng)絡(luò)需求的關(guān)鍵。

參考文獻(xiàn)

［１］ ＷＡＮＧ Ｃ Ｘ，ＹＯＵ Ｘ Ｈ，ＧＡＯ Ｘ Ｑ，ｅｔ ａｌ． Ｏｎ ｔｈｅ Ｒｏａｄ ｔｏ６Ｇ：Ｖｉｓｉｏｎｓ，Ｒｅｑｕｉｒｅｍｅｎｔｓ，Ｋｅｙ ｔｅｃｈｎｏｌｏｇｉｅｓ，ａｎｄ Ｔｅｓｔｂｅｄｓ［Ｊ］． ＩＥＥＥ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｕｒｖｅｙｓ ＆ Ｔｕｔｏｒｉａｌｓ，２０２３，２５（２）：９０５－９７４．

［２］ ＨＯＮＧ Ｔ，ＺＨＡＯ Ｗ Ｔ，ＬＩＵ Ｒ Ｋ，ｅｔ ａｌ． ＳｐａｃｅＡｉｒＧｒｏｕｎｄＩｏＴ Ｎｅｔｗｏｒｋ ａｎｄ Ｒｅｌａｔｅｄ Ｋｅｙ Ｔｅｃｈｎｏｌｏｇｉｅｓ［Ｊ］． Ｍａｔｈｅｍａｔｉｃａｌ Ｒｅｓｅａｒｃｈ Ｌｅｔｔｅｒｓ，２０２０，２７（２）：９６－１０４．

［３］ ＳＨＩ Ｙ Ｐ，ＣＡＯ Ｙ Ｒ，ＬＩＵ Ｊ Ｊ，ｅｔ ａｌ． Ａ Ｃｒｏｓｓｄｏｍａｉｎ ＳＤＮＡｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｍｕｌｔｉｌａｙｅｒｅｄ Ｓｐａｃｅｔｅｒｒｅｓｔｒｉａｌ ＩｎｔｅｇｒａｔｅｄＮｅｔｗｏｒｋｓ［Ｊ］． ＩＥＥＥ Ｎｅｔｗｏｒｋ，２０１９，３３（１）：２９－３５．

［４］ ＨＡＮ Ｓ，ＨＵＡＮＧ Ｙ Ｔ，ＭＥＮＧ Ｗ Ｘ，ｅｔ ａｌ． Ｏｐｔｉｍａｌ ＰｏｗｅｒＡｌｌｏｃａｔｉｏｎ ｆｏｒ ＳＣＭＡ Ｄｏｗｎｌｉｎｋ Ｓｙｓｔｅｍｓ Ｂａｓｅｄ ｏｎ ＭａｘｉｍｕｍＣａｐａｃｉｔｙ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，２０１９，６７（２）：１４８０－１４８９．

［５］ ＭＡＬＥＫＩ Ｓ，ＣＨＡＴＺＩＮＯＴＡＳ Ｓ，ＥＶＡＮＳ Ｂ，ｅｔ ａｌ． ＣｏｇｎｉｔｉｖｅＳｐｅｃｔｒｕｍ Ｕｔｉｌｉｚａｔｉｏｎ ｉｎ Ｋａ Ｂａｎｄ Ｍｕｌｔｉｂｅａｍ Ｓａｔｅｌｌｉｔｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ［Ｊ］． ＩＥＥＥ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｍａｇａｚｉｎｅ，２０１５，５３（３）：２４－２９．

［６］ ＬＩＵ Ｊ Ｊ，ＳＨＩ Ｙ Ｐ，ＺＨＡＯ Ｌ，ｅｔ ａｌ． Ｊｏｉｎｔ Ｐｌａｃｅｍｅｎｔ ｏｆ Ｃｏｎｔｒｏｌｌｅｒｓ ａｎｄ Ｇａｔｅｗａｙｓ ｉｎ ＳＤＮＥｎａｂｌｅｄ ５ＧＳａｔｅｌｌｉｔｅ Ｉｎｔｅｇｒａｔｅｄ Ｎｅｔｗｏｒｋ［Ｊ］． ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｎ Ｓｅｌｅｃｔｅｄ Ａｒｅａｓ ｉｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ，２０１８，３６（２）：２２１－２３２．

［７］ ＫＩＭ Ｈ，ＦＥＡＭＳＴＥＲ Ｎ． Ｉｍｐｒｏｖｉｎｇ Ｎｅｔｗｏｒｋ Ｍａｎａｇｅｍｅｎｔｗｉｔｈ Ｓｏｆｔｗａｒｅ Ｄｅｆｉｎｅｄ Ｎｅｔｗｏｒｋｉｎｇ［Ｊ］． ＩＥＥＥ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｍａｇａｚｉｎｅ，２０１３，５１（２）：１１４－１１９．

［８］ ＤＩＮＧ Ｊ Ｆ，ＹＵ Ｒ，ＺＨＡＮＧ Ｙ，ｅｔ ａｌ． Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ Ｃｏｍｐｅｔｉｔｉｏｎ ａｎｄ Ｃｏｏｐｅｒａｔｉｏｎ ｉｎ Ｃｌｏｕｄｂａｓｅｄ Ｓｏｆｔｗａｒｅ ＤｅｆｉｎｅｄＷｉｒｅｌｅｓｓ Ｎｅｔｗｏｒｋｓ［Ｊ］． ＩＥＥＥ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｍａｇａｚｉｎｅ，２０１５，５３（１１）：１３４－１４０．

［９］ ＤＥＮＧ Ｂ Ｙ，ＪＩＡＮＧ Ｃ Ｘ，ＹＡＯ Ｈ Ｐ，ｅｔ ａｌ． Ｔｈｅ Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｈｅｔｅｒｏｇｅｎｅｏｕｓ Ｓａｔｅｌｌｉｔｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｎｅｔｗｏｒｋｓ：Ｉｎｔｅｇｒａｔｉｏｎ ｏｆ Ｒｅｓｏｕｒｃｅ Ｍａｎａｇｅｍｅｎｔ ａｎｄ Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ［Ｊ］． ＩＥＥＥ Ｗｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，２０２０，２７（２）：１０５－１１１．

［１０］ＺＨＡＮＧ Ｐ Ｙ，ＷＡＮＧ Ｃ，ＫＵＭＡＲ Ｎ，ｅｔ ａｌ． ＳｐａｃｅＡｉｒＧｒｏｕｎｄ Ｉｎｔｅｇｒａｔｅｄ Ｍｕｌｔｉｄｏｍａｉｎ Ｎｅｔｗｏｒｋ Ｒｅｓｏｕｒｃｅ Ｏｒｃｈｅｓｔｒａｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ａｒｃｈｉｔｅｃｔｕｒｅ：Ａ ＤＲＬＭｅｔｈｏｄ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ ＴｒａｎｓｐｏｒｔａｔｉｏｎＳｙｓｔｅｍｓ，２０２２，２３（３）：２７９８－２８０８．

［１１］陳雷，裴凌，高為廣，等． 北斗三號系統(tǒng)衛(wèi)星自主完好性監(jiān)測技術(shù)［Ｊ］． 導(dǎo)航定位與授時(shí)，２０２４，１１（１）：１－９．

［１２］ＺＨＯＵ Ｄ，ＳＨＥＮＧ Ｍ，ＬＩ Ｊ Ｄ，ｅｔ ａｌ． Ａｅｒｏｓｐａｃｅ ＩｎｔｅｇｒａｔｅｄＮｅｔｗｏｒｋｓ Ｉｎｎｏｖａｔｉｏｎ ｆｏｒ Ｅｍｐｏｗｅｒｉｎｇ ６Ｇ：Ａ Ｓｕｒｖｅｙ ａｎｄＦｕｔｕｒｅ Ｃｈａｌｌｅｎｇｅｓ［Ｊ］． ＩＥＥＥ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｕｒｖｅｙｓ ＆Ｔｕｔｏｒｉａｌｓ，２０２３，２５（２）：９７５－１０１９．

［１３］ＳＨＩ Ｙ Ｄ，ＬＩＡＮ Ｌ Ｘ，ＳＨＩ Ｙ Ｍ，ｅｔ ａｌ． Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇｆｏｒ Ｌａｒｇｅｓｃａｌｅ Ｏｐｔｉｍｉｚａｔｉｏｎ ｉｎ ６Ｇ Ｗｉｒｅｌｅｓｓ Ｎｅｔｗｏｒｋｓ［Ｊ］． ＩＥＥＥ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｕｒｖｅｙｓ ＆ Ｔｕｔｏｒｉａｌｓ，２０２３，２５（４）：２０８８－２１３２．

［１４］ＺＨＵ Ｒ Ｊ，ＬＩ Ｇ，ＺＨＡＮＧ Ｙ Ｄ，ｅｔ ａｌ． Ｌｏａｄｂａｌａｎｃｅｄ ＶｉｒｔｕａｌＮｅｔｗｏｒｋ Ｅｍｂｅｄｄｉｎｇ Ｂａｓｅｄ ｏｎ Ｄｅｅｐ ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ ｆｏｒ ６Ｇ Ｒｅｇｉｏｎａｌ Ｓａｔｅｌｌｉｔｅ Ｎｅｔｗｏｒｋｓ ［Ｊ］． ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｅｈｉｃｕｌａｒ Ｔｅｃｈｎｏｌｏｇｙ，２０２３，７２ （１１）：１４６３１－１４６４４．

［１５］ ＬＥＴＡＩＥＦ Ｋ Ｂ，ＳＨＩ Ｙ Ｍ，ＬＵ Ｊ Ｍ，ｅｔ ａｌ． Ｅｄｇｅ ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ ｆｏｒ ６Ｇ：Ｖｉｓｉｏｎ，Ｅｎａｂｌｉｎｇ Ｔｅｃｈｎｏｌｏｇｉｅｓ，ａｎｄＡｐｐｌｉｃａｔｉｏｎｓ［Ｊ］． ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｎ Ｓｅｌｅｃｔｅｄ Ａｒｅａｓ ｉｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，２０２２，４０（１）：５－３６．

［１６］ＣＨＥＮ Ｑ，ＧＩＡＭＢＥＮＥ Ｇ，ＹＡＮＧ Ｌ，ｅｔ ａｌ． Ａｎａｌｙｓｉｓ ｏｆＩｎｔｅｒｓａｔｅｌｌｉｔｅ Ｌｉｎｋ Ｐａｔｈｓ ｆｏｒ ＬＥＯ Ｍｅｇａｃｏｎｓｔｅｌｌａｔｉｏｎ Ｎｅｔｗｏｒｋｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｅｈｉｃｕｌａｒ Ｔｅｃｈｎｏｌｏｇｙ，２０２１，７０（３）：２７４３－２７５５．

［１７］ＺＨＡＮＧ Ｈ Ｙ，ＬＩＵ Ｒ Ｋ，ＫＡＵＳＨＩＫ Ａ，ｅｔ ａｌ． Ｓａｔｅｌｌｉｔｅ ＥｄｇｅＣｏｍｐｕｔｉｎｇ ｗｉｔｈ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｃｏｍｐｕｔａｔｉｏｎ Ｏｆｆｌｏａｄｉｎｇ：ＡｎＩｎｔｅｌｌｉｇｅｎｔ Ｄｅｅｐ Ｄｅｔｅｒｍｉｎｉｓｔｉｃ Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ Ａｐｐｒｏａｃｈ［Ｊ］． ＩＥＥＥ Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ Ｊｏｕｒｎａｌ，２０２３，１０ （１０）：９０９２－９１０７．

［１８］ＴＡＮＧ Ｑ Ｑ，ＦＥＩ Ｚ Ｓ，ＬＩ Ｂ，ｅｔ ａｌ． Ｓｔｏｃｈａｓｔｉｃ ＣｏｍｐｕｔａｔｉｏｎＯｆｆｌｏａｄｉｎｇ ｆｏｒ ＬＥＯ Ｓａｔｅｌｌｉｔｅ Ｅｄｇｅ Ｃｏｍｐｕｔｉｎｇ Ｎｅｔｗｏｒｋｓ：ＡＬｅａｒｎｉｎｇｂａｓｅｄ Ａｐｐｒｏａｃｈ ［Ｊ］． ＩＥＥＥ Ｉｎｔｅｒｎｅｔ ｏｆ ＴｈｉｎｇｓＪｏｕｒｎａｌ，２０２４，１１（４）：５６３８－５６５２．

作者簡介：

郝 琪 女，（１９９６—），博士研究生。主要研究方向：衛(wèi)星網(wǎng)絡(luò)、資源調(diào)度。

（*通信作者）周 笛 女，（１９９１—），博士，副教授。主要研究方向：大規(guī)模星座、天地一體化網(wǎng)絡(luò)、空間信息網(wǎng)絡(luò)、衛(wèi)星互聯(lián)網(wǎng)。

盛 敏 女，（１９７５—），博士，教授。主要研究方向：空間信息網(wǎng)絡(luò)、Ｂ５Ｇ／６Ｇ 移動(dòng)通信網(wǎng)絡(luò)、異構(gòu)網(wǎng)絡(luò)融合。

史 琰 男，（１９７５—），博士，教授。主要研究方向：智能網(wǎng)絡(luò)、空間信息網(wǎng)絡(luò)、高性能通信與計(jì)算協(xié)同。

李建東 男，（１９６２—），博士，教授。主要研究方向：空間信息網(wǎng)絡(luò)、智能無線網(wǎng)絡(luò)、大規(guī)模自組織網(wǎng)絡(luò)。

基金項(xiàng)目：國家自然科學(xué)基金（６２３７１３６０，６２４２２１１４，６２１２１００１）；青年人才托舉工程（２０２２ＱＮＲＣ００１）