星地融合網(wǎng)絡(luò)中基于無(wú)監(jiān)督圖學(xué)習(xí)的衛(wèi)星切換方法研究*

劉人鵬，涂文康，胡博**，王恒，齊文

（1.北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)全國(guó)重點(diǎn)實(shí)驗(yàn)室，北京 100876；2.中國(guó)電信股份有限公司研究院，北京 102209）

0 引言

隨著全球移動(dòng)通信需求的日益增加，未來(lái)6G 通信系統(tǒng)將整合地面移動(dòng)通信和衛(wèi)星通信兩張網(wǎng)絡(luò)，形成星地融合的網(wǎng)絡(luò)結(jié)構(gòu)，為全球各類用戶提供泛在寬帶服務(wù)[1]。當(dāng)前，移動(dòng)通信網(wǎng)絡(luò)僅覆蓋了大約20%的陸地面積，仍然有超過(guò)30%的人口無(wú)法接入互聯(lián)網(wǎng)，全球通信覆蓋能力和數(shù)據(jù)傳輸能力存在顯著不均衡。衛(wèi)星通信網(wǎng)絡(luò)受基礎(chǔ)設(shè)施建設(shè)等客觀因素的限制較小，特別是低軌道衛(wèi)星，相比高軌道和中軌道衛(wèi)星，發(fā)射成本更低、通信時(shí)延更短、鏈路損耗更小，可解決地面移動(dòng)通信在偏遠(yuǎn)地區(qū)覆蓋和需要快速穩(wěn)定的應(yīng)急通信等方面的問(wèn)題。衛(wèi)星通信與地面通信遵循“5G 兼容，6G 融合”的理念——在人口密集區(qū)域使用地面通信網(wǎng)絡(luò)，以發(fā)揮其大容量、高速率和低時(shí)延的優(yōu)勢(shì)，在其他偏遠(yuǎn)地區(qū)則使用衛(wèi)星通信網(wǎng)絡(luò)，以發(fā)揮其廣泛覆蓋的優(yōu)勢(shì)[3]。星地融合網(wǎng)絡(luò)具有更為復(fù)雜、難以描述和預(yù)測(cè)的移動(dòng)特性，需要研究高效的切換控制技術(shù)以確保星地融合網(wǎng)絡(luò)中通信連續(xù)性[4]。

近年來(lái)，國(guó)際標(biāo)準(zhǔn)組織對(duì)移動(dòng)性切換開(kāi)展了眾多標(biāo)準(zhǔn)化工作，如3GPP 在R17 版本開(kāi)展了對(duì)非地面網(wǎng)絡(luò)（NTN,Non-Terrestrial Network）中基于位置的移動(dòng)性管理等技術(shù)的標(biāo)準(zhǔn)化工作。在R18 版本NR NTN Enhancements 項(xiàng)目中，進(jìn)一步增強(qiáng)NTN-TN 和NTN-NTN 移動(dòng)性和服務(wù)連續(xù)性，特別是針對(duì)非連續(xù)覆蓋場(chǎng)景下移動(dòng)性管理展開(kāi)研究[5]。近年來(lái)，多位學(xué)者針對(duì)各種衛(wèi)星網(wǎng)絡(luò)以及星地融合網(wǎng)絡(luò)的各種場(chǎng)景中的切換策略進(jìn)行了詳細(xì)論述。在文獻(xiàn)[6]中，作者提出了一種以用戶為中心的切換方案，通過(guò)多衛(wèi)星同時(shí)緩存用戶的下行數(shù)據(jù)地面實(shí)現(xiàn)用戶的無(wú)縫切換，解決頻繁切換的問(wèn)題。在文獻(xiàn)[7]中，作者提出了一種基于網(wǎng)絡(luò)流的切換策略，在巨型低地球軌道（LEO,Low Earth Orbit）衛(wèi)星星座中最大化用戶體驗(yàn)質(zhì)量（QoE,Quality of Experience）。隨著LEO衛(wèi)星的大規(guī)模部署，某一區(qū)域的移動(dòng)設(shè)備可能同時(shí)擁有多顆可見(jiàn)衛(wèi)星，面臨多接入點(diǎn)選擇的問(wèn)題。如果切換條件不合適，可能會(huì)導(dǎo)致反復(fù)頻繁切換，增大決策負(fù)擔(dān)，文獻(xiàn)[8]中作者研究了超密集LEO 衛(wèi)星網(wǎng)絡(luò)（UD-LSN,Ultra-Dense LEO Satellite Network）中的衛(wèi)星切換模型，提出了一種基于雙層分組和集群的移動(dòng)性管理架構(gòu)，旨在降低管理復(fù)雜性。文獻(xiàn)[9–11]采用了強(qiáng)化學(xué)習(xí)的思想，用戶以優(yōu)化長(zhǎng)期吞吐量為目標(biāo)自主決策，從而避免非地面基站之間頻繁切換。在文獻(xiàn)[12]中，作者利用傳輸鏈路質(zhì)量、LEO-BS 的負(fù)載均衡度以及剩余覆蓋時(shí)間來(lái)設(shè)計(jì)切換決策度量，在保證服務(wù)質(zhì)量（QoS,Quality of Service）的基礎(chǔ)上，減少用戶平均切換次數(shù)。文獻(xiàn)[13]中作者提出了一種面向低軌衛(wèi)星通信網(wǎng)絡(luò)的基于圖的衛(wèi)星切換框架，通過(guò)根據(jù)不同的切換標(biāo)準(zhǔn)設(shè)置鏈路權(quán)重，基于圖的框架可以支持多種衛(wèi)星切換策略。文獻(xiàn)[14]在圖切換框架的基礎(chǔ)上，為每條邊設(shè)計(jì)切換參數(shù)，優(yōu)化切換時(shí)機(jī)與切換序列。文獻(xiàn)[15]中作者提出一種基于圖框架的多屬性圖切換算法，以優(yōu)化切換次數(shù)為目標(biāo)，使用critic 方法對(duì)多個(gè)切換屬性進(jìn)行加權(quán)，從而降低平均切換時(shí)延。

現(xiàn)有方法如基于多屬性決策的切換方法通過(guò)預(yù)設(shè)權(quán)重衡量各個(gè)切換屬性，難以滿足用戶多樣化需求，基于機(jī)器學(xué)習(xí)的切換方法需要大量的數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練，在衛(wèi)星通信系統(tǒng)中，數(shù)據(jù)的獲取和處理會(huì)受到星地大時(shí)空尺度信道變化的限制。本文提出一種基于無(wú)監(jiān)督圖學(xué)習(xí)的方法，引入衛(wèi)星覆蓋時(shí)空?qǐng)D，表征網(wǎng)絡(luò)連接關(guān)系，定制面向切換決策的信息素感知機(jī)制，收集并監(jiān)測(cè)候選衛(wèi)星的切換信息，建立圖學(xué)習(xí)模型挖掘衛(wèi)星覆蓋時(shí)空?qǐng)D中的特征信息和拓?fù)湫畔?，求解包含?jié)點(diǎn)和邊之間復(fù)雜相互作用的星地網(wǎng)絡(luò)切換問(wèn)題，保證網(wǎng)絡(luò)吞吐量，搭建星地融合通信仿真環(huán)境，測(cè)試所提切換方法的性能。

1 基于無(wú)監(jiān)督圖學(xué)習(xí)的切換方法

1.1 場(chǎng)景模型

本文構(gòu)建了一個(gè)星地融合網(wǎng)絡(luò)用戶切換場(chǎng)景模型，由低軌衛(wèi)星網(wǎng)絡(luò)為地面用戶提供網(wǎng)絡(luò)接入服務(wù)，每個(gè)地面用戶可以被多顆低軌衛(wèi)星覆蓋，但同一時(shí)間只與一顆低軌衛(wèi)星建立通信鏈路[16]。用戶在通信過(guò)程中會(huì)因衛(wèi)星移動(dòng)觸發(fā)切換，根據(jù)星地鏈路的質(zhì)量選擇可見(jiàn)范圍內(nèi)的候選衛(wèi)星，每顆候選衛(wèi)星都為用戶預(yù)留一定的緩存空間[6]。

星地融合網(wǎng)絡(luò)場(chǎng)景如圖1 所示，設(shè)覆蓋區(qū)域內(nèi)用戶由低軌衛(wèi)星持續(xù)提供通信服務(wù)，該場(chǎng)景主要由以下部分構(gòu)成：低軌通信衛(wèi)星表示為，衛(wèi)星沿固定星歷軌跡運(yùn)動(dòng)，當(dāng)運(yùn)動(dòng)至用戶可見(jiàn)范圍內(nèi)，可以作為潛在的切換候選衛(wèi)星。地面用戶表示為，利用可見(jiàn)關(guān)系矩陣來(lái)表示用戶與衛(wèi)星的覆蓋關(guān)系[9]。

圖1 星地融合網(wǎng)絡(luò)切換場(chǎng)景圖

其中R為地球半徑，h為衛(wèi)星軌道高度，衛(wèi)星與用戶之間的距離可以計(jì)算為：

每顆衛(wèi)星節(jié)點(diǎn)的剩余服務(wù)時(shí)間屬性可以依據(jù)星歷導(dǎo)出的覆蓋時(shí)間tM計(jì)算得到[18]：

衛(wèi)星與地面用戶的基本路徑損耗PLb計(jì)算為為自由空間傳播損耗、陰影衰落與雜波損耗之和：

可計(jì)算出地面用戶信噪比為：

其中Ptr、Gtr、Gre分別為發(fā)射功率、發(fā)射天線增益、接收天線增益，用戶可達(dá)速率通過(guò)香農(nóng)定理計(jì)算為：

其中，Ps表示該用戶成功切換的概率，Tr表示從切換失敗到重新啟動(dòng)再到鏈路重建的等待時(shí)間，Tp包含了切換過(guò)程所需傳播時(shí)延和處理時(shí)延，地面用戶的平均切換時(shí)延可計(jì)算為：

定義衛(wèi)星節(jié)點(diǎn)負(fù)載為該網(wǎng)絡(luò)當(dāng)前接入的用戶數(shù)與最大可服務(wù)用戶數(shù)之比，網(wǎng)絡(luò)負(fù)載可以表示為衛(wèi)星節(jié)點(diǎn)負(fù)載方差：

其中Mj為最大可服務(wù)用戶數(shù)，為衛(wèi)星節(jié)點(diǎn)負(fù)載平均值。

本文目標(biāo)是在滿足用戶業(yè)務(wù)連續(xù)性和網(wǎng)絡(luò)負(fù)載均衡的前提下提高網(wǎng)絡(luò)吞吐量，可以將切換問(wèn)題建模為：

目標(biāo)函數(shù)表示最大化網(wǎng)絡(luò)吞吐量，約束第一項(xiàng)中{0,1} 表示地面用戶與衛(wèi)星之間連接指示符的取值范圍，第二項(xiàng)中表示用戶最小速率需求閾值，第三項(xiàng)中Dth表示切換時(shí)延最大閾值，第四項(xiàng)中Lth表示網(wǎng)絡(luò)負(fù)載最大閾值，第五項(xiàng)表示每顆衛(wèi)星服務(wù)用戶數(shù)的取值范圍，其中為最大服務(wù)的用戶數(shù)量。

1.2 接入請(qǐng)求及切換流程

整個(gè)星地通信過(guò)程分為接入和切換兩個(gè)步驟，初次接入衛(wèi)星網(wǎng)絡(luò)時(shí)，地面用戶需要根據(jù)衛(wèi)星周期發(fā)送的廣播信號(hào)強(qiáng)度選擇連接的衛(wèi)星節(jié)點(diǎn)，并向該節(jié)點(diǎn)發(fā)出接入請(qǐng)求。批準(zhǔn)接入請(qǐng)求后，衛(wèi)星給用戶分配通信資源。當(dāng)用戶需要切換衛(wèi)星節(jié)點(diǎn)時(shí)，用戶需要根據(jù)候選目標(biāo)衛(wèi)星的信息抉擇出目標(biāo)衛(wèi)星，如圖2 所示，切換的具體流程如下[19]：

圖2 星地融合網(wǎng)絡(luò)切換流程圖

第1 步：用戶向源衛(wèi)星發(fā)送鏈路資源控制（RRC,Radio Resource Control）測(cè)量報(bào)告，包括候選切換衛(wèi)星列表，發(fā)起切換請(qǐng)求。

第2 步：源衛(wèi)星檢查基于信息素機(jī)制生成的候選衛(wèi)星資源狀態(tài)，生成候選衛(wèi)星列表報(bào)告，并向列表中的衛(wèi)星發(fā)送切換準(zhǔn)入請(qǐng)求。

第3 步：收到切換準(zhǔn)入請(qǐng)求的候選目標(biāo)衛(wèi)星進(jìn)行準(zhǔn)入控制，并告知源衛(wèi)星是否確認(rèn)切換準(zhǔn)入請(qǐng)求。

第4 步：根據(jù)候選目標(biāo)衛(wèi)星反饋的信息，源衛(wèi)星向用戶發(fā)送RRC 重配置進(jìn)程，用于選擇切換目標(biāo)衛(wèi)星。

第5 步：用戶按照RRC 重配置進(jìn)程對(duì)候選衛(wèi)星進(jìn)行切換決策。

第6 步：在切換目標(biāo)衛(wèi)星為用戶配置可用資源后，用戶斷開(kāi)與源衛(wèi)星之間的連接，開(kāi)始與目標(biāo)衛(wèi)星進(jìn)行同步。

第7 步：目標(biāo)衛(wèi)星發(fā)送用戶上下文釋放消息，告知源衛(wèi)星已完成鏈路切換。

第8 步：源衛(wèi)星告知其他候選目標(biāo)衛(wèi)星切換過(guò)程已結(jié)束，釋放預(yù)留資源。

從上述步驟可以看出在LEO 衛(wèi)星星座的切換過(guò)程中，用戶需要在多個(gè)候選目標(biāo)衛(wèi)星中選擇切換的目標(biāo)衛(wèi)星，網(wǎng)絡(luò)服務(wù)質(zhì)量與步驟5 中選擇目標(biāo)衛(wèi)星的具體策略息息相關(guān)。

1.3 基于圖學(xué)習(xí)的切換決策算法

在星地融合網(wǎng)絡(luò)中，低軌衛(wèi)星持續(xù)高速運(yùn)動(dòng)，為了描述用戶與衛(wèi)星之間的動(dòng)態(tài)時(shí)空連接關(guān)系，引入衛(wèi)星覆蓋時(shí)空?qǐng)D[18]，其主要思想是將星地融合網(wǎng)絡(luò)連續(xù)動(dòng)態(tài)拓?fù)潆x散化，在每個(gè)離散切片認(rèn)為拓?fù)洳话l(fā)生變化，描述每個(gè)切片下衛(wèi)星與用戶的連接關(guān)系[20]，然后確定用戶接入請(qǐng)求時(shí)間段，利用星歷信息計(jì)算在通信周期內(nèi)經(jīng)過(guò)用戶可見(jiàn)區(qū)域的衛(wèi)星，其次將每顆衛(wèi)星的覆蓋周期視為一個(gè)節(jié)點(diǎn)，潛在的切換選擇視為一條有向邊，構(gòu)建切換時(shí)空覆蓋演進(jìn)圖，則用戶的切換決策可以轉(zhuǎn)換為在圖中尋找一條表示多次切換決策的最佳切換路徑。通過(guò)潛在切換選擇構(gòu)建衛(wèi)星之間的邊時(shí)存在兩種情況，當(dāng)用戶被兩顆衛(wèi)星覆蓋，此時(shí)直接切換到下一顆衛(wèi)星；當(dāng)用戶被三顆及以上衛(wèi)星覆蓋，需要進(jìn)行切換決策。

圖3 為衛(wèi)星時(shí)空覆蓋演進(jìn)圖：

圖3 衛(wèi)星時(shí)空覆蓋演進(jìn)圖

對(duì)于已構(gòu)建的衛(wèi)星時(shí)空覆蓋演進(jìn)圖，利用增強(qiáng)的信息素感知候選衛(wèi)星節(jié)點(diǎn)可接入狀態(tài)[21]，具體來(lái)說(shuō)，本文采用定制的螞蟻包，分為了前向螞蟻（FA）和后向螞蟻（BA）來(lái)發(fā)現(xiàn)切換路徑并反饋給源節(jié)點(diǎn)，并通過(guò)轉(zhuǎn)發(fā)BA 攜帶的信息來(lái)更新切換路徑集合。

本文中將網(wǎng)絡(luò)狀態(tài)分為節(jié)點(diǎn)狀態(tài)和鏈路狀態(tài)，定制螞蟻包為了適應(yīng)動(dòng)態(tài)衛(wèi)星網(wǎng)絡(luò)，信息素會(huì)隨著螞蟻包和時(shí)間的移動(dòng)而不斷更新，初始信息素濃度設(shè)置為0.1，當(dāng)節(jié)點(diǎn)接收FA，信息素濃度正增加為：

其中τ(i,j) 為原始信息素濃度，?τ為信息素濃度變化量。對(duì)于每個(gè)接收BA 的ISL，信息素的濃度更新為：

信息素自衰減為：

圖學(xué)習(xí)方法可以捕獲拓?fù)浜蛯傩孕畔?，并且可以將這些信息建模為表示圖中顯式或隱式結(jié)構(gòu)關(guān)系，基于信息素收集的衛(wèi)星節(jié)點(diǎn)狀態(tài)信息，采用圖注意力網(wǎng)絡(luò)進(jìn)行特征嵌入學(xué)習(xí)，無(wú)監(jiān)督訓(xùn)練過(guò)程直接調(diào)整模型參數(shù)以最大化目標(biāo)函數(shù)，不需要任何數(shù)據(jù)標(biāo)簽。圖4 展示了本文所用的圖注意力網(wǎng)絡(luò)架構(gòu)，其中節(jié)點(diǎn)特征嵌入由復(fù)雜的多個(gè)圖注意力層（GALs,Graph Attention Layer）完成。

圖4 圖注意力網(wǎng)絡(luò)架構(gòu)圖

節(jié)點(diǎn)i在第m次迭代中向鄰居節(jié)點(diǎn)j學(xué)習(xí)特征的注意力系數(shù)的計(jì)算如下：

其中f是LeakyReLU 激活函數(shù)，節(jié)點(diǎn)的嵌入特征可以表示為：

2 仿真設(shè)置與結(jié)果分析

本文利用仿真工具搭建星地融合網(wǎng)絡(luò)仿真環(huán)境，對(duì)所提切換方法進(jìn)行仿真試驗(yàn)測(cè)試。

2.1 參數(shù)設(shè)置

采用Teledesic 衛(wèi)星網(wǎng)絡(luò)的軌道參數(shù)，軌面數(shù)為12，每條軌道分布24 顆衛(wèi)星，軌道高度為1 375 km，軌道傾角為84.7°，如表2 所示：

表2 仿真參數(shù)設(shè)置

2.2 實(shí)驗(yàn)結(jié)果分析

選取某地多個(gè)地面用戶進(jìn)行切換仿真實(shí)驗(yàn)，采用相同參數(shù)設(shè)置，首先驗(yàn)證所提基于圖學(xué)習(xí)切換方法在有監(jiān)督與無(wú)監(jiān)督條件下的收斂情況，以達(dá)到訓(xùn)練數(shù)據(jù)集80%的時(shí)間為標(biāo)準(zhǔn)，分別測(cè)試了用戶規(guī)模在10 到60 遞增時(shí)的收斂時(shí)間。

圖5 展示了監(jiān)督模型和無(wú)監(jiān)督模型的收斂行為比較，可以看出隨著網(wǎng)絡(luò)規(guī)模的增加，兩種模型都需要更長(zhǎng)的時(shí)間來(lái)收斂，無(wú)監(jiān)督模型與監(jiān)督模型相比，需要更長(zhǎng)的時(shí)間才能收斂，特別是對(duì)于較大的網(wǎng)絡(luò)規(guī)模，后續(xù)可以考慮自監(jiān)督預(yù)訓(xùn)練幫助無(wú)監(jiān)督模型收斂得更快。

圖5 有監(jiān)督模型和無(wú)監(jiān)督模型收斂性比較圖

圖6 展示了有監(jiān)督模型和無(wú)監(jiān)督模型實(shí)現(xiàn)的網(wǎng)絡(luò)吞吐量性能，其中監(jiān)督模型的訓(xùn)練數(shù)據(jù)由窮舉法搜索獲取，可以看出兩種模型都達(dá)到了窮舉搜索的最佳總和率的80% 以上，但會(huì)隨著網(wǎng)絡(luò)規(guī)模的增加而下降，這是由于網(wǎng)絡(luò)負(fù)載的增加與切換決策維度增長(zhǎng)導(dǎo)致的。

圖6 有監(jiān)督模型和無(wú)監(jiān)督模型網(wǎng)絡(luò)平均吞吐量性能圖

圖7 對(duì)比了有監(jiān)督模型、無(wú)監(jiān)督模型和多屬性切換算法的時(shí)延性能。其中多屬性切換算法主要切換參數(shù)包括仰角、覆蓋時(shí)間和空閑信道狀態(tài)，采用critic 加權(quán)處理，以保證切換決策對(duì)各指標(biāo)之間的客觀評(píng)價(jià)。可以看出隨著用戶數(shù)量的增加，三種方法的平均切換時(shí)延都相應(yīng)地隨之增加，然而無(wú)監(jiān)督模型相較于其他兩種方法時(shí)延性能優(yōu)勢(shì)明顯，這主要得益于無(wú)監(jiān)督模型較短的處理時(shí)延，降低了切換失敗率，減少了用戶重新等待導(dǎo)致的排隊(duì)時(shí)延。

圖7 有監(jiān)督模型和無(wú)監(jiān)督模型切換時(shí)延性能圖

3 結(jié)束語(yǔ)

在星地融合網(wǎng)絡(luò)中，低軌通信衛(wèi)星以持續(xù)高速運(yùn)動(dòng)，星間切換時(shí)衛(wèi)星與用戶時(shí)空連接關(guān)系的快速變化。在衛(wèi)星移動(dòng)過(guò)程中，切換請(qǐng)求的劇增使得有限的星上資源難以滿足所有切換請(qǐng)求，從而降低了切換成功率。本文提出了一種基于無(wú)監(jiān)督圖學(xué)習(xí)的切換決策方法，引入衛(wèi)星覆蓋時(shí)空?qǐng)D以描述衛(wèi)星節(jié)點(diǎn)與用戶在不同時(shí)間與空間下的連接關(guān)系，設(shè)計(jì)信息素感知機(jī)制監(jiān)測(cè)候選衛(wèi)星的切換信息，為切換決策提供關(guān)鍵數(shù)據(jù)，通過(guò)無(wú)監(jiān)督圖學(xué)習(xí)模型挖掘衛(wèi)星覆蓋時(shí)空?qǐng)D中的特征和拓?fù)湫畔ⅲ蠼饬税?jié)點(diǎn)和邊之間復(fù)雜相互作用的星地網(wǎng)絡(luò)切換問(wèn)題。搭建低軌衛(wèi)星重疊覆蓋切換場(chǎng)景，對(duì)不同規(guī)模用戶進(jìn)行了切換仿真實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，無(wú)監(jiān)督圖學(xué)習(xí)模型以稍長(zhǎng)的收斂時(shí)間換取了較大幅度的時(shí)延性能提高，增強(qiáng)了網(wǎng)絡(luò)對(duì)動(dòng)態(tài)切換環(huán)境的適應(yīng)性。