基于Actor-Critical架構(gòu)的5G Massive MIMO波束能效的研究與應(yīng)用*

喬 勇，葛昌帥，張?zhí)炫d，魯曉峰

（1.中國移動通信集團(tuán)江蘇有限公司連云港分公司，江蘇 連云港 222004；2.中國移動通信集團(tuán)江蘇有限公司，江蘇 南京 210000）

0 引言

大規(guī)模陣列天線技術(shù)（Massive Multiple Input Multiple Output，Massive MIMO）是第五代移動通信（5G）的無線核心技術(shù)。5G采用的Massive MIMO技術(shù)天線通道數(shù)達(dá)到64個，天線陣子數(shù)為192個，甚至更高，從而實(shí)現(xiàn)5G波束空間覆蓋增強(qiáng)[1]。然而5G Massive MIMO天線的滿功率、全通道、多波束發(fā)射導(dǎo)致5G射頻單元功耗占5G基站總能耗的90%，5G基站滿載功耗是4G的3～4倍，使得運(yùn)營商運(yùn)營成本增高[2]。5G Massive MIMO多波束發(fā)射產(chǎn)生相鄰小區(qū)波束碰撞，干擾增加，從而造成5G網(wǎng)絡(luò)性能下降，影響用戶體驗(yàn)[3]。隨著5G基站數(shù)量的成倍增長，為了更好地“提質(zhì)增效”，需要打造綠色、智能、高效的5G網(wǎng)絡(luò)，以滿足5G發(fā)展及網(wǎng)絡(luò)運(yùn)營要求[4]。

本文通過研究人工智能技術(shù)對5G Massive MIMO網(wǎng)絡(luò)進(jìn)行柵格信息AI預(yù)測，并按需靈活配置波束。基于3D數(shù)字地圖、5G基站工程參數(shù)、終端上報的測量報告/最小化路測（Measurement Report/Minimization of Drive Test，MR/MDT）數(shù)據(jù)、用戶分布和業(yè)務(wù)分布構(gòu)建的三維數(shù)字化柵格，通過Conv-LSTM算法對柵格內(nèi)的用戶分布、業(yè)務(wù)分布進(jìn)行分析和預(yù)測，通過Actor-Critic架構(gòu)對5G波束配置和優(yōu)化策略進(jìn)行評估，實(shí)現(xiàn)不同場景、不同時段的5G波束最佳能效，智能適應(yīng)網(wǎng)絡(luò)用戶潮汐效應(yīng)，實(shí)現(xiàn)“網(wǎng)隨業(yè)動”。

1 構(gòu)建三維數(shù)字孿生柵格

為構(gòu)建三維數(shù)字化柵格，首先對基站工參、3D數(shù)字地圖、MR/MDT數(shù)據(jù)、子波束信息、初始參數(shù)配置等數(shù)據(jù)進(jìn)行采集、篩選、儲存、分析和處理；其次基于3D地圖構(gòu)建三維數(shù)字化柵格，并構(gòu)建5G用戶分布和業(yè)務(wù)權(quán)重模型。如圖1所示，構(gòu)建流程具體分為4步。

圖1 構(gòu)建三維數(shù)字化柵格步驟

基于柵格內(nèi)的用戶數(shù)和業(yè)務(wù)量，對用戶分布和流量分布做非線性計(jì)算，構(gòu)建數(shù)字化柵格模型。在5G數(shù)字化柵格中，每個柵格標(biāo)識了用戶和業(yè)務(wù)的權(quán)重信息，對5G Massive MIMO的覆蓋需求更有指向性。

2 數(shù)字孿生柵格信息的AI預(yù)測

2.1 數(shù)字孿生柵格的“潮汐效應(yīng)”

將采集到的不同場景、不同時段的MDT/MR大數(shù)據(jù)匹配到三維數(shù)字孿生柵格中，每個柵格中用戶和業(yè)務(wù)分布在5G網(wǎng)絡(luò)忙、閑時段呈現(xiàn)明顯的“潮汐效應(yīng)”，如圖2所示。

圖2 忙、閑時段下柵格用戶的“潮汐效應(yīng)”

2.2 AI預(yù)測算法設(shè)計(jì)

基于AI的用戶分布預(yù)測中，與天氣、日夜相關(guān)的變量是時間上變化但空間上靜止的，而用戶分布變量在研究期間在空間和時間上都是變化的。

在AI預(yù)測框架中，通過堆疊的卷積長短期記憶（Convolutional Long Short Term Memory，Conv-LSTM）層來提取時間特征，并捕獲日夜相關(guān)變量之間的時間相關(guān)性，可看成1個時間切片time_step有多個特征feature，1個特征feature相當(dāng)于1個指標(biāo)。堆疊的Conv-LSTM層捕獲用戶分布變量之間的空間和時間特征，然后將這兩種類型的數(shù)據(jù)集的層次特征合并在一起，并輸入到多個完全連接的層中，以生成最終的預(yù)測用戶分布，如圖3所示。

圖3 基于Conv-LSTM的網(wǎng)絡(luò)預(yù)測

基于Conv-LSTM網(wǎng)絡(luò)預(yù)測的主要步驟如下：

（1）輸入維度（input_shape）將終端上報數(shù)據(jù)在每個時刻形成的樣本數(shù)據(jù)輸入3D柵格權(quán)重模型。

（2）配置多層Conv-LSTM，如果reurn_sequence為true，即每個時間切片單元都有輸出，則輸出多對多的預(yù)測結(jié)果，并將最后一個層的reurn_sequence參數(shù)改為flase形成多對一預(yù)測。

（3）Conv-LSTM輸出的維度就是預(yù)測的3D柵格權(quán)重模型。第一個維度可以通過調(diào)整一次訓(xùn)練所選取的樣本數(shù)（batchsize）來調(diào)整模型的優(yōu)化程度和速度。最后一個維度和filter個數(shù)直接相關(guān)，1個卷積核對樣本做1次特征feature提取，多個卷積核進(jìn)行相應(yīng)數(shù)量的特征提取。接下來N層Conv-LSTM均按照以上規(guī)則進(jìn)行操作。

（4）接一個3D/2D維度轉(zhuǎn)換（Conv3d/Conv2d），最后維度回歸到1，所以Conv3d/Conv2d的filter這才設(shè)置為1，以此類推，如果一個數(shù)據(jù)是三通道的圖像，filter設(shè)置為3與label維度對應(yīng)。

2.3 預(yù)測結(jié)果驗(yàn)證

將前N時段的終端上報數(shù)據(jù)輸入到含有用戶分布和業(yè)務(wù)權(quán)重信息的數(shù)字化柵格中，輸出后一時段的用戶分布，利用Conv-LSTM預(yù)測模型對比柵格化信息分布，結(jié)果如圖4所示，可以得出真實(shí)用戶分布與預(yù)測用戶分布基本一致，準(zhǔn)確率約為98.57%。

圖4 真實(shí)用戶分布與預(yù)測用戶分布對比

3 Massive MIMO波束配置研究

3.1 5G Massive MIMO波束精準(zhǔn)覆蓋柵格

5G Massive MIMO的同步信號（塊）（Synchronization Signal Block，SSB）、信道狀態(tài)信息參考信號（Channel State Information-Reference Signal，CSIRS）等靜態(tài)波束均具備多個窄波束賦型能力，通過波束賦型參數(shù)的優(yōu)化可以明顯提升覆蓋性能，提升系統(tǒng)容量和頻譜效率[5]。5G Massive MIMO系統(tǒng)可調(diào)整波束配置，包括子波束水平波寬、子波束垂直波寬、水平方位角、垂直俯仰角、子波束個數(shù)等[6]。

將通過AI算法預(yù)測的含有用戶分布和業(yè)務(wù)權(quán)重信息的數(shù)字柵格匹配到5G Massive MIMO網(wǎng)絡(luò)波束配置參數(shù)，實(shí)現(xiàn)5G波束精準(zhǔn)覆蓋柵格。

3.2 5G Massive MIMO波束靈活配置

基于精準(zhǔn)覆蓋需求來配置5G Massive MIMO波束能效組合參數(shù)，具體地，對Massive MIMO天線定義波束數(shù)量、權(quán)值配置、通道參數(shù)配置，形成“網(wǎng)隨業(yè)動”的波束配置，如表1所示，主要對波束個數(shù)、子波束水平/垂直波寬、波束方位角/俯仰角、天線通道進(jìn)行靈活配置。基于柵格化的網(wǎng)絡(luò)覆蓋需求，子波束按需精準(zhǔn)覆蓋柵格，形成N種水平維度、垂直維度的波束權(quán)值配置組合。表1中的X表示靈活設(shè)置。

表1 SSB波束能效組合

3.3 按需配置Massive MIMO波束

針對CBD樓宇區(qū)域的數(shù)字化柵格，根據(jù)網(wǎng)絡(luò)“潮汐效應(yīng)”，AI預(yù)測算法按需發(fā)射SSB波束，5G網(wǎng)絡(luò)由高層參數(shù)ssb-PositionsInBurst通知用戶終端設(shè)備（User Equipment，UE）實(shí)際傳輸?shù)腟SB時刻位置和個數(shù)，具體采用比特值“1”或“0”映射的方式在InOneGroup參數(shù)中指示是否發(fā)射SSB波束[7-10]，如圖5所示。

圖5 潮汐效應(yīng)下波束智能配置

然后通過Actor-Critic評估框架結(jié)合能效評分規(guī)則對覆蓋小區(qū)的波束配置進(jìn)行調(diào)整，實(shí)現(xiàn)最佳Massive MIMO能效。

4 波束能效智能評估

4.1 5G Massive MIMO網(wǎng)絡(luò)能效定義

根據(jù)5G網(wǎng)絡(luò)能效評估要素——無線性能、業(yè)務(wù)體驗(yàn)、設(shè)備功耗[11]，將網(wǎng)管和測試指標(biāo)分為無線質(zhì)量、業(yè)務(wù)性能、功耗3部分，根據(jù)綜合評估算法公式計(jì)算得出測試區(qū)域的綜合評估得分情況。5G Massive MIMO波束能效綜合評估算法公式為：

式中：W1，W2，W3分別取值為0.4，0.2，0.4。

4.1.1 無線質(zhì)量評分部分

無線質(zhì)量評分公式為：

無線質(zhì)量評分=RSRP得分×W11+SINR得分×W12式中：W11，W12取值為0.5。5G網(wǎng)絡(luò)參考信號接收功率（Reference Signal Receiving Power，RSRP）得分和信干噪比（Signal to Interference plus Noise Ratio，SINR）得分分別為：

根據(jù)RSRP、SINR對業(yè)務(wù)的影響將其取值范圍分別劃分為10個區(qū)間范圍，對應(yīng)的不同的評分系數(shù)，如表2和表3所示。

表2 RSRP區(qū)間評分

表3 SINR區(qū)間評分

4.1.2 網(wǎng)絡(luò)性能評分部分

式中：W21，W22分別取0.3，0.7。

下行速率評分：當(dāng)下行速率大于1 000 Mbit/s時，評分取值為滿分100；當(dāng)下行速率為0至1 000 Mbit/s時，評分=100-(1 000-上行速率)×0.1。

上行速率評分：當(dāng)上行速率大于150 Mbit/s，評分取值滿分100，當(dāng)上行速率為0至150 Mbit/s時，評分=100-(150-下行速率)×0.5。

4.1.3 功耗指標(biāo)評分部分

功耗指標(biāo)評分公式為：

功耗指標(biāo)評分=電源功率評分×0.1

有源天線單元（Active Antenna Unit，AAU）電源功率評分：當(dāng)AAU電源功率為0至2 000 W時，電源功率評分=100-電源功率測量值×0.01；當(dāng)AAU電源功率大于2 000 W時，則不得分。

4.2 基于Actor-Critic框架的波束能效智能優(yōu)化方案

基于Actor-Critic框架，根據(jù)數(shù)字柵格權(quán)重模型的時間或者場景的規(guī)律性變化配置相應(yīng)數(shù)量的5G Massive MIMO波束組合，得到最佳5G波束能效。

Actor-Critic框架模塊中，評估以能效公式為準(zhǔn)則，Actor處理網(wǎng)絡(luò)配置策略，Critic評估波束能效，兩個模塊同時進(jìn)行訓(xùn)練，如圖6所示。

圖6 Actor-Critic框架

該框架中采用Critic模塊對當(dāng)前的5G波束能效進(jìn)行打分評估，并智能尋優(yōu)最佳5G Massive MIMO波束能效。

處理過程如下：

（1）通過MDT和MR信息構(gòu)建5G數(shù)字化柵格模型，通過預(yù)測模塊中的Conv_LSTM算法得到柵格化的5G用戶分布和業(yè)務(wù)量權(quán)重信息，從而得到基于時間序列的5G數(shù)字化柵格切片，并記錄不同時間切片的State。

（2）根據(jù)不同時間切片的State，Actor模塊通過AI啟發(fā)式尋優(yōu)算法（如粒子群算法）形成5G Massive MIMO 波束配置策略。

（3）Critic模塊對當(dāng)前State下Actor模塊輸出的5G Massive MIMO波束配置策略，進(jìn)行5G波束最佳能效評估。

（4）根據(jù)Critic的評價和Actor模塊迭代，更新不同時間切片下的5G Massive MIMO波束配置和最佳能效策略。

以上步驟循環(huán)操作，直到收斂完成。

其中，Actor模塊中的AI啟發(fā)式尋優(yōu)算法如圖7所示。

圖7 粒子群算法迭代尋優(yōu)

5G Massive MIMO小區(qū)中每個子波束（作為粒子）在自定義的N個子波束尋優(yōu)空間中，通過AI啟發(fā)式尋優(yōu)算法（粒子群、進(jìn)化算法）找到最優(yōu)5G Massive MIMO波束配置Xbest，包括空間子波束個數(shù)、方位角、下傾角、子波束水平波寬、子波束垂直波寬。

AI啟發(fā)式尋優(yōu)算法以粒子群算法為例，具體算法流程為：在子波束尋優(yōu)前，根據(jù)5G Massive MIMO小區(qū)中的SSB、CSI-RS的子波束配置，其中每個子波束的當(dāng)前配置都表 示問題的一個解，并依據(jù)目標(biāo)函數(shù)，計(jì)算尋優(yōu)空間中新的波束配置。

在每次迭代時，每個波束將跟蹤兩個“極值”來更新自己，一個是子波束本身尋優(yōu)到的最優(yōu)波束配置Pbest，另一個是整個波束粒子群當(dāng)前全局搜索到的最優(yōu)波束配置Gbest。此外，每個子波束都有各自的波束配置的變化幅度V，當(dāng)兩個最優(yōu)解都找到后，每個子波束根據(jù)如下迭代式更新：

（1）波束權(quán)值變化幅度V的向量迭代公式（子波束的權(quán)值變化幅度迭代）為：

式中：ω為慣性系數(shù)；c1為子波束學(xué)習(xí)因子；Pbesti為第i子波束本身尋優(yōu)到的最優(yōu)波束配置；c2為整個波束粒子群學(xué)習(xí)因子；Gbest為整個波束粒子群全局搜索到的最優(yōu)配置；r1，r2為（0,1）的隨機(jī)概率值；k為迭代系數(shù)。

（2）波束權(quán)值配置X的向量迭代公式（子波束的權(quán)值配置迭代）為：

式中：Xi，Vi分別為子波束配置的變化幅度和變化權(quán)值配置。

粒子群尋優(yōu)算法的具體步驟如下：

（1）子波束權(quán)值（水平方位角、垂直俯仰角、子波束水平波寬、子波束垂直波寬、子波束個數(shù)）按照專家經(jīng)驗(yàn)進(jìn)行初始化；

（2）根據(jù)各個子波束的目標(biāo)函數(shù)，找到各個子波束當(dāng)前的最優(yōu)波束權(quán)值極值Pbest和整個波束粒子群的當(dāng)前全局最優(yōu)配置Gbest；

（3）各個子波束的速度和位置迭代更新；

（4）所有子波束達(dá)到最優(yōu)權(quán)值；

（5）若沒有達(dá)到所有子波束的最優(yōu)權(quán)值配置，則跳轉(zhuǎn)至步驟（3）。

粒子群尋優(yōu)算法是在不同迭代次數(shù)下，粒子在尋優(yōu)空間中找到最優(yōu)解的過程。

5 波束能效評估效果

選取某區(qū)域網(wǎng)格5G站點(diǎn)進(jìn)行試點(diǎn)應(yīng)用，通過靈活的SSB波束配置組合，尋優(yōu)評估最佳能效的組合。將波束組合11與波束組合17進(jìn)行測試對比，結(jié)果如表4所示。從表中可以看出，波束組合11能效策略的RSRP、SINR、下載速率以及上傳速率均比波束組合17指標(biāo)性能高，但能耗相對低。此外，從表4可以看出，波束組合11覆蓋明顯強(qiáng)于波束組合17。

表4 波束組合5與波束組合12指標(biāo)對比

在試點(diǎn)區(qū)域的N種波束組合配置中挑選24種典型波束組合進(jìn)行能效評分，結(jié)果如圖8所示，其中，波束組合15和波束組合11的5G綜合能效最佳。

圖8 波束組合能效綜合評分

如圖9所示，在不同覆蓋場景下對不同種波束組合配置進(jìn)行能效評分，選出最佳波束能效組合。

圖9 波束組合能效綜合評分

6 結(jié)語

本文主要研究通過AI技術(shù)對5G Massive MIMO網(wǎng)絡(luò)進(jìn)行柵格信息AI預(yù)測、按需配置廣播波束和能效評估，首先利用3D數(shù)字地圖、5G基站工程參數(shù)、終端上報的MR/MDT數(shù)據(jù)、用戶分布和業(yè)務(wù)分布構(gòu)建三維數(shù)字化柵格；其次通過Conv-LSTM算法對“潮汐效應(yīng)”下的柵格進(jìn)行分析和AI預(yù)測，并驗(yàn)證其準(zhǔn)確性；最后通過Actor-Critic架構(gòu)對5G波束配置策略進(jìn)行評估，動態(tài)尋優(yōu)最佳能效的波束配置，實(shí)現(xiàn)5G Massive MIMO最佳能效。