關(guān)鍵詞：軌道轉(zhuǎn)移;深度強(qiáng)化學(xué)習(xí);TD3算法

中圖分類號(hào)：TP183 文獻(xiàn)標(biāo)志碼：A

0 引言（Introduction）

為解決制定軌道轉(zhuǎn)移策略時(shí)人力投入大、反應(yīng)不及時(shí)等問題，本文使用深度強(qiáng)化學(xué)習(xí)中的TD3算法進(jìn)行通用脈沖式點(diǎn)火控制器的設(shè)計(jì)。當(dāng)衛(wèi)星收到約束條件下任意的軌道轉(zhuǎn)移任務(wù)時(shí)，該通用控制器能為其預(yù)測軌跡并提供點(diǎn)火策略，助力其在指定時(shí)間內(nèi)成功到達(dá)目標(biāo)軌道。

為了描述衛(wèi)星在地球軌道上的運(yùn)動(dòng)規(guī)律，首先，對(duì)衛(wèi)星的軌道動(dòng)力學(xué)進(jìn)行建模。其次，簡單介紹強(qiáng)化學(xué)習(xí)，并對(duì)馬爾科夫決策過程進(jìn)行設(shè)計(jì)，將衛(wèi)星軌道轉(zhuǎn)移任務(wù)形式轉(zhuǎn)化為一個(gè)強(qiáng)化學(xué)習(xí)問題，使TD3算法能夠應(yīng)用于該問題，并給出通用點(diǎn)火控制器模型的訓(xùn)練方法。最后，開展模擬仿真實(shí)驗(yàn)對(duì)模型進(jìn)行評(píng)估分析，實(shí)驗(yàn)結(jié)果表明本文設(shè)計(jì)的脈沖式點(diǎn)火控制器模型在隨機(jī)給出的軌道轉(zhuǎn)移任務(wù)下具有較高的通用性。

1 研究背景與現(xiàn)狀（Research background andcurrent status）

在即將到來的太空任務(wù)[1]中，隨著衛(wèi)星數(shù)量的增加，地面站將面臨更大的壓力和挑戰(zhàn)。這種復(fù)雜的情況，對(duì)航天器自主導(dǎo)航與控制能力[2]，以及決策制定和規(guī)劃能力[3]的需求日益增強(qiáng)。對(duì)于現(xiàn)代航天器來說，具備自主軌道規(guī)劃[4]能力變得愈發(fā)重要，具備這一能力不僅能減少人力投入，還能在面對(duì)風(fēng)險(xiǎn)和變更任務(wù)目標(biāo)時(shí)展現(xiàn)出更強(qiáng)的反應(yīng)能力。因此，航天器在軌時(shí)的可用性和可靠性日益受到重視。

衛(wèi)星軌道轉(zhuǎn)移[5]任務(wù)是指衛(wèi)星在太空中從一個(gè)軌道狀態(tài)轉(zhuǎn)移到另一個(gè)軌道狀態(tài)。這一過程通常需要精確控制衛(wèi)星的推力，以改變其速度和軌道方向。衛(wèi)星軌道轉(zhuǎn)移是為了實(shí)現(xiàn)不同的科學(xué)研究目標(biāo)，例如實(shí)現(xiàn)通信覆蓋范圍的變化、執(zhí)行特定的觀測任務(wù)、避開太空碎片或其他衛(wèi)星等。對(duì)于特定的軌道轉(zhuǎn)移任務(wù)，還需要進(jìn)行精確的軌道設(shè)計(jì)[6]、飛行路徑規(guī)劃[7]和飛行控制。

目前，針對(duì)衛(wèi)星軌道轉(zhuǎn)移問題，多采用傳統(tǒng)的智能優(yōu)化算法或數(shù)值算法進(jìn)行求解[8]，并且大多是針對(duì)單個(gè)軌道轉(zhuǎn)移任務(wù)進(jìn)行燃料消耗或是時(shí)間上的優(yōu)化求解。然而，對(duì)于設(shè)計(jì)通用的控制方法求解這類問題的研究相對(duì)較少。本文將對(duì)約束條件下脈沖式衛(wèi)星軌道轉(zhuǎn)移任務(wù)的通用點(diǎn)火控制方法進(jìn)行進(jìn)一步研究。

4 仿真實(shí)驗(yàn)與結(jié)果分析（Simulation experimentsand results analysis）

采用前文提到的TD3方法對(duì)衛(wèi)星軌道轉(zhuǎn)移問題進(jìn)行求解。

衛(wèi)星的質(zhì)量為4 474 kg，發(fā)動(dòng)機(jī)在每個(gè)方向上能產(chǎn)生的最大加速度為10 m/s²。點(diǎn)火時(shí)間將持續(xù)1 s，接下來的299 s，衛(wèi)星將以慣性運(yùn)動(dòng)。衛(wèi)星的初始狀態(tài)如表2所示的軌道六根數(shù)范圍內(nèi)隨機(jī)產(chǎn)生，軌道轉(zhuǎn)移任務(wù)的目標(biāo)軌道也在如圖2所示的軌道五根數(shù)范圍內(nèi)隨機(jī)產(chǎn)生，以對(duì)隨機(jī)產(chǎn)生的軌道轉(zhuǎn)移任務(wù)進(jìn)行模擬。

當(dāng)衛(wèi)星到達(dá)目標(biāo)軌道附近時(shí)，即半長軸偏差小于40 km、偏心率小于0.1、軌道傾角小于0.2°、升交點(diǎn)經(jīng)度小于30°、近地點(diǎn)幅角小于30°，則認(rèn)為當(dāng)前回合下衛(wèi)星成功到達(dá)目標(biāo)軌道。

TD3算法中策略網(wǎng)絡(luò)、值網(wǎng)絡(luò)1、值網(wǎng)絡(luò)2及各自對(duì)應(yīng)的目標(biāo)網(wǎng)絡(luò)均采用雙隱藏層，每層256維，激活函數(shù)采用Relu和Tanh兩種函數(shù)，TD3算法神經(jīng)網(wǎng)絡(luò)部分結(jié)構(gòu)圖如圖2所示（目標(biāo)網(wǎng)絡(luò)的結(jié)構(gòu)同其對(duì)應(yīng)的策略網(wǎng)絡(luò)、值網(wǎng)絡(luò)）。

訓(xùn)練過程中還涉及前文提到的其他參數(shù)，具體參數(shù)值如表3所示。

使用Python語言實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)并訓(xùn)練，以每輪訓(xùn)練中每一步的平均獎(jiǎng)勵(lì)表示訓(xùn)練效果，得到的學(xué)習(xí)曲線如圖3所示。

在每1萬輪次訓(xùn)練后，要對(duì)模型進(jìn)行評(píng)估。評(píng)估方法為隨機(jī)產(chǎn)生1 000個(gè)軌道轉(zhuǎn)移任務(wù)，即衛(wèi)星初始位置與目標(biāo)軌道均是隨機(jī)的，記錄模型給出的點(diǎn)火策略能讓衛(wèi)星在100步內(nèi)成功到達(dá)目標(biāo)軌道的次數(shù)。用成功到達(dá)目標(biāo)軌道的次數(shù)除以評(píng)估總數(shù)，即模型的成功率，并以此評(píng)估模型性能。訓(xùn)練過程中，模型性能表現(xiàn)如圖4所示，在前40萬輪次的訓(xùn)練過程中，模型性能得到顯著改進(jìn)，成功率提升至70%左右;在第40萬～110萬輪次的訓(xùn)練過程中，模型性能緩慢提升，成功率提升至90%左右;在隨后的訓(xùn)練中模型的性能表現(xiàn)有輕微抖動(dòng)，成功率仍維持在90%左右，最高可達(dá)96.1%。

5 結(jié)論（Conclusion）

本文研究了衛(wèi)星多軌道轉(zhuǎn)移問題，創(chuàng)新地將深度強(qiáng)化學(xué)習(xí)技術(shù)引入其中，并設(shè)計(jì)了通用自主機(jī)載控制器引導(dǎo)衛(wèi)星完成類似任務(wù)。首先，基于軌道動(dòng)力學(xué)進(jìn)行建模，對(duì)馬爾可夫決策過程進(jìn)行多次設(shè)計(jì)，完成了強(qiáng)化學(xué)習(xí)所需的環(huán)境搭建，并解決了狀態(tài)空間大、獎(jiǎng)勵(lì)稀疏的問題。其次，用深度強(qiáng)化學(xué)習(xí)中的TD3算法對(duì)決策模型進(jìn)行訓(xùn)練。最后，對(duì)模型進(jìn)行數(shù)值仿真、評(píng)估分析，通過訓(xùn)練過程中的模型性能、評(píng)估環(huán)境下任務(wù)達(dá)成率，驗(yàn)證了本文設(shè)計(jì)的自主脈沖式點(diǎn)火控制器模型在隨機(jī)給出的軌道轉(zhuǎn)移任務(wù)下具有較高的通用性與可靠性，為未來的類似任務(wù)提供了一種全新的思路和方法。

作者簡介：

曹海濤（1997-），男，碩士生。研究領(lǐng)域：強(qiáng)化學(xué)習(xí)。

邱鵬鵬（1996-），女，碩士生。研究領(lǐng)域：強(qiáng)化學(xué)習(xí)。

蔡 霞（1971-），女，碩士，講師。研究領(lǐng)域：數(shù)據(jù)智能，機(jī)器學(xué)習(xí)。