韓興豪,曹志敏,劉家祺,李旭輝

(江蘇自動化研究所,江蘇 連云港 222061)

0 引言

目前,在軍事作戰(zhàn)中主要靠指揮員以自己的直覺和經(jīng)驗做出實時決策。然而現(xiàn)代作戰(zhàn)態(tài)勢愈加復(fù)雜,場面瞬息萬變,獨以人力很難在短時間內(nèi)根據(jù)復(fù)雜的戰(zhàn)場信息完成最優(yōu)決策。而現(xiàn)有的輔助決策技術(shù)效率低,決策質(zhì)量差強人意,智能輔助決策水平亟待提高。為突破基于流程和規(guī)則的分層決策空間和基于決策樹的分支推演技術(shù),深度強化學(xué)習(xí)為現(xiàn)代作戰(zhàn)智能決策技術(shù)的升級換代提供了強有力的理論與技術(shù)支持。

近年來深度網(wǎng)絡(luò)在各個領(lǐng)域的廣泛應(yīng)用及卓越成效為強化學(xué)習(xí)的發(fā)展提供了又一次機遇,它針對強化學(xué)習(xí)的價值函數(shù)逼近問題提供了有效的解決方案,讓強化學(xué)習(xí)重新煥發(fā)了生命力。深度強化學(xué)習(xí)在很多應(yīng)用方面經(jīng)過一系列發(fā)展已經(jīng)可以交出一份讓人滿意的答卷,比如在Atari環(huán)境、三維虛擬環(huán)境、機器人控制等領(lǐng)域的應(yīng)用取得了相當卓越的成果。但這些環(huán)境在復(fù)雜度上相比一些實際問題仍有著云泥之別。比如在海面作戰(zhàn)環(huán)境中,就包括數(shù)十種作戰(zhàn)單位,每種平臺對應(yīng)一種智能體,如何在同一環(huán)境下快速有效地學(xué)習(xí)自主決策是個極大的挑戰(zhàn)。

現(xiàn)代全域作戰(zhàn)態(tài)勢復(fù)雜度過高,利用深度強化學(xué)習(xí)為指揮員在作戰(zhàn)中提供輔助決策,將指揮員從一部分作戰(zhàn)決策中解放出來,使其聚焦于戰(zhàn)場調(diào)度等更重要的決策,是目前軍事智能化的一大前景。但是,若想將每個作戰(zhàn)平臺同時實現(xiàn)智能化決策,其難度堪比大海撈針;另一方面,若僅在簡單對戰(zhàn)場景中構(gòu)建深度強化學(xué)習(xí)智能體,例如空戰(zhàn)1V1,其態(tài)勢特征太過簡單,對實戰(zhàn)的參考價值十分有限,而且無法體現(xiàn)出深度網(wǎng)絡(luò)提取態(tài)勢特征的優(yōu)勢。基于以上2個原因,本文將復(fù)雜的戰(zhàn)場態(tài)勢在智能決策方面進行簡化,在其他作戰(zhàn)平臺皆基于規(guī)則進行決策的仿真推演環(huán)境中,為執(zhí)行輔助防空反導(dǎo)任務(wù)的殲擊機構(gòu)建智能體進行強化學(xué)習(xí),探索逐步為現(xiàn)代多域作戰(zhàn)全面實現(xiàn)智能化的道路。

然而強化學(xué)習(xí)在實際應(yīng)用中,需要很久的訓(xùn)練時間,甚至可能不收斂。另一方面,仿真推演中可以明確地觸發(fā)收益的“狀態(tài)-動作”二元組很少,相互之間相隔時間步很遠,且表示向目標靠近的收益更加稀缺,智能體可能會長期沒有目的地漫游,即強化學(xué)習(xí)中所謂“高原問題”。良好的獎勵函數(shù)可以有效縮短智能體學(xué)習(xí)時間,讓算法更快地收斂。

解決稀疏獎勵問題的典型方法是利用逆向強化學(xué)習(xí),從專家樣本中進行學(xué)習(xí),逆推出獎勵函數(shù),但是這一方法對具有較強隨機性的高維問題卻無能為力。本文采用獎勵重塑的方法,加入好奇心機制,可以在一定程度上解決稀疏獎勵,激勵智能體在環(huán)境中進行有效探索以獲得最大累積獎勵。

1 實驗環(huán)境及預(yù)處理

本文實驗環(huán)境為某戰(zhàn)役級仿真平臺,支持聯(lián)合作戰(zhàn)模擬的戰(zhàn)役戰(zhàn)術(shù)一體化仿真推演。對戰(zhàn)雙方控制各自兵力進行對抗,包括進行機動、開關(guān)傳感器、武器發(fā)射等,從而做出探測、跟蹤、打擊等命令,最終決出勝負。模型庫中包括實際作戰(zhàn)中的多種平臺的仿真模型,比如飛機、水面艦艇、機場等,每個平臺的指令類型可以是任務(wù)驅(qū)動(包括巡邏任務(wù)、打擊任務(wù)、伴機/艦飛行等),也可以由實時指令驅(qū)動(如航線規(guī)劃、目標打擊等)。仿真環(huán)境中的單位可以按照已編輯好的想定過程和規(guī)則進行決策動作,并且內(nèi)置裁決系統(tǒng),每一局對戰(zhàn)結(jié)束后,可以統(tǒng)計彈藥消耗與平臺毀傷程度,根據(jù)每個平臺的價值,計算對戰(zhàn)雙方得分,從而判定勝負。進行多次推演,每局對戰(zhàn)訓(xùn)練流程如圖1所示,對勝負次數(shù)加以統(tǒng)計,評價智能體自主決策效果。

圖1 對戰(zhàn)訓(xùn)練流程

本實驗重點研究海面全域作戰(zhàn)中殲擊機在輔助防空反導(dǎo)任務(wù)中的自主決策水平,目前僅構(gòu)建殲擊機的強化學(xué)習(xí)智能體,在仿真環(huán)境的基礎(chǔ)上對態(tài)勢信息進行提取與封裝,便于算法實現(xiàn)與智能體構(gòu)建。圖2為對戰(zhàn)訓(xùn)練框架。

圖2 對戰(zhàn)訓(xùn)練框架

1.1 確定輸出動作空間

為了便于強化學(xué)習(xí)建模與訓(xùn)練,決策模型采用指令集合,將多維輸出映射到指令集中。對戰(zhàn)訓(xùn)練框架如圖2所示,將殲擊機指令模型化為探測、突擊、攔截等。指令參數(shù)包括以下幾種:(1)是否選擇敵方單位作為打擊目標,用0～1表示;(2)目標選擇,包括敵方預(yù)警機、戰(zhàn)斗機及敵方發(fā)射的反艦、防空導(dǎo)彈等,用敵方單位編號表示;(3)傳感器開關(guān),為發(fā)現(xiàn)、跟蹤敵方單位并防止自己被敵方探測或跟蹤;(4)突擊方向,即相對正北方向角度,順時針最大360°;(5)武器選擇,一方面針對不同運動介質(zhì)中的平臺分配不同類型的武器,包括反艦導(dǎo)彈、空空導(dǎo)彈等,另一方面根據(jù)武器的打擊范圍與毀傷能力進行部署;(6)武器齊射數(shù)量,根據(jù)武器的打擊能力與目標平臺的毀傷程度分配適量的武器,盡量避免武器的浪費或打擊不充分;(7)武器發(fā)射距離與最大射程百分比,當前武器發(fā)射與目標平臺的距離與武器最大打擊距離的比例,比值越小命中率越高。

1.2 態(tài)勢信息構(gòu)建和預(yù)處理

智能體依靠態(tài)勢信息進行決策,如何在海量復(fù)雜的態(tài)勢中提取出對決策有用的信息,需要人為對仿真過程中產(chǎn)生的數(shù)據(jù)進行處理。仿真推演過程中可以獲取每個單位的狀態(tài)信息,包括經(jīng)緯度、高度、剩余油量、機動速度、運動航向等,對不同類型的平臺還需要針對性地收集信息,例如飛機、水面艦艇需收集所載傳感器類型和探測距離、搭載武器的種類及數(shù)量、平臺毀傷程度等,對這些態(tài)勢數(shù)據(jù)進行提取和格式化處理作為強化學(xué)習(xí)的狀態(tài)輸入。取個時刻的態(tài)勢作為第一維,智能體的數(shù)量作為第二維,每個智能體的態(tài)勢信息作為第三維,組成仿真環(huán)境的狀態(tài)空間,作為智能體的決策依據(jù)。

2 獎勵函數(shù)設(shè)計

在復(fù)雜的作戰(zhàn)仿真環(huán)境中,收益稀疏的問題愈發(fā)顯著。及時提供非零收益讓智能體逐步實現(xiàn)目標,已經(jīng)是一個十分困難的挑戰(zhàn),而讓智能體高效地從各種各樣的初始狀態(tài)下進行學(xué)習(xí)無疑難上加難。本章節(jié)探討完成獎勵計算模塊,根據(jù)態(tài)勢信息計算獎勵,作為決策動作的反饋,嵌入仿真環(huán)境中與智能體進行交互。

如何設(shè)計并重塑一個適用于一般作戰(zhàn)想定的獎勵函數(shù),獲得較為顯著的訓(xùn)練效果,提高決策質(zhì)量,是本文研究的創(chuàng)新點和重點。作戰(zhàn)過程一般會持續(xù)比較久的時間,期間每次決策獎勵的延遲時間也長短不一,所設(shè)計的獎勵函數(shù)要能夠在一定程度上體現(xiàn)出每次決策的效果。本文主要為執(zhí)行輔助防空反導(dǎo)作戰(zhàn)任務(wù)的殲擊機重塑獎勵函數(shù)。

2.1 動作獎勵

單個平臺每做出一次決策,即選擇一個動作,或機動到指定點,或選擇武器進行攻擊,或開關(guān)傳感器等,都會從環(huán)境獲得獎勵。

2.1.1 機動指令獎勵

提出一種基于相對方向與相對位置的獎勵函數(shù)設(shè)計方法,以敵方每個平臺對我方智能體的威脅系數(shù)為權(quán)值,對距離進行加權(quán)求和。采取機動指令會根據(jù)該平臺方位的變化所帶來的影響來計算獎勵,獎勵的大小由以下因素決定:

(1) 與己方單位的平均距離D。該指標在一定程度上可以體現(xiàn)出其安全系數(shù),與己方單位距離較近時,方便互相之間進行協(xié)同,能夠快速形成以多打少的局面,避免出現(xiàn)孤立無援的情況,存活率較高,獎勵值會相對較大。采用加權(quán)距離D,計算方式如下:

式中:w與d表示平臺1～的重要性系數(shù)及其與智能體的距離。

(2) 與敵方單位的平均距離D。該指標可以體現(xiàn)出平臺受威脅系數(shù)。一方面避免孤軍深入;另一方面為防止仿真作戰(zhàn)過程中,智能體一直游離在戰(zhàn)場環(huán)境之外,在廣泛的時空域中反復(fù)進行無效的探索,需要利用獎勵函數(shù)引導(dǎo)作戰(zhàn)單位與敵方拉近距離進行對戰(zhàn)。

式中:w與d分別表示敵方平臺的威脅系數(shù)及其相對我方智能體的距離。

為防止我方平臺進入敵方單位集火范圍,應(yīng)盡量與敵方某一落單目標拉近距離,而與其他平臺保持距離。

(3) 是否在敵方單位的武器打擊范圍內(nèi)。充分發(fā)揮武器射程優(yōu)勢,盡量保持在敵方攻擊范圍之外,保證己方安全又使敵方單位在我武器打擊范圍之內(nèi),對敵方單位進行“風(fēng)箏”式攻擊。

對這些因素進行加權(quán)求和,在單位采樣步長的變化值即為機動指令獎勵值。

2.1.2 武器發(fā)射獎勵

發(fā)射武器首先會反饋比較小的負獎勵,不同的武器根據(jù)成本和威力大小對應(yīng)不同的獎勵值。武器發(fā)射一方面表示彈藥消耗,會從環(huán)境獲得即時的負獎勵。另一方面預(yù)示著可能給敵方平臺帶來損傷,即命中獎勵,將此部分歸結(jié)為武器命中事件,屬于事件獎勵,將在后續(xù)進行介紹。

2.2 狀態(tài)獎勵

在作戰(zhàn)推演過程中,所有平臺的狀態(tài)處于不斷變化中,包括油量、毀傷程度等。油量的變化主要由機動和加油引起,機動過程引起油量的降低會獲得負獎勵;在油量越低的情況下進行加油獲取的獎勵越大。毀傷情況分為不同平臺、不同部位的毀傷,根據(jù)命中目標的不同,獲取不同的獎勵,從導(dǎo)彈、轟炸機到殲擊機獎勵逐漸增大。對敵方平臺,按照其威脅程度,威脅越大的目標受損時獲得的獎勵越大;對我方平臺,按照重要性升序,越重要的平臺受損獲得越大的負獎勵。

2.3 事件獎勵

現(xiàn)代戰(zhàn)場可以說是信息的較量,誰在作戰(zhàn)中掌握了更多信息,誰就掌握了戰(zhàn)場的主動權(quán),對取得作戰(zhàn)勝利起著至關(guān)重要的作用。將信息表征為各種關(guān)鍵事件的發(fā)生,將事件類型分為:(1)探測事件,包括捕獲目標、捕獲目標消失、目標識別、目標跟蹤等;(2)武器系統(tǒng)事件,包括發(fā)射失敗、彈藥耗盡、武器命中、超出武器射程、目標跟蹤丟失等,其中命中事件的觸發(fā)需要武器發(fā)射后相當一段時間才能進行判定,因此該動作獎勵有較大的延遲問題。本文采用長短期記憶網(wǎng)絡(luò)(LSTM)對一段時間內(nèi)的狀態(tài)、動作進行記憶與傳遞,間接反映出決策的優(yōu)劣,進而對后續(xù)動作產(chǎn)生影響;(3)干擾事件,包括遭受干擾、受干擾結(jié)束等;(4)通信事件,包括數(shù)據(jù)鏈建鏈、數(shù)據(jù)鏈結(jié)束、網(wǎng)絡(luò)開通、收發(fā)、網(wǎng)絡(luò)結(jié)束等。多數(shù)時候純以動作的獎勵無法反映出這些事件所帶來的影響,因此需要為這些事件單獨設(shè)計獎勵,從態(tài)勢中獲取事件信息,觸發(fā)獎勵。

3 實驗仿真

初步確定超參數(shù),包括仿真回合數(shù)、仿真速度、決策間隔、最大決策步數(shù)、學(xué)習(xí)速率等。引入Pytorch深度學(xué)習(xí)框架實現(xiàn)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),利用Python語言搭建智能體構(gòu)成Agents模塊,實現(xiàn)以下功能:重置智能體、計算動作狀態(tài)價值、計算損失函數(shù)、計算優(yōu)勢函數(shù)、動作選取與價值評論等。

3.1 智能體神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

深度網(wǎng)絡(luò)對數(shù)據(jù)有更強的信息提取能力,本文采用卷積與循環(huán)神經(jīng)網(wǎng)絡(luò)(CRN)。網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相似,它由一系列帶有權(quán)重與偏置的神經(jīng)元組成,每個神經(jīng)元從上一層接受輸入,先進行矩陣運算,再利用激活函數(shù)進行非線性處理。將當前連續(xù)時刻的狀態(tài)數(shù)據(jù)進行堆疊作為網(wǎng)絡(luò)的輸入,卷積網(wǎng)絡(luò)(CNN)能夠取代傳統(tǒng)的人工,更高效地對態(tài)勢環(huán)境進行特征提取。但這增加了網(wǎng)絡(luò)的存儲和計算難度,因此插入循環(huán)神經(jīng)網(wǎng)絡(luò)(LSTM),對時間軸上的歷史狀態(tài)信息進行提取與記憶,做出優(yōu)化決策。經(jīng)驗表明,在部分可觀測模型中,CRN 網(wǎng)絡(luò)結(jié)構(gòu)表現(xiàn)出比其他網(wǎng)絡(luò)更好的性能,也更適用于作戰(zhàn)仿真中復(fù)雜任務(wù)的訓(xùn)練。各神經(jīng)網(wǎng)絡(luò)模塊功能見表1。

圖3 網(wǎng)絡(luò)結(jié)構(gòu)

表1 網(wǎng)絡(luò)模塊說明

3.2 智能體學(xué)習(xí)訓(xùn)練算法實現(xiàn)

根據(jù)馬爾可夫決策過程(MDP)進行建模,仿真推演過程中,智能體(Agent)與作戰(zhàn)環(huán)境之間進行數(shù)據(jù)交互,在每個時間步,智能體從環(huán)境中獲取狀態(tài)數(shù)據(jù),然后根據(jù)策略和約束條件從動作空間中選取可執(zhí)行的動作,再從環(huán)境獲取獎勵,直到環(huán)境的終止狀態(tài)。訓(xùn)練目的是獲得一個策略函數(shù)(即從狀態(tài)到動作的映射),使智能體采取一系列動作之后所獲取的累積獎勵最大。由于仿真環(huán)境中戰(zhàn)爭迷霧的存在,使典型的局部可觀測馬爾可夫決策過程(POMDP)。本文中MDP 包括無限的狀態(tài)空間與有限的動作空間,以及獎勵函數(shù):→,表示智能體在狀態(tài)下采取動作獲得的期望獎勵,策略:→表示從狀態(tài)到動作的映射。智能體在時刻獲取到帶有獎勵r與動作a的狀態(tài)觀測o,態(tài)勢狀態(tài)為s,那么時刻的獎勵R定義為累積折扣獎勵:

式中:為折扣系數(shù)。

算法的目標就是將累積獎勵最大化。加入并行機制,即在一臺計算機上使用多個線程進行訓(xùn)練,每個線程單獨與環(huán)境進行交互并計算梯度。這種方法可以免去發(fā)送梯度參數(shù)的通信消耗。各線程中使用不同的探索策略,平行地運行多個動作-評論網(wǎng)絡(luò)可以更快速有效地對環(huán)境中的各個部分進行探索。將多個線程結(jié)合在一起,進一步減弱了探索事件的相關(guān)性,利于程序的收斂。

本文采用強化學(xué)習(xí)的典型算法異步優(yōu)勢行動者-評論者算法。A3C 算法是由行動-評論者(Actor-Critic)算法發(fā)展進化而來,智能體包括兩部分:行動者和評論者,通過對環(huán)境的探索與利用來獲得兩者更好的表現(xiàn)。訓(xùn)練流程如圖4所示。行動者用策略函數(shù)(a|s;θ)表示,評論者用價值函數(shù)V(s,θ)表示,用深度神經(jīng)網(wǎng)絡(luò)對策略與價值函數(shù)進行近似與逼近。狀態(tài)的狀態(tài)價值為:

圖4 A3C算法流程圖

式中:表示在狀態(tài)下采用策略的期望;為的后繼狀態(tài)。

狀態(tài) 動作價值函數(shù)為:

利用時間差分將Actor網(wǎng)絡(luò)和Critic網(wǎng)絡(luò)連接起來,計算時序差分(TD)誤差為:

定義優(yōu)勢函數(shù):

在異步算法中,將優(yōu)勢函數(shù)進一步細化為:

式中:表示時間步長,最大不超過。

為了評估策略的優(yōu)劣,定義目標函數(shù)(),表示從初始狀態(tài)開始得到的所有狀態(tài)價值的平均值:

根據(jù)策略梯度定理,得到其梯度:

嘗試最大化目標函數(shù)。采用異步并行訓(xùn)練方式,其算法架構(gòu)如圖5所示,策略函數(shù)與價值函數(shù)每經(jīng)過時間步或到達終止狀態(tài)后進行參數(shù)更新。將每個線程中的運行結(jié)果反饋給主網(wǎng)絡(luò),同時從主網(wǎng)絡(luò)獲取最新的參數(shù)更新,最終達到優(yōu)化網(wǎng)絡(luò)參數(shù)的目的。

圖5 A3C異步架構(gòu)圖

3.3 結(jié)果分析

在基于規(guī)則的仿真環(huán)境中加入紅方殲擊機智能體進行推演與學(xué)習(xí),訓(xùn)練前,智能體決策質(zhì)量差,而且經(jīng)常會游離在主戰(zhàn)場之外,導(dǎo)致紅方勝率很低。但經(jīng)初步仿真訓(xùn)練,在多次推演迭代后,反復(fù)更新智能體策略網(wǎng)絡(luò)參數(shù)。對每百次實驗結(jié)果進行記錄,并統(tǒng)計紅方勝率,可以發(fā)現(xiàn)紅方勝率有明顯提升。雖然現(xiàn)階段智能決策水平相比基于規(guī)則的決策方法尚有差距,但其發(fā)展空間很大,隨著迭代次數(shù)與技術(shù)水平的提高,達到超越人類專家的決策水平的目標已不再遙不可及。

4 結(jié)束語

現(xiàn)在國際局勢撲朔迷離,瞬息萬變,但有一點毋庸置疑,于我不利。小規(guī)模沖突不斷,雖然發(fā)生大規(guī)模作戰(zhàn)的概率不高,但仍需我軍提高警惕,時刻準備作戰(zhàn)。實現(xiàn)軍事決策智能化對我軍實現(xiàn)戰(zhàn)術(shù)升級、減小損耗、降低傷亡有著重要意義。本文探索了一條實現(xiàn)現(xiàn)代作戰(zhàn)智能化的道路,對模型相似的作戰(zhàn)單位構(gòu)建智能體進行學(xué)習(xí),未來逐步實現(xiàn)預(yù)警機、護衛(wèi)艦等作戰(zhàn)平臺的智能體,為護國強軍保駕護航。