鄧嘉寧, 李海旭, 安強(qiáng)林, 沙恩來(lái), 王 澤, 吳 宇

(1. 重慶大學(xué)航空航天學(xué)院, 重慶 400044; 2. 中國(guó)船舶工業(yè)系統(tǒng)工程研究院, 北京 100094)

0 引 言

現(xiàn)代海上作戰(zhàn)呈現(xiàn)出手段多樣化的特點(diǎn),作為海上作戰(zhàn)的核心,航母-艦載機(jī)系統(tǒng)需要執(zhí)行空域巡查、對(duì)地攻擊、對(duì)潛作戰(zhàn)等任務(wù)。為完成以上任務(wù),航母上需要配備一定數(shù)量與類型的艦載機(jī)。考慮到要求航母在規(guī)定時(shí)間段內(nèi)能盡可能多的出動(dòng)回收艦載機(jī),以及航母上多樣的任務(wù)需求、有限的操作空間、復(fù)雜的支援保障等特點(diǎn),建立一個(gè)艦載機(jī)出動(dòng)架次率實(shí)時(shí)顯示模型,將會(huì)提高指揮官指揮效率進(jìn)而提升航母整體戰(zhàn)斗能力[1]。

關(guān)于艦載機(jī)出動(dòng)回收的研究,最早開(kāi)始于國(guó)外學(xué)者,在國(guó)內(nèi)研究中,文獻(xiàn)[2]最早從建立艦載機(jī)出動(dòng)回收能力評(píng)價(jià)體系出發(fā),闡述分析了艦載機(jī)出動(dòng)回收能力和出動(dòng)架次率的物理意義。出動(dòng)架次率定義為在一個(gè)飛行日內(nèi),在一定條件約束下,艦載機(jī)完成任務(wù)出動(dòng)的架次數(shù);同時(shí),以美、俄、法、英四國(guó)的航母典型實(shí)例為研究對(duì)象,對(duì)艦載機(jī)出動(dòng)回收能力指標(biāo)體系進(jìn)行了分析,為國(guó)內(nèi)之后關(guān)于艦載機(jī)出動(dòng)回收提供了參考。此外,文獻(xiàn)[3]根據(jù)美國(guó)海軍公開(kāi)文獻(xiàn)及演習(xí)資料,歸納了關(guān)于艦載機(jī)出動(dòng)回收能力的3種評(píng)估方法,即:統(tǒng)計(jì)分析法、經(jīng)驗(yàn)公式法和仿真實(shí)驗(yàn)法。上述方法中,統(tǒng)計(jì)分析法雖然準(zhǔn)確性、可靠性較高,但其分析周期長(zhǎng)、對(duì)不同航母適用性低,使得現(xiàn)階段的研究大多是以經(jīng)驗(yàn)公式為基礎(chǔ)對(duì)艦載機(jī)出動(dòng)回收進(jìn)行仿真實(shí)驗(yàn)。

現(xiàn)有文獻(xiàn)對(duì)于艦載機(jī)出動(dòng)架次率仿真實(shí)驗(yàn)的研究,大致分為兩類:一類是對(duì)艦載機(jī)出動(dòng)回收各個(gè)階段進(jìn)行單獨(dú)研究,如甲板調(diào)度、路徑規(guī)劃、出動(dòng)回收排序等;另一類是對(duì)整個(gè)出動(dòng)回收流程進(jìn)行仿真實(shí)驗(yàn)。

對(duì)艦載機(jī)出動(dòng)回收各個(gè)階段的研究中,在航母甲板調(diào)度方面,文獻(xiàn)[4]針對(duì)甲板保障作業(yè)調(diào)度研究中存在的工序模式單一、勤務(wù)設(shè)備不全等問(wèn)題, 通過(guò)建立完善作業(yè)流程、工序執(zhí)行、資源轉(zhuǎn)移與分配等約束條件,建立了艦載機(jī)甲板機(jī)務(wù)勤務(wù)保障作業(yè)調(diào)度與資源配置集成優(yōu)化模型;同時(shí),利用第二代非支配排序遺傳算法對(duì)模型進(jìn)行優(yōu)化求解。此外,在甲板路徑規(guī)劃和出動(dòng)回收排序方面,文獻(xiàn)[5-6]從艦載機(jī)在甲板上的出發(fā)和降落過(guò)程出發(fā),綜合考慮艦載機(jī)機(jī)動(dòng)性能、甲板環(huán)境和任務(wù)特點(diǎn),建立了艦載機(jī)在甲板上路徑規(guī)劃目標(biāo)函數(shù)和約束條件模型;同時(shí),基于人為判斷的模糊性,利用群決策優(yōu)化方法,確定了不同環(huán)境下艦載機(jī)降落過(guò)程中的航線模式。文獻(xiàn)[7]以艦載無(wú)人機(jī)為研究對(duì)象,建立了無(wú)人艦載機(jī)在甲板上滑行軌跡控制的數(shù)學(xué)模型,在考慮環(huán)境和任務(wù)需求,基于模型預(yù)測(cè)控制方法,得到了無(wú)人艦載機(jī)的控制指令信號(hào)。

在艦載機(jī)出動(dòng)回收全流程研究中,文獻(xiàn)[8]以基于經(jīng)驗(yàn)公式的艦載機(jī)波次出動(dòng)模型為基礎(chǔ),建立了基于神經(jīng)網(wǎng)絡(luò)的艦載機(jī)出動(dòng)架次率仿真計(jì)算模型,利用反向傳播神經(jīng)網(wǎng)絡(luò)對(duì)建立的仿真計(jì)算模型進(jìn)行擬合;并使用建立的模型,研究航母甲板資源優(yōu)化配置。文獻(xiàn)[9]考慮保障設(shè)備利用率和費(fèi)用的約束條件,以飛機(jī)出動(dòng)架次率為目標(biāo)函數(shù),建立了蒙特卡羅排隊(duì)過(guò)程仿真模型用于求解目標(biāo)函數(shù)值;運(yùn)用遺傳優(yōu)化算法,得出基于出動(dòng)架次率的保障設(shè)備配備比,并對(duì)出動(dòng)架次率進(jìn)行敏感性分析,得到保障設(shè)備配備比對(duì)出動(dòng)架次率的影響曲線。

以上文獻(xiàn)中,文獻(xiàn)[5-7]對(duì)艦載機(jī)出動(dòng)回收全過(guò)程中的某一方面進(jìn)行模擬仿真,并未涉及整個(gè)過(guò)程,提出的方法只能從某些方面進(jìn)行改進(jìn),缺乏整體性系統(tǒng)考慮。在艦載機(jī)出動(dòng)回收全流程模擬研究中,文獻(xiàn)[8]雖然建立了基于神經(jīng)網(wǎng)絡(luò)的出動(dòng)架次率計(jì)算模型,但基于經(jīng)驗(yàn)公式的波次出動(dòng)模型,使得整個(gè)模型的客觀性和適用性有所降低。文獻(xiàn)[9]根據(jù)資源和設(shè)備的約束條件,建立的蒙特卡羅排隊(duì)過(guò)程仿真模型,在基于遺傳算法進(jìn)行求解時(shí)的計(jì)算代價(jià)大,實(shí)時(shí)性有所欠缺。以上研究[5-7]雖然能得到影響出動(dòng)回收的關(guān)鍵因素,但并未研究影響因素之間的內(nèi)部聯(lián)系,從而無(wú)法建立層次樹(shù)狀結(jié)構(gòu)圖并分析指標(biāo)間相互關(guān)系;同時(shí),以上研究建立的模型大多以現(xiàn)有的經(jīng)驗(yàn)公式為基礎(chǔ),未從數(shù)據(jù)挖掘出發(fā),研究各個(gè)因素的相互影響關(guān)系;并且計(jì)算代價(jià)大,不能實(shí)現(xiàn)艦載機(jī)出動(dòng)架次率的實(shí)時(shí)預(yù)測(cè)。

本文以艦載機(jī)出動(dòng)回收全流程為背景,為降低計(jì)算代價(jià),增強(qiáng)算法實(shí)時(shí)性,基于文獻(xiàn)[10]中的強(qiáng)制稀疏深度神經(jīng)網(wǎng)絡(luò),考慮艦載機(jī)出動(dòng)回收問(wèn)題的特點(diǎn),并結(jié)合數(shù)據(jù)標(biāo)準(zhǔn)化[11-12]、正則化[13-16]及Adam優(yōu)化器[17-19]等策略,在大幅增加神經(jīng)網(wǎng)絡(luò)訓(xùn)練收斂速度的同時(shí),保證神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果的有效性。針對(duì)目前研究中大多依靠人為經(jīng)驗(yàn)設(shè)置深度神經(jīng)網(wǎng)絡(luò)隱藏層參數(shù)這一問(wèn)題,本文從指標(biāo)數(shù)據(jù)本身出發(fā),基于粒子群優(yōu)化算法[20-22]改進(jìn)的最大信息交互算法[23],結(jié)合社區(qū)發(fā)現(xiàn)算法[24-26]和主成分分析法[27-29],建立指標(biāo)間層次樹(shù)狀結(jié)構(gòu)圖,以指標(biāo)數(shù)據(jù)關(guān)聯(lián)度為基礎(chǔ)劃分社區(qū),進(jìn)而確定隱藏層神經(jīng)元節(jié)點(diǎn)數(shù);相比于依靠經(jīng)驗(yàn)設(shè)置隱藏層神經(jīng)元節(jié)點(diǎn)數(shù)的深度神經(jīng)網(wǎng)絡(luò),基于指標(biāo)數(shù)據(jù)劃分的社區(qū)及提取的主成分特征指標(biāo)能更加客觀的體現(xiàn)不同指標(biāo)之間的相互關(guān)系。

1 構(gòu)建指標(biāo)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)

在以往的研究中,構(gòu)建指標(biāo)間層次樹(shù)狀關(guān)系時(shí),大多根據(jù)人為經(jīng)驗(yàn)對(duì)指標(biāo)進(jìn)行選取及確定指標(biāo)之間相互關(guān)系;本文從指標(biāo)數(shù)據(jù)出發(fā),通過(guò)最大信息交互算法計(jì)算得到的指標(biāo)間關(guān)聯(lián)度,基于社區(qū)劃分和主成分分析法,建立基于數(shù)據(jù)挖掘的艦載機(jī)出動(dòng)回收指標(biāo)間層次樹(shù)狀關(guān)系,并按照建立的指標(biāo)樹(shù)狀關(guān)系,確定所用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

1.1 原始輸入數(shù)據(jù)的歸一化處理

(1)

由于在艦載機(jī)出動(dòng)全過(guò)程中所有環(huán)節(jié)均未出現(xiàn)負(fù)數(shù)情況,輸入數(shù)據(jù)在經(jīng)過(guò)式(1)的處理后,可實(shí)現(xiàn)各原始數(shù)據(jù)的無(wú)量綱化,同時(shí)也讓所有數(shù)據(jù)處于同一數(shù)量級(jí),便于之后的輸入指標(biāo)關(guān)聯(lián)度計(jì)算。

1.2 確定輸入指標(biāo)間關(guān)聯(lián)度的最大信息交互算法

由于航母甲板可用空間狹小,航母艦載機(jī)出動(dòng)作業(yè)中的各個(gè)工作環(huán)節(jié)、流程的相互關(guān)系高度復(fù)雜、非線性程度高,同時(shí)輸入指標(biāo)x數(shù)量眾多。因此,本文將使用最大信息交互算法對(duì)各個(gè)輸入指標(biāo)xi之間的關(guān)聯(lián)度進(jìn)行分析。相比于起其他相關(guān)性分析算法,由于最大信息交互算法無(wú)需人為設(shè)置參數(shù),可適用于任一關(guān)系類型,并且對(duì)數(shù)據(jù)中的噪聲敏感性不高,因此具有極強(qiáng)的通用性和均勻性。

在本文中,首先將任意兩個(gè)歸一化后的輸入指標(biāo)xi,xj的數(shù)據(jù)分布在兩個(gè)指標(biāo)形成的網(wǎng)格單元中,然后通過(guò)粒子群優(yōu)化算法控制劃分網(wǎng)格的數(shù)量和位置,從而不斷細(xì)化網(wǎng)格劃分,以各種不同網(wǎng)格劃分的標(biāo)準(zhǔn)化交互信息值為目標(biāo)函數(shù),計(jì)算得到最大的交互信息值即為最大信息交互系數(shù)MIC,此系數(shù)可作為不同輸入指標(biāo)之間的關(guān)聯(lián)度,此算法可分為以下兩步:

(1) 將指標(biāo)xi,xj數(shù)據(jù)劃分m×n的網(wǎng)格g,同時(shí)把單個(gè)網(wǎng)格單元中數(shù)據(jù)點(diǎn)在整體數(shù)據(jù)點(diǎn)的比例定義為該單元格的概率密度ρ(m,n),定義網(wǎng)格g劃分下的兩指標(biāo)的交互信息值I(I即為網(wǎng)格g劃分下兩指標(biāo)之間的關(guān)系度):

(2)

(2) 利用粒子群優(yōu)化算法,對(duì)確定行列數(shù)m和n的網(wǎng)格gi的劃分節(jié)點(diǎn)進(jìn)行優(yōu)化,以交互信息值I作為粒子群算法的目標(biāo)函數(shù),找到網(wǎng)格gi最大的交互信息值max(Igi);同時(shí),對(duì)于網(wǎng)格劃分行列數(shù)m和n,其劃分范圍滿足[23]3

(3)

式中:lg(min(m,n))中的m和n為交互信息值IG取得最大值時(shí)的行列數(shù);MIC∈[0,1],其數(shù)值越接近1,則指標(biāo)xi,xj之間的關(guān)聯(lián)度越高。

通過(guò)最大信息交互算法即可求得任意兩個(gè)指標(biāo)之間的關(guān)聯(lián)度,從而得到完整的輸入指標(biāo)間的關(guān)聯(lián)度矩陣,進(jìn)而建立輸入指標(biāo)關(guān)聯(lián)度網(wǎng)絡(luò)圖,兩指標(biāo)之間連線權(quán)重為MIC,如圖1所示。圖1中藍(lán)色節(jié)點(diǎn)表示各個(gè)指標(biāo),指標(biāo)之間的連線粗細(xì)代表不同的MIC值,值越大,指標(biāo)之間關(guān)聯(lián)度越高,其連線越粗。

圖1 輸入指標(biāo)關(guān)聯(lián)度網(wǎng)絡(luò)圖

1.3 基于社區(qū)發(fā)現(xiàn)與和主成分分析的神經(jīng)網(wǎng)絡(luò)構(gòu)建

艦載機(jī)出動(dòng)回收作為一個(gè)典型的復(fù)雜系統(tǒng),在研究中一般將這類復(fù)雜系統(tǒng)的底層指標(biāo)按照相關(guān)性或者關(guān)聯(lián)度分為若干社區(qū),同一社區(qū)中的指標(biāo)之間相關(guān)性緊密,各個(gè)社區(qū)間差異性較大。此外,可以根據(jù)劃分得到的社區(qū)聚合出對(duì)應(yīng)高層次的功能社區(qū)如圖2所示。對(duì)于復(fù)雜系統(tǒng)的社區(qū)劃分普遍采用社區(qū)發(fā)現(xiàn)算法——GN(Girvan-Newman)算法[30],其原理是通過(guò)計(jì)算邊介數(shù),即:在社區(qū)網(wǎng)絡(luò)中任意兩個(gè)節(jié)點(diǎn)通過(guò)一條邊的最短路徑數(shù)量;在一個(gè)網(wǎng)絡(luò)中一個(gè)社區(qū)內(nèi)部邊的邊介數(shù)較小,而通過(guò)社區(qū)之間邊的邊介數(shù)較大,通過(guò)刪除邊介數(shù)最大的邊可將社區(qū)最終劃分為一個(gè)具有層次性的樹(shù)狀圖,同時(shí)網(wǎng)絡(luò)也被分為不同的社區(qū)。

圖2 輸入指標(biāo)的社區(qū)劃分

在利用GN算法進(jìn)行社區(qū)劃分后,同一社區(qū)內(nèi)輸入指標(biāo)之間存在較強(qiáng)的關(guān)聯(lián)性,由于僅依靠功能社區(qū)層與輸入指標(biāo)層的層數(shù)和層內(nèi)節(jié)點(diǎn)數(shù)量,無(wú)法使得建立后的單個(gè)隱藏層神經(jīng)網(wǎng)絡(luò)具有較好的擬合效果,因此本文將利用主成分分析法對(duì)于每個(gè)社區(qū)內(nèi)各個(gè)指標(biāo)關(guān)聯(lián)度矩陣進(jìn)行線性變換。在包含原始矩陣中主要信息的情況下,用數(shù)量較少的線性無(wú)關(guān)向量來(lái)表示原關(guān)聯(lián)度矩陣中數(shù)量眾多的向量,將單層神經(jīng)網(wǎng)絡(luò)擴(kuò)展成具有兩個(gè)隱藏層的深度神經(jīng)網(wǎng)絡(luò)。通過(guò)主成分分析法對(duì)高維變量空間進(jìn)行降維處理,簡(jiǎn)化后的特征指標(biāo)間線性無(wú)關(guān),并且能夠提供原始矩陣中的主要信息。

主成分分析法的分析步驟如下。

步驟 1根據(jù)劃分的社區(qū),將每個(gè)社區(qū)內(nèi)k個(gè)指標(biāo)通過(guò)最大信息交互算法得到關(guān)聯(lián)度矩陣:

(4)

步驟 2對(duì)關(guān)聯(lián)度矩陣L進(jìn)行分解得到其特征根λ和對(duì)應(yīng)的特征向量C,將求得的特征根進(jìn)行降序排列得

λ1>λ2>…>λk

(5)

步驟 3特征指標(biāo)將選取前h(1≤h≤k)個(gè)較大特征值對(duì)應(yīng)的指標(biāo),由特征向量組成的主成分向量累計(jì)貢獻(xiàn)率ω(前h個(gè)主成分向量對(duì)應(yīng)特征根之和與全部特征根總和的比值)來(lái)確定h的取值,如下所示:

(6)

在本文中,結(jié)合輸入指標(biāo)數(shù)量和信息保留度要求,取ω≥95%。由此,社區(qū)內(nèi)k個(gè)指標(biāo)降維為h個(gè),增加特征指標(biāo)層作為神經(jīng)網(wǎng)絡(luò)第1隱藏層參考,功能層作為第2隱藏層,將艦載機(jī)出動(dòng)架次率作為輸出層目標(biāo),得到的類神經(jīng)結(jié)構(gòu)圖如圖3所示。

圖3 類神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

1.4 強(qiáng)制稀疏神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的建立

一般,在進(jìn)行神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)建立時(shí),將神經(jīng)網(wǎng)絡(luò)層數(shù)及層內(nèi)節(jié)點(diǎn)數(shù)作為變量,利用諸如粒子群優(yōu)化算法、遺傳算法等進(jìn)行參數(shù)尋優(yōu),或者僅依靠建立者的神經(jīng)網(wǎng)絡(luò)訓(xùn)練經(jīng)驗(yàn)進(jìn)行設(shè)置。本文旨在根據(jù)數(shù)據(jù)分析得到神經(jīng)網(wǎng)絡(luò)層數(shù)及節(jié)點(diǎn)數(shù)信息,以大幅減小神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)尋優(yōu)過(guò)程中的計(jì)算代價(jià),并增加隱藏層參數(shù)設(shè)置的客觀性。

本文根據(jù)第1.3節(jié)確定的類神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),構(gòu)建出如圖4所示的強(qiáng)制稀疏深度神經(jīng)網(wǎng)絡(luò)。在圖4的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中,神經(jīng)網(wǎng)絡(luò)的第1層將根據(jù)劃分的社區(qū)進(jìn)行分區(qū)處理,對(duì)應(yīng)第2層(隱藏層1)將根據(jù)主成分分析法得到的特征指標(biāo)的數(shù)量建立節(jié)點(diǎn),第3層(隱藏層2)將根據(jù)社區(qū)劃分確定的社區(qū)數(shù)建立節(jié)點(diǎn),第4層輸出層為目標(biāo)函數(shù)值,即艦載機(jī)出動(dòng)架次率。

圖4 強(qiáng)制稀疏深度神經(jīng)網(wǎng)絡(luò)

2 神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

神經(jīng)網(wǎng)絡(luò)中涉及的超參數(shù)眾多,就相鄰兩層的激活函數(shù)而言,目前普遍使用較多的有Sigmoid、Tanh、ReLu等非線性函數(shù)[31],合理選用激活函數(shù)將會(huì)對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果產(chǎn)生影響。同時(shí),對(duì)于擬合數(shù)值與實(shí)際目標(biāo)值之間的代價(jià)函數(shù),其正則化方式的選擇與參數(shù)的選取,會(huì)使得擬合結(jié)果方差更小,并對(duì)于訓(xùn)練階段的收斂速度產(chǎn)生較大影響。此外,輸入指標(biāo)的原始數(shù)據(jù)標(biāo)準(zhǔn)化與否也會(huì)影響最終的擬合效果。

2.1 激活函數(shù)選用

神經(jīng)網(wǎng)絡(luò)是一種非線性的機(jī)器學(xué)習(xí)方法,其中相鄰兩層神經(jīng)節(jié)點(diǎn)非線性激活函數(shù)是神經(jīng)網(wǎng)絡(luò)非線性的集中體現(xiàn)。目前使用較多的激活函數(shù)中,Sigmoid函數(shù)雖然在反向傳播中左右兩側(cè)的斜率很小,可能會(huì)出現(xiàn)反向傳播中的梯度消失現(xiàn)象,使得訓(xùn)練中迭代收斂速度慢;但是在反向傳播中,Sigmoid函數(shù)的計(jì)算代價(jià)相對(duì)于其他激活函數(shù)小,并且在對(duì)神經(jīng)網(wǎng)絡(luò)參數(shù)初始化中進(jìn)行相應(yīng)約束后,可避免上述現(xiàn)象。本文基于系統(tǒng)的復(fù)雜性及計(jì)算代價(jià)考慮,將采用Sigmoid函數(shù)作為激活函數(shù)。

{

z1i=W1i·xt+b1i

a1i=1/(1+e-z1i)

(7)

式中:z1i為輸入層與隱藏層1對(duì)應(yīng)社區(qū)的中間變量;a1i為經(jīng)過(guò)Sigmoid函數(shù)激活后對(duì)應(yīng)社區(qū)隱藏層1神經(jīng)元節(jié)點(diǎn)的數(shù)值。

同理,對(duì)于隱藏層1到第隱藏層2,令W2i為隱藏層1第i個(gè)社區(qū)的權(quán)重矩陣,b2i為隱藏層1第i個(gè)社區(qū)的偏置向量,則

{

z2i=W2i·a1i+b2i

a2i=1/(1+e-z2i)

(8)

式中:z2i為隱藏層1與隱藏層2對(duì)應(yīng)社區(qū)的中間變量;a2i為經(jīng)過(guò)Sigmoid函數(shù)激活后對(duì)應(yīng)社區(qū)隱藏層2神經(jīng)元節(jié)點(diǎn)的數(shù)值。

此外,對(duì)于隱藏層2到輸出層,令W3為隱藏層2所有社區(qū)神經(jīng)元節(jié)點(diǎn)的權(quán)重矩陣,b3為隱藏層2所有社區(qū)神經(jīng)元節(jié)點(diǎn)的偏置限量,同時(shí)由于本文艦載機(jī)出動(dòng)架次率的取值范圍超過(guò)Sigmoid函數(shù)(0,1)的取值范圍,將采用如下線性激活函數(shù):

(9)

式中:a3為神經(jīng)網(wǎng)絡(luò)擬合后對(duì)艦載機(jī)出動(dòng)架次率的預(yù)測(cè)值。

同時(shí)為了加快神經(jīng)網(wǎng)絡(luò)迭代速度,一般采用Mini-Batch梯度下降法,通過(guò)向量化處理減小計(jì)算代價(jià)(數(shù)量一般取2n),即:每次參與訓(xùn)練的數(shù)據(jù)包含多個(gè)時(shí)刻的數(shù)據(jù),此時(shí)輸入數(shù)據(jù)x將作為一個(gè)矩陣參與訓(xùn)練。

同時(shí),不同于圖像識(shí)別等神經(jīng)網(wǎng)絡(luò)采用對(duì)數(shù)似然函數(shù)作為代價(jià)函數(shù),本文采用均方誤差作為代價(jià)函數(shù):

(10)

式中:yi為實(shí)際的樣本值。

輸入數(shù)據(jù)x按照?qǐng)D4所示稀疏深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),通過(guò)式(7)～式(10)的計(jì)算完成神經(jīng)網(wǎng)絡(luò)的正向傳播階段。

2.2 輸入指標(biāo)原始數(shù)據(jù)標(biāo)準(zhǔn)化

在所有的輸入數(shù)據(jù)中,會(huì)存在某些指標(biāo)的數(shù)據(jù)變化范圍差異過(guò)大的情況,如:艦載機(jī)維修時(shí)間為幾小時(shí),而最大風(fēng)速可達(dá)到100 km/h左右。此時(shí),神經(jīng)網(wǎng)絡(luò)在進(jìn)行梯度下降時(shí),可能會(huì)因?yàn)橹笜?biāo)變化范圍差距陷入局部最優(yōu)解狀態(tài),或者在接近收斂前面臨梯度下降速度過(guò)慢。若各個(gè)指標(biāo)數(shù)據(jù)變化范圍相差不大,算法進(jìn)行梯度下降的速度和幅度都會(huì)大幅增加,可以加快收斂速度同時(shí)降低擬合偏差。圖5以兩個(gè)指標(biāo)數(shù)據(jù)為例,展示了進(jìn)行兩種不同情況的梯度下降情況。圖5(a)中,橫向指標(biāo)變化范圍相對(duì)于縱向大,而圖5(b)中兩指標(biāo)變化范圍大致相同;在梯度下降時(shí)圖5(b)梯度下降速度相對(duì)于圖5(a)更快。

圖5 梯度下降示意圖

標(biāo)準(zhǔn)化公式如下所示:

(11)

原始數(shù)據(jù)經(jīng)式(11)標(biāo)準(zhǔn)化后指標(biāo)xi將變換為均值為0,標(biāo)準(zhǔn)差為1的分布。

2.3 L2正則化

評(píng)價(jià)一個(gè)神經(jīng)網(wǎng)絡(luò)優(yōu)劣,關(guān)鍵在于訓(xùn)練階段與測(cè)試階段的偏差和方差大小,偏差指擬合預(yù)測(cè)值與目標(biāo)數(shù)據(jù)的偏離度,方差則指擬合結(jié)果的穩(wěn)定性;若偏差高會(huì)造成欠擬合,可通過(guò)增加隱藏層數(shù)量或者每層神經(jīng)元節(jié)點(diǎn)數(shù)進(jìn)行調(diào)節(jié),而方差高會(huì)引起過(guò)擬合,需要增加數(shù)據(jù)或者采用正則化來(lái)避免。由于本文神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)已確定,加之仿真平臺(tái)全過(guò)程模擬計(jì)算代價(jià)極高,獲取的仿真數(shù)據(jù)數(shù)量有限,本文將采用正則化,以避免出現(xiàn)神經(jīng)網(wǎng)絡(luò)過(guò)擬合。

目前,關(guān)于神經(jīng)網(wǎng)絡(luò)正則化使用較多的有L2正則化及dropout法[19]等,dropout法由于其較大的計(jì)算代價(jià),會(huì)大幅增加訓(xùn)練階段計(jì)算時(shí)間,故本文將采用L2正則化,通過(guò)將代價(jià)函數(shù)中整體神經(jīng)元節(jié)點(diǎn)的權(quán)重驅(qū)動(dòng)為較小的值,使擬合模型更加平滑,避免產(chǎn)生方差高的過(guò)擬合狀態(tài)。L2正則化的代價(jià)函數(shù)如下:

(12)

式中:λ為L(zhǎng)2正則化參數(shù)。

此外,未采用L2 正則化的代價(jià)函數(shù)如下:

(13)

2.4 Adam優(yōu)化器

Adam優(yōu)化器是一種以指數(shù)加權(quán)平均法(對(duì)于數(shù)據(jù)進(jìn)行平滑預(yù)測(cè)處理)為基礎(chǔ),結(jié)合了文獻(xiàn)[22]的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法,能夠從加快神經(jīng)網(wǎng)絡(luò)梯度下降的速度,同時(shí)降低梯度下降的幅度從而避免因?yàn)橄陆捣冗^(guò)大超出指標(biāo)數(shù)據(jù)范圍,其效果示意圖如圖6所示。以兩指標(biāo)為例,采用Adam優(yōu)化器后,梯度下降的橫向幅度增大、縱向幅度減小,使梯度下降的速度加快,并且可靠性增加。Adam算法計(jì)算公式如下:令vdw=0,vdb=0,sdw=0,sdb=0

圖6 Adam算法示意圖

在第t次迭代中:

(14)

式中:vdw、vdb、sdw、sdb為算法中間變量;β1、β2、ε為算法的參數(shù);α是神經(jīng)網(wǎng)絡(luò)梯度下降的學(xué)習(xí)因子,在本文中以上4個(gè)參數(shù)分別取0.9、0.999、10-8、0.001。

3 算例仿真研究

在本文研究中,首先對(duì)原始輸入數(shù)據(jù)進(jìn)行歸一化處理,再將處理后的數(shù)據(jù)基于最大信息交互算法確定輸入指標(biāo)間相互關(guān)聯(lián)度,隨后再基于社區(qū)發(fā)現(xiàn)算法和主成分分析法完成艦載機(jī)出動(dòng)回收指標(biāo)的社區(qū)劃分,并以建立的指標(biāo)樹(shù)狀層次結(jié)構(gòu)為基礎(chǔ),確定神經(jīng)網(wǎng)絡(luò)隱藏層神經(jīng)元節(jié)點(diǎn)分布;然后將標(biāo)準(zhǔn)化處理后的一部分原始輸入數(shù)據(jù)代入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練迭代,最后再將另外一部分的數(shù)據(jù)代入訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行驗(yàn)證。

3.1 構(gòu)建本文所用深度神經(jīng)網(wǎng)絡(luò)

本文以文獻(xiàn)[32]中艦載機(jī)航空保障系統(tǒng)為基礎(chǔ),將指標(biāo)體系擴(kuò)展補(bǔ)充為120個(gè)指標(biāo),以仿真平臺(tái)試驗(yàn)數(shù)據(jù)為數(shù)據(jù)來(lái)源;首先將數(shù)據(jù)歸一化處理,再利用最大信息交互算法確定指標(biāo)間關(guān)聯(lián)度,如表1所示,以求得的關(guān)聯(lián)度為基礎(chǔ)進(jìn)行輸入指標(biāo)的社區(qū)劃分,輸入指標(biāo)分為4個(gè)社區(qū),根據(jù)社區(qū)內(nèi)指標(biāo)特性,可大致分為:

表1 輸入指標(biāo)關(guān)聯(lián)度矩陣

(1) 以駕駛員工作時(shí)間、駕駛員戰(zhàn)前任務(wù)分配時(shí)間、駕駛員戰(zhàn)后報(bào)告時(shí)間等為主的人員保障與調(diào)度社區(qū);

(2) 以加油設(shè)備數(shù)量、牽扯引車(chē)運(yùn)行速度、升降平臺(tái)速度等為主的設(shè)備保障與調(diào)度社區(qū);

(3) 以甲板轉(zhuǎn)運(yùn)小組工作周期、甲板檢查時(shí)長(zhǎng)為主的甲板保障與調(diào)度社區(qū);

(4) 以最大風(fēng)速、風(fēng)向、可見(jiàn)度、起飛時(shí)間等為主的環(huán)境條件社區(qū)。

最后,根據(jù)輸入指標(biāo)社區(qū)劃分的結(jié)果進(jìn)行社區(qū)內(nèi)主成分分析,分析后上述4個(gè)社區(qū)的特征指標(biāo)數(shù)目分別為16、23、14、7,到此完成了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的建立。

3.2 神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果對(duì)比

本文將15 360組實(shí)驗(yàn)平臺(tái)數(shù)據(jù)分為訓(xùn)練集、驗(yàn)證集、測(cè)試集,其數(shù)量分別為10 240組、2 560組、2 560組,以python作為編程語(yǔ)言,計(jì)算平臺(tái):CPU-intel I5-9500@3.00 Hz,GPU-AMD Radeon 520。同時(shí),作為對(duì)比,本文增加了未經(jīng)社區(qū)劃分且隱藏層神經(jīng)元總節(jié)點(diǎn)數(shù)相同的非稀疏深度神經(jīng)網(wǎng)絡(luò),并且所用優(yōu)化算法和激活函數(shù)與本文的稀疏深度神經(jīng)網(wǎng)絡(luò)相同,其網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。

圖7 非稀疏深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

此外,為了驗(yàn)證本文所采用優(yōu)化方法的合理性,將以稀疏性神經(jīng)網(wǎng)絡(luò)針對(duì)輸入指標(biāo)原始數(shù)據(jù)標(biāo)準(zhǔn)化與否、采用L2正則化與否及采用Adam優(yōu)化算法與否增加結(jié)果對(duì)比分析,對(duì)比分析以擬合值與目標(biāo)實(shí)際值的百分比偏差為準(zhǔn),如下所示:

(15)

(1) 輸入指標(biāo)原始數(shù)據(jù)標(biāo)準(zhǔn)化與否預(yù)測(cè)結(jié)果分析

在處理如艦載機(jī)出動(dòng)回收的復(fù)雜系統(tǒng)時(shí),由于構(gòu)成系統(tǒng)的指標(biāo)眾多,并且指標(biāo)之間的變化分布范圍差距極大,若不經(jīng)標(biāo)準(zhǔn)化處理,容易造成神經(jīng)網(wǎng)絡(luò)在梯度下降中陷入局部最優(yōu)解的情況,最終增加擬合偏差。原始數(shù)據(jù)標(biāo)準(zhǔn)化與否預(yù)測(cè)結(jié)果偏差情況如圖8所示。

圖8 輸入數(shù)據(jù)標(biāo)準(zhǔn)化與否

由圖8可知,輸入數(shù)據(jù)標(biāo)準(zhǔn)化后其最大偏差相比于未標(biāo)準(zhǔn)化相差3倍,說(shuō)明對(duì)輸入數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化可以大幅提升神經(jīng)網(wǎng)絡(luò)擬合效果、降低擬合偏差。同時(shí),如圖5所示,指標(biāo)數(shù)據(jù)若未經(jīng)標(biāo)準(zhǔn)化,神經(jīng)網(wǎng)絡(luò)收斂速度減慢,造成神經(jīng)網(wǎng)絡(luò)擬合偏差偏高。需要注意的是,采用式(11)進(jìn)行標(biāo)準(zhǔn)化時(shí)須保證訓(xùn)練階段與測(cè)試階段的數(shù)據(jù)分布一致,若數(shù)據(jù)分布發(fā)生變化,需要重新對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

(2) 采用正則化與否預(yù)測(cè)結(jié)果分析

在避免神經(jīng)網(wǎng)絡(luò)過(guò)擬合的方法中,包括增加訓(xùn)練階段數(shù)據(jù)量和使用正則化,由于本文所用數(shù)據(jù)有限,故采用正則化。采用正則化與否預(yù)測(cè)結(jié)果偏差情況如圖9所示。由圖9可以看出,采用正則化后神經(jīng)網(wǎng)絡(luò),由于式(12)增加了權(quán)重矩陣W的模,相比于未增加的式(13)而言代價(jià)函數(shù)J的值會(huì)偏大,但其達(dá)到收斂的速度加快,并且最大擬合偏差約為未采用正則化的1/6。同時(shí),從擬合偏差穩(wěn)定性來(lái)看,未采用正則化的擬合方差過(guò)大,出現(xiàn)了小訓(xùn)練樣本常出現(xiàn)的過(guò)擬合現(xiàn)象,而采用了正則化的神經(jīng)網(wǎng)絡(luò)擬合偏差小而且擬合方差小、穩(wěn)定性強(qiáng)。由此可說(shuō)明,在艦載機(jī)出動(dòng)架次率神經(jīng)網(wǎng)絡(luò)小樣本訓(xùn)練中,正則化處理能夠大幅降低神經(jīng)網(wǎng)絡(luò)擬合偏差、增強(qiáng)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的穩(wěn)定性。

圖9 采用正則化與否

(3) 采用Adam算法與否預(yù)測(cè)結(jié)果分析

Adam算法通過(guò)加快梯度下降速度的同時(shí),減小梯度下降的幅度,可大幅加快神經(jīng)網(wǎng)絡(luò)訓(xùn)練階段收斂速度,同時(shí)降低擬合偏差,適合本文數(shù)據(jù)量小的情況。采用Adam算法預(yù)測(cè)結(jié)果偏差情況如圖10所示。

圖10 采用Adam算法與否

由圖10可知,未采用Adam時(shí),受有限訓(xùn)練樣本量的影響,在訓(xùn)練階段完成時(shí)并未收斂,擬合結(jié)果偏差是采用Adam算法的數(shù)十倍,無(wú)法滿足艦載機(jī)出動(dòng)架次率精準(zhǔn)預(yù)測(cè)的需求。同時(shí),采用Adam算法后神經(jīng)網(wǎng)絡(luò)收斂速度大幅增加,擬合偏差大幅下降,故使用Adam算法能夠在保證收斂速度的同時(shí)大幅降低預(yù)測(cè)偏差,在本文中能夠有效地加快算法收斂速度、增強(qiáng)預(yù)測(cè)結(jié)果準(zhǔn)確性。

(4) 神經(jīng)網(wǎng)絡(luò)稀疏性與否預(yù)測(cè)結(jié)果對(duì)比

本文采用如圖4所示的稀疏性神經(jīng)網(wǎng)絡(luò),為基于原始輸入數(shù)據(jù)通過(guò)最大信息交互算法、社區(qū)發(fā)現(xiàn)算法,將輸入指標(biāo)中關(guān)聯(lián)度相對(duì)較高的指標(biāo)劃分為同一個(gè)社區(qū),同時(shí)社區(qū)之間關(guān)聯(lián)度不高,再根據(jù)主成分分析法對(duì)社區(qū)內(nèi)指標(biāo)進(jìn)行降維簡(jiǎn)化處理,并將降維后的特征指標(biāo)數(shù)目作為隱藏層神經(jīng)元節(jié)點(diǎn)數(shù)目。對(duì)應(yīng)地,為了增加對(duì)照試驗(yàn),非稀疏性神經(jīng)網(wǎng)絡(luò)如圖7所示,輸入指標(biāo)將不進(jìn)行社區(qū)劃分。除此之外,以上兩種神經(jīng)網(wǎng)絡(luò)的其他參數(shù)與方法相同,其預(yù)測(cè)結(jié)果偏差對(duì)比結(jié)果如表2和圖11所示。

表2 稀疏深度神經(jīng)網(wǎng)絡(luò)與非稀疏深度神經(jīng)網(wǎng)絡(luò)結(jié)果對(duì)比

圖11 神經(jīng)網(wǎng)絡(luò)稀疏與否對(duì)比

以文獻(xiàn)[33]中艦載機(jī)出動(dòng)環(huán)境為背景,本文對(duì)艦載機(jī)白天高峰期的出動(dòng)回收進(jìn)行了模擬。在稀疏神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)下,高峰期出動(dòng)架次平均約為229.5架/天,非稀疏神經(jīng)網(wǎng)絡(luò)的平均預(yù)測(cè)為228架/天,而文獻(xiàn)[33]的高峰期出動(dòng)架次為230架/天。綜合而言,稀疏神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)精度更高。

由圖11和表2可知,在保證隱藏層總神經(jīng)元節(jié)點(diǎn)數(shù)和所用優(yōu)化算法一致的情況下,稀疏深度神經(jīng)網(wǎng)絡(luò)收斂速度比非稀疏深度神經(jīng)網(wǎng)絡(luò)快,同時(shí)將輸入指標(biāo)進(jìn)行社區(qū)劃分使得神經(jīng)網(wǎng)絡(luò)稀疏化,能夠大幅地減小擬合偏差,減小幅度大約為50%。在計(jì)算代價(jià)上,在普通的神經(jīng)網(wǎng)絡(luò)中,由于所有神經(jīng)節(jié)點(diǎn)是全連接的,每一層神經(jīng)節(jié)點(diǎn)可以用一個(gè)矩陣運(yùn)算,計(jì)算得到所有神經(jīng)節(jié)點(diǎn)的數(shù)值與完成權(quán)重w和偏執(zhí)量b的梯度下降。而在稀疏化處理的神經(jīng)網(wǎng)絡(luò)中,由于不同社區(qū)神經(jīng)節(jié)點(diǎn)之間無(wú)連接,需要將不同社區(qū)之間單獨(dú)進(jìn)行各自的矩陣運(yùn)算。在程序?qū)崿F(xiàn)方面,稀疏化的神經(jīng)網(wǎng)絡(luò)需要增加矩陣運(yùn)算的個(gè)數(shù),以至于需要增加對(duì)應(yīng)社區(qū)劃分?jǐn)?shù)的計(jì)算模塊,故計(jì)算時(shí)長(zhǎng)有所增加。但由于本身計(jì)算代價(jià)不大,通過(guò)提升計(jì)算平臺(tái)性能后,仍能夠滿足實(shí)時(shí)性要求。

4 結(jié) 論

針對(duì)以往研究中依靠專家經(jīng)驗(yàn)確定指標(biāo)相互關(guān)系的局限性和考慮艦載機(jī)出動(dòng)回收全流程時(shí)較大的計(jì)算代價(jià),本文從指標(biāo)數(shù)據(jù)出發(fā),首先通過(guò)最大信息交互算法確定輸入指標(biāo)關(guān)聯(lián)度,再根據(jù)社區(qū)發(fā)現(xiàn)算法劃分關(guān)聯(lián)度緊密的社區(qū),同時(shí)按照劃分的社區(qū)基于主成分分析法確定特征指標(biāo)數(shù)目,確定指標(biāo)間層次樹(shù)狀結(jié)構(gòu),用以確定稀疏深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。在完成稀疏深度神經(jīng)創(chuàng)建后,從激活函數(shù)出發(fā)根據(jù)本文需求進(jìn)行了改進(jìn),同時(shí)在神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法中選取了輸入數(shù)據(jù)標(biāo)準(zhǔn)化、L2正則化、Adam優(yōu)化算法,對(duì)神經(jīng)網(wǎng)絡(luò)算法內(nèi)容進(jìn)行了完善。

最后,在算例仿真階段,將輸入數(shù)據(jù)標(biāo)準(zhǔn)化、L2正則化、Adam優(yōu)化算法作為變量,對(duì)比驗(yàn)證了上述3種方法的有效性。通過(guò)建立的未劃分社區(qū)的非稀疏深度神經(jīng)網(wǎng)絡(luò)與建立的稀疏深度神經(jīng)網(wǎng)絡(luò)作對(duì)比,驗(yàn)證了本文所提方法能夠明顯改善神經(jīng)網(wǎng)絡(luò)的收斂速度和擬合偏差。在計(jì)算代價(jià)方面,確定神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的過(guò)程中,基于粒子群優(yōu)化算法的最大信息交互算法由于其計(jì)算量大,可在離線階段進(jìn)行神經(jīng)網(wǎng)絡(luò)隱藏層參數(shù)確定。同時(shí),表2的計(jì)算時(shí)間為神經(jīng)網(wǎng)絡(luò)訓(xùn)練、驗(yàn)證、測(cè)試的總時(shí)間,通過(guò)Mini-Batch法及向量化處理并且搭配高性能計(jì)算平臺(tái),能夠大幅提高算法的實(shí)時(shí)性。綜上,本文所提方法能夠?yàn)榻⑴炤d機(jī)出動(dòng)架次率實(shí)時(shí)顯示系統(tǒng)提供參考。