作戰(zhàn)仿真系統(tǒng)可信度評(píng)估研究

劉 勇, 陽(yáng)貴兵

(中國(guó)人民解放軍92941部隊(duì)，遼寧 葫蘆島 125001)

0 引 言

作戰(zhàn)仿真是基于相似理論采用建模和物理方法對(duì)作戰(zhàn)系統(tǒng)或作戰(zhàn)過(guò)程的抽象、映射、描述和復(fù)現(xiàn)[1]。因此，作戰(zhàn)仿真必須回答及證實(shí)如下三個(gè)問(wèn)題：①作戰(zhàn)模型是否正確描述了實(shí)際作戰(zhàn)系統(tǒng)的外部特征和內(nèi)在特性；②作戰(zhàn)仿真是否有效地反映了作戰(zhàn)模型的數(shù)據(jù)、性狀和行為；③仿真結(jié)果是否體現(xiàn)了作戰(zhàn)應(yīng)用模板和用戶需求。這就是通常所說(shuō)的作戰(zhàn)仿真可信度問(wèn)題。國(guó)內(nèi)外仿真界普遍認(rèn)為“可信性是仿真科學(xué)與技術(shù)發(fā)展的生命線”，缺乏足夠可信度的仿真是沒(méi)有實(shí)際意義的[2]。

國(guó)外對(duì)于仿真系統(tǒng)可信度評(píng)估研究可以追溯到20世紀(jì)60年代，從事研究的國(guó)家和地區(qū)主要有美國(guó)、歐洲和加拿大，其中以美國(guó)最為突出，其研究特點(diǎn)可以概括為起步早、范圍廣、成果多、系統(tǒng)性強(qiáng)、規(guī)范性好等。國(guó)內(nèi)則緊密跟蹤國(guó)外的先進(jìn)技術(shù)，并結(jié)合國(guó)內(nèi)工程實(shí)際，在院校和科研機(jī)構(gòu)中廣泛開(kāi)展相關(guān)技術(shù)研究。國(guó)內(nèi)比較突出的成果包括：國(guó)防科技大學(xué)分別以導(dǎo)彈仿真系統(tǒng)和HLA(high level architecture，高級(jí)體系結(jié)構(gòu))仿真系統(tǒng)為背景進(jìn)行的可信性研究；北京航空航天大學(xué)、哈爾濱工業(yè)大學(xué)等對(duì)分布交互式仿真的VV&A(verification， validation and accreditation，校核、驗(yàn)證與確認(rèn))與可信度評(píng)估進(jìn)行的概念、過(guò)程、指標(biāo)和工具研究；國(guó)防科技大學(xué)、軍事科學(xué)院以及西北工業(yè)大學(xué)等院校在作戰(zhàn)可信度評(píng)估理論和方法等方面所做的大量研究。

由于作戰(zhàn)仿真系統(tǒng)自身的特點(diǎn)，其可信度評(píng)估比一般仿真系統(tǒng)的可信度評(píng)估難。因此，為了獲取作戰(zhàn)仿真系統(tǒng)的可信度，必須對(duì)系統(tǒng)建模與仿真的全過(guò)程進(jìn)行可信度評(píng)估[3]。本文基于作戰(zhàn)仿真系統(tǒng)的特點(diǎn)，從評(píng)估過(guò)程和評(píng)估對(duì)象的確立、指標(biāo)體系的構(gòu)建以及評(píng)估結(jié)果的給出等方面，提出了作戰(zhàn)仿真系統(tǒng)可信度評(píng)估方案，為作戰(zhàn)仿真系統(tǒng)的可信度評(píng)估工作提供理論支撐。

1 總體評(píng)估方案

根據(jù)作戰(zhàn)仿真系統(tǒng)的特點(diǎn)及可信度評(píng)估需求，其VV&A與可信度評(píng)估工作可分為6個(gè)階段，如圖1所示：①根據(jù)綜合設(shè)計(jì)與作戰(zhàn)仿真系統(tǒng)的特點(diǎn)及評(píng)估要求，確定其可信度評(píng)估過(guò)程；②從中提取可信度評(píng)估對(duì)象；③根據(jù)各評(píng)估對(duì)象的具體情況建立可信度評(píng)估指標(biāo)體系；④在評(píng)估節(jié)點(diǎn)上采用適當(dāng)?shù)脑u(píng)估方法(定性或定量)得到評(píng)估值；⑤采用指標(biāo)綜合算法計(jì)算出系統(tǒng)的可信度結(jié)果；⑥基于指標(biāo)體系進(jìn)行系統(tǒng)的可信度結(jié)果分析，提交給用戶以支持系統(tǒng)的應(yīng)用或改進(jìn)。

圖1 作戰(zhàn)仿真系統(tǒng)可信度評(píng)估的總體方案Fig.1 Warfare simulation system credibility evaluation scheme

1.1 可信度評(píng)估過(guò)程的制定

系統(tǒng)級(jí)的可信度評(píng)估工作首先需要建立其評(píng)估過(guò)程，用于指導(dǎo)后續(xù)評(píng)估工作的開(kāi)展。為了建立可操作的、合理的仿真系統(tǒng)可信度評(píng)估過(guò)程，從以下3方面開(kāi)展工作。

1) 明確仿真系統(tǒng)可信度評(píng)估的過(guò)程、階段及活動(dòng)。

2) 描述各可信度評(píng)估工作的內(nèi)容，如評(píng)估對(duì)象、采用的評(píng)估方法、需要的數(shù)據(jù)支持、關(guān)聯(lián)的參考對(duì)象、評(píng)估人員和工作執(zhí)行者等。

3) 在相關(guān)過(guò)程標(biāo)準(zhǔn)的框架內(nèi)，合理設(shè)置仿真系統(tǒng)的可信度評(píng)估過(guò)程粒度，使其既詳盡完備，又具有較強(qiáng)的可操作性。

1.2 可信度評(píng)估對(duì)象的確定

作戰(zhàn)仿真系統(tǒng)是一個(gè)相對(duì)復(fù)雜的仿真系統(tǒng)，直接對(duì)其進(jìn)行系統(tǒng)級(jí)的評(píng)估是不可能的。在可信度評(píng)估中將大系統(tǒng)分解為若干個(gè)評(píng)估對(duì)象是常用的做法，這些對(duì)象均與大系統(tǒng)的可信度相關(guān)。對(duì)評(píng)估對(duì)象的規(guī)模并沒(méi)有統(tǒng)一的要求，但評(píng)估對(duì)象越大，對(duì)其實(shí)施評(píng)估的難度就越大，可操作性就越低。如果評(píng)估對(duì)象規(guī)模較大，不便于進(jìn)行評(píng)估，還要對(duì)其進(jìn)行分解以增強(qiáng)可操作性。

1.3 可信度評(píng)估指標(biāo)體系的建立

作戰(zhàn)仿真系統(tǒng)的可信度評(píng)估指標(biāo)體系主要包括模型和數(shù)據(jù)的可信度評(píng)估指標(biāo)體系。其中，作戰(zhàn)仿真系統(tǒng)的數(shù)據(jù)評(píng)估指標(biāo)體系要求高，比較難建立。主要原因有：①作戰(zhàn)仿真系統(tǒng)的數(shù)據(jù)可信度評(píng)估要從數(shù)據(jù)提供者和數(shù)據(jù)用戶兩個(gè)角度進(jìn)行，他們對(duì)數(shù)據(jù)關(guān)注的重點(diǎn)不一樣。②根據(jù)數(shù)據(jù)性質(zhì)不同，作戰(zhàn)仿真系統(tǒng)的數(shù)據(jù)往往可以分為參考數(shù)據(jù)、固定數(shù)據(jù)、實(shí)例數(shù)據(jù)、驗(yàn)證數(shù)據(jù)和交換數(shù)據(jù)等；按照數(shù)據(jù)作用不同，作戰(zhàn)仿真系統(tǒng)的數(shù)據(jù)又可以分為基礎(chǔ)數(shù)據(jù)、想定數(shù)據(jù)、方案數(shù)據(jù)、模型數(shù)據(jù)以及仿真運(yùn)行管理與控制數(shù)據(jù)等。因此，作戰(zhàn)仿真系統(tǒng)數(shù)據(jù)的評(píng)估指標(biāo)體系比較復(fù)雜，難以建立統(tǒng)一的評(píng)估指標(biāo)體系。大多數(shù)情況下，數(shù)據(jù)均采用標(biāo)準(zhǔn)格式數(shù)據(jù)，而與模型有關(guān)的數(shù)據(jù)則被置于模型中參與模型的可信度評(píng)估[4]。因此，本文主要研究作戰(zhàn)仿真系統(tǒng)模型部分的可信度評(píng)估指標(biāo)體系。

首先建立系統(tǒng)可信度評(píng)估指標(biāo)體系，該體系主要包含軍事需求模型評(píng)估指標(biāo)、軍事概念模型評(píng)估指標(biāo)、數(shù)學(xué)模型評(píng)估指標(biāo)以及軟件模型評(píng)估指標(biāo)4個(gè)方面，通常稱為一級(jí)指標(biāo)，如圖2所示。

圖2 作戰(zhàn)仿真系統(tǒng)可信度一級(jí)評(píng)估指標(biāo)Fig.2 First level credibility evaluation indexof warfare simulation system

一級(jí)指標(biāo)下又根據(jù)系統(tǒng)實(shí)際情況建立二級(jí)和三級(jí)指標(biāo)。以軍事需求可信度指標(biāo)為例，軍事需求評(píng)估項(xiàng)目主要有作戰(zhàn)任務(wù)分析、軍事背景描述、作戰(zhàn)行動(dòng)描述、作戰(zhàn)實(shí)體劃分、作戰(zhàn)關(guān)系描述等，稱為二級(jí)指標(biāo)；二級(jí)指標(biāo)以下又可以細(xì)分為評(píng)估細(xì)則，稱為三級(jí)指標(biāo)。

1.4 可信度評(píng)估及其結(jié)果轉(zhuǎn)換方法的選取

可信度評(píng)估方法是得到指標(biāo)體系節(jié)點(diǎn)上評(píng)估結(jié)果的途徑，而評(píng)估結(jié)果轉(zhuǎn)換方法則負(fù)責(zé)將可信度評(píng)估結(jié)果轉(zhuǎn)換為可信度值，二者是取得仿真系統(tǒng)可信度量化值的工具?？尚哦仍u(píng)估方法和評(píng)估結(jié)果轉(zhuǎn)換方法有很多，需根據(jù)系統(tǒng)的實(shí)際情況、評(píng)估節(jié)點(diǎn)的情況以及仿真數(shù)據(jù)和參考數(shù)據(jù)的可獲取情況等選取合適的方法加以改進(jìn)和應(yīng)用。

可信度評(píng)估方法分為定性和定量?jī)纱箢?，仿真系統(tǒng)主要采用定量的評(píng)估方法。定量評(píng)估方法又可分為靜態(tài)/動(dòng)態(tài)分析方法、時(shí)域/頻域分析方法等，主要來(lái)源于模型驗(yàn)證方法、數(shù)據(jù)一致性分析方法和統(tǒng)計(jì)學(xué)分析方法。

雖然仿真系統(tǒng)傾向于采用定量評(píng)估方法，但某些定性方法在解決特定問(wèn)題時(shí)也能發(fā)揮作用。如在外場(chǎng)試驗(yàn)數(shù)據(jù)缺乏的情況下，圖靈測(cè)試法、模糊綜合評(píng)價(jià)法等都是有效的。所謂定性評(píng)估不是完全脫離數(shù)據(jù)，而是指它主要依靠SME(subject matter expert，主題專家)的經(jīng)驗(yàn)和主觀分析來(lái)獲得評(píng)估結(jié)果。例如圖靈測(cè)試法包含5個(gè)步驟，分別是選取測(cè)試樣本、執(zhí)行測(cè)試樣本、辨別輸出結(jié)果、分析辨別結(jié)果和得出評(píng)估結(jié)論。如果領(lǐng)域?qū)＜也荒苊鞔_分辨兩條曲線哪條屬于仿真數(shù)據(jù)或參考數(shù)據(jù)，則證明評(píng)估對(duì)象擁有較高的可信度。

可信度評(píng)估方法得到的分析結(jié)果并不是仿真可信度描述，需要經(jīng)過(guò)一個(gè)轉(zhuǎn)換才能表示為量化可信度值。例如使用不等式系數(shù)法得到的是一個(gè)[0,1]區(qū)間內(nèi)的有理數(shù)，該數(shù)值越小則可信度越高，工程上量化可信度值小于0.3就意味著仿真結(jié)果可以被接受。然而該結(jié)果顯然在值域、單調(diào)性、擺幅等方面都不同于仿真可信度描述。研究各種評(píng)估結(jié)果在同一標(biāo)度空間內(nèi)向量化可信度的轉(zhuǎn)換，也是本課題需要解決的問(wèn)題。

為了給出合適的可信度評(píng)估方法及評(píng)估結(jié)果轉(zhuǎn)換方法，應(yīng)從以下4方面開(kāi)展工作。

1) 研究常用的定性評(píng)估方法，掌握方法的原理、計(jì)算公式、使用步驟等，包括專家評(píng)定法、模糊綜合評(píng)價(jià)法、圖靈測(cè)試法等。

2) 研究常用的定量評(píng)估方法，掌握方法的原理、計(jì)算公式、使用步驟等，包括參數(shù)估計(jì)法、假設(shè)檢驗(yàn)法、TIC法、灰色關(guān)聯(lián)法、窗譜估計(jì)法、特征匹配法等。

3) 根據(jù)仿真系統(tǒng)各評(píng)估對(duì)象的指標(biāo)體系，為每一個(gè)評(píng)估節(jié)點(diǎn)選擇合適的評(píng)估方法來(lái)取得可信度評(píng)估結(jié)果。

4) 針對(duì)每一種系統(tǒng)中應(yīng)用的評(píng)估方法，研究其評(píng)估結(jié)果向量化可信度轉(zhuǎn)換的方法，并將指標(biāo)體系內(nèi)各節(jié)點(diǎn)的評(píng)估結(jié)果轉(zhuǎn)換為量化可信度值。

1.5 指標(biāo)綜合方法的選取

最終的可信度結(jié)果需通過(guò)將指標(biāo)體系各層節(jié)點(diǎn)進(jìn)行綜合來(lái)獲得，即需要一個(gè)指標(biāo)綜合方法。仿真系統(tǒng)采用樹(shù)型的可信度評(píng)估指標(biāo)體系，可借助該樹(shù)型結(jié)構(gòu)使用改進(jìn)的加權(quán)平均模型等方法進(jìn)行指標(biāo)綜合。

量化的可信度結(jié)果通常是一個(gè)[0,1]區(qū)間或[0,100]區(qū)間內(nèi)的有理數(shù)，這使得在對(duì)多個(gè)對(duì)象進(jìn)行評(píng)估或進(jìn)行多專家評(píng)估時(shí)結(jié)果具有可比性。除量化值外，一些組織提倡“可信度等級(jí)”劃分[5]，一般采用5級(jí)可信度，即“可信”、“較可信”、“一般”、“不太可信”和“不可信”。這樣做可以向用戶提供直觀的可信度等級(jí)判定，而不會(huì)使用戶對(duì)單純的數(shù)值產(chǎn)生困惑?？尚哦鹊燃?jí)也是對(duì)應(yīng)到量化區(qū)間內(nèi)的，如“可信”通常對(duì)應(yīng)在[0.9,1.0]區(qū)間或[90,100]區(qū)間。

1.6 仿真系統(tǒng)可信度結(jié)果的分析

仿真系統(tǒng)的可信度評(píng)估主要有3個(gè)目的：①規(guī)范仿真開(kāi)發(fā)過(guò)程和階段性成果；②獲取仿真與真實(shí)對(duì)象的接近程度；③指導(dǎo)仿真系統(tǒng)的改進(jìn)。

為了充分分析仿真系統(tǒng)的可信度結(jié)果，并支持仿真系統(tǒng)的應(yīng)用和改進(jìn)，從以下兩方面開(kāi)展工作。

1) 根據(jù)可信度評(píng)估指標(biāo)體系和評(píng)估結(jié)果，分析影響仿真系統(tǒng)可信度的主要因素。

2) 基于前文所述評(píng)估過(guò)程及結(jié)果，提交仿真系統(tǒng)可信度評(píng)估報(bào)告。

2 案例分析

假定有一型導(dǎo)彈武器系統(tǒng)攻防對(duì)抗的作戰(zhàn)仿真系統(tǒng)，對(duì)其進(jìn)行可信度評(píng)估分析。該作戰(zhàn)仿真系統(tǒng)分為紅藍(lán)兩個(gè)陣營(yíng)，紅藍(lán)雙方在導(dǎo)彈聯(lián)合試驗(yàn)平臺(tái)支撐下進(jìn)行導(dǎo)彈攻防對(duì)抗作戰(zhàn)仿真。系統(tǒng)結(jié)構(gòu)如圖3所示。

圖3 某導(dǎo)彈攻防對(duì)抗作戰(zhàn)仿真系統(tǒng)結(jié)構(gòu)Fig.3 Structure of missile attack-defense confrontation warfare simulation system

按照?qǐng)D2所示的指標(biāo)體系結(jié)構(gòu)，建立該仿真系統(tǒng)模型可信度評(píng)估指標(biāo)體系，對(duì)各級(jí)指標(biāo)的權(quán)重采用專家賦值，一般軍事需求與軍事概念模型所占權(quán)重比數(shù)學(xué)模型和軟件模型的權(quán)重要大。采用專家賦值法，將軍事需求模型、軍事概念模型、數(shù)學(xué)模型和軟件模型的權(quán)重分別設(shè)定為：0.3、0.3、0.2、0.2。

可信度評(píng)估采用定性與定量、主觀與客觀相結(jié)合的方法進(jìn)行：對(duì)于有外場(chǎng)試驗(yàn)數(shù)據(jù)或者可靠結(jié)果輸出的項(xiàng)，采用定量評(píng)價(jià)的方法；對(duì)于無(wú)輸出結(jié)果作為對(duì)比的項(xiàng)，采用行業(yè)專家給出的主觀定性評(píng)價(jià)方法。根據(jù)評(píng)價(jià)結(jié)果對(duì)各層指標(biāo)節(jié)點(diǎn)進(jìn)行賦值，再采用主觀綜合評(píng)價(jià)方法對(duì)模型的可信度進(jìn)行評(píng)估。

主觀綜合評(píng)價(jià)法最適合于作戰(zhàn)仿真系統(tǒng)的軍事需求、軍事概念模型、包含經(jīng)驗(yàn)參數(shù)較多的數(shù)學(xué)模型以及高層作戰(zhàn)的軟件模型的可信度評(píng)估。主觀綜合評(píng)價(jià)方法最大特點(diǎn)就是對(duì)專家權(quán)重進(jìn)行計(jì)算，主觀綜合評(píng)價(jià)方法具體執(zhí)行步驟見(jiàn)參考文獻(xiàn)[1]。

根據(jù)主觀綜合評(píng)價(jià)方法對(duì)作戰(zhàn)仿真系統(tǒng)進(jìn)行評(píng)估，評(píng)估結(jié)果如表1所示。

表1 各項(xiàng)評(píng)估結(jié)果
Tab.1 Evaluation results

評(píng)估等級(jí)優(yōu)秀良好中等差取值范圍[0.90,1.00][0.80,0.90][0.60,0.80][0.00,0.60]軍事需求模型—0.83——軍事概念模型—0.86——數(shù)學(xué)模型——0.75—軟件模型——0.72—

根據(jù)各項(xiàng)權(quán)值進(jìn)行加權(quán)求和，得到系統(tǒng)總的可信度評(píng)估結(jié)果為

0.3×0.83+0.3×0.86+0.2×0.75+0.2×0.72=0.801

0.801在良好取值范圍。因此，本系統(tǒng)的可信度評(píng)價(jià)結(jié)果為良好。

3 結(jié)束語(yǔ)

本文基于作戰(zhàn)仿真系統(tǒng)的特點(diǎn)，提出了作戰(zhàn)仿真系統(tǒng)可信度評(píng)估方案，方案包含評(píng)估過(guò)程和評(píng)估對(duì)象的確立、指標(biāo)體系的構(gòu)建、結(jié)果轉(zhuǎn)換方法和指標(biāo)綜合方法的選取以及評(píng)估報(bào)告的給出6個(gè)方面，并以假定作戰(zhàn)仿真系統(tǒng)為例，進(jìn)行了可信度評(píng)估分析，為作戰(zhàn)仿真系統(tǒng)的可信度評(píng)估工作提供了理論支撐。