一種改進的軍事訓(xùn)練效果定性評估指標量化方法*

王 睿，姜 寧

(海軍大連艦艇學院,遼寧 大連 116018)

深入開展軍事訓(xùn)練工作,是提高部隊實戰(zhàn)能力的重要舉措。軍事訓(xùn)練效果評估,作為組訓(xùn)工作重要環(huán)節(jié),其成效直接影響訓(xùn)練效益,評估結(jié)論將對各級決策產(chǎn)生重大影響。效果評估涉及衡量指標、權(quán)重和聚合方法等一系列要素的確定,其中,評估指標值量化更是評估工作的基礎(chǔ)。整體上,評估指標包括定量指標和定性指標兩類。定量指標是可以準確數(shù)量定義、精確衡量并能設(shè)定績效目標的考核指標。定性指標是指無法直接通過數(shù)據(jù)計算分析評價內(nèi)容,需對評價對象進行客觀描述和分析來反映評價結(jié)果的指標。

軍事訓(xùn)練效果評估主要是對訓(xùn)練對象能力和水平的評價,其大部分底層評價點的描述存在極大的不確定性和模糊性,屬于定性評估指標,實際工作中難以直接采集得到具體指標值,通常需由評估專家參照相關(guān)數(shù)據(jù)素材,并結(jié)合具體對照標準,間接轉(zhuǎn)化為可用于效果評估工作的量化值。傳統(tǒng)方法優(yōu)點在于操作簡單、便于理解,僅需要將評估專家組給定分值進行加權(quán)平均即可得到結(jié)果;其缺點也十分明顯,由于過度依賴評估專家個人綜合能力,受人為因素影響較大,簡單的加權(quán)平均處理容易掩蓋指標量值的真實屬性,進而降低評估結(jié)論的可靠性。因此,本文以確保研究成果實用性為出發(fā)點,對定性指標量化影響因子詳盡分解,將主客觀技術(shù)有機融合處理,提出一種改進的軍事訓(xùn)練效能定性評估指標量化方法,為軍事訓(xùn)練效果評估工作順利實施提供理論支撐。

1 效能評價描述標度

軍事訓(xùn)練效果評估工作的基礎(chǔ)是對選用的評估指標進行工程量化,即確定評估指標的描述標度,指標描述方法直接決定評估結(jié)論的描述方式。由于軍事訓(xùn)練效果評估指標類型多、數(shù)量大,在進行工程計算時需量體裁衣、選用適合的方法理論進行處理,在這一過程中,不可避免地需要人工參與(即專家評判處理),而專家主觀性差異必然會產(chǎn)生一定程度的不確定性。根據(jù)軍事訓(xùn)練效果評估指標特點,涉及精確值、區(qū)間值和語言值三類描述標度[1-3]。

1)精確值描述標度

精確值描述標度即通過精確的數(shù)值實現(xiàn)對某一評估指標或評估結(jié)論的判定,通過特有模型計算得到結(jié)果。其強烈依賴于采集數(shù)據(jù),專家主觀影響較小,具有描述結(jié)果直觀、量化清晰、便于橫向?qū)Ρ鹊葍?yōu)點,缺點是需要具體的工程計算模型,對某些模糊屬性的評估指標難以實現(xiàn)量化。

為方便實用,通常取x∈[0,100],語義上取值呈正向增長,取值上限100為最理想結(jié)果,取值0為最差結(jié)果。

2)區(qū)間值描述標度

區(qū)間值從概念上是描述一定量數(shù)值的集合體,可以理解為具有模糊屬性的量,主要通過評估專家依托評判標準人為給出。其優(yōu)點是賦予評估專家一定靈活度、有效規(guī)避了人為因素引起的誤差,但區(qū)間寬度的界定是區(qū)間值描述法的關(guān)鍵點。

Q∈[a1,a2],0≤a1≤a2≤100,a1,a2∈R。

3)語言值描述標度

軍事訓(xùn)練效果評估中定性指標評定,需要評估專家結(jié)合數(shù)據(jù)主觀評定,結(jié)論往往是定性的語言描述,如“優(yōu)、良、合格、較差、差”等,其中,每類語言描述標度對應(yīng)相應(yīng)的指標評價標準。語言值描述標度的使用有利于多種評估方法的選擇,如模糊法、灰度法、粗糙熵法等。

4)描述標度統(tǒng)一轉(zhuǎn)化

分析軍事訓(xùn)練效果評估指標體系,涉及指標的度量均涵蓋精確值、區(qū)間值和語言值等,評估指標值類型決定了評估結(jié)論值的類型。由于語言型標度無法直接進行數(shù)學運算,為便于評估模型方法選用,需要將評估描述標度進行規(guī)范化處理。本文提出“語言型標度同區(qū)間型標度轉(zhuǎn)換”實施方法,具體形式如表1。

表1 語言值與區(qū)間值描述標度對應(yīng)關(guān)系

注:精確值標度x表示為:[x,x]。

其中,為增加描述的精確性、減少語言模糊度,將評估技術(shù)中廣泛認可的五類語言標度描述進一步細化(每一類劃分為三個子類),形成最多十五類語言標度描述。同時,為便于運算,設(shè)定具體區(qū)間值。

2 專家可信度量化方法

評估專家對指標進行量化時,把握程度是極為重要的信息,對最終的結(jié)果會產(chǎn)生較大影響,本文“可信度”即為專家給出判斷值的可信度。合理運用專家可信度能夠最大限度降低訓(xùn)練效果評估工作中的主觀誤差,其量化方法包括主觀判定和客觀判定兩類[4-8]。

1)主觀判定法

評估工作中專家可信度的主觀判定,主要是對各評估專家自身能力指標進行量化分解,并通過綜合計算得到具體值,這種方法實際上也可以理解為將專家作為度量體的評估。一般情況下,專家可信度應(yīng)針對評估任務(wù)聚焦于專業(yè)能力、知識儲備、任職經(jīng)歷、評估經(jīng)驗等四個大方向。專業(yè)能力(ZY):主要涵蓋該專家在作戰(zhàn)指揮、裝備運用等領(lǐng)域具有的專業(yè)地位、獲得的技術(shù)成果等綜合能力。知識儲備(ZS):主要指該專家在軍事訓(xùn)練具體領(lǐng)域的知識儲備水平。任職經(jīng)歷(RZ):主要指該專家在不同單位工作經(jīng)歷。評估經(jīng)驗(JY):主要指該專家在以往類似軍事訓(xùn)練中的評估經(jīng)驗,包括參與評估的次數(shù)、時長、擔任的角色等。

專家可信度主觀判定原始模型為

ΩZ=γ1·FZY+γ2·FZS+γ3·FRZ+γ4·FJY

(1)

進行標準化處理后,得到第i個專家的可信度為

(2)

式中，m為專家數(shù)量。

采用主觀判定法計算專家可信度,可在一定程度上使結(jié)果更加科學、實用,但如何設(shè)定專家能力指標以及指標權(quán)重又成為一個難點,本文認為:為便于軍事訓(xùn)練實際應(yīng)用,選取過程中需重點把握整體性、清晰性、指向性等原則。

2)客觀判定法

評估工作中專家可信度的客觀判定,核心是通過評估專家組對單一目標的整體數(shù)據(jù)來計算可信度。當多位專家給出分值數(shù)據(jù)可靠性較高時,通過計算待測專家結(jié)論與專家組結(jié)論平均值的接近度得到目標值。專家i可信度基本計算模型如下:

(3)

式中:j為第j個評價指標,n為評價指標數(shù)。

進行標準化處理后,得到第i個專家的可信度為:

(4)

采用客觀判定法計算專家可信度,無需主觀評判專家能力,消除了二次評估造成的影響誤差。但對專家數(shù)量、專家數(shù)據(jù)的聚合趨勢有一定要求。

3)可信度綜合判定

無論主觀判定法,還是客觀判定法都存在自身優(yōu)勢和不足,專家可信度概念的引入目的是降低干擾誤差,因此,本文認為對兩種方法適當融合、綜合運用為妥。

專家i可信度的綜合判定如下式:

μi=aηi+bβi

(5)

式中:a+b=1。

3 軍事通信訓(xùn)練效能定性評價指標量化技術(shù)

3.1 定性指標經(jīng)典量化方法

定性評估指標值雖無法直接使用數(shù)學模型進行工程化計算,為增強描述結(jié)果的客觀性,可利用一定的數(shù)學理論方法進行處理,這就涉及定型指標量化計算方法[6-12]。

直接賦值法:評估專家組根據(jù)自身專業(yè)知識及觀測情況,對待測對象直接賦值,這里的賦值為具體數(shù)字。該方法雖然理解容易、操作簡單,但對專家來講,由于軍事訓(xùn)練任務(wù)的動態(tài)性和目標值的模糊性,難以保證給出結(jié)論值的可靠程度。

標度對照法:根據(jù)心理學家米勒(G.A.Miller)的試驗結(jié)論,人類對事物進行辨別時,能夠清晰、有效地區(qū)分其等級最優(yōu)在5-9級之間(最多不超過15級)。因此,定性評估指標可量化為9個語言標度等級,同時將每個語言標度等級同固定的數(shù)值建立映射關(guān)系,這樣就實現(xiàn)了評價語言與定性量化值互換,如表2所示。

表2 定性指標典型量化標尺

注:本表采用9標度等級,0和1較為極端一般不采用。

上文給出了評估工作中常用的兩類定性指標量化方法,一般性評估中還有三角模糊數(shù)、梯形模糊數(shù)、定性排序量化等多種方法,這些方法運算背景和量化過程不同,均有各自的優(yōu)缺點[5-6]。

3.2 基于專家可信度與區(qū)間值集結(jié)的定性指標量化方法

評估工作中,不同評估對象具有自身特點,可有針對性地選擇適合的定性指標量化方法。軍事訓(xùn)練效果評估,所選用的定性評估指標具有明確的軍事屬性,特點十分鮮明,其采用的量化方法有別于通用的方案優(yōu)選、模糊排序評判任務(wù)。結(jié)合軍事訓(xùn)練效果評估工作特點,為兼顧定性指標量化的可靠和匯算的便捷,本文將專家可信度模型與專家評價值集結(jié)模型方法相結(jié)合對定性指標進行量化計算,具體步驟如下:

Step1:針對軍事訓(xùn)練評估目標、評價體系指標屬性以及指標理想化標準,詳細劃分定性指標語言描述等級并合理區(qū)分對應(yīng)量化值區(qū)間,從而建立量化分級評價表。其中,該表應(yīng)涵蓋目標的詳細考核要點和評價內(nèi)容,劃分類別數(shù)量適當為好,既不宜過簡造成評判模糊,也不宜超過行為人的可接受思維程度;

Step2:評估專家組成員,參照量化分級評價表給出的語言標度及量化數(shù)值,分別對不同評價指標對象分級打分區(qū)間,得到定性指標初始評價矩陣如下:

(6)

式中，m為參與打分的評估專家數(shù)量;

n為同一類別(隸屬于同一上級評價指標)定性指標數(shù)量;

Step3:進行基于專家評可信度與區(qū)間值集結(jié)的量化值融合:首先計算某一評估專家的可信度并對其進行歸一化計算,然后進行評估專家組評價值(區(qū)間)集結(jié)[4-15],最終得到各定性評價指標的綜合值。

(7)

4 應(yīng)用實例

本文以某部隊某次大規(guī)模軍事訓(xùn)練為例,擬對該部隊參訓(xùn)兵力訓(xùn)練評估定性指標進行量化,具體評價指標包括:內(nèi)容設(shè)置能力、制訂計劃能力、訓(xùn)練控制能力、綜合保障能力和訓(xùn)練總結(jié)能力。

參照定性指標量化分級標準,評估專家組(擬定人數(shù)5名),根據(jù)現(xiàn)場觀測和對采集數(shù)據(jù)的分析,以評價區(qū)間形式對5類評估指標進行具體打分,如表3所示。

表3 特殊情況處置能力評估指標打分表

備注:為同一標準,便于理解和計算,這里假設(shè)評估專家打分區(qū)間均以單位5為跨度,實際工作中區(qū)間跨度可靈活調(diào)整。

根據(jù)上表,得到專家組對5項指標的評價矩陣為

其中,將專家打分區(qū)間跨度格式統(tǒng)一為“[]”形式,以便于運算,不影響具體結(jié)論。

假設(shè)評估組共5位專家,各專家專業(yè)能力(ZY)、知識儲備(ZS)、任職經(jīng)歷(RZ)、評估經(jīng)驗(JY)四項指標打分如表4。

表4 各專家能力量化打分表

假設(shè)各專家子指標主觀評價權(quán)重系數(shù)γ=0.25。計算得到5位專家專家可信度主觀判定值分別約為87、91、88、85、88,歸一化后結(jié)果為0.198、0.207、0.201、0.193、0.201;參照評估指標打分表所列數(shù)值,計算得到5位專家專家可信度客觀判定值分別約為0.98,0.97,0.97,0.95,0.94,歸一化后結(jié)果為0.204,0.202、0.202、0.197、0.195;設(shè)主客觀權(quán)系數(shù)a=b=0.5,則得到各評估專家的可信度綜合值:0.201、0.204、0.202、0.195、0.198，如表5。

表5 專家可信度分值統(tǒng)計表

備注:為便于對比,將計算結(jié)果取值到小數(shù)點后三位。

將5位評估專家可信度與具體評估值進行集結(jié),得到各定性指標具體量化值如下:

Xi=[x1,x2,x3,x4,x5]=(86.545,79.465,74.425,72.450,87.510)

對照表3,將定性指標最終量化值與初始量化區(qū)間比對可以發(fā)現(xiàn),最終值同初始量化區(qū)間值的均值(具體指標各專家、各區(qū)間的算術(shù)平均根)比較接近,見表6。

表6 綜合計算量化值與初始區(qū)間均值比對表

通過分析得到結(jié)論如下:1)提出的定性指標量化方法可靠性較高，表6中兩類算法結(jié)果差異較小原因,一方面為實例中各項權(quán)重參數(shù)都取均值,另一方面專家評價值區(qū)間跨度相同(皆為5),當上述二者之一量值變化明顯時定性指標綜合計算值能夠呈現(xiàn)一定差異;2)該方法能夠?qū)Τ跏冀Y(jié)論進行適當修正,使得結(jié)果更加客觀精確。當量化值區(qū)間、權(quán)重系數(shù)規(guī)范化要求時,運用本方法能夠?qū)υu價結(jié)果進行局域合理化處理,未出現(xiàn)偏離訓(xùn)練效果評估工作整體方向,可對評估最終結(jié)論起到良好支撐。

5 結(jié)束語

定性評價指標制約因素多,不易量化判定,傳統(tǒng)量化取值方法普遍存在客觀性不強、隨機性大、精確度低等特點,嚴重制約了軍事訓(xùn)練效果評估結(jié)論的可靠性。本文以軍事訓(xùn)練效果評估具體任務(wù)為牽引,從專家主觀能動性的科學量化角度出發(fā),對專家可信度主客觀評價技術(shù)充分融合,提出一種基于專家可信度與區(qū)間值集結(jié)的定性指標量化方法,并通過具體實例進行驗證,可為軍事訓(xùn)練效果評估工作提供可靠的基礎(chǔ)支撐。此外,本文提出的方法不僅適用于軍事領(lǐng)域,還可推廣應(yīng)用于民用領(lǐng)域的評估工作中,從而實現(xiàn)理論成果的應(yīng)用效益最大化。