基于模糊評判的模擬訓(xùn)練效果評估模型

鄭娜娥，趙智昊，任修坤，陳　松

(解放軍信息工程大學(xué)導(dǎo)航與空天目標(biāo)工程學(xué)院，河南 鄭州　450002)

基于模糊評判的模擬訓(xùn)練效果評估模型

鄭娜娥，趙智昊，任修坤，陳松

(解放軍信息工程大學(xué)導(dǎo)航與空天目標(biāo)工程學(xué)院，河南 鄭州450002)

為了更客觀、合理地評估裝備模擬訓(xùn)練效果，本文構(gòu)建了基于模糊評判的模擬訓(xùn)練效果評估模型。首先根據(jù)實際系統(tǒng)情況，構(gòu)建了包含兩級指標(biāo)的評價指標(biāo)體系；其次，將評價指標(biāo)體系分層，并根據(jù)每一層指標(biāo)之間的兩兩相對重要程度，構(gòu)造判斷矩陣；在此基礎(chǔ)上，采用層次分析法計算指標(biāo)權(quán)重，并完成模型的一致性檢驗。模型應(yīng)用結(jié)果表明，該模型可依據(jù)具體的訓(xùn)練目的進(jìn)行訓(xùn)練效果的評估，能夠較客觀真實地反應(yīng)訓(xùn)練情況。

模擬訓(xùn)練；評估模型；模糊評價；層次分析

本文著錄格式：鄭娜娥，趙智昊，任修坤，等. 基于模糊評判的模擬訓(xùn)練效果評估模型[J]. 軟件，2016，37（9）：68-71

0　引言

近年來，裝備模擬訓(xùn)練因可迅速提升操控人員的設(shè)備操作能力和維護(hù)能力，縮短人員訓(xùn)練周期，且不受裝備本身的使用壽命和訓(xùn)練條件約束，不會因操作不當(dāng)對裝備造成損害等諸多優(yōu)勢受到廣泛重視[1][2]。相應(yīng)地，如何科學(xué)、合理地構(gòu)建評估模型，實現(xiàn)對模擬訓(xùn)練效果的快速、有效評估成為研究熱點[3]。

裝備模擬訓(xùn)練通常包括理論學(xué)習(xí)和實踐操作兩大部分。理論學(xué)習(xí)部分目的在于讓操控人員掌握裝備基本情況、基本原理、操作方法以及注意事項等與裝備密切相關(guān)的理論知識，對于這一部分效果的評估，一般采用卷面考核的方式。相比之下，實踐操作效果的評估更為復(fù)雜。一種最直觀、也是目前被普遍采用的方法就是人工評價。人工評價雖能夠有針對性地指出操作過程中存在的各種問題，但這種方法缺乏客觀測度，難以統(tǒng)一評價標(biāo)準(zhǔn)，且效率較為低下?，F(xiàn)代基于計算機(jī)系統(tǒng)的評價多采用綜合評價方法[4][5]。綜合評價指對多屬性體系結(jié)構(gòu)描述的對象系統(tǒng)做出全局性、整體性的評價，其基本思想是評價量化值的加權(quán)平均。對于需要考慮含有多種模糊性因素的模擬訓(xùn)練評估，模糊綜合評價[6]將是有效的方法。

為了得到能夠較客觀、準(zhǔn)確地反映操控人員訓(xùn)練情況的評估結(jié)果，針對現(xiàn)有評估方法的不足，本文從操作準(zhǔn)確度、熟練程度、完成時限、結(jié)果準(zhǔn)確度等四個方面入手，構(gòu)建基于模糊評判的模擬訓(xùn)練效果評估模型，并將其應(yīng)用于某模擬訓(xùn)練系統(tǒng)，獲得了良好的效果。

1　模糊綜合評價一般模型

模糊綜合評價也叫模糊綜合決策，是指考慮多種模糊性因素的影響，依據(jù)一定的目標(biāo)或標(biāo)準(zhǔn)對評價對象做出綜合評價的方法[7]。其具體做法[8]為：首先將模糊信息定量化，即采用一定的方法將各模糊因素進(jìn)行定量描述；其次，建立評語集對各因素進(jìn)行評估，得出評估矩陣；然后，根據(jù)評估矩陣和權(quán)重計算的結(jié)果給出最后的評估結(jié)果。

模糊綜合評價一般模型包含要素為[9]：因素集、權(quán)重、評判集和模糊關(guān)系運(yùn)算，分別定義如下：

2　基于模糊評判的模擬訓(xùn)練效果評估模型

根據(jù)模糊綜合評價一般模型，基于模糊評判的模擬訓(xùn)練效果評估模型涉及評價指標(biāo)體系的建立、權(quán)重的計算、評判集的確定、評估流程和方法等。對于后兩項內(nèi)容，本文采用百分制評判、加權(quán)求和的評估方法。因此，研究重點在于評價指標(biāo)體系的建立以及權(quán)重的確定。

2.1評價指標(biāo)體系的建立

實際中，對裝備的模擬訓(xùn)練有相當(dāng)一部分依托于模擬訓(xùn)練系統(tǒng)或軟件，依靠計算機(jī)完成。為了實現(xiàn)對此類模擬訓(xùn)練效果的客觀、合理評估，本文設(shè)定操作準(zhǔn)確度、熟練程度、完成時限、結(jié)果準(zhǔn)確度這四大評價指標(biāo)，其中操作準(zhǔn)確度通過正確點擊率、操作流程準(zhǔn)確率和專家評判指數(shù)來衡量，熟練程度通過操作時間間隔、判決時間間隔、提交結(jié)果數(shù)量和專家評判指數(shù)來衡量，完成時限由操作總耗時衡量，結(jié)果準(zhǔn)確度由結(jié)果準(zhǔn)確率衡量。評價指標(biāo)體系如圖1所示。

圖1　模擬訓(xùn)練效果評價指標(biāo)體系

在上述評價指標(biāo)體系中，除了專家評判指數(shù)由專家根據(jù)操控人員的操作情況給出，其他指標(biāo)均由計算機(jī)測定、計算以及記錄。該指標(biāo)體系用于訓(xùn)練效果評估，相比人工評價，顯然能夠大大提高評估結(jié)果的客觀性。

2.2權(quán)重的計算

評價指標(biāo)的權(quán)重反映了指標(biāo)對評估過程的影響高低以及指標(biāo)之間相對的重要程度，是多指標(biāo)綜合評價的關(guān)鍵。常用權(quán)重計算方法有經(jīng)驗評定法[10]、比較加權(quán)法[11]和層次分析（AHP，Analytic Hierarchy Process）法[12]等。其中，AHP法是一種能夠?qū)Χㄐ詥栴}進(jìn)行定量分析的多準(zhǔn)則決策方法，其能夠?qū)⒅骺陀^判斷有效結(jié)合，通過劃分層次，將復(fù)雜問題的各種因素條理化，進(jìn)而對每一相同層次指標(biāo)的兩兩相對重要性進(jìn)行定量描述。本文采用AHP法計算權(quán)重，流程如圖2所示。

圖2　權(quán)重計算方法流程圖

圖2中的判斷矩陣是表征各層次每個指標(biāo)兩兩相對重要程度的矩陣，構(gòu)造方法為：將同屬一層的各指標(biāo)進(jìn)行兩兩比較，得到相對重要程度并用數(shù)值表示，寫成矩陣的形式。

將上一節(jié)給出的評價指標(biāo)體系分層，一、二級指標(biāo)分別對應(yīng)第一、二層，如表1所示。

本文模型中一、二層指標(biāo)對應(yīng)的判斷矩陣分別由表1所示各指標(biāo)兩兩比較的數(shù)值結(jié)果構(gòu)成，其中，屬于不同一級指標(biāo)的二級指標(biāo)各自形成判斷矩陣。

表1　評價指標(biāo)體系的分層表示

2）矩陣元素ija由代表標(biāo)度的數(shù)字1~9或者它們的倒數(shù)組成，各標(biāo)度對應(yīng)的含義如表2所示。

表2　判斷矩陣的標(biāo)度及其含義

假設(shè)A是表1中一層指標(biāo)的判斷矩陣，OA，SA，分別表示分屬于四個不同一層指標(biāo)的二層指標(biāo)的判斷矩陣，顯然權(quán)重計算方法具體如下：

Step 1：結(jié)合實際情況下表1中各指標(biāo)的相對重要程度，對照表2分別構(gòu)造出判斷矩陣A，OA，SA；

Step 2：分別計算A，OA，SA的特征值和特征向量，并分別找出其中的最大特征值maxλ及其對應(yīng)特征向量；

Step 3：將所得特征向量分別進(jìn)行歸一化處理，即得第一層指標(biāo)的單層權(quán)重向量W，以及第二層指標(biāo)的單層權(quán)重向量WO，WS，分別表示為：

Step 4：根據(jù)式（5）和（6）計算模型的一致性指標(biāo)CI值和一致性比率CR；

表3　平均隨機(jī)一致性指標(biāo).RI[13]

其中表示判斷矩陣的維數(shù)，RI的取值見表3。

Step 6：將第二層指標(biāo)的單層權(quán)重與所屬第一層指標(biāo)的單層權(quán)重相乘，結(jié)果即為第二層各指標(biāo)的組合權(quán)重。

3　模型應(yīng)用

依據(jù)上述模型，設(shè)計并開發(fā)了某裝備模擬訓(xùn)練效果評估系統(tǒng)。在應(yīng)用過程中，系統(tǒng)將對專家評定的分?jǐn)?shù)和后臺根據(jù)操控人員的操作情況給出的分?jǐn)?shù)，采用模型中給出的權(quán)重計算方法，進(jìn)行加權(quán)求和，得到操控人員的最終成績。

施訓(xùn)人員事先設(shè)定腳本，在腳本中給出各層指標(biāo)相對的重要程度。比如在一次以考察完成速度為重點的訓(xùn)練中，給定各指標(biāo)的相對重要程度排序為完成時限T（操作總耗時1t）、結(jié)果準(zhǔn)確度R（結(jié)果準(zhǔn)確率1r）、操作準(zhǔn)確度O（操作流程準(zhǔn)確率2o、正確點擊率1o、專家評判指數(shù)3o）、熟練程度S（提交結(jié)果數(shù)量3s、專家評判指數(shù)4s、判決時間間隔2s、操作時間間隔1s）。依據(jù)上一節(jié)給出的權(quán)重計算方法計算權(quán)重，得出結(jié)果如表4所示。

表4　模型應(yīng)用：權(quán)重計算結(jié)果

表4結(jié)果對應(yīng)的三個比率CR分別為0.0438、0.0036、0.0171，均小于0.1，符合要求。

圖3為模型在系統(tǒng)中的應(yīng)用界面，四個指標(biāo)中，需要專家輸入分?jǐn)?shù)的是操作準(zhǔn)確度和熟練程度，因為這兩個指標(biāo)中均含有專家評判指數(shù)這一二級指標(biāo)，系統(tǒng)后臺將其和其他客觀性指標(biāo)對應(yīng)分值進(jìn)行加權(quán)求和、四舍五入后，得到最終結(jié)果并輸出。

圖3　模型在系統(tǒng)中的應(yīng)用界面

從應(yīng)用結(jié)果可以看出，本文所給模型可依據(jù)具體的訓(xùn)練目的進(jìn)行訓(xùn)練效果的評估，能夠較客觀真實地反應(yīng)訓(xùn)練情況，因而對于訓(xùn)練效果的提升有較大的積極作用。

4　結(jié)束語

本文構(gòu)建了基于模糊評判的模擬訓(xùn)練效果評估模型，首先建立了包含操作準(zhǔn)確度、熟練程度、完成時限、結(jié)果準(zhǔn)確度等四個一級指標(biāo)在內(nèi)的評價指標(biāo)體系，其次采用層次分析法完成了指標(biāo)權(quán)重的計算，然后將成果在某裝備模擬訓(xùn)練系統(tǒng)進(jìn)行了應(yīng)用，取得了良好的效果。本文模型對于融合主客觀因素的多指標(biāo)評價問題具有較好的借鑒意義，可推廣應(yīng)用于其他以計算機(jī)為平臺的模擬訓(xùn)練系統(tǒng)。

[1] 房施東, 韓雙喜, 楊清文, 等. 基于模型的氣象雷達(dá)數(shù)據(jù)處理訓(xùn)練模擬系統(tǒng)開發(fā)[J]. 軟件, 2014, 35(4): 24-28.

[2] 詹漫漫, 嚴(yán)軍輝, 盧京潮等. 直升機(jī)仿真模擬訓(xùn)練集成系統(tǒng)實現(xiàn)[J]. 計算機(jī)測量與控制, 2012, 20(4): 1079-1081.

[3] 杜紅兵, 張慶慶. 民航機(jī)組資源管理訓(xùn)練效果評估模型[J].解放軍理工大學(xué)學(xué)報(自然科學(xué)版), 2016, 17(3): 246-250.

[4] 王淼, 常乃超, 劉金波等. 狀態(tài)估計多指標(biāo)綜合評價方法[J]. 電力系統(tǒng)自動化, 2015, 39(1): 94-98.

[5] 趙黛巖, 孫劍偉. 星地時間同步任務(wù)規(guī)劃綜合評價技術(shù)研究[J]. 軟件, 2014, 35(1): 60-64.

[6] 謝晉. 模糊算法在高校教師評價系統(tǒng)中的應(yīng)用研究[J]. 軟件, 2015, 36(8): 22-24.

[7] 諸克軍. 張新蘭. 肖荔瑾. Fuzzy AHP方法及應(yīng)用[J]. 系統(tǒng)工程理論與實踐. 1997. (12): 64-69.

[8] 范麗敏, 馮登國, 周永彬. 基于模糊評價的分組密碼隨機(jī)性評估模型[J]. 計算機(jī)研究與發(fā)展, 2008, 45(12): 2095- 2101.

[9] 曹謝東. 模糊信息處理及應(yīng)用[M]. 北京: 科學(xué)出版社, 2003.

[10] 毛和瑞, 蕭元星. 基于層次分析的決策支持系統(tǒng)[J]. 系統(tǒng)工程與電子技術(shù), 1996, (7): 15-20.

[11] 張闡軍, 楊明忠, 郭順生. 柔性企業(yè)信息化評價系統(tǒng)的設(shè)計與應(yīng)用[J]. 計算機(jī)集成制造系統(tǒng), 2007, 13(5): 978-983.

[12] 吳春雷, 剛旭, 黃卓婭. 基于層次分析的評價權(quán)值計算模型研究與應(yīng)用[J]. 微型電腦應(yīng)用, 2012, 28(4): 28-31.

[13] Nahmias S. Fuzzy variables [J]. Fuzzy Sets and Systems, 1978, 28(1): 97-110.

A Fuzzy-Based Effect Evaluation Model for Training Simulation

ZHENG Na-e, ZHAO Zhi-hao, Ren Xiu-kun, CHEN Song
(Institute of Navigation and Space Target Engineering, The PLA Information Engineering University, Zhengzhou 450002, China)

In order to evaluate the effect of equipment training objectively and reasonably, a fuzzy-based effect evaluation model for training simulation is given in this paper. Firstly, an evaluation index system including two level indexes is proposed according to the fact. Then, it is divided into different hierarchies, and judgment matrices are formed base on the relative importance between indexes in the same hierarchy. Thirdly, the index weight can be calculated by analytic hierarchy process (AHP) and the consistency check of the model is completed. Application result indicates that the model can evaluate the effect of training simulation according to different training goal objectively and reasonably.

Training simulation; Evaluation model; Fuzzy evaluation; Analytic hierarchy process

TP309

A

10.3969/j.issn.1003-6970.2016.09.016