馬文俊 黃楠 蔣運承 詹捷宇

摘要：針對當前大學課程的教學評估在對學生綜合成績評估時存在的三個問題：（1）過于強調期末的成績，而忽略了學生的其他評估指標，如學科基礎、進步程度等;（2）無法處理課堂表現(xiàn)缺失或課后作業(yè)和實驗設計的成績的不確定性;（3）缺乏對學生進步程度的評估手段。針對以上問題，面向計算機科學與技術專業(yè)，提出了基于DS/AHP模型的多屬性綜合評估體系，分別從多因素融合、不確定數(shù)據(jù)處理、進步程度的指標衡量三個角度闡述了如何結合多個方面對學生的學習狀態(tài)進行綜合分析，從而達到提高學生學習積極性和合理評估學生的學習狀況的目的。

關鍵詞：學生綜合成績評估;DS/AHP模型;教學評估

中圖分類號：G642.0? ? ?文獻標志碼：A? ? ?文章編號：1674-9324（2019）39-0001-04

如何科學合理地綜合評估學生的學習狀況以激發(fā)學生的學習興趣，實現(xiàn)個性化培養(yǎng)，促進學生的全面發(fā)展，一直以來都是教學實踐的重點。然而，現(xiàn)有的學生綜合成績評估方案，主要是以學生的考試成績?yōu)楹诵模闷骄凕c來評估學生的學習表現(xiàn)。[1]因此，在實際的教學課程中，現(xiàn)有的學生綜合成績評估方案存在如下的問題：（1）過于強調學生的考試成績，沒有從多個方面綜合評估學生的學習能力。（2）在大班教學中，由于學生數(shù)量過多、老師精力有限和實驗設計多人共同完成等原因，部分學生的課堂表現(xiàn)、作業(yè)情況、實驗設計主要依賴老師的主觀判斷，缺乏客觀標準，從而容易導致師生矛盾。（3）缺乏對個體學生基礎條件差異的現(xiàn)實以及學生在學習過程中所付出的努力程度等的有效評估，很難對基礎較差和吸收能力慢的學生起到促進作用。為此，我們將引入DS/AHP模型，給出進步程度的指標衡量方法，利用多準則決策理論對多個評估指標（如學科基礎、進步程度、平時成績、期末成績等）進行綜合分析，構建學生綜合成績評估體系，從而達到全面評估學生學習狀況、增強學生學習效果和推動學生個性化發(fā)展的目標。在本文中，我們以計算機科學與技術專業(yè)的學生綜合成績評估為例，考慮如何構建基于DS/AHP模型的學生綜合成績評估體系。

一、基于教育數(shù)據(jù)的DS/AHP模型構建

DS/AHP方法是Beynon等人[2]利用D-S證據(jù)理論[3]結合進AHP層次分析方法[4]，用于解決不確定信息下的多準則決策問題。具體而言，利用DS/AHP模型，決策者需要做兩組知識判定：各準則的權重和給定準則下決策者對某組抉擇的偏好程度。然后，基于這兩組知識判定，決策者將利用以下步驟對各抉擇進行排序：

確定決策目標，相關準則集合，備選抉擇全集θ和層次分析圖;

對于每一個準則，根據(jù)評估比較，賦予某些抉擇集一個正數(shù)值，即相對排序值;

基于權重判斷賦予各準則相應權重值ω，其中ω∈（0，1];

對于每一個準則，根據(jù)下列公式賦予某一給定抉擇集的mass函數(shù)：

利用Dempster組合規(guī)則去結合每個準則下的mass函數(shù)并獲取最終抉擇評估;其中，對于n個mass函數(shù)結合，其規(guī)則為

當需要決策排序時，可利用可傳遞信度模型（TBM）[5]將mass函數(shù)轉換成pignistic概率（BetP）。其中pignistic概率分布公式如下：

其中，|A|表示抉擇集合A所包含的元素數(shù)量。

根據(jù)DS/AHP模型的相關介紹，我們對當前的學生綜合成績評估體系從以下兩個方面進行優(yōu)化：多因素教學評估及不確定信息處理，進步程度的指標衡量。

二、多因素教學評估及不確定信息處理

在教學中，評價一個學生的綜合成績往往需要結合多個方面的因素考慮。同時，不同因素對其學習狀態(tài)的評估比重亦有所不同。正因如此，我們需要考慮多層次的多因素教學評估，更合理地衡量學生的學習狀態(tài)。

此外，對于某些因素而言，我們并不一定能夠得到每個學生的評估數(shù)據(jù)，這時候，我們需要考慮缺失信息的處理問題。例如，在一個人數(shù)龐大的班級中，課堂表現(xiàn)往往是通過點名和課堂提問相結合，在有限的上課次數(shù)中，老師不可能做到把每個同學的名字點到，更不可能提問到每一個學生。因此，學生的上課表現(xiàn)就存在了部分信息缺失。傳統(tǒng)做法往往結合學生的期末考試或作業(yè)表現(xiàn)權衡學生的課堂表現(xiàn)，然而這幾者并不存在相關性，很可能一個學生期末考得很好，但是平時作業(yè)都不完成，上課表現(xiàn)很差，還缺勤。因此，傳統(tǒng)做法存在很大的主觀性。又例如對于大班教學，由于工作量等原因，對于學生作業(yè)情況不可能每次都仔細分析，對于部分作業(yè)可能僅僅檢查其完成程度，因此，也會存在信息缺失問題。

針對以上兩個問題，利用DS/AHP模型可以很好地解決。這里，以數(shù)據(jù)結構這一門課程作為案例進行說明。

1.顯然，該課程的決策目標是對學生的綜合成績進行排序，相關準則包括課堂表現(xiàn)、作業(yè)情況、學習基礎、進步程度、實驗設計和期末成績，抉擇全集假定為4個學生θ={A，B，C，D}。同時，假定同學A的課堂表現(xiàn)不確定;B的作業(yè)表現(xiàn)不清楚;D的考勤情況有所缺失;B和D的實驗設計是一起做的;C是轉專業(yè)過來的，因此進步程度無法確定。根據(jù)以上信息，可以構建層次分析圖如下所示：

2.對于每一個準則，根據(jù)各抉擇集的表現(xiàn)情況如表1所示（其中，“-”表示數(shù)據(jù)缺失，而對于學習基礎和進步程度的具體評估方法將在第3章節(jié)提及），利用以下公式把賦值映射到標準標度[1，6]區(qū)間上，即相對排序值：

相對排序值=標準標度最低值+（標準標度最高值與標準標度最低值之差）*（給定抉擇表現(xiàn)-最低表現(xiàn)值）/（最高表現(xiàn)值與最低表現(xiàn)值之差） （5）

例如，對于課堂表現(xiàn)中，假定進步程度的最低表現(xiàn)值為1，最高表現(xiàn)值為6，其他各準則最低表現(xiàn)值為60，那么，學生B的相對排序值為1+（6-1）*（75-60）/（100-60）=2.875。同理，可得各準則下各抉擇集的相對排序值如表2所示。

3.基于權重判斷賦予各準則相應權重值ω。顯然，期末考試和實驗設計相對比較重要，同時我們要需要充分考慮學生的平時表現(xiàn)。此外，進步程度在很大程度上反映了學生的學習能力，因此也需要側重考慮。至于考勤情況，則略微考慮。

根據(jù)以上原則，可以賦予各準則權重值如表3所示。這里需要注意的是，區(qū)別于傳統(tǒng)DS/AHP模型，我們允許權重之和不等于1。而這預定是基于以下原因：（1）在DS/AHP模型里，各準則的評估融合是基于Dempster組合規(guī)則，因此，權重之和不等于1并不影響最終結果。（2）權重之和不等于1更有利于數(shù)據(jù)的動態(tài)更新，這意味著新的準則加入并不需要改變原有計算結果。

4.對于每一準則，根據(jù)mass函數(shù)的計算公式可得表4。

5.利用Dempster組合規(guī)則去結合每個準則的mass函數(shù)并獲取最終評估如下所示：

m（{A}）=0.197，m（{B}）=0.189，m（{C}）=0.326，m（{D}）=0.274，

m（{B，D}）=0.009，m（{Θ}）=0.005。

6.利用可傳遞信度模型（TBM）將mass函數(shù)轉換成pignistic概率（BetP）如下所示：

BetP（A）=0.198;BetP（B）=0.195;BetP（C）=0.327;BetP（D）=0.28。

根據(jù)以上模型，可以得出各學生在數(shù)據(jù)結構課程的排名如下所示：

C>D>A>B。

即C在數(shù)據(jù)結構課程中的綜合表現(xiàn)最好，D次之，A再次之，B最差。

顯然，從以上案例分析可以發(fā)現(xiàn)DS/AHP能有效地處理學生評估中所碰到的多因素融合、缺失數(shù)據(jù)處理、共同成績處理等問題。

三、進步程度的指標衡量

在上一章節(jié)的案例分析里，我們提出了一個在當前學生評估系統(tǒng)里很少涉及的因素——進步程度。顯然，同樣的學科成績，對于不同學生而言，其付出的努力程度肯定有差異。就拿計算機專業(yè)來說，城市地區(qū)的學生可能基本在初高中就接觸了編程，而農村的學生可能連電腦的接觸時間也不多。類似的，轉專業(yè)的或者來自教育資源不足地區(qū)的同學有可能在剛接觸新專業(yè)相關課程時要比一般同學更吃力一點，這時候，忽略他們自身的進步程度，很容易導致這些學生產生自我懷疑：“我這么努力了，為什么還學不好？”從而產生厭學情緒。

因此，如果單單考慮考試成績而忽略學生在學習過程中所付出的努力程度和自身學習水平的提高，很難對基礎較差和吸收能力慢的學生起到促進作用。所以，我們建議在學生綜合成績評估里引入進步程度這一指標作為衡量因素之一。在本章節(jié)，我們將給出進步程度的衡量方案。

首先，進步程度的衡量依賴于老師對學生學習基礎的了解。因此，一般而言，對于進步程度衡量可以通過與這門學科對應的子學科，也就是基礎學科的考試成績，進行對照（對于大一的相關課程，我們可以進一步考慮學生的高考相關成績作為推算）。例如，某學生在人工智能學科的進步程度，依賴于它的兩門基礎學科：離散數(shù)學和概率論。顯然，根據(jù)這兩門學科與人工智能基礎相關情況，我們可以設定對應的權重。例如，離散數(shù)學所占權重為0.7，概率論為0.3。類似的，離散數(shù)學和概率論作為人工智能的基礎學科，在教學安排上必然是先于人工智能課程的開設，對于上過的學生而言，易得其在這兩門基礎學科的期末分數(shù)。根據(jù)以上相關因素，我們可以給出進步值的一般公式，如下所示：

例如，A學生離散數(shù)學的期末分數(shù)為80，概率論的期末分數(shù)為70。而人工智能的期末考試為90分，那么根據(jù)上述權重，易得其進步值為■=13。顯然，該進步值的衡量允許部分子學科的期末成績未知。例如，如果某門學科的進步值衡量與某門選修課有關，但某學生沒有選取這門選修課，那么在進步值計算中，該學生的進步值并不會因此而降低。此外，如果所有子學科的期末成績未知，那么，進步值就是缺失的。而這點，顯然也是DS/AHP模型所允許的。另外，我們還需要利用公式（5）把賦值映射到標準標度[1，6]區(qū)間上，獲取進步值的相對排序值。在上述A同學的例子中，假定最高進步值為40，最低進步值為0，可得A學生的進步值的相對排序值為1+（6-1）×（13-0）/（40-0）=2.625，

但是只是用進步值的相對排序值衡量學生的進步程度是不夠的。例如，一名學生從60進步到75分和另一名學生從90分進步到100分，如果只是用進步值的相對排序值來比較，前一名學生進步程度更高。但是高分段的學生進步空間是小于低分段學生的，同時比起低分段，高分段獲取相同數(shù)值所付出的努力是更大的，因此，我們需要根據(jù)高級學科的分數(shù)引入轉換標度的概念，更好地衡量學生的進步程度，即

進步程度=進步值的相對排序值×轉換標度（7）

下面，我們給出一種轉換標度，以更好地衡量學生的進步程度，如下所示：

轉換標度=0.5+max{（分數(shù)-60）/40×0.5，0}（8）

根據(jù)公式（8），我們可以發(fā)現(xiàn)，高級學科考試成績越高，其轉換標度越高，這也有助于進一步鼓勵學生獲取更好的期末考試成績。在上述A同學例子里，人工智能期末考試得90分對應的標度為0.875，因此，A同學的進步程度為2.3。

四、結語

本文針對現(xiàn)有的學生綜合成績評估體系所存在的缺陷：（1）過于強調期末的成績，而忽略了學生的其他評估指標，如學科基礎、進步程度等;（2）無法處理課堂表現(xiàn)缺失、作業(yè)情況和實驗設計的成績不確定性等問題;（3）缺乏對學生進步程度的評估手段，利用DS/AHP模型和新提出的進步程度衡量標準，給出了新的學生綜合成績評估體系。該體系分別從多因素融合、不確定數(shù)據(jù)處理、進步程度的指標衡量三個角度闡述了如何結合多個方面對學生的學習狀態(tài)進行綜合分析，從而達到提高學生學習積極性和合理評估學生的學習狀況的目的。在未來工作中，我們一方面需要關注學生對該體系的使用反饋，記錄該體系下學生的反應和實際的評估效果，并總結經(jīng)驗進一步對該體系進行改善，另一方面對體系所涉及的算法進行優(yōu)化，提高該算法在大規(guī)模的實際應用中的效率。

參考文獻：

[1]劉豐林，曾山，孟三愛，等.大學生綜合素質模糊評價體系研究[J].學校黨建與思想教育，2014，（12）：90-92.

[2]Beynon M，Curry B，Morgan P.The Dempster-Shafer theory of evidence：an alternative approach to multicriteria decision modelling[J].Omega，2000，28（1）：37-50.

[3]Shafer G.A mathematical theory of evidence[M].Princeton University Press，1976.

[4]Saaty，T.L.The Analytical Hierarchy Process[M].McGraw-Hill，1980.

[5]Smets，P.The transferable belief model[J].Artificial Intelligence，1994，66（2）：191-234.

A Student Comprehensive Performance Evaluation System Based on DS/AHP Model

—Taking Consider the Subject of Computer Science as an Example

MA Wen-jun，HUANG Nan，JIANG Yun-cheng，ZHAN Jie-yu

（School of Computer Science，South China Normal University，Guangzhou，Guangdong 510631，China）

Abstract：In this paper，we focused on three issues about the high school student comprehensive performance evaluation that cannot address by the traditional method.（1）They will give too much attention to the final grades，while ignoring other assessment factors of students，such as subject foundation，the effect of hard working，and so on.（2）They cannot handle the situation that the lack of class performance or the uncertainty of the homework scores and experiments design scores.（3）They cannot evaluate the effect of hard working of the students.In order to address these issues，in this paper，by considering the subject of computer science as an example，we propose a multiple attributes comprehensive evaluation system based on DS/AHP mode.In this system，we discuss how to combine different factors to evaluate the students' performance by three aspects.Finally，we show that such system proposed in this paper indeed can improve the student performance in class and give a reasonable way to evaluate the study situation of the students.

Key words：student performance evaluation system;DS/AHP method;teaching evaluation