王春林 李鑫陽(yáng) 石宏巖 趙佳美

摘 要：課程評(píng)價(jià)指標(biāo)與畢業(yè)要求達(dá)成度的關(guān)系是專(zhuān)業(yè)評(píng)估的重要指標(biāo)。過(guò)程性評(píng)價(jià)中的主觀因素對(duì)總評(píng)影響較大，不同評(píng)分者之間的評(píng)分信息相互干涉，總分難以反映學(xué)生的綜合素質(zhì)能力。在專(zhuān)業(yè)認(rèn)證背景下，通過(guò)對(duì)畢業(yè)要求指標(biāo)點(diǎn)的細(xì)化分解，運(yùn)用熵值法對(duì)主觀評(píng)分進(jìn)行了二層次的分析，并匯總綜合成績(jī)，得到了客觀賦權(quán)方法，更真實(shí)地反映了學(xué)生的學(xué)習(xí)特點(diǎn)，權(quán)重結(jié)果反映了評(píng)分者對(duì)各指標(biāo)的評(píng)分傾向性，權(quán)重指標(biāo)能夠反映畢業(yè)要求達(dá)成的相關(guān)程度，更有利于進(jìn)行課程教學(xué)目標(biāo)的調(diào)整和持續(xù)改進(jìn)。

關(guān)鍵詞：熵值法；畢業(yè)要求；課程評(píng)價(jià)；過(guò)程化考核

中圖分類(lèi)號(hào)：G642? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：1673-260X（2023）09-0102-05

我國(guó)自20世紀(jì)80年代工程教育專(zhuān)業(yè)認(rèn)證的探索，2013年《華盛頓協(xié)議》（Washington Accord）制定的畢業(yè)要求框架作為專(zhuān)業(yè)認(rèn)證具有實(shí)質(zhì)等效的基本依據(jù)，從教學(xué)目標(biāo)層次對(duì)畢業(yè)要求的“可遵循”“可評(píng)價(jià)”“可落實(shí)”三原則[1]。在評(píng)價(jià)解決復(fù)雜工程問(wèn)題的活動(dòng)中，涉及資源范圍、交互程度、創(chuàng)新程度、社會(huì)和環(huán)境影響、精細(xì)程度等方面，評(píng)價(jià)指標(biāo)具有較強(qiáng)的主觀性，不同評(píng)分者的關(guān)注點(diǎn)差異導(dǎo)致了評(píng)分結(jié)果的巨大差異[2]。為了更科學(xué)合理地進(jìn)行課程主觀評(píng)分部分的教學(xué)評(píng)價(jià)，選取熵值法對(duì)不同評(píng)分者的評(píng)分進(jìn)行客觀賦權(quán)，按照每個(gè)指標(biāo)的信息量進(jìn)行權(quán)重評(píng)估，以求更接近真實(shí)反映學(xué)生學(xué)習(xí)目標(biāo)達(dá)成度，從而更好地為課程教學(xué)的持續(xù)改進(jìn)服務(wù)。

1 過(guò)程化考核中存在的主要問(wèn)題及解決途徑

1.1 信息論在過(guò)程化考核中的研究

過(guò)程化考核，側(cè)重對(duì)復(fù)雜工程問(wèn)題的分析過(guò)程、基本知識(shí)原理的應(yīng)用、數(shù)據(jù)采集分析等廣泛的數(shù)據(jù)作為樣本，以評(píng)分者主觀評(píng)價(jià)作為指標(biāo)的形成性評(píng)價(jià)。為了避免主觀因素對(duì)評(píng)價(jià)結(jié)果的影響，通過(guò)信息論熵值法進(jìn)行權(quán)重賦值以形成相對(duì)客觀的評(píng)分權(quán)重。許多學(xué)者在課堂質(zhì)量、成績(jī)分析、教學(xué)評(píng)價(jià)等方面進(jìn)行了深入研究。王儀等用模糊綜合評(píng)價(jià)分析了對(duì)應(yīng)畢業(yè)要求的教學(xué)環(huán)節(jié)、支撐課程作用[3]；任吉等用德?tīng)柗品ǎ瑯?gòu)建了包含17個(gè)指標(biāo)、2個(gè)評(píng)分層級(jí)的方法論課程課堂質(zhì)量評(píng)價(jià)指標(biāo)體系[4]；李廉等通過(guò)熵值法與平均值法進(jìn)行數(shù)據(jù)對(duì)比，形成正態(tài)分布曲線(xiàn)進(jìn)行評(píng)價(jià)效果分析[5]；張金標(biāo)等以熵值法探討全過(guò)程考核成績(jī)分析的方法[6]；田夏用層次分析法與熵值法結(jié)合進(jìn)行了教學(xué)實(shí)驗(yàn)室評(píng)價(jià)體系的構(gòu)建[7]；陳曉亮將熵權(quán)計(jì)算用于人工智能通識(shí)在線(xiàn)課程的質(zhì)量評(píng)價(jià)[8]。

1.2 熵值法的適用條件

通過(guò)大量的計(jì)算案例，分析熵值法的適用條件：（1）對(duì)成績(jī)權(quán)重?zé)o特別要求，按成績(jī)區(qū)分度進(jìn)行成績(jī)的綜合評(píng)價(jià)，得到相對(duì)客觀的成績(jī)?cè)u(píng)定結(jié)果，更接近于對(duì)數(shù)據(jù)本身的差異化計(jì)算得出的權(quán)重指標(biāo)，是一種相對(duì)客觀的賦權(quán)方法。（2）對(duì)總體分?jǐn)?shù)集中、個(gè)別打分顯著偏離的樣本，對(duì)權(quán)重的設(shè)置有影響，如除1個(gè)零分，其他全為100，這種情況下權(quán)重高、而實(shí)際意義并不大。需要在計(jì)算方法上進(jìn)行改進(jìn)，如用VCM方法進(jìn)行改進(jìn)。（3）權(quán)重設(shè)置的第三位有效數(shù)字無(wú)意義，故計(jì)算過(guò)程可只取到百分位的整數(shù)位，四舍五入。為避免出現(xiàn)0和1，歸一化運(yùn)算均計(jì)算到0.01-0.99。（4）權(quán)重與數(shù)值大小無(wú)關(guān)，僅與屬于的差異性相關(guān)，如果要考慮指標(biāo)差異化比例，需要進(jìn)行再次加權(quán)。

2 面向畢業(yè)要求達(dá)成的考核指標(biāo)設(shè)計(jì)

畢業(yè)要求的達(dá)成情況與課程評(píng)價(jià)緊密聯(lián)系，課程的評(píng)價(jià)要對(duì)畢業(yè)要求形成有力的支撐，因此需要從課程教學(xué)目標(biāo)上體現(xiàn)畢業(yè)要求[9]。以matlab工程應(yīng)用課程為例，該課程目的是使學(xué)生能夠掌握Matlab的基本概念以及主要模塊的流程和功能，熟練的使用Matlab的原理進(jìn)行實(shí)際的問(wèn)題分析和研究，實(shí)現(xiàn)簡(jiǎn)單的仿真及交互設(shè)計(jì)應(yīng)用。課程要求強(qiáng)調(diào)與工程相結(jié)合的研究能力和使用現(xiàn)代工具解決問(wèn)題的能力，兩部分成績(jī)各占50%。其中的研究部分，設(shè)計(jì)了6個(gè)不同的團(tuán)隊(duì)作業(yè)，對(duì)應(yīng)復(fù)雜工程問(wèn)題活動(dòng)的5個(gè)因素進(jìn)行綜合打分；對(duì)現(xiàn)代工具的使用，設(shè)計(jì)平時(shí)的作業(yè)、期中期末兩次習(xí)題進(jìn)行客觀評(píng)價(jià)。本文重點(diǎn)討論綜合打分部分的成績(jī)形成方法。

對(duì)照專(zhuān)業(yè)認(rèn)證、畢業(yè)條件設(shè)置評(píng)分標(biāo)準(zhǔn)項(xiàng)目、權(quán)重，將畢業(yè)要求的指標(biāo)點(diǎn)細(xì)化為可量化評(píng)價(jià)的具體指標(biāo)，形成評(píng)分細(xì)則。其中，平時(shí)成績(jī)的作業(yè)、習(xí)題等兩部分形成學(xué)生自檢、教師集中檢查兩種考核方式，按照循序漸進(jìn)、少量多次組織日常學(xué)習(xí)，典型題目抽檢集中測(cè)評(píng)來(lái)形成班級(jí)學(xué)情的總體把握。自主設(shè)計(jì)部分，形成教師評(píng)價(jià)、學(xué)生自評(píng)、組內(nèi)互評(píng)、組間互評(píng)等四種評(píng)分，是體現(xiàn)學(xué)生查閱資料發(fā)現(xiàn)問(wèn)題、設(shè)計(jì)合理的實(shí)驗(yàn)過(guò)程分析問(wèn)題、綜合運(yùn)用知識(shí)有效解決工程問(wèn)題的綜合性、過(guò)程性評(píng)價(jià)方法。與教學(xué)目標(biāo)對(duì)應(yīng)關(guān)系如表2所示。

3 基于熵值法的課程環(huán)節(jié)評(píng)價(jià)

評(píng)分指標(biāo)按照平均分法和熵值法進(jìn)行了評(píng)分比較，形成了9個(gè)評(píng)分者、每人6個(gè)評(píng)分小項(xiàng)的綜合評(píng)分，進(jìn)一步分析畢業(yè)要求達(dá)成情況[10]，評(píng)分標(biāo)準(zhǔn)如表3所示。

3.1 熵值法的基本原理

熵值法的主要計(jì)算過(guò)程有：數(shù)據(jù)標(biāo)準(zhǔn)化（歸一計(jì)算）、計(jì)算指標(biāo)權(quán)重、計(jì)算指標(biāo)信息熵、確定指標(biāo)權(quán)重、計(jì)算綜合評(píng)分等5個(gè)步驟，計(jì)算流程如圖1所示。

（1）數(shù)據(jù)標(biāo)準(zhǔn)化：

設(shè)成績(jī)?cè)u(píng)價(jià)共n人，參評(píng)學(xué)生m人，將成績(jī)初始化為100分制。

標(biāo)準(zhǔn)化矩陣Y，取值（0，1）區(qū)間，為避免計(jì)算結(jié)果出現(xiàn)0、1數(shù)值，導(dǎo)致信息熵結(jié)果不可用，進(jìn)行指標(biāo)微調(diào)：

在式（1）中，Xi={x1，x2，…，xm}——每個(gè)評(píng)分者的評(píng)分；

Yij——標(biāo)準(zhǔn)化矩陣，或稱(chēng)為歸一化矩陣，即講所有指標(biāo)化為（0，1）的數(shù)據(jù)集，轉(zhuǎn)為無(wú)量綱數(shù)，方便數(shù)據(jù)的比對(duì)和處理。

（2）指標(biāo)權(quán)重計(jì)算：

在式（2）中——pij為無(wú)量綱數(shù)的指標(biāo)權(quán)重。

（3）根據(jù)信息熵的定義，每個(gè)評(píng)分者的信息熵為Ej：

在式（3）中——Ej為指標(biāo)信息熵。

（4）確定指標(biāo)權(quán)重：

在式（4）中——j為基于信息熵的指標(biāo)權(quán)重，1-Ej為信息的效用值，與信息的可用價(jià)值成正比。

（5）計(jì)算每個(gè)方案的綜合評(píng)分：

在式（5）中——Si為加權(quán)評(píng)分分值

3.2 過(guò)程性考核評(píng)價(jià)案例

（1）二級(jí)指標(biāo)及評(píng)分。按照畢業(yè)要求達(dá)成度的5個(gè)相關(guān)指標(biāo)進(jìn)行，選取9人的評(píng)價(jià)小組進(jìn)行綜合打分，9人中包括教師、學(xué)生、實(shí)踐指導(dǎo)、行業(yè)專(zhuān)家等。分值按A、B、C、D、E等五個(gè)梯度打分，分別對(duì)應(yīng)90、80、70、60、50分，用（1）公式進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化，再將標(biāo)準(zhǔn)化的數(shù)據(jù)通過(guò)（2）公式進(jìn)行指標(biāo)權(quán)重的計(jì)算，所得的結(jié)果通過(guò)（3）式進(jìn)行信息熵的計(jì)算，生成表4中Ej信息熵的數(shù)值，再用（4）公式計(jì)算二級(jí)權(quán)重指標(biāo)，公式（5）得到二級(jí)指標(biāo)每個(gè)學(xué)生的評(píng)分值。所列公式進(jìn)行數(shù)據(jù)分析，計(jì)算得出二級(jí)指標(biāo)的各評(píng)分者信息熵，并得到各評(píng)分者的評(píng)分權(quán)重，部分原始評(píng)分及對(duì)應(yīng)權(quán)重計(jì)算結(jié)果如表4所示。

由計(jì)算結(jié)果可以看出，“評(píng)6”的權(quán)重最高、為17.9%，“評(píng)8”的權(quán)重最低、為2.6%。原因是整個(gè)數(shù)據(jù)表的分?jǐn)?shù)梯度，“評(píng)6”的最高分和最低分差值較大，“評(píng)8”的最高、最低分分差最小。即相對(duì)變化程度大的指標(biāo)有較高權(quán)重，從而減小了區(qū)分度低的評(píng)分者在整個(gè)評(píng)分過(guò)程中的權(quán)重，評(píng)分結(jié)果有利于增強(qiáng)分?jǐn)?shù)的區(qū)分度，篩選出學(xué)生的不同學(xué)習(xí)特點(diǎn)。

按此方法分別將五個(gè)相關(guān)指標(biāo)進(jìn)行學(xué)生成績(jī)?cè)u(píng)定，得到五個(gè)指標(biāo)及一個(gè)加分項(xiàng)的評(píng)分匯總表，作為指標(biāo)評(píng)分分析的基礎(chǔ)。

（2）一級(jí)指標(biāo)及評(píng)分。按照描述復(fù)雜工程問(wèn)題的資源范圍、交互程度、創(chuàng)新程度、社會(huì)和環(huán)境影響、精細(xì)程度等5個(gè)指標(biāo)，運(yùn)用熵值法進(jìn)行二次評(píng)分。（1）公式進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化，再將標(biāo)準(zhǔn)化的數(shù)據(jù)通過(guò)（2）公式進(jìn)行指標(biāo)權(quán)重的計(jì)算，所得的結(jié)果通過(guò)（3）式進(jìn)行信息熵的計(jì)算，生成表4中Ej信息熵的數(shù)值，再用（4）公式計(jì)算一級(jí)權(quán)重指標(biāo)，公式（5）得到一級(jí)指標(biāo)每個(gè)學(xué)生的綜合評(píng)分值。相應(yīng)的二級(jí)指標(biāo)部分計(jì)算得分值、對(duì)應(yīng)的信息熵及一級(jí)指標(biāo)的信息熵權(quán)重指標(biāo)見(jiàn)表6。從計(jì)算結(jié)果看，從表8所示匯總指標(biāo)來(lái)看，指標(biāo)2所對(duì)應(yīng)的比例占30.8%，為所有指標(biāo)的最大值，說(shuō)明指標(biāo)2在各評(píng)分者中的比例權(quán)重最高。指標(biāo)4、5其次，指標(biāo)1、3最后，明顯形成了三個(gè)評(píng)分梯度。

3.3 評(píng)價(jià)結(jié)果分析

按熵值法將5個(gè)指標(biāo)、9個(gè)評(píng)分者的評(píng)分進(jìn)行了二次分析，用（5）式得出了不同指標(biāo)的評(píng)分權(quán)重，結(jié)果見(jiàn)表6。分析兩級(jí)指標(biāo)的數(shù)據(jù)特點(diǎn)，可以發(fā)現(xiàn)對(duì)評(píng)分者、評(píng)分指標(biāo)的差異化權(quán)重，對(duì)學(xué)生的總體表現(xiàn)有相對(duì)客觀的評(píng)價(jià)。

（1）二級(jí)指標(biāo)對(duì)應(yīng)評(píng)分者對(duì)不同指標(biāo)的權(quán)重差異。由表6可知，打分者的各項(xiàng)指標(biāo)分配的權(quán)重差異顯著，如評(píng)7在指標(biāo)3中權(quán)重近30%，評(píng)6在指標(biāo)4中權(quán)重1.9%，從中可以相對(duì)客觀的按照打分者的評(píng)價(jià)側(cè)重點(diǎn)基于更客觀的評(píng)價(jià)。且同一打分者，在不同指標(biāo)的評(píng)分權(quán)重不同，客觀上反映了評(píng)分者對(duì)各指標(biāo)的評(píng)分傾向性，更有利于進(jìn)行課程教學(xué)目標(biāo)的調(diào)整和持續(xù)改進(jìn)。

（2）一級(jí)指標(biāo)對(duì)應(yīng)不同指標(biāo)對(duì)綜合成績(jī)的權(quán)重。關(guān)聯(lián)畢業(yè)要求達(dá)成度中的高、中、低三個(gè)指標(biāo)，為人才培養(yǎng)的畢業(yè)要求達(dá)成度確定和評(píng)判提供了相對(duì)客觀的數(shù)據(jù)支持。從本次的評(píng)分指標(biāo)上看，指標(biāo)2是教學(xué)過(guò)程中的高關(guān)注點(diǎn)，即師生更關(guān)注解決問(wèn)題的交互程度，對(duì)應(yīng)形成研究結(jié)論的解決過(guò)程。對(duì)資源范圍、創(chuàng)新程度關(guān)注相對(duì)較低，即未來(lái)可以調(diào)整和改進(jìn)的關(guān)注點(diǎn)。由一級(jí)指標(biāo)的權(quán)重值可以發(fā)現(xiàn)，熵值法有利于輔助教師確定下一步的持續(xù)改進(jìn)方案，鎖定關(guān)鍵指標(biāo)進(jìn)行課程優(yōu)化。

（3）總成績(jī)分布及區(qū)分度。總成績(jī)分布及區(qū)分度對(duì)表7熵值法和表8平均值法形成的學(xué)生成績(jī)比較發(fā)現(xiàn)，總體上二者總評(píng)成績(jī)相近，熵值法的標(biāo)準(zhǔn)差更小，最高分基本一致，最低分變化明顯，總成績(jī)區(qū)分度熵值法相對(duì)較低。平均成績(jī)各分項(xiàng)的平均成績(jī)提高了1-3分，單項(xiàng)指標(biāo)最高分與最低分差異減少了7-9分，總分最高分、最低分影響不大，約為2分。說(shuō)明熵值法的成績(jī)?cè)u(píng)價(jià)降低了評(píng)分的區(qū)分度，學(xué)生間在總成績(jī)上的差異性指標(biāo)降低。體現(xiàn)了錯(cuò)位發(fā)展、特色培養(yǎng)的教學(xué)導(dǎo)向，有利于學(xué)生通過(guò)成績(jī)?cè)u(píng)價(jià)發(fā)現(xiàn)在一門(mén)課程中的不同畢業(yè)要求達(dá)成情況之間的差異，進(jìn)而調(diào)整學(xué)生的個(gè)人規(guī)劃發(fā)展方向。

進(jìn)一步分析兩種評(píng)分的標(biāo)準(zhǔn)差，由圖2可知，熵值法與均值法在班級(jí)總評(píng)分?jǐn)?shù)上基本一致，但在各指標(biāo)的分項(xiàng)評(píng)分中標(biāo)準(zhǔn)差更小，成績(jī)分布更集中，避免了不同評(píng)分者打分過(guò)高或過(guò)低對(duì)總評(píng)成績(jī)的影響。同時(shí)，受動(dòng)態(tài)的指標(biāo)權(quán)重的影響，評(píng)價(jià)成績(jī)更傾向于學(xué)生的綜合素質(zhì)、能力的評(píng)估。

4 小結(jié)

過(guò)程化考核是激發(fā)學(xué)生持續(xù)學(xué)習(xí)能力、促進(jìn)知識(shí)的日常積累、營(yíng)造師生之間教學(xué)相長(zhǎng)的學(xué)習(xí)氛圍、激活課程思政元素的有效手段，而評(píng)價(jià)過(guò)程中，始終存在著主觀性過(guò)強(qiáng)、個(gè)別評(píng)分者的評(píng)分影響過(guò)大的情況，通過(guò)熵值法的成績(jī)?cè)u(píng)價(jià)，把主觀評(píng)分用相對(duì)客觀的方式統(tǒng)一起來(lái)，使得形成性課程評(píng)價(jià)在評(píng)定過(guò)程中更符合學(xué)生的總體水平、體現(xiàn)綜合素質(zhì)能力。同時(shí)將評(píng)分者在評(píng)分過(guò)程中的評(píng)分傾向性客觀的表現(xiàn)出來(lái)，為形成有效的畢業(yè)達(dá)成度指標(biāo)提供參考。

——————————

參考文獻(xiàn)：

〔1〕李志義，趙衛(wèi)兵.我國(guó)工程教育認(rèn)證的最新進(jìn)展[J].高等工程教育研究，2021，39（05）：39-43.

〔2〕李志義.對(duì)畢業(yè)要求及其制定的再認(rèn)識(shí)——工程教育專(zhuān)業(yè)認(rèn)證視角[J].高等工程教育研究，2020， 38（05）：1-10.

〔3〕王儀，朱凱.畢業(yè)要求達(dá)成度模糊綜合評(píng)價(jià)方法研究——以土木工程專(zhuān)業(yè)為例[J].高等建筑教育，2021，30（01）：151-160.

〔4〕任吉，于佳琪.熵權(quán)法在碩士研究生方法論課程質(zhì)量評(píng)價(jià)體系構(gòu)建中的應(yīng)用[J].黑龍江高教研究，2021，39（09）：105-110.

〔5〕李廉，張萬(wàn)紅.高校課程考試成績(jī)正態(tài)分布辨析[J].中國(guó)考試，2021，19（04）：86-93.

〔6〕張金標(biāo)，徐向棋，劉建，等.基于信息理論的高校課程全過(guò)程考核成績(jī)分析方法研究[J].未來(lái)與發(fā)展，2021，45（02）：74-78.

〔7〕田夏.基于層次分析法—熵權(quán)法的教學(xué)實(shí)驗(yàn)室評(píng)價(jià)體系構(gòu)建[J].實(shí)驗(yàn)室研究與探索，2020，39（07）：264-269.

〔8〕陳曉亮.基于熵權(quán)計(jì)算的人工智能通識(shí)在線(xiàn)課程質(zhì)量評(píng)價(jià)[J].計(jì)算機(jī)教育，2020，18（09）：137-140.

〔9〕楊晚生，劉琳，高云飛，等.基于工程認(rèn)證標(biāo)準(zhǔn)要求的課程權(quán)重系數(shù)計(jì)算方法分析[J].高等建筑教育，2021，30（01）：161-166.

〔10〕呂燕，李穎娜，孟麗軍.工程教育認(rèn)證背景下畢業(yè)要求達(dá)成度評(píng)價(jià)實(shí)踐——以唐山學(xué)院化學(xué)工程與工藝專(zhuān)業(yè)為例[J].教育教學(xué)論壇，2021，13（19）：121-124.