評(píng)閱試卷中教師評(píng)價(jià)體系量化模型研究

李　磊

(滁州學(xué)院 電子與電氣工程學(xué)院，安徽 滁州　239000)

?

評(píng)閱試卷中教師評(píng)價(jià)體系量化模型研究

李磊

(滁州學(xué)院 電子與電氣工程學(xué)院，安徽 滁州239000)

在教師評(píng)價(jià)的基本標(biāo)準(zhǔn)、隨機(jī)性、可靠性、公平性等基礎(chǔ)上，利用Matlab軟件建立灰色關(guān)聯(lián)和數(shù)據(jù)標(biāo)準(zhǔn)化等數(shù)學(xué)模型，實(shí)現(xiàn)試卷的隨機(jī)分發(fā)、任務(wù)單的制作、評(píng)分處理、教學(xué)效果分析等多項(xiàng)任務(wù)。經(jīng)調(diào)試，教師評(píng)價(jià)系統(tǒng)對(duì)試卷評(píng)閱具有較好的效果，有利于社會(huì)公平性、合理性的體現(xiàn)。

試卷評(píng)閱；教師評(píng)價(jià)；灰色關(guān)聯(lián)；標(biāo)準(zhǔn)化；公平性

一、引言

現(xiàn)如今,各種競(jìng)技比賽項(xiàng)目受到學(xué)校重視,吸引了許多大學(xué)生、研究生、甚至中學(xué)生的參與,其中評(píng)卷的公平性自然也被越來越多的人關(guān)注。大部分的評(píng)卷工作是先把試卷編成密號(hào),按照不同的題目分成多個(gè)題組,每一個(gè)題組由若干個(gè)評(píng)委評(píng)閱,評(píng)委對(duì)每份答卷給出等級(jí)分,如果各個(gè)閱卷老師給出分?jǐn)?shù)相差不大,就打出這份試卷的平均分,否則需要討論組討論后達(dá)成一致,這在試卷評(píng)閱中不僅會(huì)增加人力成本,同時(shí)還會(huì)因?yàn)樵u(píng)委意見不同增加時(shí)間成本。因此，對(duì)教師閱卷效果進(jìn)行科學(xué)、客觀地評(píng)價(jià)分析,對(duì)優(yōu)化教學(xué)內(nèi)容,改革教學(xué)方式,把握教學(xué)重點(diǎn),提高教學(xué)質(zhì)量,加大對(duì)考試的管理力度,具有重要意義?，F(xiàn)今對(duì)于試卷的隨機(jī)分發(fā)過程、評(píng)分的預(yù)處理、教師評(píng)閱效果的評(píng)價(jià)等方面的研究尚顯不足,研究一種合適的教師評(píng)價(jià)系統(tǒng)迫在眉睫。[1]

二、教師評(píng)價(jià)系統(tǒng)的理論基礎(chǔ)

(一)灰色系統(tǒng)理論

對(duì)于參考數(shù)列X0有若干個(gè)比對(duì)數(shù)列如，X1,X2,…,Xn,所有比對(duì)數(shù)列與特定參考數(shù)列在每一個(gè)時(shí)刻的關(guān)聯(lián)系數(shù)可以通過下列公式得出:

其中ρ定義為分辨系數(shù),一般取0.5。Δ(min)為二級(jí)最小差,Δ(max)為兩級(jí)最大差。ΔOi(k)是比較數(shù)列X1,X2,…，Xn曲線上的每個(gè)點(diǎn)與參考數(shù)列X0曲線上的每個(gè)點(diǎn)的絕對(duì)差值。

關(guān)聯(lián)系數(shù)[2]即參考數(shù)列和比對(duì)數(shù)列在每個(gè)時(shí)刻所對(duì)應(yīng)的關(guān)聯(lián)程度值,信息量越大,越有利于整體性的比較,若過分離散則不利。因此,為了確定參考數(shù)列與比較數(shù)列間關(guān)聯(lián)程度的量化值[3],可以將每個(gè)時(shí)刻的關(guān)聯(lián)系數(shù)集中為一個(gè)確定值,即:

各因素之間的關(guān)聯(lián)程度,主要是通過關(guān)聯(lián)度的次序和大小進(jìn)行描述。[4]將母序列對(duì)m個(gè)子序列的關(guān)聯(lián)度按大小順序排列,組成相對(duì)于母序列而言各子序列 “優(yōu)劣”關(guān)系的關(guān)聯(lián)序[5],記為{x}。若r0i>r0j,則稱{xi}對(duì)于同一母序列{x0}優(yōu)于{xj}。

(二)數(shù)據(jù)的標(biāo)準(zhǔn)化

數(shù)據(jù)的標(biāo)準(zhǔn)化[6]是將數(shù)據(jù)采用一定的數(shù)學(xué)方法進(jìn)行轉(zhuǎn)換,最終落入到特定的數(shù)學(xué)區(qū)間內(nèi)的方法。通過數(shù)據(jù)標(biāo)準(zhǔn)化將數(shù)據(jù)轉(zhuǎn)化為無量綱的數(shù)值,進(jìn)而去除數(shù)據(jù)的特定限制,以便于對(duì)不同指標(biāo)或量級(jí)能夠進(jìn)行進(jìn)一步的數(shù)學(xué)比對(duì)或加權(quán)處理。其中最典型的方法是Min-max標(biāo)準(zhǔn)化,即將數(shù)據(jù)統(tǒng)一映射到[0,1]區(qū)間上的,也稱其為離差標(biāo)準(zhǔn)化,通過對(duì)原始數(shù)據(jù)進(jìn)行線性變換,使其結(jié)果落到[0,1]區(qū)間上,具體的變換函數(shù)為:

反轉(zhuǎn)換函數(shù)為:

x=x*·(max-min)+min

其中max為樣本數(shù)據(jù)最大值,min為樣本數(shù)據(jù)最小值。

三、評(píng)價(jià)系統(tǒng)設(shè)計(jì)

(一)試卷的隨機(jī)分發(fā)

為了讓每位教師分發(fā)到的試卷隨機(jī)且等可能,我們可以首先將分發(fā)的試卷預(yù)先用一個(gè)1～500的數(shù)字來編號(hào),每一個(gè)編號(hào)對(duì)應(yīng)一份試卷,即為500份試卷對(duì)應(yīng)1～500號(hào),利用matlab對(duì)這500個(gè)數(shù)字進(jìn)行隨機(jī)打亂,由于每份試卷都將有三位教師來評(píng)閱,每個(gè)編號(hào)也就需要重復(fù)3次,總共1500個(gè)編號(hào)。我們可以對(duì)這1500個(gè)數(shù)預(yù)先分組后用計(jì)算機(jī)打亂,然后依次選取75個(gè)數(shù)字。為保證75個(gè)數(shù)字之間不會(huì)有重復(fù),即每位教師分發(fā)的試卷均不同。我們需要對(duì)這1500個(gè)數(shù)用如下的方法進(jìn)行預(yù)先分組。

首先，利用matlab生成一個(gè)500×3的矩陣,其中矩陣中每一列都由1～500這500個(gè)數(shù)組成,并利用matlab將每列打亂。然后按順序依次獲取75個(gè)數(shù)字作為新矩陣的一列,即選取6組后每列將剩余50個(gè)數(shù)字,3列共剩余150個(gè)數(shù)字。最后利用計(jì)算機(jī)對(duì)這150個(gè)數(shù)字進(jìn)行進(jìn)一步的判斷分成兩組。如果其中有重復(fù)次數(shù)為3的數(shù)字,則整個(gè)分組無效,需要重新分組。否則我們可以先將其中有重復(fù)次數(shù)為2的數(shù)字分別放在兩組不同的數(shù)列中,然后將余下的數(shù)字隨機(jī)平均分配到這兩組數(shù)列中,最終構(gòu)建出一個(gè)75×20的新矩陣,且矩陣中每列數(shù)字均不相同,隨機(jī)分布,每個(gè)數(shù)字對(duì)應(yīng)一份試卷,達(dá)到試卷隨機(jī)分發(fā)的目的。具體分組方案設(shè)想如圖1。

圖1　分組方案設(shè)想

為了確保一次分發(fā)的任務(wù)單的均勻性,并在多次分發(fā)中挑選一個(gè)比較好的任務(wù)單提供使用,我們可以利用灰色關(guān)聯(lián)度的方法對(duì)已產(chǎn)生的任務(wù)單進(jìn)行評(píng)估,以每?jī)闪兄兄貜?fù)數(shù)字的頻率作為評(píng)估對(duì)象,重復(fù)的數(shù)字越多說明這兩列數(shù)字的交叉點(diǎn)越多,即分發(fā)任務(wù)單中試卷的交叉次數(shù)越多。如表1中給出的兩列數(shù)字,其中相同的數(shù)字為4和5,即有兩個(gè)相同的數(shù)字,頻數(shù)為2。具體設(shè)想見表1。

表1　由5個(gè)不同的數(shù)字組成的兩列數(shù)

1.任務(wù)單流程圖

利用matlab隨機(jī)生成任務(wù)單,采用灰色關(guān)聯(lián)方法從任務(wù)單中選取最優(yōu)任務(wù)單。具體流程圖見圖2。

圖2　任務(wù)單流程圖

2.調(diào)試結(jié)果

程序設(shè)定的任務(wù)單個(gè)數(shù)不同對(duì)最優(yōu)選取的任務(wù)單具有一定的影響。當(dāng)n=10時(shí),其生成任務(wù)單如圖3所示。

圖3　生成的任務(wù)單與對(duì)應(yīng)的關(guān)聯(lián)度

當(dāng)n=100時(shí),其生成任務(wù)單如圖4所示。

圖4　生成的任務(wù)單與對(duì)應(yīng)的關(guān)聯(lián)度

由圖3和圖4可以看出當(dāng)n=10時(shí),編號(hào)為6的任務(wù)單關(guān)聯(lián)度最大,為0.3243,當(dāng)n=100時(shí),編號(hào)為的66的任務(wù)單關(guān)聯(lián)度最大,為0.3345,分別為最優(yōu)、最合理的任務(wù)單,當(dāng)n取值越大時(shí),可取的任務(wù)單越優(yōu)越合理。

(二)評(píng)分預(yù)處理

全部閱完之后,由于每個(gè)人見到的卷子不同,實(shí)際評(píng)分標(biāo)準(zhǔn)也不完全相同(盡管評(píng)閱前已經(jīng)集體開會(huì)、討論,統(tǒng)一評(píng)卷標(biāo)準(zhǔn)),大家的分?jǐn)?shù)沒有直接的可比性,所以不能簡(jiǎn)單地合成,需要預(yù)處理。比如,可能出現(xiàn)一份試卷的兩位評(píng)閱教師都給出70分的評(píng)價(jià),但是其中一個(gè)70分是評(píng)閱教師1給出的最高分,另一個(gè)則是評(píng)閱教師2給出的最低分,如果唐突地認(rèn)定該試卷得分為70分,顯然有失公允。這就需要設(shè)計(jì)一個(gè)成績(jī)預(yù)處理的算法把教師給出的成績(jī)統(tǒng)一為標(biāo)準(zhǔn)化成績(jī),然后直接合成,使得合成的成績(jī)盡量地公平合理，并且為后面對(duì)教師評(píng)閱效果的評(píng)價(jià)提供方便。

這里利用數(shù)據(jù)標(biāo)準(zhǔn)化方法對(duì)已生成的任務(wù)單(75×20矩陣)分?jǐn)?shù)進(jìn)行標(biāo)準(zhǔn)化,將數(shù)據(jù)通過標(biāo)準(zhǔn)化函數(shù)分別映射到某一個(gè)區(qū)間上。不僅可以保留單個(gè)教師對(duì)所評(píng)閱試卷成績(jī)的原有信息,同時(shí)增加了不同教師對(duì)同一份試卷評(píng)閱成績(jī)的可比性。

1.評(píng)分預(yù)處理流程圖

首先，需要整理出標(biāo)準(zhǔn)化任務(wù)單中對(duì)應(yīng)的試卷成績(jī)以及每份試卷對(duì)應(yīng)的三位教師編號(hào)和該教師所評(píng)閱的成績(jī)。將其作為程序的基礎(chǔ),利用轉(zhuǎn)換函數(shù)將試卷成績(jī)統(tǒng)一縮放到一個(gè)區(qū)間[0,1]上，即生成一個(gè)矩陣變量a,其中對(duì)應(yīng)任務(wù)單中的試卷成績(jī)。生成一個(gè)元胞,每列代表3個(gè)老師的編號(hào)以及所評(píng)得分。利用for循環(huán)來調(diào)用元胞中的數(shù)據(jù)信息,將任務(wù)單中的成績(jī)統(tǒng)一縮放到[0,1]區(qū)間上。每份試卷有三個(gè)成績(jī),將得到的標(biāo)準(zhǔn)化成績(jī)均值后,利用反轉(zhuǎn)換函數(shù)返還到這三個(gè)成績(jī)中,其中最大值、最小值均為同一試卷被不同的三位老師評(píng)閱后的成績(jī),這樣做不僅可以保留不同教師對(duì)同一試卷的評(píng)價(jià)信息,而且還能夠通過標(biāo)準(zhǔn)化返還的成績(jī)對(duì)這三位教師進(jìn)行評(píng)價(jià),即教師評(píng)閱成績(jī)與合成成績(jī)最接近的認(rèn)為對(duì)這份試卷的評(píng)價(jià)準(zhǔn)確度較高。具體流程圖[6]見圖5。

圖5　評(píng)分預(yù)處理流程圖

2.程序運(yùn)行

為簡(jiǎn)化運(yùn)算,我們核準(zhǔn)10份不同的試卷,5位教師進(jìn)行評(píng)閱,教師編號(hào)為① ② ③ ④ ⑤。假設(shè)利用生成的任務(wù)單,最終評(píng)閱成績(jī)記錄如表2和表3所示。

表2　對(duì)應(yīng)任務(wù)單試卷的得分

表3　每份試卷對(duì)應(yīng)的三位教師得分

通過程序可以得到學(xué)生的綜合成績(jī)，見表4。

表4　綜合成績(jī)結(jié)果

(三)教師閱卷效果評(píng)價(jià)

將綜合成績(jī)與每份試卷的分值對(duì)比后，分值較近的那份試卷得分的評(píng)閱老師對(duì)這份試卷的評(píng)閱效果最佳，用數(shù)字累計(jì)方法給該教師累計(jì)一分，以最終累計(jì)得分來評(píng)價(jià)各位教師的評(píng)閱效果。

利用計(jì)數(shù)器對(duì)每份試卷的三位教師進(jìn)行評(píng)價(jià)計(jì)分，最接近的教師加一分,可以得到所有500份試卷，對(duì)應(yīng)的1500份教師評(píng)閱成績(jī)中評(píng)閱準(zhǔn)確度較好的每位教師的分值，這個(gè)分值即綜合包含了教師評(píng)閱質(zhì)量好壞的信息，分值越高說明在這次閱卷工作中該教師對(duì)試卷的評(píng)閱準(zhǔn)確度越高，反之越低。最終可以通過分值來確定以后評(píng)閱試卷該教師所給分值的權(quán)重,或者作為以后邀請(qǐng)?jiān)摻處熂尤腴喚碛?jì)劃的依據(jù)。

1.教師評(píng)閱效果評(píng)價(jià)流程圖

具體流程圖見圖6。

圖6　教師評(píng)閱效果評(píng)價(jià)流程圖

2.調(diào)試結(jié)果

通過程序可以得到計(jì)數(shù)結(jié)果及圖示，如下表5和圖7：

表5　問題三的運(yùn)行結(jié)果

圖7教師編號(hào)與其得分圖

由圖7可以看出編號(hào)為⑤的教師評(píng)閱效果最佳。

四、結(jié)論

該系統(tǒng)采用經(jīng)典測(cè)量理論[7]，從以往的主觀評(píng)判轉(zhuǎn)變?yōu)榻⒁惶卓陀^、公正、有說服力的量化指標(biāo)，對(duì)考試結(jié)果從考生成績(jī)、試題和試卷三方面進(jìn)行全面、科學(xué)的統(tǒng)計(jì)分析。通過灰色關(guān)聯(lián)及標(biāo)準(zhǔn)化方法，利用matlab仿真評(píng)卷過程中試卷分發(fā)、評(píng)卷預(yù)處理、教師評(píng)閱效果評(píng)價(jià)等關(guān)鍵步驟，可以看到該模型將評(píng)價(jià)體系轉(zhuǎn)化到量化模型中，表現(xiàn)出較好的自學(xué)習(xí)特征，樣本越多評(píng)價(jià)體系越精確。這種量化模型應(yīng)用于競(jìng)賽中，能較好地解決評(píng)卷教師資源零散、信息匱乏，教師評(píng)閱水平參差不一所導(dǎo)致的評(píng)卷不公平的問題。

[1]趙廣元.MATLAB與控制系統(tǒng)仿真實(shí)踐[M].北京:航空航天大學(xué)出版社,2009:510-520.

[2]張秀麗,吳陽,胡成明.網(wǎng)上閱卷試卷分發(fā)技術(shù)的實(shí)現(xiàn)[J].沈陽理工大學(xué)學(xué)報(bào),2006,19(5):57-58.

[3]賀滿足.多層面Rasch模型分析寫作測(cè)試中評(píng)卷者的偏差性[J].長(zhǎng)沙鐵道學(xué)院學(xué)報(bào),2011,12(1):171-172.

[4]趙亞慧.潛在語義分析技術(shù)在自動(dòng)評(píng)卷系統(tǒng)中的應(yīng)用[J].延邊大學(xué)學(xué)報(bào)(自然科學(xué)版),2011,37(4):345-348.

[5]俞立平等.綜合評(píng)價(jià)數(shù)據(jù)標(biāo)準(zhǔn)化方法研究[J].中國(guó)科學(xué)技術(shù)信息研究所,2009,53(6):136-139.

[6]陳一明.結(jié)構(gòu)化程序與程序結(jié)構(gòu)化[J].茂名學(xué)院學(xué)報(bào),2008,18(1):41-44.

[7]IBRAHIM D.Engineering Simulation with MATLAB:Improving Teaching and Learning Effectiveness[J]. Procedia Computer Science, 2011, 3(4): 853-858.

[責(zé)任編輯李潛生]

Research on Quantification Model of Teacher Evaluation System in Marking Test Papers

LILei

(School of Electronic Information and Electrical Engineering, Chuzhou University, Chuzhou 239000, China)

After investigation, some basic standards of teacher evaluation including randomness, reliability, fairness and so on are identified, based on these, a mathematical model of gray correlation analysis and data standardization is established by using the Matlab tool. And then many tasks are performed, such as the random distribution of papers, the task list making, scoring handling, teaching effect analysis and so on. Through debugging, the teacher evaluation system has a good effect on marking test papers and embodies the social fairness and rationality.

marking test papers; teacher evaluation; grey correlation; standardization; fairness

2016-03-07

滁州學(xué)院科研項(xiàng)目(項(xiàng)目編號(hào)2014KJ03)。

李磊(1986-)，男，助理實(shí)驗(yàn)師，工學(xué)碩士。研究方向:模式識(shí)別與電子測(cè)量。

TP3

A

1008-6021(2016)03-0124-05