盧俊瑋+陳杰

摘要：利用計算機建立試題庫，實現(xiàn)計算機自動選題組卷，是計算機輔助教學(xué)（Computer Aided Instruction，CAI）的重要組成部分，也是實現(xiàn)考試規(guī)范化、科學(xué)化的重要措施，更是實現(xiàn)教考分離的一個重要手段。但是，計算機的組卷過程是機器行為，試卷質(zhì)量怎樣進行量化和優(yōu)化是必須解決的重要a問題。該文對考試中的自動組卷生成的試卷進行了研究，通過建立相關(guān)的數(shù)學(xué)建模來檢測該試卷的合理性，采用層次分析法對試卷質(zhì)量進行量化評價。從而，使考試更加標準化，客觀、真實、全面地反映教學(xué)的實際效果，有利于促進教學(xué)質(zhì)量的提高。

關(guān)鍵詞：自動組卷；質(zhì)量評價；數(shù)學(xué)建模

中圖分類號：TP301.6 文獻標識碼：A 文章編號：1009-3044（2014）19-4457-03

Research on Test Paper Auto-production of Quality Evaluation Modeling Based on Analytic Hierarchy Process（AHP）

LU Jun-wei， CHEN Jie

（Orient Science & Technology College， Hunan Agricultural University， Changsha 410128， China）

Abstract： An important part of Computer aided instruction to that building database and test paper auto-production. Separation of teaching and testing by scientific and standardized course tests. But test paper auto-production process have an important problem must be solved that how assures quantify and optimization by machine. In this paper， the correctness of detecting on the basis of the math model， and the quality evaluation by analytic hierarchy process. So then make the examination more standardized， objective， authentic， comprehensive to reflect the actual effect of teaching， and promote the improvement of teaching quality.

Key words： test paper auto-production； quality evaluation； math modeling

在教育領(lǐng)域中，考試是整個教學(xué)過程中的重要環(huán)節(jié)，它是對學(xué)生所學(xué)知識和能力的一種評價，也是衡量教師教學(xué)效果優(yōu)劣的一種教育測量手段。隨著計算機科學(xué)的迅速發(fā)展和廣泛應(yīng)用，計算機技術(shù)己進入現(xiàn)代教育領(lǐng)域并形成一門新興的邊緣科學(xué)――計算機輔助教學(xué)。目前，計算機在自動組卷方面的應(yīng)用已經(jīng)十分廣泛了，很多高校已經(jīng)建立了龐大的試題庫，并且采用各種數(shù)學(xué)算法利用計算機完成自動生成試卷和計算機的閱卷工作，不僅能節(jié)省教師的寶貴時間，提高工作效率，而且能消除出卷人主觀意志的影響，尤其是對于客觀題更加方便。但是，自動組成的試卷是否能真實地反映出教師的教學(xué)水平以及學(xué)生對知識技能的掌握程度，需要我們對試卷質(zhì)量進行質(zhì)量評價。

由于在前期的自動組卷過程中，題庫中的信息是預(yù)先設(shè)定的，并不一定能夠客觀地描述該題的屬性，而且對于不同的考核對象，該題目的屬性值會不一樣，這些都要通過計算機自動閱卷，統(tǒng)計之后通過相應(yīng)的模型和算法來評估。這一評估可以反映計算機自動組卷算法的優(yōu)劣，也可以為下一次自動組卷提供借鑒。因此，可以在自動組卷的基礎(chǔ)之上增加一個統(tǒng)計分析模型，讓計算機自動地對結(jié)果進行分析，同時對考試的結(jié)果做出合理的修正。

1 模型建立

測量試卷的主要檢驗指標是：難度、信度、區(qū)分度和覆蓋度。假設(shè)我們考察M份試卷的考試結(jié)果（假設(shè)這M份試卷的結(jié)果符合或近似符合正態(tài)分布），自動生成的試卷由n道題目組成，每道題目的總分為[Ai]，樣本值為[Xj]，各題的實際得分為[Xij（i=1，2，3…n，j=1，2，3…M）]。很容易得出試卷的如下信息：

[Xj=i=1nXij第i道題的平均得分Xi=1Mj=1nXij]

[第i道題的方差Si=1Mj=1n（Xij-Xi）2]

1.1 試卷的難度系數(shù)

題目的難度是衡量題目難易水平的數(shù)量指標，通常以題目的答錯比率Pj 來表示：

[Pi=1-XiAi]

于是，整套試卷的難度系數(shù)為：

[P=1Ni=1nAiPi]

[其中，N=i=1nAi，表示整套試卷的總分。]

1.2 試卷的區(qū)分度

題目的區(qū)分度也叫題目的鑒別力，它是衡量題目對不同水平被測試者的心理特質(zhì)的區(qū)分程度的指標。區(qū)分度的取值范圍于0-1之間，值越大，區(qū)分的效果越佳。一般0.4-0.6 為佳。

我們定義區(qū)分度為該題目的高分組平均得分與低分組平均得分之差在該題目滿分中的比例，由于我們只考慮組卷中的客觀題，故而對于第i道題目的區(qū)分度，

[δi=1MNj=1nXij]

從而，整套試卷的區(qū)分度

[δ=1Ni=1nAiδi]endprint

1.3 試卷的可信度

可信度指測量數(shù)據(jù)和結(jié)論的可靠性程度，它是表明考試質(zhì)量的穩(wěn)定性和可靠性的一個重要指標。信度一般規(guī)定是真分數(shù)的方差在總體方差S （M個學(xué)生總分的方差） 中所占的比例。測量信度系數(shù)的方法較多，這里采用[α]系數(shù)法[1]（該公式由克朗巴赫提出）。

[α=MM-1（1-S1+S2+…+SnS）]

[其中，S表示總分的方差，Si表示第i道題目的方差。]

評測標準：0.9以上：好；0.8-0.9：較好；0.6-0.8：一般；0.6 以下：較差。

1.4 試題的相關(guān)性

反映學(xué)生掌握知識廣度的重要指標，也就是我們常說的試題應(yīng)盡量多的反映該門課的知識點。一般用各題的相關(guān)系數(shù)矩陣表示：

[R=（Rij）n×n]

[其中，Rij表示第i道題目的得分與j得分的相關(guān)關(guān)系。]

[Rij=Xij-XiXij-XjSiSj（i，j=1，2，3…n）]

1.5 試卷的整體評價

在上述的統(tǒng)計的基礎(chǔ)之上，我們對試卷的難度系數(shù)、試卷的區(qū)分度、試卷的可信度、試題的相關(guān)性做了評價，但是對試卷的整體分析并不只是這些基本因素的簡單代數(shù)之和，因為每個因素對整體的影響的比重是不一樣的。為了客觀公正地評價一套試卷，我們采用了一種很重要且十分常用的分析方法——層次分析法[3]。

1.5.1 因素的評分

前面對各個單因素的評價是基于統(tǒng)計與計算得出的結(jié)果，具有很好的直觀比較性。但是對于數(shù)學(xué)模型分析卻很不方便，在不影響對試卷評估結(jié)果的前提下，結(jié)合試卷評價自身的特點，我們對各個因素進行重新評分。

表1 對試卷的難度系數(shù)的評分

[試卷難度系數(shù)＼&0-0.2＼&0.2-0.4＼&0.4-0.5＼&0.5-0.6＼&0.6-0.8＼&0.8-0.9＼&0.9-1＼&評分（滿分為1）＼&0.15＼&0.35＼&0.5＼&0.7＼&0.85＼&0.7＼&0.4＼&]

表2 對試卷的區(qū)分度的評分

[試卷區(qū)分度＼&0-0.2＼&0.2-0.4＼&0.4-0.6＼&0.6-0.8＼&0.8-0.9＼&0.9-1＼&評分（滿分為1）＼&0.1＼&0.45＼&0.8＼&0.85＼&0.9＼&0.95＼&]

表3 對試卷的可信度的評分

[試卷可信度＼&0-0.3＼&0.3-0.5＼&0.5-0.6＼&0.6-0.8＼&0.8-0.9＼&0.9-1＼&評分（滿分為1）＼&0.15＼&0.5＼&0.6＼&0.7＼&0.8＼&0.9＼&]

對于試題的相關(guān)性的評分需要對相關(guān)性矩陣作分析，然后合理評分。不妨假設(shè)對上述四個因素的評分結(jié)果分別為[ω1，，ω2，ω3，ω4。分數(shù)向量為：]

[ω=ω1，，ω2，ω3，ω4]

[四個要素分別用A試卷的難度系數(shù)、B試卷的區(qū)分度、C試卷的可信度、][D（試題的相關(guān)性）表示，]而四個要素在整體中的比重的影響因子分別為3、5、9、2。于是我們考慮到比分矩陣為

[J=33353932539355955999529223252922]

利用迭代法[3]可以求出[J]的權(quán)向量為[α=0.1689，0.2765，0.4983，0.1246T]。

則，試卷的整體評分為

[ω?α=0.1689ω1，+0.2765ω2+0.4983ω3+0.1246ω4]

2 結(jié)束語

上述的對試卷的四個方面的評價，均是在對考試結(jié)果的統(tǒng)計的基礎(chǔ)之上，對數(shù)據(jù)的相應(yīng)計算，并建立模型來評價自動生成的試卷。能夠在一定的程度上反映出自動組卷算法的優(yōu)劣，同時，通過開發(fā)技術(shù)手段實現(xiàn)試題庫中各試題的綜合系數(shù)的自動更新，對今后的組卷過程的優(yōu)化具有很強的指導(dǎo)意義。

參考文獻：

[1] 曾一，冉忠，郭永林.試題庫中自動組卷的算法及試卷測評策略[J].計算機工程與設(shè)計，2006，27（16）：3024-3027.

[2] 魏宗舒.概率論與數(shù)理統(tǒng)計教程[M].北京：高等教育出版社，2008.

[3] 王樹禾.數(shù)學(xué)模型選講[M].北京：科學(xué)教育出版社，2008.endprint

1.3 試卷的可信度

可信度指測量數(shù)據(jù)和結(jié)論的可靠性程度，它是表明考試質(zhì)量的穩(wěn)定性和可靠性的一個重要指標。信度一般規(guī)定是真分數(shù)的方差在總體方差S （M個學(xué)生總分的方差） 中所占的比例。測量信度系數(shù)的方法較多，這里采用[α]系數(shù)法[1]（該公式由克朗巴赫提出）。

[α=MM-1（1-S1+S2+…+SnS）]

[其中，S表示總分的方差，Si表示第i道題目的方差。]

評測標準：0.9以上：好；0.8-0.9：較好；0.6-0.8：一般；0.6 以下：較差。

1.4 試題的相關(guān)性

反映學(xué)生掌握知識廣度的重要指標，也就是我們常說的試題應(yīng)盡量多的反映該門課的知識點。一般用各題的相關(guān)系數(shù)矩陣表示：

[R=（Rij）n×n]

[其中，Rij表示第i道題目的得分與j得分的相關(guān)關(guān)系。]

[Rij=Xij-XiXij-XjSiSj（i，j=1，2，3…n）]

1.5 試卷的整體評價

在上述的統(tǒng)計的基礎(chǔ)之上，我們對試卷的難度系數(shù)、試卷的區(qū)分度、試卷的可信度、試題的相關(guān)性做了評價，但是對試卷的整體分析并不只是這些基本因素的簡單代數(shù)之和，因為每個因素對整體的影響的比重是不一樣的。為了客觀公正地評價一套試卷，我們采用了一種很重要且十分常用的分析方法——層次分析法[3]。

1.5.1 因素的評分

前面對各個單因素的評價是基于統(tǒng)計與計算得出的結(jié)果，具有很好的直觀比較性。但是對于數(shù)學(xué)模型分析卻很不方便，在不影響對試卷評估結(jié)果的前提下，結(jié)合試卷評價自身的特點，我們對各個因素進行重新評分。

表1 對試卷的難度系數(shù)的評分

[試卷難度系數(shù)＼&0-0.2＼&0.2-0.4＼&0.4-0.5＼&0.5-0.6＼&0.6-0.8＼&0.8-0.9＼&0.9-1＼&評分（滿分為1）＼&0.15＼&0.35＼&0.5＼&0.7＼&0.85＼&0.7＼&0.4＼&]

表2 對試卷的區(qū)分度的評分

[試卷區(qū)分度＼&0-0.2＼&0.2-0.4＼&0.4-0.6＼&0.6-0.8＼&0.8-0.9＼&0.9-1＼&評分（滿分為1）＼&0.1＼&0.45＼&0.8＼&0.85＼&0.9＼&0.95＼&]

表3 對試卷的可信度的評分

[試卷可信度＼&0-0.3＼&0.3-0.5＼&0.5-0.6＼&0.6-0.8＼&0.8-0.9＼&0.9-1＼&評分（滿分為1）＼&0.15＼&0.5＼&0.6＼&0.7＼&0.8＼&0.9＼&]

對于試題的相關(guān)性的評分需要對相關(guān)性矩陣作分析，然后合理評分。不妨假設(shè)對上述四個因素的評分結(jié)果分別為[ω1，，ω2，ω3，ω4。分數(shù)向量為：]

[ω=ω1，，ω2，ω3，ω4]

[四個要素分別用A試卷的難度系數(shù)、B試卷的區(qū)分度、C試卷的可信度、][D（試題的相關(guān)性）表示，]而四個要素在整體中的比重的影響因子分別為3、5、9、2。于是我們考慮到比分矩陣為

[J=33353932539355955999529223252922]

利用迭代法[3]可以求出[J]的權(quán)向量為[α=0.1689，0.2765，0.4983，0.1246T]。

則，試卷的整體評分為

[ω?α=0.1689ω1，+0.2765ω2+0.4983ω3+0.1246ω4]

2 結(jié)束語

上述的對試卷的四個方面的評價，均是在對考試結(jié)果的統(tǒng)計的基礎(chǔ)之上，對數(shù)據(jù)的相應(yīng)計算，并建立模型來評價自動生成的試卷。能夠在一定的程度上反映出自動組卷算法的優(yōu)劣，同時，通過開發(fā)技術(shù)手段實現(xiàn)試題庫中各試題的綜合系數(shù)的自動更新，對今后的組卷過程的優(yōu)化具有很強的指導(dǎo)意義。

參考文獻：

[1] 曾一，冉忠，郭永林.試題庫中自動組卷的算法及試卷測評策略[J].計算機工程與設(shè)計，2006，27（16）：3024-3027.

[2] 魏宗舒.概率論與數(shù)理統(tǒng)計教程[M].北京：高等教育出版社，2008.

[3] 王樹禾.數(shù)學(xué)模型選講[M].北京：科學(xué)教育出版社，2008.endprint

1.3 試卷的可信度

可信度指測量數(shù)據(jù)和結(jié)論的可靠性程度，它是表明考試質(zhì)量的穩(wěn)定性和可靠性的一個重要指標。信度一般規(guī)定是真分數(shù)的方差在總體方差S （M個學(xué)生總分的方差） 中所占的比例。測量信度系數(shù)的方法較多，這里采用[α]系數(shù)法[1]（該公式由克朗巴赫提出）。

[α=MM-1（1-S1+S2+…+SnS）]

[其中，S表示總分的方差，Si表示第i道題目的方差。]

評測標準：0.9以上：好；0.8-0.9：較好；0.6-0.8：一般；0.6 以下：較差。

1.4 試題的相關(guān)性

反映學(xué)生掌握知識廣度的重要指標，也就是我們常說的試題應(yīng)盡量多的反映該門課的知識點。一般用各題的相關(guān)系數(shù)矩陣表示：

[R=（Rij）n×n]

[其中，Rij表示第i道題目的得分與j得分的相關(guān)關(guān)系。]

[Rij=Xij-XiXij-XjSiSj（i，j=1，2，3…n）]

1.5 試卷的整體評價

在上述的統(tǒng)計的基礎(chǔ)之上，我們對試卷的難度系數(shù)、試卷的區(qū)分度、試卷的可信度、試題的相關(guān)性做了評價，但是對試卷的整體分析并不只是這些基本因素的簡單代數(shù)之和，因為每個因素對整體的影響的比重是不一樣的。為了客觀公正地評價一套試卷，我們采用了一種很重要且十分常用的分析方法——層次分析法[3]。

1.5.1 因素的評分

前面對各個單因素的評價是基于統(tǒng)計與計算得出的結(jié)果，具有很好的直觀比較性。但是對于數(shù)學(xué)模型分析卻很不方便，在不影響對試卷評估結(jié)果的前提下，結(jié)合試卷評價自身的特點，我們對各個因素進行重新評分。

表1 對試卷的難度系數(shù)的評分

[試卷難度系數(shù)＼&0-0.2＼&0.2-0.4＼&0.4-0.5＼&0.5-0.6＼&0.6-0.8＼&0.8-0.9＼&0.9-1＼&評分（滿分為1）＼&0.15＼&0.35＼&0.5＼&0.7＼&0.85＼&0.7＼&0.4＼&]

表2 對試卷的區(qū)分度的評分

[試卷區(qū)分度＼&0-0.2＼&0.2-0.4＼&0.4-0.6＼&0.6-0.8＼&0.8-0.9＼&0.9-1＼&評分（滿分為1）＼&0.1＼&0.45＼&0.8＼&0.85＼&0.9＼&0.95＼&]

表3 對試卷的可信度的評分

[試卷可信度＼&0-0.3＼&0.3-0.5＼&0.5-0.6＼&0.6-0.8＼&0.8-0.9＼&0.9-1＼&評分（滿分為1）＼&0.15＼&0.5＼&0.6＼&0.7＼&0.8＼&0.9＼&]

對于試題的相關(guān)性的評分需要對相關(guān)性矩陣作分析，然后合理評分。不妨假設(shè)對上述四個因素的評分結(jié)果分別為[ω1，，ω2，ω3，ω4。分數(shù)向量為：]

[ω=ω1，，ω2，ω3，ω4]

[四個要素分別用A試卷的難度系數(shù)、B試卷的區(qū)分度、C試卷的可信度、][D（試題的相關(guān)性）表示，]而四個要素在整體中的比重的影響因子分別為3、5、9、2。于是我們考慮到比分矩陣為

[J=33353932539355955999529223252922]

利用迭代法[3]可以求出[J]的權(quán)向量為[α=0.1689，0.2765，0.4983，0.1246T]。

則，試卷的整體評分為

[ω?α=0.1689ω1，+0.2765ω2+0.4983ω3+0.1246ω4]

2 結(jié)束語

上述的對試卷的四個方面的評價，均是在對考試結(jié)果的統(tǒng)計的基礎(chǔ)之上，對數(shù)據(jù)的相應(yīng)計算，并建立模型來評價自動生成的試卷。能夠在一定的程度上反映出自動組卷算法的優(yōu)劣，同時，通過開發(fā)技術(shù)手段實現(xiàn)試題庫中各試題的綜合系數(shù)的自動更新，對今后的組卷過程的優(yōu)化具有很強的指導(dǎo)意義。

參考文獻：

[1] 曾一，冉忠，郭永林.試題庫中自動組卷的算法及試卷測評策略[J].計算機工程與設(shè)計，2006，27（16）：3024-3027.

[2] 魏宗舒.概率論與數(shù)理統(tǒng)計教程[M].北京：高等教育出版社，2008.

[3] 王樹禾.數(shù)學(xué)模型選講[M].北京：科學(xué)教育出版社，2008.endprint