ExamQA的構(gòu)建及其在考試統(tǒng)計(jì)與質(zhì)量分析中的應(yīng)用

姚秋陽+吳發(fā)明+何芋岐+楊建文+聶緒強(qiáng)

摘要：考試統(tǒng)計(jì)和質(zhì)量分析是教學(xué)過程中規(guī)范化管理的不可缺少的環(huán)節(jié)，其分析結(jié)論可為教學(xué)質(zhì)量管理、教學(xué)研究、教學(xué)革新提供依據(jù)。當(dāng)前的考試仍以紙質(zhì)考試形式為主，考試成績的統(tǒng)計(jì)和考試質(zhì)量分析等工作常以人工或輔以Microsoft Excel等辦公軟件進(jìn)行，耗時(shí)費(fèi)力，且錯(cuò)誤率較高。目前相關(guān)開源軟件極其有限。本工作利用Perl語言建立了一款名為ExamQA的工具，可以快速、自動(dòng)化完成成績統(tǒng)計(jì)和考試質(zhì)量分析，為考試管理提供方便節(jié)約時(shí)間。

關(guān)鍵詞：ExamQA；考試統(tǒng)計(jì)；質(zhì)量分析；Perl

中圖分類號(hào)：TP391.1 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）28-0062-03

Abstract： Both of the statistical analysis and quality evaluation of examination results is important work for the management of examination. Their conclusions provide the theoretical basis for teaching evaluation， research and reform. Currently， most of the exam is proceed in paper format. The statistical analysis and quality evaluation for examination is often carried out manually or supported by Microsoft Excel software， which is time-consuming and with high error rate. However， current tools are limited. Here we successfully built a tool named ExamQA in Perl language， by which the job can be done efficiently and auto-rapidly.

Key words： ExamQA； statistical analysis； quality evaluation； Perl

考試統(tǒng)計(jì)和質(zhì)量分析是課程考試、技能考試、執(zhí)業(yè)資格考試等各種考試中的關(guān)鍵環(huán)節(jié)，相關(guān)分析結(jié)論可為教學(xué)質(zhì)量管理、教學(xué)革新、知識(shí)技能評(píng)估、選拔人才提供理論依據(jù)。尤其是在高等學(xué)校、中學(xué)等日常教學(xué)管理中，考試統(tǒng)計(jì)和質(zhì)量分析是教學(xué)過程的規(guī)范化管理中不可缺少的環(huán)節(jié)。當(dāng)前的考試仍以紙質(zhì)考試形式為主，考試的成績統(tǒng)計(jì)和考試質(zhì)量分析等工作常以人工統(tǒng)計(jì)或輔以Microsoft Excel進(jìn)行，因而耗時(shí)費(fèi)力，且錯(cuò)誤率較高。隨著科技發(fā)展，網(wǎng)絡(luò)考試也開始得到應(yīng)用。網(wǎng)絡(luò)考試方便快捷，但是也存在一些問題，如服務(wù)器或網(wǎng)路不穩(wěn)定、停電、學(xué)生操作失誤、空間或計(jì)算機(jī)數(shù)量不足等因素難以大規(guī)模應(yīng)用。網(wǎng)絡(luò)考試無需改卷，相關(guān)成績統(tǒng)計(jì)可自動(dòng)化完成，但是網(wǎng)絡(luò)考試系統(tǒng)也缺乏系統(tǒng)化、個(gè)性化的考試質(zhì)量分析。目前，很少有開源、免費(fèi)的軟件為考試統(tǒng)計(jì)和質(zhì)量分析提供一站式分析服務(wù)。本工作建立利用“實(shí)用報(bào)表提取語言”（Practical Extraction and Report Language，Perl）建立了一款ExamQA（Quality Analysis for Examination）工具，可以快速自動(dòng)完成成績統(tǒng)計(jì)和考試質(zhì)量分析，能對(duì)每一道試題、每一份試卷、每一個(gè)班級(jí)的總體質(zhì)量做出科學(xué)的分析和評(píng)價(jià)。

1 材料與方法

1.1 ExamQA的下載與要求

計(jì)算機(jī)語言：Perl。

使用環(huán)境：windows和linux均可。

其它要求：Statistics：：Descriptive，POSIX為perl模塊；Txt和Microsoft Excell常用辦公軟件作為輔助。

下載地址：ExamQA工具包及其使用詳細(xì)說明可在遵義醫(yī)學(xué)院藥學(xué)院生藥學(xué)教研室網(wǎng)站下載http：//yxy.zmc.edu.cn/info/10298/87202.htm。

1.2 數(shù)據(jù)案例

本文以《藥用植物學(xué)與生藥學(xué)》課程的考試成績數(shù)據(jù)為例對(duì)ExamQA的使用和功能進(jìn)行示范和說明，相關(guān)數(shù)據(jù)可以隨該軟件一同下載。

1.3 考試統(tǒng)計(jì)和質(zhì)量分析的理論方案

使用ExamQA完成考試統(tǒng)計(jì)和質(zhì)量分析的主要項(xiàng)目包括：（1）常規(guī)的成績統(tǒng)計(jì)；（2）試卷的信度；（3）試題和試卷的難度；（4）試題的區(qū)分度。

常規(guī)的成績統(tǒng)計(jì)：使用Perl語言可快速統(tǒng)計(jì)出考試的基本信息，如試卷題目數(shù)量（大題、小題分別列出），考生信息（應(yīng)到人數(shù)、實(shí)到人數(shù)、缺考人數(shù)）、平均分、標(biāo)準(zhǔn)差、最高分、最低分、及格人數(shù)、不及格人數(shù)，及格率，優(yōu)秀率，名次，成績分布（10個(gè)分?jǐn)?shù)段）。要完成成績統(tǒng)計(jì)需要將每一小題的原始數(shù)據(jù)按照一定格式進(jìn)行組織（如表1），可先將原始數(shù)據(jù)輸入Microsoft Excell文檔，再復(fù)制到txt文檔作為輸入文檔。

質(zhì)量分析之難度（Difficulty）：難度指應(yīng)試者解答試題的難易程度，為避免主客觀試題計(jì)算難度的差異，常采用答錯(cuò)率或正確率來度量[1-2]。ExamQA使用答錯(cuò)率進(jìn)行衡量，可在整份試卷、各個(gè)大題、每個(gè)小題三個(gè)不同水平提供難度分析。某一題的難度Pi =1 — xi/w，Pi 為難度系數(shù)；xi 為考生在某試題的平均得分；w為某試題的分值（即滿分）。整份試卷平均難度的計(jì)算公式；P=1 — X/W，其中，P為整份試卷的平均難度，W為試卷的滿分，X為所有考生卷面成績的平均得分。難度可根據(jù)相應(yīng)的閾值將難度分為多個(gè)等級(jí)，按照課程考試標(biāo)準(zhǔn)，本文使用的標(biāo)準(zhǔn)為：P>0.7為超難，0.4

質(zhì)量分析之信度（reliability）：信度指試卷的一致性程度，是用來衡量考試質(zhì)量的穩(wěn)定性和可靠性的一個(gè)重要指標(biāo)。信度的計(jì)算方法很多，對(duì)于教學(xué)考試或測(cè)驗(yàn)，分半法（split half reliability）最為常用。ExamQA將試卷每一大題都按奇偶題號(hào)把試題分為兩部分（如某一大題有5道小題，則將最后一題的分值分為2份），計(jì)算每個(gè)考生在兩半試題中的總分?jǐn)?shù)，然后利用皮爾森積差相關(guān)方程（Pearsons product moment correlation）求出這兩半試題得分的相關(guān)系數(shù)rho，再用斯皮爾曼-布朗公式（Spearman-Brown prediction formula）校正，即得整個(gè)試卷的信度系數(shù)。

質(zhì)量分析之區(qū)分度（discrimination）：區(qū)分度指試卷測(cè)驗(yàn)項(xiàng)目對(duì)考生實(shí)際水平的區(qū)分程度或鑒別能力。對(duì)于一般教學(xué)測(cè)驗(yàn)或科目考試而言，就是所出的試卷能否將不同層次的學(xué)生成績拉開檔次，能否鑒別學(xué)生的理論和技能水平差異。ExamQA采用極端分組方法計(jì)算區(qū)分度，即將考生成績按總分高低排序后從高、低兩端各抽取27%的人數(shù)組成高分組、低分組，用以下公式計(jì)算兩組間區(qū)分度。本文將區(qū)分度根據(jù)下列標(biāo)準(zhǔn)分為以下等級(jí)：0.4≤D為優(yōu)，0.3≤D<0.4為良，0.2≤D<0.3為合格，D<0.2為差；D≤0為劣。

2 結(jié)果與討論

2.1 ExamQA的實(shí)現(xiàn)與操作

ExamQA工具主要由6個(gè)Perl腳本構(gòu)成，其主要應(yīng)用流程見圖1，各分析項(xiàng)目及其理論基礎(chǔ)見上述方法部分。ExamQA工具利用Perl語言編寫，使用前需要在系統(tǒng)中安裝perl解釋器。該解釋器是開源的，perl程序包及其模塊的安裝都有相關(guān)使用說明，操作十分簡便。ExamQA在linux和windows系統(tǒng)下都可以運(yùn)行，可以廣泛使用。在window系統(tǒng)需要在開始菜單欄中進(jìn)入Dos命令窗口，按照相關(guān)說明運(yùn)行命令即可快速獲得相應(yīng)的分析結(jié)果。按照考試管理規(guī)范，試卷分?jǐn)?shù)統(tǒng)一標(biāo)以正分，除選擇題、是非題外，要求標(biāo)出各小題或各知識(shí)點(diǎn)的得分，因此可以根據(jù)評(píng)卷情況輸入每一小題的得分。ExamQA的原始輸入文件只需要按照表1格式組織便可得到一系列的考試統(tǒng)計(jì)和質(zhì)量分析結(jié)果，操作簡便易行。只要把每一道題的結(jié)果都按照此格式錄入txt文檔作為輸入文件，ExamQA可以應(yīng)用于其它各種形式的考試，包括網(wǎng)絡(luò)考試。

2.2 輸出結(jié)果

1） 卷面分值

表1中的原始輸入文件經(jīng)過ExamQA的運(yùn)行計(jì)算首先自動(dòng)生成表2的結(jié)果。由于紙質(zhì)形式的考試和成績登記上報(bào)都是人工操作過程，根據(jù)筆者經(jīng)驗(yàn)通常有5%左右的錯(cuò)誤率。而表2提供的結(jié)果可以用于進(jìn)行卷面成績核對(duì)，很容易在卷面總分、大題、小題三個(gè)層次發(fā)現(xiàn)人為錯(cuò)誤。該核對(duì)步驟一方面避免考試管理責(zé)任事故的發(fā)生，另一方面也保證了后續(xù)考試統(tǒng)計(jì)與分析的科學(xué)性和有效性。

2） 常規(guī)統(tǒng)計(jì)

常規(guī)統(tǒng)計(jì)項(xiàng)目主要包括試卷題目數(shù)量（大題、小題分別列出），考生信息（應(yīng)到人數(shù)、實(shí)到人數(shù)、缺考人數(shù)）、平均分、標(biāo)準(zhǔn)差、最高分、最低分、及格人數(shù)、不及格人數(shù)，及格率，優(yōu)秀率，名次，成績分布（10個(gè)分?jǐn)?shù)段）。這些統(tǒng)計(jì)項(xiàng)目主要用于個(gè)人、班級(jí)、學(xué)校水平的比較，以便于不同層次的主體發(fā)現(xiàn)自身在知識(shí)技能的差距和不足。

3） 考試信度、難度、區(qū)分度

試卷的質(zhì)量常用信度、難度、區(qū)分度和效度四個(gè)指標(biāo)進(jìn)行評(píng)估。由于效度常使用邏輯分析法進(jìn)行定性分析，目前對(duì)其進(jìn)行定量分析仍不完善[2]，因此ExamQA暫時(shí)不提供效度的分析。信度指標(biāo)表示考試的整體水平上的穩(wěn)定性和一致性，ExamQA使用分半法進(jìn)行計(jì)算。該步驟的皮爾森積差相關(guān)法運(yùn)算是最難實(shí)現(xiàn)的步驟之一，這一步驟的結(jié)果得到了第三方軟件R軟件cor.test（a，b，method="pearson"的驗(yàn)證。ExamQA可在整份試卷、各大題、各小題三個(gè)層次上提供難度、區(qū)分度分析。由于每一小題可看作是試卷組成的最小組成單位，這樣ExamQA可將質(zhì)量分析具體至試卷的最小元素，可以評(píng)估每個(gè)試題的出題質(zhì)量和教學(xué)效果。當(dāng)前，大多數(shù)學(xué)?；蚪萄惺叶挤e極開展試題庫建設(shè)，ExamQA提供的難度、區(qū)分度信息可以大大擴(kuò)展試題庫的功能。例如，一方面，可將已使用過的試題的難度、區(qū)分度納入試題的選入標(biāo)準(zhǔn)，利用難度合適、區(qū)分度好的題目建立某一科目的試題核心數(shù)據(jù)庫；另一方面，在命題過程中利用試題庫的難度、區(qū)分度信息抽取合適的題目進(jìn)行命題，這樣可以根據(jù)情況需要隨時(shí)調(diào)整考試難易程度，保證考試的有效性和穩(wěn)定性。

4） 高難度、低區(qū)分度題目的篩選

ExamQA可依據(jù)特定標(biāo)準(zhǔn)篩選出高難度和低區(qū)分度的題目：超難等級(jí)的題，P>0.7；區(qū)分度差等的題為D<0.2；區(qū)分度劣等的題為D≤0。根據(jù)分析，高難度和低區(qū)分度的試題通常有兩大原因：一是題目出現(xiàn)錯(cuò)漏，需要修改；二是老師在教學(xué)過程中對(duì)相關(guān)知識(shí)點(diǎn)沒有講解到位，或?qū)W生未充分理解掌握；三是題目超綱，學(xué)生答題純屬猜測(cè)。以ExamQA附帶的案例數(shù)據(jù)集為例，第4.1題為“名詞解釋—單身復(fù)葉”，該題難度值為0.814，區(qū)分度為0.11，對(duì)本次考生而言為超難、差等區(qū)分度的題目。進(jìn)一步分析其中原因我們認(rèn)為：題目本身沒有問題，課本有相關(guān)內(nèi)容，只是屬于了解內(nèi)容；對(duì)于大部分學(xué)生都答錯(cuò)，說明學(xué)生尚未理解和重視該知識(shí)點(diǎn)。這些分析幫助指導(dǎo)教師在下學(xué)期的教學(xué)過程中注意加強(qiáng)該知識(shí)點(diǎn)的講授。

2.3 優(yōu)缺點(diǎn)

目前有報(bào)道的考試分析系統(tǒng)有基于數(shù)據(jù)庫式[3]、Microsoft Excel[2][4]、Internet的軟件[5]以及一款名為Examanls軟件[6]。這些軟件都并未完全公開或無法自由下載，與它們相比，ExamQA工具最大的優(yōu)勢(shì)是完全公開并免費(fèi)下載使用。其次，在其他方面ExamQA也有較強(qiáng)的優(yōu)勢(shì)，可以高通量、快速、自動(dòng)化完成成績統(tǒng)計(jì)和考試質(zhì)量分析。輸入原始文件后，ExamQA可在3秒內(nèi)獲得全部結(jié)果。需要說明的是，ExamQA的原始輸入文件需要按照表1格式每一試題的分?jǐn)?shù)，該步驟較為耗時(shí)，以附帶的數(shù)據(jù)為例（考試人數(shù)為70人，試題總數(shù)為54小題），當(dāng)2人進(jìn)行配合輸入時(shí)，需要1.5小時(shí)。相比較而言，ExamQA仍然比有Microsoft Excell輔助的統(tǒng)計(jì)分析要方便快捷多倍。此外，ExamQA利用Perl語言編制，由于編程語言的特點(diǎn)，目前尚不能直接形成可視化的圖形結(jié)果。但是ExamQA提供的數(shù)據(jù)可以通過其它軟件如Microsoft Excel，R等進(jìn)行圖形化。endprint

隨著網(wǎng)絡(luò)技術(shù)、數(shù)據(jù)庫技術(shù)等的發(fā)展，近十多年無紙化網(wǎng)絡(luò)考試興起。值得一提的是，雖然基于Microsoft Visual Basic[7]，ASP.NET[7-8]、Java EE[9]等技術(shù)的網(wǎng)上考試系統(tǒng)被陸續(xù)報(bào)道，但是這些系統(tǒng)都側(cè)重于考試過程本身，如利用試題庫自動(dòng)組卷、網(wǎng)上考試、自動(dòng)評(píng)卷、成績查詢等功能，缺乏對(duì)考試數(shù)據(jù)的深入挖掘和考試質(zhì)量評(píng)價(jià)。黃海[10]開發(fā)出了一款基于人工智能可以進(jìn)行考試質(zhì)量評(píng)價(jià)的軟件，進(jìn)一步擴(kuò)展了網(wǎng)上考試系統(tǒng)功能。雖然ExamQA與該人工智能考試系統(tǒng)相比在功能方面沒有其全面，但是ExamQA專注于成績統(tǒng)計(jì)和試卷質(zhì)量評(píng)價(jià)，且輕巧簡便，可以應(yīng)用于包括網(wǎng)絡(luò)考試在內(nèi)的各種形式的考試。

3 結(jié)論

傳統(tǒng)考試分析與總結(jié)常缺少對(duì)試卷質(zhì)量的評(píng)價(jià)。本工作建立利用Perl語言根據(jù)科學(xué)的統(tǒng)計(jì)理論與方法建立了一款名為ExamQA的工具，可以快速、自動(dòng)化完成成績統(tǒng)計(jì)和考試質(zhì)量分析。本工具的相關(guān)分析結(jié)論可為學(xué)生的自主學(xué)習(xí)管理、教師的教學(xué)研究與教學(xué)革新提供理論依據(jù)。除常規(guī)科目考試外，該工具也可以應(yīng)用于資格能力測(cè)試的試題分析、試題庫建設(shè)、網(wǎng)絡(luò)考試分析等。

參考文獻(xiàn)：

[1] Yuan W， Deng C， Zhu H，et al. The Statistical Analysis and Evaluation of Examination Results of Materials Research Methods Course[J]. Creative Education， 2012（ 3）：162-164.

[2] 李東斌，劉發(fā)明，劉于江. 考試質(zhì)量量化分析理論及軟件實(shí)現(xiàn)[J]. 贛南師范學(xué)院學(xué)報(bào)，2003（3）：66-69.

[3] 吳榮梅，李大生. 一種考試分析管理系統(tǒng)計(jì)算機(jī)軟件的開發(fā)[J]. 教學(xué)研究，1998（03）：140-142.

[4] 郭娜，姜鳳良，劉義良，等. 醫(yī)學(xué)院?；贓xcel考試分析系統(tǒng)的設(shè)計(jì)與應(yīng)用[J]. 基礎(chǔ)醫(yī)學(xué)教育，2011（2）：143-146.

[5] 呂慶莉，陳樺. 基于Internet的考試分析評(píng)估系統(tǒng)及成績統(tǒng)計(jì)分析的實(shí)現(xiàn)[J]. 微電子學(xué)與計(jì)算機(jī)，2006（11）：102-108.

[6] 何明高，吳福根. 對(duì)試題和試卷質(zhì)量的分析——考試質(zhì)量分析專用軟件介紹[J]. 教育探索，2001（2）：31-32.

[7] 鄧緋. 無紙化考試系統(tǒng)研究與設(shè)計(jì)[D].成都：西南交通大學(xué)，2005.

[8] 林栩. 基于ASP.NET在線考試系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2013.

[9] 吳清. 在線考試系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].西安：陜西師范大學(xué)，2014.

[10] 王添財(cái). 基于Java EE的在線考試系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].廣州：華南理工大學(xué)，2014.

[11] 黃海. 基于人工智能的考試系統(tǒng)研究與實(shí)現(xiàn)[D].成都：西南交通大學(xué)，2015.endprint