高校課程機(jī)考改革的信效度研究
——以會計電算化課程為例

（武漢工程大學(xué)管理學(xué)院湖北武漢430205）

近年來，隨著高?？荚嚫母锏耐七M(jìn)，傳統(tǒng)的筆試模式由于在考查學(xué)生應(yīng)用能力方面存在局限性，逐漸受到師生詬病。機(jī)考作為一種與時俱進(jìn)的考試模式在越來越多的高校中受到青睞，主要應(yīng)用于高校英語考試和部分專業(yè)課考試。這種考試形式以自動組卷、自動閱卷、無紙化為特征實(shí)現(xiàn)教考分離，在很大程度上保證了考試的公平有效，減少了舞弊行為，且節(jié)省人力物力，綠色環(huán)保。作為會計學(xué)科專業(yè)課程的會計電算化課程強(qiáng)調(diào)的是學(xué)生對財務(wù)軟件的應(yīng)用能力，對該課程的考試形式進(jìn)行改革已迫在眉睫。信度與效度是衡量一項(xiàng)考試最重要的指標(biāo)，對信度與效度進(jìn)行評估是推出機(jī)考這種新型考試形式首先需要關(guān)注的問題。

一、研究設(shè)計與結(jié)果分析

（一）被試對象。會計電算化機(jī)考的被試對象是高校會計專業(yè)學(xué)生。筆者采取整群抽樣的方法，集中抽取了武漢工程大學(xué)某級會計專業(yè)的學(xué)生共142人，其中男生21人，女生121人。由于會計專業(yè)女生居多，該測試及調(diào)查結(jié)果具有普遍性，能夠代表會計專業(yè)學(xué)生對會計電算化課程機(jī)考改革的認(rèn)知，故以下研究不對測試成績做性別差異檢驗(yàn)。

（二）數(shù)據(jù)收集。會計電算化機(jī)考試題采用的是用友教考平臺考試系統(tǒng)，該系統(tǒng)提供了10套測試題，本次機(jī)考選擇了其中與課程教學(xué)內(nèi)容及大綱相匹配的一套試題對被試對象進(jìn)行測試。試題由四部分構(gòu)成：（1）企業(yè)背景資料；（2）系統(tǒng)初始化；（3）業(yè)務(wù)處理與會計核算；（4）報表編制與財務(wù)指標(biāo)分析。其中第一部分企業(yè)背景資料是為測試提供基礎(chǔ)信息和指定業(yè)務(wù)處理具體規(guī)則，不作為研究內(nèi)容。測試結(jié)束后，通過問卷的形式調(diào)查了被試者對本次機(jī)考的感受與意見。

（三）數(shù)據(jù)結(jié)果與分析。

1.測試難易度分析。本文使用難度系數(shù)L表示難易度，計算公式為：

其中，X：所有測試者平均分，W：試卷總分（100分）。一般來說，計算結(jié)果L＞0.3說明試題略難，L＜0.2說明試題略易，0.2＜L＜0.3說明試題難度適中。根據(jù)所有被試對象的成績計算出的L為0.21，故本次機(jī)考測試難度適中。

2.測試區(qū)分度分析。區(qū)分度可以反映測試對不同受試者水平的鑒別程度，計算公式為：

其中，Xh：高分組平均得分，Xl：低分組平均得分。高分組是指把成績由高到低排序后，前面50%的那一部分；低分組是指后面50%的那一部分。一般來說，D＞0.25說明區(qū)分度較好，D＜0.2說明區(qū)分度較差，D在0.20—0.25之間說明區(qū)分度適中。根據(jù)所有被試對象的成績計算出的D為0.58，說明本次機(jī)考測試有著很高的區(qū)分度。

3.測試的效度分析。美國教育研究協(xié)會制定的“教育與心理測驗(yàn)標(biāo)準(zhǔn)”把效度區(qū)分為三種類型：內(nèi)容效度、結(jié)構(gòu)效度、校標(biāo)關(guān)聯(lián)效度。其中內(nèi)容效度主要適用于成績測驗(yàn)，該測驗(yàn)主要測量被試對象掌握會計電算化知識和技能的程度。通過對比本次機(jī)考的測試題目與課程內(nèi)容范圍發(fā)現(xiàn)，二者具有較高的吻合度，即上文所述考試系統(tǒng)的第2至第4部分測試完整覆蓋了課程教學(xué)大綱內(nèi)容，并能抓取重點(diǎn)經(jīng)濟(jì)業(yè)務(wù)處理和報表編制，說明本次機(jī)考測試具有可靠的內(nèi)容效度。筆者同時收集了上屆考生的筆試成績，計算得到二者的相關(guān)系數(shù)為0.802，即總體上，以筆試成績?yōu)樾?biāo)，本次機(jī)考的校標(biāo)關(guān)聯(lián)效度較好。

4.測試的信度分析。本文在肯定機(jī)考效度的同時，對機(jī)考信度也做了測算。筆者用再測法即用同一組被試對象對同一種測驗(yàn)前后兩次施測的測驗(yàn)得分的相關(guān)系數(shù)表示信度，測算得到的信度系數(shù)為0.83，即該機(jī)考結(jié)果具有較高的一致性、穩(wěn)定性和可靠性。

二、對參加機(jī)考學(xué)生的問卷調(diào)查與分析

測試結(jié)束后，筆者通過紙質(zhì)問卷的形式調(diào)查了被試對象對會計電算化課程采用不同考試形式的偏好以及其他相關(guān)方面的感受與意見。

（一）調(diào)查問卷。針對學(xué)生對機(jī)考形式的感受與建議，由會計專業(yè)本科學(xué)生采用不記名方式回答問卷。本次調(diào)查共發(fā)放問卷142份，收回問卷140份，剔除部分無效問卷，剩余有效問卷136份。部分調(diào)查內(nèi)容見下表：

關(guān)于會計電算化課程考試改革的調(diào)查問卷（部分）

（二）問卷分析。問卷第1項(xiàng)調(diào)查中，認(rèn)為機(jī)考形式合理的占比85%，說明大多數(shù)學(xué)生認(rèn)識到該課程實(shí)踐性較強(qiáng)，認(rèn)可這種考試形式改革；問卷第2項(xiàng)調(diào)查中，認(rèn)為機(jī)考可以減少作弊，提升成績公平度的比例最高，達(dá)到了90%以上，說明學(xué)生對機(jī)考公平度的認(rèn)知較統(tǒng)一；問卷第3項(xiàng)認(rèn)為機(jī)考測試的可信度很高和較高的比例合計為82%，表明學(xué)生對機(jī)考信度的滿意度較高，這與前文測算的信度系數(shù)高，機(jī)考結(jié)果具有較高的一致性、穩(wěn)定性和可靠性的結(jié)論相一致；問卷第4項(xiàng)對于機(jī)考效度的調(diào)查，回答很有效和比較有效的比例為80%，也驗(yàn)證了前文關(guān)于機(jī)考效度高的分析，說明該課程的機(jī)考效度是被學(xué)生所接納的。對于試題難易度的回答比較分散，該項(xiàng)調(diào)查感受主要取決于被試對象個人的學(xué)習(xí)能力和對知識的掌握程度。

三、目前高校推行機(jī)考存在的問題

（一）考務(wù)實(shí)施難度較大。機(jī)考形式對場地、機(jī)房硬件、軟件、網(wǎng)絡(luò)建設(shè)和維護(hù)都提出了較高要求。由于機(jī)房設(shè)備有限，而考生人數(shù)眾多，服務(wù)器端壓力較大，通常會出現(xiàn)試題下載速度緩慢、死機(jī)、試卷無法提交等各種問題。期末進(jìn)行集中大規(guī)模測試有一定難度，若各專業(yè)課程同時開展機(jī)考測試則更難實(shí)現(xiàn)。能否解決網(wǎng)絡(luò)擁堵問題，保證服務(wù)器的正常運(yùn)行，是機(jī)考能否順利開展的先決條件。

（二）題庫建設(shè)是瓶頸。目前各高校采用的機(jī)考軟件大多是外購商品化軟件，試題是隨軟件一同購買或贈送的。因此這些試題已經(jīng)固化統(tǒng)一，不能完全適應(yīng)不同學(xué)校、不同層次、不同學(xué)時和不同教學(xué)計劃的考試需求，缺乏靈活性。

（三）自動評分技術(shù)亟需完善。會計電算化機(jī)考軟件中的一個操作可對應(yīng)一個或者多個評分點(diǎn)，評分點(diǎn)是評分約定中的一個采分點(diǎn)。在一個評分點(diǎn)中可以有多個評判對象，只有多個評判對象都滿足預(yù)定義的結(jié)果時，該評分點(diǎn)才能得分。有時考生正確完成了經(jīng)濟(jì)業(yè)務(wù)處理，但操作過程或步驟與評分系統(tǒng)預(yù)設(shè)置的標(biāo)準(zhǔn)不完全一致，不是所有評判對象都滿足預(yù)定義結(jié)果，此時不能得分，這顯然不符合會計電算化機(jī)考的應(yīng)用初衷，也在一定程度上降低了測評的公正性。

四、結(jié)論與建議

本研究重點(diǎn)關(guān)注的是會計電算化課程機(jī)考的信度、效度、公平度等方面，研究結(jié)果表明：本次機(jī)考難度適中，區(qū)分度較高，具有較好的信度、內(nèi)容效度和校標(biāo)關(guān)聯(lián)效度。雖然這種考試形式改革有其先進(jìn)性和合理性，并且在近年來的考試形式改革中成為主流趨勢，但對存在的問題也不可忽視，本文建議如下：

（一）增強(qiáng)考試實(shí)施的靈活性，降低組織難度。高?？稍O(shè)置專門的考試改革項(xiàng)目，建立激勵機(jī)制并投入專項(xiàng)資金，定期更換硬件設(shè)備和更新軟件，并安排專人維護(hù)，以保障期中、期末的大規(guī)模集中測試需要；亦可采取更靈活的考試安排，即確定若干考試時間，由學(xué)生根據(jù)自身需要預(yù)約，如此可以對考試時間進(jìn)行分散，降低一次考試規(guī)模。

（二）實(shí)行試題差異化，完善自動評分技術(shù)。目前市場上的機(jī)考軟件質(zhì)量良莠不齊，因此可由高校通過市場需求倒逼軟件開發(fā)商提高題庫質(zhì)量和靈活性，開發(fā)可由教師自主編輯、組題、確定分值的試題庫，通過計算機(jī)系統(tǒng)實(shí)現(xiàn)對試題的智能化組織，而不僅僅是提供一套套固化的“成品”試題。甚至可以由教師在服務(wù)器上通過組卷等操作控制使相鄰座位的考生試題差異化，杜絕舞弊以達(dá)到更高的公平性。具有這種題庫制作甚至是二次開發(fā)功能的軟件通常對使用者要求較高，可由軟件銷售方提供售后服務(wù)，對高校教師進(jìn)行培訓(xùn)，使教師掌握題庫制作和完善評分系統(tǒng)的方法，以適應(yīng)不同層次不同學(xué)時的考核要求。