摘要：隨著計算機技術(shù)和信息技術(shù)的發(fā)展與普及，IT技能計算機輔助評價理論與實踐得到了不斷發(fā)展和深化，在此基礎(chǔ)上實現(xiàn)的計算機輔助評價系統(tǒng)也得到了廣泛的推廣和使用?；诂F(xiàn)有的IT技能計算機輔助評價的理論和實踐，首先分析了國內(nèi)外IT技能計算機輔助評價系統(tǒng)已有的優(yōu)勢和存在的不足，其次對現(xiàn)有的單機版IT技能自動閱卷系統(tǒng)進行改進和完善，最后設(shè)計并開發(fā)了一個IT技能網(wǎng)絡(luò)自動閱卷系統(tǒng)，該系統(tǒng)采用了局域網(wǎng)多臺計算機自動閱卷既提高了自動閱卷系統(tǒng)的準確性和效率，形成良好的反饋信息，又對學(xué)習(xí)者的學(xué)習(xí)提供良好的幫助，有效促進教學(xué)和學(xué)習(xí)。

關(guān)鍵詞：IT技能；計算機輔助評價；網(wǎng)絡(luò)自動閱卷

中圖分類號：TP393 文獻標識碼：A 文章編號：1009-3044（2014）10-2270-03

Abstract： With the development and popularization of information technology， the computer-assisted evaluation theory for IT skills has been developed continuously； computer-assisted assessment systems based on this have also been widely expanded and used. That article first analyzed the advantages and disadvantages of the existing systems at home and abroad， then improved and perfected the stand-alone computer-assisted assessment systems for IT skills，and finally designed and developed a network automatic scoring system for IT skills， the network system improves both the accuracy and the efficiency of the scoring by using multiple computers working in one local area network， can also provide a good feedback and great help for learners.

Key words： IT Skills； Computer-Assisted Assessment； Network Automatic Scoring System

1 概述

隨著信息技術(shù)的日益普及和計算機技術(shù)的不斷發(fā)展，計算機輔助測評CAT（Computer-Assisted Testing）已經(jīng)成為考核并評價被測試者對知識、技能和能力等掌握情況的有效方法和途徑。

IT技能一般是指學(xué)習(xí)者對計算機的信息獲取、處理和發(fā)布的能力，與此相關(guān)的內(nèi)容包括操作系統(tǒng)、文本處理、表格處理、演示文稿制作、圖形圖像處理、動畫制作、數(shù)據(jù)庫應(yīng)用、程序設(shè)計、瀏覽器應(yīng)用以及網(wǎng)頁制作等技能。

計算機輔助評價，即CAA（Computer-Assisted Assessment），是指在評價學(xué)習(xí)者的知識、技能和能力的過程中引入計算機作為工具或手段。[1] 計算機輔助評價引發(fā)了評價內(nèi)容、評價方法和評價形式的深刻變革，在評價過程中以計算機作為評價的手段主要指：

1） 在整個測試的過程中，對操作的過程、步驟、結(jié)果進行記錄；

2） 收集通過計算機的測試數(shù)據(jù)，并對其進行比較和分析；

3） 根據(jù)相關(guān)記錄數(shù)據(jù)，評價測試者的知識、技能，并生成評價報告；

4） 通過計算機網(wǎng)絡(luò)即時或者測試結(jié)束后統(tǒng)計、分析和傳送評價結(jié)果信息。[2]

由于IT技能本身是在計算機上完成相關(guān)操作，因此IT技能計算機輔助評價能夠很好的實現(xiàn)對被測試者的相關(guān)計算機知識、技能和能力的測試和評價。目前全國性的IT技能測試基本都使用計算機輔助評價方式（機考方式）進行，如全國計算機等級考試包括很多科目、多個方面的計算機能力測試，部分省市的中小學(xué)信息技術(shù)等級考試，浙江省信息技術(shù)高考（三項考試、學(xué)業(yè)考試）也在使用上機考試形式進行信息技術(shù)和通用技術(shù)科目的測評。

基于CAA相關(guān)理論設(shè)計和開發(fā)的系統(tǒng)稱為計算機輔助評價系統(tǒng)或在線考試系統(tǒng)，按照不同模塊可分為考試模塊和閱卷模塊兩個部分，二者都屬于計算機輔助評價，該文即是在計算機輔助評價理論指導(dǎo)下設(shè)計并實現(xiàn)了一個IT技能網(wǎng)絡(luò)自動閱卷系統(tǒng)。

2 IT技能計算機輔助評價現(xiàn)狀

目前的IT技能自動閱卷功能的實現(xiàn)一般是通過以下兩種方式來完成：

1） 考試模塊是不是真實的軟件環(huán)境而是模擬構(gòu)造一個和真實軟件環(huán)境非常相似的虛擬軟件環(huán)境，考試的操作過程和操作結(jié)果都會記錄到系統(tǒng)中；閱卷模塊就是分析記錄的考生操作過程和操作結(jié)果評閱考生成績。

2） 考試模塊是在真實的軟件環(huán)境中進行的，系統(tǒng)會收集考生的操作過程和操作結(jié)果；閱卷模塊也是在真實環(huán)境中分析考生的操作過程和操作結(jié)果評閱考生成績。

使用虛擬軟件環(huán)境進行測試，由于系統(tǒng)是專門開發(fā)的，因此可以詳細記錄操作者的操作過程、操作結(jié)果，可以比較準確的判定考生操作是否正確，但虛擬軟件環(huán)境要求和真實軟件的環(huán)境保持高度相似和一致性，增大了軟件開發(fā)的難度，有時可能不能完全模擬真實軟件環(huán)境。在真實環(huán)境中進行測試的優(yōu)點是測試者的操作都是在真實的軟件環(huán)境中進行的，完全是對該關(guān)鍵的真實操作，缺點是考試系統(tǒng)不能完全記錄考生的操作過程和步驟，有些可能只收集考生的操作結(jié)果，評閱就判斷測試者的操作結(jié)果是否正確。[3][4]

目前，國內(nèi)外IT技能計算機輔助測評系統(tǒng)的測試系統(tǒng)主要有單機版和網(wǎng)絡(luò)版。以網(wǎng)絡(luò)版為主，收集考生相關(guān)記錄方面有實時將考生操作記錄保存至服務(wù)器或者先將操作記錄保存到考生考試機上，待考生交卷確認后再將考生記錄保存到服務(wù)器。評閱方式基本是由單機版或作為考試系統(tǒng)的一個評閱模塊進行評價，基本只反饋成績，評價的反饋信息不夠充分，不能很好的促進教學(xué)質(zhì)量的提高和學(xué)習(xí)者自身技能的增長。

通過對現(xiàn)有的IT技能自動閱卷系統(tǒng)的實現(xiàn)方式總結(jié)，主要有以下不足：

1） 評閱過程或者在考生的考試機上完成、或者在一臺閱卷機上完成，由于計算機軟硬件環(huán)境的差異，可能造成該考生的考試結(jié)果在另外一臺計算機上評閱的結(jié)果不一致，因此評閱結(jié)果的準確性得不到保證。

2） 只是將考生的成績信息即時或測試結(jié)束后反饋給考生，不能對考生成績進行分析并提供有效的形成性評價。不利于考生對自己知識和技能掌握程度的認識和把握。

3） 不能給教學(xué)管理者或教師提供有效的反饋信息，無法對他們形成有效的指導(dǎo)和建議，阻礙了教學(xué)管理和教學(xué)方法的改進。

4） 有些閱卷算法不夠完善，閱卷描述相對復(fù)雜，不易編寫閱卷程序，應(yīng)進行改進。

3 IT技能網(wǎng)絡(luò)自動閱卷系統(tǒng)設(shè)計

3.1 總體框架設(shè)計

IT技能網(wǎng)絡(luò)自動閱卷系統(tǒng)的總體框架可以劃分為三個部分，分別是：數(shù)據(jù)服務(wù)器、評閱服務(wù)器和評閱客戶端，總體的設(shè)計框架如圖1所示：

系統(tǒng)的總體框架中的對象說明：

1） 數(shù)據(jù)：是測試系統(tǒng)對考生的試題信息、操作過程和步驟、操作結(jié)果等考生相關(guān)信息的記錄，同時還包括考點、考場、考試時間、考試狀態(tài)等一些額外信息的記錄，每個考場每考一場數(shù)據(jù)都會生成一個考試包，大規(guī)模的考試會生成成千上萬的考試包。

2） 數(shù)據(jù)服務(wù)器：數(shù)據(jù)服務(wù)器主要是把很多考試包的數(shù)據(jù)集中起來，方便統(tǒng)一評閱。

3） 評閱服務(wù)器：評閱服務(wù)器只有一臺，是數(shù)據(jù)服務(wù)器和評閱客戶端的橋梁，在兩者之間實現(xiàn)調(diào)度。主要負責(zé)閱卷信息初始化、閱卷任務(wù)導(dǎo)入、閱卷任務(wù)的調(diào)度、閱卷進程控制（開啟或停止）、考生評閱結(jié)果查詢、閱卷結(jié)果的統(tǒng)計分析等。

4） 評閱客戶端：評閱客戶端可以是一臺或者多臺，一般為多臺以提高大量數(shù)據(jù)包時的評閱效率。評閱客戶端實現(xiàn)對考生考試包的下載、解壓、評閱，并將評閱的結(jié)果、評閱過程信息、評閱反饋信息等記錄到評閱服務(wù)器的數(shù)據(jù)庫中。[6]

3.2 模塊功能設(shè)計

總體框架確定好了之后，就要將三個組成部分串聯(lián)起來，實現(xiàn)評閱的流程：

1） 數(shù)據(jù)服務(wù)器：數(shù)據(jù)服務(wù)器主要是導(dǎo)入各個考場每個場次的考試包，將所有的考試包集中起來，該過程要進行數(shù)據(jù)一致性和準確性的判斷，確保沒有漏導(dǎo)和多導(dǎo)考試包。數(shù)據(jù)服務(wù)器功能圖如圖2所示：

2） 評閱服務(wù)器：評閱服務(wù)器的主要功能是管理閱卷描述文件、生成一個評閱任務(wù)列表、控制評閱客戶端的操作（分配閱卷任務(wù)、開始評閱、停止評閱、結(jié)束評閱等），評閱結(jié)束后還有相關(guān)數(shù)據(jù)的統(tǒng)計、導(dǎo)出等。評閱服務(wù)器功能圖如圖3所示。

3） 評閱客戶端：主要實現(xiàn)對考生考試包的評閱功能、接受評閱服務(wù)器發(fā)出的相關(guān)指令（開始、結(jié)束）等，評閱客戶端功能圖如圖4所示：

3.3 流程分析和實施方案

評閱流程主要分為總體流程和閱卷流程兩個部分：

1）總體流程設(shè)計

評閱系統(tǒng)總體流程需要理清每一個考生的閱卷是如何從數(shù)據(jù)服務(wù)器到評閱服務(wù)器的，評閱客戶端又是如何從數(shù)據(jù)服務(wù)器取得考生數(shù)據(jù)。

系統(tǒng)的總體流程設(shè)計分為三個階段：

第一階段：將各個考點收集上來的場考數(shù)據(jù)包導(dǎo)入至數(shù)據(jù)服務(wù)器中，并對場考數(shù)據(jù)包解壓處理提取相關(guān)信息。數(shù)據(jù)服務(wù)器導(dǎo)入的信息包括：考生的考試基本信息（準考證號、姓名、考試時間、考試狀態(tài)等信息）、考生試包保存、考試包存放在那臺數(shù)據(jù)服務(wù)器也要同時記錄。

第二階段：評閱服務(wù)器需要從數(shù)據(jù)服務(wù)器提取相關(guān)信息（如某個考生的考試包存放在那臺數(shù)據(jù)服務(wù)器的那個位置），然后初始化閱卷信息、生成評閱任務(wù)列表等功能。

第三階段：評閱客戶端開始評閱，在評閱過程中，評閱客戶端隨時的監(jiān)聽評閱服務(wù)器發(fā)送的閱卷狀態(tài)控制信息，即是否開始閱卷、閱卷狀態(tài)為開始還是暫停，并在合理的時候做出相關(guān)響應(yīng)（如果收到停止信息時還在評閱，則將當前正在評閱的考試包評閱結(jié)束在停止評閱）。

2） 閱卷流程設(shè)計

評閱系統(tǒng)閱卷流程設(shè)計是整個系統(tǒng)的關(guān)鍵和核心，直接影響了系統(tǒng)的穩(wěn)定性和有效性還有閱卷功能能否實現(xiàn)，設(shè)計過程中要充分考慮可行性、效率和穩(wěn)定性等各方面因素，通過對多套設(shè)計方案的考慮與選擇，最終制定了以考生數(shù)據(jù)包為單位的閱卷方案，該方案每次評閱都是針對考生數(shù)據(jù)包的所有試題全部進行評閱。

該方案自動閱卷評閱流程是：

1）數(shù)據(jù)服務(wù)器導(dǎo)入每個考場的相關(guān)信息。

2） 評閱服務(wù)器從數(shù)據(jù)服務(wù)器導(dǎo)入考生基本信息、考試包存放位置、考試包所在數(shù)據(jù)服務(wù)器等信息。

3） 評閱服務(wù)器新建一個評閱任務(wù)，將需要評閱的考生基本信息生成一個評閱任務(wù)列表。評閱服務(wù)器開啟閱卷功能時，評閱客戶端會自動向評閱服務(wù)器發(fā)出閱卷的請求，這時的閱卷流程具體分為兩類：

考生成績的確認只通過一臺評閱客戶端完成：評閱狀態(tài)為開始時，評閱客戶端首先向評閱服務(wù)器發(fā)送評閱請求，評閱服務(wù)器接受評閱客戶端的評閱請求后查找評閱任務(wù)列表中是否有尚未閱卷的考生，如果有則將考生的考試包存放的數(shù)據(jù)服務(wù)器地址、目錄等信息發(fā)送給評閱客戶端，該評閱客戶端從相應(yīng)的數(shù)據(jù)服務(wù)器目錄下載該考生的考試包并在本地磁盤解壓并進行評閱，然后將評閱結(jié)果提交至評閱服務(wù)器中，同時刪除相關(guān)解壓文件。

考生成績的確認是通過多臺評閱客戶端完成：此時數(shù)據(jù)包請求流程比較復(fù)雜，首先一臺評閱客戶端不能評閱相同考生的考試包兩次及以上，考生成績的確認是通過多臺評閱客戶端完成的，如果評閱次數(shù)為三次，那么會有三臺評閱客戶端評閱該考生數(shù)據(jù)包，只有當三臺評閱客戶端的評閱成績相同時，才認為該考生的評閱結(jié)束，否則將該考生閱卷狀態(tài)標記為異常，等到下一輪新建評閱任務(wù)重新評閱。至此在需要多個評閱客戶端的評閱的情況下一個考生的閱卷過程結(jié)束。

4）評閱客戶端接著向評閱服務(wù)器發(fā)送閱卷的請求，評閱服務(wù)器首先判斷是否還在評閱，如果還在評閱則查找評閱任務(wù)列表中的是否有待閱考試包，如果還有需要評閱的考生再接續(xù)循環(huán)執(zhí)行步驟（3）和步驟（4）。直至評閱服務(wù)器評閱任務(wù)列表中的所有考生閱卷狀態(tài)信息都標記為已經(jīng)評閱且評閱狀態(tài)正常。如果評閱任務(wù)列表中所有考試包全部評閱并沒有標記為異常的考試包，則整個考試評閱流程結(jié)束，如果還有標記為異常的包，則需要對標記為異常的包再次評閱直至沒有異常標記的考試包。

通過良好的前期分析和設(shè)計，實現(xiàn)系統(tǒng)只需采用相關(guān)開發(fā)技術(shù)按照各個模塊的功能和具體實現(xiàn)的流程方案進行編碼設(shè)計與實現(xiàn)。[6]

4 小結(jié)

本文通過詳細的分析與設(shè)計，對已有的單機版IT技能自動閱卷系統(tǒng)進行了改進與完善，并且實現(xiàn)了一個IT技能網(wǎng)絡(luò)自動閱卷系統(tǒng)，該系統(tǒng)實現(xiàn)的意義主要有：

1）對現(xiàn)有的自動閱卷系統(tǒng)進行了改進與完善，能比較好的對測試者進行評價與反饋，同時有效指導(dǎo)教學(xué)和學(xué)習(xí)。

2） 確保閱卷成績的準確性，解決由于計算機軟硬件環(huán)境的不同帶來的評閱結(jié)果的誤差。

3） 對學(xué)習(xí)者提供有效的評價與反饋。形成從上而下的評價與反饋信息。 [6]

對計算機輔助評價的研究還應(yīng)繼續(xù)深入，如對評價信息的深入挖掘、分析并形成可以指導(dǎo)教學(xué)和學(xué)習(xí)等切實可行的意見或方法，有效評價并指導(dǎo)測試者對理論的學(xué)習(xí)和技能的掌握。

參考文獻：

[1] Joanna Bull.Computer-Assisted Assessment：Impact on Higher Education Institutions[J].IEEE Education Technology & Society，1999，2（3）.

[2] 許駿，柳泉波.IT技能測評自動化——理論·技術(shù)·應(yīng)用[M].北京：科學(xué)出版社，2001.

[3] 許駿.技能評價自動化理論與應(yīng)用研究[D].北京：北京師范大學(xué)，2001.

[4] 何克抗，許駿.計算機輔助評價（CAA）研究新進展—技能性非客觀題的自動評價[J].開放教育究，2005（11）.

[5] 黃榮懷，劉黃鈴子，李向榮.計算機輔助評價的發(fā)展趨勢[J].電化教育研究，2002（5）.

[6] 王毅飛.基于網(wǎng)絡(luò)協(xié)同的IT技能計算機輔助評價系統(tǒng)研究[D].浙江師范大學(xué)，2011.

[7] 倪應(yīng)華，于莉，呂君可.一種參數(shù)可調(diào)的主觀題自動閱卷實現(xiàn)[J].浙江師范大學(xué)學(xué)報：自然科學(xué)版，2008（12）.