基于信息熵的在線考試組卷策略研究

董曉睿，商 凱，崔 健，邸文華

（1.中國石油大學勝利學院，山東東營 257000；2.山東天元信息技術(shù)有限公司，山東濟南 250100）

0 引言

考試是檢測學生學習水平和教師教學效果的重要手段。2020年以來，由于新型冠狀病毒的影響，在線教育迎來首次全國大規(guī)模推廣應用落地，絕大部分高校將期末考試形式由集中紙筆考試調(diào)整為居家在線考試，智能公平高效合理的在線考試系統(tǒng)成了研究熱點［1］。無論是傳統(tǒng)紙筆考試，還是當前在線考試，試卷通常都是由命題人組卷，組卷過程［2］極易受到命題人的主觀因素影響，導致最終生成的試卷難度無法把控，無法達到對學生學習水平理想的檢測效果。如何充分利用信息技術(shù)，建立公平合理的組卷策略，是當前亟待解決的問題之一［3］。

針對這一問題，本文提出了一種基于信息熵的在線考試組卷方法，該方法可以基于歷史試卷作答數(shù)據(jù)，為每道題賦予合理的試題難度評分，避免了隨機抽題過程中忽視試題難度或者人工制定試題難度時的不合理情況。同時，本課題基于這種組卷方法，以“數(shù)據(jù)結(jié)構(gòu)”課程為研究對象，建立了在線考試系統(tǒng)，讓任課老師有更多的精力去思考題庫建設(shè)工作，命題老師只需指定考查知識點、試卷整體難度等約束，組卷過程由計算機自動完成，極大地節(jié)約了人力和財力，提升了考試過程的工作效率。

1 題庫設(shè)計

本方法以計算機類基礎(chǔ)課“數(shù)據(jù)結(jié)構(gòu)”為研究對象，設(shè)計題型包括單項選擇題、填空題和編程題。其中，單選題由題干、4 個備選項和1 個正確答案組成；填空題由題干和正確答案組成，若題干中包含多個待填項，則填寫正確答案時使用中文分號對多個答案進行間隔；編程題包括題干、樣例輸入、樣例輸出和編譯語言組成。單選題和填空題采用比對作答內(nèi)容和正確答案的方式進行閱卷，編程題的閱卷過程集成online judge 平臺進行代碼檢測，每道編程題均有10個測試用例，按照正確的測試用例個數(shù)給予評分。系統(tǒng)根據(jù)考察章節(jié)、知識點和試卷整體難度（均值與方差）等約束，從選擇題、填空題和編程題題庫中抽取試題，組成試卷。題庫所涉及的具體數(shù)據(jù)庫設(shè)計細節(jié)如圖1 所示，其中，粗體為必填字段，非粗體為可空字段。

2 試題難度系數(shù)計算

本課題運用信息熵理論，基于往屆學生作答的歷史試卷數(shù)據(jù)，計算每道題目的試題難度系數(shù)。信息熵理論［4］由Shannon 在1948年提出，現(xiàn)常被用來作為一個系統(tǒng)的信息含量的量化指標，用來作為系統(tǒng)方程優(yōu)化的目標或者參數(shù)選擇的判據(jù)。信息熵可視為是描述變量不確定性的指標，采用離散的概率分布進行表示，分布越廣表示系統(tǒng)越不穩(wěn)定，越集中表示系統(tǒng)越穩(wěn)定［5］。傳統(tǒng)方法一般不考慮題目的難度或者由命題人主動評價題目難度，這是不合理的，本課題通過分析數(shù)據(jù)本身的離散性，來對試題難度進行客觀賦權(quán)，降低個人主觀因素影響，保證組卷的難度均衡。

定義某試題的歷史作答記錄X，X包含n條記錄，有m項指標。試題類型為選擇題時，m=4；試題類型為填空題時，m為填空個數(shù)（即分隔符個數(shù)+1）；試題類型為編程題時，m=10。不同試題類型的計算過程類似，后續(xù)部分以選擇題為例介紹。定義xij為第i條記錄的第j項指標的數(shù)值，其中i=1，…，n，j=1，…，m，其值為：

對數(shù)據(jù)進行歸一化處理，為了保證歸一化的計算過程中分母不為零，對X進行處理，處理過程為：

定義歸一化后的數(shù)據(jù)為x′ij，其值為：

則第j項指標的熵值ej為：

定義各項指標的熵權(quán)值為wj，其值為：

定義該題的正確答案的選項索引為correct_index，難度系數(shù)為di，熵權(quán)值方差為D（w），則難度系數(shù)的計算公式為：

di越大，表示該題正確率越低，難度越大，越可能是知識盲點。當di＞0.5時，D（w）越大，代表學生對該知識點有錯誤的理解；D（w）越小，代表學生對該知識點了解較少，存在教學盲點。

3 組卷策略

教師在組卷時，需要根據(jù)考試大綱選取章節(jié)、知識點、題型、題數(shù)、分值、試卷難度、必選題型等約束，使得生成的試卷質(zhì)量有所保證。組卷策略能夠在各種約束條件規(guī)定下實現(xiàn)組卷，既要檢驗學生對知識點的掌握情況，又要有所區(qū)分度，對試卷整體難度要有一定的把握。整個組卷策略包括預處理過程和組卷過程，預處理過程需要遍歷計算更新試題庫中各試題的試題難度，組卷過程在保證約束條件的前提下完成試卷的生成，組卷過程可以通過運行多次來實現(xiàn)隨機組卷。預處理過程的輸入為試題庫和歷史作答記錄，輸出為題庫中的試題難度系數(shù)和熵權(quán)方差，算法主要是遍歷題庫過程中對歷史作答記錄進行分析，如公式（1）、（2）建立該試題歷史作答記錄矩陣X，如公式（3）完成歸一化處理，如公式（4）計算樣本比重和指標熵值，如公式（5）計算指標熵權(quán)值，如公式（6）計算難度系數(shù)和熵權(quán)方差，最后更新試題的試題難度信息和熵權(quán)方差信息。

圖1 題庫涉及的數(shù)據(jù)庫設(shè)計

為了提高系統(tǒng)響應效率，組卷過程不直接使用浮點數(shù)的試題難度系數(shù)進行計算，而是將難度值劃分為五檔，分別定義區(qū)間［0，0.2）、［0.2，0.4）、［0.4，0.6）、［0.6，0.8）、［0.8，1.0］來表示簡單、較簡單、中等、較困難、困難，用離散整數(shù)（1，2，3，4，5）來取代浮點數(shù)來表示試題難度，以減輕隨機抽題過程的服務(wù)器運算負載。

組卷過程［6］既要滿足教師設(shè)置的對試卷各要素的約束，又要保證抽題過程的隨機性，以達到隨機組卷的要求。主要思路為根據(jù)題型、題數(shù)和難度的約束，逐次在未被抽取到的題目范圍內(nèi)隨機抽題，直到該章節(jié)、知識點、題型和題數(shù)約束的題目全部抽取完畢，隨機抽題過程需要保證，越接近難度約束的試題越容易被抽到，但難度偏離較大的題目也有被抽到的概率。為了進一步預防都是難度偏離大的題目被抽到，在每次抽取完畢后，會更新局部難度約束。組卷過程的算法如表1所示。

表1 組卷過程算法

4 結(jié)語

本課題基于信息熵理論提出了一種在線考試組卷方法，一定程度上降低了命題人組卷過程的主觀因素干擾，同時也為隨機組卷方式提供了難度平衡策略。組卷策略使得命題老師只需指定考查知識點、試卷整體難度等約束，組卷過程由計算機自動完成，試題難度系數(shù)由計算機根據(jù)歷史答卷數(shù)據(jù)進行自動確定，極大地節(jié)約了人力和財力，提升了考試過程的工作效率和公平性。本課題案例采用“數(shù)據(jù)結(jié)構(gòu)”課程為研究對象，本算法對相關(guān)系統(tǒng)的設(shè)計和實現(xiàn)具有一定的參考意義。