陳佳明 駱力明 宋潔

摘 ?要： 針對教育領(lǐng)域特定應(yīng)用場景，利用數(shù)據(jù)挖掘技術(shù)處理教育數(shù)據(jù)是目前熱點研究問題之一。課程成績預(yù)測指對一門課程學生的期末成績進行預(yù)測，其關(guān)鍵問題是通過選取合適的學生特征和確定最優(yōu)的預(yù)測算法來構(gòu)建預(yù)測準確率高的模型。針對大學基礎(chǔ)課的特點，從主客觀兩方面選擇特征，對比了4個效果最優(yōu)的課程成績預(yù)測分類算法，以準確率較高的算法構(gòu)成加權(quán)投票集成算法，發(fā)現(xiàn)加權(quán)投票集成算法的預(yù)測準確率和AP值最高，為利用數(shù)據(jù)挖掘技術(shù)實現(xiàn)課程成績預(yù)測提供了一種有效的方法。

關(guān)鍵詞： 成績預(yù)測模型; 教育數(shù)據(jù)挖掘; 加權(quán)投票集成算法; 模型構(gòu)建; 大學基礎(chǔ)課; 分類算法

中圖分類號： TN911.1?34; TP391 ? ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）01?0093?06

Course performance weighted voting prediction model of college fundamental courses

CHEN Jiaming， LUO Liming， SONG Jie

Abstract： To process the educational data from specific application scenario in education field by data mining technology is one of the popular research projects. Course performance prediction refers to the prediction of final performance of students in a curriculum， whose key issue is to build a high?accuracy model by selecting proper student features and determining optimal prediction algorithm. The features are selected from both subjective and objective aspects according to features of university basic courses. Four optimal classification algorithms of curriculum performance prediction are compared and the weighted voting integrated algorithm is constituted with the algorithms with higher accuracy. The weighted voting integrated algorithm can reach the best accuracy and AP value， which provides an effective method for realization of curriculum performance prediction by utilizing data mining technology.

Keywords： performance prediction model; educational data mining; weighted voting integrated algorithm; model construction; college elementary course; classification algorithm

0 ?引 ?言

教育數(shù)據(jù)挖掘（Educational Data Mining，EDM）是近年來熱門的數(shù)據(jù)挖掘研究領(lǐng)域之一，可以為教師提供用于評估的信息，為教師設(shè)計與調(diào)整教學環(huán)境和方法的決策提供教學基礎(chǔ)[1]。學生成績預(yù)測是教育數(shù)據(jù)挖掘領(lǐng)域的重點研究課題之一[2]。學生成績的預(yù)測分為總體學業(yè)預(yù)測和課程成績預(yù)測兩類。其中，總體學業(yè)預(yù)測是對一個持續(xù)時間較長的教學過程（如某一學年或本科四年）中大學生整體的學習情況進行觀察，預(yù)測大學生學年末或畢業(yè)時的學業(yè)表現(xiàn)。例如，文獻[3]以巴基斯坦某信息技術(shù)專業(yè)學生大學四年的課程成績作為輸入，預(yù)測學生畢業(yè)設(shè)計的成績。課程成績預(yù)測比總體學業(yè)預(yù)測更有針對性，是指對一門課程（在線課程或者課堂教學）學生的期末成績進行預(yù)測。預(yù)測結(jié)果可以輔助教師對學生進行個性化指導(dǎo)，從而為學習能力較強的學生提供更豐富的知識和技能培養(yǎng)，為學習效果不理想的學生給予更多有針對性的幫助，也可以幫助學生減少學業(yè)壓力[4]。

課程成績預(yù)測的主要研究問題為輸入特征和算法的選擇，即針對特定的學習情境指定相關(guān)的影響因素作為特征，并使用適合的算法構(gòu)建最優(yōu)的預(yù)測模型對成績進行預(yù)測。特征主要分為兩類，即學習能力水平和課堂參與度。常用的預(yù)測算法包括多元線性回歸、支持向量機、神經(jīng)網(wǎng)絡(luò)和邏輯回歸等。例如，文獻[5]將績點、前導(dǎo)課成績和平時作業(yè)成績作為特征，比較多元線性回歸、神經(jīng)網(wǎng)絡(luò)和支持向量機等回歸算法預(yù)測物理力學課學生的成績，發(fā)現(xiàn)支持向量機算法的準確率最高為87.5%;文獻[6]利用邏輯回歸及其改進的兩種遷移學習算法，以學生每周慕課視頻觀看進度、每周作業(yè)完成進度和每周作業(yè)成績作為特征，預(yù)測慕課學生是否通過，發(fā)現(xiàn)遷移學習算法LR?SIM準確率更高更穩(wěn)定。文獻[7]應(yīng)用數(shù)據(jù)挖掘方法構(gòu)建自適應(yīng)第二外語在線學習系統(tǒng)，以中國臺灣地區(qū)70名大學生的性別、個性和焦慮程度作為特征，預(yù)測其在線英語課的課程成績，發(fā)現(xiàn)BP神經(jīng)網(wǎng)絡(luò)算法的預(yù)測效果更好。

從上述研究可以總結(jié)出，不同情境適用的特征和最優(yōu)算法不同，因此課程成績預(yù)測需要根據(jù)課程特點來選擇特征，并對多種算法進行對比實驗，構(gòu)建出最優(yōu)模型。為了全面地反映學生的學習情況，大學基礎(chǔ)課的課程成績預(yù)測需要從主觀和客觀兩方面來選擇特征。本文根據(jù)大學基礎(chǔ)課的特點，選擇績點、相關(guān)前導(dǎo)課成績、平時作業(yè)成績和提問次數(shù)作為客觀特征，選擇個人興趣作為主觀特征，實現(xiàn)并對比課程成績預(yù)測中常用且被驗證效果較好的支持向量機（分為高斯核函數(shù)算法和多項式核函數(shù)算法兩種）、BP神經(jīng)網(wǎng)絡(luò)和邏輯回歸等算法。并引入加權(quán)投票機制，將預(yù)測準確率較高的高斯核函數(shù)支持向量機和BP神經(jīng)網(wǎng)絡(luò)算法進行集成，發(fā)現(xiàn)加權(quán)投票集成算法的預(yù)測準確率和平均查準率（Average Precision，AP） 最高。利用預(yù)測效果最佳的加權(quán)投票集成算法，本文構(gòu)建了大學基礎(chǔ)課的課程成績預(yù)測模型，為教師開展個性化教學提供了參考，為大學基礎(chǔ)課的課程成績預(yù)測提供了一個有效的方法。

1 ?特征選取與模型構(gòu)建

1.1 ?特征選取

影響大學基礎(chǔ)課課程成績的因素體現(xiàn)在客觀和主觀兩個方面。依據(jù)文獻[8]提出的模型，影響學生課程成績的因素主要分為三個方面：過往學習能力、課程表現(xiàn)和對課程的主觀態(tài)度。其中，學生的過往學習能力和課程表現(xiàn)屬于客觀因素，可通過客觀記錄的數(shù)據(jù)進行分析，對課程成績起到了主要影響[6];學生對課程的主觀態(tài)度屬于主觀因素，可通過問卷調(diào)研獲取并分析，對課程成績起到了次要影響[9?10]。因此，為了全面反映大學基礎(chǔ)課學生的特征，準確預(yù)測大學基礎(chǔ)課學生的課程成績，本文從主觀和客觀兩方面選擇特征并進行分析。

1.1.1 ?客觀因素

客觀因素中，體現(xiàn)過往學習能力的因素有績點、相關(guān)前導(dǎo)課成績和學歷等因素，體現(xiàn)課程表現(xiàn)的因素有提問次數(shù)、平時成績和課堂活動參與度等因素。文獻[5]通過對比驗證了采用績點、相關(guān)前導(dǎo)課成績和平時作業(yè)成績作為特征可以更好地預(yù)測大學基礎(chǔ)課成績。文獻[11]分析了提問次數(shù)作為深入探究的表現(xiàn)對學生成績的影響。在大學基礎(chǔ)課中，績點反映了學生在學習新課程之前已經(jīng)具備的綜合學習能力，對學生學習一門新的課程會產(chǎn)生較大的影響。相關(guān)前導(dǎo)課成績反映了學生前導(dǎo)知識掌握情況，對新課程的成績有較強的影響[12]，且時間相近的前導(dǎo)課成績可以更準確地反映學生的前導(dǎo)知識水平[5]。平時作業(yè)成績重點體現(xiàn)學生學習新課程的情況。提問次數(shù)反映了學生參與課程相關(guān)的深入探討的頻次及學生的學習積極性，對知識的理解程度具有較大影響。結(jié)合文獻[8]的學生課程成績模型和對大學基礎(chǔ)課影響因素的分析，本文選取績點、相關(guān)前導(dǎo)課成績、平時作業(yè)成績和提問次數(shù)作為大學基礎(chǔ)課成績預(yù)測的客觀特征，如表1所示。

1.1.2 ?主觀因素

主觀因素中，體現(xiàn)學生對課程主觀態(tài)度的因素主要有學習興趣、自我效能感和學習動機等。文獻[13]驗證了學習興趣對大學課程成績具有較強影響。在大學基礎(chǔ)課中，學習興趣影響學生學習的主動性，主要分為個人興趣和情境興趣兩類。與情境興趣相比，個人興趣作為學生在課前對課程內(nèi)容產(chǎn)生的興趣[14]，對學生的課堂表現(xiàn)、知識掌握、價值觀和成績均有更強、更長期的影響[15]。因此，本文選取學生的個人興趣作為大學基礎(chǔ)課成績預(yù)測的主觀特征。本文通過量表來測量個人興趣，改編了文獻[16]設(shè)計的初始興趣（Initial Interest，即個人興趣）問卷，設(shè)計出適用于大學基礎(chǔ)課的5分制個人興趣問卷。

1.2 ?模型構(gòu)建

結(jié)合所選的主觀和客觀特征進行建模之前，需要確定預(yù)測模型的輸出。課程成績預(yù)測模型的輸出主要分為是否通過課程、百分制分數(shù)和5分制分數(shù)三類。每類預(yù)測結(jié)果都有相應(yīng)的應(yīng)用。其中，5分制分數(shù)主要用于個性化教學。本文的研究目標是為教師開展個性化教學提供參考。因此，本文采用5分制課程成績作為輸出，將學生的百分制課程成績根據(jù)區(qū)間劃分為5個等級，如表2所示。

對5分制的課程成績進行預(yù)測是一個多分類問題，需要通過分類算法求解。分類算法需要對分類器進行訓練，并對分類器的超參數(shù)進行調(diào)優(yōu)以得到最優(yōu)的模型。本文對課程成績預(yù)測常用的分類算法及其需要調(diào)整的超參數(shù)進行了分析。

1.2.1 ?課程成績預(yù)測的分類算法

課程成績預(yù)測常用的分類算法有支持向量機、邏輯回歸和BP神經(jīng)網(wǎng)絡(luò)等。其中，支持向量機算法需要解決如下最優(yōu)化問題[17]：

[ ? ? ? ?minw，b，ξ12wTw+Ci=1mξis.t. ? ?y（i）（wT?（X（i））+b）>1-ξi，ξi>0] （1）

式中[C]為懲罰系數(shù)。支持向量機算法根據(jù)采用的核函數(shù)分為多類，其中，多項式核函數(shù)支持向量機的決策函數(shù)為：

[fk（X）=sgni=1mα（i）y（i）[X*X（i）+b]d] （2）

式中：[d]為多項式的階;[b]為偏置系數(shù)。

高斯核函數(shù)支持向量機的決策函數(shù)為：

[fk（X）=sgni=1mα（i）y（i）exp-γX-X（i）2] （3）

式（1）～式（3）中：[γ]為構(gòu)造高維特征的參數(shù);[C]，[d]，[b]是支持向量機算法中需要調(diào)節(jié)的超參數(shù)。邏輯回歸是經(jīng)典的分類算法之一，其損失函數(shù)為：

[L（w）=i=1mlog（1+exp（-y（i）wTX（i）））+Cw2] （4）

邏輯回歸需要調(diào)整超參數(shù)[C]，在最小化[Lw]的同時提高模型的泛化能力。不同于邏輯回歸，BP神經(jīng)網(wǎng)絡(luò)加入了隱藏層的概念，通過反向傳播算法重復(fù)調(diào)整權(quán)值和閾值來最小化損失函數(shù)的值。常用的BP神經(jīng)網(wǎng)絡(luò)為三層MLP（Multi?Layer Perceptron）[18]，需要調(diào)節(jié)隱藏層神經(jīng)元個數(shù)[nhidden]來優(yōu)化效果。

1.2.2 ?模型分析

本文將上述課程成績預(yù)測常用的分類算法作為分類器，構(gòu)建學生課程成績預(yù)測模型，如圖1所示。

模型的輸入為5個特征，輸出為5個成績等級，是一個多變量、多分類模型。鑒于上述分類算法均適用于二分類問題，模型采用OvR方法將二分類問題轉(zhuǎn)換為多分類問題進行求解。模型的分類器如式（5）所示：

[f（X（i））=Φ（X（i），y（i））] （5）

式中向量[X（i）]表示第[i]個樣本的特征向量，如表3所示;[Φ]表示決策函數(shù)，根據(jù)采用的分類算法決定。向量[y（i）=][[y（i）1，y（i）2，y（i）3，y（i）4，y（i）5]T]表示第[i]個樣本的實際分類結(jié)果，其中，[y（i）k∈{-1，1}k∈{1，2，3，4，5}];[f（X（i））]為模型判定第[i]個樣本的分類結(jié)果，取值為[[f1（X（i）），f2（X（i）），][f3（X（i）），f4（X（i）），f5（X（i））]T]，其中，[fk（X（i））∈{-1，1}]且[k∈{1，2，3，4，5}]。

由于單個分類算法的預(yù)測能力是有限的，為了構(gòu)建準確率更高的模型，本文使用投票法對分類算法進行改進。投票法是一種集成學習方法[19]，對多個分類算法的預(yù)測結(jié)果進行投票，將得票最高的結(jié)果作為最終預(yù)測結(jié)果，實現(xiàn)對多個分類算法的權(quán)衡，提高預(yù)測準確率。然而，不同子分類器的預(yù)測準確率不同。如果直接進行投票，則預(yù)測結(jié)果會受到預(yù)測誤差較大的子分類器的影響。為了減弱這種負面影響，本文引入加權(quán)投票機制，將預(yù)測準確率較高的課程成績預(yù)測分類算法進行加權(quán)投票集成，為預(yù)測準確率高的子分類器分配更高的權(quán)值，加強其對最終結(jié)果的影響，進一步提高預(yù)測準確率。預(yù)測準確率定義為：

[p（f（X（i）），y（i））=1mi=1m1（f（X（i））=y（i））] （6）

式中[1（x）]為指示函數(shù)。權(quán)值的定義如下：

[wl=pl（f（X（i）），y（i））l=1Lpl（f（X（i）），y（i））] （7）

式中：[pl]表示第[l]個子分類器的預(yù)測準確率;[L]為子分類器總個數(shù)。集成后的分類器的預(yù)測結(jié)果概率值為：

[P=l=1LwlPll] （8）

式中：[Pl]表示第[l]個分類器預(yù)測結(jié)果的概率，向量[P]中最大值對應(yīng)的類別為集成算法最終的分類結(jié)果。為了驗證加權(quán)投票集成算法的效果，本文結(jié)合所選主觀、客觀特征，分別將上述課程成績預(yù)測常用的算法加權(quán)投票集成算法作為模型的分類器進行模型訓練和調(diào)優(yōu)，通過對比選擇最優(yōu)的算法構(gòu)建大學基礎(chǔ)課的課程成績預(yù)測模型。

2 ?實驗與討論

2.1 ?數(shù)據(jù)收集與預(yù)處理

本文結(jié)合上述對特征選取和模型構(gòu)建的分析，以北京某高校大學基礎(chǔ)課面向?qū)ο蟪绦蛟O(shè)計（C++）的54名學生為研究對象，未對學生進行直接干預(yù)，通過收集學生的特征和期末成績數(shù)據(jù)進行實驗分析。

學生的客觀特征通過教務(wù)系統(tǒng)和課程教師統(tǒng)計。其中，績點和相關(guān)前導(dǎo)課成績均采集自學校的教務(wù)系統(tǒng)。相關(guān)前導(dǎo)課成績?yōu)榘俜种疲凕c和平時作業(yè)成績?yōu)?分制。平時作業(yè)成績來源于課程教師的統(tǒng)計結(jié)果。本文采集的平時作業(yè)成績以12次實驗報告的成績?yōu)闇?，統(tǒng)計情況如表4所示。

提問次數(shù)通過課程教師和助教進行統(tǒng)計。該C++課中學生對教師的提問通過在線社區(qū)Moodle、微信以及實驗報告留言三種方式進行，因此本文統(tǒng)計了微信、Moodle和實驗報告中每個學生提問的次數(shù)，以教學周為一個教學階段進行收集，共計12次，統(tǒng)計結(jié)果如表5所示。其中，微信提問來源于學生與助教和教師的微信聊天記錄，Moodle提問來源于學生在Moodle社區(qū)討論區(qū)中的發(fā)帖與回復(fù)，實驗報告提問來源于學生平時編程實驗中實驗報告的反思與討論部分。

主觀特征通過問卷計算得出。學生在課程第一周通過在線填寫的方式完成該問卷。本文共收回54份有效問卷，以學生每道題目打分的均值作為該學生個人興趣分值，其統(tǒng)計結(jié)果如表6所示。

鑒于分類算法對于特征間數(shù)值的差異較為敏感，因此需要在訓練之前將特征進行歸一化處理以防止某一特征因為數(shù)值較大在模型預(yù)測時占據(jù)主導(dǎo)地位。本文采用均值歸一化的方法進行特征縮放，將特征的數(shù)值映射到區(qū)間[0，1]內(nèi)，以便于獲得更有效、可靠的模型。

2.2 ?模型訓練與參數(shù)調(diào)節(jié)

本文以Python為編程語言編寫各個算法，在macOS High Sierra環(huán)境中進行模型的訓練和測試。實驗以具有5個特征的648個樣本作為輸入，其中70%的數(shù)據(jù)用作訓練集，其余30%的數(shù)據(jù)用作測試集，以預(yù)測準確率（Accuracy）作為衡量模型效果的指標之一，通過訓練集訓練出模型，利用該模型預(yù)測測試集樣本的分類。實驗在進行模型訓練時利用Grid Search方法，通過10?fold交叉驗證調(diào)節(jié)各個算法的超參數(shù)。各個算法調(diào)參結(jié)果見表7。

在調(diào)節(jié)超參數(shù)之后，實驗計算了各個算法對5個成績等級預(yù)測準確率的均值，如表8所示。其中，BP神經(jīng)網(wǎng)絡(luò)算法的預(yù)測準確率最高，其次是高斯核函數(shù)支持向量機算法，二者均達到90%以上的預(yù)測準確率;而多項式核函數(shù)支持向量機和邏輯回歸的預(yù)測準確率較低。

本文選擇預(yù)測準確率較高的高斯核函數(shù)支持向量機算法和BP神經(jīng)網(wǎng)絡(luò)算法作為加權(quán)投票集成算法的子分類器并計算其預(yù)測準確率，與其他四個模型的預(yù)測準確率進行對比，如圖2所示。

除了模型的預(yù)測準確率，分類模型常用繪制ROC曲線和PR（Precision?Recall，精確率?召回率）曲線等方法來評估模型的效果。其中，PR曲線更加適合于偏斜性較大（skewed）的樣本[20]。本文的研究對象中成績等級為5的樣本量遠小于其他等級的樣本量，存在偏斜性較大的特點，因此，本文選用PR曲線來評估模型的效果。在PR曲線中，橫軸表示召回率（Recall），縱軸表示精確率（Precision），PR曲線下方的面積為AP（Average Precision）的值。AP的定義如下：

[AP=01p（r）dr] （9）

式中：[p]表示精確率;[r]表示召回率。PR曲線越接近右上角，曲線下方的面積（即AP的值）越大，模型的效果就越好。本實驗中5個模型的PR曲線如圖3所示。其中，加權(quán)投票集成算法的PR曲線最接近右上方，AP值最大為0.97，說明加權(quán)投票集成算法模型對于偏斜性較大的樣本的預(yù)測效果要優(yōu)于其他四個模型，更加符合本文研究對象的特征。因此，采用加權(quán)投票集成算法構(gòu)成的模型可以更好地對大學基礎(chǔ)課的課程成績等級進行預(yù)測。

3 ?結(jié) ?論

本文針對大學基礎(chǔ)課的特點，從主觀和客觀兩方面選擇特征，以績點、相關(guān)前導(dǎo)課成績、平時作業(yè)成績和提問次數(shù)作為客觀特征，以個人興趣作為主觀特征，將學生成績劃分為5個等級進行課程成績預(yù)測。為了達到更精準的預(yù)測效果并解決大學基礎(chǔ)課因課程開展周期長而導(dǎo)致的樣本量較小與數(shù)據(jù)偏斜性較大的問題，本文以預(yù)測準確率和AP值最高的加權(quán)投票集成算法作為分類器構(gòu)建大學基礎(chǔ)課的課程成績預(yù)測模型。該模型可以從主觀和客觀兩方面特征預(yù)測學生的課程期末成績，從而輔助教師的個性化教學，為教師教學策略和教學環(huán)境的調(diào)整提供參考，同時也可以幫助學生預(yù)估大學基礎(chǔ)課的學習情況。后續(xù)研究會將知識點的掌握情況納入預(yù)測特征，比平時作業(yè)成績更加精確地反映學生的學習情況，并嘗試改進數(shù)據(jù)收集的方式，增加樣本量，并針對小樣本的特點，嘗試對現(xiàn)有算法進行改進并進行更多組對比實驗，從而進一步提高模型的預(yù)測效果。

注：本文通訊作者為駱力明。

參考文獻

[1] ROMERO C， VENTURA S. Educational data mining： a survey from 1995 to 2005 [J]. Expert systems with applications， 2007， 34（1）： 135?146.

[2] PE?A?AYALA A. Educational data mining： a survey and a data mining?based analysis of recent works [J]. Expert systems with applications， 2014， 41（4）： 1432?1462.

[3] ASIF R， MERCERON A， ALI S A， et al. Analyzing undergraduate students′ performance using educational data mining [J]. Computers & education， 2017， 113： 177?194.

[4] THAI?NGHE N， HORV?TH T， SCHMIDT?THIEME L. Factorization models for forecasting student performance [C]// Proceedings of the 4th International Conference on Educational Data Mining. Eindhoven： EDM， 2011： 11?20.

[5] HUANG S， FANG N. Predicting student academic performance in an engineering dynamics course： a comparison of four types of predictive mathematical models [J]. Computers & education， 2013， 61： 133?145.

[6] HE J， BAILEY J， RUBINSTEIN B I P， et al. Identifying at?risk students in massive open online courses [C]// Proceedings of the Twenty?ninth AAAI Conference on Artificial Intelligence. Austin： AAAI， 2015： 1749?1755.

[7] WANG Y， LIAO H C. Data mining for adaptive learning in a TESL?based e?learning system [J]. Expert systems with applications， 2011， 38（6）： 6480?6485.

[8] PARMENTIER P. La réussite des études universitaires： facteurs structurels et processuels de la performance académique en première année en medicine [D]. Belgium： Université Catholique de Louvain， 1994.

[9] DE BARBA P G， KENNEDY G E， AINLEY M D. The role of students′ motivation and participation in predicting performance in a MOOC [J]. Journal of computer assisted learning， 2016， 32（3）： 218?231.

[10] BAILEY T H， PHILLIPS L J. The influence of motivation and adaptation on students′ subjective well?being， meaning in life and academic performance [J]. Higher education research & development， 2016， 35（2）： 201?216.

[11] NEWMANN F M， MARKS H M， GAMORAN A. Authentic pedagogy and student performance [J]. American journal of education， 1996， 104（4）： 280?312.

[12] 黃建明.貝葉斯網(wǎng)絡(luò)在學生成績預(yù)測中的應(yīng)用[J].計算機科學，2012，39（11A）：280?282.

[13] PINTRICH P R. The dynamic interplay of student motivation and cognition in the college classroom [J]. Advances in motivation and achievement， 1989， 6： 117?160.

[14] RENNINGER K A. Individual interest and development： Implications for theory and practice [J]. The role of interest in learning and development， 1992， 26（3/4）： 361?395.

[15] HIDI S. Interest and its contribution as a mental resource for learning [J]. Review of educational research， 1990， 60（4）： 549?571.

[16] HARACKIEWICZ J M， DURIK A M， BARRON K E， et al. The role of achievement goals in the development of interest： reciprocal relations between achievement goals， interest， and performance [J]. Journal of educational psychology， 2008， 100（1）： 105.

[17] CORTES C， VAPNIK V. Support?vector networks [J]. Machine learning， 1995， 20（3）： 273?297.

[18] GALLINARI P， THIRIA S， BADRAN F， et al. On the relations between discriminant analysis and multilayer perceptrons [J]. Neural networks， 1991， 4（3）： 349?360.

[19] DIETTERICH T G. Ensemble methods in machine learning [C]// International workshop on multiple classifier systems. Berlin： Springer， 2000： 1?15.

[20] DAVIS J， GOADRICH M. The relationship between precision?recall and ROC curves [C]// Proceedings of the 23rd international conference on machine learning. Pittsburgh： ACM， 2006： 233?240.

作者簡介：陳佳明，男，碩士研究生，主要研究方向為人工智能與教育、數(shù)據(jù)挖掘。

駱力明，男，教授，碩士研究生導(dǎo)師，主要研究領(lǐng)域為智能教育、軟件系統(tǒng)實現(xiàn)。

宋 ?潔，女，碩士研究生，主要研究方向為教育技術(shù)。