面向非平衡數(shù)據(jù)集的隨機(jī)森林算法對(duì)學(xué)生學(xué)業(yè)問(wèn)題的預(yù)測(cè)分析

劉 博，盧婷婷，陳國(guó)磊，趙 璐

（中國(guó)民航大學(xué)空中交通管理學(xué)院，天津300300）

在大數(shù)據(jù)的背景下，我國(guó)高校在教育管理過(guò)程中產(chǎn)生和積累的數(shù)據(jù)也開始進(jìn)入研究者的視野.傳統(tǒng)學(xué)生學(xué)習(xí)成績(jī)的評(píng)定多局限于結(jié)果的“高”或者“低”，同時(shí)在學(xué)生管理方面，管理者往往依據(jù)“事后”的歷史數(shù)據(jù)對(duì)學(xué)業(yè)方面存在問(wèn)題的學(xué)生進(jìn)行管理，缺乏事前預(yù)警機(jī)制的建立，如果將數(shù)據(jù)挖掘技術(shù)應(yīng)用到學(xué)生學(xué)習(xí)成績(jī)的分析與預(yù)測(cè)，對(duì)存在學(xué)業(yè)問(wèn)題的學(xué)生群體進(jìn)行“事前”精準(zhǔn)預(yù)測(cè)并且展開針對(duì)性的干預(yù)，能夠在一定程度上輔助學(xué)校教務(wù)和學(xué)生工作管理部門，提高學(xué)生整體的學(xué)業(yè)水平.

目前，關(guān)于學(xué)生學(xué)業(yè)問(wèn)題的預(yù)測(cè)分析研究取得了一定成果. 尤佳鑫等[1]基于實(shí)體課堂和云學(xué)習(xí)平臺(tái)，提出了多元回歸模型對(duì)成績(jī)進(jìn)行預(yù)測(cè)，指出績(jī)點(diǎn)、在線學(xué)習(xí)參與度、前導(dǎo)課成績(jī)和學(xué)習(xí)興趣是影響學(xué)業(yè)成績(jī)的重要因素. 曹歆雨等[2]考慮到學(xué)生前序課程成績(jī)殘缺情況，提出基于K 近鄰局部最優(yōu)重建的殘缺數(shù)據(jù)插補(bǔ)方法結(jié)合隨機(jī)森林算法建立成績(jī)預(yù)測(cè)模型.文鴻瑩[3]通過(guò)對(duì)獲取的493份非智力樣本數(shù)據(jù)的挖掘，采用回歸分析方法得出學(xué)習(xí)興趣、學(xué)習(xí)自律、學(xué)習(xí)意志、學(xué)習(xí)態(tài)度、學(xué)習(xí)動(dòng)機(jī)和學(xué)習(xí)效能感6個(gè)維度組成的非智力因素能夠?qū)W(xué)生學(xué)業(yè)進(jìn)行有效預(yù)測(cè).龍鈞宇[4]運(yùn)用壓縮矩陣Apriori關(guān)聯(lián)規(guī)則算法，詳細(xì)分析了學(xué)生各科成績(jī)的關(guān)聯(lián)度. 陳勇[5]通過(guò)關(guān)聯(lián)規(guī)則找出與目標(biāo)課程成績(jī)相關(guān)程度較高的5門課程作為輸入特征，運(yùn)用融合遺傳算法的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行回歸分析，預(yù)測(cè)精度較高.劉俊嶺等[6]利用電子簽到系統(tǒng)進(jìn)行數(shù)據(jù)集的構(gòu)建，提出了基于成績(jī)分布的教室座位分區(qū)劃分方法和同伴影響的預(yù)測(cè)結(jié)果修正方法，在驗(yàn)證數(shù)據(jù)集上成績(jī)回歸誤差在10分以內(nèi). Tsiakmaki 等[7]搜集592 個(gè)學(xué)生樣本，使用第一學(xué)期學(xué)生性別、8 門課程的考試次數(shù)和考試成績(jī)等特征，采用機(jī)器學(xué)習(xí)領(lǐng)域8種模型對(duì)第二學(xué)期的6門課程進(jìn)行回歸分析，得出隨機(jī)森林模型性能最優(yōu).Hoffait等[8]利用學(xué)生入學(xué)注冊(cè)時(shí)的早期數(shù)據(jù)，基于隨機(jī)森林、邏輯回歸和人工神經(jīng)網(wǎng)絡(luò)算法對(duì)學(xué)生可能存在的學(xué)業(yè)問(wèn)題進(jìn)行分類預(yù)測(cè)，在真實(shí)數(shù)據(jù)集上得出12.2%的學(xué)生面臨極高的學(xué)業(yè)失敗風(fēng)險(xiǎn).

綜合以上研究現(xiàn)狀：首先，部分研究人員關(guān)注點(diǎn)將大數(shù)據(jù)技術(shù)融合到學(xué)生學(xué)業(yè)分析方面，僅僅提出了相關(guān)的理論框架，未進(jìn)行實(shí)際的應(yīng)用；其次，部分研究人員針對(duì)學(xué)生學(xué)業(yè)問(wèn)題試圖挖掘影響學(xué)業(yè)成績(jī)的因素，構(gòu)建特征空間，同時(shí)研究方向上多數(shù)使用回歸算法；然后，絕大多數(shù)的分類器在平衡數(shù)據(jù)上表現(xiàn)良好，但是面對(duì)學(xué)業(yè)問(wèn)題非平衡性，想要精準(zhǔn)的預(yù)測(cè)“差”（少數(shù)類）學(xué)生，很多分類器表現(xiàn)較差，而針對(duì)此問(wèn)題少有研究.對(duì)此，本文采用混合采樣的方法，結(jié)合使用集成分類器對(duì)少數(shù)類——即學(xué)業(yè)存在問(wèn)題學(xué)生進(jìn)行分類預(yù)測(cè)，并對(duì)不同采樣方法下的假設(shè)空間中的多種模型的性能進(jìn)行分析，以期找到更為有效的分類方法.

1 非平衡數(shù)據(jù)集處理與隨機(jī)森林算法

數(shù)據(jù)集的非平衡性可以使用數(shù)據(jù)平衡率[9]（The balancing ratio of the data sets）R進(jìn)行度量：

其中 ||xmin和 ||xmax代表樣表標(biāo)簽中少數(shù)類數(shù)量和多數(shù)類數(shù)量，R等于0.5時(shí)為平衡數(shù)據(jù)集.

目前關(guān)于非平衡數(shù)據(jù)集的研究主要集中在數(shù)據(jù)重新采樣、算法改進(jìn)和兩者相結(jié)合方面. 本文從數(shù)據(jù)集入手，對(duì)原始非平衡數(shù)據(jù)集進(jìn)行重構(gòu).

針對(duì)非平衡數(shù)據(jù)集，使用重新采樣[10]（Re-sampling the data set）方法可以在很大程度上提高分類器效果. 重新采樣技術(shù)包括4 類，分別是向下采樣（Under-sampling the majority classes），向上采樣（Over-sampling the minority class），混合采樣（Combining over- and under-sampling），生成集成平衡數(shù)據(jù)集（Create ensemble balanced sets）. 虛擬少數(shù)類向上采樣方法（Synthetic Minority Over-sampling Technique, SMOTE）結(jié)合編輯最近鄰方法（Edited Nearest Neighbours, ENN），即SMOTE＋ENN 采樣方法，為先向上采樣后，再向下采樣的混合方法.

SMOTE 算法[11]是針對(duì)特征空間中位置相近的少數(shù)類樣本中插入新樣本的方法，優(yōu)點(diǎn)是避免過(guò)擬合.對(duì)于少數(shù)類中每一個(gè)樣本x，以歐氏距離為標(biāo)準(zhǔn)計(jì)算它到少數(shù)類樣本集中所有樣本的距離，得到其K近鄰，在K個(gè)最近鄰樣本中隨機(jī)選擇N個(gè)樣本，記為y1,y2,y3,…,yN，在少數(shù)類樣本x與yj之間進(jìn)行隨機(jī)線性差值，構(gòu)造新的少數(shù)類樣本Pj：

其中rand(0,1)表示區(qū)間(0,1)內(nèi)的一個(gè)隨機(jī)數(shù).

為了消除SMOTE 算法泛化性過(guò)強(qiáng)的缺點(diǎn)，在其基礎(chǔ)上，將欠采樣與過(guò)采樣方法相結(jié)合，即將SMOTE 算法與最近鄰規(guī)則（Edited Nearest Neighbours,ENN）相結(jié)合，即：對(duì)于其中一種類型樣本，當(dāng)與其最近的3個(gè)近鄰樣本中屬于相異類型的樣本數(shù)超過(guò)3個(gè)時(shí)，刪除這些相異類型樣本[13].

隨機(jī)森林是基于Bagging 思路改進(jìn)實(shí)現(xiàn)的決策樹群體模型.隨機(jī)森林在實(shí)現(xiàn)上不僅使用訓(xùn)練集的子集，同時(shí)在決策樹建立樹節(jié)點(diǎn)時(shí)只在特征集的子集中挑選.傳統(tǒng)決策樹在選擇劃分屬性時(shí)是在當(dāng)前結(jié)點(diǎn)的屬性集合中選擇一個(gè)最優(yōu)屬性；而在隨機(jī)森林中，對(duì)基決策樹的每個(gè)結(jié)點(diǎn)，先從該結(jié)點(diǎn)屬性集合中隨機(jī)選擇一個(gè)包含K 個(gè)屬性的子集，然后再?gòu)倪@個(gè)子集匯總選擇一個(gè)最優(yōu)屬性用于劃分.隨機(jī)森林算法[14]過(guò)程如下：

Random Forest (D,T,d): 從Bootstrap 樣本集和隨機(jī)子空間訓(xùn)練一個(gè)集成模型

輸入: 數(shù)據(jù)集D；集成尺寸T；子空間的維數(shù)d

輸出: 需要通過(guò)投票或者取平均的方式來(lái)實(shí)現(xiàn)預(yù)測(cè)的集成樹模型

for t=1 to T do

從D的|D|個(gè)數(shù)據(jù)點(diǎn)中按有放回隨機(jī)抽樣構(gòu)建Bootstrap樣本集Dt；

隨機(jī)選擇d個(gè)特征，由此降低Dt的維數(shù)；

以無(wú)剪枝的方式在Dt上訓(xùn)練，得到一個(gè)樹模型Mt；

end

返回{Mt|1≤t≤T}

2 實(shí)驗(yàn)步驟及特征空間構(gòu)建與數(shù)據(jù)預(yù)處理

2.1 實(shí)驗(yàn)步驟

步驟1：首先對(duì)原始數(shù)據(jù)進(jìn)行采集，構(gòu)建特征空間，同時(shí)進(jìn)行數(shù)據(jù)探索和預(yù)處理；

步驟2：將原始數(shù)據(jù)集采用隨機(jī)分層方法劃分為訓(xùn)練集和測(cè)試集，比例為7:3，重復(fù)10次；

步驟3：在步驟2每次劃分的數(shù)據(jù)集上，依次計(jì)算出5種分類器的10組性能指標(biāo)，對(duì)10組性能指標(biāo)取算術(shù)平均，對(duì)比分析模型的性能差異；

步驟4：將原始數(shù)據(jù)集采用10 種非平衡數(shù)據(jù)集處理方法，重構(gòu)10 個(gè)新數(shù)據(jù)集，在每個(gè)新數(shù)據(jù)集上重復(fù)步驟2和步驟3；基于5種分類器，計(jì)算、對(duì)比分析10 種非平衡數(shù)據(jù)處理方法下的不同模型的性能差異.

總體思路如圖1所示.

圖1 實(shí)驗(yàn)總體思路圖

2.2 特征空間的構(gòu)建

通過(guò)采集1 個(gè)年級(jí)所有學(xué)生基本信息數(shù)據(jù)，結(jié)合教務(wù)處的學(xué)生平均績(jī)點(diǎn)，共計(jì)得到650條數(shù)據(jù).學(xué)生的基本信息數(shù)據(jù)如表1所示，其中第1-19項(xiàng)為特征數(shù)據(jù)，第20項(xiàng)為標(biāo)簽數(shù)據(jù).

平均績(jī)點(diǎn)是學(xué)生大學(xué)期間各科成績(jī)的綜合指標(biāo)，其計(jì)算方法為：

表1 原始特征及標(biāo)簽

2.3 數(shù)據(jù)的預(yù)處理

數(shù)據(jù)預(yù)處理[15]包括處理缺失數(shù)據(jù)、去除無(wú)效特征、數(shù)據(jù)的離散化. 缺失值采用拉格朗日插值法進(jìn)行處理，無(wú)效特征使用專家咨詢方法進(jìn)行舍棄，數(shù)據(jù)的離散化采取等寬法和人工法相結(jié)合方式劃分.

考慮到數(shù)據(jù)的可獲得性及與本研究的相關(guān)性，通過(guò)咨詢相關(guān)專家，最終選取14項(xiàng)特征作為特征空間數(shù)據(jù)，包括：性別、政治面貌、大學(xué)英語(yǔ)四級(jí)、大學(xué)英語(yǔ)六級(jí)、公共英語(yǔ)三級(jí)至五級(jí)、計(jì)算機(jī)等級(jí)、是否延長(zhǎng)學(xué)業(yè)、掛科門數(shù)、是否學(xué)生干部、家庭經(jīng)濟(jì)困難、獎(jiǎng)學(xué)金情況、是否有學(xué)業(yè)警告，具體見表2，將以上特征中標(biāo)稱數(shù)據(jù)0/1 賦值，連續(xù)性數(shù)值型數(shù)據(jù)離散化.

對(duì)于標(biāo)稱數(shù)據(jù)中的性別、政治面貌、學(xué)生干部、家庭經(jīng)濟(jì)困難、是否有學(xué)業(yè)警告等特征，離散化后數(shù)據(jù)排序及大小會(huì)影響“非樹類模型”的分類器性能，因此以上特征采用獨(dú)熱編碼（One Hot Encoder）方式，將離散后的屬性映射為二進(jìn)制特征.

3 模型的選擇

3.1 模型性能度量

對(duì)于分類問(wèn)題常用的性能度量指標(biāo)[16]包括準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）、F測(cè)量（F1-Score）、ROC與AUC.面對(duì)非平衡數(shù)據(jù)集問(wèn)題，F(xiàn)1-Score、AUC和Recall作為模型性能度量指標(biāo)較為客觀，本研究使用上述3 個(gè)指標(biāo)進(jìn)行模型性能的評(píng)估.

表2 數(shù)據(jù)離散化

將樣例根據(jù)其真實(shí)類別與學(xué)習(xí)器預(yù)測(cè)類別的組合劃分為真正例（true positive）、假正例（false positive）、真反例（true negative）、假反例（false negative）四種情形.令TP、FP、TN、FN分別表示其對(duì)應(yīng)的樣例數(shù)，TP+FP+TN+FN=樣例總數(shù).分類結(jié)果的混淆矩陣（confusion matrix）如表3所示.

表3 分類結(jié)果混淆矩陣

查準(zhǔn)率基于預(yù)測(cè)結(jié)果，表明預(yù)測(cè)為正的樣例中有多少是真正的正樣例，計(jì)算公式為：

查全率基于原始樣本，表明原始樣本中的正例有多少被預(yù)測(cè)正確. 在非平衡數(shù)據(jù)集中，往往關(guān)注對(duì)于少數(shù)類的召回情況，查全率對(duì)于此類問(wèn)題有很好的描述作用，其計(jì)算方法為：

AUC被定義為ROC曲線下與坐標(biāo)軸圍成的面積（ROC曲線是分類器的真正率與假正率之間的關(guān)系），即：

其中：n+為少數(shù)類樣本數(shù)量，n-為多數(shù)類樣本數(shù)量，f為分類器.

AUC 越大表示模型區(qū)分正例和負(fù)例的能力越強(qiáng)，一般認(rèn)為AUC值0.8以上模型可以應(yīng)用到實(shí)踐，而1為完美分類器.

3.2 模型評(píng)估

3.2.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境為：Windows 7 系統(tǒng)，3.5 GHz 英特爾i5 處理器，8 GB 內(nèi)存，Pycharm IDE 開發(fā)環(huán)境，Python 3.7；隨機(jī)森林（Decision Tree）、邏輯回歸（Logistic Regression）、K-近鄰（KNN）、決策樹（Random Forest）、支持向量機(jī)（Radial Svm）等分類器調(diào)用Scikit-learn，非平衡數(shù)據(jù)集使用imbalanced開發(fā)包.

首先將原始非平衡數(shù)據(jù)集按照7∶3分成訓(xùn)練集和測(cè)試集，采用隨機(jī)分層劃分10 次，確保每次劃分的訓(xùn)練集和測(cè)試集的數(shù)據(jù)分布一致性. 劃分后，每次訓(xùn)練集和測(cè)試集的平衡率均為0.17（平均績(jī)點(diǎn)≤2.2 為少數(shù)類，其余為多數(shù)類），在10 次劃分的數(shù)據(jù)集上分別計(jì)算性能指標(biāo)，然后取均值. 采取10 種非平衡數(shù)據(jù)方法處理原始數(shù)據(jù)（見表4）后，重復(fù)上述過(guò)程，得出性能指標(biāo)的均值.

模型中的超參數(shù)使用默認(rèn)值，SMOTE 方法中的K=5，倍率Ratio=1，抽樣后正負(fù)樣例比例為1∶1.

表4 十種非平衡數(shù)據(jù)集抽樣方法[17-21]

3.2.2 模型選擇

（1）依據(jù)F1-Score 評(píng)價(jià)指標(biāo)的問(wèn)題學(xué)生（少數(shù)類）學(xué)業(yè)表現(xiàn)評(píng)價(jià)模型選擇結(jié)果如表5所示.對(duì)原始數(shù)據(jù)集未進(jìn)行非平衡數(shù)據(jù)處理的情況下，所列5種模型少數(shù)類F1-Score 的均值為0.84，最大值為Random Forest 分類器的0.85，最小值為L(zhǎng)ogistic Regression分類器的0.83.對(duì)原始數(shù)據(jù)集采用10種非平衡方法處理時(shí)，SMOTEENN 抽樣方法下5 種分類器F1-Score值都達(dá)到峰值，其中Random Forest 分類器表現(xiàn)最優(yōu)，F(xiàn)1-Score 值為0.98，比未進(jìn)行采樣的情況下F1-Score 提高了0.13；熱度圖2 顯示，CNN 和NearMiss 采樣下5 種分類器對(duì)應(yīng)區(qū)域顏色較淺，分類效果一般，SMOTEENN對(duì)應(yīng)區(qū)域顏色最深，分類效果最好.

（2）依據(jù)AUC 評(píng)價(jià)指標(biāo)的問(wèn)題學(xué)生（少數(shù)類）學(xué)業(yè)表現(xiàn)模型選擇結(jié)果如表6 所示. 對(duì)原始數(shù)據(jù)集未進(jìn)行非平衡數(shù)據(jù)處理的情況下，所列5 種模型AUC 均值為0.82，最大值為L(zhǎng)ogistic Regression 分類器的0.86，最小值為Decision Tree 分類器的0.79. 對(duì)原始數(shù)據(jù)集采用10 種非平衡方法處理時(shí)，SMOTEENN 抽樣方法下5 種分類器AUC 值都達(dá)到峰值，其中Random Forest 和Radial SVM 分類器表現(xiàn)最優(yōu)，AUC 值為0.97，比未進(jìn)行采樣的情況下的AUC分別提高了0.17和0.13.熱度圖3顯示，None、CNN 和NearMiss 采樣下5 種分類器對(duì)應(yīng)區(qū)域顏色較淺，分類效果一般，SMOTEENN對(duì)應(yīng)區(qū)域顏色最深，分類效果最好.

表5 F1-Score評(píng)價(jià)指標(biāo)

圖2 F1-Score評(píng)價(jià)指標(biāo)熱度圖

表6 AUC評(píng)價(jià)指標(biāo)

圖3 AUC評(píng)價(jià)指標(biāo)熱度圖

3）依據(jù)Recall 評(píng)價(jià)指標(biāo)的問(wèn)題學(xué)生（少數(shù)類）學(xué)業(yè)表現(xiàn)模型選擇結(jié)果如表7 所示. 對(duì)原始數(shù)據(jù)集未進(jìn)行非平衡數(shù)據(jù)處理的情況下，所列5 種模型針對(duì)少數(shù)類Recall均值為0.68，最大值為Random Forest 分類器的0.71，最小值為Decision Tree 分類器的0.64. 對(duì)原始數(shù)據(jù)集采用10 種非平衡方法處理時(shí)，SMOTEENN 抽樣方法下5 種分類器Recall 值都達(dá)到峰值，其中Random Forest 和Radial SVM 分類器表現(xiàn)最優(yōu)，Recall 值分別為0.97 和0.96，比未進(jìn)行采樣的情況下Recall 分別提高了0.26 和0.3. 熱度圖4顯示，None、CNN 和NearMiss 采樣下5 種分類器對(duì)應(yīng)區(qū)域顏色較淺，分類效果一般，SMOTE 和SMOTEENN對(duì)應(yīng)區(qū)域顏色最深，分類效果最好.

表7 Recall評(píng)價(jià)指標(biāo)

圖4 Recall評(píng)價(jià)指標(biāo)熱度圖

3.2.3 十種非平衡數(shù)據(jù)處理方法下分類器性能趨勢(shì)分析

針對(duì)10 種非平衡數(shù)據(jù)集處理方法，計(jì)算出5 種分類器的均值，圖5展示了分類器的性能趨勢(shì).

圖5 分類器性能趨勢(shì)圖

由圖5可見，均值曲線趨勢(shì)呈現(xiàn)逐漸上升態(tài)勢(shì)，在CNN 方法下，F(xiàn)1-Score、AUC 和Recall 均值最低，分別為0.72、0.79 和0.73；在SMOTEENN 方法下，F(xiàn)1-Score、AUC 和Recall 均值最高，分別為0.96、0.96 和0.95. 通過(guò)以上分析可以看出，SMOTEENN方法對(duì)于學(xué)生學(xué)業(yè)非平衡數(shù)據(jù)集表現(xiàn)最好.

4 總結(jié)

本文提出了面向非平衡數(shù)據(jù)集的下的SER 分類預(yù)測(cè)模型來(lái)處理學(xué)生學(xué)業(yè)表現(xiàn)的方法；構(gòu)造了包含與學(xué)生學(xué)業(yè)相關(guān)的9 個(gè)特征為輸入空間，以學(xué)生的平均績(jī)點(diǎn)為標(biāo)簽進(jìn)行分類；同時(shí)在SER 的基礎(chǔ)上，對(duì)比分析了Decision Tree 算法、Logistic Regression 算法、KNN 算法、Radial SVM 算法在10 種非平衡數(shù)據(jù)處理方法下的模型的性能，實(shí)驗(yàn)結(jié)果表明，使用SER方法對(duì)學(xué)生學(xué)業(yè)表現(xiàn)情況預(yù)測(cè)最優(yōu)，對(duì)少數(shù)類召回率為0.97.因而，此方法可為學(xué)生管理和教務(wù)部門提供決策依據(jù)，改善高校教學(xué)管理水平，幫助相關(guān)部門對(duì)存在學(xué)業(yè)問(wèn)題的學(xué)生進(jìn)行事前干預(yù)，提高學(xué)生的學(xué)習(xí)能力.

今后研究改進(jìn)的方向：在數(shù)據(jù)集構(gòu)建方面，在現(xiàn)有的智力和非智力因素上，添加更多的特征，從而提高模型預(yù)測(cè)的魯棒性；在非平衡數(shù)據(jù)集上，除了在數(shù)據(jù)層面上優(yōu)化外，繼續(xù)研究算法本身的改進(jìn).