蓋秋艷,吳 倩,向 武,吳 錫
(成都信息工程學(xué)院,四川成都610225)
學(xué)生反饋獲得的課堂教學(xué)滿意度是衡量高等院校課堂教學(xué)質(zhì)量的重要指標(biāo),較為常見(jiàn)的3種指標(biāo):教師表現(xiàn)、課程學(xué)習(xí)便利度和教學(xué)效果[1-5]。教師表現(xiàn)指教師營(yíng)造積極、愉快的課堂氣氛的能力,以及是否能夠清楚地解釋講授的內(nèi)容[6-7]??傮w教學(xué)滿意度與獲取教師表現(xiàn)呈正相關(guān)。假設(shè)前提條件和教學(xué)資源是充足的[7],例如,課程結(jié)構(gòu)的均衡性和長(zhǎng)度方面[2],對(duì)于課程學(xué)習(xí)便利度而言,總體教學(xué)滿意度隨著學(xué)生對(duì)培訓(xùn)內(nèi)容的認(rèn)可度的增加而上升[8]。最后,教學(xué)效果與總體教學(xué)滿意度呈正相關(guān)。教學(xué)效果與教學(xué)目的及教育方法相結(jié)合,如明確的教學(xué)目標(biāo),課前預(yù)習(xí)等方面對(duì)教學(xué)效果有重要的影響[9-10]?,F(xiàn)有研究介紹了另外一些方法,例如對(duì)課程及參與者的特點(diǎn)研究[11-12];分析其他感知結(jié)構(gòu)的作用[13],如易用性的學(xué)習(xí)概念,這一概念從文獻(xiàn)信息系統(tǒng)衍生而來(lái),反映一個(gè)系統(tǒng)的接受度不僅取決于系統(tǒng)的效能及操作的條件,同時(shí)也依賴(lài)于對(duì)系統(tǒng)易用性的感知[14-15]。
學(xué)生反饋則是對(duì)課堂教學(xué)質(zhì)量進(jìn)行評(píng)價(jià)的重要手段,通常采用學(xué)生主觀問(wèn)卷的形式進(jìn)行數(shù)據(jù)收集,理想狀態(tài)下,這些統(tǒng)計(jì)數(shù)據(jù)能夠?qū)⒏倪M(jìn)教師教學(xué)的建設(shè)性機(jī)制有幫助。但是,現(xiàn)有常用學(xué)生主觀問(wèn)卷僅作為課堂教學(xué)的輔助性指標(biāo),一般對(duì)此類(lèi)數(shù)據(jù)只進(jìn)行簡(jiǎn)單的統(tǒng)計(jì)處理,并不提供問(wèn)卷信息的深層次分析,特別是多個(gè)統(tǒng)計(jì)參數(shù)間的相關(guān)性基本被忽略。
基于以上論述,為使學(xué)生反饋的有效性達(dá)到最大化,采用數(shù)據(jù)挖掘技術(shù)對(duì)學(xué)生課堂教學(xué)滿意度的測(cè)量構(gòu)建基于非線性決策樹(shù)的定量分析統(tǒng)計(jì)模型,并通過(guò)數(shù)據(jù)預(yù)處理、模型分析等方法在現(xiàn)有教學(xué)質(zhì)量統(tǒng)計(jì)的基礎(chǔ)上,對(duì)線性和非線性決策樹(shù)模型進(jìn)行分析,并使用Logit決策樹(shù)對(duì)成都信息工程學(xué)院開(kāi)設(shè)的本科專(zhuān)業(yè)必修課程《數(shù)字圖像處理》的學(xué)生反饋問(wèn)卷進(jìn)行課堂滿意度分析。
實(shí)證數(shù)據(jù)的采集,包括數(shù)據(jù)清理,預(yù)處理和建模。
符號(hào)用于作為標(biāo)記,一個(gè)標(biāo)量x∈R表示正常的腳本,矢量x∈Rn用粗體。矩陣X∈RN×n是加粗的大寫(xiě)符號(hào)。Xi(j)是X矩陣的一個(gè)表示jth實(shí)例的屬性值。N代表數(shù)據(jù)集中的數(shù)量屬性。c由y的值來(lái)決定,c是叉狀分枝的二分法計(jì)算。
數(shù)據(jù)來(lái)源于成都信息工程學(xué)院電子信息工程專(zhuān)業(yè)開(kāi)設(shè)的本科專(zhuān)業(yè)必修課程《數(shù)字圖像處理》,收集時(shí)間跨度為連續(xù)3個(gè)學(xué)年,391名學(xué)生。學(xué)生反饋調(diào)查問(wèn)卷表的設(shè)置根據(jù)對(duì)課堂教學(xué)質(zhì)量的3種指標(biāo)分為3大類(lèi)別,分別是課程學(xué)習(xí)便利度、教師表現(xiàn)和教學(xué)效果如表1所示。
表1 學(xué)生反饋問(wèn)卷調(diào)查表
為了建立實(shí)際的教育評(píng)價(jià)模型,首先需對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,包括數(shù)據(jù)清理和濾波器。
1.2.1 數(shù)據(jù)清理
目標(biāo)分為4個(gè)級(jí)別(如對(duì)一門(mén)課的總體評(píng)價(jià)),1分最低,4分最高。一些技術(shù)無(wú)法處理缺失值(如邏輯回歸),在屬性連續(xù)的情況下,這些值將被屬性的中值取代。在類(lèi)屬性的前提下,將使用眾數(shù)歸因。如果實(shí)效值超過(guò)10%,實(shí)效值關(guān)聯(lián)的實(shí)例將從數(shù)據(jù)集中刪除。目標(biāo)屬性實(shí)效值也將被刪除。具有一定順序的類(lèi)屬性使用thermometer編碼,否則使用虛擬編碼。
1.2.2 mRMR濾波器
在數(shù)據(jù)挖掘技術(shù)中,高維數(shù)據(jù)中的重復(fù)數(shù)據(jù)不容易被篩選[9,16-17]。在數(shù)據(jù)分析之前使用mRMR濾波技術(shù)。使用啟發(fā)式方法選擇最顯著的數(shù)據(jù)集。這種方法相對(duì)于不同的因子分析和主分量分析節(jié)省計(jì)算量,選出的數(shù)據(jù)不需要修正。
采用Peng的最小冗余和最大關(guān)聯(lián)濾波器[10]。濾波器建立在Shannon的信息理論基礎(chǔ)上,使用相互信息表達(dá)獨(dú)立的數(shù)據(jù)集屬性[18-19]。使Sm∈X包含m屬性,x(j),j=1,…,m。mRMR濾波器采用最大關(guān)聯(lián)及最小冗余的標(biāo)準(zhǔn),子集S的關(guān)聯(lián)性被定義為:
S子集的冗余性定義為:
I(x(j);x(j′)表示在2個(gè)任意變量x(j)和x(j′)的相互信息,定義為:
mRMR濾波器最終將相關(guān)性和冗余性計(jì)算成一個(gè)公式:
使用濾波器技術(shù),每次對(duì)10個(gè)最好的子集特征進(jìn)行建模。
使用基于決策樹(shù)的方法進(jìn)行數(shù)據(jù)分析,但是由于簡(jiǎn)單的線性決策樹(shù)無(wú)法獲得準(zhǔn)確結(jié)果,在此基礎(chǔ)上使用對(duì)數(shù)回歸(Logistic Regression)構(gòu)筑非線性模型進(jìn)行分析[20-21]。
決策樹(shù)分類(lèi)器由于其靈活性、計(jì)算效率高以及便于理解得到廣泛應(yīng)用,其典型包括分類(lèi)和決策樹(shù)(Classification and Regression Tree,CART)和間接分類(lèi)器1(Oblique Classifier 1,OC1),前者產(chǎn)生一元的樹(shù)結(jié)果,后者產(chǎn)生的樹(shù)則在每個(gè)分支考慮多種參數(shù)。
CART同時(shí)實(shí)現(xiàn)分類(lèi)的回歸過(guò)程,在每個(gè)分支,樹(shù)的產(chǎn)生算法僅考慮單一參數(shù),其分類(lèi)準(zhǔn)則一般使用Gini分散指數(shù)(Gini Diversity Index,GDI)[22]:
不同于一元樹(shù),OC1試圖獲得式6的超平面,在允許合理靈活性的基礎(chǔ)上獲得更精確結(jié)果:
當(dāng)輸出是普通參數(shù)時(shí),一般使用普通回歸進(jìn)行模型擬合,而對(duì)數(shù)回歸則將輸出限制在0~1,便于將輸出用于表示為類(lèi)的概率,則累積對(duì)數(shù)回歸模型對(duì)類(lèi)k使用式7描述其累積對(duì)數(shù)概率:
用于測(cè)量分級(jí)性能最直接的參數(shù)是正確分類(lèi)的比 例 (Percentage of Correctly Classification,PCC)[23]。PCC實(shí)質(zhì)是有混淆矩陣所有對(duì)角元素之和被實(shí)例總和相除。這種方法被廣泛應(yīng)用到多元分類(lèi),在混淆矩陣中的每一個(gè)元素(k,r)代表屬于k類(lèi)的實(shí)例,由r類(lèi)實(shí)例標(biāo)記。在這個(gè)運(yùn)算中,每一個(gè)實(shí)例被分配到所有c關(guān)聯(lián)類(lèi)中的最高隸屬值中。根據(jù)PCC,使用從信用評(píng)估領(lǐng)域中的notch差異圖表[18]。PCC對(duì)于等誤分類(lèi)進(jìn)行假設(shè),得出了不同種類(lèi)的等誤分類(lèi),通過(guò)觀察,這種假設(shè)并不是最適合的方法[24]。假設(shè)目標(biāo)分類(lèi)的值是按自然順序排列,區(qū)分屬于類(lèi)別3中的類(lèi)別1實(shí)例相比區(qū)分類(lèi)別2中相同的實(shí)例會(huì)產(chǎn)生錯(cuò)誤數(shù)據(jù),因?yàn)轭?lèi)別2數(shù)據(jù)來(lái)源于實(shí)際數(shù)據(jù)和預(yù)測(cè)數(shù)據(jù)之間的1notch差異。因此notch差異圖表要比PCC提供更精準(zhǔn)的數(shù)據(jù)信息,notch差異圖是信用評(píng)分相關(guān)的一種統(tǒng)計(jì)方法,如圖1所示。
圖1 notch差異圖
較之分類(lèi)性能,不存在單一的算子對(duì)模型的可理解度進(jìn)行量化分析[25]。理解度被認(rèn)為在某種程度上是對(duì)分類(lèi)模型理解的心理適應(yīng)過(guò)程,具有一定的主觀性[26],這種心理適應(yīng)的受模型的類(lèi)別和大小影響。個(gè)人差異如經(jīng)驗(yàn)和教育程度對(duì)決策模型中可獲知的理解性有重要影響[27]。
研究中,對(duì)多種線性和非線性模型的可理解度進(jìn)行分析,分析方法包括2個(gè)方面。首先是表征方法,基于符號(hào)的表征方法更便于視覺(jué)接受和理解[22,28],第二是模型復(fù)雜度,一般認(rèn)為,越簡(jiǎn)單的模型,越便于理解,但是對(duì)于分類(lèi)器模型可理解度和模型復(fù)雜度的關(guān)系目前并未見(jiàn)相關(guān)資料,使用決策樹(shù)的葉節(jié)點(diǎn)數(shù)量表征模型復(fù)雜度,葉節(jié)點(diǎn)越多,其復(fù)雜度越高。
首先對(duì)CART、OC1和Logit 3種分類(lèi)器的性能進(jìn)行比較分析,分析數(shù)據(jù)集中數(shù)據(jù)顯著性在10%以內(nèi)數(shù)據(jù),對(duì)分析結(jié)果選擇其中效果較好的Logit分類(lèi)器對(duì)成都信息工程學(xué)院本科專(zhuān)業(yè)必修課程《數(shù)字圖像處理》學(xué)生調(diào)查數(shù)據(jù)建模和分析。
如表2所示,3種分類(lèi)器中,性能最好的為L(zhǎng)ogit分類(lèi)器,其PCC最高,達(dá)到0.65,明顯高于另2種線性分類(lèi)器,而CART和OC1 2種線性決策樹(shù)性能較差的原因,可能在于其無(wú)法充分獲取數(shù)據(jù)間的非線性相關(guān)性。對(duì)于其可理解性,Logit模型的葉節(jié)點(diǎn)數(shù)量相對(duì)不是最低,但是較之平均節(jié)點(diǎn)最少的OC1,OC1其節(jié)點(diǎn)數(shù)量方差達(dá)到3.43,說(shuō)明該分類(lèi)器并不穩(wěn)定,基于綜合考慮選擇Logit決策樹(shù)進(jìn)行全部數(shù)據(jù)的分析。
表2 分類(lèi)器性能和可理解度比較
如圖2所示,Logit決策樹(shù)表示學(xué)生對(duì)于使用數(shù)據(jù)集的課堂教學(xué)的反饋度,由圖可知,學(xué)生最關(guān)注的是課程學(xué)習(xí)的便利程度,如果該指標(biāo)較低,就算教師表現(xiàn)較好,仍然無(wú)法獲得較高的學(xué)生課堂滿意度,該結(jié)論可以用于解釋和指導(dǎo)雙語(yǔ)教學(xué)的效果,當(dāng)在專(zhuān)業(yè)課程中,使用英語(yǔ)程度過(guò)高,學(xué)生難于學(xué)習(xí)和接受課堂內(nèi)容時(shí),即使學(xué)生對(duì)教師個(gè)人素質(zhì)認(rèn)可較高,仍會(huì)對(duì)課程存在不同程度的意見(jiàn)。其次,當(dāng)課程學(xué)習(xí)便利程度較高時(shí),教師表現(xiàn)較之其他參數(shù)具有更高的重要性,反之,當(dāng)課程學(xué)習(xí)便利程度較低時(shí),課堂教學(xué)的有效性則更重要。這樣的結(jié)論也與實(shí)際觀察相符合,由于雙語(yǔ)教學(xué)使用英文原版教材,學(xué)生受英語(yǔ)水平、專(zhuān)業(yè)能力等影響,對(duì)于原版教材具有較高排斥,在這種教學(xué)不便條件下,在課堂上,對(duì)教材的關(guān)鍵內(nèi)容進(jìn)行細(xì)致深入講解后,學(xué)生對(duì)課堂教學(xué)的認(rèn)同度則相對(duì)較高,如果忽略教材的細(xì)致講解,將會(huì)造成學(xué)生因?yàn)榻滩牟灰桌斫?,從而?dǎo)致對(duì)教學(xué)質(zhì)量產(chǎn)生負(fù)面評(píng)價(jià)。
圖2 Logit決策樹(shù)狀數(shù)據(jù)
使用Logit決策樹(shù)對(duì)《數(shù)字圖像處理》雙語(yǔ)課程近3年的學(xué)生課堂教學(xué)滿意度調(diào)查問(wèn)卷進(jìn)行數(shù)據(jù)挖掘和定量建模分析,經(jīng)過(guò)數(shù)據(jù)預(yù)處理、模型評(píng)估,選擇非線性的Logit決策樹(shù)對(duì)學(xué)生3個(gè)類(lèi)別、10個(gè)不同變量的反饋調(diào)查問(wèn)卷進(jìn)行分析,并構(gòu)筑樹(shù)狀模型。結(jié)果表明,該模型符合對(duì)學(xué)生課堂滿意度的主觀解讀,可為課堂教學(xué)管理提供有效的定量分析工具。針對(duì)調(diào)查問(wèn)卷獲得的抽象信息,使用決策樹(shù)的技術(shù)進(jìn)行數(shù)據(jù)挖掘,對(duì)問(wèn)卷信息進(jìn)行定量準(zhǔn)確分析?;诖怂悸罚紫葟?qiáng)調(diào)使用決策樹(shù)技術(shù)的有效性和可靠性,在此基礎(chǔ)上對(duì)于線性和非線性決策樹(shù)的優(yōu)缺點(diǎn)進(jìn)行比較和總結(jié),其作用和優(yōu)點(diǎn)主要有兩方面,第一,結(jié)果簡(jiǎn)潔直觀,如圖2所示。不同情況的分析結(jié)果可由決策樹(shù)直接描述,避免了問(wèn)卷多個(gè)內(nèi)容反映一個(gè)信息,輸出信息量繁雜帶來(lái)的誤解;第二,結(jié)果定量可靠,推測(cè)結(jié)果由其不同概率的統(tǒng)計(jì)結(jié)論支持,避免不同條件下的主觀分析差異。
[1] J Chih,C Liu,H Lee.Relationship between trainee attitudes and dimensions of training satisfaction:an empirical study with training institute employees[J].International Journal of Management,2008,25(4):756-763.
[2] A Giangreco,A Carugati,A Sebastiano,et al.Trainees’reactions to training:shaping groups and courses for happier trainees in an italian context[J].The International Journal of Human Resources Management,2010,21(13):2468-2487.
[3] A Giangreco,A Sebastiano,R Peccei.Trainees’reactions to training:an analysis of the factors affecting overall satisfaction with training[J].The International Journal of Human Resources Management 2009,20(1):96-111.
[4] L Long,C Dubois,R Faley.Online training:the value of capturing trainee reactions[J].Journal of Workplace Learning 2008,20(1):21-37.
[5] L Sargent,B Allen,J Frahm,et al.Enhancing the experience of student teams in large classes[J].Journal of Management Education 2009,33(5):526-552.
[6] M Gatta,P Ross.Rethinking occupational integration[J].Sociological Forum,2005,20(3):369-402.
[7] G Rabey.Diagnose then ACT.Some thoughts on Training Today[J].Industrial and Commercial Training 2007,39(3):164-169.
[8] P Kidder,J Rouiller.Evaluating the success of a large-scale training effort[J].National Productivity Review,1997,16(2):79-89.
[9] T Menzies,J Greenwald,A Frank.Data mining static code attributes to learn defect predictors[J].IEEE Transactions on Software Engineering,2007,32(11)2-13.
[10] C Shannon,W Weaver.The Mathematical Theory of Communication[M].University of Illinois Press:Urbana,1949.
[11] C M Bishop.Neural Networks for Pattern Recognition[M].Oxford University Press:Oxford,1995.
[12] T Sitzmann,K Brown,W Casper K,et al.Zimmerman,A review and misanalysis of the nomological network of trainee reactions[J].Journal of Applied Psychology 2008,93:280-295.
[13] A Giangreco,F(xiàn) Goethals.Students’overall satisfaction with training in a business education institution going through international accreditation processes[D].Working paper,IESEG School of Management,2011.
[14] F Davis.Perceived usefulness,perceived ease of use,and user acceptance of information[J].MIS Quarterly 1989,13(3):319-339.
[15] V Venkatesh,M Morris,G Davis,et al.User acceptance of information technology:toward a unified view[J].MIS Quarterly,2003,27(3):425-478.
[16] K Dejaeger,W Verbeke,D Martens,et al.Data mining techniques for software effort estimation:a comparative study [J]. IEEE Transactions on Software Engineering [EB/OL].http://doi.ieeecomputersociety.org/10.1109/TSE.2011.55.
[17] W Verbeke,K Dejaeger,D.Martens,et al.New insights into churn prediction in the telecommunication sector:aprofit driven data mining approach[J].European Journal of Operational Research,2012,28(1):211-229.
[18] E Altman,H Rijken.How rating agencies achieve rating stability[J].Journal of Banking & Finance,2004,28(11):2679-2714.
[19] H Peng,F(xiàn) Long,C Ding.Feature selection based on mutual information:criteria of max-dependency,max-relevance,and min-redundancy[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(8):1226-1238.
[20] P Domingos.The role of Occam’s razor in knowledge discovery[J].Data Mining and Knowledge Discovery,1999,9(4):409-425.
[21] W Loh,Y Shih.Split selection methods for classification trees[J].Statistica Sinica7,1997:815-840.
[22] W Arthur Jr,W Bennet Jr,P A.Edens.et al.Effectiveness of training in organizations:a meta-analysis of design and evaluation features[J].Journal of Applied Psychology,2003,88(2):627-635.
[23] B Baesens,C Mues,D Martens,et al.50years of data mining and OR:upcoming trends and challenges[J].Journal of the Operational Research Society,2009,60:16-23.
[24] D Hand,R Till.A simple generalisation of the area under the ROC curve for multiple class classification problems[J].Machine Learning,2001,45:171-186.
[25] J Huysmans,K Dejaeger,C Mues,et al.An empirical evaluation of the comprehensibility of decision table,tree and rule based predictive systems[J].Decision Support Systems,2011,51(1):141-154.
[26] I Askira-Gelman.Knowledge discovery:comprehensibility of the results[C].in:Proceedings of the 31th Annual Hawaii International Conference on SystemSciences,USA,1998,5:245-256.
[27] I Benbasat,R N Taylor.Behavioral aspects of information processing for the design of management information systems[C].IEEE Transactions on Systems,Man,and Cybernetics,1982,12(4):439-450.
[28] R Velada,A Caetano.Training transfer:the mediating role of perception of learning[J].Journal of European Industrial Training,2007,31(4):283-296.