孫慶
(上海市黃浦區(qū)教育信息中心,上海200011)
數(shù)據(jù)挖掘中描述性數(shù)據(jù)匯總技術(shù)在中小學(xué)教學(xué)質(zhì)量分析中的應(yīng)用
孫慶
(上海市黃浦區(qū)教育信息中心,上海200011)
本文重點闡述了在基于學(xué)科考試的中小學(xué)教學(xué)質(zhì)量分析過程中,如何利用數(shù)據(jù)挖掘過程中的描述性數(shù)據(jù)匯總技術(shù),對考試分?jǐn)?shù)實施匯總分析,展現(xiàn)考試分?jǐn)?shù)的數(shù)據(jù)特征,識別考試分?jǐn)?shù)中的噪聲數(shù)據(jù),進(jìn)而為有效開展學(xué)科教學(xué)質(zhì)量的測評分析提供科學(xué)依據(jù)。
教學(xué)質(zhì)量分析;數(shù)據(jù)挖掘;數(shù)據(jù)預(yù)處理;描述性數(shù)據(jù)匯總
為了全面提高中小學(xué)學(xué)科教學(xué)質(zhì)量,有效地指導(dǎo)學(xué)校開展學(xué)科教學(xué)活動,區(qū)(縣)基礎(chǔ)教育管理部門往往需要通過開展區(qū)域性的學(xué)科統(tǒng)考,并對考試成績實施全樣本數(shù)據(jù)統(tǒng)計分析,從中獲取基于不同層面的學(xué)科教學(xué)質(zhì)量的反饋信息,并據(jù)此對區(qū)域內(nèi)學(xué)校的學(xué)科教學(xué)實施有效的監(jiān)測和指導(dǎo)。因此,構(gòu)建以成績統(tǒng)計分析為基礎(chǔ)的中小學(xué)教學(xué)質(zhì)量分析系統(tǒng),成了區(qū)(縣)基礎(chǔ)教育管理部門較為關(guān)注的一項信息化建設(shè)工作。
然而,對于教學(xué)質(zhì)量分析系統(tǒng)來講,其上層應(yīng)用特色應(yīng)體現(xiàn)在,能夠針對區(qū)內(nèi)學(xué)校的學(xué)科教學(xué)質(zhì)量及學(xué)生學(xué)業(yè)發(fā)展水平,為區(qū)教育管理部門提供全面、準(zhǔn)確、綜合的評估分析報告。進(jìn)而為區(qū)教育管理部門,對全區(qū)學(xué)校的學(xué)科教學(xué)質(zhì)量實施有效監(jiān)控,提供科學(xué)的輔助決策依據(jù)。但是,要達(dá)到上述之目的,構(gòu)建的教育質(zhì)量分析系統(tǒng)就必須具備能夠分析、呈現(xiàn)考試成績的總體數(shù)據(jù)特征,以及辨識、去除隱藏于考試成績中的噪聲數(shù)據(jù)的功能。而這些功能,正是對數(shù)據(jù)挖掘在預(yù)處理過程中所利用的描述性匯總技術(shù)的具體實現(xiàn)。
1.數(shù)據(jù)挖掘
數(shù)據(jù)挖掘(DM,Data Mining)就是從常態(tài)生成的、帶有噪聲的、大容量的真實業(yè)務(wù)數(shù)據(jù)中,尋找并獲取隱藏其內(nèi)的新的知識和信息的過程。這個過程對駐留在數(shù)據(jù)庫中的已有的大量數(shù)據(jù),實施了抽取、轉(zhuǎn)換、分析及模型化處理,并最終為實際業(yè)務(wù)的開展生成提供了具有輔助決策支持作用的關(guān)鍵性數(shù)據(jù)。數(shù)據(jù)挖掘的過程,有效地實現(xiàn)了對原有業(yè)務(wù)數(shù)據(jù)的進(jìn)一步的深度應(yīng)用。數(shù)據(jù)挖掘經(jīng)常被稱為另一個常用的術(shù)語:數(shù)據(jù)庫中的知識發(fā)現(xiàn)(KDD,Knowledge Discovery in Databases)。通常知識發(fā)現(xiàn)的過程由以下步驟組成:數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)選擇、數(shù)據(jù)變換、數(shù)據(jù)挖掘、模式評估和知識表示。
2.數(shù)據(jù)預(yù)處理
由于真實的業(yè)務(wù)數(shù)據(jù)存在著缺陷,帶有噪聲且不甚完整。如果對這類品質(zhì)不高的數(shù)據(jù)急于實施數(shù)據(jù)挖掘,必然會影響最終的數(shù)據(jù)挖掘結(jié)果。然而,通過數(shù)據(jù)預(yù)處理則可以有效地改善數(shù)據(jù)的質(zhì)量,以使后續(xù)實施的數(shù)據(jù)挖掘過程,能夠在性能和精度上得到盡可能大地提高。利用數(shù)據(jù)預(yù)處理技術(shù)可以先期檢測到各類異常數(shù)據(jù),從而為調(diào)整改善數(shù)據(jù)質(zhì)量和規(guī)范約束待分析數(shù)據(jù),創(chuàng)造了有利條件。數(shù)據(jù)預(yù)處理為最后獲得高質(zhì)量的知識發(fā)現(xiàn),提供了重要的基礎(chǔ)保障。由此可以看到,數(shù)據(jù)預(yù)處理的重要作用體現(xiàn)在,它為改善現(xiàn)實數(shù)據(jù)的質(zhì)量和獲取高質(zhì)量的數(shù)據(jù)挖掘結(jié)果,奠定必要的基礎(chǔ)。所以,數(shù)據(jù)預(yù)處理是知識發(fā)現(xiàn)過程中不可或缺的重要環(huán)節(jié),它由數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)規(guī)約等幾個步驟構(gòu)成。
3.描述性數(shù)據(jù)匯總
全面了解數(shù)據(jù)的整體特征,是成功實施數(shù)據(jù)預(yù)處理的必要前提。那么如何才能準(zhǔn)確有效地獲取數(shù)據(jù)的整體特征,并充分展示出數(shù)據(jù)集的集中趨勢和離散趨勢呢?對這個問題的回答是:必須利用描述性數(shù)據(jù)匯總技術(shù)。描述性數(shù)據(jù)匯總技術(shù)主要是基于一批描述性統(tǒng)計度量,對數(shù)據(jù)實施計算分析,識別出數(shù)據(jù)的固有特性,暴露出潛藏在數(shù)據(jù)中的噪聲點或離群點。這批統(tǒng)計度量由兩類組成,其中一類是用于描述數(shù)據(jù)集中趨勢的度量:中位數(shù)(median)、眾數(shù)(mode)和平均值(mean)。而另一類是用于描述數(shù)據(jù)離散趨勢的度量:標(biāo)準(zhǔn)差(σ)、四分位數(shù)(quartiles)和四分位極差(IQR)。
1.度量考試分?jǐn)?shù)的集中趨勢特征
在描述性數(shù)據(jù)匯總中,用以考察度量數(shù)據(jù)集中趨勢的方法常見的有三種,它們分別是分布式度量(distributive measure)、代數(shù)度量(algebraicmeasure)和整體度量(holistic measure)。其中,分布式度量是指,把數(shù)據(jù)集分割成更小的數(shù)據(jù)子集,然后計算出每個子集的度量值,最后將計算結(jié)果進(jìn)行合并以得到整個數(shù)據(jù)集度量值的度量。代數(shù)度量是指,由包含了一個或多個分布式度量的代數(shù)函數(shù)所計算的度量。而整體度量是指,對整個數(shù)據(jù)集計算的度量。
在中小學(xué)教學(xué)質(zhì)量分析中,當(dāng)導(dǎo)入一次考試的所有學(xué)生的原始考分后,是通過計算平均分、眾數(shù)和中位數(shù)這三個集中量數(shù)來獲取這批原始考分的集中趨勢信息的。然而,平均分、眾數(shù)和中位數(shù)正是屬于描述性數(shù)據(jù)匯總技術(shù)中的集中趨勢度量。其中,平均數(shù)屬于代數(shù)度量,因為它可以通過分布式度量sum()/count()計算得到,而中位數(shù)和眾數(shù)都是屬于整體度量。如果是區(qū)(縣)級的學(xué)科質(zhì)量測評考試,依據(jù)平均分、眾數(shù)和中位數(shù)這三個集中量數(shù)就可以對區(qū)內(nèi)不同學(xué)校之間的學(xué)科教學(xué)質(zhì)量進(jìn)行比較;如果是校級的學(xué)科質(zhì)量測評考試,則可以對校內(nèi)不同班級之間的學(xué)科質(zhì)量進(jìn)行比較。因為平均分、眾數(shù)和中位數(shù)能夠很好地歸納出,基于不同層面(學(xué)校、班級)的考生群體的總體考核情況。
(1)平均分(mean)
平均數(shù)就是指一組數(shù)據(jù)值的均值,它是考察和度量數(shù)據(jù)集中趨勢最有效、最常用的數(shù)據(jù)度量值。在教育質(zhì)量分析中,我們稱之為平均分,也就是指考試原始分?jǐn)?shù)的算術(shù)平均數(shù):
其中,Xi代表第i個考生的原始考分,n代表參加考試的考生總?cè)藬?shù)。平均分容易計算、易于理解,并具有較強(qiáng)的代表性。但是,平均分的主要問題是對于極端值表現(xiàn)得比較敏感,容易受到極端數(shù)值的影響而致使其喪失代表性。例如,某次考試很可能因為少數(shù)幾個非常低的分?jǐn)?shù)而拉低了整個考試的平均分。因此,為了消除少數(shù)極端數(shù)據(jù)值對平均分的影響,我們可以去除數(shù)據(jù)集合高、低兩端的極端數(shù)值,然后再計算出能夠更加準(zhǔn)確地體現(xiàn)集中趨勢的均值。例如,在計算考試平均分時,我們可以考慮去掉原始考分中,高、低兩端一定比例的數(shù)據(jù)值,使計算得到的平均分能夠更為準(zhǔn)確地描述出原始考分的集中趨勢,從而為反映考生群體的總體水平提供有效的度量信息。當(dāng)然,被去除數(shù)據(jù)的比例值需謹(jǐn)慎確定,如果比例太大反而會適得其反,影響平均分的有效性。
(2)中位數(shù)(median)
就考試而言,中位數(shù)是指在全樣本空間內(nèi),將全部考生的原始成績按序排列,若考生人數(shù)為單數(shù),就取正中間的那一個分?jǐn)?shù)作為考試成績的中位數(shù);若考生人數(shù)為雙數(shù),則取中間兩個分?jǐn)?shù)的平均數(shù)作為考試成績的中位數(shù)。相比于平均分,中位數(shù)的優(yōu)勢在于,其度量值不受極端數(shù)值影響。當(dāng)遇到平均分受到極端考分影響而失去代表性時,就可以用中位數(shù)的大小來代表這次考試分?jǐn)?shù)。中位數(shù)屬于整體度量,其缺點在于不夠靈敏,且沒有平均分可靠。
當(dāng)然,中位數(shù)還可以通過劃分?jǐn)?shù)據(jù)區(qū)間的方法(或稱分組)來計算獲取,具體的計算方法是:按照指定的組距(即數(shù)據(jù)區(qū)間寬度)將數(shù)據(jù)集劃分成若干個連續(xù)的數(shù)據(jù)區(qū)間,然后確定每個區(qū)間內(nèi)的數(shù)據(jù)個數(shù)(即,區(qū)間頻率)。例如,可以按照10分的區(qū)段間隔,將原始考分劃分入0~10,10~20,20~30等區(qū)間,然后清點每個區(qū)間內(nèi)原始考分的個數(shù)。我們把包含中位數(shù)的那個區(qū)間稱為中位數(shù)區(qū)間,而中位數(shù)就可以按照下面這個公式計算獲取:
其中,Ll是中位數(shù)所在區(qū)間的下限,N是整個數(shù)據(jù)集的數(shù)據(jù)個數(shù),(∑freq)l是低于中位數(shù)所在區(qū)間的其它所有區(qū)間的頻率總和,freqmedian是中位數(shù)所在區(qū)間的頻率,width是數(shù)據(jù)區(qū)間的寬度。當(dāng)然,這樣計算得到的只能是數(shù)據(jù)集中位數(shù)的近似值。
(3)眾數(shù)(mode)
在數(shù)據(jù)集合中,出現(xiàn)次數(shù)最多的那個數(shù)被稱為眾數(shù)。就考試而言,眾數(shù)就是考試成績樣本空間中,出現(xiàn)頻率最高的那個分?jǐn)?shù)。眾數(shù)也屬于整體度量,它的特點是用頻數(shù)大小來呈現(xiàn)數(shù)據(jù)的集中趨勢。因此,眾數(shù)也是一個被用來反映考試總體狀況的度量值。但是,眾數(shù)的有效性會受限于樣本數(shù)據(jù)的數(shù)量。例如,如果考生人數(shù)不多,就有可能會導(dǎo)致每個原始考分只出現(xiàn)一次,這樣的話,就沒有眾數(shù)可尋了。當(dāng)然,也存在著這樣一種情況,如果考試成績中有多個高頻出現(xiàn)的分?jǐn)?shù),那么就會導(dǎo)致有多個眾數(shù)出現(xiàn)。所以,眾數(shù)只有在考試人數(shù)足夠多,且考試成績具有明顯的集中趨勢的情況下才顯得有意義。
(4)利用平均分、中位數(shù)和眾數(shù)對考試做趨勢性分析
對考試原始分繪制頻率分布曲線時,如果得到的是適度傾斜的單峰頻率曲線,那么平均分、中位數(shù)和眾數(shù)這三個集中量數(shù)之間,存在著如下關(guān)系:
由此,我們可以發(fā)現(xiàn)對于能產(chǎn)生適度傾斜的原始分單峰頻率曲線的考試來講,就能通過該關(guān)系式推算出考試原始分?jǐn)?shù)據(jù)集合中的眾數(shù)。
對于呈正態(tài)分布的原始分單峰頻率分布曲線(見圖1)來講,平均分、中位數(shù)和眾數(shù)都是相同的中心值,這當(dāng)然是一種理想化考試結(jié)果的呈現(xiàn)。它說明了就本次考試而言,考生群體學(xué)業(yè)水平能力以中等為主,有相對優(yōu)秀和相對較差的學(xué)生存在,但不占主體。
對于呈正偏態(tài)分布的原始分單峰頻率分布曲線(見圖2)來講,mode<median<mean;這表明考分高于平均分的考生低于50%。如果此時的平均分較低,則說明就本次考試而言,考生群體的學(xué)業(yè)水平能力較差(當(dāng)然這種情況也有可能是因為試卷難度較高而造成的)。
對于呈負(fù)偏態(tài)分布的原始分單峰頻率分布曲線(見圖3)來講,mode>median>mean,這表明考分高于平均分的考生超過了50%。如果此時的平均分較高,則說明就本次考試而言,考生群體的學(xué)業(yè)水平能力較高(當(dāng)然這種情況也有可能是因為試卷難度較低而造成的)。
圖1
圖2
圖3
2.度量考試分?jǐn)?shù)的離散趨勢特征
在分析數(shù)據(jù)集合的離散程度時最常用的度量有:極差(R)、標(biāo)準(zhǔn)差(σ)和中間四分位數(shù)極差(IQR),我們稱之為差異量數(shù)。這三個差異量數(shù)可以用來描述一批分?jǐn)?shù)的差異程度。如果說度量考試分?jǐn)?shù)中心趨勢特征的集中量數(shù)是一個中心點,它讓所有分?jǐn)?shù)圍繞著它分布;那么用于度量考試分?jǐn)?shù)離散趨勢特征的差異量數(shù),則是用于表示各分?jǐn)?shù)與中心點之間的距離,它描述了分?jǐn)?shù)與中心點之間存在的差異統(tǒng)計值。利用這三個差異量數(shù)對考試成績進(jìn)行數(shù)據(jù)離散趨勢分析時,可以準(zhǔn)確地了解參加考試的學(xué)生群體在學(xué)科學(xué)業(yè)水平上存在的差異狀況。
(1)極差 (R)
極差(又稱全距)是一組數(shù)據(jù)中的最大值與最小值之差。極差用R來表示:
在對考試成績做統(tǒng)計分析時,極差就是一次考試中的最高分和最低分之差。極差在某種程度上反映了參與考試的學(xué)生群體,在學(xué)業(yè)水平上存在的最大差距。極差雖然計算簡單、意義明確,但是它的大小完全由位于兩個極端的分?jǐn)?shù)來決定,它無法對位于兩個極端分?jǐn)?shù)之間的其他分?jǐn)?shù)的差異性狀況進(jìn)行有效分析。因此,如果僅用極差來描述考試分?jǐn)?shù)的整體離散趨勢狀況,效果肯定是很差的。就如同,如果一次考試的最高分是滿分,而最低分是0分,那么就不存在極差的度量意義了。但是,我們還是可以利用極差粗略地了解關(guān)于某次考試學(xué)生成績的最大差異。
(2)標(biāo)準(zhǔn)差(σ)
標(biāo)準(zhǔn)差是方差的平方根,又稱為均方差,用σ來表示:
標(biāo)準(zhǔn)差是一個能夠有效衡量、精確描述數(shù)據(jù)分散程度的差異量數(shù)。它能對一次考試分?jǐn)?shù),偏離平均分程度的大小給出明確的判斷。如果標(biāo)準(zhǔn)差越小,考試分?jǐn)?shù)就越向平均分集中,即分?jǐn)?shù)的分布差異越小。反之,則說明考試分?jǐn)?shù)離開平均分的程度增大,分?jǐn)?shù)分布的差異也越大。一般情況下,如果考試分?jǐn)?shù)的頻率分布呈現(xiàn)正態(tài)分布,那么極差應(yīng)該大致等于6個標(biāo)準(zhǔn)差(R≈6σ)。
組合使用極差和標(biāo)準(zhǔn)差這兩個差異量數(shù),可以準(zhǔn)確有效地判斷出數(shù)據(jù)集合的離散差異程度。特別是在教學(xué)質(zhì)量分析中,極差和標(biāo)準(zhǔn)差的組合使用,可以準(zhǔn)確有效地分析出考試分?jǐn)?shù)的離散分布狀況,并由此推斷出參與考試的學(xué)生群體在學(xué)業(yè)水平上存在的差異和不同。當(dāng)然,也可以依據(jù)這種分析對試卷的質(zhì)量做出評判。例如,如果根據(jù)考試分?jǐn)?shù)計算得到的極差和標(biāo)準(zhǔn)差均很小,則反映了考生的學(xué)業(yè)水平非常接近。但這種情況也很可能說明試卷的命題組卷出現(xiàn)了問題,導(dǎo)致無法拉開考生的成績,進(jìn)而也掩蓋了考生實際學(xué)業(yè)水平的真實差距。反之,如果極差和標(biāo)準(zhǔn)差均很大,這就表明考生群體的學(xué)業(yè)水平整體差異性較大,高水平學(xué)生和低水平學(xué)生都很多。
(3)中間四分位數(shù)極差(IQR)
在按升序排列的數(shù)據(jù)集合中,第k個百分位數(shù)是指該數(shù)在數(shù)據(jù)集合中的定位,即,數(shù)據(jù)集合中有k%的數(shù)據(jù)小于或等于該數(shù)。據(jù)此定義,中位數(shù)就是第50個百分位數(shù),第25個百分位數(shù)被稱為第一四分位數(shù)(Q1),而第75個百分位數(shù)被稱為第三四分位數(shù)(Q3)。而中間四分位數(shù)極差(IQR)就是指按升序排列的數(shù)據(jù)集合中,第三四分位數(shù)與第一四分位數(shù)的差值:
IQR值反映的是中間數(shù)值的分散程度,對于教學(xué)質(zhì)量分析來講,它描述的是原始考試分?jǐn)?shù)集中分布的范圍,反映了考生成績的集中趨勢狀況。從使用經(jīng)驗上講,一般一組數(shù)據(jù)中的可疑離群點(或稱數(shù)據(jù)噪聲),其位置基本位于高于第三個四分位或低于第一個四分位數(shù)的1.5 X IQR處。在教育質(zhì)量分析中,利用這一方式可以有效地識別和剔除考分中的那些無意義的分?jǐn)?shù)。例如,誤將缺考學(xué)生的成績(0分)納入考分統(tǒng)計樣本之中;由于特殊原因?qū)е聜€別學(xué)生無法進(jìn)行正??荚嚩a(chǎn)生不正常的低分;個別學(xué)生提前知道試卷答案得到了異乎尋常的高分。這些分?jǐn)?shù)數(shù)值一般都有可能超過了四分位數(shù)極差值的1.5倍,這足以提醒分析人員倍加關(guān)注并確定是否要予以剔除,從而有效地減小其對考試評估分析的影響。
在中小學(xué)基于考試成績所做的教育質(zhì)量分析中,我們可以利用中位數(shù)、兩個四分位數(shù)(Q1、Q3)以及原始分的最小值和最大值這五個描述性數(shù)據(jù)度量值,總體概括出考生成績的集中趨勢和離散程度。在數(shù)據(jù)挖掘中,這種描述性數(shù)據(jù)匯總技術(shù)又被稱之為五數(shù)概括(five-number summary),而利用盒狀圖又可以直觀地呈現(xiàn)五數(shù)概括所要反映的數(shù)據(jù)特征。
圖4給出的是一次區(qū)域性數(shù)學(xué)學(xué)科考試中,參加考試的每所學(xué)校的考試成績的盒狀圖。盒子的上下兩條底邊,分別代表的是Q1和Q3兩個四分位數(shù),而盒子的高度就是中間四分位極差I(lǐng)QR。盒子中間的橫線代表中位數(shù)。盒子上下兩條線的末端,代表的是每所學(xué)校的最高考分和最低考分。由于在不出現(xiàn)極端考分?jǐn)?shù)據(jù)值的情況下,在盒狀圖中使用平均分能更好反映各??荚嚦煽兊目傮w趨勢,因此此圖中用平均分取代了中位數(shù)。另外,盒狀圖中兩個四分位數(shù)(Q3、Q1)分別被調(diào)整為排名前25%學(xué)生和排名后25%學(xué)生的成績平均分(分別被稱為高分組平均分和低分組平均分),這也是為了更好的反映各校考生的考試成績在上、下兩端間的整體差距。
由圖我們可以看到,利用平均分這個描述數(shù)據(jù)集中趨勢的集中量數(shù),很好地說明了各校學(xué)生成績在區(qū)內(nèi)的整體定位;而兩個四分位數(shù)所形成的IQR這個用于描述數(shù)據(jù)離散趨勢的差異量,也清晰地反映了各校學(xué)生學(xué)業(yè)水平的差異狀況。
圖4
用于度量考試分?jǐn)?shù)中心趨勢特征的平均分、眾數(shù)和中位數(shù),以及用于度量考試分?jǐn)?shù)離散趨勢特征的極差、標(biāo)準(zhǔn)差和中間四分位數(shù)極差,這些描述性統(tǒng)計量在中小學(xué)教學(xué)質(zhì)量分析中的應(yīng)用,可以幫助我們有效地理解原始考分?jǐn)?shù)據(jù)的總體特征和分布情況。從數(shù)據(jù)挖掘的角度來看,我們應(yīng)該充分理解這些描述性統(tǒng)計量的計算意義并合理地使用它們,形成科學(xué)準(zhǔn)確的分析結(jié)果,挖掘出隱藏在考試成績背后的知識信息。從而為教育管理部門監(jiān)測區(qū)內(nèi)學(xué)校教育質(zhì)量、開展課程教學(xué)指導(dǎo),提供有效的決策依據(jù)。
[1][加]Jiawei Han著;范明,孟小峰譯.Micheline Kamber.Data Mining Concepts and Techniques,Second Edition[M].
[2]劉新平,劉存?zhèn)b.教育統(tǒng)計與測評導(dǎo)論[M].北京:科學(xué)出版社,2003.
[3]雷新勇.考試數(shù)據(jù)的統(tǒng)計分析和解釋[M].上海:華東師范大學(xué),2007.
[4]楊思清.數(shù)據(jù)挖掘技術(shù)對提高教學(xué)質(zhì)量的應(yīng)用研究[J].黑龍江科技信息,2007(4).
[5]黃羿,馬新強(qiáng),武彤,唐作其,朱瑩.基于數(shù)據(jù)倉庫的學(xué)生成績分析模型設(shè)計[J].信息技術(shù),2007(2):18-23.
[6]李琳,徐雨明,孫士兵.數(shù)據(jù)挖掘在教學(xué)質(zhì)量分析中的應(yīng)用研究[J].衡陽師范學(xué)院學(xué)報,2009,30(3):86-88.
[7]郭曉利,郭平,馮力.基于數(shù)據(jù)挖掘技術(shù)的教學(xué)質(zhì)量分析評價系統(tǒng)的實現(xiàn)[J].東北電力大學(xué)學(xué)報(社會科學(xué)版),2006,26(3):70-73.
(編輯:王曉明)
TP393
:A
:1673-8454(2017)07-0065-04