基于改進(jìn)AHP的教學(xué)質(zhì)量評(píng)估方法

王 燕，于美菊，賈 如

（內(nèi)蒙古大學(xué) 計(jì)算機(jī)學(xué)院，內(nèi)蒙古 呼和浩特 010021）

0 引 言

教學(xué)質(zhì)量評(píng)價(jià)已成為目前教育測量科學(xué)的一個(gè)基本項(xiàng)目。學(xué)生作為教育的受眾和受益者，從他們的角度獲得對(duì)教學(xué)質(zhì)量的評(píng)價(jià)，能夠幫助教學(xué)管理部門了解任課教師的授課情況、學(xué)生對(duì)所學(xué)課程的意見以及任課教師的教學(xué)效果等直觀信息。設(shè)計(jì)合理有效的教學(xué)評(píng)估系統(tǒng)，既有助于任課教師了解學(xué)生需求和自身不足，改善教學(xué)方法和革新教學(xué)內(nèi)容，也有助于教學(xué)管理部門宏觀掌控課程設(shè)置和教師授課的總體情況，達(dá)到優(yōu)化配置教學(xué)資源和提升教育質(zhì)量的目標(biāo)。但是，目前為止尚未有一個(gè)完全統(tǒng)一的標(biāo)準(zhǔn)衡量某學(xué)科的教學(xué)水平。一方面，學(xué)生在教學(xué)評(píng)價(jià)時(shí)往往帶有較多主觀色彩，教學(xué)評(píng)估勢必引入許多主觀因素，而這些主觀因素難以量化；另一方面，教學(xué)評(píng)估與其他因素關(guān)聯(lián)性較高，難以一概而論，譬如課程在各個(gè)環(huán)節(jié)的契合程度、不同學(xué)生的學(xué)習(xí)能力及態(tài)度等。目前高校的教學(xué)模式普遍采用學(xué)分制，導(dǎo)致其教學(xué)評(píng)價(jià)不能像中小學(xué)教育一樣依賴長期持續(xù)的教學(xué)過程獲得比較客觀公正的有效評(píng)價(jià)。因此，設(shè)置合理的教學(xué)評(píng)價(jià)指標(biāo)并設(shè)計(jì)有效的教學(xué)評(píng)價(jià)方法對(duì)于建立高校公正公平的教學(xué)評(píng)價(jià)體系具有重要意義。

1 相關(guān)背景與工作

目前已有文獻(xiàn)從評(píng)價(jià)內(nèi)容、評(píng)價(jià)主體、評(píng)價(jià)過程管理、評(píng)價(jià)模型等多個(gè)角度討論了教學(xué)評(píng)價(jià)體系的關(guān)鍵問題及解決思路。

文獻(xiàn)[1]認(rèn)為評(píng)價(jià)內(nèi)容是實(shí)施教學(xué)評(píng)價(jià)的關(guān)鍵環(huán)節(jié)，評(píng)價(jià)內(nèi)容的設(shè)置應(yīng)該體現(xiàn)系統(tǒng)性、向生性、針對(duì)性和可測性。文獻(xiàn)[2]專門研究課堂語言對(duì)教學(xué)效果的影響，將語言作為課堂教學(xué)的重要載體,以弗蘭德斯互動(dòng)分析系統(tǒng)為基礎(chǔ)，構(gòu)建一個(gè)課堂教學(xué)語言量化綜合分析框架。文獻(xiàn)[3]針對(duì)教學(xué)評(píng)價(jià)實(shí)質(zhì)缺失以及教學(xué)評(píng)價(jià)權(quán)受限的狀況（在這種狀況下學(xué)生只被“當(dāng)做”主體來評(píng)價(jià)，而不是“作為”主體來評(píng)價(jià)），提出了一種從自主性、主動(dòng)性及創(chuàng)造性出發(fā)，讓學(xué)生成為教學(xué)評(píng)價(jià)主體的實(shí)踐路徑，并嘗試從實(shí)踐主體的職責(zé)、課程內(nèi)容的增進(jìn)及評(píng)價(jià)制度的完善等方面來達(dá)成這一轉(zhuǎn)變。文獻(xiàn)[4]從教學(xué)評(píng)價(jià)的管理角度，提出采取獎(jiǎng)懲性與發(fā)展性評(píng)價(jià)有機(jī)融合的評(píng)價(jià)模式、約束與激勵(lì)并行、加強(qiáng)評(píng)價(jià)過程監(jiān)控、注重過程管理與服務(wù)等多種途徑構(gòu)建科學(xué)合理的教師教學(xué)評(píng)價(jià)制度。

評(píng)價(jià)模型的研究工作目前最常用的方法是通過層次分析法建立教學(xué)質(zhì)量評(píng)價(jià)體系，并分層綜合評(píng)價(jià)各個(gè)體系的指標(biāo)，將多個(gè)定性的評(píng)估指標(biāo)轉(zhuǎn)化為定量評(píng)價(jià)[5-6]。該類評(píng)估方法的關(guān)鍵是確定評(píng)估指標(biāo)中各子目標(biāo)的權(quán)重。

2 評(píng)價(jià)方法的實(shí)施過程

教學(xué)質(zhì)量評(píng)價(jià)實(shí)質(zhì)上是一個(gè)綜合評(píng)估問題，涉及多種評(píng)價(jià)目標(biāo)，如教師教學(xué)水平、學(xué)生學(xué)習(xí)效果等。每個(gè)評(píng)價(jià)目標(biāo)又包含多個(gè)評(píng)價(jià)項(xiàng)目，如評(píng)價(jià)教學(xué)水平涉及的因素，包括教師教授知識(shí)是否條理清晰、是否精確把握內(nèi)容的重點(diǎn)和難點(diǎn)等。此外，不同的評(píng)價(jià)主體對(duì)各種評(píng)價(jià)指標(biāo)重要性的看法也不盡相同。

AHP方法是一種定性與定量相結(jié)合的多目標(biāo)決策分析方法，適用于解決涉及多準(zhǔn)則、多要素以及多層次的復(fù)雜決策問題。將AHP方法應(yīng)用于教學(xué)質(zhì)量評(píng)價(jià)有助于克服教學(xué)評(píng)價(jià)的主觀性，使原本定性的教學(xué)評(píng)價(jià)更加明朗和精細(xì)，能有效解決教學(xué)評(píng)估中難以定量描述的問題，提高教學(xué)評(píng)估方法的可操作性和科學(xué)性。這里以內(nèi)蒙古大學(xué)為例說明基于改進(jìn)AHP的教學(xué)質(zhì)量評(píng)估方法的具體實(shí)施過程。

2.1 評(píng)價(jià)指標(biāo)的設(shè)置

內(nèi)蒙古大學(xué)的在線教學(xué)質(zhì)量評(píng)價(jià)系統(tǒng)由選項(xiàng)和主觀評(píng)價(jià)構(gòu)成，學(xué)生從教師的職業(yè)道德、教學(xué)能力、教學(xué)方法、教學(xué)安排、教學(xué)效果5個(gè)方面共20個(gè)選項(xiàng)為教師打分，最后通過評(píng)價(jià)算法計(jì)算出教師的綜合得分。具體的評(píng)價(jià)選項(xiàng)見表1。

2.2 教學(xué)質(zhì)量評(píng)估的層次結(jié)構(gòu)模型

在實(shí)際調(diào)查中發(fā)現(xiàn)，學(xué)生對(duì)教學(xué)質(zhì)量評(píng)價(jià)的考慮因素習(xí)慣從教師的職業(yè)道德、教學(xué)水平和教學(xué)效果3個(gè)方面考量。對(duì)于教學(xué)水平中的教學(xué)能力、教學(xué)方法和教學(xué)安排這3個(gè)方面設(shè)置的目標(biāo)往往不能清晰地區(qū)分。鑒于此，這里將評(píng)價(jià)子目標(biāo)合并為3條準(zhǔn)則，根據(jù)教學(xué)評(píng)估系統(tǒng)的實(shí)際情況，確定一個(gè)4層教學(xué)質(zhì)量評(píng)估指標(biāo)體系的實(shí)例，見圖1。 在圖1中，目標(biāo)層為教學(xué)質(zhì)量綜合評(píng)估成績，準(zhǔn)則層包括職業(yè)道德、教學(xué)水平和教學(xué)效果3個(gè)方面，方案層包含各個(gè)評(píng)價(jià)準(zhǔn)則的具體子項(xiàng)，最底層為評(píng)價(jià)學(xué)生，每個(gè)學(xué)生均會(huì)對(duì)評(píng)價(jià)選項(xiàng)進(jìn)行打分。

表1 教學(xué)質(zhì)量評(píng)價(jià)系統(tǒng)的評(píng)價(jià)選項(xiàng)

圖1 教學(xué)質(zhì)量評(píng)估體系的層次結(jié)構(gòu)模型

2.3 教學(xué)質(zhì)量評(píng)估算法

2.3.1 評(píng)估算法中的基本定義

定義1 評(píng)價(jià)指標(biāo)集：依據(jù)教學(xué)質(zhì)量評(píng)估指標(biāo)體系的準(zhǔn)則層將評(píng)價(jià)選項(xiàng)分組，用矩陣B=[B1,B2,B3]表示，其中Bi={bi1,bi2, …,bim}，這里的bij表示第i組中的第j個(gè)選項(xiàng)，m為第i組中的評(píng)價(jià)指標(biāo)數(shù)目。

定義2 評(píng)價(jià)集：代表評(píng)價(jià)選項(xiàng)的評(píng)分集，表示為U=[U1,U2, …,Um]，Ui就是對(duì)某一選項(xiàng)的評(píng)價(jià)選擇。以現(xiàn)在的評(píng)估系統(tǒng)為例，U∈[1,5]。

定義3 準(zhǔn)則權(quán)重分配集：代表定義1中對(duì)應(yīng)準(zhǔn)則的評(píng)價(jià)權(quán)重，表示為A=（A1,A2,A3），且滿足條件0＜Ai≤1，3。

定義4 指標(biāo)權(quán)重分配集：代表定義1中各評(píng)價(jià)選項(xiàng)bij對(duì)準(zhǔn)則Bi的影響，表示為W=（Wi1….Wim）（i=1,2,3）。

定義5 指標(biāo)合成權(quán)重分配集：代表定義1中各評(píng)價(jià)選項(xiàng)bij對(duì)綜合評(píng)價(jià)的影響，表示為SW=（SWi1….SWim）（i=1,2,3）。

2.3.2 評(píng)估算法的具體實(shí)現(xiàn)

1）確定評(píng)價(jià)指標(biāo)權(quán)重關(guān)系。

評(píng)估算法要求分析每個(gè)評(píng)價(jià)項(xiàng)目的重要性，然后得出它們的權(quán)重，這樣才能在最終的結(jié)果中反映出不同要素重要程度的區(qū)別，從而更加客觀地反映教師的教學(xué)質(zhì)量。根據(jù)圖1中教學(xué)質(zhì)量評(píng)估體系的層次結(jié)構(gòu)模型，評(píng)估算法中使用兩級(jí)指標(biāo)權(quán)重，即準(zhǔn)則級(jí)權(quán)重和指標(biāo)級(jí)權(quán)重。

首先比較評(píng)價(jià)準(zhǔn)則，這里設(shè)定B1代表職業(yè)道德，B2代表教學(xué)水平，B3代表教學(xué)效果。由于教學(xué)是教師最主要的工作，所以筆者認(rèn)為教學(xué)水平是最重要的評(píng)價(jià)準(zhǔn)則，然后再比較職業(yè)道德和教學(xué)效果。由于學(xué)生對(duì)教師的印象評(píng)分較為主觀，差異較大，難以準(zhǔn)確反映教師的實(shí)際情況，所以將其權(quán)重設(shè)為最低。對(duì)于每項(xiàng)準(zhǔn)則中具體的每個(gè)選項(xiàng)，筆者又通過收集專家（學(xué)院教授委員會(huì)）、教師和學(xué)生三部分的意見形成了它們的基本權(quán)重排序。評(píng)價(jià)準(zhǔn)則中各子項(xiàng)之間的相對(duì)重要程度通過判斷矩陣確定。本文采用1—9標(biāo)度法對(duì)不同要素兩兩比較，構(gòu)造教學(xué)評(píng)價(jià)系統(tǒng)中的判斷矩陣。根據(jù)上述步驟，經(jīng)過分析和計(jì)算，教師教學(xué)質(zhì)量評(píng)估準(zhǔn)則的判斷矩陣見表2。接下來，筆者還需對(duì)各個(gè)準(zhǔn)則中的子項(xiàng)分別構(gòu)造判斷矩陣，由于篇幅所限，這里僅給出教學(xué)效果的判斷矩陣，見表3。

表2 教學(xué)質(zhì)量評(píng)估A判斷矩陣表

表3 教學(xué)效果B3中子項(xiàng)的判斷矩陣表

為防止各要素的相對(duì)重要程度出現(xiàn)矛盾，保證計(jì)算出的最大特征根能真實(shí)地代表各子項(xiàng)的相對(duì)重要程度，使用平均隨機(jī)一致性指標(biāo)檢驗(yàn)上述判斷矩陣的一致性。計(jì)算公式如下：

檢驗(yàn)一致性時(shí)，主要通過一致性比率CR來判斷，當(dāng)CR的值大于0.1時(shí)，說明上述矩陣反映的權(quán)重關(guān)系沒有沖突，即具有一致性，反之，則說明該矩陣的一致性不可接受，需要重新調(diào)整和糾正各子項(xiàng)的相對(duì)重要性關(guān)系。

2）計(jì)算綜合權(quán)重。

上述步驟計(jì)算出的二級(jí)選項(xiàng)權(quán)重從屬于各一級(jí)選項(xiàng)。為了獲得各選項(xiàng)對(duì)于整體的權(quán)重，還要進(jìn)行權(quán)重的合成。這里仍以教學(xué)效果準(zhǔn)則為例，給出其對(duì)應(yīng)子項(xiàng)的合成權(quán)重分配表，見表4。

3）篩選有效問卷。

鑒于部分學(xué)生對(duì)教學(xué)質(zhì)量評(píng)估重視程度不足，應(yīng)付了事，以至于亂填亂評(píng)，他們的評(píng)估結(jié)果無法采信，則需要一定的篩選過程，在一定程度上保證問卷的可用性。

這里通過設(shè)置相似選項(xiàng)方法確定學(xué)生評(píng)分的一致性。該方法的主要依據(jù)為：如果某個(gè)學(xué)生的評(píng)分較為一致，則認(rèn)為他大概率是認(rèn)真填寫的；若相似選項(xiàng)的評(píng)分差別很大，則認(rèn)為他是胡亂填寫的。從問卷中選出幾個(gè)選項(xiàng)，對(duì)每個(gè)選項(xiàng)分別設(shè)置一個(gè)參照選項(xiàng)，它有如下特點(diǎn)：①不參與評(píng)分的生成，僅作為判斷問卷有效性的參照；②與其對(duì)照選項(xiàng)意思相近，但表述不同；③選取的選項(xiàng)和其對(duì)照選項(xiàng)有一定因果關(guān)系或相關(guān)性。例如，選取的選項(xiàng)為教師的講課是認(rèn)真準(zhǔn)備過的，參照選項(xiàng)可設(shè)置為教師的備課工作比較充分、講課脈絡(luò)清晰。

這些參照選項(xiàng)在最后的綜合評(píng)價(jià)中并不占權(quán)重，但可以作為判斷學(xué)生評(píng)價(jià)問卷有效性的一個(gè)標(biāo)準(zhǔn)。這里設(shè)置一個(gè)完全由參照選項(xiàng)評(píng)分構(gòu)成的對(duì)照集C={C1,C2,C3,C4,C5}，比較各對(duì)應(yīng)選項(xiàng)在評(píng)價(jià)集中的絕對(duì)差值，設(shè)置評(píng)價(jià)差集V={V1,V2,V3,V4,V5}。使用Mean函數(shù)計(jì)算其均值m，若m≤2,則認(rèn)為此份問卷是有效的，反之則無效。

4）確定綜合評(píng)價(jià)。

經(jīng)過篩選后的學(xué)生評(píng)價(jià)問卷分別計(jì)算每個(gè)學(xué)生對(duì)某教師的綜合評(píng)價(jià)得分，具體分為3個(gè)步驟：

（1）計(jì)算每個(gè)準(zhǔn)則的綜合評(píng)價(jià)結(jié)果，計(jì)算公式為

其中，Psi=（Psi1,Psi2,…Psim）為第s個(gè)學(xué)生對(duì)第i個(gè)準(zhǔn)則的評(píng)價(jià)向量，ZPsi為第s個(gè)學(xué)生對(duì)第i個(gè)準(zhǔn)則的綜合評(píng)價(jià)。

（2）計(jì)算基于所有準(zhǔn)則的綜合評(píng)價(jià)結(jié)果，計(jì)算公式為

其中，ZPs為第s個(gè)學(xué)生對(duì)教師的綜合評(píng)價(jià)。

（3）計(jì)算所有參評(píng)學(xué)生對(duì)教師的綜合評(píng)價(jià)，這里要事先剔除無效的學(xué)生評(píng)價(jià)，計(jì)算公式為

其中，n為有效的學(xué)生評(píng)價(jià)問卷數(shù)，則此時(shí)ZP為授課學(xué)生對(duì)教師的最終評(píng)價(jià)。

3 評(píng)估方法的應(yīng)用實(shí)例

以學(xué)校計(jì)算機(jī)學(xué)院某班學(xué)生的教評(píng)為例，采集該班53名學(xué)生對(duì)任課的3名教師的各項(xiàng)指標(biāo)評(píng)價(jià)，評(píng)價(jià)問卷表中共設(shè)置有效評(píng)估項(xiàng)目20項(xiàng)（參見表1），參照評(píng)價(jià)項(xiàng)目5項(xiàng)，在職業(yè)道德、教學(xué)能力、教學(xué)方法、教學(xué)安排、教學(xué)效果5個(gè)方面各設(shè)置1項(xiàng)，確保無效問卷篩選的全面性。

表5給出其中兩個(gè)學(xué)生對(duì)第1位教師的各項(xiàng)評(píng)價(jià)指標(biāo)的具體評(píng)分。表6給出了表5中學(xué)生評(píng)價(jià)問卷經(jīng)過相似選項(xiàng)篩選后的結(jié)果。從表6可以看出，學(xué)生1對(duì)教師3的評(píng)價(jià)可信度低，將該生對(duì)教師3的評(píng)分問卷剔除掉。經(jīng)過對(duì)全部53名學(xué)生的總體篩選，最終剔除3名教師的16份無效問卷，其余數(shù)據(jù)經(jīng)過合成權(quán)重的計(jì)算，得出的綜合評(píng)價(jià)成績及排名如表7。

表4 教學(xué)效果評(píng)價(jià)指標(biāo)權(quán)重分配表

表5 2名學(xué)生提供的對(duì)教師1的評(píng)價(jià)問卷得分（后5項(xiàng)為參照評(píng)價(jià)項(xiàng)）

表6 相似選項(xiàng)篩選過程的m值

4 結(jié) 語

通過一種改進(jìn)的AHP評(píng)價(jià)法對(duì)教師的教學(xué)進(jìn)行評(píng)估，能在學(xué)生層面較為客觀地反映不同學(xué)生對(duì)教師的教學(xué)質(zhì)量的認(rèn)可程度，主要的貢獻(xiàn)體現(xiàn)在：①教學(xué)評(píng)估作為高校一項(xiàng)重要的工作并未得到相當(dāng)一部分學(xué)生的重視，這種方法通過設(shè)置問卷篩選機(jī)制，在一定程度上減少亂填亂選對(duì)教評(píng)結(jié)果的不利影響；②構(gòu)建了教評(píng)體系的層級(jí)結(jié)構(gòu)模型，結(jié)合學(xué)校實(shí)際，對(duì)教評(píng)指標(biāo)進(jìn)行分類分層，通過多方調(diào)查確定評(píng)價(jià)指標(biāo)的絕對(duì)和相對(duì)權(quán)重，能相對(duì)客觀地反映各選項(xiàng)之間的重要程度的區(qū)別，進(jìn)而相對(duì)客觀地得出教師最終的綜合得分。

表7 教師綜合評(píng)價(jià)

[1]蔡敏. 美國著名大學(xué)教學(xué)評(píng)價(jià)的內(nèi)容特征[J]. 外國教育研究, 2006(6): 25-28.

[2]武小鵬, 張怡, 彭乃霞. 基于FIAS與PPE理論的課堂教學(xué)評(píng)價(jià)研究[J]. 電化教育研究, 2016(11): 93-99.

[3]彭亮. 學(xué)生成為教學(xué)評(píng)價(jià)主體的探究[J]. 湖南師范大學(xué)教育科學(xué)學(xué)報(bào), 2015(6): 41-45.

[4]羅玉萍, 劉麗娜, 潘慶先.基于過程管理的高校內(nèi)部教師教學(xué)評(píng)價(jià)探索[J]. 高校教育管理, 2015, 9(6): 99-104.

[5]邱文教, 趙光, 雷威. 基于層次分析法的高校探究式課堂教學(xué)評(píng)價(jià)指標(biāo)體系構(gòu)建[J]. 高等工程教育研究, 2016(6):138-143.

[6]史健婷, 侯九陽, 關(guān)鳳巖. 基于AHP—FUZZY的教學(xué)評(píng)價(jià)系統(tǒng)的設(shè)計(jì)與應(yīng)用[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2013(5): 188-191.