何海波+何嘉揚(yáng)+李林海

【摘 要】為改進(jìn)課堂教學(xué)質(zhì)量評價(jià)方法，本文以模糊綜合評價(jià)法為依據(jù)，設(shè)計(jì)適用于APP的評價(jià)指標(biāo)，構(gòu)建相應(yīng)的評價(jià)模型，并開發(fā)移動(dòng)評價(jià)系統(tǒng)進(jìn)行為期一學(xué)年的應(yīng)用研究。與常見的一次性評課系統(tǒng)相比，移動(dòng)評價(jià)系統(tǒng)通過發(fā)揮用戶（學(xué)生）導(dǎo)向、便捷、實(shí)時(shí)互動(dòng)、即時(shí)反饋等功能，有效減少了使用障礙并提高了參評積極性，從而提升了評價(jià)的效度。

【關(guān)鍵詞】移動(dòng)互聯(lián) 教學(xué)質(zhì)量 教學(xué)評價(jià) 模糊評價(jià) 移動(dòng)評價(jià)系統(tǒng) 設(shè)計(jì) 應(yīng)用

【中圖分類號(hào)】G 【文獻(xiàn)標(biāo)識(shí)碼】A

【文章編號(hào)】0450-9889（2017）02C-0120-04

作為教學(xué)管理的一個(gè)重要環(huán)節(jié)，課堂教學(xué)質(zhì)量評價(jià)備受研究者和管理者關(guān)注。近年的研究發(fā)現(xiàn)，網(wǎng)上評教已基本上取代了紙面評價(jià)，評價(jià)指標(biāo)也因?yàn)榇_立了學(xué)生主體觀而日趨完善，教師和學(xué)生對課堂教學(xué)評價(jià)的認(rèn)可度也達(dá)到了較高的水平。總體上看，無論是在評價(jià)方式改革還是在評價(jià)指標(biāo)改進(jìn)等方面，課堂教學(xué)質(zhì)量評價(jià)體系都有了長足的進(jìn)步，但仍然存在需要改進(jìn)的問題。當(dāng)前，絕大部分高校都采取事后一次性評價(jià)的模式，即教學(xué)管理部門在學(xué)期末集中組織學(xué)生對該學(xué)期所開設(shè)的全部課程進(jìn)行一次性評價(jià)。這種模式至少有兩大弊端。其一，因評價(jià)選項(xiàng)較多、工作量較大又有一定的時(shí)間限制，加上課堂印象已被沖淡，導(dǎo)致部分學(xué)生隨意評價(jià)，甚至應(yīng)付了事。其二，由于評價(jià)是單向的，缺乏及時(shí)、互動(dòng)的反饋機(jī)制，學(xué)生不知道自己的評價(jià)意見是否會(huì)送達(dá)評價(jià)對象，也不清楚教師是否會(huì)根據(jù)意見來改進(jìn)教學(xué)，導(dǎo)致學(xué)生參與評教的積極性不高，代評現(xiàn)象較為普遍。上述兩種情況都會(huì)影響到評教結(jié)果的客觀性，需要引起重視并尋找解決的對策。本研究先應(yīng)用模糊綜合評價(jià)法來構(gòu)建評價(jià)模型，接著以該模型為指導(dǎo)設(shè)計(jì)、開發(fā)移動(dòng)評價(jià)系統(tǒng)，然后收集該系統(tǒng)投入使用后的評價(jià)數(shù)據(jù)進(jìn)行驗(yàn)證研究，嘗試通過引入互聯(lián)網(wǎng)思維來改進(jìn)課堂教學(xué)質(zhì)量評價(jià)方法。

一、相關(guān)文獻(xiàn)

模糊綜合評價(jià)法是一種基于模糊數(shù)學(xué)的綜合評價(jià)方法。模糊綜合評價(jià)的優(yōu)勢在于可以用模糊集合的概念反映邊界不是很清晰的問題，或者將不適合用傳統(tǒng)數(shù)學(xué)量化的事物用模糊集合來反映，然后借助集合與矩陣的數(shù)學(xué)方法進(jìn)行分析處理，從而得出評估值。模糊綜合評價(jià)法被廣泛應(yīng)用于信用評價(jià)、滿意度評價(jià)和自然災(zāi)害評估等領(lǐng)域的研究。這一方法也被應(yīng)用于教學(xué)管理的研究，并取得了較好的成果。李強(qiáng)等（2008）應(yīng)用這一方法構(gòu)建了包括領(lǐng)導(dǎo)及督導(dǎo)、同行、學(xué)生等多主體評價(jià)的課堂教學(xué)質(zhì)量綜合評判模型；宋虎珍（2012）和魏潔（2014）基于模糊評價(jià)法建立了較為完善的高校教師績效考核評價(jià)體系；Jeng-Fung Chen等（2015）綜合應(yīng)用模糊層次分析法和模糊綜合評價(jià)法構(gòu)建了高校教師教學(xué)效果評價(jià)的指標(biāo)體系。盡管上述學(xué)者的研究，基本上還停留在模型的理論構(gòu)建層面，缺乏充足的應(yīng)用實(shí)證，但卻為本研究建立模糊評價(jià)模型提供了方法借鑒。

相比模型方法，評價(jià)指標(biāo)是課堂評價(jià)更為核心的問題?？茖W(xué)合理的評價(jià)指標(biāo)是有效評估課堂質(zhì)量的前提條件。近年來，學(xué)者從不同的角度對此進(jìn)行了較為深入的研究。章小輝（2006）以實(shí)證研究的視角，從教學(xué)目標(biāo)、教學(xué)內(nèi)容、教學(xué)方法、教學(xué)手段、教學(xué)效果等五個(gè)維度37個(gè)課堂評價(jià)指標(biāo)中篩選出了15個(gè)有效指標(biāo)，提出重點(diǎn)突出、注重師生交流、學(xué)生能力獲得提高、虛心接受意見并改進(jìn)教學(xué)等指標(biāo)在教學(xué)評價(jià)中有更大的價(jià)值。喻方元（2008）基于教學(xué)評價(jià)的發(fā)展觀提出了從教師教學(xué)發(fā)展性、學(xué)生學(xué)習(xí)發(fā)展性和教學(xué)協(xié)調(diào)發(fā)展性來構(gòu)建教學(xué)評價(jià)指標(biāo)體系。高維春（2014）等從有效教學(xué)評價(jià)的視角入手，將在國際上認(rèn)可度較高的《大學(xué)教師教學(xué)效果評價(jià)問卷（學(xué)生用）》（簡稱 SVEQ）量表引入并進(jìn)行改進(jìn)研究，注重從學(xué)生視角的層面來設(shè)計(jì)評價(jià)指標(biāo)，用學(xué)習(xí)價(jià)值感而不是教學(xué)效果來衡量課堂的價(jià)值。綜合這幾位學(xué)者的研究成果不難發(fā)現(xiàn)，盡管基于不同的體系框架，但注重學(xué)生本位、師生互動(dòng)溝通、學(xué)生能力提升等是他們對有效評價(jià)指標(biāo)的共識(shí)。上述學(xué)者的研究成果成為本文進(jìn)行評價(jià)指標(biāo)設(shè)計(jì)與選擇的重要依據(jù)。

二、評價(jià)指標(biāo)體系的設(shè)計(jì)與模型構(gòu)建

（一）評價(jià)指標(biāo)及等級(jí)維度設(shè)計(jì)思路。具體如下：

1.從學(xué)生視角來設(shè)計(jì)評價(jià)指標(biāo)。突破要素分析法的局限，借鑒章小輝和高維春等學(xué)者的研究成果，以學(xué)生看得懂、能理解、好判斷為基本出發(fā)點(diǎn)，力求設(shè)計(jì)讓學(xué)生容易感知、能產(chǎn)生共鳴的指標(biāo)。

2.用模糊言語取代精確數(shù)值來描述評價(jià)等級(jí)維度?；谀：龜?shù)表述模糊感覺和不確定問題方面的優(yōu)勢，用“好評、中評、及格、差評”等模糊語言來進(jìn)行評價(jià)等級(jí)衡量，而不是用100、80、60、40等精確數(shù)值來衡量授課質(zhì)量的優(yōu)劣情況。

3.考慮指標(biāo)體系與手機(jī)APP技術(shù)的適應(yīng)性。為方便用手機(jī)APP進(jìn)行評價(jià)，評價(jià)指標(biāo)層級(jí)應(yīng)簡單明了，數(shù)量應(yīng)少而精，力求在一個(gè)手機(jī)頁面顯示全部評價(jià)指標(biāo)，以方便操作，避免由于APP占用過多手機(jī)資源而可能導(dǎo)致的使用阻礙。

（二）指標(biāo)選取和等級(jí)維度確定。采取專家法進(jìn)行指標(biāo)選取和評價(jià)等級(jí)維度確定，先后組織兩輪篩選和集中研討。第一輪，由二級(jí)學(xué)院的教學(xué)評價(jià)工作小組（由二級(jí)分管教學(xué)副院長、教務(wù)科科長、學(xué)科帶頭人組成）在借鑒相關(guān)學(xué)者研究成果的基礎(chǔ)上，結(jié)合本單位的教學(xué)情況進(jìn)行討論，提出10項(xiàng)備選指標(biāo)。第二輪，召集7位教學(xué)管理專家進(jìn)行集中評議（成員包括學(xué)校分管教學(xué)的副校長、學(xué)校督導(dǎo)員、學(xué)校教務(wù)處處長、二級(jí)學(xué)院院長、分管教學(xué)副院長、教務(wù)科長、科學(xué)帶頭人代表），對第一輪選取的指標(biāo)進(jìn)行審核和修訂，以獲得多數(shù)認(rèn)可為決策規(guī)則，最終確定“重點(diǎn)突出、師生互動(dòng)、學(xué)習(xí)收獲和儀容儀表”4項(xiàng)指標(biāo)（詳見表1）。

三、移動(dòng)評價(jià)系統(tǒng)開發(fā)與應(yīng)用分析

（一）移動(dòng)評價(jià)系統(tǒng)功能設(shè)計(jì)。從技術(shù)層面看，目前流行的評教系統(tǒng)主要是用WEB1.0開發(fā)的，若引入WEB3.0則能順利地解決原評價(jià)體系存在的互動(dòng)不足的問題，加上移動(dòng)互聯(lián)技術(shù)，則能夠解決反饋不及時(shí)的問題?；赪EB3.0的思維，應(yīng)用上述評價(jià)模型，項(xiàng)目研究小組與軟件開發(fā)人員共同開發(fā)了一款兼容PC和手機(jī)終端的移動(dòng)評價(jià)系統(tǒng)（Mobile Evaluation System，以下簡稱MES）。該系統(tǒng)嵌入了模糊綜合評價(jià)模型，并開發(fā)了以下功能：

1.實(shí)時(shí)評價(jià)。上課當(dāng)日，在學(xué)習(xí)委員確認(rèn)教師到課并在系統(tǒng)上簽到后的72小時(shí)內(nèi)，學(xué)生可對該次課的教學(xué)情況進(jìn)行評價(jià)，教師可同步看到每一位學(xué)生對該次課的即時(shí)評價(jià)。

2.師生互動(dòng)。學(xué)生除了評價(jià)外，還可以對教師授課情況進(jìn)行評論，可以發(fā)表鼓勵(lì)意見，也可以提出不滿或建議。教師可以通過系統(tǒng)回應(yīng)學(xué)生的評論，也可以給選定的學(xué)生發(fā)送學(xué)習(xí)指導(dǎo)意見。

3.協(xié)調(diào)溝通。借鑒淘寶網(wǎng)對賣家的評價(jià)機(jī)制，設(shè)計(jì)了師生協(xié)調(diào)機(jī)制。若學(xué)生給教師中評及以下等級(jí)，則要說明具體原因，否則不能提交評價(jià)。教師看到學(xué)生的意見后，可以通過系統(tǒng)與學(xué)生進(jìn)行溝通，而有效評課時(shí)間（3天）內(nèi)學(xué)生若改變了想法則可以修改原來的評價(jià)。當(dāng)然，是否進(jìn)行協(xié)調(diào)由教師自行決定。

4.匿名評價(jià)。為鼓勵(lì)學(xué)生發(fā)表真實(shí)的意見，在MES中教師看不到給自己評價(jià)和發(fā)表評論的學(xué)生姓名，只能看到“學(xué)生”字樣，以防備教師可能對給差評的學(xué)生采取不利行為。

5.自主評價(jià)與默認(rèn)好評。不強(qiáng)迫學(xué)生每次課后都進(jìn)行評價(jià)，學(xué)生只需對三分之一的課次進(jìn)行評價(jià)即達(dá)到評教次數(shù)標(biāo)準(zhǔn)。學(xué)生可根據(jù)自己的聽課體會(huì)選擇評教時(shí)機(jī)，如學(xué)生當(dāng)次課不評價(jià)，則系統(tǒng)默認(rèn)為好評。

（二）移動(dòng)評價(jià)系統(tǒng)使用基本情況。MES系統(tǒng)開發(fā)成功后，于2014年春學(xué)期開始在南寧職業(yè)技術(shù)學(xué)院商學(xué)院試用，經(jīng)調(diào)整完善后于2014年秋學(xué)期正式投入使用。以2014年秋學(xué)期和2015年學(xué)秋為例，平均每學(xué)期有131門課程和110位教師的數(shù)據(jù)輸入MES系統(tǒng)，有1750名學(xué)生應(yīng)用MES系統(tǒng)進(jìn)行評教（具體情況見表2、表3）。

（三）新、舊系評價(jià)統(tǒng)數(shù)據(jù)對比分析?？紤]到新開發(fā)的MES系統(tǒng)有一個(gè)逐步完善的過程，為保險(xiǎn)起見，學(xué)校實(shí)行新舊評價(jià)系統(tǒng)并用的政策，要求商學(xué)院的學(xué)生除了平時(shí)用MES系統(tǒng)進(jìn)行評教外，期末照常參加舊系統(tǒng)的網(wǎng)上評教，這恰好為對比研究提供了很好的機(jī)會(huì)。舊系統(tǒng)按要素分類法進(jìn)行評教，共分為5大項(xiàng)，約20個(gè)指標(biāo)，仍舊采用期末結(jié)課后由學(xué)生對所有課程進(jìn)行一次性評價(jià)的模式。為方便進(jìn)行數(shù)據(jù)比較，項(xiàng)目研究小組將新系統(tǒng)成生的綜合評價(jià)數(shù)值經(jīng)加權(quán)處理后轉(zhuǎn)換成百分制。

從表4可以發(fā)現(xiàn)，95分以上的教師比例超過95%，平均分高達(dá)97.7分，其中99分、98分和97分三檔數(shù)值的教師數(shù)占比為80.8%。從總體上看，這一組數(shù)據(jù)區(qū)分度很低，并且與課堂教學(xué)實(shí)際情況嚴(yán)重不相符?？梢?，舊系統(tǒng)所生產(chǎn)的評價(jià)數(shù)據(jù)的效度是比較低的。這會(huì)產(chǎn)生至少兩種負(fù)面影響。其一，導(dǎo)致負(fù)激勵(lì)。由于評教分值是教師年度績效考評的重要組成部分，一般占比在50%左右，應(yīng)用這一數(shù)據(jù)會(huì)產(chǎn)生不良的后果，教學(xué)質(zhì)量好的教師沒有得到應(yīng)有的嘉獎(jiǎng)，教學(xué)質(zhì)量差的教師也沒有改進(jìn)教學(xué)的壓力。其二，缺乏正反饋。因?yàn)樵u教分值區(qū)分度過低，極可能會(huì)導(dǎo)致大部分教師無法合理評估學(xué)生對自己教學(xué)的滿意程度，以及自己的教學(xué)水平在團(tuán)隊(duì)中所處的位置，從而無法發(fā)揮教學(xué)評價(jià)以評促教的導(dǎo)向功能。其副作用是認(rèn)真評教的學(xué)生會(huì)越來越少，因?yàn)樗麄儼l(fā)現(xiàn)自己認(rèn)真與否對評教與教學(xué)的影響沒有區(qū)別。

表5中，獲95分以上的教師占比為9%（表4中此項(xiàng)為95%），最集中的分值段為81-86分，占比達(dá)50%，最低分為70分，最高分為98分，平均分為87.5分（表4中此項(xiàng)為97.7分）。對比分析，不難發(fā)現(xiàn)，由MES系統(tǒng)獲得的評教分值有較好的區(qū)分度，分布也更為理想。盡管這一數(shù)值分布情況還達(dá)不到標(biāo)準(zhǔn)正態(tài)分布，但已能較為客觀地反映實(shí)際教學(xué)的情況，若應(yīng)用于績效考核將會(huì)產(chǎn)生正向的激勵(lì)作用。

四、原因分析

移動(dòng)評教系統(tǒng)優(yōu)于舊系統(tǒng)，主要是因?yàn)樵谠u價(jià)方法和評價(jià)方式方面進(jìn)行了創(chuàng)新。

（一）模糊評價(jià)方法有效減少了使用障礙。基于學(xué)生視角設(shè)計(jì)的模糊評價(jià)體系，能更好地幫助學(xué)生理解和把握評價(jià)標(biāo)準(zhǔn)。例如就評價(jià)指標(biāo)而言，學(xué)生通過聽課可能不能確定某位教師是否具有扎實(shí)的理論功底或掌握了學(xué)科發(fā)展的前沿動(dòng)態(tài)，但卻能夠判斷自己聽課后是否有“學(xué)習(xí)收獲”。又如，學(xué)生可能分不清問題導(dǎo)向或小組研討等教學(xué)方法，但卻能夠判斷課堂中是否有“師生互動(dòng)”。就評價(jià)等級(jí)而言，要評價(jià)師生互動(dòng)程度，面對80分還是85分這樣的區(qū)分度較難把握，但若是從“好、中、及格、差”這樣的維度來衡量，學(xué)生很更容易就可以作出判斷。此外，MES系統(tǒng)只有四個(gè)評價(jià)指標(biāo)，一目了然，很快就能完成操作，減少了可能產(chǎn)生的抵觸情緒。顯然，減少使用障礙提高了評價(jià)的客觀性。

（二）引入互聯(lián)網(wǎng)思維的評價(jià)方式極大地提高了使用意愿。首先，MES評價(jià)體系為學(xué)生提供了及時(shí)表達(dá)和獲得及時(shí)反饋的機(jī)會(huì)。借助手機(jī)端，學(xué)生可以對每一次課程進(jìn)行即時(shí)評價(jià)，能將對課堂的感受及時(shí)地表達(dá)出來，使得評價(jià)更鮮活并且更真實(shí)，而教師的及時(shí)回應(yīng)和師生之間的互動(dòng)則形成了正向反饋，讓學(xué)生感受到評教的價(jià)值，提高了他們參與評教的積極性。其次，MES評價(jià)體系讓學(xué)生掌握了評教的主動(dòng)權(quán)。學(xué)生可以在每次課結(jié)束后三天內(nèi)的任何時(shí)刻進(jìn)行評教，減少了由集中評課、時(shí)間緊迫等原因?qū)е碌牟萋试u價(jià)行為，盡可能降低了干擾因素，同時(shí)因?yàn)閷W(xué)生有多次自主選擇權(quán)，代評行為也會(huì)減少，這些都會(huì)使得評價(jià)更為客觀?？傊?，即時(shí)、互動(dòng)、用戶自主等具備互聯(lián)網(wǎng)思維的設(shè)計(jì)理念提高了學(xué)生的使用意愿，使評價(jià)更為真實(shí)。

五、結(jié)論與展望

移動(dòng)互聯(lián)技術(shù)為課堂教學(xué)質(zhì)量評價(jià)改革注入了新的動(dòng)力?；谝苿?dòng)互聯(lián)情境下的課堂教學(xué)質(zhì)量評價(jià)模型及其應(yīng)用研究顯示，以WEB3.0為技術(shù)支持的移動(dòng)評價(jià)系統(tǒng)的評價(jià)效度遠(yuǎn)遠(yuǎn)高于舊系統(tǒng)。本文認(rèn)為，將用戶（學(xué)生）導(dǎo)向、便捷、實(shí)時(shí)互動(dòng)、即時(shí)反饋等互聯(lián)網(wǎng)思維引入評價(jià)系統(tǒng)，能有效減少使用障礙和提高參評積極性，而這應(yīng)該成為未來課堂教學(xué)質(zhì)量評價(jià)改革的主導(dǎo)方向。本文嘗試將互聯(lián)網(wǎng)思維植入課堂評價(jià)體系，建立了移動(dòng)評價(jià)模型并驗(yàn)證了其應(yīng)用價(jià)值，為課堂教學(xué)質(zhì)量評價(jià)研究與實(shí)踐提供了新的案例。

本研究存在以下兩個(gè)方面的局限：第一，驗(yàn)證分析的數(shù)據(jù)僅來自一所院校，研究的普適性可能不足；第二，對移動(dòng)評教系統(tǒng)的評估主要根據(jù)評教數(shù)據(jù)結(jié)果進(jìn)行推斷，沒有對參評學(xué)生進(jìn)行深入、全面的調(diào)查。后續(xù)研究可以將移動(dòng)（下轉(zhuǎn)第157頁）（上接第122頁）評價(jià)系統(tǒng)的普適性驗(yàn)證和參評主體對新系統(tǒng)的評估作為重點(diǎn)。

【參考文獻(xiàn)】

[1]鞠建國.學(xué)生網(wǎng)上評教的新問題評析[J].中國科教創(chuàng)新導(dǎo)刊，2008（20）

[2]吳鋼.于光磊.各類高校學(xué)生評價(jià)教師課堂教學(xué)的調(diào)查研究[J].高校教育管理，2012（1）

[3]黃曉兵.韓磊磊.大學(xué)生參與課堂教學(xué)質(zhì)量網(wǎng)上評價(jià)狀況實(shí)證分析[J].高教發(fā)展與評估，2010（1）

[4]陳曉紅，楊志慧.基于改進(jìn)模糊綜合評價(jià)法的信用評估體系研究——以我國中小上市公司為樣本的實(shí)證研究[J].中國管理科學(xué)，2015（1）

[5]邢權(quán)興，孫虎，管濱，等.基于模糊綜合評價(jià)法的西安市免費(fèi)公園游客滿意度評價(jià)[J].資源科學(xué)，2014（8）

[6]Chengguang Lai，Xiaohong Chen，Xiaoyu Chen，Zhaoli Wang，Xushu Wu，Shiwei Zhao.A fuzzy comprehensive evaluation model for flood risk based on the combination weight of game theory[J].Nat Hazards，2015（77）

[7]李強(qiáng)，黃玉珍，本科課堂教學(xué)質(zhì)量評價(jià)的模糊數(shù)學(xué)方法[J].南通大學(xué)學(xué)報(bào)（自然科學(xué)版），2008（6）

[8]宋虎珍.基于模糊綜合評價(jià)的高校教師績效考核研究[J].教育探索，2012（11）

[9]魏潔，湯建奎.基于模糊綜合評價(jià)的高校教師績效考核研究[J].江蘇高教，2014（6）

[10]Jeng-Fung Chen，Ho-Nien Hsieh，Quang Hung Do，Evaluating teaching performance based on fuzzy AHP and comprehensive evaluation approach[J].Applied Soft Computing，2015（28）

[11]章小輝，陳再萍.高校課堂教學(xué)質(zhì)量的有效教學(xué)評價(jià)體系結(jié)構(gòu)研究[J].現(xiàn)代教育科學(xué)，2006（2）

[12]喻方元.高校教師課堂教學(xué)質(zhì)量評價(jià)體系研究[J].高教發(fā)展與評估，2008（3）

[13]高維春，江務(wù)學(xué).高職院校教師課堂教學(xué)質(zhì)量學(xué)生評價(jià)的問卷編制及信效度檢驗(yàn)[J].現(xiàn)代教育管理，2014（2）

【基金項(xiàng)目】2013年度廣西高等教育教學(xué)改革工程項(xiàng)目“廣西‘2+3中高職財(cái)經(jīng)類專業(yè)課程銜接研究”（2013JGA321）；2015年度廣西職業(yè)教育教學(xué)改革項(xiàng)目“基于移動(dòng)互聯(lián)網(wǎng)的實(shí)時(shí)課堂教學(xué)評價(jià)體系研究與實(shí)踐”（桂教職成〔2015〕22號(hào)）

【作者簡介】何海波（1979— ），男，廣西南寧人，講師，在職研究生學(xué)歷，南寧職業(yè)技術(shù)學(xué)院商學(xué)院副院長；何嘉揚(yáng)（1976— ），男，廣西上林人，講師，大學(xué)本科，南寧職業(yè)技術(shù)學(xué)院電子商務(wù)專業(yè)負(fù)責(zé)人；李林海（1976— ），男，廣西賓陽人，副教授，中南大學(xué)博士研究生，南寧職業(yè)技術(shù)學(xué)院教師。

（責(zé)編 黎 原）