陳瓊娥
(廈門大學教育研究院,福建 廈門 361005)
在高等教育領域,“教學的問題不僅是大學教師怎樣設計他們所教的課程,更是他們的學生如何理解教師所教的課程”的教學理念越來越成為眾多有識之士的共鳴[1],使用學生評教方法,從學生視角對高校教學質(zhì)量進行考量并改善,也成為國內(nèi)外很多高校教學質(zhì)量評價的重要組成部分,澳大利亞的大學生課程體驗調(diào)查是其中的典型代表。
課堂體驗研究興起于澳大利亞,這與當時澳大利亞高等教育機構的改革有關。二十世紀八十年代末,澳大利亞社會要求高等教育機構應該對社會在高等教育領域的投入負責,呼吁開發(fā)能夠有效評價高等教育機構績效的指標體系,其中一項極重要的內(nèi)容即是對教學質(zhì)量的評價。當時的“績效指標研究組” (Performance Indicators Research Group,簡稱PIRG)受任研究量化的評價指標,要求這些指標要考慮把學生的滿意度[2]。
已有的評價方式如“增值評定”測試 (value added)和同行評定 (peer rating)等均未能取得理想的效果。所謂“增值評定”,指衡量學生在開始一個學習項目之前的成績和學習之后的成績之間的差距,這一方法看似有效但在實踐中卻困難重重:不同院校的測試內(nèi)容和測試方式千差萬別,很難做出比較,此外,這種測試方式更側重評價學生的學業(yè)成就而不是評價教師教學質(zhì)量,容易導致教師“為了成績而教學”,從而扭曲了課堂教學的本意[3]。采用同行評定來評價教學又容易因為同行間的偏見等原因而失準[4],其他諸如“畢業(yè)率”、“輟學率”等評價指標又太過浮于表面且容易受到教學以外的因素的影響,因此都不適合用來評價教學質(zhì)量[5]。
在這樣的背景下,一個類似于“消費者”對高等教育滿意度的評價指標,即從學生的視角對教學質(zhì)量進行評價顯得格外有吸引力。學者們認為,盡管教學質(zhì)量涉及到多方面內(nèi)容,“好的教學”毫無疑問也是一個很復雜的問題,但是“好的教學”同時也擁有一些較為本質(zhì)的關鍵要素,正是有了這些關鍵要素,“好的教學”和“不好的教學”才能區(qū)別開來,這也是教學質(zhì)量評價指標所要測量的內(nèi)容[6]。而學生作為高等教育的主體,他們親身經(jīng)歷和體驗了大量的教學,能夠區(qū)分老師的教學是不是“好的教學”,在評價教學質(zhì)量上有獨一無二的優(yōu)勢,這種優(yōu)勢是其他諸如學科專家、同行等群體所無法比擬的,是有效的、多維度的而且是可信的[4,7]。因此,研究者聚焦于學生的課堂體驗,試圖從學生的視角評價不同的課堂教學在關鍵要素上的差異,測量學生感知的教學質(zhì)量的課堂體驗問卷(Course Experience Questionnaire,簡稱CEQ)也就應運而生。
課堂體驗問卷的研發(fā)是為了測量學生對課堂教學的感知情況,以此了解不同教學單位在教學質(zhì)量上的差異。這里的課堂教學并不是指具體的某個教師的課堂教學,而是學生大學生涯所學的整體的課程 (如整個學位課程),測量內(nèi)容聚焦在學生直接體驗的課堂教學的關鍵要素上[6]。基于上述目的,PIRG在開發(fā)課堂體驗量表時考慮了以下幾條標準:1)將學生能夠正確判斷的課堂教學質(zhì)量的重要方面全部包括在內(nèi);2)注意與外部評價標準的相關性;3)在制作及管理上以經(jīng)濟為原則;4)能普遍適用于澳大利亞高等教育課程;5)能夠明確揭示不同單位間學生的感知差異[6]。這些相當苛刻的條件意味著大量的研發(fā)工作,其中不乏對以往研究的借鑒,研究者主要借鑒了早期開發(fā)的“課堂感知問卷”(Course Perceptions Questionnaire,簡稱CPQ)[8]、學校體驗問卷 (School Experience Questionnaire,簡稱SEQ)[9],以及高等教育學習體驗問卷(Experiences of Studying and Higher Education Questionnaire,簡稱 ESHEQ)[10],其中又以課堂感知問卷CPQ為主。
CPQ的開發(fā)始于二十世紀七十年代末,這與當時大學生學習研究的興起有密切聯(lián)系,1976年,瑞典哥德堡大學的馬頓 (Marton)教授及其團隊發(fā)現(xiàn)學生在應對學習任務時采用了兩種不同的學習方式:深層學習方式和表層學習方式,采用深層學習方式的學生學習結果質(zhì)量也較高[11]。以拉姆斯頓(Ramsden)為代表的一批研究者試圖探討導致學生學習方式不同的原因,著力探討學習方式與學習情境的關系,并率先在英國蘭卡斯特大學 (Lancaster University)開展量化研究,最終發(fā)現(xiàn)了學習環(huán)境中對學生學習方式影響較大的8個要素:與學生的關系、對教學的投入、學習負荷、教學方式的條理性、職業(yè)發(fā)展聯(lián)系度、社交氛圍、明確的目標和標準、學習自由度,這8個要素構成了初始版本的CPQ的八個維度[8]。在后來的研究中,研究者對初始版本的CPQ進行了一定的修訂,如把其中“與學生的關系”和“對教學的投入”兩個維度改為“對學生的開放態(tài)度”和“良好的教學”維度等,但整體上問卷結構并沒有做出大的改動[12],這些維度在后來的CEQ中得到了部分采納,為CEQ的形成奠定了良好的基礎。
考慮到學生在CPQ各維度上的得分與學習方式相關較弱[13],以及PIRG在制定績效指標的眾多標準等因素,研究者并未將其直接應用到澳大利亞,而是以CPQ為基礎,整合了SEQ等量表,同時結合了學生對“課程的最佳特征”和“最糟糕特征”的開放式回答,最終開發(fā)出了針對測量澳大利亞高等教育教學質(zhì)量的CEQ,在經(jīng)過多次的試測和改進之后,形成的問卷包括57道題,其信效度良好,能夠有效區(qū)分不同課堂教學的好壞。澳大利亞高等教育績效指標研究項目 (Australian Higher Education PerformanceIndicatorsResearch Project)因此建議將問卷縮減為30道題并用于全國性的畢業(yè)生調(diào)查,包括良好的教學 (8題)、明確的目標和標準 (5題)、適當?shù)膶W習負荷 (5題)、恰當?shù)脑u價方式 (6題),以及強調(diào)學習自主性 (6題)5個維度,簡稱為 CEQ30。1990年,CEQ30投入全國性的不同院校、不同專業(yè)的畢業(yè)生調(diào)查并有效回收了3372份,分析結果問卷信效度良好。研究者還分析了學生的課堂體驗和學習方式的關系,發(fā)現(xiàn)良好的教學、明確的目標和深層學習方式有更大的相關,而過重的學習負荷、不當?shù)脑u價方式則與表層學習方式有更大的相關。此外,研究者還分析了不同院校、不同學科在CEQ上的得分情況,發(fā)現(xiàn)量表能夠對不同單位的教學質(zhì)量作出有效的區(qū)分,是評價不同單位教學質(zhì)量有效可靠的指標[6]。
隨后,為了滿足高等教育不斷發(fā)展的需要和社會的要求,CEQ30進行了進一步修訂。為了保證數(shù)據(jù)的可對比性,方便觀察高等教育教學質(zhì)量在時間上的縱向發(fā)展變化,研究者并未對CEQ30進行根本性的改變,而是根據(jù)實際情況做了局部調(diào)整:保留CEQ30中的良好的教學 (6題)、明確的目標和標準 (4題)、適當?shù)呢摵?(4題),以及恰當?shù)脑u價方式 (3題)4個維度,原版中“強調(diào)學習自主性”維度因為其較弱的因子負荷被刪除,新增“一般技能”(6題)維度,總計23題,因此被簡稱為CEQ23。進行這一調(diào)整主要是由于當時社會對高校畢業(yè)生一般技能方面的關注。人們越來越認識到高等教育不僅應該培養(yǎng)學生掌握專業(yè)領域內(nèi)知識技能的能力,還應該培養(yǎng)他們在就業(yè)方面和終身學習等方面的能力,澳大利亞高等教育委員會(Higher Education Council)還因此做了專門的報告,強調(diào)畢業(yè)生應該掌握遷移、適應等一般技能[14],強調(diào)高等教育應該做出更多的努力,使得學生將來能夠更好地適應社會、發(fā)揮才能、服務社會[15]?!耙话慵寄堋本S度的設計即是為了測量學生是否感知到他們的課堂教學培養(yǎng)了這方面的技能,這些一般技能包括分析問題和解決問題的能力、團隊協(xié)作、計劃能力、溝通能力等[16]。
CEQ30和CEQ23在澳大利亞得到了廣泛使用,一些研究和調(diào)查也把兩個版本的問卷結合起來使用,即CEQ36,每個版本的CEQ都包含單獨的一道測量總體滿意度的題目,即“總體來說,我對課堂教學的質(zhì)量感到滿意”(三個版本的問卷結構見表 1)[16]。
表1 CEQ36、CEQ30以及CEQ23的因子結構
盡管CEQ在評價教學質(zhì)量的有效性和可信度得到廣泛認可,一些批評也隨之而來。有研究者認為,課堂體驗只是學生在大學期間眾多體驗的一部分,課堂教學質(zhì)量也只是大學整體質(zhì)量的一部分,其他諸如圖書館、信息支持等方面的服務對學生也至關重要,把它們排除在外是CEQ的一個局限,建議將那些在教室外能夠影響學生經(jīng)驗的重要部分擴充進來[17]。這一建議為后來 CEQ的修訂所接受,以2002年為分界點,2002年以前的CEQ版本主要考察課堂內(nèi)的教學活動過程,這部分內(nèi)容是課堂體驗問卷的主體性部分,2002年以后使用的版本則增加了5個維度 (學生學習支持、學習資源、學習共同體、畢業(yè)生質(zhì)量、激發(fā)學習興趣)以及一道測量大學總體體驗的題目,成為課堂體驗問卷的補充部分。這一部分內(nèi)容我國有學者已經(jīng)做了詳盡的介紹[18],在此不再贅述。
從1992年起,CEQ作為調(diào)查工具發(fā)放給所有完成課業(yè)的畢業(yè)生,了解畢業(yè)生對他們所學過的所有課程的感知情況,以此比較不同單位的教學質(zhì)量。經(jīng)過二十多年的實踐,CEQ已經(jīng)成為推動澳大利亞高校教學質(zhì)量改善的一個重要工具,是國家高等教育教學質(zhì)量調(diào)查項目和學生評教項目中的經(jīng)典,給其他國家的研究者提供了借鑒和參考。
到目前為止,大學生課堂體驗調(diào)查在澳大利亞已經(jīng)實施了二十多年,如果追溯到更早的課堂感知問卷,則有近四十年的歷史,期間產(chǎn)生了一系列很有價值的研究成果,同時也存在一些爭議,其主要結論有:
1.不同學科領域的學生的課堂體驗具有很大的差異性,總體來說人文藝術的學生課堂體驗比理工科學生正面[19];
2.小學校似乎更能給學生產(chǎn)生滿意的“光環(huán)效應”,那些規(guī)模小、入學要求較低的大學反而比傳統(tǒng)意義上的“好大學”得分更高,這可能是因為小學校相對而言班級規(guī)模小、師生關系密切,使得學生的課堂體驗較為良好,而那些在知名大學學習的學生很多在中學時就受到更多的關注和指導,進入大學后反而較為缺乏,這在一定程度上影響了他們的課堂體驗,從而影響了知名大學的得分[20];
3.通過多年的調(diào)查,發(fā)現(xiàn)在大多數(shù)學科,不同單位課程之間學生的體驗差異很小,而且歷年都比較穩(wěn)定[20];
4.學生的個體特征對學生的課堂體驗有一定的影響,在畢業(yè)時的排名越高、大學生涯平均得分越高、畢業(yè)后繼續(xù)深造等因素對學生的課堂體驗有正面的影響,而大學期間成績波動較大、所修課程較多、班級競爭大、大學期間掛科等因素將對學生的課堂體驗產(chǎn)生負面影響[21];
5.學生的課堂體驗將對學生的學習方式和學習質(zhì)量產(chǎn)生影響,課堂體驗越正面的學生越傾向于采用深層學習方式,導致更高質(zhì)量的學習結果,課堂體驗越負面的學生越有可能采用表層學習方式[22]。
其爭議主要集中在以下問題:
1.以學生的課堂體驗來衡量不同學術單位的教學質(zhì)量的差異是否可靠?從學生的視角來評價教學質(zhì)量,利用學生對課堂教學的感知來衡量不同學術單位在課堂教學上的差異,既是評價方法的一種獨到之處同時也招致了一些批評,有研究者認為,限于學生的知識水平等因素,他們對課堂教學評價的能力是有限的,學生容易把類似的評估調(diào)查當成“苦差事”,產(chǎn)生應付心理[23];而且要把整個大學生涯的課堂體驗濃縮到一份問卷中對學生而言無疑是困難的[24],此外,學生的課堂體驗容易受到學生個體特征的影響,主觀性較強,將這樣的數(shù)據(jù)作為一項重要的衡量教學質(zhì)量的指標似乎是有待考量的。[20]
2.學生的課堂體驗能在多大程度上反映課堂教學質(zhì)量?課堂體驗問卷是測量學生課堂體驗最經(jīng)典、應用最廣泛的量表之一,而課堂體驗問卷只包括幾個維度以及一道測量總體滿意度的題目,這似乎意味著課堂教學的情況能夠用這些維度反映出來,提供給各單位的反饋也局限于這幾個方面[25],而許多被大學教學所珍視的因素難以測量,而且當把這些因素量化之后,一些重要的信息就會丟失[26]。
3.能否用學生的課堂體驗來比較不同單位在教學上的差異?最近有研究者對用學生的課堂體驗來比較不同單位的教學表現(xiàn)這一做法提出質(zhì)疑,認為盡管課堂體驗量表有良好的信效度,并不能說明它適合用來比較不同單位的教學質(zhì)量。研究者發(fā)現(xiàn),在控制了學科因素和學生背景信息之后,不同學校、不同院系在課堂體驗問卷及其各維度上的差異均不明顯;此外,在大多數(shù)情況下,學生只能進入到某所學校的某個院系學習,并沒有體驗到其他學校和其他院系的教學情況,通過對比這些學生的評價 (或體驗)來比較不同單位的教學質(zhì)量似乎是不太合理的[27]。
4.學生課堂體驗調(diào)查的結果對高校教學質(zhì)量的提升產(chǎn)生了多大影響?大學生課堂體驗調(diào)查聚焦于學生的體驗,而不是教師或者課程的特征,而且調(diào)查的是學生對大學生涯的整體課程的感知,具有很強的“集合性”,這就使得某個具體的老師甚至是院系、學校難以診斷出自己的教學所存在的問題,而他們的努力卻與教學質(zhì)量的提升有最直接的相關。此外,課堂體驗調(diào)查具有較強的滯后性,從問卷發(fā)放給畢業(yè)生到回收就長達三四個月之久,到形成最終的報告通常要在一年以上,使得學校在利用這些數(shù)據(jù)來改善教學上存在一定的困難[28],事實上,研究結果表明在大多數(shù)學科,學生的課堂體驗歷年都比較穩(wěn)定[20]。
5.如何平衡管理需要和教師自主性?大學生課程體驗調(diào)查由澳大利亞畢業(yè)生就業(yè)委員會 (GCCA)和澳大利亞大學質(zhì)量保障署 (AUQA)等機構承擔,常常是出于一種對外界負責任的目的,很大程度上是一種自上而下的管理需要,部分教學人員可能在這種連年的數(shù)據(jù)集中采集之中找不到自主性,覺得是對他們教學工作的干預,此外,調(diào)查結果很難反饋到個體的教師,然而他們對教學質(zhì)量改進所下的決心和所要采取的行動卻負有最終的責任[26],如何平衡管理的需要和教師的自主性也因此成為富有爭議性的話題。
歷經(jīng)二十余年,大學生課堂體驗調(diào)查在澳大利亞得到了很好的發(fā)展,并作為一個常規(guī)的高等教育質(zhì)量保障工具逐步走向制度化,盡管還存在一些爭議,但基本已經(jīng)形成了比較完善的體系。目前,大學生課堂體驗調(diào)查年度報告已經(jīng)成為澳大利亞各大學改進教育教學、考生及家長選擇大學和專業(yè)的重要參考依據(jù)。這也給我國的教學質(zhì)量評價尤其是學生評價提供了一些有益的啟示:
首先,引導“學生評價教學”而非“學生評價教師”。學生評教并不是局限于簡單、消極地對教師的勞動情況進行鑒定,而是要幫助教師揚長避短、推進課堂教學質(zhì)量的改進。作為一項針對全國高校教學的調(diào)查,課堂體驗調(diào)查并不著眼于個別的教師,而是多角度的整體的課堂教學,本質(zhì)是“評價教學”而非“評價教師”,這在一定程度上能夠避免老師為了得高分而去迎合學生,或者因為評分較低而去報復學生等現(xiàn)象,也更能發(fā)現(xiàn)教學中存在的問題進行針對性的改進。
其次,提倡多元的評教形式,與其他評價指標互為補充。對于課堂教學的評價,需要多方位的考慮,任何單一的評價形式都難免出現(xiàn)偏頗,研究者在開發(fā)課堂體驗問卷時明確申明,學生的課堂體驗不能作為單一的教學質(zhì)量評價指標,而必須與其他教學質(zhì)量評價指標互為補充,共同起作用[16]。事實上,澳大利亞的課堂體驗調(diào)查往往與畢業(yè)生去向調(diào)查 (Graduate Destination Survey)、畢業(yè)生技能評估 (Graduate Skill Assessment)、結果績效指標(Outcome Performance Indicators)相配合使用,與學生的課堂體驗相比,畢業(yè)生去向調(diào)查的結果更為客觀、畢業(yè)生技能評估更為準確、結果績效指標更為綜合,多種評價形式相互補充,有利于更全面地把握高校教學質(zhì)量。
再次,保證調(diào)查持續(xù)性,進行教學質(zhì)量的追蹤。從1992年起,澳大利亞的大學生課堂體驗調(diào)查在每年度都會展開,至今已有二十余年,因此可以進行教學質(zhì)量縱向的年度比較,追蹤教學改進情況。通過比較學校、院系每一年獲得的評價結果,分析一個專業(yè)、一個院系乃至一個學校的教學改善情況,有利于更加客觀、準確地評價不同單位的教學水平。
最后,進行橫向比較,提高教學改善的針對性。課堂體驗調(diào)查調(diào)查數(shù)據(jù)結果可以對同一學科領域內(nèi)的不同學校、院系進行比較,即橫向的跨校比較。此舉一方面可以監(jiān)控各學科領域教學質(zhì)量的變化動態(tài),并進行歸因分析和有針對性的改進,另一方面可以讓管理機構、評估機構等從整體上把握同類學科領域的教學質(zhì)量狀況,有利于對同一學科但教學質(zhì)量迥異的單位采取不同的質(zhì)量干預措施,提高教學改善的針對性。
[1]PROSSER M.TRIGWELL K.Understanding Learning and Teaching:the Experience in Higher Education[M].London:McGraw Hill Education.1999.
[2]LONG M.The course experience questionnaire and Australian universities[J].Unicorn.1995(21):27-35.
[3]POLLITT C.Measuring university performance:never mind the quality,never mind the width,Higher Education Quarterly.1990(44):61-81.
[4]MARSH H.W.Students'evaluations of university teaching:research findings,methodological issues,and directions for future research,International Journal of Educational Research.1987(11):253-388.
[5]ROMAINVILLE M.Quality evaluation of teaching in higher education,Higher Education in Europe.1999(24):415-424.
[6]RAMSDEN P.A performance indicator of teaching quality in higher education:The Course Experience Questionnaire[J].Studies in Higher Education.1991(16):129 -150.
[7]WACHTEL H.Student evaluation of college teaching effectiveness:a brief review,Assessment and Evaluation in Higher Education.1998(23):191-211.
[8]Ramsden P.Student Learning and Perceptions of the Academic Environment[J].Higher Education.1979(8):411-427.
[9]RAMSDEN P.MARTIN E.BOWDEN J.School environment and sixth form pupils’approaches to learning.British Journal of Educational Psychology [J].1989(59):129-142.
[10]ENTWISTLE N.J.TAIT H.Approaches to learning,evaluations of teaching,and preferences for contrasting academic environments[J].Higher Education.1990(19):169-194.
[11]MARTON F,SALJO R.On qualitative differences in learning-Outcome and process[J].British Journal of Educational Psychology.1976(46):4-11.
[12]ENTWISTLE N.J.RAMSDEN P.Understanding Student Learning[M].London,CroomHelm.1983.
[13]PARSONS,P.G.The Lancaster approaches to studying inventory and course perceptions questionnaire:A replicated study at the Cape Technikon.South African Journal of Higher Education.1988(2):103-111.
[14]Higher Education Council.Higher Education:the challenges ahead[R].Canberra.Australian Government Publishing Service.1990.
[15]Higher Education Council.Higher Education:achieving quality[R].Canberra.Australian Government Publishing Service.1990.
[16]WILSON K.L,LIZZIO A.The development,validation and application ofthe course experience questionnaire.Studies in Higher Education [J].1997(22):33-53.
[17]YORKE M.Siamese twins?Performance indicators in the service of accountability and enhancement[J].Quality in Higher Education1995(1):13-30.
[18]邵娟.澳大利亞高校學生評教指標體系解讀 [J].中國高等教育評估.2012(3):56-60.
[19]NEUMANN R.Communicating student evaluation of teaching results:Rating interpretation guides(rigs).Assessment& Evaluation in Higher Education [J].2000(25):121-134.
[20]RICHARD JAMES.Academic Standards and the Assessment of Student Learning:Some Current Issues in Australian Higher Education [J].Tertiary Education and Management.2003(9):187-198.
[21]HIRSCHBERG J.LYE J.DAVIES M.ET AL.Measuring Student Experience:Relationships between Teaching Quality Instruments(TQI)and Course Experience Questionnaire(CEQ)[R].2011.
[22]DISETH A.Approaches to learning,course experience and examination grade among undergraduate psychology students:testing of mediator effects and construct validity[J].Studies in Higher Education.2007(32):373 -388.
[23]SIMPSON P.M.Siguaw J.A.Student evaluations of teaching:An exploratory study of the faculty response[J].Journal of Marketing Education.2000(22):199-213.
[24]Graduate Careers Council of Australia.Course Experience Questionnaire 2002[R].Canberra,Australian Capital Territory,Australia.2003.
[25]KEMBER D.LEUNG D.Y.P.Development of a questionnaire for assessing students’perceptions of the teaching and learning environment and its use in quality assurance[J].Learning Environ Res.2009(12):15-29.
[26]理查德·詹姆士.澳大利亞本科教育評估與改進的經(jīng)驗[J].陳運超,譯.復旦教育論壇,2004(2):79-84.
[27]MARSH H.W.GINNS P.MORIN A.J.S.ET AL.Use of student ratings to benchmark universities:Multilevel modeling of responses to the Australian Course Experience Questionnaire(CEQ) [J].Journal of educational psychology.2011(103):733-748.
[28]HIRSCHBERG J.LYE J.DAVIES M.ET AL.Measuring Student Experience:Relationships between Teaching Quality Instruments(TQI)and Course Experience Questionnaire(CEQ)[R].2011.