趙馨蕊 周雨青 瞿林云 張志紅
(東南大學 1生物科學與醫(yī)學工程學院,江蘇 南京 210096; 2物理學院,江蘇 南京 211189)
評價,原指對貨物的論質(zhì)評價,后被廣泛用作對事物或人物價值的衡量[1]。教學評價,是通過系統(tǒng)地收集教學信息,對教學質(zhì)量及其形式、發(fā)展過程做出價值判斷的一種活動,其目的在于分析教學得失,診斷教學癥狀[2,3]。大學物理MOOC教學質(zhì)量評價指的是通過收集教學信息,對大學物理MOOC教學的基本要素進行合理科學的價值判斷,評價該門大學物理MOOC的教學是否達到預期教學目標的程度,目的在于不斷調(diào)整課程教學方法,促進教學水平及教學質(zhì)量的提升。
大學物理MOOC教學質(zhì)量評價應(yīng)將傳統(tǒng)大學物理教學質(zhì)量評價與現(xiàn)代網(wǎng)絡(luò)教學質(zhì)量評價相結(jié)合,兼顧網(wǎng)絡(luò)教學與傳統(tǒng)大學物理教學的特點,使評價體系更具針對性與有效性。
教育部高等學校物理基礎(chǔ)課程教學指導委員會制定的《大學物理課程教學基本要求》(以下簡稱《基本要求》)是各高校編寫教材、授課講學、考試命題和教學評估的依據(jù),是課程管理和評價的基礎(chǔ),體現(xiàn)了對教師在教學基本內(nèi)容、對學生的能力培養(yǎng)和素質(zhì)培養(yǎng)以及教師教學過程的基本要求[4,5]。
《基本要求》提出以物理學基礎(chǔ)為內(nèi)容的大學物理課程是高等學校理工科各專業(yè)學生一門重要的通識必修基礎(chǔ)課,該課程所教授的基本概念、基本理論和基本方法是構(gòu)成學生科學素養(yǎng)的重要組成部分。大學物理課程的教學應(yīng)使學生對物理學的基本概念、基本理論和基本方法有比較系統(tǒng)的認識和正確的理解,為進一步學習打下堅實的基礎(chǔ)。在大學物理課程的各個教學環(huán)節(jié),都應(yīng)在傳授知識的同時,注重培養(yǎng)學生分析問題和解決問題的能力,注重培養(yǎng)學生的探索精神和創(chuàng)新意識,努力實現(xiàn)學生知識、能力、素質(zhì)的協(xié)調(diào)發(fā)展。表1列出《基本要求》中大學物理課程教學應(yīng)注重培養(yǎng)的知識、能力和素質(zhì)要求。
表1 大學物理課程中對知識、能力、素質(zhì)培養(yǎng)的基本要求
《基本要求》強調(diào)大學物理的教學過程,應(yīng)貫徹以學生為主體、教師為主導的教育理念,遵循學生的認知規(guī)律,注重理論聯(lián)系實際,激發(fā)學習興趣,引導自主學習,鼓勵個性發(fā)展,營造有利于培養(yǎng)學生科學素養(yǎng)和創(chuàng)新意識的教學環(huán)境。《基本要求》對教學過程的要求見表2。
表2 大學物理課程中對教學過程的基本要求
國外的MOOC發(fā)展相對來說較早,MOOC評價體系也較完善。較為通用的有美國教學設(shè)計與適用專業(yè)委員會制定的《在線學習認證標準》(E-learning Certification Standards),它從可用性、技術(shù)性、教學性3個維度(32個二級指標)對在線學習進行了評價。美國培訓與發(fā)展協(xié)會制定的《在線學習課件認證》(E-learning Courseware Certification)主要從可用性和教學設(shè)計兩個維度進行衡量,其中可用性包括界面使用、安裝方便等11個子指標項,教學設(shè)計包括目標、內(nèi)容、策略、媒體、評價等18個子指標項。美國高等教育政策研究所和BlackBoard公司聯(lián)合發(fā)布的《在線學習質(zhì)量》(Quality On the Line)包括體系結(jié)構(gòu)、課程開發(fā)、教學/學習、課程結(jié)構(gòu)、學生支持系統(tǒng)、教師支持系統(tǒng)、評價與評估系統(tǒng)7個維度的標準。
隨著國內(nèi)MOOC發(fā)展,對MOOC評價的研究逐漸增多,從評價標準制定主體的角度,主要可分為3類:政府機構(gòu)頒布的網(wǎng)絡(luò)教學質(zhì)量評價標準;MOOC平臺建設(shè)團隊自主研發(fā)的評價標準;學者研究制定的MOOC教學質(zhì)量評價標準。
2000年,教育部科技司啟動現(xiàn)代遠程教育標準研究(DLTS)項目并發(fā)布《現(xiàn)代遠程教育工程教育資源開發(fā)標準(征求意見稿)》,這一標準對網(wǎng)絡(luò)學習資源、網(wǎng)絡(luò)課件和網(wǎng)絡(luò)課程提出了一些基本要求,但并沒有提出網(wǎng)絡(luò)教學的評價標準,無法形成系統(tǒng)的評價指標體系。2001年,我國教育部信息化技術(shù)標準委員會發(fā)布《教育信息化技術(shù)標準CELTS-22.1-網(wǎng)絡(luò)課程評價規(guī)范》,CELTS-22.1標準針對基礎(chǔ)教育、高等教育以及職業(yè)教育領(lǐng)域中的網(wǎng)絡(luò)課程,提出了網(wǎng)絡(luò)課程評價的一般性規(guī)范,該標準制定了一套指標體系,規(guī)定從課程內(nèi)容、教學設(shè)計、界面設(shè)計和技術(shù)4個維度評價網(wǎng)絡(luò)課程質(zhì)量。2010年,教育部為評選網(wǎng)絡(luò)精品課程出臺的《國家精品課程評審指標》以教學內(nèi)容、教學方法與手段、教師隊伍、教學條件和教學效果5個維度,另加特色及政策支持附加分,構(gòu)成精品課程評審指標[6]。
成立于2016年2月的全國地方高校優(yōu)課聯(lián)盟(UOOC)是一家由深圳大學發(fā)起,社會各界共同參與的互聯(lián)網(wǎng)教育公司,為保障其教學質(zhì)量,UOOC聯(lián)盟借鑒2010年《國家精品課程評審指標》頒布了《UOOC聯(lián)盟上線MOOC質(zhì)量評價表》及《自查表》,質(zhì)量評價表主要包含5大模塊:教學設(shè)計與方法(課程設(shè)計、教學安排、教學風格、教學方法),教學內(nèi)容與資源(教學視頻內(nèi)容、教學視頻輔助內(nèi)容),教學活動與考核(在線互動、考核),教學團隊支持與服務(wù)(團隊成員、教學服務(wù)),教學效果與評價(選課人數(shù)、學生評價)。自查表包含課程門戶建設(shè)、教學運行狀態(tài)、總體評級3大模塊。
國內(nèi)學者李青和劉娜(2015)以美國在線課程質(zhì)量量規(guī)(Quality Matters Rubric)為藍本構(gòu)建了MOOC質(zhì)量模型[7]。李加軍等(2016)在借鑒相關(guān)研究成果的基礎(chǔ)上確立影響MOOC教學質(zhì)量的評價指標體系,通過專家打分法和層次分析法獲得相應(yīng)指標權(quán)重,形成教學評價、教學過程、導航設(shè)計、課程內(nèi)容設(shè)計4維度評價標準[8]。李興敏等(2016)沿用李加軍等人研究出的評價體系,但是更正了其判斷矩陣構(gòu)建中的邏輯錯誤,并引入評委會表決權(quán)重分層和評語等級參數(shù),使得評價結(jié)果更準確[9]。謝賓等人(2016)構(gòu)建的MOOC教學過程質(zhì)量監(jiān)控評價體系能夠?qū)崿F(xiàn)教學過程的監(jiān)控和評價,使教師根據(jù)監(jiān)控數(shù)據(jù)和評價結(jié)果調(diào)整教學[10]。
綜合借鑒上述國內(nèi)外MOOC評價指標體系的建構(gòu)思路與權(quán)重統(tǒng)計方法,大學物理MOOC教學質(zhì)量評價指標體系的建構(gòu)應(yīng)遵循以下步驟:首先應(yīng)確定大學物理MOOC教學的總體目標,其次將總體目標逐步分解成一級指標、二級指標、三級指標,并建立評價標準,再運用層次分析法對各項指標權(quán)重進行計算,最終形成評價指標體系總表。
大學物理MOOC教學總體目標為“經(jīng)過大學物理MOOC學習,使學生對物理學的基本概念、基本理論和基本方法有比較系統(tǒng)的認識和正確的理解,培養(yǎng)學生分析問題和解決問題的能力,注重培養(yǎng)學生的探索精神和創(chuàng)新意識,促進學生知識、能力、素質(zhì)的協(xié)調(diào)發(fā)展”。根據(jù)教學總體目標,結(jié)合教學系統(tǒng)要素說,在借鑒國內(nèi)外MOOC教學質(zhì)量評價與大學物理教學基本要求的基礎(chǔ)上,將總體目標劃分為6項一級指標、16項二級指標與26項三級指標,如圖1所示。
來自名校的大學物理課程與名師教學隊伍是MOOC得以吸引眾多學習者參與的重要原因,正如知名MOOC平臺Coursera“致力于普及全世界最好的教育”一樣,著名高校的優(yōu)秀課程能夠通過在線開放的網(wǎng)絡(luò)平臺得到更廣泛、更深入的傳播。構(gòu)成“教學隊伍”指標項(表3)的二級指標主要包括: (1)大學物理MOOC的提供組織(多指哪所大學開設(shè)的)的大學物理教學水平、專業(yè)水平以及科研水平;(2)MOOC主講人,通常為該門大學物理MOOC的主要負責人,主講人的教學水平、學術(shù)水平、科研能力以及組織管理能力也將影響該門MOOC的教學質(zhì)量;(3)教學團隊,大學物理MOOC制作任務(wù)艱巨、工作繁重,從課程編制、視頻錄制到課程上線后的管理均需有專人負責,因此MOOC教學團隊人數(shù)不應(yīng)少于3人,且團隊成員結(jié)構(gòu)合理、分工明確。
圖1 大學物理MOOC教學質(zhì)量評價指標項
教學質(zhì)量評價是利用教學評價的理論和技術(shù)對教學過程及其結(jié)果是否達到一定質(zhì)量要求做出價值判斷,教學質(zhì)量評價作為教學活動的必要環(huán)節(jié),應(yīng)在正確的教育教學價值觀的指導下,依據(jù)一定的教學目標,遵循特定的程序和方法,全面、客觀、準確地進行判斷。由此可見,教學目標的設(shè)定至關(guān)重要,科學合理的教學目標影響教學活動的組織和教學評價的導向。教學目標的評價應(yīng)遵循以下原則: (1)教學目標的傳達應(yīng)明確清晰不含糊。在MOOC教學中,教學目標不應(yīng)僅存在于教師的教案中,而應(yīng)在課程正式開始前,向?qū)W生清晰傳達課程總目標和各章節(jié)教學目標,運用布魯姆的教學目標分類理論,采用“知道、理解、運用、分析、綜合、評價”等動詞進行描述,以使學習者明確自己應(yīng)在何種程度上掌握該知識,幫助學習者分清學習上的輕重緩急,合理分配時間和精力。(2)教學目標中的整體課程目標與各章節(jié)目標要科學合理、難度適中,充分考慮不同教育背景、不同年齡階段學生的學習水平和身心發(fā)展水平。(3)教學目標應(yīng)遵循多樣化原則,包括知識目標、技能目標和情感目標。教學目標指標項的建構(gòu)見表4。
表3 大學物理MOOC“教學隊伍”指標項的建構(gòu)
表4 大學物理MOOC“教學目標”指標項的建構(gòu)
教學方法與手段在教學中具有重要的意義,不僅因為教學方法運用不當就不能完成一定的教學任務(wù),而且在于教學方法關(guān)涉教師組織、引導學生學習科學文化知識,獲得相應(yīng)發(fā)展的基本活動。區(qū)別于大學物理傳統(tǒng)課堂教學,大學物理MOOC教學方法與手段運用了“互聯(lián)網(wǎng)+”與多媒體技術(shù),更貼近碎片化學習與移動學習需求,教學方法與手段更具時代感。因此,對教學方法與手段的評價,應(yīng)圍繞以下幾個維度展開: (1)教學媒體。MOOC多呈現(xiàn)于MOOC網(wǎng)絡(luò)平臺,課程界面應(yīng)簡潔,導航清晰,課程視頻畫面清晰流程,電子板書工整且整個視頻畫面色彩得當。(2)教學方法。MOOC教學方法一方面應(yīng)符合移動學習與在線學習的特點,另一方面也要注重教學方法的多樣性,教師應(yīng)靈活運用多種行之有效的教學方法,以講授法為主,輔以啟發(fā)式、討論式,充分發(fā)揮MOOC所具有的“大規(guī)模”“在線”“開放”的特質(zhì)。(3)教學手段。教學手段是指為完成教學任務(wù),配合某種教學方法而采用的工具、資料與設(shè)施,由于大學物理知識具有一定抽象性和概括性,這要求教師在講授知識點時應(yīng)輔以模型和演示實驗,以幫助學生觀察物理現(xiàn)象,增加感性知識,提高學習興趣,但是教學手段應(yīng)服務(wù)于教學目的,科學選取合理的教學手段是關(guān)鍵。教學方法與手段指標項的建構(gòu)見表5。
教學內(nèi)容是教與學相互作用過程中有意傳遞的主要信息。在大學物理MOOC教學質(zhì)量評價中,對教學內(nèi)容的評價主要包括課程概述、教學設(shè)計與教學資源。首先,課程頁面應(yīng)提供教師和教學團隊介紹,課程內(nèi)容簡介,明確說明該課程的考核方式、學分及認證的相關(guān)要求,同時考慮到學習者的廣泛性和知識背景的差異性,應(yīng)向?qū)W習者說明學習該門物理課程所應(yīng)具備的基礎(chǔ)物理知識和運算技能。其次,教學團隊在教學設(shè)計中應(yīng)注重“教學前測”“課程框架和重難點”“課時設(shè)計”3個環(huán)節(jié),由于學習者來源的廣泛性,在正式教學前應(yīng)以問卷等方式收集學習者基本信息,包括年齡、知識結(jié)構(gòu)、專業(yè)背景、學習需求等信息,教師以此為基礎(chǔ)適當調(diào)整教學步驟與內(nèi)容,并給予個性化指導;在每章節(jié)正式學習前,應(yīng)明確告知學習者課程結(jié)構(gòu)框架和本章學習的重難點,給予學習指導和建議;課程總學時時長適宜,每周學時分配合理,使學習者感到學習節(jié)奏張弛有度、不急不緩。最后,大學物理MOOC教學資源豐富,通常包括“教學視頻資源”“視頻輔助資源”和“教學練習資源”3大模塊,教學視頻資源是最主要的教學資源,視頻知識點應(yīng)當講授清晰、內(nèi)容安排合理且符合邏輯,難度適中,內(nèi)容豐富,與視頻相配套的教學資源應(yīng)有PPT、文字課件、拓展閱讀材料和參考書目,以供學習者課后鞏固和拓展,每課應(yīng)配備相應(yīng)內(nèi)容的練習題,課后練習題難度和題量適中,章節(jié)測試與期中、期末測試題庫制作完善。教學內(nèi)容指標項建構(gòu)見表6。
表5 大學物理MOOC“教學方法與手段”指標項的建構(gòu)
教學是在一定教育目的規(guī)范下,由“教師的教學活動”與“學生的學習活動”兩方面統(tǒng)一組成的雙邊活動。在這一活動中,教師是教學的組織與引導者,學生是教學的對象,學生在教師有計劃地組織與引導下,能動地學習、掌握系統(tǒng)的科學文化基礎(chǔ)知識,發(fā)展自身的智力與體能,養(yǎng)成良好的品德與美感,逐步形成全面發(fā)展的個性。一方面,在“教師活動”中,教師的基本活動就是知識講解與課堂組織,這要求教師在講授知識點時課程導入明確,重點突出,條理清晰且富有科學性,教師應(yīng)合理地控制教學節(jié)奏,教學過程中儀態(tài)自然大方,語速適中,語調(diào)富有感召力,此外,大學物理MOOC多設(shè)有在線討論區(qū),教師與助教應(yīng)積極參與討論,及時回復學生提問,利用討論區(qū)激發(fā)學生自主學習的積極性,拉近師生關(guān)系,營造熱烈的學習氛圍。另一方面,在“學生活動”中,學生的學習活動主要通過課程訪問情況、課程學習情況與在線交互情況體現(xiàn)出來,通過統(tǒng)計該門大學物理MOOC的學習者報名人數(shù)、課程被訪問次數(shù)、授課視頻觀看次數(shù)、討論區(qū)發(fā)帖數(shù)量等數(shù)據(jù),可反映出學習者參與度。教學活動指標項建構(gòu)見表7。
大學物理MOOC的教學評價可分兩步走,首先是每節(jié)課后的“作業(yè)測評”,其次是“課程測評”(包括期中測評與期末測評)。(1)作業(yè)設(shè)計應(yīng)難度適中,題型多樣,除選擇題、計算題也可采用問答題、論述題、探究題等多種題型,以綜合考察學生多方面的能力,作業(yè)批改后也應(yīng)及時反饋,指出錯誤所在并提供解決思路,有助于學習者糾錯和改進。作業(yè)完成率(完成作業(yè)的學生人數(shù)與選課總?cè)藬?shù)之比)與作業(yè)合格率(作業(yè)評分合格人數(shù)與選課總?cè)藬?shù)之比)能夠體現(xiàn)出學習者的學習態(tài)度和知識點掌握情況。(2)在課程測評中,教學團隊應(yīng)遵循過程性評價與總結(jié)性評價相結(jié)合的原則,在參照學習者課程測試得分的情況下,同時參考學習者的討論發(fā)言次數(shù)、平時作業(yè)測評情況和視頻觀看情況,多方面、多元化地考查學習者的學習態(tài)度和知識掌握程度,并且以課程目標與教學目標為出發(fā)點,評價學習者在何種程度上達到了預設(shè)的教學目標。課程完成率(完成課程的學生人數(shù)與選課總?cè)藬?shù)之比)與課程合格率(課程評分合格人數(shù)與選課總?cè)藬?shù)之比)為教師掌握課程整體完成情況提供了視角。 教學評價與反饋指標項建構(gòu)見表8。
表6 大學物理MOOC“教學內(nèi)容”指標項的建構(gòu)
表7 大學物理MOOC“教學活動”指標項的建構(gòu)
層次分析法是美國運籌學專家、匹茲堡大學教授斯塔(T.L.Saaty)提出的,此法可用來評定被評對象的優(yōu)先次序,確定各指標的權(quán)重。本文邀請來自東南大學、同濟大學、山東大學、東北大學、吉林大學5所高校的15位大學物理MOOC教學領(lǐng)域?qū)<乙勒諏哟畏治龇▽?quán)重進行評分,主要步驟如下。
筆者將總目標分解成多級指標(見圖1)后,專家對同一層的指標進行兩兩比較,按其相對重要性程度,用斯塔相對重要性等級表(見表9)賦值,并形成判斷矩陣。
表8 大學物理MOOC“教學評價與反饋”指標項的建構(gòu)
表9 斯塔相對重要性等級表
現(xiàn)以山東大學某專家評分為例。第一層教學隊伍包含提供組織(記為B11)、主講人(記為B12)、教學團隊(記為B13)3條指標,將B11與B12相比較,專家認為B11比B12稍微次要,則在B11行B12列填1/3;將B11與B13相比較,專家認為B11比B13同等重要,則在B11行B13列填1;同理,將B12與B13相比較,專家認為B12比B13稍微重要,則在B12行B13列填3,如表10所示。
表10 山東大學某專家第一層次(教學隊伍)重要性等級表
這個矩陣用符號表示,即成為
這個判斷矩陣的特點:為n階方陣,矩陣的主對角線元素皆為1,Bi與Bj是Bj與Bi重要性程度等級的倒數(shù)。
層次單排序就是根據(jù)判斷矩陣計算本層次各指標的權(quán)重。其步驟如下:
4.2.1 分別求出判斷矩陣中各行相對重要性等級之和以及所有等級之和
各行等級之和:
所有等級之和:
4.2.2 求各指標權(quán)重
各指標權(quán)重等于判斷矩陣中各行相對重要性等級之和除以所有等級之和。
公式為
于是,3個指標的權(quán)重為
4.2.3 層次單排序一致性檢驗
由于人們認識上有差異,上述判斷矩陣可能不具有一致性。為此,我們用隨機一致性比值對其偏差程度進行一致性檢驗,其公式為:
在這里,CR表示隨機一致性比值;CI表示一致性指標,RI表示平均隨機一致性指標。
當CR≤0.1時,可認為判斷矩陣具有一致性,即層次單排序有效;當CR>0.1時,可認為判斷矩陣偏差太大,需對評分重新修改,直至具有一致性為止。
在這里,λmax表示判斷矩陣的最大特征根,n表示判斷矩陣的階數(shù)。
當λmax=n時,CI=0,這時,n階判斷矩陣具有完全一致性;CI越大,判斷矩陣的一致性越差。
上式中的λmax為
仍以上例述山東大學某專家第一層次重要性等級排序為例,該例中,
RI可根據(jù)判斷矩陣的階數(shù)n,從表11直接查得。
表11 各階數(shù)判斷矩陣RI值
上述以一位專家第一層次“教學隊伍”等級排序為例,說明層次分析法構(gòu)建矩陣求權(quán)重的步驟,因本文采納了5所高校15名專家意見,故采用上述矩陣法求權(quán)重后,將15位專家給出的權(quán)重求平均數(shù)后,“總目標”與6項一級指標權(quán)重向量匯總?cè)缦拢?/p>
“總目標”排序權(quán)重集為WG={0.17、0.19、0.17、0.19、0.14、0.14}
“教學隊伍”排序權(quán)重集為W1={0.31、0.41、0.28}
“教學目標”排序權(quán)重集為W2={0.39、0.31、0.30}
“教學方法與手段”排序權(quán)重集為W3={0.29、0.43、0.28}
“教學內(nèi)容”排序權(quán)重集為W4={0.29、0.28、0.43}
“教學活動”排序權(quán)重集為W5={0.61、0.39}
“教學評價與反饋”排序權(quán)重集為W6={0.49、0.51}
同理可求得二級指標與三級指標權(quán)重向量,此處不一一列出。
層次總排序就是計算相對高一層次而言的本層次各指標的權(quán)重,且從高到低,逐層進行。下表中的A1、A2、A3、A4、A5、A6為一級指標,與A相對應(yīng)的下一層指標B11…B13、B21…B23、B31…B33、B41…B43、B51…B52、B61…B62的單排序結(jié)果如下表,那么B層在總排序中各指標的權(quán)重就等于這些指標在B層單排序中的權(quán)重與相應(yīng)的上一層指標的權(quán)重之積。如B11總排序的權(quán)重為0.17×0.31=0.0527,B21總排序的權(quán)重為0.19×0.39=0.0741,見表12。
表12 層次B總排序表
續(xù)表
同理可求得各三級指標權(quán)重,即可構(gòu)建出大學物理MOOC教學質(zhì)量評價指標體系總表,如附件1所示。
本文基于大學物理教學基本要求與諸多國內(nèi)外網(wǎng)絡(luò)課程評價指標,采用層次分析法構(gòu)建大學物理MOOC教學質(zhì)量評價體系,旨在為遴選高質(zhì)量大學物理MOOC提供標準,提高大學物理MOOC質(zhì)量與教學水平。本文采用的層次分析法共選取5所985高校15位大學物理MOOC教學的一線專家意見,將其等級評分表進行匯總后建立矩陣,求得單層次權(quán)重并進行單層次一致性檢驗,剔除一致性檢驗不達標的數(shù)據(jù),求得15位專家權(quán)重的加權(quán)平均數(shù),最后做總層次排序,完成指標體系的構(gòu)建。盡管層次分析法所采用的數(shù)據(jù)來自專家意見,具有一定程度上的主觀性,不同專家對權(quán)重分配存在一定差異,但筆者通過對15位專家權(quán)重進行加權(quán)平均后發(fā)現(xiàn),各指標項所得到的結(jié)果較為趨同,且本研究成果經(jīng)專家論證合理可行。
附件1 大學物理MOOC教學質(zhì)量評價指標體系
續(xù)表
續(xù)表
■