基于多元智能理論的MOOC教學績效評價研究

劉 偉 毛才盛 王山慧

（1. 浙江大學寧波理工學院， 浙江 寧波 315100； 2. 浙江大學寧波質(zhì)量發(fā)展研究院， 浙江 寧波 315100）

1 問題的提出

開展課程教學績效評價是保障和提升教學體系質(zhì)量的主要方式和重要抓手， 通過開展教學績效評價，可以精準識別課程教學的優(yōu)勢和短板、持續(xù)優(yōu)化課程教學的流程和方法、 充分挖掘學生學習的興趣點和關注點，進而實現(xiàn)學生各層次、多類型的智能和技能水平全面提升的根本目標。 近年來，大規(guī)模網(wǎng)絡開放課程（Massive Open Online Course，簡稱MOOC）依托其所具備的大規(guī)模、在線、開放和共享等創(chuàng)新特色， 逐漸成為一種熱門的新型課程教學模式；MOOC注重個性化和情景化的自主學習，注重學生知識技能及態(tài)度情感的培養(yǎng)， 教學主要通過先導閱讀、微視頻、問題討論和實時測試等多種形式呈現(xiàn)，提供個性化、共享式的教學服務。

目前MOOC 教學績效評價也存在著諸多問題，如績效評價缺乏有效理論支撐、 評價標準不清晰、指標偏重技術和定性、權重配置不合理等，這些都在一定程度上影響或阻礙了MOOC 的發(fā)展。多元智能理論認為，智能是人在特定情景中解決問題并有所創(chuàng)造的能力，每種類型的智能都具有獨特的豐富內(nèi)涵、鮮明的理論特色及實用性，推動了多元智能理論與教學應用領域的全面融合，主要包括基于多元智能模型的教學理念、模式、手段、環(huán)境和內(nèi)容等的全方位創(chuàng)新并最終形成共生發(fā)展的生態(tài)系統(tǒng)。 本文基于多元智能理論內(nèi)涵和應用特征進行分析，運用網(wǎng)絡分析法ANP 開展MOOC 教學績效評價體系創(chuàng)新研究， 系統(tǒng)設計MOOC 教學績效評價指標體系，合理選擇指標權重設置方法，科學構建績效評價模型，進一步推動創(chuàng)新成果的實踐應用。

2 研究基礎

2.1 多元智能理論與教學的應用融合

傳統(tǒng)智力理論認為語言能力和數(shù)理邏輯能力是智力的核心，多元智能理論則認為智能是人在特定情景中解決問題并有所創(chuàng)造的能力，每個人都擁有九種主要智能，分別為語言智能、邏輯數(shù)學智能、空間智能、肢體運作智能、音樂智能、人際智能、內(nèi)省智能、自然探索智能和存在智能。 多元智能理論的內(nèi)涵和觀點立足于學生智能的多樣性和差異性特征， 以發(fā)掘和提升學生多元智能為根本目標，為各種類型的教學應用實踐提供了理論支撐。

它有助于形成正確的評價觀。 基于多元智能理論的教學應用實踐更加關注學生智力發(fā)展的廣泛性和多樣性， 并著力培養(yǎng)和發(fā)展學生各方面的能力，進一步形成科學有效的智力評價觀點。 還有助于形成正確的教學觀。 因為它堅持每個學生都不同程度地擁有相對獨立的智能，而每種智能都有其獨特的認知發(fā)展過程，教學方法和手段應該根據(jù)教學對象和教學內(nèi)容而靈活多樣。 也有助于形成正確的發(fā)展觀。 它認為每個學生都有閃光點和可取之處，教師應從多方面去了解學生的特長，并相應地采取有效方法，使其特長得到充分的發(fā)揮和發(fā)展。

2.2 MOOC 評價體系存在的問題分析

一是評價體系普遍缺乏理論支撐。 目前大部分的MOOC 教學績效評價體系構建缺乏科學有效的理論支撐，評價目標仍然停留在強化教師教學責任心、提升學生教學滿意度、改進課程教學方法等宏觀層面，目標分散且難以形成合力。

二是指標及權重設計普遍缺乏合理性。 目前的指標設計普遍存在內(nèi)容聚合度不夠、過程性和定性指標偏多、定量指標測度很難把握等問題。 另外在權重設計上， 主要采用平均權重或比例權重方式，無法從根本上解決指標指向重疊性問題，造成評價結果不夠準確。

三是評價應用普遍缺乏導向性。 從評價機制來看，仍然存在規(guī)范性不夠、可操作性不強等問題，評價數(shù)據(jù)采集隨意性較為明顯， 數(shù)據(jù)審核流程不嚴謹，導致評價結果的公信力較低，而在評價結果應用上目前只注重激勵和懲戒，普遍缺乏導向性。

2.3 MOOC 評價的創(chuàng)新應用成果

2.3.1 MOOC 教學評價的特征分析及指標研究。 近年來，在MOOC 教學績效評價或質(zhì)量評價領域已經(jīng)產(chǎn)生了一系列研究成果。在MOOC 教學評價特征分析層面，葛巖等（2015）構建了一個學習動機保持質(zhì)量分析結構模型，以EDX、學堂在線和中國大學MOOC 等三個“慕課”平臺的同名課程為比較研究對象， 開展學習動機保持質(zhì)量的綜合評價，并從知識體系、運行環(huán)境、學習路徑與結業(yè)管理等方面提出培養(yǎng)和激發(fā)“慕課”學習動機的方法和路徑[1]；曹陽等（2017）在深入分析混合式教學模式實施效能基礎上，通過問卷調(diào)查與案例分析，全面分析了混合式教學模式在MOOC 教學平臺中的實施效能，為MOOC 教學評價系統(tǒng)的設計構建提供了新思路[2]；劉萍等（2018）結合深圳大學繼續(xù)教育學院建設MOOC 體系的實踐經(jīng)驗，探索性構建了針對成人學歷教育的MOOC 教學評價機制，并對機制的合理性和有效性提出了具有針對性的驗證措施[3]。 在MOOC 教學評價指標研究方面，邱均平等（2015）根據(jù)在線教育質(zhì)量評價的目標方向，設計構建了以教學隊伍、 教學內(nèi)容和教學資源為評價內(nèi)容指向的MOOC 教學質(zhì)量評價指標體系[4]；李五洲等（2016）從適切性分析視角入手， 探討了MOOC 教學在容量、交互以及評價等方面對學生的適切程度，并在此基礎上，引入模糊綜合評價方法設計MOOC 教學評價指標[5]；童小素等（2017）則遵循《網(wǎng)絡課程評價規(guī)范（CELTS-22.1）》標準，全面結合MOOC 平臺的運營特征，通過對課程內(nèi)容、模式設計、支撐體系等平臺要素的分析和挖掘， 構建包含26 個二級指標的MOOC 教學評價指標體系[6]；曾宇等（2018）將用戶體驗因素納入MOOC 平臺運營績效評價標準，并通過用戶打分統(tǒng)計的方式確定指標的權重[7]。

2.3.2 基于多元智能的MOOC 評價體系創(chuàng)新研究。在基于多元智能理論的MOOC 評價體系創(chuàng)新領域， 很多學者已經(jīng)展開了探索性工作， 李加軍等（2016）以多元智能模型分析為基礎，以多元化、情境化、互動化和多樣化為評價標準，引入課堂觀察、問卷、訪談、作業(yè)分析以及成長記錄等要素對MOOC評價方法進行創(chuàng)新[8]。 隨著研究深入，目前一系列創(chuàng)新觀點和成果不斷涌現(xiàn)，毛娟翠（2019）以思想政治類MOOC 課程為例，提出基于多元智能的評價設計應該圍繞知識目標、 能力目標和價值觀目標等三個維度，實現(xiàn)評價內(nèi)容的科學性和全面性[9]；王東（2019）則針對目前大學英語課程的發(fā)展現(xiàn)狀， 從多元智能理論分析角度， 提出將形成性評價和終結性評價兩種方法結合應用的觀點，其中形成性評價主要關注學生的學習過程和學習效果，終結性評價主要對學生的語言技能和交際能力進行測評[10]。

3 MOOC 教學績效評價邏輯架構

3.1 評價系統(tǒng)的運行機理

基于多元智能的MOOC 教學績效評價系統(tǒng)由推進和反饋兩個環(huán)節(jié)組合形成一個閉環(huán)系統(tǒng)，如圖1 所示， 評價推進路徑以MOOC 課程為起點，從MOOC 課程教學系統(tǒng)的組成要素構成分析出發(fā)，挖掘其對教學績效產(chǎn)生影響或作用的因素， 結合MOOC 教學績效評價的基本要求和標準，以提升受眾的多元智能為評價的根本目標，確定評價指標體系設計的原則和邏輯架構；而評價反饋路徑從課程受眾出發(fā)，基于對多元智能內(nèi)核、呈現(xiàn)、激發(fā)三個發(fā)展層次特征分析， 結合指標設計的原則和邏輯，選擇、提煉和優(yōu)化評價指標，以指標的測算和數(shù)據(jù)統(tǒng)計為驅動，推進教學績效評價體系的運行，最后對教學績效評價的過程和結果中產(chǎn)生的問題進行總結和反饋，根據(jù)反饋信息進一步優(yōu)化MOOC 平臺的教學流程和教學方法。

圖1 基于多元智能的MOOC 教學績效評價運行機理

3.2 評價指標的設計準則

MOOC 教學績效評價以推進課程受眾多元智能提升為目標，從智能的內(nèi)涵、呈現(xiàn)和激發(fā)三個層面界定和規(guī)范指標選擇方向，并以內(nèi)容設計、交互方式、流程組織、平臺功能等作為設計準則的邏輯構成要素，如圖2 所示。

圖2 評價指標設計準則的邏輯構成要素

3.2.1 技術屏蔽性。 指標設計要盡量屏蔽MOOC 平臺技術水平的影響，指標體系是基于某一特定網(wǎng)絡環(huán)境和運營能力的MOOC 平臺，對平臺上各種類別的課程教學績效水平評價體系，基于不同平臺的課程樣本的整體均值的差異在本研究中不應該影響對課程教學績效的評價，因此指標的選擇和設計應該具有技術屏蔽性，如“視頻流暢程度”、“課程搜索的反饋速度” 等指標不適合被設計和選擇。 同時在平臺功能的評價上盡量選擇或設計能夠避免或淡化此類由于平臺技術而導致差異的指標，如“自動評分功能”、“界面自動操作功能”等，以使評價指標體系具備推廣應用的普適價值。

3.2.2 學科普適性。 指標設計要準確判斷各學科課程教學的共性和基礎規(guī)律，從中提煉出能普遍適用于各學科課程教學標準、效率分析和評價的定向因素，并在此基礎上，按照指標設計規(guī)范將這些因素轉化為評價指標。

3.2.3 評測適度性。 基于對MOOC 教學績效評價的內(nèi)在機理和運營特征的分析，教學績效評價指標的選擇和設計方向側重于評測的適度性，因此適度性指標應該占主要位置，從而滿足教學績效推動智能的均衡、和諧、適度發(fā)展的內(nèi)在根本要求。

3.3 評價方法的選擇

本文采用網(wǎng)絡層次分析法 （Analytic Network Process，簡稱ANP）來確定指標權重，ANP 將系統(tǒng)內(nèi)各指標元素的關系用類似網(wǎng)絡結構表示，網(wǎng)絡層中的元素可能相互影響、相互支配，能更準確地描述出客觀事物之間的聯(lián)系，結合對MOOC 教學評價指標的特征分析，引入ANP 方法可以有效解決指標內(nèi)容重疊和交叉等問題。

4 MOOC 教學績效評價模型構建

4.1 指標體系設計

根據(jù)MOOC 平臺的運營特征和教學績效評價指標的設計準則，同時兼顧評價的創(chuàng)新性和普適性，本文主要基于五種智能類型指向設計評價指標。

4.1.1 表達能力（Presentation Ability，簡稱PA），是指一個人把自己的思想、情感、想法和意圖等，用語言、文字、圖形、表情和動作等清晰明確地表達出來的能力，是語言智能的核心體現(xiàn)。 表達能力主要采用觀點類習題占比PA1 和響應請求平均時長PA2等2 個二級指標進行評價，初步判斷PA1 和PA2 之間不存在相互依賴和影響關系。

4.1.2 邏輯能力（Logical Ability，簡稱LA），是指采用科學的邏輯方法，準確而有條理地表達自己思維過程的能力，是邏輯數(shù)學智能的核心體現(xiàn)。 邏輯能力主要采用作業(yè)提交及時率LA1、重點難點提煉能力LA2 和學習平均進度LA3 等3 個二級指標進行評價，根據(jù)LA1、LA2、LA3 的指標內(nèi)容定位，初步判斷LA1、LA2 和LA3 之間存在著相互依賴和影響關系。

4.1.3 關系能力（Relationship Ability，簡稱RA），是指具備善于與他人交往、處理各類復雜的人際關系能力，是人際關系智能的核心體現(xiàn)。 關系能力主要采用需求響應覆蓋率RA1 和論壇交互密度RA2等2 個二級指標進行評價， 根據(jù)RA1 和RA2 的指標內(nèi)容定位，初步判斷兩者之間存在著較弱的相互依賴和影響關系。

4.1.4 內(nèi)省能力（Introspective Ability，簡稱IA），是指在對于自己主觀經(jīng)驗及其變化的觀察， 對自己內(nèi)心經(jīng)驗的活動與反思等方面具備的能力， 是內(nèi)省智能的核心體現(xiàn)[11]。主要采用推薦擴散度IA1 和主動提問頻次IA2 等2 個二級指標進行評價， 初步判斷IA1 和IA2 之間不存在相互依賴和影響關系。

4.1.5 探索能力（Explore Ability， 簡稱EA），是指對周圍的事物產(chǎn)生好奇心， 并想要去探尋未知或者已知事物的能力， 是自然探索智能的核心體現(xiàn)[12]。探索能力主要采用資源瀏覽深度EA1、資源瀏覽廣度EA2、 學習持續(xù)度EA3 等3 個二級指標進行評價，根據(jù)EA1、EA2、EA3 的指標內(nèi)容定位， 初步判斷EA1、EA2 和EA3 之間存在著相互依賴和影響關系。

基于以上設計思路和規(guī)范，本文構建的MOOC教學績效評價指標體系包括5 個一級指標，12 個二級指標，指標的內(nèi)容定位及測評規(guī)則如表4.1 所示：

表1 MOOC 教學績效評價指標體系

4.2 評價模型構建

4.2.1 指標關聯(lián)關系分析。 依據(jù)指標內(nèi)容定位，在對指標之間的反饋和依賴關系進行初步分析的基礎上， 設計評價指標關聯(lián)關系調(diào)查問卷，對MOOC 教學績效評價指標之間的相互影響關系進行分析和確定。 本研究面向教師、學生和專家開展問卷調(diào)查，有效樣本數(shù)約200 個，調(diào)查表及調(diào)查結果如表2 所示。

表2 MOOC 教學績效評價指標關聯(lián)關系調(diào)查表

4.2.2 ANP 結構關系確立。 MOOC 教學績效評價指標關聯(lián)關系調(diào)查表的匯總數(shù)據(jù)分析結果顯示：表達能力、邏輯能力、關系能力、內(nèi)省能力、探索能力指標因素組之間均存在相互影響或依賴關系，而邏輯能力和探索能力指標因素組內(nèi)部各因素之間也存在了相互反饋和依存關系； 根據(jù)調(diào)查結果，可確立MOOC 教學績效評價ANP 結構關系， 如圖3所示。

圖3 MOOC 教學績效評價ANP 結構關系圖

4.2.3 判斷矩陣分析

（1）一級指標判斷矩陣構建。 一級指標判斷矩陣表示相對于MOOC 教學績效，五類能力因素之間的相對重要性的比較，是進行一級指標優(yōu)勢度判斷的依據(jù)。基于MOOC 教學績效評價指標關聯(lián)關系調(diào)查表2 的結果，將作為影響因素的所有一級指標對應的二級指標中標有“√”的進行計數(shù)，統(tǒng)計被影響因素中每個一級指標被影響的總計數(shù)，得到一級指標關聯(lián)程度表；然后根據(jù)一級指標關聯(lián)程度表的計數(shù)結果，遵循相應計數(shù)大于0 的建立判斷矩陣的標準，構建一級指標的判斷矩陣。

（2）二級指標判斷矩陣構建。 基于MOOC 教學績效評價指標關聯(lián)關系調(diào)查表2 的結果，將作為影響因素的所有二級指標對應的二級指標中標有“√”的進行計數(shù)，統(tǒng)計被影響因素中每個二級指標被影響的總計數(shù)，得到二級指標關聯(lián)程度表；然后根據(jù)二級指標關聯(lián)程度表中的計數(shù)結果，遵循相應計數(shù)大于1 的建立判斷矩陣的標準，構建二級指標的判斷矩陣，以PA 為例，如表3 所示。

表3 二級指標判斷矩陣（以PA 為例）

4.2.4 指標權重確定

（1）一級指標重要度調(diào)查。 根據(jù)一級指標判斷矩陣， 設計用于獲取一級指標重要度的專家調(diào)查表，本項目征集了約30 名專家開展調(diào)查，最終的重要度判斷結果經(jīng)過加權平均后，將最終結果統(tǒng)一輸入SuperDecision 軟件中進行權重測算。

（2）二級指標重要度調(diào)查。 根據(jù)二級指標判斷矩陣， 設計用于獲取二級指標重要度的專家調(diào)查表， 然后通過約30 名專家對二級指標重要度開展調(diào)查，最終的二級指標重要度判斷結果經(jīng)過加權平均后，將最終結果統(tǒng)一輸入SuperDecision 軟件中進行權重測算。

（3）指標權重測算。 在SuperDecision 軟件中構建指標關聯(lián)關系結構圖，如圖4 所示。

在此基礎上，繼續(xù)計算未加權超級矩陣和加權超級矩陣并最終得到評價指標的全局權重， 如圖5所示。

圖4 指標關聯(lián)關系結構圖

圖5 指標的全局權重測算

5 結論

MOOC 教學績效評價指標中大部分屬于適度性指標，后期的研究和實踐應進一步創(chuàng)新適度性指標的原始數(shù)據(jù)處理方法，確定適度性指標的評價標準，提升教學績效評價結果的準確度和穩(wěn)定性。 而結合對慕課平臺（如寧波慕課平臺NBOOC）的實際運營狀況分析，采集慕課平臺實踐運營數(shù)據(jù)開展教學績效評價的實證分析，根據(jù)評價結果進一步修訂和優(yōu)化評價指標及其權重分配方案。 另外，可以依托項目研究成果，形成評價邏輯框架、評價操作流程和調(diào)查問卷標準范本，并進一步完善教學績效評價工作機制，制定評價工作推動計劃，加快研究成果的推廣和應用。