鄧祖祿　李佳

摘要：在線開放課程已成為學習者知識獲取、技能提升和終身學習的重要途徑，但現(xiàn)有在線開放課程學習評價存在學習起點評價不精準、過程評價不全面、評價結果的解釋性不足等困境?？茖W合理的學習評價能激發(fā)學習者的主動性和積極性，提高學習效能。本研究從混合教學結構流程的視角，將學習評價有機融入學習過程，構建了課前導學、課中研學、課后拓學評價框架，并應用于教學實踐。研究結果表明：投入度高的學習者其學習成績較好；發(fā)回帖越活躍的學習者其學習成績并不一定很好；教師在混合教學過程中科學地進行教學組織、調控及干預，對提高學生學習質量具有重要的保障作用。

關鍵詞：在線開放課程；混合學習；數(shù)據(jù)驅動；評價設計

中圖分類號：G712? ? 文獻標識碼：A? ? 文章編號：1672-5727（2023）07-0078-06

2020年10月，中共中央、國務院發(fā)布的《深化新時代教育評價改革總體方案》對結果評價、過程評價、增值評價和綜合評價改革做了詳細部署，并要求利用信息技術，深度挖掘分析學習過程數(shù)據(jù)和學習結果數(shù)據(jù)，探索建立個性化、精準化的學習評價方式[1]。截止到2022年3月，我國在線開放課程數(shù)量和用戶數(shù)量都居世界第一位[2]。在線開放課程因其支持多種教學應用場景、教學方式靈活、突破時空限制、能滿足不同學習群體需求等優(yōu)勢備受學習者、教師們的青睞，為學習者在知識獲取、技能提升和終身學習等方面提供了有效路徑。同時，由于受在線開放課程師生之間的時空分離、淺層教學互動、學習動機差異較大等因素影響，出現(xiàn)在線開放課程學習體驗不佳、學習質量不高等問題。鑒于此，本研究從在線開放課程中混合教學過程與學習評價相融合的視角，對在線開放課程學習質量進行評價研究，以提高學習效能。

一、在線開放課程學習評價的困境

通過中國知網和實踐調研發(fā)現(xiàn)，現(xiàn)有在線開放課程學習質量評價存在不足。具體體現(xiàn)在：一是學習起點評價（學情分析）方面，因課前學習行為數(shù)據(jù)采集片面、部分數(shù)據(jù)缺失，同時在數(shù)據(jù)分析上多倚重教師的經驗判斷和簡單的統(tǒng)計對比，導致學習起點評價（學情分析）不能精準識別學習者的認知基礎、認識能力和學習偏好；二是學習過程評價方面，由于不能采集學習過程全樣本數(shù)據(jù)，數(shù)據(jù)處理與分析難以深入，沒有采取即時監(jiān)測與精準反饋的有效措施，導致無法診斷學習狀態(tài)與學習目標之間的差距；三是學習結果評價方面，過于強調對學生過去學習的總結并簡單地賦予成績等級，缺乏對等級與位置的深入分析、深度解釋，難以發(fā)現(xiàn)教與學中存在的問題，難以實現(xiàn)“教學評一體化”；四是增值評價方面，評價指標設置不合理，簡單粗糙地把幾次考試分數(shù)的增值作為增值評價指標，而忽略了學習者在受教育過程中以及在獨立學習過程中的表現(xiàn)，忽略了對學習者的品德、藝術審美、綜合能力提升等方面的考察。

二、基于數(shù)據(jù)驅動的學習評價框架構建

（一）在線開放課程教學結構流程

在信息技術賦能下，在線開放課程與傳統(tǒng)課堂相比，在教學模式、交互方式、評價方法等方面發(fā)生了根本性變化。在線開放課程教學結構流程通常包括課前導學、課中研學、課后拓學三個階段[3]（見圖1）。

課前導學：教師的主要任務聚焦在學情分析與教學預設。首先，教師從教學目標、教學資源、學習者初始學習需求和群體特征等方面進行學情分析。其次，根據(jù)學情分析進行教學設計，此階段的教學設計主要圍繞課前導學任務中需要學習者具備的知識、技能而進行的教學預設。教學預設趣味性強的導學任務、基于微課視頻為主的多樣化學習資源和課前導學測評試題等。然后，教師根據(jù)學習者導學資源學習情況、導學測評成績、討論互動等情況，綜合分析導學階段的學習情況。最后，重新評估學情，重新進行教學設計。學習者的主要任務是根據(jù)導學任務完成課前預習，進行自學、同伴互學，完成導學測驗，并將學習難點或有疑問的地方記錄下來及時反饋給教師，以便在課中研學時教師對其進行重點講解。

課中研學：學習者深度參與教學活動是促進學習者有效內化知識、提升技能的關鍵。教師活動，首先，要對課前導學階段遺留的“疑難雜癥”進行講解答疑；其次，為導入本堂課的教學情境，提出高階問題，在學生研學過程中給予適當?shù)狞c撥或提醒；最后，要對學習者的研學過程和學習成果進行歸納總結。學生活動方面，首先，基于具體情境、具體問題進行獨立思考；其次，需在此基礎上與小組其他成員進行協(xié)作研討并解決問題，最終形成小組學習成果并進行展示；再次，要在課內學習任務完成后，及時進行學習效果評測；最后，為教師對小組學習成果進行及時的評價與反饋。

課后拓學：此階段聚焦在學習之后的反思與遷移應用。教師根據(jù)課中階段的學習情況，設計不同難易程度、不同類型的拓展項目，設計拓展學習資源，推送拓展學習資源，對個別學生/小組進行精準指導，最后組織學習者進行反思與自評/互評。學習者通過自學、互學完成拓展任務，進行拓學測評，完成同伴互評與學習反思，在此過程中培養(yǎng)學習者的批判思維和遷移應用能力。

（二）在線開放課程教學過程生成的數(shù)據(jù)體系

在線開放課程教學實施過程產生了大量的多模態(tài)數(shù)據(jù)，這些數(shù)據(jù)包含了學習過程和學習結果數(shù)據(jù)，為評價提供了數(shù)據(jù)基礎（見圖1）。本研究將教學過程產生的海量多模態(tài)數(shù)據(jù)進行分類，形成師生行為數(shù)據(jù)簇、師生情感數(shù)據(jù)簇、評價數(shù)據(jù)簇和課堂管理數(shù)據(jù)簇。

1.師生行為數(shù)據(jù)

師生的學習行為既包含顯性學習行為，也包含隱性學習行為[4-5]。教師線下行為數(shù)據(jù)包含線下課堂組織行為、互動行為數(shù)據(jù)和線上在線指導、學情分析等線上行為數(shù)據(jù)。學習者行為數(shù)據(jù)同樣包含線下實體課堂聽課行為、互動行為等數(shù)據(jù)和登錄學習平臺頻率、資源訪問學習行為、論壇互動等在線行為數(shù)據(jù)。

2.師生情感數(shù)據(jù)

已有研究表明，學習者的情感是影響其學習效果的重要因素[6-7]。師生情感數(shù)據(jù)采集中，可以通過視頻、圖像識別技術對師生情感、實時狀態(tài)數(shù)據(jù)等情感信息進行分析評價。

3.教與學評價數(shù)據(jù)

評價貫穿課前導學、課中研學、課后拓學全過程，評價數(shù)據(jù)包括評學、評教、互評等過程性和結果性數(shù)據(jù)。

4.課堂管理數(shù)據(jù)

信息化教學環(huán)境與設備是保障教學順利實施的重要載體，它記錄了教學過程中的課堂管理數(shù)據(jù)，這些數(shù)據(jù)包含學習者考勤、課堂異常表現(xiàn)、學習進度提醒和預警信息等數(shù)據(jù)[8]。

（三）在線開放課程學習評價框架構建

科學評價能有效診斷出教學中存在的不足，并提出針對性的改進建議，實現(xiàn)以評促教、以評促學。在線開放課程混合教學涉及線上線下不同場景，其學習質量評價也應針對不同場景進行適切性地評價[9]。本研究在教育測量等理論指導下，結合在線開放課程教學結構流程和教學過程生成的數(shù)據(jù)體系特點，從課前導學、課中研學、課后拓學等角度對學習者進行診斷與評價。學習評價在伴隨式采集學習者學習過程全樣本多模態(tài)數(shù)據(jù)基礎上，采用定性與定量結合、線上線下考核并進、結果性評價與過程性評價相結合方式進行學習全過程診斷評價。學習評價總成績=過程性評價成績+結果性評價成績，其中過程性評價成績=課前導學評價成績+課中研學評價成績+課后拓學成績，結果性評價成績=綜合測試成績+項目作品質量成績。

1.課前導學評價框架設計

在該階段，學習評價的目標聚集在對學習者的學情進行分析、對導學成效進行評價。利用網絡學習平臺數(shù)據(jù)采集工具，采集學習者學習行為數(shù)據(jù)、導學測評數(shù)據(jù)等，利用學習分析、數(shù)據(jù)挖掘等技術，深度挖掘其學習參與度與學習成效，對學習者線上學習過程和學習結果進行評價。此階段從評價維度、觀測點、權重、評價主體等四個方面構建評價框架，其中評價的維度包含投入度、參與度、學習能力、導學測評等方面（詳見表1）。

2.課中研學評價框架設計

課中學習評價目標主要聚焦在學習者在課堂上的主動參與、合作表現(xiàn)以及學習成效等方面，采用定量評價與定性評價相結合的方式，其中，在投入度中重點對學習者課上情況進行評價；參與度中主要對學習者是否積極參與討論、小組互動、學習任務完成情況等方面進行評價，此外為其它維度評價觀測點（詳見表2）。

3.課后拓學評價框架設計

課后拓學是進一步鞏固課中學習內容，并在此基礎上進行知識遷移應用。因此，課后學習評價主要針對拓展學習任務的完成度、知識遷移應用、拓學測評、反思總結等方面進行評價。此外為各評價維度及觀測點（詳見表3）。

三、實踐應用

（一）研究過程

1.實驗樣本選擇

實驗樣本以湖南電氣職業(yè)技術學院電梯工程技術專業(yè)和城市軌道交通機電技術專業(yè)2020級339名學生為研究對象，實驗課程為“職業(yè)素養(yǎng)”，基于超星慕課平臺和線下智慧課堂實施混合式教學。將電梯工程技術專業(yè)學生作為實驗組，應用本研究的評價框架進行教學實踐；城市軌道交通機電技術專業(yè)的學生作為參照組，采用原有的評價方法進行教學實踐。前期兩個專業(yè)的學生已基于超星慕課平臺完成了“信息技術”等課程的混合式學習，具備了線上線下混合學習技能和相應的信息素養(yǎng)?！奥殬I(yè)素養(yǎng)”課程為電梯工程技術專業(yè)和城市軌道交通機電技術專業(yè)學生所必修的一門公共基礎課程，課程學習6～11周，第12周進行期末綜合測評?？傉n時為32學時。

2.學習評價量化計算方法

本研究學習評價計算方法按照表1、表2、表3觀測點進行量化。具體量化計算公式：課程學習評價總成績=過程性評價（70%）+結果性評價（30%）。其中，結果性評價成績=期末綜合測試成績（50%）+項目作品質量（50%）；過程性評價成績=課前導學成績（20%）+課中研學成績（50%）+課后拓學成績（30%）。

課前導學成績=投入度（40%）+參與度（20%）+學習能力（10%）+導學測評（30%）。其中，投入度、參與度、學習能力、導學測評各維度下觀測點的百分占比見表1所示。

課中研學成績=投入度（15%）+參與度（20%）+協(xié)作創(chuàng)新（20%）+貢獻度（15%）+實時測評（15%）+學習成效（15%）。其中，投入度、參與度、貢獻度、協(xié)作創(chuàng)新、學習成效、實時測評等各維度下觀測點的百分占比見表2所示。

課后拓學成績=拓學任務完成度（20%）+知識遷移應用（40%）+拓學測評（20%）+反思總結（20%）。其中拓學任務完成度、知識遷移應用、拓學測評、反思總結等各維度下觀測點的百分占比見表3所示。

3.信度與效度分析

研究基于上述具體量化公式，抽取課前導學4個評價維度數(shù)據(jù)、課中6個評價維度數(shù)據(jù)、課后4個評價維度數(shù)據(jù)為研究對象，將339名學生的數(shù)據(jù)導入到統(tǒng)計分析軟件SPSS 26中進行可靠性計算分析。發(fā)現(xiàn)克朗巴哈系數(shù)Cronbachs Alpha為0.843，表明各影響因素之間具有較好的內部一致性，信度較高。同時，研究還進行了KMO度量（檢驗變量之間的相關性，取值在0～1之間，值越大表明變量之間相關性越大），其KMO值為0.692，表明具有較好的結構效度。

（二）研究發(fā)現(xiàn)

1.學習者的參與度、投入度與學習總成績相關性分析

通過皮爾遜相關性檢驗（度量兩個變量間的相關程度）發(fā)現(xiàn)（見表4）：學習者的參與度成績與總成績的皮爾遜相關系數(shù)為0.745，兩者之間相關性較強（在0.01水平上顯著相關）；學習投入度成績與總成績的皮爾遜相關系數(shù)為0.759，兩者之間相關性較強（在0.01水平上顯著相關）；另外，學習者參與度成績與學習者投入度成績的皮爾遜相關系數(shù)為0.728且顯著相關；參與度成績、投入度成績均與總成績具有較強相關性。這說明參與度高的學習者，其學習投入度也較高，學習成績也越好，也與心理學研究結論一致。本研究結論的啟示是：教師創(chuàng)設趣味性較強、體驗感較好的學習情境和學習任務，能較好地激發(fā)學習者的學習積極性與興趣，促進學習者“樂學、愛學、好學”，提高學習效能。

2.觀看視頻時長、線下提問/線上發(fā)回帖與成績的相關性分析

學習者觀看視頻的時長從某種程度上代表了學習者對視頻中學習內容的掌握程度。本研究顯示（見表5所示）：線下提問/線上發(fā)回帖和觀看視頻時長兩者之間存在顯著相關（0.01水平）；與考試成績之間也存在顯著相關（0.05水平）。研究結果表明，一方面，學習者觀看視頻的時長越長、次數(shù)越多，對內容理解、提升成績越有幫助；另一方面，說明反復觀看的視頻內容存在理解難度較大，學習者傾向提問發(fā)帖的方式向同學、教師求助。從某種意義上來講，發(fā)帖求助越多的學習者的學習主動性就越強，其成績也相對較好。然而，研究數(shù)據(jù)發(fā)現(xiàn)線下提問/線上發(fā)回帖與學習成績相關性為0.225，表明二者不存在顯著相關性。導致此結果的原因是大部分學習者提問/發(fā)帖的目的是向同伴或教師進行求助，而相應的回答/回帖卻較少，沒能及時響應求助者需求。本研究結論的啟示是：教師應加強對線上線下交流談論的關注，及時有效地進行回答/發(fā)帖，以幫助學習者解決學習困惑。

3.過程性評價與結果性評價的相關性分析

本研究將過程性成績和結果性成績進行相關性分析發(fā)現(xiàn)，二者在0.01水平（雙側）上顯著相關，這表明在混合教學過程中，教師對線上/線下學習過程的引導、調控及干預，對學習者克服學習困難、完成學習目標具有重要的保障作用。本研究結論的啟示是教師應在精準分析學情（學習目標、學習內容、學習環(huán)境、學習者學習需求、學習者群體特征等）基礎上，統(tǒng)籌安排好線上線下學習內容，創(chuàng)設學習情境，有效組織教學，及時進行教學調控與干預，以提高教與學的效能。

4.學習效果對比

本研究選取2020級電梯工程技術專業(yè)201名學生（實驗組）、城市軌道交通機電技術專業(yè)138名學生（參照組）在2022年春季班課程成績進行基于數(shù)據(jù)驅動的學習評價實踐效果的對比分析，學習評價總成績=過程性評價+結果性評價成績；其中有過程性評價成績=課前導學評價成績+課中研學評價成績+課后拓學成績，結果性評價成績=綜合測試成績+項目作品質量成績課程成績。研究采用獨立樣本T檢驗對兩個班級學生的成績差異進行檢驗，結果如表6、表7所示。

從表6可以看出，獨立樣本檢驗結果中的F值=0.57，Sig.值=0.839>0.05，說明假設方差相等；均值方程T檢驗值=4.131，Sig.值=0.000<0.05，拒絕原假設，即證明基于數(shù)據(jù)驅動的學習評價實施前后在成績上存在顯著差異。從對照班級的成績數(shù)據(jù)統(tǒng)計（如表7 所示）可以看出：電梯工程專業(yè)班學生的成績均值為87.79，軌道交通專業(yè)班學生的成績均值為76.83。由此可知，實施了基于數(shù)據(jù)驅動學習評價的實驗組班級成績高于沒有實施評價框架的參照班級的成績，且超過了顯著水平為5%的顯著性檢驗，說明基于數(shù)據(jù)驅動的學習評價能顯著提高學生的學習質量。

綜上所述，從實證研究過程、研究結果與啟示可以發(fā)現(xiàn)，本文研究的基于數(shù)據(jù)驅動的在線開放課程學習評價框架能夠從課前導學、課中研學、課后拓學三個典型教學應用場景對學習者的學習過程和學習成效進行全方位診斷評價，根據(jù)評價反饋信息及時改進教與學，能有效調動學生的學習積極性、提高學習成效；同時，學習評價框架具有開放動態(tài)性，教師在實踐過程中可以根據(jù)教學目標、學習內容、學習環(huán)境和學生特征等具體學情，靈活調整評價指標維度和對應的觀測點，盡可能真實客觀地反映學習者學習行為、態(tài)度和結果之間的相關性，實現(xiàn)以評促學、以評促教。

學習評價是一個系統(tǒng)且復雜的活動過程，其終極目標是改進教與學。本研究在采集學習者學習過程數(shù)據(jù)和學習結果全樣本數(shù)據(jù)的基礎上，從混合教學流程的課前導學、課中研學、課后拓學三個階段構建了在線開放學習評價框架，以期為我國在線開放課程教學評價提供借鑒與參考。

參考文獻：

[1]我國慕課數(shù)量和學習人數(shù)均居世界第一 [EB/OL].（2022-02-29）[2022-12-20].http：//www.moe.gov.cn/fbh/live/2022/54324/mtbd/202203/t20220329_611860.html.

[2]成亞玲，譚愛平.基于智慧課堂的混合學習教學設計研究[J].中國信息技術教育，2022（21）：85-88.

[3]方海光，侯偉鋒，王曉春，等.基于PADClass模型的數(shù)字化課堂學習過程數(shù)據(jù)挖掘與分析研究[J].電化教育研究，2014（10）：110-113，120.

[4]黃瑤.基于在線學習環(huán)境下學習者學習行為模型構建與分析[D].昆明：云南師范大學，2019.

[5]郭秀艷，楊治良.內隱學習與外顯學習的相互關系[J].心理學報，2002（4）：351-356.

[6]夏立新，周鼎，葉光輝，等.情感負荷視角下探索式搜索學習效果的影響因素[J].圖書情報知識，2020（4）：133-141.

[7]趙悅君.漢語學習者情感因素對于其學習效果的影響[D].保定：河北大學， 2013.

[8]成亞玲.智慧課堂數(shù)據(jù)采集框架設計研究[J].湖南工業(yè)職業(yè)技術學院學報，2021（3）：14-18，25.

[9]楊浩，付艷芳.新時代高職院?；旌鲜浇虒W質量評價指標體系構建[J].職業(yè)技術教育，2021（35）：67-72.

（責任編輯：劉東菊）

Study on Evaluation of Online Open Course Learning Based on Data Driven

DENG Zu-lu， LI Jia

（Hunan Electrical Vocational and Technical College， Xiangtan Hunan 410001， China）

Abstract： Online open courses have become an important way for learners to acquire knowledge， improve skills and lifelong learning. However， there are some difficulties in the evaluation of open online courses， such as inaccurate starting point evaluation， incomplete process evaluation， and insufficient interpretation of evaluation results. Scientific and reasonable learning evaluation can stimulate learners' initiative and enthusiasm and improve learning efficiency. From the perspective of mixed teaching structure and process， this study organically integrates learning evaluation into the learning process， constructs the evaluation framework of pre-class guidance， in-class research and after-class extension， and applies it to teaching practice. The results show that learners with high degree of engagement have better learning performance. Learners who are more active in posting do not necessarily perform better. Teachers' scientific teaching organization， regulation and intervention in the process of mixed teaching plays an important role in ensuring the improvement of students' learning quality.

Key words： online open courses; mixed learning; data driven; evaluation design