張小恒 龔猷龍

摘要：在評估教學效果及提升教學質量方面，對課堂教學質量進行科學有效評價具有極其重要的意義。傳統(tǒng)評價方法存在問卷打分評價主觀性強，評教自然語言信息難以充分利用，客觀查課數(shù)據(jù)指標難以充分挖掘三方面問題。本文提出了基于深度學習和機器學習的人工智能技術對課堂教學質量進行有效評價，一方面，深度學習可以將大量難以處理的自然語言評教信息進行有效識別并轉化成量化指標；另一方面，機器學習技術可以對大量客觀數(shù)據(jù)建立人工智能模型，從而解決量化評價問題。最后該方法在教學評價實踐應用中得到驗證，結果表明其具有可行性及有效性。

關鍵詞：教學質量評價??人工智能??深度學習??機器學習

中圖分類號：G420 文獻標識碼：A 文章編號：

Research?on?Classroom?Teaching?Quality?Evaluation?Based?on?Artificial?Intelligence?Technology

ZHANG?Xiaoheng*??GONG?Youlong

（Chongqing?Technology?and?Business?Institute，?Chongqing，?400052?China）

Abstract：?The?scientific?and?effective?evaluation?of?classroom?teaching?quality?is?of?great?significance?for?assessing?teaching?outcomes?and?improving?teaching?quality.?Traditional?evaluation?methods?face?three?problems：?the?strong?subjectivity?of?questionnaire?scoring?evaluation，?difficulties?in?fully?leveraging?the?natural?language?information?of?teaching?assessment，?and?difficulties?in?full?mining?the?objective?data?indicators?of?course?inspection.?This?paper?proposes?artificial?intelligence?technology?based?on?deep?learning?and?machine?learning?to?effectively?evaluate?classroom?teaching?quality.?On?one?hand，?deep?learning?can?effectively?identify?a?large?amount?of?the?hard?natural?language?information?of?teaching?assessment?and?transform?it?into?quantifiable?indicators.?On?the?other?hand，?machine?learning?technology?can?establish?the?artificial?intelligence?model?of?a?large?amount?of?objective?data，?so?as?as?address?the?problem?of?quantitative?evaluation.?Finally，?the?method?is?validated?in?the?practical?application?of?educational?evaluation，?and?results?demonstrate?its?feasibility?and?effectiveness.

Key?Words：?Teaching?quality?evaluation;?Artificial?intelligence;?Deep?learning;?Machine?learning

教學質量是反映教學過程及其效果是否符合規(guī)定要求的所有特性和特征。課堂教學是教師傳授知識、引導學習、解答疑惑的重要渠道，也是學生獲取知識、信息和解決問題的主要途徑，是教學工作的核心環(huán)節(jié)。因此，對教師在課堂教學中的組織與控制、教學內(nèi)容、方法、手段以及教學目標的科學有效評估，都是評價課堂教學質量的重要指標。

對課堂教學質量進行科學有效的評價可通過了解教師教學狀態(tài)、教學效果及學生學習效果，對教與學的活動和效果進行價值上的判斷實現(xiàn)。一方面教師能夠通過課堂教學質量評價更好地分析教學過程中出現(xiàn)的問題，總結課堂教學經(jīng)驗，達成對課堂教學規(guī)律的共識，從而改進教學，提升課堂教學質量；另一方面，教學管理部門能夠通過評價了解教學活動的現(xiàn)狀和水準，針對相關問題及時采取措施，正確調整教學活動運行方向。因此，課堂教學質量評價研究對提升教學質量、促進教師專業(yè)成長、支持學生學習效果、輔助教學管理決策，以及促進教育研究與改革都具有十分重要的意義。

1課堂教學質量評價研究的現(xiàn)狀

第一個公開出版的用于收集學生評估教學信息的等級量表是柏杜教學等級評定量表（Purdue?Rating?Scale?of?Instruction，?1926）。課堂教學質量評價一般采用學生、專家、領導、同事及教師自身等多元評估主體。國內(nèi)外相關研究成果包含評價方式及系統(tǒng)、評價內(nèi)容及方法、評價涉及的人工智能技術3個方面。

1.1?評價方式及系統(tǒng)

美國與英國課堂教學質量評價的發(fā)展經(jīng)歷了3個階段：初步形成階段、懲罰性評價階段以及發(fā)展性評價階段[1]。到了20世紀70年代，評價內(nèi)容主要包含教學態(tài)度、教學手段等多個方面。我國在20世紀70年代才開始高等院校課堂教學質量評價的研究[2]。但絕大多數(shù)高校還停留在懲罰性評價階段。隨著以學生為中心的教育理念的提出，發(fā)展性評價日益引起研究者重視。

就評教系統(tǒng)而言，國內(nèi)大致經(jīng)歷如下過程：最初采用人工統(tǒng)計方式，但耗時耗力；初步采用評教軟件系統(tǒng)對評教數(shù)據(jù)進行管理，但數(shù)據(jù)庫相對較小[3]；然后是基于客戶/服務器及瀏覽器/服務器結構開發(fā)的評教系統(tǒng)。目前隨著大數(shù)據(jù)等技術的興起，對課堂學習狀況、存在的問題及學生取得的成果進行過程性分析評價成為新的研究熱點[4]。

1.2?評價內(nèi)容及方法

美國是從教師教學表現(xiàn)、學生課堂感受、學生知識理解程度等角度出發(fā)完成指標體系的構建[5]。目前，國內(nèi)高校的課堂教學質量評價指標基本包含教學內(nèi)容、教學方法、教學態(tài)度和教學效果等一級指標和若干細化的二級指標[6]。具體指標一般由高校管理者自行確定。

目前課堂教學質量評價方法主要采用指標賦權法。該方法分為主觀賦權法和客觀賦權法[7]，評教領域較多采用專家調查法和層次分析法[8-9]，為平衡主客觀因素權重差異，近年來有學者提出基于模糊算法、人工神經(jīng)網(wǎng)絡、灰色關聯(lián)分析的主客觀結合賦權算法[10-13]，以及為增強評價方法適用性提出的組合評價方法[14]。

1.3?深度學習和機器學習技術

基于深度學習技術的自然語言處理技術（Natural?Language?Processing，?NLP）在新聞分類、情感分析、自動翻譯、主題發(fā)現(xiàn)以及知識圖譜多個領域已有廣泛應用[15]。由于評教者的評教語言文字信息中含有其主觀感受充分信息，適合于情感分析，使用基于深度學習的NLP技術處理該類信息完全可行。

機器學習能通過計算機系統(tǒng)學習和自動化推理，模擬實現(xiàn)人類學習行為獲取新知識新技能，實現(xiàn)模式識別、預測和決策[16]。用于處理分析課堂教學質量評價數(shù)據(jù)完全可行。

2現(xiàn)有研究存在的問題

2.1?問卷打分法主觀性強

現(xiàn)有課堂教學質量評價普遍采用問卷收集形式，對教師給出評價等級或分數(shù)，雖然能夠以擴大問卷規(guī)模和剔除個別極端問卷的方式使最終評價盡可能公平真實，但評價者主觀因素強烈。評價者個性偏好、敷衍及評價尺度不一致導致的評價失實情況始終存在，如同事評價一般偏向于忽視明顯問題，學生評價隨意性強，不清楚具體標準等。

2.2?評教文字信息難以利用

高校評教問卷中除打分部分，還包含評教者的語言文字敘述評價，這部分評教主體以學生為主，全部采用人工閱讀文字內(nèi)容提取關鍵信息實施困難，評教文字信息僅作為參考而無法作為實際評價依據(jù)。

2.3?客觀查課數(shù)據(jù)指標難以挖掘

查課數(shù)據(jù)指標只能間接反映課堂教學質量。如何從眾多查課指標中挖掘出體現(xiàn)課堂質量的內(nèi)在因素，如何建立指標與課堂教學質量的準確關聯(lián)映像依靠傳統(tǒng)經(jīng)驗很難辦到。機器學習/深度學習相關技術具有從數(shù)據(jù)中發(fā)現(xiàn)規(guī)律，建立隱含關聯(lián)的能力，使查課數(shù)據(jù)指標充分挖掘成為可能。

3基于人工智能技術的課堂教學質量評價

3.1?研究思路

（1）評教文字信息要進行語言情感色彩的識別才能轉化為可利用的評教依據(jù)，基于NLP深度學習的情感分析技術應用已經(jīng)較為成熟，能夠自動化識別文本中的情感傾向或情緒表達。情感色彩可以分為積極、消極和中性3種基本類別，可對應到教師評價的正面、負面和中性。因此通過建立自然語言深度學習評價模型可以實現(xiàn)3種評價類別的正確分類識別。

（2）查課數(shù)據(jù)一般為到課率，上課睡覺、打游戲，看電視劇、玩手機的人數(shù)等客觀指標，以往經(jīng)驗能夠得到這些指標與課堂質量的定性關聯(lián)，但定量評價幾乎無法獲得。機器學習技術通過構建模型可以學習到查課數(shù)據(jù)指標與教學質量的內(nèi)在量化映射關系，從而實現(xiàn)客觀準確評價。

3.2?課堂教學質量評價具體方法

基于人工智能技術的課堂教學質量評價具體方法如圖1所示。

如圖1所示，本項目實施路徑分兩步，第一步訓練評價模型，第二步導入訓練好的評價模型參數(shù)并進行測試。

3.2.1評價模型訓練

（1）調研收集傳統(tǒng)課堂教學評價多類型指標。

（2）篩選主觀指標和客觀指標。主觀指標包括問卷打分和評教文字信息，客觀指標包括查課數(shù)據(jù)如到課率，睡覺、打游戲、看電視劇、玩手機人數(shù)等。

（3）基于深度學習技術和機器學習技術分別構建主觀評價模型和客觀評價模型。

（4）將主觀評價模型和客觀評價模型進行融合構建綜合評價模型。

3.2.2測試過程

（1）收集問卷打分和評教文字信息等主觀指標數(shù)據(jù)以及客觀查課數(shù)據(jù)。

（2）將主觀指標及客觀指標分別輸入對應的評價模型得到輸出進行打分融合。

（3）將主客觀指標共同輸入綜合評價模型得到輸出打分。

在訓練測試過程中通過相關可視化技術增強，模型數(shù)據(jù)可懂度。

3.2.3主觀指標模型訓練過程

主觀指標模型訓練步驟如圖2所示。

（1）對課堂教學質量主觀評價指標進行數(shù)據(jù)清洗、標準化、規(guī)范化、打標簽等操作并作為數(shù)據(jù)輸入。

（2）基于NLP深度學習技術構建模型，首先采用jieba和word2vec工具進行預處理，完成分詞和詞向量轉換，然后構建長短期記憶網(wǎng)絡（LSTM）模型。

（3）不斷迭代訓練直至訓練誤差達到要求。

3.2.4客觀指標模型訓練過程

客觀指標模型訓練步驟如圖3所示。

（1）篩選課堂教學質量客觀評價指標數(shù)據(jù)。

（2）進行數(shù)據(jù)清洗、標準化、規(guī)范化并打上標簽。

（3）基于機器學習（KNN、SVM及RF）構建模型。

（4）不斷迭代訓練直至訓練誤差達到要求。

4實踐數(shù)據(jù)分析

4.1評教信息NLP分析預測

舉行學生代表座談會，相關教師講解學院召開座談會的目的與意義并鼓勵各位小代表積極發(fā)言，按序依次發(fā)言，要求攜帶發(fā)言稿，言語簡潔，表達準確清晰，如課程問題請指出教師、課程具體信息，每人3～5min，安排對實訓任務單的問卷的發(fā)放與填寫、回收工作。如表1所示，部分班級學生代表發(fā)言內(nèi)容片段如下，其中教師姓名由特殊編號取代。將評價輸入圖4自然語言處理模型中，得到的情感分析結果與人工分析結果相同，說明NLP情感分析數(shù)據(jù)挖掘模型具備很高的準確性，能夠完成對學生評價的自動情感分析。

如圖4所示，學生訪談數(shù)據(jù)情感分析模型訓練測試流程圖。搭建jupyter?notebook環(huán)境，通過導入NLP相關模型庫，設置模型參數(shù)，加載數(shù)據(jù)，分詞，word2vec模型訓練，設定Keras嵌入層，訓練LSTM模型，并基于該模型預測完成情感分析。

如圖5所示，將學生評價“XX老師上C語言程序設計B，上課方式有趣，每堂課都考勤，我們做到了全勤”輸入模型進行測試，得到jupyter交互輸出測試結果“---正面評價”，說明NLP評價能夠將語言信息轉化為可靠的標簽信息。

4.2查課數(shù)據(jù)機器學習預測

如表2所示某專業(yè)班級查課數(shù)據(jù)片段，首先需要對查課數(shù)據(jù)標簽向量化，轉化之后具體表示如下。課程1：a1=[1.0，0.05，0，0，0]；課程2：a2=[1.0，0，0，0，0]；課程3：a3=[0.968，0，0.1，0，0]；課程4：a4=[1.0，0.03，0，0，0]；課程5：a5=[1.0，0，0，0，0.17]。評教等級需要上課教師和班級學生代表對其進行主觀打分，表2已經(jīng)給出了主觀感受等級。

選用支撐向量機（SVR）作為機器學習擬合器，將a1、a2、a3、a5作為訓練數(shù)據(jù)，a4作為測試數(shù)據(jù)。在matlab平臺調用支撐向量機libsvm庫做實驗，svmtain函數(shù)訓練，svmpredict函數(shù)預測得到a4=3.0023，通過取整函數(shù)處理后為3，可見預測結果與課程4的主觀評教等級是一致的，說明基于機器學習算法進行教學質量評估是可行的。

5?結語

長期以來如何客觀精準對課堂教學進行有效評估是教學評價中亟待解決的問題。傳統(tǒng)的學生評價，同行評價等打分評價方式存在很大主觀性及參考標準不統(tǒng)一的問題，大量的學生評教留言信息只作為輔助的參考信息而無法被充分利用，對學生學習狀態(tài)的監(jiān)控信息雖是客觀的，但這些數(shù)據(jù)難以找到與教師教學質量的有效合理關聯(lián)性，為了解決上述弊端，本文提出基于“NLP+機器學習”的課堂教學評價方法，通過自然語言處理技術解決學生評教留言信息難以充分利用的問題，通過機器學習建立學生學習狀態(tài)監(jiān)控信息與教學質量的關聯(lián)性，最終實踐證明上述方法是有效可行的。目前由于數(shù)據(jù)有限模型評價精準性、可靠性還有待提高，下一步工作需要收集大量的課堂數(shù)據(jù)及評教信息，從而訓練更加穩(wěn)定、泛化性更強的模型。

參考文獻

[1]冼曉丹．新一輪審核評估背景下地方院校教學質量評價體系的探索與實踐[J].現(xiàn)代職業(yè)教育，2023（27）：69-72.

[2]劉志軍，徐彬．我國課堂教學評價研究40年：回顧與展望[J].課程.教材.教法，2018，38（7）：12-20.

[3]蔡敏，劉麗麗．美國特拉華州教師評價系統(tǒng)及啟示[J].教育測量與評價，2018（10）：34-39

[4]馬星，王楠．基于大數(shù)據(jù)的高校教學質量評價體系構建[J].清華大學教育研究，2018，39（2）：38-43

[5]王玉．20世紀80年代以來英美高等教育教學改革研究[J]．中國高等教育評估，2016，27（2）：73-78.

[6]燕姣云，安俊麗，孫國紅.課堂教學質量評價指標體系重構[J].中國大學教學，2023（12）：74-78，91.

[7]?WU?Z?B，?ZHONG?L.?Weight?determination?for?MAGDM?with?linguistic?information?based?on?IT2?fuzzy?sets[C]//2016?IEEE?International?Conference?on?Fuzzy?Systems?（FUZZ-IEEE），?Vancouver，?BC，?Canada，?2016：?880-887.

[8]周艷，朱廣.高職院校差異化教學評價指標的構建研究[J]．現(xiàn)代商貿(mào)工業(yè)，2023，45（2）：106-109.

[9]梁潔．論模糊層次分析法在中職教學質量評價中的應用[J]．科技風，2023（13）：95-97．

[10]呂昳苗．混合式教學評價指標體系的構建與應用[J]．創(chuàng)新創(chuàng)業(yè)理論研究與實踐，2023，6（9）：64-67.

[11]秦曼，董海軍．高校體育教師效能評價指標體系研究[J]．首都體育學院學報，2018，30（5）：432-439.

[12]盧宇，陳錦瑩，謝靜，等．基于LMBP算法的在線學習評價模式研究[J]．中國遠程教育，2016（3）：28-32，80．

[13]?Kuang?S?Q，?Yang?D?X，?Tao?J?Y，?et?al.evaluation?of?experimental?teaching?quality?based?on?multi-level?grey?relational?analysis[C]//2013?Third?International?Conference?on?Intelligent?System?Design?and?Engineering?Applications，?Hong?Kong，?China，?2013：?720-723.

[14]高峰，劉濱．地方高校生產(chǎn)實習教學效果灰色關聯(lián)-層次法綜合評價[J]．實驗室研究與探索，2016，35（8）：224-227+295．

[15]?SAFARI?F，?CHALECHALE?AssssEmotion?and?personality?analysis?and?detection?using?natural?language?processing，?advances，?challenges?and?future?scope[J].Artificial?Intelligence?Review，?2023，?56：?3273-3297.

[16]?WERNICK?M，?YANG??Y，?BRANKOV??J，?et?al..?Machine?Learning?in?Medical?Imaging[J].?IEEE?Signal?Processing?Magazine，?2010，27（4）：25–38.