張喜生，王 璐

（1. 深圳職業(yè)技術(shù)學(xué)院 質(zhì)量保障中心；2. 深圳職業(yè)技術(shù)學(xué)院 技術(shù)與職業(yè)教育研究所，廣東 深圳 518055）

大數(shù)據(jù)時代的到來，使“數(shù)據(jù)”普及到社會生活各個領(lǐng)域，極大地影響和改變著人們的生活，教育領(lǐng)域亦不例外，大數(shù)據(jù)對高等教育的影響與變革是宏大而深刻的．與此同時，在“建設(shè)質(zhì)量強國，邁向質(zhì)量時代”的背景下，伴隨著高職教育發(fā)展從規(guī)模擴張向質(zhì)量提升轉(zhuǎn)向，質(zhì)量管理成為研判高職教育發(fā)展動向、衡量發(fā)展水平、評估發(fā)展問題、決策發(fā)展策略的核心依據(jù)，人才培養(yǎng)質(zhì)量測評作為質(zhì)量管理中發(fā)現(xiàn)問題、挖掘歸因、反饋問題的核心環(huán)節(jié)，其精準(zhǔn)度、效度、信度均成為影響質(zhì)量管理水平的核心指標(biāo)．傳統(tǒng)教學(xué)質(zhì)量測評手段的落后使質(zhì)量評價走向“流于形式”、師生參與積極性不高、評價結(jié)果缺乏有效度和區(qū)分度、評價結(jié)果缺乏分析及反饋等問題已成為制約人才培養(yǎng)質(zhì)量測評的瓶頸．現(xiàn)有研究對我國職業(yè)教育的質(zhì)量管理、“診斷與改進”等進行了多種有益的探索與實踐[1-9]，但其中的困惑與問題仍然很多．本文從高職院校教學(xué)質(zhì)量評價大數(shù)據(jù)分析的背景出發(fā)，提出高職院校教學(xué)質(zhì)量評價大數(shù)據(jù)分析的建構(gòu)思路，并進行了實踐．

1 高職院校教學(xué)質(zhì)量評價大數(shù)據(jù)分析的背景

隨著《關(guān)于建立職業(yè)院校教學(xué)工作診斷與改進制度的通知》（教職成廳〔2015〕2號）、《高等職業(yè)院校內(nèi)部質(zhì)量保證體系診斷與改進指導(dǎo)方案（試行）》（教職成司〔2015〕168號）、《關(guān)于全面推進職業(yè)院校教學(xué)工作診斷與改進制度建設(shè)的通知》（教職成司〔2017〕56號）等文件的頒布與實施，教學(xué)工作診斷與改進制度逐步在全國職業(yè)院校推進建立，教學(xué)質(zhì)量測評數(shù)據(jù)的獲取與采集、數(shù)據(jù)處理與分析成為診改推進的基礎(chǔ)與依據(jù)．人才培養(yǎng)質(zhì)量是質(zhì)量管理的核心，教學(xué)測評則是窺視質(zhì)量水平、分析內(nèi)涵發(fā)展問題、反饋問題歸因、設(shè)計改進路徑的窗口，質(zhì)量管理成為高校內(nèi)涵發(fā)展的核心訴求．大數(shù)據(jù)分析引發(fā)高校教學(xué)質(zhì)量評價的震蕩與變革，為教學(xué)質(zhì)量評價的采集與分析提供新路徑，同時高校處于科技第一生產(chǎn)力、人才第一資源、創(chuàng)新第一動力的結(jié)合點，以精準(zhǔn)教學(xué)質(zhì)量評價為起點，對人才培養(yǎng)、科學(xué)研究、社會服務(wù)的促進與提升作用又為數(shù)據(jù)的更新與應(yīng)用提供了場域．面對自帶“互聯(lián)網(wǎng)基因”的學(xué)生群體，通過校園網(wǎng)絡(luò)進行教學(xué)反饋信息的收集、處理、分析，與傳統(tǒng)的教學(xué)信息反饋機制相比，采集效率高、分析耗時少、信息損耗低[10]．具體而言，教學(xué)質(zhì)量評價結(jié)果以客觀數(shù)據(jù)為主要構(gòu)成，當(dāng)前大數(shù)據(jù)應(yīng)用技術(shù)、云計算技術(shù)等的成熟與運用為客觀數(shù)據(jù)分析提供了較好的分析工具．伴隨自上而下、層級督導(dǎo)制度的完善，各高職院校教學(xué)質(zhì)量測評數(shù)據(jù)獲取與采集、數(shù)據(jù)處理與分析成為診改推進的基礎(chǔ)與依據(jù)．高校作為質(zhì)量自治主體，人才培養(yǎng)質(zhì)量是質(zhì)量管理的核心，教學(xué)數(shù)據(jù)測評與分析則是窺視質(zhì)量水平、分析內(nèi)涵發(fā)展問題、反饋問題歸因、設(shè)計改進路徑的窗口．

2 高職院校教學(xué)質(zhì)量評價大數(shù)據(jù)分析的建構(gòu)思路

教學(xué)運行過程中會產(chǎn)生大量客觀數(shù)據(jù)，教學(xué)質(zhì)量管理過程中也可以獲得海量的測評數(shù)據(jù)，隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)管理、數(shù)據(jù)校驗已成為問題導(dǎo)向的教學(xué)質(zhì)量管理與診斷機制構(gòu)建的重要抓手．學(xué)校應(yīng)如何利用大數(shù)據(jù)手段構(gòu)建教學(xué)質(zhì)量自主監(jiān)管機制、盤活診斷與改進的質(zhì)量螺旋呢？從教學(xué)質(zhì)量數(shù)據(jù)的采集、分析、篩選、應(yīng)用，到反饋，需要依托明晰精細的業(yè)務(wù)流程、科學(xué)設(shè)計的數(shù)據(jù)分析模型，亦即以數(shù)據(jù)分析模式的構(gòu)建為基礎(chǔ)．基于以上流程，遵循數(shù)據(jù)分析系統(tǒng)開發(fā)的“原型—數(shù)據(jù)喂養(yǎng)—優(yōu)化迭代—新一版原型”的研究思路，在實踐中不斷迭代優(yōu)化，教學(xué)質(zhì)量管理的總體業(yè)務(wù)模型如圖1所示．在此基礎(chǔ)上，以對教師和課程為數(shù)據(jù)采集起點，進一步抽象數(shù)據(jù)流圖如圖2所示．

圖1 教學(xué)質(zhì)量管理業(yè)務(wù)模型圖

圖2 教學(xué)質(zhì)量評價數(shù)據(jù)流圖

3 需求導(dǎo)向的教學(xué)質(zhì)量大數(shù)據(jù)分析實踐運用

如何有目標(biāo)地獲取客觀數(shù)據(jù)、高效地分析數(shù)據(jù)，發(fā)現(xiàn)教學(xué)運行中學(xué)校、專業(yè)、課程、教師、學(xué)生的問題，并將結(jié)果反饋到教學(xué)主體—專業(yè)和教師，就成為診斷與改進工作中最重要的問題，也是難點問題．教學(xué)質(zhì)量的診斷與改進是高職院校內(nèi)部質(zhì)量診斷與改進工作的核心，教學(xué)質(zhì)量管理與診斷改進的體系設(shè)計以學(xué)校、專業(yè)、課程、教師、學(xué)生的實際需求為導(dǎo)向，注重過程管理，以教學(xué)質(zhì)量過程性監(jiān)控、狀態(tài)數(shù)據(jù)診斷點監(jiān)控以及專業(yè)與課程的專項診改結(jié)合的方式實現(xiàn)．從教學(xué)質(zhì)量數(shù)據(jù)的采集、分析、篩選、應(yīng)用，到反饋，需要依托明晰精細的業(yè)務(wù)流程、科學(xué)設(shè)計的數(shù)據(jù)分析模型，亦即以數(shù)據(jù)分析模式的構(gòu)建為基礎(chǔ)．大數(shù)據(jù)環(huán)境下教學(xué)質(zhì)量過程性診斷與改進的完整流程如下：頂層設(shè)計—指標(biāo)體系設(shè)計—規(guī)范化操作流程—大數(shù)據(jù)采集與反饋—數(shù)據(jù)分析—診斷與改進．

3.1 頂層設(shè)計

由學(xué)生、督導(dǎo)、教學(xué)部門“點線面”三方參與測評，其中以過程性學(xué)生評價為主，即時反饋采集數(shù)據(jù)信息，數(shù)據(jù)結(jié)果導(dǎo)出2個分支：一是績效考核的依據(jù)；二是缺陷發(fā)現(xiàn)、診斷分析、改進任務(wù)下達及改進跟蹤．

3.2 指標(biāo)體系設(shè)計

1）圍繞“專業(yè)、課程、教師、學(xué)生”進行指標(biāo)體系設(shè)計，以便對不同測評層面進行診斷．

2）構(gòu)建定制化指標(biāo)體系，針對督導(dǎo)評價、同行或者部門評價設(shè)計不同的測評方式；針對學(xué)生評價不同測評方以及不同測評對象，設(shè)計不同的測評內(nèi)容與問題；針對理論課、實訓(xùn)課等不同課種的差異，設(shè)計不同的測評指標(biāo)；針對學(xué)生期中測評、期末測評，設(shè)計不同的測評方式與數(shù)據(jù)運用范圍．

3）構(gòu)建可評判度清晰、選項區(qū)分度明顯、梯度構(gòu)建合理的指標(biāo)體系，測評指標(biāo)的文字表述匹配不同測評方的認知度．

4）對指標(biāo)的權(quán)重、分數(shù)、等級等給予合理的賦值．

3.3 規(guī)范操作流程

建章立制，完善各級各類測評制度和標(biāo)準(zhǔn)：包括督導(dǎo)測評細則、同行測評操作細則、學(xué)生測評操作細則、教師獲取反饋信息操作方法、學(xué)院質(zhì)量匯總報表標(biāo)準(zhǔn)格式、學(xué)校數(shù)據(jù)分析報告題例格式、學(xué)院數(shù)據(jù)分析報告題例格式、課程數(shù)據(jù)分析報告題例格式、診改建議書管理辦法、診改任務(wù)單標(biāo)準(zhǔn)格式、診改任務(wù)跟蹤及管理實施細則等．

3.4 大數(shù)據(jù)采集方式

數(shù)據(jù)采集以移動端與PC端同時獲取，推廣運用移動端測評的數(shù)據(jù)獲取方式．移動端采集注重與移動社交工具的無感嵌入，使數(shù)據(jù)采集能夠無感進行．通過信息化手段靈活迅速發(fā)布過程性測評、監(jiān)控測評過程、監(jiān)控教師自定義測評、查看師生互動情況、獲得海量數(shù)據(jù)，再通過大數(shù)據(jù)分析的方法，高效地指出教學(xué)過程中存在的問題，及時通過微信手段反饋給教師、專業(yè)，實現(xiàn)教學(xué)質(zhì)量的診斷與改進，極大提高診改工作效率．

3.5 大數(shù)據(jù)分析方法

大數(shù)據(jù)的分析視角“按需”轉(zhuǎn)換，主要有橫向比較法、縱向比較法、雷達圖比較、綜合分析法．具體而言，橫向比較法可分為同部門不同指標(biāo)項之間的比較、同指標(biāo)不同部門之間的比較；縱向比較法可分為同部門同指標(biāo)不同學(xué)期變化的比較、本部門與上下部門之間的比較；雷達圖比較可分為同一指標(biāo)體系不同部門或教師之間的雷達圖比較；綜合分析法是指分數(shù)、指標(biāo)比較與學(xué)生評語結(jié)合的綜合分析比較．

3.6 診斷與改進

在學(xué)校層面，通過大數(shù)據(jù)關(guān)聯(lián)分析查看全校關(guān)鍵指標(biāo)的實現(xiàn)度；專業(yè)層面，通過大數(shù)據(jù)的分析比較，確定專業(yè)弱項，進而有針對性地下達專業(yè)診改建議書；課程層面，可以分析教學(xué)效果差的課程的原因是什么；教師層面，可以分析教師的教學(xué)能力、教學(xué)態(tài)度、教學(xué)方法、教學(xué)效果；學(xué)生層面，可以分析不同教學(xué)單位學(xué)生的收獲度和滿意度．

4 教學(xué)質(zhì)量大數(shù)據(jù)分析運用成效

通過“遞歸模型定制-數(shù)據(jù)采集-數(shù)據(jù)分析-數(shù)據(jù)反饋-結(jié)果評價-缺陷診斷-診斷跟蹤—質(zhì)量螺旋改進”的整體過程，解決了教學(xué)質(zhì)量信息化管理閉環(huán)問題，保證了教學(xué)質(zhì)量的控制．教學(xué)質(zhì)量大數(shù)據(jù)分析運用成效如下：

1）以某校為例，建立了督導(dǎo)、同行、學(xué)生、領(lǐng)導(dǎo)四方多元測評模型，每年獲取督導(dǎo)和部門測評記錄1000條以上，獲取學(xué)生測評數(shù)據(jù)60萬條左右，測評指標(biāo)項500萬個，生成各類數(shù)據(jù)報告20篇以上；數(shù)據(jù)結(jié)果應(yīng)用于各二級部門績效考核以及學(xué)校、專業(yè)、課程、教師和學(xué)生的診斷改進，應(yīng)用于教育部人才培養(yǎng)狀態(tài)數(shù)據(jù)、人才培養(yǎng)質(zhì)量年報以及國務(wù)院督導(dǎo)辦公室的高基報表．

2）通過“PDCA反饋平臺”，解決了教學(xué)質(zhì)量測評結(jié)果和評價建議快速反饋的問題，及時促進教學(xué)改進．通過微信客戶端或者微信小程序，教師可以即時獲取每一門課每一項指標(biāo)的學(xué)生測評反饋和總體雷達圖比較反饋，如表1，圖3所示，在教學(xué)過程中即可了解不足，加以改進．

表1 對教師教學(xué)滿意度分析表（樣本總數(shù)163017）

圖3 數(shù)據(jù)分析雷達圖

3）通過大數(shù)據(jù)獲取與概率統(tǒng)計學(xué)計算模型，解決了教學(xué)質(zhì)量、人才培養(yǎng)效果由模糊評價轉(zhuǎn)化為精確評價的問題，為績效管理奠定了基礎(chǔ)．教學(xué)質(zhì)量、人才培養(yǎng)評價的難題之一就是屬于模糊評價、可信度低；通過對大量數(shù)據(jù)的獲取、概率統(tǒng)計學(xué)方法，使得模糊評價趨于精確．

5 結(jié) 語

質(zhì)量管理體系的構(gòu)建是職業(yè)院校自主保證人才培養(yǎng)質(zhì)量的基礎(chǔ)，是全面開展教學(xué)診斷與改進工作的組織建制．同時，教學(xué)質(zhì)量作為衡量人才培養(yǎng)質(zhì)量的核心標(biāo)尺，是發(fā)現(xiàn)教學(xué)問題、診斷教學(xué)問題、改進教學(xué)問題的核心向度．教學(xué)質(zhì)量評價結(jié)果以客觀數(shù)據(jù)與主觀評語為主要構(gòu)成，當(dāng)前大數(shù)據(jù)應(yīng)用技術(shù)、云計算技術(shù)等的成熟與運用為客觀數(shù)據(jù)分析提供了較好的分析工具，與之相較，海量的主觀評語資源卻只能個別反饋，無法宏觀上定量自動分析，使得教學(xué)質(zhì)量測評中一些真實想法、情感表達、現(xiàn)實問題較難通過數(shù)據(jù)篩查反映出來，而人工智能的發(fā)展恰恰彌補了這一缺陷，為海量主觀評語的分析提供了實現(xiàn)路徑．AI與高校教學(xué)質(zhì)量評價的結(jié)合主要通過情感傾向分析和評論觀點抽取2種渠道實現(xiàn)，情感傾向分析即基于深度學(xué)習(xí)技術(shù)和百度大數(shù)據(jù)，針對帶有主觀描述的中文文本，自動判斷該文本的情感極性類別并給出相應(yīng)的置信度．評論觀點抽取則通過自動分析評論關(guān)注點和評論觀點，并輸出評論觀點標(biāo)簽及評論觀點極性，從而彌補教學(xué)質(zhì)量評價的短板與不足，這是教育質(zhì)量大數(shù)據(jù)分析下一步延伸的方向．此外，質(zhì)量管理必須依托數(shù)字化校園大數(shù)據(jù)平臺，平臺設(shè)計應(yīng)根據(jù)校情學(xué)情、分階段分批次分系統(tǒng)逐步實現(xiàn)，不能一蹴而就，要特別注重平臺各子系統(tǒng)是否能夠滿足職能部門日常工作需求．同時，為避免數(shù)字化校園中的“數(shù)據(jù)孤島”，質(zhì)量管理與診改平臺可通過ETL工具“建橋”，與校園內(nèi)教務(wù)系統(tǒng)、校務(wù)系統(tǒng)、學(xué)生管理系統(tǒng)等其他子系統(tǒng)實現(xiàn)數(shù)據(jù)共享互通，這也是高職院校信息化建設(shè)中需努力的方向．