關(guān)麗梅?高靜?武裝?王雅婷

摘要：高質(zhì)量的在線課程是保障在線教學(xué)效果的關(guān)鍵，對在線課程進(jìn)行有效評價(jià)可以提高課程質(zhì)量，在梳理相關(guān)文獻(xiàn)的基礎(chǔ)上，綜合運(yùn)用SPSS、Matlab等軟件，結(jié)合BP神經(jīng)網(wǎng)絡(luò)，對線上課程教學(xué)的評價(jià)指標(biāo)體系進(jìn)行研究。首先建立了三級線上課程評價(jià)指標(biāo)體系，其中，二級指標(biāo)包括學(xué)習(xí)支持、課程內(nèi)容與資源、課程教學(xué)設(shè)計(jì)、交互與學(xué)習(xí)效果，細(xì)化的三級指標(biāo)有18個(gè)。基于此設(shè)計(jì)發(fā)放了調(diào)查問卷，構(gòu)建了基于BP神經(jīng)網(wǎng)絡(luò)的線上課程教學(xué)質(zhì)量評價(jià)模型。

關(guān)鍵詞：線上教學(xué)；質(zhì)量評價(jià)指標(biāo)體系；BP神經(jīng)網(wǎng)絡(luò)

一、前言

隨著互聯(lián)網(wǎng)和計(jì)算機(jī)技術(shù)以及線上課程的日益發(fā)展，線上教學(xué)以其成本低、效率高，不受時(shí)間、空間等因素影響的特點(diǎn)，吸引了大量的師生。中國大學(xué)MOOC平臺因其能夠在線上提供大量豐富、優(yōu)質(zhì)的免費(fèi)課程而受到關(guān)注，但同時(shí)仍存在很多問題，如完成率低、參與度弱、教學(xué)質(zhì)量的低社會(huì)認(rèn)可度，以及課程資源雖廣泛，但重復(fù)性較高、質(zhì)量參差不齊、平臺自身存在技術(shù)問題等。如何構(gòu)建一個(gè)線上課程的全過程質(zhì)量評價(jià)體系并促進(jìn)其應(yīng)用，已成為目前發(fā)展、規(guī)劃、管理的重要內(nèi)容。因此，本研究構(gòu)建了基于線上課程教學(xué)全過程的課程質(zhì)量評價(jià)指標(biāo)體系，并根據(jù)指標(biāo)進(jìn)行問卷調(diào)查，對數(shù)據(jù)進(jìn)行分析，為線上課程質(zhì)量評價(jià)的研究提供了有效的素材和方法參考，促進(jìn)了線上課程評價(jià)體系的完善和發(fā)展，豐富了線上課程質(zhì)量管理理論的意義[1]。覃紅霞等人[2]通過感知有用性、感知易用性與感知環(huán)境三個(gè)維度，建立了在線教學(xué)滿意度與持續(xù)使用意愿的研究模型。項(xiàng)聰?shù)热薣3]在高校層面、教師層面、學(xué)生層面三個(gè)維度對在線教學(xué)效果及其影響因素進(jìn)行了實(shí)證研究。郭建鵬等人[4]基于大學(xué)教學(xué)模式提出了“前期－過程－結(jié)果”三階段模型，進(jìn)而分析在線教學(xué)模式對大學(xué)教學(xué)的影響。

本文主要采用以下五種方法進(jìn)行研究分析，一是文獻(xiàn)分析法，是收集國內(nèi)外相關(guān)在線課程質(zhì)量評價(jià)的文獻(xiàn)，整理關(guān)于在線課程質(zhì)量評價(jià)的研究成果，歸納出在線課程質(zhì)量的影響因素，建立在線課程評價(jià)指標(biāo)體系。二是訪談法，是訪談?wù)吆捅辉L者通過深入的訪談或面對面的交流，了解被訪者對在線課程的關(guān)注點(diǎn)，收集被訪者對評價(jià)體系的意見。三是問卷調(diào)查法，是根據(jù)建立的評價(jià)體系編制在線課程全過程質(zhì)量調(diào)查問卷，收集數(shù)據(jù)素材并進(jìn)行分析。四是量表評價(jià)法，是對評價(jià)指標(biāo)給出評價(jià)的等級，在評價(jià)過程中，使用者對照線上課堂教學(xué)的實(shí)際狀況，逐項(xiàng)給出相應(yīng)的等級評分。五是人工智能中的機(jī)器學(xué)習(xí)方法，是根據(jù)構(gòu)建的線上課程教學(xué)質(zhì)量評價(jià)指標(biāo)體系，運(yùn)用機(jī)器學(xué)習(xí)BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行課程教學(xué)質(zhì)量評價(jià)[5-6]。

二、評價(jià)指標(biāo)體系構(gòu)建與調(diào)研設(shè)計(jì)

本文選用中國大學(xué)MOOC平臺作為線上課程教學(xué)全過程質(zhì)量評價(jià)的研究對象。中國大學(xué)MOOC是由網(wǎng)易與高教社攜手推出的在線教育平臺，它是教育與信息技術(shù)、網(wǎng)絡(luò)技術(shù)相結(jié)合的產(chǎn)物，支持線上教學(xué)活動(dòng)，實(shí)現(xiàn)了遠(yuǎn)距離教育。MOOC即大規(guī)模在線開放課程，其中“M”是Massive大規(guī)模，第一個(gè)“O”是Open開放，第二個(gè)“O”是Online在線，“C”是Course課程。MOOC平臺是大規(guī)模在線開放課程平臺，可以滿足大規(guī)模人群的學(xué)習(xí)需求，只要能上網(wǎng)，就能通過平臺進(jìn)行學(xué)習(xí)，平臺大部分課程是免費(fèi)的，以簡短精悍的視頻呈現(xiàn)，用戶可以利用碎片化時(shí)間進(jìn)行學(xué)習(xí)，每個(gè)視頻會(huì)有獨(dú)立的小標(biāo)題，方便用戶有目的地觀看，也會(huì)中途彈出一些測試題，測試用戶對知識的掌握情況。用戶可查閱課件文檔，對于上課時(shí)的疑難問題可通過討論區(qū)向老師請教，或與同學(xué)進(jìn)行討論交流，每周，老師會(huì)布置小練習(xí)以及測試，幫助用戶鞏固所學(xué)知識，并進(jìn)行檢測。中國大學(xué)MOOC平臺所提供的課程一般由六部分組成，即公告、評分標(biāo)準(zhǔn)、課件、測驗(yàn)與作業(yè)、考試、討論區(qū)。其中，課件、測驗(yàn)與作業(yè)、考試、討論區(qū)是主要的學(xué)習(xí)模塊。

本研究首先建立評價(jià)指標(biāo)體系，分析體系合理性，再根據(jù)評價(jià)指標(biāo)體系設(shè)計(jì)調(diào)查問卷收集數(shù)據(jù)，最后根據(jù)數(shù)據(jù)建立線上課程質(zhì)量評價(jià)模型。一個(gè)合理、有效的評價(jià)指標(biāo)體系應(yīng)遵循科學(xué)性與客觀性原則、整體性原則、定量與定性相結(jié)合原則[5-6]。

在線上教學(xué)模式中，教師將教學(xué)資料、試題等發(fā)布在網(wǎng)站上，學(xué)生通過訪問學(xué)習(xí)系統(tǒng)進(jìn)行學(xué)習(xí)。線上教學(xué)模式的特殊性，決定了對線上學(xué)習(xí)成效的評價(jià)不能像傳統(tǒng)教育一樣只采用終結(jié)性評價(jià)，要重視學(xué)習(xí)的過程，重視學(xué)生在學(xué)習(xí)中的體驗(yàn)，強(qiáng)調(diào)評價(jià)中多種因素的交互作用，重視師生交流。因此，在對相關(guān)文獻(xiàn)進(jìn)行閱讀并總結(jié)后大致得出需要考察的指標(biāo)，并對有使用體驗(yàn)的同學(xué)進(jìn)行簡單訪談，得出本文線上課程教學(xué)全過程質(zhì)量評價(jià)體系，包含一級指標(biāo)四個(gè)，二級指標(biāo)18個(gè)，如圖1所示。四個(gè)一級指標(biāo)分別為學(xué)習(xí)支持、課程內(nèi)容與資源、課程教學(xué)設(shè)計(jì)、交互與學(xué)習(xí)效果，其具體含義如下：

（一）學(xué)習(xí)支持。指用戶通過MOOC平臺的學(xué)習(xí)，感知平臺提供的服務(wù)等是否對自己的學(xué)習(xí)有所幫助，包括登錄方式、導(dǎo)航欄、檢索工具資訊信息、平臺反應(yīng)時(shí)間等都影響著用戶對線上教學(xué)的體驗(yàn)。

（二）線上課程教學(xué)最主要的是教會(huì)學(xué)生知識與能力，因此，必須對線上課程平臺的教學(xué)內(nèi)容與資源進(jìn)行考察，在課程資源的豐富程度、學(xué)科覆蓋范圍以及內(nèi)容完整性等方面進(jìn)行調(diào)查。另外，平臺一般會(huì)有一些付費(fèi)的課程，主要針對考研或提升工作技能等，這類課程也受到了學(xué)生的青睞，因此，從以上方面對用戶進(jìn)行調(diào)研更能反映出其對線上教學(xué)使用過程的質(zhì)量感知。

（三）課程教學(xué)設(shè)計(jì)。這一教學(xué)環(huán)節(jié)的設(shè)計(jì)影響著學(xué)生的使用體驗(yàn)，通過訪談得知短小緊湊的視頻能夠使學(xué)生在學(xué)習(xí)過程中減少壓力并且更有目的性，提升了效率。教師的授課風(fēng)格以及教學(xué)演示也會(huì)對學(xué)生的學(xué)習(xí)興趣造成影響，課堂測試、作業(yè)、考試用來檢驗(yàn)學(xué)習(xí)效果非常重要。

（四）師生之間主要通過討論區(qū)進(jìn)行交流互動(dòng)，反饋學(xué)習(xí)效果，老師也可據(jù)此進(jìn)行微調(diào)，對學(xué)生不容易理解的知識點(diǎn)進(jìn)行細(xì)致講解。同時(shí)也要對學(xué)生學(xué)習(xí)完本門課程后所掌握的知識與技能進(jìn)行考查，對線上課程質(zhì)量管理具有重要意義。

本文采用問卷調(diào)查的方式收集數(shù)據(jù)，從而得到學(xué)生對線上課程教學(xué)全過程的質(zhì)量感知，明確在線課程教學(xué)現(xiàn)狀，進(jìn)而為改善在線課程質(zhì)量提供建議。問卷設(shè)計(jì)包括兩部分，第一部分是用戶的基本情況以及使用MOOC學(xué)習(xí)的情況。第二部分是用戶對MOOC平臺滿意度的調(diào)查。問卷主體部分使用李克特五級量表進(jìn)行測量。對第二部分的每個(gè)題項(xiàng)設(shè)置了“很不滿意”“不滿意”“一般”“滿意”“很滿意”五個(gè)選項(xiàng)，方便受訪者根據(jù)自己實(shí)際情況做出選擇。可依次按順序給選項(xiàng)記分，如“很不滿意”記1分，“很滿意”記5分，對每份問卷不同維度的得分進(jìn)行求和取均值即可得出用戶對MOOC平臺不同方面的滿意度如何，得分越高，表明用戶對平臺此維度越滿意。問卷主要通過三種形式進(jìn)行發(fā)放：第一， 將問卷鏈接發(fā)放班級微信群及以前的同學(xué)群中，請班級內(nèi)用過MOOC平臺學(xué)習(xí)的同學(xué)填寫。第二， 將問卷鏈接發(fā)放到MOOC平臺課程討論區(qū)中，選擇不同類型課程的討論區(qū)進(jìn)行問卷發(fā)放，請平臺用戶填寫。第三，在微博“中國大學(xué)MOOC”（已被微博認(rèn)證為網(wǎng)易中國大學(xué)MOOC官網(wǎng)微博）博文評論區(qū)中挑選評論者，通過私聊發(fā)放問卷，被挑選的評論者需滿足基本信息中年齡在18-30歲之間，且基本資料中標(biāo)明就讀學(xué)校，從而保證調(diào)研數(shù)據(jù)的有效性。

本次問卷回收了251份，篩選掉無中國大學(xué)MOOC平臺學(xué)習(xí)經(jīng)歷、作答時(shí)間不足50s、不同題項(xiàng)均選擇同一答案等無效問卷。通過篩選得到有效問卷155份，有效回收率為0.618，據(jù)此進(jìn)行數(shù)據(jù)分析。

信度是指量表或測驗(yàn)的可靠性及穩(wěn)定性，可以用于檢驗(yàn)總量表和量表各層面的可靠性及穩(wěn)定性。效度即有效性，用來反映測量得到的結(jié)果及所要考查內(nèi)容的程度。經(jīng)過檢驗(yàn)，除交互與學(xué)習(xí)效果外，其余變量α值均在0.8以上，問卷信度高，變量交互與學(xué)習(xí)效果的α系數(shù)值為0.783，在0.7-0.8之間，量表可以接受，且總量表α系數(shù)值為0.967，信度極高，說明問卷的可靠性水平很高。KMO值為0.945，表明各個(gè)變量之間不是獨(dú)立的，具有一定的相關(guān)性，非常適合做因子分析，測量得到的結(jié)果與所要考查的內(nèi)容非常吻合。

三、基于BP神經(jīng)網(wǎng)絡(luò)的線上課程教學(xué)質(zhì)量評價(jià)模型

對于新建立的評價(jià)指標(biāo)體系還需檢驗(yàn)各維度對整體滿意度以及持續(xù)使用意愿的相關(guān)程度，才能保證后續(xù)使用整體滿意度以及持續(xù)使用意愿作為BP神經(jīng)網(wǎng)絡(luò)輸出的合理性，因此本節(jié)簡單使用各維度平均值研究其相關(guān)性。

統(tǒng)計(jì)學(xué)上一般用相關(guān)關(guān)系來表示變量之間的不確定性關(guān)系以及關(guān)系的親密程度。用來描述兩個(gè)變量相互之間變化方向及密切程度的數(shù)字特征量稱為相關(guān)系數(shù)，用r表示。相關(guān)系數(shù)的取值范圍在[-1，1]之間，r>0表示正相關(guān)，r<0表示負(fù)相關(guān)。r的絕對值表示兩個(gè)變量之間的相關(guān)密切程度，r的絕對值越大表明二者越相關(guān)，反之，二者相關(guān)性越小。相關(guān)系數(shù)在0.8-1.0之間表明二者極強(qiáng)相關(guān)，相關(guān)系數(shù)在0.6-0.8之間表明二者強(qiáng)相關(guān)，相關(guān)系數(shù)在0.4-0.6之間表明二者中等程度相關(guān)，相關(guān)系數(shù)在0.2-0.4之間表明二者弱相關(guān)，相關(guān)系數(shù)在0.0-0.2之間表明二者極弱相關(guān)或無相關(guān)。本研究采用皮爾森相關(guān)分析方法來探究變量之間的相關(guān)關(guān)系，主要涉及學(xué)習(xí)支持、課程內(nèi)容與資源、課程教學(xué)設(shè)計(jì)、交互與學(xué)習(xí)效果和整體滿意度、持續(xù)使用意愿。結(jié)果顯示在對滿意度和持續(xù)使用意愿產(chǎn)生影響的維度上，顯著性水平均低于0.05，即有超過95%的概率說明變量之間存在相關(guān)性，有顯著正相關(guān)關(guān)系。

隨后建立基于BP神經(jīng)網(wǎng)絡(luò)的線上課程教學(xué)質(zhì)量評價(jià)模型，采用梯度下降法構(gòu)建神經(jīng)網(wǎng)絡(luò)，并設(shè)置隱含層節(jié)點(diǎn)數(shù)，將樣本數(shù)據(jù)分為訓(xùn)練集和測試集，使用訓(xùn)練樣本數(shù)據(jù)放入網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，直到誤差精度達(dá)到要求。最后用測試組輸入訓(xùn)練好的網(wǎng)絡(luò)模型中，通過檢驗(yàn)測試組誤差精度，驗(yàn)證模型的正確性。

在構(gòu)建BP神經(jīng)網(wǎng)絡(luò)模型前首先要對數(shù)據(jù)進(jìn)行預(yù)處理，本文數(shù)據(jù)通過網(wǎng)絡(luò)問卷進(jìn)行收集，共獲取251份數(shù)據(jù)，對無效問卷進(jìn)行刪除后剩余155份，每份數(shù)據(jù)包含了18條評價(jià)指標(biāo)。問卷對滿意度維度以及持續(xù)使用意愿維度分別設(shè)置了三個(gè)評價(jià)指標(biāo)，更加準(zhǔn)確地反映出學(xué)生對平臺的感知質(zhì)量，分別對這三條評價(jià)數(shù)據(jù)取平均值作為評價(jià)結(jié)果。數(shù)據(jù)的歸一化處理其實(shí)是將數(shù)據(jù)根據(jù)一定的規(guī)則將其映射到一定的區(qū)間范圍內(nèi)，歸一化操作如公式（1）所示。

（1）

同時(shí)通過Matlab對網(wǎng)絡(luò)設(shè)置不同的隱含層節(jié)點(diǎn)數(shù)量，并將訓(xùn)練集、驗(yàn)證集、測試集按照4：1：1進(jìn)行隨機(jī)分配，通過訓(xùn)練得到其均方誤差以及回歸能力作為損失函數(shù)。設(shè)定隱含層神經(jīng)元個(gè)數(shù)在[5，15]之間，將訓(xùn)練集歸一化處理后輸入BP模型中，取不同隱含層神經(jīng)元數(shù)，用驗(yàn)證集記錄MSE以及R均值。由于初始權(quán)值及訓(xùn)練集、驗(yàn)證集、測試集隨機(jī)分配，相同個(gè)數(shù)的隱含層神經(jīng)元運(yùn)行的結(jié)果也不相同。設(shè)定對不同神經(jīng)元個(gè)數(shù)都訓(xùn)練10次，誤差取平均值，尋找最優(yōu)隱含層節(jié)點(diǎn)數(shù)。通過多次實(shí)驗(yàn)，發(fā)現(xiàn)隱含層神經(jīng)元個(gè)數(shù)為11時(shí)，MSE最小且R最大，說明此時(shí)該BP神經(jīng)網(wǎng)絡(luò)的預(yù)測性最好。因此，本文隱含層神經(jīng)元數(shù)設(shè)為11。當(dāng)隱含層神經(jīng)元個(gè)數(shù)為11時(shí)，用Matlab軟件進(jìn)行BP神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)運(yùn)算。結(jié)果顯示經(jīng)過4個(gè)epoch后模型達(dá)到最優(yōu)，總體精度R達(dá)到0.91，訓(xùn)練集精度R為0.95792，驗(yàn)證集精度R為0.97337，模型精度較高，測試結(jié)果較準(zhǔn)確。

將滿意度與持續(xù)使用意愿兩個(gè)輸出值與對應(yīng)的目標(biāo)值進(jìn)行比較，分析擬合程度，發(fā)現(xiàn)使用BP神經(jīng)網(wǎng)絡(luò)構(gòu)建的模型能夠較好地對線上課程的教學(xué)質(zhì)量進(jìn)行分析，從而據(jù)此采取相應(yīng)措施。此質(zhì)量評價(jià)理論模型可在學(xué)習(xí)支持、課程內(nèi)容與資源、課程教學(xué)設(shè)計(jì)、交互與學(xué)習(xí)效果四個(gè)方面提升線上教學(xué)質(zhì)量，從而實(shí)現(xiàn)對線上教學(xué)全過程質(zhì)量的評價(jià)與反饋。

使用BP神經(jīng)網(wǎng)絡(luò)模型對線上教學(xué)的全過程質(zhì)量進(jìn)行評價(jià)的優(yōu)點(diǎn)在于：第一，針對線上教學(xué)構(gòu)建的質(zhì)量評價(jià)體系不需要類似于AHP層次分析法確定指標(biāo)權(quán)重，在很大程度上降低了主觀性；第二，當(dāng)環(huán)境改變或指標(biāo)體系改變時(shí)，只需要使用新的樣本數(shù)據(jù)對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練即可得到新的權(quán)重信息。本研究基于中國大學(xué)MOOC平臺，以進(jìn)行過在線課程學(xué)習(xí)的大學(xué)生為研究對象，根據(jù)教育評價(jià)理論、績效理論、管理學(xué)、測量學(xué)等理論，通過文獻(xiàn)回顧、問卷調(diào)查、專家訪談、數(shù)理統(tǒng)計(jì)和神經(jīng)網(wǎng)絡(luò)等研究方法，構(gòu)建了線上課程質(zhì)量評價(jià)指標(biāo)體系，并設(shè)計(jì)調(diào)查問卷，通過問卷回收數(shù)據(jù)構(gòu)建了BP神經(jīng)網(wǎng)絡(luò)模型。對數(shù)據(jù)進(jìn)行了信度、效度檢驗(yàn)，保證了數(shù)據(jù)的可靠性及有效性。針對在線課程教學(xué)的不同方面，細(xì)化了評價(jià)指標(biāo)體系，并初步檢驗(yàn)了各維度對整體滿意度以及持續(xù)使用意愿的相關(guān)性，從而在一定程度上保證了滿意度、持續(xù)使用意愿在神經(jīng)網(wǎng)絡(luò)中作為輸出的可靠性。隨著時(shí)間和條件變化，本文的研究深度需進(jìn)一步提高。在線教學(xué)模式的進(jìn)一步成熟和實(shí)踐案例的增加將促進(jìn)本研究進(jìn)一步豐富和完善。

四、結(jié)語

通過對文獻(xiàn)進(jìn)行研究，發(fā)現(xiàn)現(xiàn)有研究大多采用AHP層次分析法與德爾菲法相結(jié)合來構(gòu)建線上課程評價(jià)指標(biāo)體系，投入的人力、物力較大，且主觀性較強(qiáng)。因此，本文采用機(jī)器學(xué)習(xí)方法，根據(jù)構(gòu)建的線上課程教學(xué)質(zhì)量評價(jià)指標(biāo)體系來發(fā)放問卷回收數(shù)據(jù)，進(jìn)而運(yùn)用機(jī)器學(xué)習(xí)中BP神經(jīng)網(wǎng)絡(luò)模型確定指標(biāo)權(quán)重。本文從學(xué)習(xí)者角度，運(yùn)用感知價(jià)值理論，綜合ASCI模型與價(jià)值接受模型等進(jìn)行用戶對MOOC平臺的滿意度研究，構(gòu)建了用戶對線上課程教學(xué)的全過程質(zhì)量評價(jià)體系。并分別從學(xué)習(xí)支持、課程內(nèi)容與資源、課程教學(xué)設(shè)計(jì)、交互與學(xué)習(xí)效果四個(gè)方面設(shè)計(jì)調(diào)查問卷進(jìn)行測量，最終對收集到的數(shù)據(jù)進(jìn)行分析研究。

本文在研究線上課程教學(xué)全過程的質(zhì)量時(shí)構(gòu)建了評價(jià)指標(biāo)體系，但仍存在一些不足，例如，樣本數(shù)據(jù)量不大時(shí)不能有效反映出用戶對線上課程教學(xué)質(zhì)量的態(tài)度，評價(jià)指標(biāo)體系應(yīng)隨著后續(xù)線上課程建設(shè)進(jìn)一步改進(jìn)。線上課程教學(xué)仍存在一定的機(jī)遇與挑戰(zhàn)，本研究在一定程度上為院校及線上課程平臺持續(xù)建設(shè)規(guī)范、優(yōu)質(zhì)的在線課程提供了有益參考。

參考文獻(xiàn)

[1]薛文飛，李軍，張攀峰.教育信息化2.0背景下全日制研究生在線學(xué)習(xí)滿意度分析研究[J].河北師范大學(xué)學(xué)報(bào)（教育科學(xué)版），2022，24（03）：69-73.

[2]覃紅霞，方芳，周建華.大學(xué)生在線教學(xué)滿意度和持續(xù)使用意愿的性別差異研究[J].大學(xué)教育科學(xué)，2022（01）：44-53+104.

[3]項(xiàng)聰，陳小平，盧開聰.高校在線教學(xué)效果及其影響因素的實(shí)證研究[J].中國大學(xué)教學(xué)，2021（Z1）：93-99.

[4]郭建鵬，陳江，甘雅娟，等.大規(guī)模疫情時(shí)期如何開展在線教學(xué)——高校在線教學(xué)模式及其作用機(jī)制的實(shí)證研究[J].教育學(xué)報(bào)，2020，16（06）：32-41.

[5]賴玲玲，彭麗芳.高校在線教學(xué)服務(wù)質(zhì)量評價(jià)指標(biāo)體系構(gòu)建研究[J].黑龍江高教研究，2021，39（06）：147-154.

[6]梅鈺博.基于ANP模型的在線課程質(zhì)量評價(jià)研究[D].武漢：武漢工程大學(xué)，2018.

責(zé)任編輯：王穎振、周航