基于“中國大學(xué)MOOC”平臺的MOOC質(zhì)量評價研究

劉亞男 肖明 劉江榮 徐燁

摘要：為探索在線課程的合理評價方式，構(gòu)建基于“中國大學(xué)MOOC”平臺的MOOC質(zhì)量評價指標(biāo)體系，包含用戶、課程、章節(jié)、考試、作業(yè)、討論區(qū)等6個一級指標(biāo)，以及用戶人數(shù)、師資隊伍、課程時長等21個二級指標(biāo)。使用層次分析法確定各指標(biāo)權(quán)重，并選取該平臺上的《大學(xué)英語》《現(xiàn)代禮儀》等5門課程，對其課程質(zhì)量進(jìn)行評價分析。結(jié)果表明，這種評價體系能夠以平臺為基礎(chǔ)，合理地對MOOC質(zhì)量進(jìn)行綜合評價，評價結(jié)果對高質(zhì)量MOOC建設(shè)具有一定借鑒作用。

關(guān)鍵詞：MOOC平臺;MOOC質(zhì)量;層次分析法;評價指標(biāo)體系

DOI：10.11907/rjd k.191412

中圖分類號：G434 文獻(xiàn)標(biāo)識碼：A 文章編號：1672-7800（2019）012-0136-05

0引言

從2012年起，大規(guī)模在線開放課程（Massive Open On-line Courses，簡稱MOOC）作為一種新興教育模式，在國內(nèi)外引起了廣泛關(guān)注。隨著國內(nèi)MOOC的大規(guī)模建設(shè)發(fā)展，2013年也被國內(nèi)學(xué)者稱為MOOC元年。從2013年起，國內(nèi)各大在線教育平臺（如“中國大學(xué)M00c”“學(xué)堂在線”“華文MOOC”等）紛紛加入MOOC建設(shè)行列。2017年，教育部辦公廳下發(fā)了《教育部辦公廳關(guān)于開展2017年國家精品在線開放課程認(rèn)定工作的通知》，首批認(rèn)定了490門精品課程，這一舉措一定程度上進(jìn)一步促進(jìn)了國內(nèi)MOOC事業(yè)的發(fā)展。當(dāng)前，MOOC正在成為世界各國爭奪下一輪高等教育改革發(fā)展主導(dǎo)權(quán)、話語權(quán)的重要陣地。作為一種具有大規(guī)模、開放性、易獲得性等特性的新興教育模式，MOOC在促進(jìn)教育公平、推動教育事業(yè)發(fā)展等方面都具有不可估量的作用。

1國內(nèi)外研究現(xiàn)狀

“MOOC”一詞最早由加拿大學(xué)者Dave Cormier等于2008年提出，其基于在線學(xué)習(xí)特征，與“開放教育”和“電子學(xué)習(xí)”類似?？紤]到MOOC與遠(yuǎn)程教育和在線學(xué)習(xí)有較多相似之處，在調(diào)研國內(nèi)外研究現(xiàn)狀時，本研究同時考慮了在線課程質(zhì)量保證體系和MOOC質(zhì)量評價現(xiàn)狀。關(guān)于在線課程質(zhì)量評價，國內(nèi)已經(jīng)推出了一些較權(quán)威的評價標(biāo)準(zhǔn)，其中包括：國家精品課程評審指標(biāo)，信息技術(shù)學(xué)習(xí)、教育和培訓(xùn)在線課程國家標(biāo)準(zhǔn)。國外也有一些國家或組織制定的評價體系，如美國課程審查專業(yè)機構(gòu)Quality Matters（QM）：QM Rubric第五版、英國開放與遠(yuǎn)程教育學(xué)習(xí)質(zhì)量委員會標(biāo)準(zhǔn)、歐洲開放教育質(zhì)量標(biāo)簽、德國MOOC設(shè)計質(zhì)量保障標(biāo)準(zhǔn)。筆者通過分析近年來國內(nèi)外學(xué)者針對MOOC評價的相關(guān)研究成果后發(fā)現(xiàn)，涉及課程評價指標(biāo)體系層面的研究主要集中在以下兩個方面：

一是對研究現(xiàn)狀進(jìn)行梳理，在此基礎(chǔ)上提出新的評價指標(biāo)體系。Cathy Sandeents～分析MOOC演進(jìn)過程，指出對MOOC課程進(jìn)行有效評估才能更好地讓學(xué)生有所收獲;譚淇婧、譚明杰選取了歐洲開放教育質(zhì)量標(biāo)簽、德國質(zhì)量保障標(biāo)準(zhǔn)和北大MOOC評價體系進(jìn)行比較研究，提出了構(gòu)建MOOC質(zhì)量評價應(yīng)注意的問題;李青、劉娜通過對國內(nèi)外8個權(quán)威在線課程評價指標(biāo)進(jìn)行分析，從媒體技術(shù)、課程內(nèi)容、課程管理3方面討論實際工作中可具體應(yīng)用的質(zhì)量措施，形成較為完整的質(zhì)量保證體系;沈欣憶基于中國高等遠(yuǎn)程教育實踐現(xiàn)狀，融合遠(yuǎn)程教育各利益相關(guān)者的觀點，研究構(gòu)建了高等遠(yuǎn)程教育質(zhì)量保證標(biāo)準(zhǔn);馬瑞、吳曉璇等通過文獻(xiàn)分析和個案分析，構(gòu)建了包括資源、課程團隊、學(xué)習(xí)用戶、環(huán)境4個一級維度的MOOC傳播效果評價指標(biāo)體系;趙馨蕊、周雨青等以教學(xué)活動及其影響因素為基礎(chǔ)，采用層次分析法建構(gòu)了大學(xué)物理MOOC的教學(xué)質(zhì)量評價指標(biāo)體系。以上研究大都是對現(xiàn)有一些評價標(biāo)準(zhǔn)進(jìn)行梳理或?qū)Ρ确治?，在此基礎(chǔ)上提出新的MOOC質(zhì)量評價指標(biāo)體系，但是并沒有針對課程進(jìn)行驗證。

二是從應(yīng)用層面對MOOC質(zhì)量評價體系進(jìn)行實證分析。Yousef從用戶界面、課程內(nèi)容、社交工具、學(xué)習(xí)方法等對MOOC課程質(zhì)量進(jìn)行評價;邱均平從教學(xué)隊伍、教學(xué)內(nèi)容、教學(xué)資源、教學(xué)效果和教學(xué)技術(shù)5個維度確立了MOOC質(zhì)量評價體系，并使用模糊評價模型進(jìn)行實證;李加軍等建立了包含教學(xué)評價、教學(xué)過程、導(dǎo)航設(shè)計、課程內(nèi)容設(shè)計4個一級指標(biāo)，16個二級指標(biāo)的MOOC教學(xué)質(zhì)量評價指標(biāo)體系，并運用模糊綜合評價法對MOOC教學(xué)質(zhì)量進(jìn)行評價;VictorDyomin等從學(xué)習(xí)材料、學(xué)習(xí)過程、學(xué)習(xí)效果3個方面對MOOC課程進(jìn)行評價和分析;劉娜提出了基于學(xué)習(xí)者視角的MOOC課程質(zhì)量評價方法，包括課程介紹、學(xué)習(xí)內(nèi)容、學(xué)習(xí)媒體、交流互動、學(xué)習(xí)評價5個方面，并隨機在不同平臺上選取兩門課程進(jìn)行了評價。

結(jié)合MOOC質(zhì)量評價的現(xiàn)有研究成果不難發(fā)現(xiàn)，現(xiàn)有研究大多集中在以學(xué)生、課程為主體，基于學(xué)習(xí)者或現(xiàn)代信息技術(shù)視角進(jìn)行課程質(zhì)量評價，而沒有結(jié)合課程平臺要素對MOOC課程質(zhì)量的評價。但在MOOC實施過程中，學(xué)生作為MOOC課程的主體是需要考慮的要素之一，其它指標(biāo)要素（如考試情況、討論區(qū)互動情況等）也可以在一定程度上反映課程質(zhì)量。本文制定了一個包含21個二級指標(biāo)的MOOC課程質(zhì)量評價體系，采集用戶、課程、章節(jié)、考試、作業(yè)、討論區(qū)等相關(guān)數(shù)據(jù)，通過數(shù)據(jù)分析方式探索MOOC課程質(zhì)量評價的合理方式，并選取“中國大學(xué)MOOC"平臺上的5門課程進(jìn)行了實證研究。本研究為基于課程平臺的MOOC質(zhì)量評價提供了一種新的解決方案。

2研究方法

“中國大學(xué)MOOC”是高等教育出版社聯(lián)手網(wǎng)易公司推出的一個大規(guī)模在線教育平臺。截至目前，該平臺擁有255所合作高校，上線課程超過千門，僅其中“經(jīng)濟管理”類目下的“金融學(xué)”課程目前就有26門。面對如此大量的課程，如何選擇高質(zhì)量的課程十分重要，本研究主要針對“中國大學(xué)MOOC”平臺上開設(shè)兩輪次以上的MOOC進(jìn)行課程質(zhì)量評價，主要采用以下3種研究方法：

（1）問卷調(diào)查法。選取具有MOOC建設(shè)經(jīng)驗或者選修過MOOC課程的120人作為調(diào)查對象，通過對預(yù)先調(diào)查選擇的MOOC評價二級指標(biāo)進(jìn)行重要性評價;然后，根據(jù)該評價結(jié)果剔除無關(guān)指標(biāo);最后，得到完整的MOOC評價指標(biāo)體系，其中包含6個一級指標(biāo)和21個二級指標(biāo)。

（2）層次分析法。選取具有MOOC建設(shè)經(jīng)驗的10名專家，由他們分別對各級指標(biāo)進(jìn)行兩兩比較，構(gòu)造判斷矩陣，并在Matlab軟件中通過編程確定各指標(biāo)權(quán)重。

（3）實證分析法。為了驗證本文指標(biāo)評價體系的科學(xué)性和可操作性，以“中國大學(xué)MOOC”平臺上的MOOC數(shù)據(jù)為基礎(chǔ)，選取《大學(xué)英語》《現(xiàn)代禮儀》等5門課程，利用如圖1所示的評價模型及方法對其進(jìn)行實證研究。

3nooC質(zhì)量評價體系構(gòu)建

3.1MOOC質(zhì)量評價指標(biāo)體系建立

評價指標(biāo)體系是對被評價對象全部或部分特征的真實反映，建立評價指標(biāo)體系的前提是將抽象的研究對象，按照其本質(zhì)屬性和特征某一方面的標(biāo)識分解成為具有行為化、可操作化的結(jié)構(gòu)。本研究主要實現(xiàn)基于“中國大學(xué)MOOC”平臺的MOOC質(zhì)量評價，通過對該平臺數(shù)據(jù)的調(diào)研和分析，初步構(gòu)建包括所有平臺信息的指標(biāo)體系問卷，之后進(jìn)行調(diào)查，共發(fā)放問卷120份，回收95份，其中有效問卷75份。被調(diào)研者主要來自高校、企業(yè)和政府機關(guān)，并且都是MOOC課程的建設(shè)者或者學(xué)員。通過此次問卷調(diào)查，邀請被調(diào)查者對各指標(biāo)進(jìn)行重要性評價，剔除掉無關(guān)指標(biāo)，最終構(gòu)建了一個包含用戶、課程、章節(jié)、考試、作業(yè)、討論區(qū)6個一級指標(biāo)，以及包含用戶人數(shù)、師資隊伍、課程時長等21個二級指標(biāo)的MOOC質(zhì)量評價指標(biāo)體系，如表1所示。

3.2基于層次分析法的指標(biāo)體系權(quán)重確立

層次分析法是應(yīng)用網(wǎng)絡(luò)系統(tǒng)理論和多目標(biāo)綜合評價方法的一種層次權(quán)重決策分析方法。層次分析法本質(zhì)上是一種決策方法。所謂決策，是指在面臨多種方案時需要依據(jù)一定標(biāo)準(zhǔn)選擇某一種方案，其特點是將復(fù)雜問題中的各種因素通過劃分為相互聯(lián)系的有序?qū)哟危怪畻l理化，而后利用數(shù)學(xué)方法計算反映每一層次元素相對重要性次序的權(quán)值，通過所有層次之間的總排序計算所有元素的相對權(quán)重并進(jìn)行排序。

在確定各指標(biāo)權(quán)重時，如果只是定性結(jié)果，則往往不太容易被他人接受。通過矩陣法，即不將所有因素放在一起比較，而是兩兩相互比較，對比時采用相對尺度以提高準(zhǔn)確度。本文采用專家訪談法進(jìn)行判斷矩陣構(gòu)造，在受訪過程中，專家對各級指標(biāo)進(jìn)行兩兩對比，評估相對重要性程度，具體標(biāo)度如表2所示。

此次專家訪談在2018年8月進(jìn)行，共成功訪問10位MOOC方面的專家。此次受訪專家從事MOOC研究都在2年以上，專家背景可以滿足此次訪談需要。訪談具體步驟如下：①將提前打印好的MOOC課程評價指標(biāo)發(fā)到專家手中，讓專家用幾分鐘的時間先瀏覽一遍清單內(nèi)容;②以面對面采訪形式進(jìn)行訪談，并做好記錄;③詢問專家對于評價指標(biāo)的修改或補充建議，并做好記錄;④向?qū)＜医榻B判斷矩陣具體標(biāo)度的含義，并請專家就各級指標(biāo)進(jìn)行兩兩對比;⑤向?qū)＜宜饕?，或記錄專家的電話、郵箱等聯(lián)系方式，以便日后進(jìn)一步溝通交流。

本次專家訪談順利開展，最終得到了一級指標(biāo)和各二級指標(biāo)之間的判斷矩陣。

其中，一級指標(biāo)兩兩對比的判斷矩陣如表3所示。

在Matlab軟件中通過編程計算出各層權(quán)重，并對其進(jìn)行一致性檢驗，最終得到指標(biāo)體系權(quán)重如表4所示。

4基于“中國大學(xué)MooC”平臺的5門課程評價實踐

本文選取“中國大學(xué)MOOC”平臺上的5門課程進(jìn)行實證研究，這5門課程分別為《大學(xué)英語》、《現(xiàn)代禮儀》、《金融學(xué)》、《高等數(shù)學(xué)（微積分）》和《程序設(shè)計入門——C語言》。首先，結(jié)合上文構(gòu)建的評價指標(biāo)體系進(jìn)行數(shù)據(jù)收集;然后，對數(shù)據(jù)進(jìn)行定量和歸一化處理，并對各課程進(jìn)行評價;最后，結(jié)合評價結(jié)果，從一級指標(biāo)層面對這5門課程進(jìn)行綜合評價。

4.15門課程原始數(shù)據(jù)

按照上文構(gòu)建的MOOC質(zhì)量指標(biāo)體系，本文選取了5門課程用戶、課程、章節(jié)、考試、作業(yè)、討論區(qū)共6方面的數(shù)據(jù)。其中，A1表示用戶人數(shù)，B1表示師資隊伍，其余各二級指標(biāo)也均用代碼表示，具體數(shù)據(jù)如表5和表6所示。

4.2課程原始數(shù)據(jù)歸一化處理

對原始數(shù)據(jù)進(jìn)行預(yù)處理，首先需實現(xiàn)定性數(shù)據(jù)定量化。在所有數(shù)據(jù)中，只有師資力量這一指標(biāo)的數(shù)據(jù)是定性的。具體處理方法概述如下：師資團隊凡是屬于雙一流大學(xué)的加3分;教師團隊中有教授的加3分，有副教授的加2分，有講師的加1分;最高得分為10分。對所有定量數(shù)據(jù)進(jìn)行歸一化處理，采用式（1）所示的歸一化變換方法進(jìn)行處理。

4.35門課程得分與排名

根據(jù)權(quán)重及處理好的指標(biāo)數(shù)據(jù)，計算得出每門課程的各一級指標(biāo)得分以及每門課程總得分。5門課程一級指標(biāo)具體得分如表9所示。其中，《大學(xué)英語》這門課6個一級指標(biāo)得分分別是0.805、0.355、0.523、0.261、0.337和0.255。

將各指標(biāo)得分情況與其對應(yīng)的權(quán)重進(jìn)行相關(guān)計算后，即可得到各課程總得分情況，如表10所示。其中，《大學(xué)英語》綜合得分為0.421;《現(xiàn)代禮儀》綜合得分為0.409;《金融學(xué)》綜合得分為0.383，《高等數(shù)學(xué)（微積分）》綜合得分為0.300;《程序設(shè)計人門——C語言》綜合得分為0.464。從綜合得分可以看出，采用上文構(gòu)建的指標(biāo)體系進(jìn)行評價后，5門課的課程質(zhì)量排名從高到低依次是：《程序設(shè)計入門——C語言》、《大學(xué)英語》、《現(xiàn)代禮儀》、《金融學(xué)》和《高等數(shù)學(xué)（微積分）》。

由表10可以看出，在5門課程中得分較低的是《高等數(shù)學(xué)（微積分）》和《現(xiàn)代禮儀》，分析具體指標(biāo)發(fā)現(xiàn)這兩門課程在一級指標(biāo)“用戶”方面得分要比其它3門課程低，分別為0.086和0.138，而一級指標(biāo)“用戶”方面得分最高的《大學(xué)英語》則為0.805分。這說明《大學(xué)英語》這門課選課人數(shù)較多，也反映出這門課的傳播范圍較廣、影響力較大。5門課程中綜合得分最高的是《程序設(shè)計人門——C語言》，為0.464分。綜合分析6個一級指標(biāo)后發(fā)現(xiàn)，該課程在一級指標(biāo)“試卷”方面的得分比其它課程更高，達(dá)到0.601分，說明《程序設(shè)計入門——C語言》這門課程參加考試的人數(shù)較多，其考試平均得分比其它課程也更高，說明學(xué)習(xí)者對這門課程的掌握程度比其它課程好，該課程取得了良好教學(xué)效果。

5結(jié)語

本文運用問卷調(diào)查法與層次分析法構(gòu)建了MOOC課程質(zhì)量評價指標(biāo)體系，并結(jié)合“中國大學(xué)MOOC”平臺數(shù)據(jù)，對5門課程進(jìn)行了評價。從評價結(jié)果看，《程序設(shè)計入門——c語言》課程各指標(biāo)得分都較為優(yōu)秀，但在用戶人數(shù)、章節(jié)設(shè)置方面還有待提高;《大學(xué)英語》課程在用戶人數(shù)、章節(jié)設(shè)置上表現(xiàn)較好，但在討論區(qū)模塊上尚有待提高，需要充分調(diào)動學(xué)員的學(xué)習(xí)積極性，并且在試卷題目的難易程度上也有待商榷，因試卷過難而導(dǎo)致學(xué)員成績普遍較低;《現(xiàn)代禮儀》課程的討論區(qū)最為活躍，作業(yè)布置也很合適，但在用戶人數(shù)以及章節(jié)設(shè)置方面還需繼續(xù)完善;《金融學(xué)》課程用戶人數(shù)很多，但其討論區(qū)不夠活躍，建議該課程團隊今后加強與學(xué)員互動，以提高其學(xué)習(xí)積極性;《高等數(shù)學(xué)（微積分）》課程擁有強大的教師團隊，課程內(nèi)容較為充實，但其用戶人數(shù)較少，討論區(qū)也不活躍，建議該課程團隊今后加大課程宣傳力度，以便吸引更多學(xué)員選修該課程，提高該課程資源利用程度。