徐振國　王佳寧　王悅　郭順利　謝萬里

[摘? ?要] 自媒體平臺存在海量在線課程，但質(zhì)量良莠不齊，嚴(yán)重影響學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)和學(xué)習(xí)效率，因此，探索客觀、準(zhǔn)確、高效的自媒體平臺在線課程質(zhì)量評價(jià)方法成為亟待解決的現(xiàn)實(shí)問題。針對該問題，研究首先構(gòu)建在線課程質(zhì)量評價(jià)體系，并利用層次分析法確定各指標(biāo)權(quán)重。其次，利用深度學(xué)習(xí)和自然語言處理等技術(shù)對在線課程評論數(shù)據(jù)進(jìn)行粗粒度情感分析和細(xì)粒度情感分析，以實(shí)現(xiàn)自媒體平臺在線課程質(zhì)量評價(jià)。最后，采集Bilibili平臺在線課程評論數(shù)據(jù)進(jìn)行應(yīng)用研究，并通過實(shí)驗(yàn)證實(shí)該方法具有較高的可行性、可信度和準(zhǔn)確率，可實(shí)現(xiàn)對自媒體平臺在線課程質(zhì)量的有效評價(jià)，以促進(jìn)在線課程良性發(fā)展，優(yōu)化學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)。

[關(guān)鍵詞] 在線課程； 自媒體平臺； 課程質(zhì)量； 深度學(xué)習(xí)； 課程評價(jià)

[中圖分類號] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡介] 徐振國（1989—），男，山東泰安人。副教授，博士，主要從事教育人工智能、數(shù)字化學(xué)習(xí)資源、在線學(xué)習(xí)行為研究。E-mail：xu.zhen.guo@163.com。謝萬里為通訊作者，E-mail：wanlix2021@163.com。

一、引? ?言

黨的二十大報(bào)告指出，推進(jìn)教育數(shù)字化，建設(shè)全民終身學(xué)習(xí)的學(xué)習(xí)型社會、學(xué)習(xí)型大國。當(dāng)前，以Coursera、Udacity、中國大學(xué)MOOC等為代表的MOOC平臺和以YouTube、Bilibili、抖音等為代表的自媒體平臺包含大量在線課程資源，成為學(xué)習(xí)者開展在線學(xué)習(xí)和終身學(xué)習(xí)的重要渠道[1]。自媒體平臺具有傳播速度快、影響范圍廣、交互性強(qiáng)等鮮明特點(diǎn)，持續(xù)保持良好發(fā)展勢頭[2]。與MOOC平臺課程相比，自媒體平臺課程擁有相對多元的授課風(fēng)格、更輕松的學(xué)習(xí)氛圍和更便捷的交互形式，深受學(xué)習(xí)者喜愛。然而，自媒體平臺課程的準(zhǔn)入門檻較低，缺乏監(jiān)管約束，導(dǎo)致課程質(zhì)量良莠不齊，學(xué)習(xí)者通常需要花費(fèi)較長時(shí)間才能找到滿足學(xué)習(xí)需求的高質(zhì)量課程。課程質(zhì)量評價(jià)能夠通過對課程的科學(xué)評判，實(shí)現(xiàn)課程篩選和優(yōu)質(zhì)課程推薦[3]，從而提高學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)和學(xué)習(xí)效果，并激勵上傳者開發(fā)更多優(yōu)質(zhì)課程。因此，探索客觀、準(zhǔn)確、高效且有針對性并易于操作的自媒體平臺在線課程質(zhì)量評價(jià)方法成為目前亟待解決的現(xiàn)實(shí)問題。研究利用深度學(xué)習(xí)和自然語言處理等技術(shù)對在線課程的評論數(shù)據(jù)進(jìn)行情感分析，以實(shí)現(xiàn)對自媒體平臺在線課程質(zhì)量的有效評價(jià)，促進(jìn)在線課程的提質(zhì)增效和日臻完善。

二、相關(guān)研究

傳統(tǒng)的在線課程質(zhì)量評價(jià)主要有三種方法：專家評價(jià)法、質(zhì)量標(biāo)準(zhǔn)評價(jià)法和學(xué)習(xí)者評價(jià)法。然而，每種方法都有其局限性。專家評價(jià)法是選擇具備扎實(shí)專業(yè)知識的專家和具有豐富教學(xué)經(jīng)驗(yàn)的教師，以“背靠背”打分的方式對在線課程做出定量評價(jià)[4]。此種方法優(yōu)點(diǎn)是具有較強(qiáng)的可靠性、適應(yīng)性和穩(wěn)定性，并能夠在有限的數(shù)據(jù)資料條件下進(jìn)行定量估計(jì)；缺點(diǎn)是費(fèi)時(shí)費(fèi)力，并依賴于專家的知識和經(jīng)驗(yàn)，通常用于小規(guī)模優(yōu)質(zhì)課程評選。質(zhì)量標(biāo)準(zhǔn)評價(jià)法是采用成熟的準(zhǔn)則作為評估標(biāo)準(zhǔn)，然而此方法常常忽視學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)。學(xué)習(xí)者評價(jià)法是學(xué)習(xí)者按照自己的標(biāo)準(zhǔn)和體驗(yàn)對課程進(jìn)行評價(jià)，雖然該方法體現(xiàn)了學(xué)習(xí)者的主體性，但學(xué)習(xí)者的評分通常具有較強(qiáng)的概括性，并易受學(xué)習(xí)者主觀傾向的影響，根據(jù)評分往往難以確定影響在線課程質(zhì)量優(yōu)劣的因素。

自媒體時(shí)代用戶生成內(nèi)容（User Generated Content，UGC）承載著信息傳播、思想碰撞、情感宣泄等多種功能[5]，彈幕、評論等互動方式具有新穎性、即時(shí)性、交互性、簡便性、風(fēng)格化等特征，深受青年群體的青睞，并是用戶表達(dá)訴求、態(tài)度和觀點(diǎn)的重要方式。針對自媒體平臺在線課程，學(xué)習(xí)者的彈幕和評論既可表達(dá)真實(shí)想法，也可抒發(fā)內(nèi)心情感。因此，部分研究者利用數(shù)據(jù)挖掘方法，對學(xué)習(xí)者的彈幕、評論等內(nèi)容進(jìn)行分析，以便彌補(bǔ)傳統(tǒng)在線課程質(zhì)量評價(jià)方法的缺陷。Cong Qi、Xian Peng、Aytu?Onan等基于傳統(tǒng)機(jī)器學(xué)習(xí)方法，挖掘?qū)W習(xí)者評論所隱含的態(tài)度傾向，實(shí)現(xiàn)對在線課程的評價(jià)[6-8]。相較于態(tài)度傾向，情感傾向更能反映學(xué)習(xí)者對在線課程的直觀感受，以及對教師和課程的真實(shí)意見，評論的情感傾向需要借助文本情感分析方法進(jìn)行判斷。目前研究者常采用WordNet、HowNet、Ntusd等詞典實(shí)現(xiàn)對在線課程評論數(shù)據(jù)的情感分析[9]。基于情感詞典的文本情感分析方法耗時(shí)費(fèi)力，所得結(jié)果的準(zhǔn)確性依賴于所選取情感詞典的質(zhì)量和覆蓋范圍。隨著計(jì)算機(jī)性能的提升和人工智能算法的優(yōu)化，有研究表明，基于深度學(xué)習(xí)的文本情感分析方法具有更高的準(zhǔn)確率和更強(qiáng)的適應(yīng)性，綜合性能優(yōu)于基于情感詞典的方法[10]。

綜上所述，目前研究者主要圍繞Coursera、Udacity、中國大學(xué)MOOC、學(xué)堂在線等MOOC平臺在線課程進(jìn)行研究，對自媒體平臺在線課程缺乏關(guān)注。在線課程質(zhì)量評價(jià)多基于學(xué)習(xí)者評論內(nèi)容的態(tài)度傾向和情感傾向，其情感傾向識別常應(yīng)用情感詞典和傳統(tǒng)機(jī)器學(xué)習(xí)方法。構(gòu)建適用且科學(xué)的在線課程質(zhì)量評價(jià)體系，并基于深度學(xué)習(xí)算法對學(xué)習(xí)者評論進(jìn)行情感分析，以此實(shí)現(xiàn)對自媒體平臺在線課程質(zhì)量的評價(jià)，可更好地體現(xiàn)課程質(zhì)量評價(jià)的導(dǎo)向作用、激勵作用、反饋?zhàn)饔煤捅鎰e作用，并提升自媒體時(shí)代學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)。研究以Bilibili平臺在線課程為研究對象，基于深度學(xué)習(xí)模型ERNIE對在線課程的評論數(shù)據(jù)進(jìn)行情感分析，從學(xué)習(xí)者的角度探討在線課程質(zhì)量的評價(jià)方法。

三、研究設(shè)計(jì)與方法

研究主要包括兩個(gè)步驟：第一，構(gòu)建自媒體平臺在線課程質(zhì)量評價(jià)體系，通過德爾菲法征集專家意見，并根據(jù)專家意見進(jìn)行完善；利用層次分析法，采用9級比例標(biāo)尺構(gòu)造判斷矩陣，進(jìn)而得出評價(jià)體系各指標(biāo)的權(quán)重。第二，提出基于深度學(xué)習(xí)的自媒體平臺在線課程質(zhì)量評價(jià)方法，包括在線課程評論數(shù)據(jù)采集與預(yù)處理、計(jì)算TF-IDF值確定關(guān)鍵詞、選取在線課程質(zhì)量評價(jià)體系各指標(biāo)的標(biāo)簽詞；使用深度學(xué)習(xí)模型ERNIE對課程評論數(shù)據(jù)進(jìn)行情感分析，并加權(quán)計(jì)算在線課程的最終得分。研究過程和方法如圖1所示。

（一）自媒體平臺在線課程質(zhì)量評價(jià)體系構(gòu)建

目前，研究機(jī)構(gòu)已發(fā)布諸多有關(guān)在線課程質(zhì)量評價(jià)體系的文件，如我國教育部教育信息化技術(shù)標(biāo)準(zhǔn)委員會制定的《網(wǎng)絡(luò)課程評價(jià)規(guī)范》、美國國防部高級分布式學(xué)習(xí)聯(lián)合實(shí)驗(yàn)室發(fā)布的《網(wǎng)絡(luò)教學(xué)設(shè)計(jì)與評價(jià)指南》、英國高等教育質(zhì)量保證署發(fā)布的《遠(yuǎn)程學(xué)習(xí)質(zhì)量保證指南》等。此外，姚凱等建立了包括5個(gè)一級指標(biāo)的MOOC評價(jià)指標(biāo)體系，從教學(xué)設(shè)計(jì)、課程內(nèi)容、界面設(shè)計(jì)、媒體技術(shù)、課程管理等方面對MOOC進(jìn)行評價(jià)[11]。童小素等以《網(wǎng)絡(luò)課程評價(jià)規(guī)范》為藍(lán)本，探索性地建立了包含3個(gè)一級指標(biāo)和26個(gè)二級指標(biāo)的MOOC質(zhì)量評價(jià)指標(biāo)體系[12]。劉穎等構(gòu)建了信息素養(yǎng)MOOC教學(xué)質(zhì)量評價(jià)體系，利用層次分析法計(jì)算指標(biāo)權(quán)重，并采用模糊綜合評價(jià)法對部分信息素養(yǎng)MOOC教學(xué)質(zhì)量進(jìn)行評價(jià)[13]。

本研究根據(jù)既有在線課程質(zhì)量評價(jià)研究成果和自媒體平臺特點(diǎn)，初步構(gòu)建自媒體平臺在線課程質(zhì)量評價(jià)體系，通過德爾菲法征集教育技術(shù)、遠(yuǎn)程教育等領(lǐng)域?qū)＜乙庖姡瑢ζ溥M(jìn)行完善。研究構(gòu)建的自媒體平臺在線課程質(zhì)量評價(jià)體系見表1。

（二）采用層次分析法確定指標(biāo)權(quán)重

層次分析法（Analytic Hierarchy Process，AHP）強(qiáng)調(diào)定量和定性相結(jié)合，具有過程明晰、運(yùn)算簡便、結(jié)果明確、系統(tǒng)性強(qiáng)等特點(diǎn)，能夠有效解決難以用定量方法解決的實(shí)際問題[19]。本研究利用Yaahp軟件計(jì)算自媒體平臺在線課程質(zhì)量評價(jià)體系各指標(biāo)權(quán)重，并對判斷矩陣進(jìn)行一致性檢驗(yàn)。首先，邀請教育技術(shù)和遠(yuǎn)程教育領(lǐng)域的5位專家對各指標(biāo)進(jìn)行兩兩比較，構(gòu)建判斷矩陣。其次，將數(shù)據(jù)錄入Yaahp軟件，進(jìn)行權(quán)重計(jì)算。經(jīng)過計(jì)算，自媒體平臺在線課程質(zhì)量評價(jià)體系各指標(biāo)權(quán)重見表1。最后，計(jì)算一致性比例C.R.。結(jié)果顯示，一致性比例C.R.小于0.1，符合要求，判斷矩陣為滿意一致性矩陣。

自媒體平臺在線課程質(zhì)量評價(jià)體系各指標(biāo)中，能力層面、教學(xué)實(shí)施、情感層面、認(rèn)知層面、技術(shù)支持所占權(quán)重較高。相比較而言，學(xué)習(xí)效果下的3個(gè)指標(biāo)較為重要。與MOOC平臺不同，自媒體平臺對學(xué)習(xí)者的學(xué)習(xí)過程很難進(jìn)行監(jiān)督和考核，通過學(xué)習(xí)者的評論內(nèi)容可以得知學(xué)習(xí)者對課程各方面的評價(jià)，以及學(xué)習(xí)課程后學(xué)習(xí)者在認(rèn)知、能力、情感等方面是否得到了提升。各指標(biāo)權(quán)重反映了專家們結(jié)果導(dǎo)向的、基于學(xué)習(xí)效果的評價(jià)傾向。此外，專家們意識到，自媒體平臺在線課程同質(zhì)化程度越來越高，并指出應(yīng)該更加重視能使在線課程質(zhì)量產(chǎn)生較大差異的指標(biāo)。由于目前自媒體平臺多數(shù)在線課程仍以教師講授為主，課程開設(shè)門檻較低，很多教師沒有教育學(xué)背景，甚至沒有任何教學(xué)經(jīng)驗(yàn)，致使課程質(zhì)量難以達(dá)到預(yù)期。因此，專家認(rèn)為教學(xué)設(shè)計(jì)與實(shí)施較為重要，是保證學(xué)習(xí)者學(xué)習(xí)效果的前提和基礎(chǔ)，權(quán)重僅次于學(xué)習(xí)效果維度，其中的教學(xué)實(shí)施在二級指標(biāo)中所占權(quán)重較高。

（三）基于深度學(xué)習(xí)的自媒體平臺在線課程質(zhì)量評價(jià)方法

文本情感分析，也稱為傾向性分析、意見挖掘，是指利用數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、自然語言處理等智能技術(shù)對文本的觀點(diǎn)、情緒、極性等進(jìn)行分析，以便對文本的情感傾向作出判斷。本研究通過粗粒度情感分析和細(xì)粒度情感分析的綜合應(yīng)用評價(jià)自媒體平臺在線課程質(zhì)量。

1. 基于深度學(xué)習(xí)的粗粒度情感分析

百度于2019年推出基于深度學(xué)習(xí)的語義理解預(yù)訓(xùn)練模型ERNIE，其使用多層Transformer作為基本編碼器，并強(qiáng)調(diào)對知識進(jìn)行整合，以達(dá)到增強(qiáng)表達(dá)的目的[20]。ERNIE借鑒了BERT的掩碼策略，在基本級別掩碼基礎(chǔ)上，增加短語級別掩碼和實(shí)體級別掩碼?；炯墑e掩碼是指將句子視作由基本的語言單元組成，具體而言，漢語的基本語言單位是漢字；短語級別掩碼是將由多個(gè)基本語言單位組成的短語作為概念單元進(jìn)行屏蔽；實(shí)體級別掩碼是將地名、人名、組織等專有名詞抽象為實(shí)體進(jìn)行屏蔽。通過多階段知識掩碼策略，可以獲得語義信息豐富的表達(dá)。實(shí)驗(yàn)結(jié)果顯示，ERNIE在語義相似度、自然語言推理、文本情感分析等自然語言處理任務(wù)方面優(yōu)于BERT等方法。此外，訓(xùn)練數(shù)據(jù)方面，ERNIE除了使用百科類、資訊類中文語料外，還引入論壇對話類數(shù)據(jù)，進(jìn)一步提升模型的語義表示能力，使其在基于上下文的知識推理中具有較好表現(xiàn)，以便更好地捕捉上下文情感信息，從而實(shí)現(xiàn)更高精度的正負(fù)性情感劃分。因此，本研究使用ERNIE進(jìn)行粗粒度情感分析，以得到單條評論語句的情感得分。

2. 基于自然語言處理的細(xì)粒度情感分析

本研究中細(xì)粒度情感分析是指利用通過粗粒度情感分析得到的單條評論語句情感得分和通過TF-IDF值計(jì)算篩選出的標(biāo)簽詞，進(jìn)行更為細(xì)致層面的情感傾向分析，以求得在線課程在評價(jià)體系各指標(biāo)的得分。

（1）標(biāo)簽詞選取

TF-IDF算法用以評估某個(gè)詞在文本集中對某份文本的重要程度，越重要則越可能是此份文本的關(guān)鍵詞，是目前常用的無監(jiān)督關(guān)鍵詞提取算法。這種算法在提取關(guān)鍵詞時(shí)將詞語位置屬性考慮到了關(guān)鍵詞選擇的指標(biāo)當(dāng)中，能甄別在語料中多次出現(xiàn)的非關(guān)鍵詞以及偶爾出現(xiàn)的關(guān)鍵詞。TF-IDF算法由TF算法和IDF算法組成。TF（Term Frequency）指詞頻，TF算法是統(tǒng)計(jì)字詞在某份文本中出現(xiàn)的次數(shù)，即求字詞在文本中出現(xiàn)的頻率，頻率越高，說明該字詞越重要。IDF（Inverse Document Frequency）指逆向文件頻率，IDF算法是統(tǒng)計(jì)某個(gè)字詞出現(xiàn)在多少份文本中，字詞在越少的文本中出現(xiàn)，說明其對文本的區(qū)分能力越強(qiáng)。某個(gè)字詞的IDF值具體計(jì)算方法是文本總數(shù)除以包含該字詞的文本數(shù)量，再將求得的商取對數(shù)。TF-IDF值是TF值與IDF值的乘積，本研究中將關(guān)鍵詞按照TF-IDF值降序排列，取前n個(gè)詞作為關(guān)鍵詞，通過此種方法得到的關(guān)鍵詞具有較好的代表性。然后根據(jù)構(gòu)建的自媒體平臺在線課程質(zhì)量評價(jià)體系，從關(guān)鍵詞中選取與評價(jià)體系各維度相匹配的詞作為標(biāo)簽詞。

（2）在線課程各指標(biāo)情感得分計(jì)算

在粗粒度情感分析基礎(chǔ)上，結(jié)合各指標(biāo)標(biāo)簽詞進(jìn)行細(xì)粒度情感分析。首先，將標(biāo)簽詞作為索引，通過與每條評論語句逐一匹配，實(shí)現(xiàn)每條評論語句到評價(jià)體系各指標(biāo)的映射。其次，根據(jù)每條評論語句的情感得分，計(jì)算在線課程在各指標(biāo)的情感得分。若有多條語句與某指標(biāo)匹配，則取與之匹配的所有評論語句情感得分的平均值。最后，結(jié)合評價(jià)體系各指標(biāo)權(quán)重進(jìn)行加權(quán)計(jì)算，得出在線課程的最終得分，以實(shí)現(xiàn)對自媒體平臺在線課程質(zhì)量的評價(jià)。

四、自媒體平臺在線課程質(zhì)量評價(jià)方法應(yīng)用

（一）數(shù)據(jù)采集與處理

1. 評論數(shù)據(jù)采集

Bilibili是國內(nèi)知名自媒體平臺，截至2022年12月注冊用戶數(shù)量達(dá)3.5億，并且設(shè)有專門的在線課程欄目。因此，本研究選擇Bilibili作為數(shù)據(jù)來源。研究以數(shù)學(xué)、英語、地理、歷史、計(jì)算機(jī)編程、物理等為關(guān)鍵詞在Bilibili中搜索在線課程，將搜索結(jié)果按照評論數(shù)量降序排列，每種隨機(jī)選取3個(gè)評論數(shù)量高于1000的在線課程，共選取18門在線課程作為研究對象。Bilibili提供了豐富的應(yīng)用程序接口（Application Programming Interface，API），可利用API獲取在線課程的評論數(shù)據(jù)。本研究首先利用Python的request模塊獲取json數(shù)據(jù)；然后對其進(jìn)行解析，以便定位對應(yīng)的評論數(shù)據(jù)字段；最后，讀取評論的詳細(xì)內(nèi)容。

2. 數(shù)據(jù)清洗與預(yù)處理

由于網(wǎng)絡(luò)文化的多樣性、開放性和自由性，在線課程的評論內(nèi)容復(fù)雜多樣，通常有超越傳統(tǒng)表達(dá)的信息，如繪文字、顏文字、表情符號等，甚至還存在廣告信息、垃圾信息和低俗用語等。這些信息無用且對正常研究造成干擾，影響文本情感分析的效率和準(zhǔn)確性。因此，要在情感分析前對通過網(wǎng)絡(luò)爬蟲得到的數(shù)據(jù)進(jìn)行清洗，刪除無效的有害信息和干擾信息，提高數(shù)據(jù)分析的有效性。

與此同時(shí)，對爬取的數(shù)據(jù)進(jìn)行整理，剔除評論內(nèi)容中的標(biāo)點(diǎn)符號、數(shù)字等無效字符以及停用詞。停用詞包括你、他（她）、你們、他們（她們）等人稱代詞，的、地、得、所等助詞，喲、啊、哎、哇等語氣詞等。這些詞語在文本中出現(xiàn)次數(shù)較多，但是對文本情感分析并無實(shí)際意義。最后，刪除重復(fù)評論以及少于3個(gè)字符的無效評論。經(jīng)過數(shù)據(jù)清洗和預(yù)處理，共得到有效評論數(shù)據(jù)86099條。

（二）標(biāo)簽詞選取

1. TF-IDF值計(jì)算

本研究利用Python中的jieba庫對有效評論數(shù)據(jù)進(jìn)行分詞，并計(jì)算TF、IDF和TF-IDF的值。jieba是目前常用的第三方中文分詞庫，支持三種分詞模式，即精確模式、全模式和搜索引擎模式。部分關(guān)鍵詞及其TF-IDF值見表2。

2. 標(biāo)簽詞選取

本研究將關(guān)鍵詞按照其TF-IDF值降序排列，并從中選取前3000個(gè)關(guān)鍵詞。根據(jù)前面構(gòu)建的自媒體平臺在線課程質(zhì)量評價(jià)體系，從中選取與評價(jià)體系各指標(biāo)相匹配的詞作為標(biāo)簽詞。表3描述了在線課程質(zhì)量評價(jià)體系中各指標(biāo)對應(yīng)的部分標(biāo)簽詞。

（三）粗粒度情感分析

ERNIE是百度推出的較為成熟的語義理解預(yù)訓(xùn)練模型，得到廣泛應(yīng)用，并取得令人滿意的效果。因此，本研究通過百度的自然語言接口AipNlp調(diào)用預(yù)訓(xùn)練的深度學(xué)習(xí)模型ERNIE，進(jìn)行粗粒度情感分析，并逐句計(jì)算情感得分。例如，“老師的聲音真好聽，邏輯清晰，學(xué)習(xí)真快樂”的情感得分為0.9998，“一位只會念教材、原理不分析、說話聽不清、提問不回答的老師”的情感得分為0.0190。

（四）細(xì)粒度情感分析

對根據(jù)粗粒度情感分析得到的在線課程單條評論語句情感得分和標(biāo)簽詞進(jìn)行細(xì)粒度情感分析，以便得到在線課程質(zhì)量評價(jià)體系各指標(biāo)的得分情況。圖2為選取的18門在線課程各指標(biāo)的情感得分。

（五）自媒體平臺在線課程質(zhì)量評價(jià)

根據(jù)自媒體平臺在線課程質(zhì)量評價(jià)體系各指標(biāo)權(quán)重和通過細(xì)粒度情感分析得出的各指標(biāo)情感得分，計(jì)算在線課程質(zhì)量的加權(quán)得分，以此作為在線課程的最終得分，用于評價(jià)在線課程質(zhì)量。本研究選取的18門在線課程的最終得分如圖3所示。

五、自媒體平臺在線課程質(zhì)量評價(jià)方法驗(yàn)證

既有研究指出，Bilibili平臺用戶往往通過點(diǎn)贊、收藏等行為表達(dá)對視頻的認(rèn)可和喜愛[21]。為了驗(yàn)證本研究提出的自媒體平臺在線課程質(zhì)量評價(jià)方法的應(yīng)用效果，本研究首先隨機(jī)選取Bilibili平臺評論數(shù)量高于1000的另外10門在線課程，然后邀請3位教育技術(shù)領(lǐng)域?qū)＜彝ㄟ^背靠背打分的形式對這10門課程進(jìn)行評價(jià)，最后結(jié)合點(diǎn)贊數(shù)和收藏?cái)?shù)等客觀平臺數(shù)據(jù)進(jìn)行應(yīng)用效果分析。

為了保證3位專家評價(jià)結(jié)果的一致性，本研究采用肯德爾和諧系數(shù)對主觀評價(jià)的信度進(jìn)行檢驗(yàn)。結(jié)果顯示，肯德爾和諧系數(shù)為0.927，并在0.01水平上顯著相關(guān)，說明3位專家的評價(jià)結(jié)果較為可信。取3位專家打分的平均值作為每門課程的最終得分，并歸一化到0～1之間，保留三位有效數(shù)字。結(jié)果如圖4所示，雖然每門課程專家評價(jià)法得分和本研究方法得分并不完全相同，但根據(jù)得分的折線趨勢和基于得分的課程排序可知，本研究方法對在線課程質(zhì)量的評價(jià)結(jié)果和專家評價(jià)法的結(jié)果基本一致。

結(jié)合點(diǎn)贊數(shù)和收藏?cái)?shù)進(jìn)一步分析，課程8是中學(xué)物理課程，綜合得分最高，同時(shí)擁有16.8萬次點(diǎn)贊和28萬次收藏。筆者學(xué)習(xí)該在線課程發(fā)現(xiàn)，該課程視頻、音頻的質(zhì)量較高，授課教師著裝正式，儀態(tài)大方，普通話標(biāo)準(zhǔn)，思路清晰，并且通過自編趣味“順口溜”的方式幫助學(xué)習(xí)者掌握知識點(diǎn)，因此，深受在線學(xué)習(xí)者的喜愛。課程9是語言類課程，該課程由于各維度都有較多消極評論，其綜合得分小于0.5。多數(shù)學(xué)習(xí)者評論該課程過于淺顯、視頻質(zhì)量差、虛假宣傳、內(nèi)容陳舊、包含廣告等，例如，“完全就是蹭熱度的視頻，一點(diǎn)干貨沒有，無語”“大家別浪費(fèi)時(shí)間了，內(nèi)容真的很無語”“看了以后感覺沒有講什么很有用的東西，這些方法早就知道了，別人都講了好多遍”。因此，其點(diǎn)贊數(shù)和收藏?cái)?shù)與同類課程相比較少，筆者學(xué)習(xí)該在線課程后確認(rèn)學(xué)習(xí)者的評論基本屬實(shí)。

綜上所述，本研究提出的在線課程質(zhì)量評價(jià)方法具備較高的可行性和可信度，評價(jià)效果較為理想，對自媒體平臺在線課程質(zhì)量有一定的評價(jià)效用。

六、結(jié)? ?語

針對自媒體平臺在線課程質(zhì)量評價(jià)問題，本研究首先根據(jù)既有研究和自媒體平臺特點(diǎn)構(gòu)建自媒體平臺在線課程質(zhì)量評價(jià)體系，該體系包括4個(gè)一級指標(biāo)和9個(gè)二級指標(biāo)；然后通過層次分析法確定各指標(biāo)的權(quán)重，專家們具有以結(jié)果為導(dǎo)向的評價(jià)傾向，同時(shí)肯定了異質(zhì)性在自媒體平臺在線課程質(zhì)量評價(jià)中的重要性，具體體現(xiàn)為學(xué)習(xí)效果和教學(xué)設(shè)計(jì)與實(shí)施兩個(gè)指標(biāo)的權(quán)重較高；接著，利用深度學(xué)習(xí)模型ERNIE對學(xué)習(xí)者評論數(shù)據(jù)進(jìn)行文本情感分析，學(xué)習(xí)者是學(xué)習(xí)的主體，其評論內(nèi)容包含著對課程的真實(shí)感受和情感傾向；最后，對各指標(biāo)權(quán)重和各指標(biāo)情感得分進(jìn)行加權(quán)計(jì)算，以便對在線課程質(zhì)量進(jìn)行整體評價(jià)。與傳統(tǒng)的在線課程質(zhì)量評價(jià)方法相比，本研究所提方法效率高，更具客觀性和實(shí)效性，可滿足大數(shù)據(jù)時(shí)代對海量在線課程的評價(jià)需求。但也存在一些局限性，用于文本情感分析的標(biāo)簽詞是人工從TF-IDF值較高的關(guān)鍵詞中篩選的，工作量繁巨且不可避免地受到篩選者主觀意識的影響。未來研究和實(shí)踐中，將嘗試通過聚類分析等方法選取標(biāo)簽詞，并比較探討兩種方法的準(zhǔn)確性。此外，本研究僅以Bilibili平臺部分在線課程為例，接下來將擴(kuò)大數(shù)據(jù)采集范圍，以增強(qiáng)評價(jià)方法的普適性。

[參考文獻(xiàn)]

[1] CURRAN V， SIMMONS K， MATTHEWS L， et al. YouTube as an educational resource in medical education： a scoping review[J]. Medical science educator， 2020， 30： 1775-1782.

[2] 黃楚新.我國自媒體發(fā)展現(xiàn)狀、問題及對策[J].人民論壇，2022（22）：104-107.

[3] 王璐，趙呈領(lǐng)，萬力勇.基于扎根理論的在線開放課程質(zhì)量評價(jià)指標(biāo)體系構(gòu)建研究——以國家精品資源共享課為例[J].中國遠(yuǎn)程教育，2017（11）：70-76.

[4] 肖婉，盧鋒，季一木.什么樣的在線課程受學(xué)習(xí)者歡迎？——基于15門在線課程評論的文本挖掘與組態(tài)分析[J].電化教育研究，2023，44（5）：60-66.

[5] 李欣苗，陳云.基于特征選擇和傾向分析聯(lián)合優(yōu)化的UGC情感自動識別方法[J].管理工程學(xué)報(bào)，2019，33（2）：61-71.

[6] QI C， LIU S. Evaluating on-line courses via reviews mining[J]. IEEE access， 2021， 9： 35439-35451.

[7] PENG X， XU Q. Investigating learners' behaviors and discourse content in mooc course reviews[J]. Computers & education， 2020， 143： 103673.

[8] ONAN A. Sentiment analysis on massive open online course evaluations： a text mining and deep learning approach[J]. Computer applications in engineering education， 2021，29（3）：572-589.

[9] 聶卉，首歡容.基于修正點(diǎn)互信息的特征級情感詞極性自動研判[J].圖書情報(bào)工作，2020，64（5）：114-123.

[10] GENG S， NIU B， FENG Y， et al. Understanding the focal points and sentiment of learners in mooc reviews： a machine learning and sc-liwc-based approach[J]. British journal of educational technology， 2020，51（5）：1785-1803.

[11] 姚凱，李思志，李艷紅，等.MOOC評價(jià)模型研究[J].復(fù)旦教育論壇，2017，15（3）：65-71.

[12] 童小素，賈小軍.MOOC質(zhì)量評價(jià)體系的構(gòu)建探究[J].中國遠(yuǎn)程教育，2017（5）：63-71，80.

[13] 劉穎，吉久明，李楠，等.學(xué)生視角下的MOOC課程教學(xué)質(zhì)量評價(jià)體系構(gòu)建研究——以學(xué)術(shù)信息素養(yǎng)類MOOC課程為例[J].圖書館雜志，2021，40（2）：95-103.

[14] 教育部教育信息化技術(shù)標(biāo)準(zhǔn)委員會.網(wǎng)絡(luò)課程評價(jià)規(guī)范[EB/OL].（2014-03-17）[2023-06-30]. http：//www.doc88.com/p-062198781 6389.html.

[15] DYOMIN V， MOZHAEVA G， BABANSKAYA O， et al. Mooc quality evaluation system： tomsk state university experience[EB/OL].（2017-05-20）[2023-03-25].https：//link.springer.com/chapter/10.1007/978-3-319-59044-8_23.

[16] SUNG Y T， CHANG K E， YU W C. Evaluating the reliability and impact of a quality assurance system for e-learning courseware[J]. Computers & education， 2011，57（2）：1615-1627.

[17] MILLIGAN C， LITTLEJOHN A. Supporting professional learning in a massive open online course[J]. International review of research in open and distributed learning， 2014，15（5）：197-213.

[18] JANSEN R S， VAN LEEUWEN A， JANSSEN J， et al. Supporting learners' self-regulated learning in massive open online courses[J]. Computers & education， 2020，146：103771.

[19] 徐振國，趙春雨，王悅，等.智慧學(xué)習(xí)環(huán)境下大學(xué)生深度學(xué)習(xí)的影響因素[J].現(xiàn)代教育技術(shù)，2023，33（1）：58-65.

[20] 沈彬，嚴(yán)馨，周麗華，等.基于ERNIE和雙重注意力機(jī)制的微博情感分析[J].云南大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，44（3）：480-489.

[21] 黃煒，沈欣蕓，李偉卿.視頻博客Vlog用戶的持續(xù)使用行為影響因素研究——以Bilibili為例[J].現(xiàn)代情報(bào)，2022，42（6）：69-79.

Research on Quality Evaluation of Online Courses for We Media Platforms

Based on Deep Learning

XU Zhenguo1，? WANG Jianing2，? WANG Yue1，? GUO Shunli1，? XIE Wanli1

（1.School of Communication， Qufu Normal University， Rizhao Shandong 276826;

2.Research Institute of Science Education， Beijing Normal University， Beijing 100875）

[Abstract] There are a large number of online courses on we media platforms， but the quality is uneven， which seriously affects the learning experience and learning efficiency of learners. Therefore， exploring objective， accurate and efficient quality evaluation methods of online courses for we media platform has become a practical problem to be solved. To address this problem， this study firstly constructs an online course quality evaluation system， and uses the analytic hierarchy process to determine the weight of each index. Secondly， deep learning and natural language processing technologies are used to conduct coarse-grained sentiment analysis and fine-grained sentiment analysis of online course review data in order to realize the quality evaluation of online courses on we media platforms. Finally， the review data of online courses on Bilibili platform is collected for application research， and the experiment has proved that the method has high feasibility， credibility and accuracy， and can realize the effective quality evaluation of online courses on we media platforms， so as to promote the healthy development of online courses and improve the learning experience of learners.

[Keywords] Online Courses;? We Media Platforms; Course Quality; Deep Learning; Course Evaluation

基金項(xiàng)目：2020年國家自然科學(xué)基金青年科學(xué)基金項(xiàng)目“學(xué)習(xí)畫面情感對學(xué)習(xí)者情感的影響機(jī)制及其自適應(yīng)調(diào)整方法研究”（項(xiàng)目編號：62007020）；2022年中國博士后科學(xué)基金資助項(xiàng)目“在線學(xué)習(xí)環(huán)境下學(xué)習(xí)畫面情感的自適應(yīng)調(diào)整方法研究”（項(xiàng)目編號：2022M711883）