任鑫偉, 江先亮

面向MOOC平臺(tái)的課程推薦研究綜述

任鑫偉, 江先亮*

（寧波大學(xué) 信息科學(xué)與工程學(xué)院, 浙江 寧波 315211）

隨著互聯(lián)網(wǎng)技術(shù)和在線(xiàn)教育的飛速發(fā)展, 目前我國(guó)已出現(xiàn)大量線(xiàn)上教育平臺(tái), 但這些在線(xiàn)教育平臺(tái)相互間信息不能共享, 導(dǎo)致課程信息冗余過(guò)載, 用戶(hù)選擇困難. 本文綜述了近年來(lái)課程推薦方面的研究進(jìn)展, 首先介紹了課程推薦中的相關(guān)概念并給出了系統(tǒng)框架; 然后圍繞課程建模、用戶(hù)建模、核心算法3個(gè)方面進(jìn)行探討, 重點(diǎn)綜述了5類(lèi)算法: 內(nèi)容推薦、協(xié)同過(guò)濾、混合推薦、深度學(xué)習(xí)推薦和多模態(tài)融合推薦, 并分析了數(shù)據(jù)集、實(shí)驗(yàn)方法和評(píng)價(jià)指標(biāo); 最后對(duì)個(gè)性化課程推薦技術(shù)進(jìn)行了總結(jié)和展望.

深度學(xué)習(xí); 推薦系統(tǒng); 課程推薦; 課程建模; 用戶(hù)建模

互聯(lián)網(wǎng)和云計(jì)算技術(shù)的發(fā)展, 推動(dòng)了傳統(tǒng)教育方式的變革, 學(xué)生能夠通過(guò)線(xiàn)上網(wǎng)絡(luò)平臺(tái)選擇感興趣的課程. MOOC平臺(tái)[1]不僅能夠提供有質(zhì)量的教學(xué)課程、完整的課程體系和配套習(xí)題作業(yè), 同時(shí)具有課程免費(fèi)、內(nèi)容豐富以及選擇靈活等優(yōu)點(diǎn). 但平臺(tái)的增加導(dǎo)致“信息過(guò)載”, 給學(xué)習(xí)者選擇合適課程帶來(lái)困難. 因此, 如何能夠在海量數(shù)據(jù)中快速找到用戶(hù)感興趣的課程, 從而促進(jìn)知識(shí)的精準(zhǔn)傳播顯得尤為重要.

本文系統(tǒng)介紹了面向MOOC平臺(tái)課程推薦的有關(guān)概念和系統(tǒng)框架, 并圍繞課程建模、用戶(hù)建模和推薦核心算法進(jìn)行綜述, 列出常用數(shù)據(jù)集、實(shí)驗(yàn)方法和評(píng)估指標(biāo), 對(duì)個(gè)性化課程推薦技術(shù)進(jìn)行了總結(jié)和展望.

1 有關(guān)概念與系統(tǒng)框架

隨著教育模式需求的變化和在線(xiàn)教育平臺(tái)的發(fā)展, 推薦系統(tǒng)在課程推薦領(lǐng)域也得到了充分應(yīng)用. 課程的穩(wěn)定性、流行性、目標(biāo)性使得課程推薦有別于電影、音樂(lè)、新聞推薦. 因此, 首先對(duì)有關(guān)課程推薦概念進(jìn)行界定.

課程特征: 課程推薦中的特征主要來(lái)自課程描述、人口統(tǒng)計(jì)學(xué)信息、評(píng)分矩陣. 其中課程描述主要包括課程介紹、視頻、圖片; 用戶(hù)人口統(tǒng)計(jì)學(xué)信息主要包括年齡、喜好、性別、專(zhuān)業(yè); 用戶(hù)評(píng)分矩陣主要包括用戶(hù)對(duì)課程的評(píng)分.

候選課程: 指近5年發(fā)布的且學(xué)習(xí)者沒(méi)有觀(guān)看的課程. 由于平臺(tái)上存有年限久遠(yuǎn)課程, 這部分課程不考慮在候選課程中.

推薦課程: 用戶(hù)使用PC端或APP端瀏覽推薦列表中的課程, 通過(guò)在候選推薦課程中提取前值或設(shè)置的評(píng)分閾值得到.

圖1 系統(tǒng)框架

隨著教育平臺(tái)中上傳的課程數(shù)和用戶(hù)數(shù)日益增多, 平臺(tái)出現(xiàn)的主要問(wèn)題有: (1)海量數(shù)據(jù)展示在用戶(hù)面前, 需要合適的推薦系統(tǒng)向用戶(hù)推薦感興趣的課程; (2)用戶(hù)在平臺(tái)使用初期, 由于沒(méi)有可利用的有效信息容易產(chǎn)生冷啟動(dòng)問(wèn)題[2]; (3)用戶(hù)在使用課程時(shí)并不是每門(mén)課程都會(huì)進(jìn)行評(píng)論, 容易產(chǎn)生稀疏的評(píng)分矩陣[3]. 因此, 課程推薦系統(tǒng)面臨諸多挑戰(zhàn). 本文綜述了個(gè)性化課程推薦系統(tǒng)框架(圖1), 主要包括課程建模、用戶(hù)建模以及推薦系統(tǒng)核心算法.

2 課程模塊及關(guān)鍵技術(shù)

2.1 課程建模

課程推薦需要獲取大量信息, 實(shí)際從平臺(tái)中獲取的信息是非結(jié)構(gòu)化文本. 因此, 需要將非結(jié)構(gòu)化文本轉(zhuǎn)化為結(jié)構(gòu)化文本.

2.1.1 模型表示

課程文本具有靜態(tài)和動(dòng)態(tài)特性. 靜態(tài)特性主要包括課程類(lèi)別、主題分布、課程標(biāo)簽等; 動(dòng)態(tài)特性主要包括課程評(píng)分、觀(guān)看量、持續(xù)性等[4]. 在基于內(nèi)容推薦中, 文獻(xiàn)[5]描述了一種自動(dòng)個(gè)性化的推薦方法, 旨在為主動(dòng)學(xué)習(xí)者提供在線(xiàn)自動(dòng)推薦而不需要學(xué)習(xí)者明確反饋, 主要通過(guò)加載離線(xiàn)模塊和在線(xiàn)模塊進(jìn)行課程表示. 文獻(xiàn)[6]通過(guò)挖掘?qū)W生在單個(gè)會(huì)話(huà)中的習(xí)慣行為, 將學(xué)習(xí)過(guò)程建模為活動(dòng)序列的分布, 并采用N-gram主題模式進(jìn)行表示. 文獻(xiàn)[7]使用多個(gè)屬性表示學(xué)習(xí)者偏好, 以減少數(shù)據(jù)稀疏性和冷啟動(dòng)問(wèn)題, 增加生態(tài)注釋列表的多樣性.

在基于協(xié)同過(guò)濾中, 文獻(xiàn)[8]提出網(wǎng)絡(luò)學(xué)習(xí)推薦系統(tǒng)框架, 通過(guò)同伴學(xué)習(xí)和社會(huì)學(xué)習(xí)鼓勵(lì)學(xué)習(xí)者相互合作, 利用優(yōu)秀學(xué)習(xí)者的學(xué)習(xí)材料進(jìn)行表示. 文獻(xiàn)[9]介紹了一種基于關(guān)聯(lián)規(guī)則挖掘的協(xié)作式教育數(shù)據(jù)挖掘工具, 讓具有相似課程的教師共享和發(fā)現(xiàn)預(yù)測(cè)課程.

在基于混合推薦方法中, 文獻(xiàn)[10]在學(xué)生的顯示反饋數(shù)據(jù)中利用最大似然預(yù)估學(xué)習(xí)者的能力, 并為課程材料確定適當(dāng)?shù)碾y度水平, 最后利用單參數(shù)特征函數(shù)對(duì)課程教材進(jìn)行建模表示. 文獻(xiàn)[11]通過(guò)2個(gè)模塊進(jìn)行課程表示, 第1個(gè)采用學(xué)習(xí)者偏好樹(shù)(LPT)模塊引入了課程偏好, 第2個(gè)采用最近鄰協(xié)同過(guò)濾(NNCF)模塊中遺傳算法的染色體來(lái)自學(xué)習(xí)者的隱含屬性權(quán)重, 并結(jié)合歷史評(píng)分對(duì)權(quán)重優(yōu)化. 文獻(xiàn)[12]利用顯式屬性推薦器和隱式屬性推薦器進(jìn)行課程表示. 文獻(xiàn)[13]將序列模式挖掘和多維屬性協(xié)同過(guò)濾相結(jié)合進(jìn)行表示. 針對(duì)數(shù)據(jù)稀疏和冷啟動(dòng)問(wèn)題, 有學(xué)者采用混合推薦方法提出了Entreec[14]、程序設(shè)計(jì)[15]、序列模式挖掘[16]等更好模型來(lái)表示課程. 綜上3種算法, 當(dāng)前傳統(tǒng)推薦算法在課程模型的表示中大多利用學(xué)習(xí)者的偏好和關(guān)聯(lián)規(guī)則挖掘數(shù)據(jù)信息, 忽略了課程本身的文本信息和課程的視頻信息. 在混合推薦中多采用協(xié)同過(guò)濾和基于內(nèi)容推薦的模型融合, 但沒(méi)有考慮課程的圖片特征和用戶(hù)的評(píng)論矩陣信息.

在基于深度學(xué)習(xí)的課程推薦方法中, 文獻(xiàn)[17]提出利用遞歸神經(jīng)網(wǎng)絡(luò)(RNN)從教育系統(tǒng)存儲(chǔ)的日志數(shù)據(jù)中預(yù)測(cè)學(xué)生期末成績(jī)的方法. 文獻(xiàn)[18]提出了一種新的全路徑學(xué)習(xí)推薦模型, 該模型通過(guò)學(xué)習(xí)者的特征相似度度量, 利用長(zhǎng)短時(shí)記憶模型(LSTM)預(yù)測(cè)學(xué)習(xí)者的學(xué)習(xí)路徑. 文獻(xiàn)[19]采用的模型則考慮用戶(hù)和課程信息之間的相互作用關(guān)系. 文獻(xiàn)[20]提出貝葉斯個(gè)性化排名網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)模型(BPRN), 通過(guò)該模型進(jìn)行課程表示.

當(dāng)前的深度學(xué)習(xí)應(yīng)用在課程推薦領(lǐng)域中, 注重對(duì)模型的改進(jìn)和提升, 但通常只考慮一種模態(tài)信息, 沒(méi)有從課程本身的文本、圖片和視頻信息中挖掘數(shù)據(jù)特征作為課程推薦建模表示(表1).

表1 課程推薦建模表示

2.1.2 課程分類(lèi)

用戶(hù)對(duì)課程感興趣程度多基于課程主題, 而課程主題又基于課程類(lèi)別, 合理地對(duì)課程進(jìn)行分類(lèi)能夠提高推薦效率. 文獻(xiàn)[22]在現(xiàn)有分類(lèi)基礎(chǔ)上, 提出了一套區(qū)分、描述和分類(lèi)學(xué)習(xí)活動(dòng)的維度, 根據(jù)Blooms分類(lèi)法進(jìn)行分類(lèi). 文獻(xiàn)[23]提出獲取用戶(hù)信息的多模態(tài)深度架構(gòu), 利用LSTM和多個(gè)深度神經(jīng)網(wǎng)絡(luò)相結(jié)合提取用戶(hù)豐富的潛在表示, 有助于文本的分類(lèi)任務(wù). 文獻(xiàn)[24]實(shí)現(xiàn)了用于評(píng)估和混淆分類(lèi)器的深層神經(jīng)網(wǎng)絡(luò), 通過(guò)分類(lèi)生成一組針對(duì)學(xué)生問(wèn)題的排序視頻. 因此, 課程的有效分類(lèi)有利于快速定位用戶(hù)興趣課程.

2.1.3 課程推薦列表

為了提高平臺(tái)對(duì)用戶(hù)課程推薦的精確性, 應(yīng)從平臺(tái)上篩選出候選推薦課程, 主要包括計(jì)算相似課程、熱門(mén)課程和長(zhǎng)尾課程.

對(duì)同一類(lèi)別課程(關(guān)聯(lián)度密切[2]、相似度高[25]), 通過(guò)選擇前的方法選擇個(gè)作為候選推薦課程, 而其他作為相關(guān)課程. 因?yàn)橥扑]模塊的顯示空間有限, 應(yīng)該在保證推薦質(zhì)量的前提下確保推薦的多樣性.

2.2 用戶(hù)建模

用戶(hù)在與平臺(tái)進(jìn)行交互的同時(shí)會(huì)產(chǎn)生顯性數(shù)據(jù)[2]和隱性數(shù)據(jù)[12].

2.2.1 反饋方式

用戶(hù)對(duì)課程的反饋方式分為顯性反饋和隱性反饋. (1)顯性反饋主要包括學(xué)習(xí)者行為和學(xué)習(xí)者評(píng)分矩陣. MOOC平臺(tái)在“一分鐘獲得個(gè)性化課程推薦模塊”中通過(guò)獲取學(xué)習(xí)者行為的顯性信息, 向用戶(hù)推薦感興趣的課程類(lèi)中的熱門(mén)課程. 網(wǎng)易云課程則通過(guò)初始化頁(yè)面獲取學(xué)習(xí)者的顯性反饋, 讓其選擇感興趣的主題. 人口統(tǒng)計(jì)學(xué)信息[26]往往也是提供推薦的重要依據(jù), 如用戶(hù)的年齡、年級(jí)、所屬學(xué)科類(lèi)別等. 利用用戶(hù)的評(píng)分矩陣能夠更好地挖掘用戶(hù)潛在偏好, 提升推薦的準(zhǔn)確性. 在實(shí)踐情況中導(dǎo)致評(píng)分矩陣的稀疏性很高, 對(duì)此提出了基于輔助信息、項(xiàng)目和用戶(hù)信息的神經(jīng)網(wǎng)絡(luò)模型(IUNEU)[19]、異構(gòu)信息網(wǎng)絡(luò)(HIN)[27]、基于Wide & Deep和Elmo模型的在線(xiàn)學(xué)習(xí)資源推薦[28]等方法, 有效緩解了數(shù)據(jù)的稀疏問(wèn)題. (2)隱性反饋在多數(shù)情況下, 平臺(tái)并不能完全獲取用戶(hù)喜好, 一方面用戶(hù)不愿意提供準(zhǔn)確喜好, 另一方面用戶(hù)也不愿花時(shí)間去維護(hù)個(gè)人喜好. 因此, 獲取平臺(tái)中用戶(hù)隱性反饋數(shù)據(jù)尤為重要. 當(dāng)前常用的隱性反饋屬性有: 課程排名序列[20]、社交網(wǎng)絡(luò)[29-30]等. 學(xué)者通常將學(xué)習(xí)者的隱性反饋轉(zhuǎn)化為對(duì)課程的評(píng)分矩陣. 如Bobadilla等[2]、Ghauth等[8]、Salehi等[12]都將課程評(píng)分作為推薦模型建立的重要指標(biāo).

當(dāng)前研究注重的是課程的單個(gè)隱性反饋數(shù)據(jù), 缺乏對(duì)多種隱性反饋數(shù)據(jù)的匯總, 因此可以考慮用戶(hù)觀(guān)看過(guò)的課程視頻時(shí)長(zhǎng)、暫定次數(shù)、播放次數(shù)等數(shù)據(jù)(表2), 作為用戶(hù)建模中顯性反饋和隱性反饋的具體表示.

表2 顯性反饋與隱性反饋的具體表示

2.2.2 用戶(hù)模型

從用戶(hù)角度出發(fā), 用戶(hù)的興趣分為長(zhǎng)期興趣和短期興趣. 長(zhǎng)期興趣能夠反映用戶(hù)的真實(shí)興趣, 短期興趣常與當(dāng)前熱門(mén)課程相關(guān). 通過(guò)得到用戶(hù)短期的課程興趣模型, 能夠快速反映用戶(hù)興趣的變化趨勢(shì). 常用的模型有N-gram模型[6]、深度置信網(wǎng)絡(luò)DBN模型[21]以及協(xié)同過(guò)濾模型[31]等.

2.3 核心算法

推薦系統(tǒng)排序模型在推薦系統(tǒng)中占據(jù)絕對(duì)的核心地位. 傳統(tǒng)推薦算法分為: 基于內(nèi)容、協(xié)同過(guò)濾和混合推薦[32]. 目前熱門(mén)的是結(jié)合深度學(xué)習(xí)和多模態(tài)技術(shù)實(shí)現(xiàn)的推薦系統(tǒng)(圖2).

圖2 推薦算法分類(lèi)

2.3.1 基于內(nèi)容推薦

基于內(nèi)容推薦可以分為相似度計(jì)算和分類(lèi)問(wèn)題. 對(duì)于學(xué)習(xí)者相關(guān)信息, 如年齡、性別、偏好等; 對(duì)于課程內(nèi)容相關(guān)信息, 如課程文本描述、點(diǎn)贊、收藏、點(diǎn)擊次數(shù)、購(gòu)買(mǎi)等. 文獻(xiàn)[33]設(shè)計(jì)的系統(tǒng)考慮了學(xué)習(xí)者的知識(shí)背景、個(gè)人期望、學(xué)習(xí)心情、學(xué)習(xí)動(dòng)機(jī)和學(xué)習(xí)風(fēng)格等特征.

相似度計(jì)算: 文獻(xiàn)[34]通過(guò)計(jì)算用戶(hù)興趣特征和候選課程向量之間的相似度進(jìn)行推薦. 文獻(xiàn)[35]提出了面向MOOC數(shù)據(jù)集的改進(jìn)皮爾遜相關(guān)系數(shù)方法. 分類(lèi)問(wèn)題: 常用機(jī)器學(xué)習(xí)方法, 如-means、邏輯回歸、徑向基等訓(xùn)練模型. 如Li等[20]利用了貝葉斯分類(lèi)器; Ange等[23]利用了混淆分類(lèi)器.

目前基于內(nèi)容的課程推薦方法的主要優(yōu)點(diǎn)有: (1)不考慮數(shù)據(jù)稀疏; (2)推薦內(nèi)容取決用戶(hù)喜好[36]. 主要缺點(diǎn)有: (1)要求特征內(nèi)容有良好的結(jié)構(gòu)性; (2)只考慮用戶(hù)本身的喜好, 忽視了其他用戶(hù)的情況.

2.3.2 協(xié)同過(guò)濾推薦

協(xié)同過(guò)濾分為基于用戶(hù)的協(xié)同過(guò)濾(UserCF)和基于物品的協(xié)同過(guò)濾(ItemCF)[37].

基于用戶(hù)的協(xié)同過(guò)濾是根據(jù)用戶(hù)相似度進(jìn)行推薦, 使其具備更強(qiáng)的社交特性, 用戶(hù)能夠得知與自己興趣相投用戶(hù)的課程, 即使這個(gè)興趣點(diǎn)以前不在自己的興趣范圍內(nèi). 文獻(xiàn)[38]提出基于用戶(hù)的協(xié)同過(guò)濾, 該系統(tǒng)首先通過(guò)收集用戶(hù)行為日志并進(jìn)行分析, 形成用戶(hù)興趣模型向量; 其次為系統(tǒng)中的每一個(gè)資源創(chuàng)建標(biāo)簽, 并在用戶(hù)使用過(guò)程中收集該資源的用戶(hù)得分; 最后根據(jù)用戶(hù)興趣模型和資源特性, 結(jié)合個(gè)性化推薦算法, 將滿(mǎn)足用戶(hù)需求的資源推薦給目標(biāo)用戶(hù).

為了進(jìn)一步提高基于UserCF的推薦性能, 有學(xué)者提出了DBN模型[21]、NNCF模型[11]、基于技能的用戶(hù)模型[39]. 這些模型能夠提高推薦新信息的能力, 時(shí)效性和可解釋性強(qiáng), 但是不能適用多用戶(hù)的場(chǎng)景.

基于物品的協(xié)同過(guò)濾, 首先計(jì)算課程之間的相似矩陣, 然后找到用戶(hù)的歷史正反饋課程的相似課程進(jìn)行進(jìn)一步排序和推薦. 文獻(xiàn)[31]提出了一種MOOC課程推薦的多層Bucketing的推薦模型(MLBR)方法, 該模型首先將學(xué)習(xí)者的向量轉(zhuǎn)化成相同維度, 并將其分散到包含相似學(xué)習(xí)者的桶中, 這些桶中有更多共同的課程.

總之, 協(xié)同過(guò)濾與基于內(nèi)容的推薦算法相比, 優(yōu)勢(shì)在于能夠充分考慮相似學(xué)習(xí)者或課程屬性, 不需要考慮課程本身的內(nèi)容屬性. 但仍存在一些問(wèn)題, 主要有: (1)數(shù)據(jù)稀疏, 從實(shí)際情況可知, 當(dāng)前用戶(hù)對(duì)課程評(píng)價(jià)很少, 導(dǎo)致了數(shù)據(jù)稀疏問(wèn)題; (2)冷啟動(dòng)問(wèn)題, 平臺(tái)初期沒(méi)有用戶(hù)使用數(shù)據(jù), 且新課程上傳后也會(huì)遇到此問(wèn)題, 因?yàn)闆](méi)有收集到任何一個(gè)用戶(hù)對(duì)其瀏覽、點(diǎn)擊或者收藏等行為, 也就無(wú)法對(duì)課程進(jìn)行推薦; (3)可擴(kuò)展性問(wèn)題, 傳統(tǒng)的協(xié)同過(guò)濾處理小數(shù)據(jù)集是有效的, 但當(dāng)數(shù)據(jù)集的量增加時(shí), 推薦系統(tǒng)的準(zhǔn)確性會(huì)下降.

2.3.3 混合推薦

由于前2種算法都存在相應(yīng)的缺點(diǎn), 因此當(dāng)前系統(tǒng)大多數(shù)采用混合推薦方法, 主要是結(jié)合不同算法和模型的優(yōu)點(diǎn). 如文獻(xiàn)[14]將混合推薦組合策略分為: 加權(quán)、切換、分區(qū)、分層、瀑布式、特征混合和特征增強(qiáng), 并介紹了基于知識(shí)和協(xié)同過(guò)濾的混合推薦系統(tǒng). 文獻(xiàn)[40]將混合推薦方式分為: 整體式、并行式和流水線(xiàn)式, 首先利用人工神經(jīng)網(wǎng)絡(luò)對(duì)學(xué)習(xí)者的類(lèi)型進(jìn)行分類(lèi), 用戶(hù)可以根據(jù)學(xué)習(xí)者的意見(jiàn)獲得課程推薦, 然后當(dāng)相關(guān)的興趣小組建立后, 利用數(shù)據(jù)挖掘技術(shù)引出最佳學(xué)習(xí)路徑. 文獻(xiàn)[41]則提出利用一個(gè)搜索引擎和混合推薦的數(shù)字教育資源模型.

目前, 混合推薦能夠在一定程度上提高推薦性能, 其主要缺陷在于模型的計(jì)算量增大, 推薦性能依賴(lài)歷史數(shù)據(jù)的質(zhì)量和多取決于混合之前的模型性能. 因此, 在計(jì)算模型之前可以考慮進(jìn)行算法思路的合并, 提前召回好的結(jié)果.

2.3.4 基于深度學(xué)習(xí)的推薦

隨著深度學(xué)習(xí)推薦技術(shù)變得流行, 將其應(yīng)用于學(xué)習(xí)資源推薦領(lǐng)域, 可以分為基于卷積神經(jīng)網(wǎng)絡(luò)的個(gè)性化學(xué)習(xí)推薦和基于遞歸神經(jīng)網(wǎng)絡(luò)的個(gè)性化學(xué)習(xí)推薦(圖3).

圖3 基于深度學(xué)習(xí)的課程推薦系統(tǒng)

(1)基于卷積神經(jīng)網(wǎng)絡(luò)的個(gè)性化學(xué)習(xí)推薦. 首先將學(xué)習(xí)者的學(xué)習(xí)行為和學(xué)習(xí)歷史表示為特征向量; 然后利用注意力機(jī)制根據(jù)估計(jì)值與用戶(hù)給神經(jīng)網(wǎng)絡(luò)的實(shí)際值之間的差異改進(jìn)相關(guān)性估計(jì); 最后通過(guò)訓(xùn)練模型向?qū)W習(xí)者推薦課程.

表3 課程推薦系統(tǒng)核心算法對(duì)比

(2)基于遞歸神經(jīng)網(wǎng)絡(luò)的個(gè)性化學(xué)習(xí)推薦. 文獻(xiàn)[18]利用LSTM模型來(lái)預(yù)測(cè)學(xué)習(xí)路徑和成績(jī). 由于RNN模型的特殊性, 適于處理時(shí)間序列數(shù)據(jù), 其中LSTM模型是RNN模型的重要擴(kuò)展之一, 并充分利用了聚類(lèi)技術(shù)和LSTM神經(jīng)網(wǎng)絡(luò), 能夠有效處理長(zhǎng)時(shí)間序列數(shù)據(jù)[42].

常用的課程推薦的深度學(xué)習(xí)模型有: LSTM模型[23]、IUNEU模型[19]. 文獻(xiàn)[43]將深度學(xué)習(xí)模型用于提取學(xué)生隱藏情感和對(duì)教育的看法; 文獻(xiàn)[44]設(shè)計(jì)了一個(gè)基于深度學(xué)習(xí)模型, 該框架能夠提取多模式的課程特征, 如利用課程名稱(chēng)、課程音頻、課程評(píng)論等不同類(lèi)型的課程, 對(duì)在線(xiàn)學(xué)習(xí)平臺(tái)進(jìn)行適當(dāng)?shù)耐扑].

目前, 傳統(tǒng)推薦方法的缺點(diǎn)在于: 基于內(nèi)容和協(xié)同過(guò)濾都采用淺層模型進(jìn)行預(yù)測(cè), 很難有效學(xué)習(xí)到深層次的用戶(hù)和課程之間的交互信息. 但是利用深度學(xué)習(xí)模型能夠挖掘數(shù)據(jù)中潛藏模型, 且學(xué)習(xí)模型結(jié)構(gòu)靈活.

2.3.5 基于深度學(xué)習(xí)的多模態(tài)融合推薦

隨著深度學(xué)習(xí)在圖像識(shí)別、情感分析等領(lǐng)域的大量應(yīng)用, 研究者為了使機(jī)器能夠獲取更全面的信息, 逐漸將多領(lǐng)域數(shù)據(jù)融合, 實(shí)現(xiàn)異質(zhì)信息之間的互補(bǔ). 如在跨模態(tài)嵌入中將圖像、視頻和文本3種信息進(jìn)行融合[45]. 文獻(xiàn)[46]提出眼動(dòng)跟蹤器和腦電測(cè)量的多模態(tài)反應(yīng)同步測(cè)量系統(tǒng), 通過(guò)眼睛跟蹤器可以從學(xué)習(xí)者關(guān)注的地方獲取信息, 腦信號(hào)可以提供估計(jì)學(xué)習(xí)中精神狀態(tài)的線(xiàn)索. 文獻(xiàn)[47]利用在線(xiàn)學(xué)習(xí)系統(tǒng)從心理、生理和行為3個(gè)維度收集多模態(tài)行為數(shù)據(jù), 從而更全面地評(píng)價(jià)整體情況.

多模態(tài)融合能為模型決策提供更多信息, 從而提高了決策總體結(jié)果的準(zhǔn)確率和精準(zhǔn)率, 其難點(diǎn)在于處理異質(zhì)信息、融合方法的選擇以及模態(tài)對(duì)齊方式的調(diào)整, 詳見(jiàn)表3.

3 常用數(shù)據(jù)集

3.1 HarvardX & MITx數(shù)據(jù)集

HarvardX & MITx數(shù)據(jù)集[47]由哈佛大學(xué)和麻省理工學(xué)院聯(lián)合研究團(tuán)隊(duì)收集. 數(shù)據(jù)集收集了自2012年至2014年課程參與者的人口統(tǒng)計(jì)和歷史軌跡信息, 主要包含290門(mén)課程, 24.5萬(wàn)張證書(shū), 450萬(wàn)參與者和2800萬(wàn)學(xué)時(shí). 文獻(xiàn)[48]利用該數(shù)據(jù)集將學(xué)習(xí)者的活動(dòng)日志分為主動(dòng)學(xué)習(xí)者和被動(dòng)學(xué)習(xí)者兩類(lèi), 將課程的預(yù)測(cè)準(zhǔn)確率提高至92%.

3.2 CourseTalk數(shù)據(jù)集

CourseTalk數(shù)據(jù)集[31](https://www.coursetalk.com/)是一個(gè)在線(xiàn)課程類(lèi)的點(diǎn)評(píng)網(wǎng)站, 用戶(hù)能對(duì)感興趣的課程進(jìn)行操作. 目前已收集了Udacity、Coursera和edx等平臺(tái)的課程數(shù)據(jù)集. 文獻(xiàn)[31]利用的數(shù)據(jù)主要包括: 4612名學(xué)習(xí)者、304門(mén)課程和10萬(wàn)名注冊(cè)學(xué)員.

3.3 Moocposts數(shù)據(jù)集

Moocposts數(shù)據(jù)集[22](https://datastage.Stanford. edu/StanfordMoocPosts/)包含來(lái)自斯坦福大學(xué)11門(mén)公共在線(xiàn)課程的29604份匿名學(xué)習(xí)者論壇帖子, 該數(shù)據(jù)集的目的是作為測(cè)試處理論壇帖子的計(jì)算算法基礎(chǔ).

3.4 Futurelearn數(shù)據(jù)集

Futurelearn數(shù)據(jù)集[26](www.futurelearn.com)是提供免費(fèi)學(xué)習(xí)的歐洲在線(xiàn)學(xué)習(xí)信息系統(tǒng), 類(lèi)似于美國(guó)Coursera平臺(tái), 現(xiàn)有超過(guò)800萬(wàn)名學(xué)習(xí)者. 通過(guò)Warwick大學(xué)提供的課程數(shù)據(jù)集涉及2013～2017年不同領(lǐng)域的課程.

3.5 其他數(shù)據(jù)集

由于課程推薦數(shù)據(jù)集并不是全部開(kāi)源, 因此在實(shí)驗(yàn)中學(xué)者都是根據(jù)自身的情況進(jìn)行爬取, 構(gòu)建自身所需數(shù)據(jù)集. 文獻(xiàn)[28]自主爬取了西南大學(xué)2016年12月至2018年6月數(shù)據(jù), 包括488名學(xué)生和25226個(gè)文本特征, 詳見(jiàn)表4.

表4 常用課程推薦的數(shù)據(jù)集

4 實(shí)驗(yàn)方法和評(píng)價(jià)指標(biāo)

常用實(shí)驗(yàn)方法主要有用戶(hù)調(diào)查以及離線(xiàn)和在線(xiàn)實(shí)驗(yàn). 文獻(xiàn)[5,32,48]采用離線(xiàn)和在線(xiàn)實(shí)驗(yàn)相結(jié)合完成; 文獻(xiàn)[21,49]采用全部在線(xiàn)實(shí)驗(yàn)完成; 文獻(xiàn)[50]采用用戶(hù)反饋和在線(xiàn)實(shí)驗(yàn)相結(jié)合完成.

常用的推薦指標(biāo)有: 準(zhǔn)確率、召回率、非模型評(píng)價(jià)打分(F-score)、均方根絕對(duì)誤差(RMSE)、歸一化折損累積增益(NDCG)[51]. 文獻(xiàn)[19]使用了命中率和NDCG; 文獻(xiàn)[26]使用了準(zhǔn)確率、召回率和F-score. 本文給出現(xiàn)階段使用最多的RMSE、覆蓋率、NDCG指標(biāo)的具體計(jì)算公式. 文獻(xiàn)[48]使用了曲線(xiàn)下面積(AUC)、精確率和召回率的調(diào)和平均值(F1)以及準(zhǔn)確率.

(1)均方根絕對(duì)誤差代表樣本離散程度, 其計(jì)算公式為:

(2)覆蓋率描述對(duì)課程長(zhǎng)尾的發(fā)掘能力, 常用的是信息熵, 其計(jì)算公式為:

(3)歸一化折損累積增益常用作排序結(jié)果評(píng)價(jià), 其計(jì)算公式為:

5 結(jié)語(yǔ)

由于MOOC平臺(tái)在我國(guó)起步較晚, 國(guó)內(nèi)研究者將推薦系統(tǒng)引用于在線(xiàn)教育課程推薦領(lǐng)域滯后國(guó)外. 因此, 本文通過(guò)對(duì)推薦系統(tǒng)在課程推薦領(lǐng)域中課程建模、用戶(hù)建模和推薦核心算法的綜述, 提出了關(guān)于課程推薦領(lǐng)域需要進(jìn)行的研究有: 改進(jìn)課程的建模方式、提高用戶(hù)的建模性能、與深度學(xué)習(xí)相結(jié)合以及與多模態(tài)信息結(jié)合. 目前課程推薦研究的不足主要集中在: (1)課程建模方式忽略了隱性反饋數(shù)據(jù); (2)用戶(hù)建模方式缺乏對(duì)用戶(hù)的細(xì)粒度刻畫(huà); (3)傳統(tǒng)推薦算法已不能滿(mǎn)足當(dāng)前大數(shù)據(jù)時(shí)代的課程推薦領(lǐng)域; (4)缺乏對(duì)課程多模態(tài)信息融合. 基于上述不足, 未來(lái)可以從以下4個(gè)方面展開(kāi)研究:

(1)改進(jìn)課程建模方式. 課程信息的靜態(tài)特性容易獲取, 但動(dòng)態(tài)特性更能代表學(xué)習(xí)者對(duì)課程的喜好程度. 推薦系統(tǒng)在對(duì)課程進(jìn)行推薦時(shí)容易出現(xiàn)推薦熱門(mén)課程, 忽視長(zhǎng)尾課程的現(xiàn)象, 但實(shí)際中學(xué)習(xí)者的需求正好是那些長(zhǎng)尾課程. 因此, 在線(xiàn)教育平臺(tái)提高發(fā)掘長(zhǎng)尾課程的能力面臨挑戰(zhàn).

(2)改進(jìn)用戶(hù)建模方式. 通常用戶(hù)的顯性信息容易獲取, 但用戶(hù)的隱性反饋數(shù)據(jù)更能構(gòu)建豐富的用戶(hù)畫(huà)像. 例如將在線(xiàn)課程視頻的時(shí)長(zhǎng)、次數(shù)、快進(jìn)和快退作為隱性反饋數(shù)據(jù). 因此, 有效發(fā)掘?qū)W習(xí)者的隱性反饋數(shù)據(jù), 將提高推薦系統(tǒng)的準(zhǔn)確率.

(3)與深度學(xué)習(xí)相結(jié)合. 傳統(tǒng)推薦算法已不能很好地適用當(dāng)前大數(shù)據(jù)背景平臺(tái). 因此, 將深度學(xué)習(xí)引入課程推薦系統(tǒng)領(lǐng)域, 優(yōu)化冷啟動(dòng)和數(shù)據(jù)稀疏問(wèn)題值得研究. 傳統(tǒng)的推薦模型通常簡(jiǎn)單、可解釋性強(qiáng), 但深度學(xué)習(xí)模型能挖掘深層次特征.

(4)與多模態(tài)信息結(jié)合. 將深度學(xué)習(xí)進(jìn)一步發(fā)展, 不斷推動(dòng)多模態(tài)機(jī)器學(xué)習(xí)的進(jìn)步[52]. 在MOOC平臺(tái)中能夠?qū)⒄n程的描述信息、圖片信息、視頻信息進(jìn)行融合, 發(fā)掘融合信息的深度特征, 并將多模態(tài)技術(shù)融入課程推薦系統(tǒng)領(lǐng)域.

[1] 朱柳青. 基于深度學(xué)習(xí)的課程推薦與學(xué)習(xí)預(yù)測(cè)模型研究[D]. 杭州: 浙江工商大學(xué), 2018.

[2] Bobadilla J, Ortega F, Hernando A, et al. A collaborative filtering approach to mitigate the new user cold start problem[J]. Knowledge-Based Systems, 2012, 26:225- 238.

[3] Patra B K, Launonen R, Ollikainen V, et al. A new similarity measure using Bhattacharyya coefficient for collaborative filtering in sparse data[J]. Knowledge- Based Systems, 2015, 82:163-177.

[4] 王紹卿, 李鑫鑫, 孫福振, 等. 個(gè)性化新聞推薦技術(shù)研究綜述[J]. 計(jì)算機(jī)科學(xué)與探索, 2020, 14(1):18-29.

[5] Khribi M K, Jemni M, Nasraoui O. Automatic recommendations for E-learning personalization based on web usage mining techniques and information retrieval [C]//2008 Eighth IEEE International Conference on Advanced Learning Technologies, 2008:241-245.

[6] Wen M, Rosé C P. Identifying latent study habits by mining learner behavior patterns in massive open online courses[C]//Proceedings of the 23rd ACM International Conference on Information and Knowledge Management, 2014:1983-1986.

[7] Sengottuvelan P, Gopalakrishnan T, Lokesh Kumar R, et al. A recommendation system for personal learning environments based on learner clicks[J]. International Journal of Applied Engineering Research, 2015, 10: 15316-15321.

[8] Ghauth K I, Abdullah N A. Learning materials recommendation using good learners’ ratings and content- based filtering[J]. Educational Technology Research Development, 2010, 58(6):711-727.

[9] Aher S B, Lobo L. Mining association rule in classified data for course recommender system in e-learning[J]. International Journal of Computer Applications, 2012, 39(7):1-7.

[10] Chen C M, Lee H M, Chen Y H. Personalized e-learning system using item response theory[J]. Computers & Education, 2005, 44(3):237-255.

[11] Salehi M, Kamalabadi I N, Ghoushchi M B G. An effective recommendation framework for personal learning environments using a learner preference tree and a GA[J]. IEEE Transactions on Learning Technologies, 2013, 6(4):350-363.

[12] Salehi M, Pourzaferani M, Razavi S A. Hybrid attribute- based recommender system for learning material using genetic algorithm and a multidimensional information model[J]. Egyptian Informatics Journal, 2013, 14(1):67- 78.

[13] Salehi M, Kamalabadi I N, Ghoushchi M B G. Personalized recommendation of learning material using sequential pattern mining and attribute based collaborative filtering[J]. Education and Information Technologies, 2014, 19(4):713-735.

[14] Burke R. Hybrid recommender systems: Survey and experiments[J]. User Modeling and User-Adapted Inter- action, 2002, 12(4):331-370.

[15] Kla?nja-Mili?evi? A, Vesin B, Ivanovi? M, et al. E- learning personalization based on hybrid recommendation strategy and learning style identification[J]. Computers & Education, 2011, 56(3):885-899.

[16] Chen W, Niu Z, Zhao X, et al. A hybrid recommendation algorithm adapted in e-learning environments[J]. World Wide Web, 2014, 17(2):271-284.

[17] Okubo F, Yamashita T, Shimada A, et al. A neural network approach for students’ performance prediction [C]//Proceedings of the Seventh International Learning Analytics & Knowledge Conference, 2017:598-599.

[18] Zhou Y W, Huang C Q, Hu Q T, et al. Personalized learning full-path recommendation model based on LSTM neural networks[J]. Information Sciences, 2018, 444:135-152.

[19] 厲小軍, 柳虹, 施寒瀟, 等. 基于深度學(xué)習(xí)的課程推薦模型[J]. 浙江大學(xué)學(xué)報(bào)(工學(xué)版), 2019, 53(11):2139- 2145; 2162.

[20] Li X, Li X, Tang J T, et al. Improving deep item-based collaborative filtering with Bayesian personalized ranking for MOOC course recommendation[C]//Knowledge Science, Engineering and Management, 2020:247-258.

[21] Zhang H, Yang H, Huang T, et al. DBNCF: Personalized courses recommendation system based on DBN in MOOC environment[C]//2017 International Symposium on Educational Technology (ISET), 2017:106-108.

[22] Harrathi M, Touzani N, Braham R. Toward a personalized recommender system for learning activities in the context of MOOCs[C]//Intelligent Interactive Multimedia Systems and Services, 2017:575-583.

[23] Ange T, Roger N, Aude D, et al. Semi-supervised multimodal deep learning model for polarity detection in arguments[C]//2018 International Joint Conference on Neural Networks (IJCNN), 2018:1-8.

[24] Trirat P, Noree S, Yi M Y. IntelliMOOC: Intelligent online learning framework for MOOC platforms[C]// Proceedings of the 13th International Conference on Educational Data Mining (EDM 2020), 2020:682-685.

[25] Obeidat R, Duwairi R, Al-Aiad A. A collaborative recommendation system for online courses recommendations [C]//2019 International Conference on Deep Learning and Machine Learning in Emerging Applications (Deep-ML), 2019:49-54.

[26] Aljohani T, Cristea A I. Predicting learners’ demographics characteristics: Deep learning ensemble architecture for learners’ characteristics prediction in MOOCs[C]// Proceedings of the 2019 4th International Conference on Information and Education Innovations, 2019:23-27.

[27] Gong J B, Wang S, Wang J L, et al. Attentional graph convolutional networks for knowledge concept re- commendation in MOOCs in a heterogeneous view[C]// Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, 2020:79-88.

[28] Liu J, Zhang H, Liu Z H. Research on online learning resource recommendation method based on wide & deep and elmo model[J]. Journal of Physics: Conference Series, 2020, 1437:012015.

[29] Dias A, Wives L K. Recommender system for learning objects based in the fusion of social signals, interests, and preferences of learner users in ubiquitous e-learning systems[J]. Personal and Ubiquitous Computing, 2019, 23(2):249-268.

[30] Labarthe H, Bouchet F, Bachelet R, et al. Does a peer recommender foster students’ engagement in MOOCs[J]. International Educational Data Mining Society, 2016, 13(1):418-423.

[31] Pang Y, Jin Y, Zhang Y, et al. Collaborative filtering recommendation for MOOC application[J]. Computer Applications in Engineering Education, 2017, 25(1):120- 128.

[32] 李楊. 機(jī)器學(xué)習(xí)排序模型在個(gè)性化推薦系統(tǒng)中的應(yīng)用研究[D]. 北京: 北京郵電大學(xué), 2018.

[33] Fu D, Liu Q T, Zhang S, et al. The undergraduate- oriented framework of MOOCs recommender system [C]//2015 International Symposium on Educational Technology (ISET), 2015:115-119.

[34] 閔建. 基于簽到數(shù)據(jù)的餐廳推薦技術(shù)研究[D]. 杭州: 杭州電子科技大學(xué), 2016.

[35] Qi L. A course recommender system of MOOC based on collaborative filtering algorithm with improved pearson correlation coefficient[D]. 武漢: 華中師范大學(xué), 2019.

[36] 孟俊. 融合深度學(xué)習(xí)的課程推薦方法研究[D]. 南昌: 江西師范大學(xué), 2019.

[37] 徐琳. 基于本體的旅游信息推薦[D]. 哈爾濱: 哈爾濱工程大學(xué), 2016.

[38] Zhao X, Liu B Y. Application of personalized re- commendation technology in MOOC system[C]//2020 International Conference on Intelligent Transportation, Big Data & Smart City (ICITBS), 2020:720-723.

[39] Piao G Y, Breslin J G. Analyzing MOOC entries of professionals on LinkedIn for user modeling and personalized MOOC recommendations[C]//Proceedings of the 2016 Conference on User Modeling Adaptation and Personalization, 2016:291-292.

[40] Jannach D, Zanker M, Felfernig A, et al. Recommender Systems[M]. Cambridge: Cambridge University Press, 2009.

[41] Slimani H, Hamal O, El faddouli N E, et al. The hybrid recommendation of digital educational resources in a distance learning environment: The case of MOOC[C]// Proceedings of the 13th International Conference on Intelligent Systems: Theories and Applications, 2020:1-9.

[42] 童俊滔. 基于神經(jīng)網(wǎng)絡(luò)的歌詞生成系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 成都: 成都理工大學(xué), 2018.

[43] Sultana J, Usha Rani M, Farquad M A H. Deep learning based recommender system using sentiment analysis to reform Indian education[C]//Advances in Computational and Bio-Engineering, 2020:143-150.

[44] Xu W, Zhou Y H. Course video recommendation with multimodal information in online learning platforms: A deep learning framework[J]. British Journal of Educational Technology, 2020, 51(5):1734-1747.

[45] Pan Y W, Mei T, Yao T, et al. Jointly modeling embedding and translation to bridge video and language [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016:4594-4602.

[46] Tamura K, Lu M, Konomi S, et al. Integrating multimodal learning analytics and inclusive learning support systems for people of all ages[C]//Cross-Cultural Design Culture and Society, 2019:469-481.

[47] Wang L Y, He Y F. Online Learning Engagement Assessment Based on Multimodal Behavioral Data[J]. Transactions on Edutainment, 2020, XVI:256-265.

[48] Jain H, Anika. Applying data mining techniques for generating MOOCs recommendations on the basis of learners online activity[C]//2018 IEEE 6th International Conference on MOOCs: Innovation and Technology in Education, 2018:6-13.

[49] Rabahallah K, Mahdaoui L, Azouaou F. MOOCs recommender system using ontology and memory-based collaborative filtering[C]//Proceedings of the 20th Inter- national Conference on Enterprise Information Systems, 2018:635-641.

[50] Zaiane O R. Building a recommender agent for e-learning systems[C]//International Conference on Computers in Education, 2002:55-59.

[51] 劉喬. 基于時(shí)間加權(quán)與評(píng)分預(yù)測(cè)的協(xié)同過(guò)濾推薦算法研究[D]. 貴陽(yáng): 貴州師范大學(xué), 2016.

[52] 劉建偉, 丁熙浩, 羅雄麟. 多模態(tài)深度學(xué)習(xí)綜述[J]. 計(jì)算機(jī)應(yīng)用研究, 2020, 37(6):1601-1614.

Course recommendation for MOOC platform: A review

REN Xinwei, JIANG Xianliang*

( Faculty of Electrical Engineering and Computer Science, Ningbo University, Ningbo 315211, China )

With the rapid development of internet technology and online learning, a number of online education platforms have emerged across China. However, these online education platforms cannot share information with each other, which leads to redundancy and overload of curriculum information and difficulties for users to choose. This article reviews the research progress of course recommendation in recent years. First, the related concepts in course recommendation are introduced and the system framework is given. Then the three aspects of course modelling is discussed, including user modelling, and the core algorithm of the recommendation system, etc. Five types of algorithm are presented: the first three categories are content recommendation, collaborative filtering and hybrid recommendation; while the rest two are deep learning recommendation and multi-modal fusion recommendation, and the data set. In the end, the experimental methods and evaluation indicators are summarized, and the personalized course recommendation technology has also been projected.

deep learning; recommendation system; course recommendation; course modeling; user modeling

TP391.3; G423

A

1001-5132（2022）01-0048-09

2021?02?02.

寧波大學(xué)學(xué)報(bào)（理工版）網(wǎng)址: http://journallg.nbu.edu.cn/

浙江省高等教育教學(xué)改革研究項(xiàng)目（JG20180070）; 寧波大學(xué)教學(xué)研究項(xiàng)目（JYXMXZD2021024, JYXMXZD202019）.

任鑫偉（1993－）, 男, 陜西寶雞人, 在讀碩士研究生, 主要研究方向: 推薦系統(tǒng). E-mail: akon_ren@163.com

江先亮（1986－）, 男, 安徽黃山人, 博士/講師, 主要研究方向: 智能網(wǎng)絡(luò)系統(tǒng)及智慧教育. E-mail: jiangxianliang@nbu.edu.cn

（責(zé)任編輯 史小麗）