袁利平 陳川南
(陜西師范大學(xué) 教育學(xué)院,陜西西安 710062)
縱觀人類歷史的發(fā)展,新技術(shù)的興起往往會(huì)帶來(lái)新的變革機(jī)遇。近年來(lái),人工智能(Artificial Intelligence)浪潮持續(xù)影響全球各個(gè)方面,對(duì)教育領(lǐng)域的影響也日益顯現(xiàn)。人工智能的教育應(yīng)用(The Application of Artificial Intelligence to Education, 以下簡(jiǎn)稱AAIE)逐漸成為學(xué)術(shù)研究的熱點(diǎn)之一。AAIE是將人工智能和學(xué)習(xí)科學(xué)(包括教育學(xué)、心理學(xué)、社會(huì)學(xué)等)相結(jié)合的跨領(lǐng)域研究,其核心的科學(xué)目標(biāo)是將教育、心理和社會(huì)學(xué)等隱性知識(shí),轉(zhuǎn)變?yōu)橛?jì)算機(jī)可識(shí)別和處理的形式,以推動(dòng)智慧教育等的發(fā)展。[1]
2017年7月,國(guó)務(wù)院印發(fā)了《新一代人工智能發(fā)展規(guī)劃》(以下簡(jiǎn)稱《規(guī)劃》)?!兑?guī)劃》指出,要利用人工智能助力教育發(fā)展,推動(dòng)教學(xué)改革,構(gòu)建新型教育體系,這標(biāo)志著人工智能技術(shù)助力教育已上升到國(guó)家戰(zhàn)略層面。[2]以人工智能技術(shù)驅(qū)動(dòng)教育信息化的發(fā)展,以智能教育促進(jìn)教育的現(xiàn)代化,已成為當(dāng)前推動(dòng)教育教學(xué)發(fā)展的重要途徑。教育領(lǐng)域研究者應(yīng)密切關(guān)注人工智能關(guān)鍵技術(shù)的發(fā)展,并以此為基礎(chǔ),切實(shí)推進(jìn)人工智能在教育領(lǐng)域的研究與發(fā)展。[3]
2017年以來(lái),寬度學(xué)習(xí)(Broad Learning System,BLS)在各項(xiàng)測(cè)試中被證明是一種有效的學(xué)習(xí)系統(tǒng)。它的出現(xiàn)直接影響了教育人工智能的發(fā)展。目前,國(guó)內(nèi)還鮮有相關(guān)的研究文獻(xiàn)。為此,本文試圖通過(guò)對(duì)寬度學(xué)習(xí)的內(nèi)涵發(fā)展、優(yōu)勢(shì)特性以及應(yīng)用前景作初步探析,為研究者和教育者進(jìn)一步開(kāi)展人工智能在教育領(lǐng)域中的合理應(yīng)用,提供一定的理論依據(jù)和參考。
AAIE的相關(guān)系統(tǒng),主要以教育數(shù)據(jù)挖掘(Educational Data Mining,EDM)、深度學(xué)習(xí)等技術(shù)為基礎(chǔ),利用學(xué)習(xí)分析(Learning Analytics)等相關(guān)技術(shù)來(lái)跟蹤學(xué)生行為數(shù)據(jù),預(yù)測(cè)其學(xué)習(xí)表現(xiàn)以充分支持個(gè)性化學(xué)習(xí)。影響其效率的關(guān)鍵技術(shù),正是當(dāng)下熱門(mén)的機(jī)器學(xué)習(xí)(Machine Learning,ML)。
《機(jī)器學(xué)習(xí)》一書(shū)的作者湯姆·米歇爾(Tom-Mitchell)認(rèn)為,機(jī)器學(xué)習(xí)的本質(zhì)乃是通過(guò)經(jīng)驗(yàn),不斷地提升自身的系統(tǒng)性能。[4]也就是說(shuō),機(jī)器學(xué)習(xí)可以從數(shù)據(jù)中進(jìn)行學(xué)習(xí),并通過(guò)利用數(shù)據(jù)而不斷完善自身系統(tǒng),優(yōu)化程序性能。根據(jù)所需要處理的數(shù)據(jù)是否存在作為標(biāo)注,機(jī)器學(xué)習(xí)可以分為有監(jiān)督學(xué)習(xí)(Su pervised Learning)和無(wú)監(jiān)督學(xué)習(xí)(Unsupervised Learning)。圖1就是一個(gè)典型的機(jī)器學(xué)習(xí)任務(wù)簡(jiǎn)化工作流程圖,它同時(shí)展示了兩類機(jī)器學(xué)習(xí)的處理過(guò)程。[5]
圖1 典型機(jī)器學(xué)習(xí)工作流程
總體而言,機(jī)器學(xué)習(xí)就是通過(guò)各種類型的機(jī)器學(xué)習(xí)算法,使得機(jī)器能從大量輸入的數(shù)據(jù)樣本中自動(dòng)學(xué)習(xí)數(shù)據(jù)的隱性結(jié)構(gòu)和存在規(guī)律,從而能對(duì)新輸入的數(shù)據(jù)進(jìn)行智能識(shí)別,對(duì)未來(lái)做出預(yù)測(cè)。
根據(jù)現(xiàn)有的研究文獻(xiàn),機(jī)器學(xué)習(xí)伴隨著人工智能的研究不斷發(fā)展,大致經(jīng)過(guò)了三個(gè)階段,分別是淺層學(xué)習(xí)(Shallow Learning)、深度學(xué)習(xí)(Deep Learning)和寬度學(xué)習(xí)(Broad Learning)。
早在20世紀(jì)80年代,人工神經(jīng)網(wǎng)絡(luò)BP反向傳播算法的發(fā)明(Back Propagation,BP),使得人工神經(jīng)網(wǎng)絡(luò)模型可以從大量訓(xùn)練樣本中學(xué)習(xí)規(guī)律,并對(duì)未知事件做預(yù)測(cè)成為可能。與過(guò)去基于人工規(guī)則的系統(tǒng)相比,這種機(jī)器學(xué)習(xí)方法顯示出諸多優(yōu)越性,因此,在機(jī)器學(xué)習(xí)領(lǐng)域里影響深遠(yuǎn)。但由于對(duì)多隱層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練尤其困難,該階段的學(xué)習(xí)網(wǎng)絡(luò)通常只有一層隱含層,被稱為淺層學(xué)習(xí)網(wǎng)絡(luò),應(yīng)用范圍十分有限。而深度學(xué)習(xí)的出現(xiàn),彌補(bǔ)了以前算法的弱點(diǎn),對(duì)于機(jī)器學(xué)習(xí)領(lǐng)域具有顛覆性的意義。
這里講的深度學(xué)習(xí)①教育研究領(lǐng)域也有深度學(xué)習(xí)的概念,但兩者內(nèi)涵并不相同。因此,本文的深度學(xué)習(xí)不包含教育研究領(lǐng)域之概念。是相對(duì)于前面的淺層學(xué)習(xí)而言的,實(shí)際上源于神經(jīng)網(wǎng)絡(luò),它含有多層隱含層,是人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)算法的衍生。其原理是通過(guò)建立分層模型結(jié)構(gòu),從底層數(shù)據(jù)提取特征并逐層將數(shù)據(jù)傳遞給高層,以便對(duì)輸入數(shù)據(jù)進(jìn)行分級(jí)表達(dá)。它通過(guò)模擬人腦的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)來(lái)處理類似語(yǔ)音、圖像和文本等數(shù)據(jù),進(jìn)行特征提取并解釋輸入數(shù)據(jù)。
深度學(xué)習(xí)主要包含輸入層、隱藏層和輸出層三個(gè)部分。輸入層各神經(jīng)元面向輸入信號(hào),輸入信號(hào)到隱藏層各神經(jīng)元之間都有連接,隱藏層中每個(gè)神經(jīng)元向上又與輸出層各神經(jīng)元相連。一個(gè)人工神經(jīng)網(wǎng)絡(luò)中的輸入以及各層神經(jīng)元的個(gè)數(shù)不固定,隱藏層也可以有多層,這些都根據(jù)所需要解決問(wèn)題的復(fù)雜性而定。[6]
與傳統(tǒng)學(xué)習(xí)結(jié)構(gòu)相比,深度學(xué)習(xí)更加強(qiáng)調(diào)模型結(jié)構(gòu)的深度,通常含有較多隱含層。同時(shí),特征學(xué)習(xí)在深度學(xué)習(xí)中尤其重要。深度學(xué)習(xí)通過(guò)特征的逐層變換,高效地提取數(shù)據(jù)中的本質(zhì)特征,從而完成最后的預(yù)測(cè)和識(shí)別,它是一種高效率的特征提取方法,它對(duì)于語(yǔ)音識(shí)別、圖像識(shí)別、自然語(yǔ)言處理等領(lǐng)域均有重要的影響。因此,運(yùn)用深度學(xué)習(xí)對(duì)數(shù)據(jù)進(jìn)行挖掘,是機(jī)器學(xué)習(xí)算法適應(yīng)大數(shù)據(jù)挖掘的重要產(chǎn)物。
但是,即便深度學(xué)習(xí)網(wǎng)絡(luò)功能作用十分強(qiáng)大,深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)與人腦相比,對(duì)于問(wèn)題的處理仍有巨大差距。這一方面是由于現(xiàn)有網(wǎng)絡(luò)均結(jié)構(gòu)復(fù)雜且涉及大量的超參數(shù),大多數(shù)網(wǎng)絡(luò)都被極度耗時(shí)的訓(xùn)練過(guò)程所困擾;另一方面,為了獲得更高的精準(zhǔn)度,深度模型需要持續(xù)增加自身網(wǎng)絡(luò)層數(shù)或調(diào)整參數(shù)個(gè)數(shù)。為此,人們開(kāi)始研究一些以提高訓(xùn)練速度為目的的深度網(wǎng)絡(luò)以及相應(yīng)的結(jié)合方法等。
2017年,澳門(mén)大學(xué)陳俊龍教授在機(jī)器學(xué)習(xí)領(lǐng)域提出了寬度學(xué)習(xí)的概念,成功地為深度學(xué)習(xí)網(wǎng)絡(luò)提供了一種替代方法,這是繼深度學(xué)習(xí)以后,機(jī)器學(xué)習(xí)技術(shù)發(fā)展的一個(gè)新階段。
所謂寬度學(xué)習(xí),它是以隨機(jī)向量函數(shù)鏈接神經(jīng)網(wǎng)絡(luò)(Random Vector Functional Link Neural Network,RVFLNN)為載體,并通過(guò)神經(jīng)節(jié)點(diǎn)的增量,來(lái)實(shí)現(xiàn)所設(shè)計(jì)網(wǎng)絡(luò)橫向擴(kuò)展的一種隨機(jī)向量單層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)。[7]與原始隨機(jī)向量函數(shù)鏈接神經(jīng)網(wǎng)絡(luò)不同,該網(wǎng)絡(luò)用一組一般映射特征,取代RVFL網(wǎng)絡(luò)中輸入和輸出之間的直接連接;同時(shí),通過(guò)偽逆可快速地更新輸出層的權(quán)重。因此,上述結(jié)構(gòu)非常適合現(xiàn)代大數(shù)據(jù)時(shí)代的應(yīng)用。[8]
隨之的一些實(shí)驗(yàn)結(jié)果也證明,寬度學(xué)習(xí)系統(tǒng)便于擴(kuò)展到其他神經(jīng)網(wǎng)絡(luò),是機(jī)器學(xué)習(xí)領(lǐng)域一個(gè)相當(dāng)靈活高效的模型。與現(xiàn)有機(jī)器學(xué)習(xí)中的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)相比,我們認(rèn)為,它具有兩個(gè)基本的核心要素:第一,寬度學(xué)習(xí)系統(tǒng)是基于RVFL神經(jīng)網(wǎng)絡(luò)而設(shè)計(jì)的一種網(wǎng)絡(luò)學(xué)習(xí)模式;[9]第二,該系統(tǒng)充分利用了陳俊龍?jiān)?999年提出的一種快速增量學(xué)習(xí)算法,解決了數(shù)據(jù)量和數(shù)據(jù)維度的增長(zhǎng)所帶來(lái)的問(wèn)題。[10]
可見(jiàn),寬度學(xué)習(xí)的優(yōu)勢(shì)在于結(jié)構(gòu)簡(jiǎn)單、速度快,具有高效的學(xué)習(xí)性能。為了適應(yīng)大數(shù)據(jù)的需求,陳俊龍?jiān)谄潆S后發(fā)表的論文中構(gòu)建了一種基于K-means聚類算法特征,提取的改良型寬度學(xué)習(xí)系統(tǒng)。[11]該系統(tǒng)將K-means聚類算法作為無(wú)監(jiān)督特征提取的工具,所提出的改良模型汲取了雙方的優(yōu)點(diǎn),包括K-means聚類可以為無(wú)監(jiān)督特征表示,提供一種強(qiáng)大有效的方法。而寬度學(xué)習(xí)又是分析目標(biāo)大數(shù)據(jù)集的一個(gè)較成功的網(wǎng)絡(luò),它在各種應(yīng)用中具有靈活性和較好的潛在價(jià)值。
多年來(lái),網(wǎng)絡(luò)學(xué)習(xí)資源的增加、互聯(lián)網(wǎng)教育的興起以及學(xué)生信息數(shù)據(jù)庫(kù)的建立等,為促進(jìn)教育發(fā)展提供了大量、巨型的資料庫(kù)數(shù)據(jù),這在促進(jìn)教育信息化發(fā)展的同時(shí),也導(dǎo)致了現(xiàn)今教育界面臨的最大挑戰(zhàn),即教育數(shù)據(jù)呈指數(shù)型增長(zhǎng)和如何對(duì)這些數(shù)據(jù)進(jìn)行高效的分析與利用問(wèn)題。早在2012年,美國(guó)教育部發(fā)布的《通過(guò)教育數(shù)據(jù)挖掘和學(xué)習(xí)分析促進(jìn)教與學(xué)》報(bào)告中指出:大數(shù)據(jù)時(shí)代應(yīng)推進(jìn)對(duì)教育大數(shù)據(jù)的有效利用,而在教育中應(yīng)用大數(shù)據(jù)的兩個(gè)領(lǐng)域分別是教育數(shù)據(jù)挖掘(Educational Data Mining,EDM)和學(xué)習(xí)分析(Learning Analytics,LA)。[12]
近年來(lái),隨著對(duì)大數(shù)據(jù)研究的不斷深入,與教育數(shù)據(jù)挖掘相關(guān)的領(lǐng)域也在不斷拓展。我們可以從與教育數(shù)據(jù)挖掘相關(guān)學(xué)科領(lǐng)域的宏觀結(jié)構(gòu)圖(見(jiàn)圖2)看到,目前,教育數(shù)據(jù)挖掘的理論和方法支持,主要包括數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和數(shù)學(xué)統(tǒng)計(jì)。[13]
圖2 與教育數(shù)據(jù)挖掘相關(guān)的領(lǐng)域
我們認(rèn)為,教育數(shù)據(jù)挖掘旨在開(kāi)發(fā)一些處理教育環(huán)境中出現(xiàn)的高維度數(shù)據(jù)方法和技術(shù),以更好地理解或解決在這些環(huán)境中出現(xiàn)的教育問(wèn)題。而學(xué)習(xí)分析依賴于教育情境中產(chǎn)生的大數(shù)據(jù),與教育數(shù)據(jù)挖掘不同的是,它主要側(cè)重于從數(shù)據(jù)中提取知識(shí)以直接促進(jìn)學(xué)習(xí)過(guò)程。盡管兩者存在差異性,但據(jù)有關(guān)教育數(shù)據(jù)挖掘和學(xué)習(xí)分析中使用的主要分析技術(shù)的調(diào)查表明:教育數(shù)據(jù)挖掘和學(xué)習(xí)分析這兩大教育數(shù)據(jù)所應(yīng)用的領(lǐng)域,均以機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)為基礎(chǔ),以研究促進(jìn)教學(xué)和學(xué)習(xí)過(guò)程的發(fā)展。[14]
2010年,羅梅羅(Romero)和文圖拉(Ventura)指出,人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)是教育數(shù)據(jù)挖掘研究中最常用的技術(shù)。[15]傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)技術(shù)在教育數(shù)據(jù)挖掘和學(xué)習(xí)分析領(lǐng)域中,主要被應(yīng)用于聚類、分類、回歸、時(shí)間序列預(yù)測(cè)和可視化等任務(wù)。盡管人工神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)挖掘中的應(yīng)用非常廣泛,但部分?jǐn)?shù)據(jù)挖掘社區(qū)對(duì)根據(jù)這種模式開(kāi)發(fā)的模型,是否存在可解釋性,而懷有疑義。
隨著算法、網(wǎng)絡(luò)結(jié)構(gòu)和計(jì)算機(jī)硬件方面的快速發(fā)展,使得對(duì)數(shù)百萬(wàn)示例數(shù)據(jù)集上包含數(shù)十隱含層、數(shù)百萬(wàn)個(gè)連接點(diǎn)的網(wǎng)絡(luò)訓(xùn)練成為可能。由此,產(chǎn)生了一種新型的ANN模式,也就是深度學(xué)習(xí)。近年來(lái),深度學(xué)習(xí)已經(jīng)成功地解決了人工智能發(fā)展中長(zhǎng)期存在的一系列問(wèn)題,如:語(yǔ)音識(shí)別、文本翻譯、文本序列生成、圖像分類以及圖像文本生成,其效果完全優(yōu)于傳統(tǒng)非深度的ANN人工神經(jīng)網(wǎng)絡(luò)。
2017年,比薩奇·科埃略(Bisacchi Coelho)的論文Deep Learning Applied to Learning Analytics and Educational Data Mining:A Systematic Literature Review,系統(tǒng)地用文獻(xiàn)綜述的方式,回顧了深度學(xué)習(xí)技術(shù)在教育數(shù)據(jù)挖掘和學(xué)習(xí)分析領(lǐng)域的典型應(yīng)用,呈現(xiàn)了深度學(xué)習(xí)應(yīng)用教育數(shù)據(jù)挖掘和學(xué)習(xí)分析的六個(gè)典型應(yīng)用案例并提出:與傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)相比較,深度神經(jīng)網(wǎng)絡(luò)具有更加強(qiáng)大的功能,更加適用于教育數(shù)據(jù)的挖掘和學(xué)習(xí)分析。[16]
圖3 數(shù)據(jù)挖掘技術(shù)的分類
大量機(jī)器學(xué)習(xí)中的數(shù)據(jù)挖掘技術(shù),已經(jīng)被成功應(yīng)用于教育領(lǐng)域。這些數(shù)據(jù)挖掘技術(shù),可以分為描述性和預(yù)測(cè)性兩大類(如圖3所示)。[17]描述性的數(shù)據(jù)挖掘任務(wù)是對(duì)目標(biāo)數(shù)據(jù)集中數(shù)據(jù)的屬性進(jìn)行特征描述,主要包括聚類(Clustering)、關(guān)聯(lián)(Association)和概括(Summarization);預(yù)測(cè)性的挖掘任務(wù)是對(duì)當(dāng)前數(shù)據(jù)進(jìn)行歸納以進(jìn)行預(yù)測(cè),主要有分類(Classification)、回歸(Regression)和時(shí)序預(yù)測(cè)(Time-Series Prediction)。而寬度學(xué)習(xí)基于其內(nèi)部算法和系統(tǒng)結(jié)構(gòu),它在教育應(yīng)用中主要可以通過(guò)分類、回歸、聚類和時(shí)序預(yù)測(cè))等挖掘技術(shù)手段,作用于教育大數(shù)據(jù)。
在眾多數(shù)據(jù)挖掘技術(shù)之間,預(yù)測(cè)和聚類相對(duì)應(yīng)用普遍。預(yù)測(cè)的目的是從數(shù)據(jù)的其他方面(預(yù)測(cè)變量)的某些組合,來(lái)推斷數(shù)據(jù)的目標(biāo)屬性或單個(gè)方面(被預(yù)測(cè)變量)。預(yù)測(cè)方法的主要類型是分類(當(dāng)預(yù)測(cè)變量是分類值)和回歸(當(dāng)預(yù)測(cè)變量是連續(xù)值)。在EDM中,預(yù)測(cè)已被用于預(yù)測(cè)學(xué)生表現(xiàn)和檢測(cè)學(xué)生行為。[18]寬度學(xué)習(xí)的優(yōu)勢(shì)體現(xiàn)在:
1.分類更準(zhǔn)確
分類(Classification)是機(jī)器學(xué)習(xí)的主要任務(wù)之一,主要用于解決實(shí)例數(shù)據(jù)的分類問(wèn)題,實(shí)現(xiàn)對(duì)目標(biāo)的預(yù)測(cè)。分類是根據(jù)數(shù)據(jù)不同的本質(zhì)量化特征和先前標(biāo)記過(guò)的數(shù)據(jù)訓(xùn)練集信息,將新的數(shù)據(jù)分置成組的過(guò)程。[19]陳俊龍?zhí)岢龅膶挾葘W(xué)習(xí)系統(tǒng)展示了高效的學(xué)習(xí)性能。近年來(lái),快速增量學(xué)習(xí)算法在廣泛的擴(kuò)展中得到發(fā)展,不需要對(duì)整個(gè)模型再培訓(xùn)。與深層結(jié)構(gòu)的系統(tǒng)相比,這種新型系統(tǒng)在分類上非常有競(jìng)爭(zhēng)力。[20]他將寬度學(xué)習(xí)算法和增量學(xué)習(xí)算法應(yīng)用于常用的神經(jīng)網(wǎng)絡(luò)——徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(RBF)和分層極限學(xué)習(xí)機(jī)(H-ELM)。
實(shí)際上,與ELM的原始版本不同,H-ELM的結(jié)構(gòu)可以看作是無(wú)監(jiān)督多層特征表示和監(jiān)督特征分類的組合,以獲得所需網(wǎng)絡(luò)的最終結(jié)果。MINST數(shù)據(jù)集實(shí)驗(yàn)結(jié)果證明,寬度學(xué)習(xí)系統(tǒng)易于擴(kuò)展到其他神經(jīng)網(wǎng)絡(luò),可以實(shí)現(xiàn)對(duì)數(shù)據(jù)更高的分類精確度。此外,寬度學(xué)習(xí)系統(tǒng)在NORB數(shù)據(jù)庫(kù)上的分類結(jié)果表現(xiàn)和SDA等其他模型相比較,顯示寬度學(xué)習(xí)訓(xùn)練時(shí)間只需要21.2546秒,同時(shí),能保證高達(dá)89.27%的精確度。可見(jiàn),與其他深度學(xué)習(xí)算法的結(jié)果相比,寬度學(xué)習(xí)算法是既快又準(zhǔn)。
2.回歸更精確
回歸(Regression)是預(yù)測(cè)性數(shù)據(jù)挖掘模型之一,目的是分析數(shù)據(jù)屬性值(Attribute Values)內(nèi)的依賴關(guān)系,這是回歸和分類的主要區(qū)別。回歸主要應(yīng)用于數(shù)值型隨機(jī)連續(xù)變量,通過(guò)建立方程來(lái)發(fā)現(xiàn)兩個(gè)或多個(gè)變量間的關(guān)系,是另一種預(yù)測(cè)方法。在教育中一般應(yīng)用于測(cè)試成績(jī)等連續(xù)變化。
陳俊龍團(tuán)隊(duì)在對(duì)數(shù)據(jù)維度為1萬(wàn)-3萬(wàn)的20萬(wàn)數(shù)據(jù)測(cè)試中發(fā)現(xiàn),在3-50分鐘之內(nèi),寬度學(xué)習(xí)都能夠很快地找到神經(jīng)網(wǎng)絡(luò)的權(quán)重。在UCI數(shù)據(jù)上回歸精度比較分析發(fā)現(xiàn),寬度學(xué)習(xí)系統(tǒng)和模糊寬度學(xué)習(xí)系統(tǒng)都表現(xiàn)出較高的精度,具體比較結(jié)果參見(jiàn)表1。[21]
表1 SVM,LSSVM,ELM,BLS和模糊BLS在UCI
3.聚類更有效
聚類(Clustering)是最重要的描述性數(shù)據(jù)挖掘模型之一,通常用于發(fā)現(xiàn)數(shù)據(jù)集中事先未知的常見(jiàn)分類。聚類的目標(biāo)是識(shí)別在某些方面具有相似特征的對(duì)象并將他們分組,通常使用某種距離度量來(lái)確定相似對(duì)象的類型。一旦確定了一組集群,就可以通過(guò)確定最近的集群來(lái)對(duì)新目標(biāo)對(duì)象進(jìn)行分類。通過(guò)找到高質(zhì)量的聚類,以便聚類內(nèi)相似性高,并且聚類間相似度較低。聚類對(duì)探索數(shù)據(jù),異常檢測(cè),尋找自然分組等非常有用。在教育數(shù)據(jù)挖掘應(yīng)用中,聚類可用于對(duì)相似課程材料進(jìn)行分組或根據(jù)學(xué)習(xí)和交互模式將學(xué)生分組。[22]
陳俊龍?jiān)谄渌l(fā)表的一篇文章中,對(duì)所提出涉及無(wú)監(jiān)督的特征提取的模型進(jìn)行測(cè)試后,將CIFAR-10數(shù)據(jù)及測(cè)試結(jié)果與原始BLS系統(tǒng)相比較。對(duì)于CIFAR-10數(shù)據(jù)集,通過(guò)K-means聚類算法對(duì)所提取的特征進(jìn)行可視化,如圖4所示。
圖4 基于K-means算法的CIFAR-10圖像質(zhì)心訓(xùn)練
實(shí)驗(yàn)結(jié)果(見(jiàn)表2)也證明了基于K-means聚類算法的寬度學(xué)習(xí)系統(tǒng),在CIFAR-10測(cè)試的精確度。[23]
表2 在CIFAR-10數(shù)據(jù)集測(cè)試精確度
4.時(shí)序預(yù)測(cè)更高效
時(shí)序預(yù)測(cè)(Time-Series Prediction)是根據(jù)時(shí)間序列,計(jì)算和分析歷史統(tǒng)計(jì)數(shù)據(jù),以求獲得數(shù)據(jù)的變化規(guī)律,對(duì)未來(lái)的變化趨勢(shì)進(jìn)行預(yù)測(cè)分析,從而在相關(guān)領(lǐng)域?qū)ξ磥?lái)可能出現(xiàn)的情況進(jìn)行預(yù)先調(diào)整,是現(xiàn)實(shí)生活中的常見(jiàn)方法之一。
寬度學(xué)習(xí)中的快速增量學(xué)習(xí)算法,可用于更新系統(tǒng)運(yùn)行時(shí)的權(quán)重。該模型在多個(gè)時(shí)間序列數(shù)據(jù),包括紅外線激光數(shù)據(jù)集,混沌時(shí)間序列,月度面粉價(jià)格數(shù)據(jù)集和非線性系統(tǒng)識(shí)別問(wèn)題上進(jìn)行測(cè)試。測(cè)試結(jié)果不但驗(yàn)證了所提出方法的有效性,而且還提供了一種相對(duì)更快的預(yù)測(cè)時(shí)間序列的方法。相關(guān)實(shí)驗(yàn)結(jié)果圖表詳見(jiàn)陳俊龍教授的論文,這里不再贅述。[24]
總之,快速增量學(xué)習(xí)算法主要有兩個(gè)明顯特點(diǎn):第一,所提出的功能鏈網(wǎng)絡(luò)學(xué)習(xí)算法既快速又高效??焖賹W(xué)習(xí)使試驗(yàn)誤差方法能夠微調(diào)一些難以確定的參數(shù)。如果將額外的增強(qiáng)節(jié)點(diǎn)添加到系統(tǒng)中,而訓(xùn)練算法可實(shí)時(shí)更新權(quán)重矩陣。那么,將新的觀測(cè)結(jié)果添加到系統(tǒng)中,權(quán)重也可以很容易地更新。這種列優(yōu)先(附加神經(jīng)元)和行優(yōu)先(附加觀測(cè))更新方案,對(duì)實(shí)時(shí)進(jìn)程(Real-time Process)非常有吸引力。第二,容易更新的權(quán)重,大大節(jié)省了重新訓(xùn)練網(wǎng)絡(luò)的時(shí)間和資源。這尤其適用于大數(shù)據(jù)集。
基于上述對(duì)寬度學(xué)習(xí)作用于教育大數(shù)據(jù)的主要技術(shù)的探究,我們發(fā)現(xiàn):寬度學(xué)習(xí)較深度學(xué)習(xí)在數(shù)據(jù)識(shí)別上分類更準(zhǔn)確、回歸更精確、聚類更有效和時(shí)序預(yù)測(cè)更高效。結(jié)合深度學(xué)習(xí)在教育領(lǐng)域應(yīng)用的適切性,寬度學(xué)習(xí)有望在教育大數(shù)據(jù)應(yīng)用領(lǐng)域之教育數(shù)據(jù)挖掘和學(xué)習(xí)分析上,發(fā)揮重要作用。
具體來(lái)說(shuō),我們期待寬度學(xué)習(xí)可在準(zhǔn)確預(yù)測(cè)學(xué)生學(xué)業(yè)成績(jī)、給予學(xué)生演示精準(zhǔn)評(píng)價(jià)、提供小組個(gè)性學(xué)習(xí)支持、智能輔助教師進(jìn)行教學(xué)和促進(jìn)遠(yuǎn)程教育教學(xué)交互等方面,發(fā)揮其既快又準(zhǔn)的優(yōu)勢(shì),為促進(jìn)教育信息化和智能化發(fā)展服務(wù)。我們根據(jù)寬度學(xué)習(xí)四個(gè)方面的優(yōu)勢(shì)特性,以及發(fā)揮維度所確定的寬度學(xué)習(xí)應(yīng)用前景,建立了如下框架(如圖5所示)。
圖5 寬度學(xué)習(xí)的優(yōu)勢(shì)特性及應(yīng)用前景框架
對(duì)學(xué)生最終成績(jī)的早期預(yù)測(cè),是學(xué)習(xí)分析領(lǐng)域的一項(xiàng)重要任務(wù)。2017年,大久保(Okubo)及其同事在一次大學(xué)課程中,為學(xué)生的最終成績(jī)制定了預(yù)測(cè)指標(biāo)。預(yù)測(cè)是根據(jù)學(xué)生在每周進(jìn)行的幾項(xiàng)學(xué)習(xí)活動(dòng)中得到的評(píng)分來(lái)進(jìn)行的。研究結(jié)果表明,當(dāng)學(xué)生課程學(xué)習(xí)完成40%時(shí),該模型預(yù)測(cè)準(zhǔn)確性達(dá)90%;而當(dāng)學(xué)生課程學(xué)習(xí)完成2/3時(shí),對(duì)于最終成績(jī)的預(yù)測(cè)準(zhǔn)確率達(dá)到了100%。與多元回歸分析相比,深度學(xué)習(xí)網(wǎng)絡(luò)在此處應(yīng)用,明顯已經(jīng)達(dá)到了更好的結(jié)果。[25]
而與深度學(xué)習(xí)網(wǎng)絡(luò)算法相比,寬度學(xué)習(xí)的優(yōu)勢(shì)在文中已經(jīng)闡述。根據(jù)寬度學(xué)習(xí)作用于大數(shù)據(jù)的主要技術(shù)分類和時(shí)序預(yù)測(cè),該模型在數(shù)據(jù)分類和多個(gè)時(shí)間序列數(shù)據(jù)上的測(cè)試結(jié)果表明,基于寬度學(xué)習(xí)所建模型具有更高的有效性和精度。通過(guò)寬度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)方法構(gòu)建學(xué)生成績(jī)預(yù)測(cè)模型的具體步驟,如圖6所示。
圖6 寬度學(xué)習(xí)構(gòu)建學(xué)生成績(jī)預(yù)測(cè)模型
首先,利用與學(xué)生每周學(xué)習(xí)情況有關(guān)的學(xué)習(xí)數(shù)據(jù),包括之前的成績(jī)、上交作業(yè)的速率與準(zhǔn)確率等時(shí)間序列數(shù)據(jù),對(duì)寬度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行多次訓(xùn)練和自適應(yīng)學(xué)習(xí)逐次優(yōu)化,有效處理一個(gè)完整課程中學(xué)生每周學(xué)習(xí)情況相關(guān)的時(shí)間序列數(shù)據(jù);然后,運(yùn)用所訓(xùn)練得來(lái)的模型對(duì)某次新測(cè)試數(shù)據(jù)集進(jìn)行測(cè)試,檢驗(yàn)測(cè)試精度;最后,當(dāng)精確度達(dá)到要求的時(shí)候,將通過(guò)檢驗(yàn)后的完善模型應(yīng)用于教育教學(xué)場(chǎng)景,可預(yù)測(cè)學(xué)生的最終成績(jī)。
通過(guò)寬度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)方法,數(shù)據(jù)容易收集,易于實(shí)現(xiàn)特征抽取,可以實(shí)現(xiàn)更為精確快速地對(duì)學(xué)生最終成績(jī)的預(yù)測(cè),以便教育工作人員通過(guò)對(duì)學(xué)生學(xué)習(xí)結(jié)果的預(yù)測(cè)認(rèn)知,為教學(xué)管理和改進(jìn)教學(xué)提供重要的依據(jù)分析,并提前做好危機(jī)干預(yù),驅(qū)動(dòng)學(xué)生有效學(xué)習(xí),促進(jìn)學(xué)生成績(jī)進(jìn)步。
第一個(gè)基于深度學(xué)習(xí)網(wǎng)絡(luò)的自動(dòng)化演講評(píng)估系統(tǒng)是通過(guò)人體姿勢(shì)、手勢(shì)、目光接觸、流暢度、生動(dòng)性、發(fā)音、語(yǔ)速和觀眾互動(dòng),來(lái)給每個(gè)演講進(jìn)行評(píng)分。該系統(tǒng)通過(guò)Kinect傳感器、Google Glass和音頻,可以成功地捕獲每個(gè)演講者生成的肢體語(yǔ)言、眼神接觸和語(yǔ)音等信息。通過(guò)深度學(xué)習(xí)的兩組雙向長(zhǎng)短期記憶網(wǎng)絡(luò),分別處理音頻輸入、視頻幀和骨架表征。將處理不同模態(tài)的網(wǎng)絡(luò)連接在一起,并且對(duì)所產(chǎn)生的深層結(jié)構(gòu)實(shí)現(xiàn)端對(duì)端(End-to-End)的培訓(xùn)。當(dāng)不同模式相結(jié)合時(shí),這種深層網(wǎng)絡(luò)結(jié)構(gòu)可以實(shí)現(xiàn)更好的結(jié)果。[26]
這一系統(tǒng)運(yùn)用的是數(shù)據(jù)挖掘中的分類和回歸任務(wù)。而寬度學(xué)習(xí)系統(tǒng)較其他深層網(wǎng)絡(luò)結(jié)構(gòu),在分類和回歸性能上表現(xiàn)得更加出色;同時(shí),寬度學(xué)習(xí)中的快速增量學(xué)習(xí)算法可用于更新系統(tǒng)運(yùn)行時(shí)的權(quán)重。當(dāng)系統(tǒng)需要新增一個(gè)數(shù)據(jù)特征時(shí),并不需要像深度學(xué)習(xí)那樣從頭開(kāi)始重新訓(xùn)練,在保證效果的前提下,可極大地縮短神經(jīng)網(wǎng)絡(luò)系統(tǒng)的訓(xùn)練時(shí)間。在滿足類似“自動(dòng)演講評(píng)估”這種多特征提取或需要實(shí)時(shí)變更的系統(tǒng)需求時(shí),寬度學(xué)習(xí)相對(duì)于深度學(xué)習(xí)的優(yōu)勢(shì)在于寬度學(xué)習(xí)在特征提取的網(wǎng)絡(luò)重建中更加靈活。
當(dāng)新增加一個(gè)特征時(shí),不需要向深度學(xué)習(xí)系統(tǒng)一樣重新推翻網(wǎng)絡(luò)計(jì)算所有權(quán)重,而建立新的模型結(jié)構(gòu)。相反,寬度學(xué)習(xí)系統(tǒng)的輸入值X和輸出值Y并不直接影響權(quán)重值,權(quán)重值是通過(guò)與增強(qiáng)節(jié)點(diǎn)H做關(guān)聯(lián)。因此,當(dāng)新增一個(gè)特征時(shí),只需將新特征與增強(qiáng)節(jié)點(diǎn)H做計(jì)算就可以使用了,而不影響整個(gè)系統(tǒng)的參數(shù)設(shè)置。寬度學(xué)習(xí)應(yīng)用于學(xué)生評(píng)價(jià)的優(yōu)勢(shì)與深度學(xué)習(xí)對(duì)比,如表3所示。
計(jì)算機(jī)高效快速地理解學(xué)習(xí)者的行為表現(xiàn),對(duì)于自動(dòng)評(píng)估系統(tǒng)是至關(guān)重要的。同時(shí),評(píng)估系統(tǒng)通過(guò)分析學(xué)習(xí)者行為軌跡而提供的即時(shí)反饋和根據(jù)此所設(shè)計(jì)的專門(mén)程序,可以幫助學(xué)習(xí)者改善提高自身的演講技能。可見(jiàn),通過(guò)將寬度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)作用于學(xué)生評(píng)價(jià),可以給予學(xué)生更具有針對(duì)性、個(gè)性化的公平、高效的成績(jī)?cè)u(píng)價(jià),真實(shí)反映學(xué)生的情況,實(shí)現(xiàn)學(xué)習(xí)評(píng)價(jià)精準(zhǔn)化、智能化、差異化,幫助學(xué)生提高自身的能力水平。
表3 寬度學(xué)習(xí)與深度學(xué)習(xí)運(yùn)用學(xué)生評(píng)價(jià)的主要特征比較
基于K-means聚類算法的寬度學(xué)習(xí),可以通過(guò)聚類將學(xué)生分成K組協(xié)作學(xué)習(xí)小組,這些學(xué)習(xí)小組擁有各自共同興趣特征或?qū)W習(xí)特點(diǎn)。寬度學(xué)習(xí)作用于學(xué)生群體分組的過(guò)程如圖7所示,首先,將學(xué)生成績(jī)的等相關(guān)數(shù)據(jù)輸入系統(tǒng),隨機(jī)選取K個(gè)點(diǎn)確定所要求分的組數(shù);其次,系統(tǒng)會(huì)確定每一個(gè)聚類的中心,也就是質(zhì)心;再次,計(jì)算每一個(gè)數(shù)據(jù)到質(zhì)心的距離并將基于最小值的距離進(jìn)行分組,得到了K個(gè)初始聚類組。最后,系統(tǒng)會(huì)重新計(jì)算每個(gè)聚類,以確定新的質(zhì)心位置。如果所產(chǎn)生的新聚類穩(wěn)定,則結(jié)束聚類,否則持續(xù)循環(huán)。
圖7 寬度學(xué)習(xí)中K-means聚類算法運(yùn)行框架
其作用在于:一方面,通過(guò)聚類分組可以使教師采用不用的教學(xué)策略,針對(duì)不同個(gè)性群體,進(jìn)行個(gè)性化的學(xué)習(xí)和指導(dǎo)。同時(shí),這種小組式的共同目標(biāo)的學(xué)習(xí)模式,對(duì)于培養(yǎng)小組團(tuán)隊(duì)能力和合作精神具有重要的作用。另一方面,對(duì)于網(wǎng)絡(luò)中的異常行為,系統(tǒng)可以及時(shí)有效地進(jìn)行訓(xùn)練,并劃分新的特征用于檢測(cè)異常數(shù)據(jù)。通過(guò)將基于K-means聚類算法的寬度學(xué)習(xí)作用于學(xué)生群體分組,利用數(shù)據(jù)挖掘技術(shù)劃分不同群體,更有利于分析學(xué)生各自不同的學(xué)習(xí)風(fēng)格和學(xué)習(xí)行為,有針對(duì)性的制定教學(xué)策略,進(jìn)而提供群體個(gè)性化的學(xué)習(xí)支持。
格羅斯(Gross)團(tuán)隊(duì)展示了施樂(lè)(Xerox)公司的最新教育產(chǎn)品——Ignite教學(xué)支持系統(tǒng)的手寫(xiě)識(shí)別組件。這是一個(gè)專為美國(guó)基礎(chǔ)教育工作者設(shè)計(jì),可以給予學(xué)生答案自動(dòng)評(píng)分和允許教師驗(yàn)證成績(jī)的商業(yè)系統(tǒng)。識(shí)別發(fā)生在流水線中,通過(guò)圖像預(yù)處理開(kāi)始,隨后進(jìn)行字符分割、字符識(shí)別和最終單詞識(shí)別。其中的字符識(shí)別是基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)CNN和堆疊去噪自動(dòng)編碼器SDA。其中的訓(xùn)練數(shù)據(jù)集來(lái)源于對(duì)公開(kāi)或私有的學(xué)生學(xué)習(xí)相關(guān)數(shù)據(jù)的收集,結(jié)果顯示,深度學(xué)習(xí)的運(yùn)用準(zhǔn)確率已經(jīng)達(dá)到92.8%。[27]
與深度學(xué)習(xí)相關(guān)網(wǎng)絡(luò)相比,寬度學(xué)習(xí)在MINST數(shù)據(jù)集實(shí)驗(yàn)結(jié)果表明,寬度學(xué)習(xí)作用大數(shù)據(jù)分類技術(shù)具有高精確度以及耗時(shí)短的優(yōu)點(diǎn)。比如,在針對(duì)考試中學(xué)生錯(cuò)題答疑輔導(dǎo)時(shí),對(duì)某個(gè)學(xué)生經(jīng)常性犯的錯(cuò)誤和班級(jí)所有人都容易出錯(cuò)的題目進(jìn)行數(shù)據(jù)收集和特征提取,系統(tǒng)進(jìn)行自動(dòng)調(diào)節(jié)推薦類似題目和相關(guān)知識(shí)點(diǎn),可以同時(shí)實(shí)現(xiàn)對(duì)單一個(gè)體和班級(jí)整體的教學(xué)輔導(dǎo),以促進(jìn)學(xué)生進(jìn)行錯(cuò)題類題目的知識(shí)理解和訓(xùn)練。采用寬度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)方法作用于學(xué)生學(xué)習(xí)行為相關(guān)數(shù)據(jù)的識(shí)別,可以實(shí)現(xiàn)更為精確和及時(shí)的計(jì)算機(jī)輔助教學(xué),幫助教師進(jìn)行學(xué)生學(xué)習(xí)成績(jī)分析,使學(xué)生更好地了解自身學(xué)習(xí)情況,為教師實(shí)現(xiàn)因材施教,為學(xué)生制定針對(duì)性指導(dǎo)計(jì)劃,提供適切的幫助。
遠(yuǎn)程教育的發(fā)展,大大促進(jìn)了人類教育的進(jìn)步。實(shí)踐證明,對(duì)遠(yuǎn)程教育的虛擬網(wǎng)絡(luò)環(huán)境所提供的龐大信息數(shù)據(jù)的充分利用,顯得尤為重要。比如,張琳?qǐng)F(tuán)隊(duì)所實(shí)現(xiàn)的北京理工大學(xué)遠(yuǎn)程教學(xué)平臺(tái)的教學(xué)作弊行為監(jiān)控子系統(tǒng)中,主要運(yùn)用了數(shù)據(jù)挖掘中的聚類技術(shù),基于對(duì)遠(yuǎn)程教學(xué)網(wǎng)站交互系統(tǒng)討論群中的數(shù)據(jù),進(jìn)行聚類算法的文本分析和特征提取的行為分析,實(shí)現(xiàn)了對(duì)考生考場(chǎng)行為的監(jiān)控和判斷。[28]
遠(yuǎn)程教育中的討論互動(dòng),對(duì)于學(xué)生的知識(shí)掌握與構(gòu)建十分重要?;谝陨蠈?shí)驗(yàn)的研究,可以將基于K-means聚類算法的寬度學(xué)習(xí)應(yīng)用于遠(yuǎn)程教育討論交互測(cè)評(píng)中,通過(guò)對(duì)具有共同語(yǔ)言行為學(xué)習(xí)模式的學(xué)生的聚類,幫助教師更加了解學(xué)生行為,以改進(jìn)教學(xué)策略,加強(qiáng)學(xué)生和教師之間的有效互動(dòng),促進(jìn)遠(yuǎn)程教育教學(xué)交互,助力現(xiàn)代遠(yuǎn)程教育的健康發(fā)展。將寬度學(xué)習(xí)應(yīng)用于遠(yuǎn)程教育討論、交互、測(cè)評(píng),可建構(gòu)如下框架,具體過(guò)程與步驟如圖8所示。
圖8 寬度學(xué)習(xí)應(yīng)用于遠(yuǎn)程教育討論、交互、測(cè)評(píng)框架
簡(jiǎn)言之,教育是一個(gè)極其復(fù)雜的系統(tǒng),對(duì)學(xué)生的學(xué)習(xí)行為和狀況進(jìn)行科學(xué)的評(píng)價(jià)和精準(zhǔn)的預(yù)測(cè)及干預(yù),也是一項(xiàng)非常艱難的任務(wù)。但“數(shù)據(jù)挖掘分析變革教育”已成為新時(shí)代必不可擋的發(fā)展趨勢(shì)。人工智能應(yīng)用教育快速發(fā)展,將給教育的信息化和智能化帶來(lái)諸多新的理念和實(shí)現(xiàn)手段。
隨著大數(shù)據(jù)相關(guān)技術(shù)的興起與應(yīng)用,機(jī)器學(xué)習(xí)領(lǐng)域下寬度學(xué)習(xí)的出現(xiàn),為我們借助新興技術(shù)收集和分析教育大數(shù)據(jù)、利用大數(shù)據(jù)技術(shù)應(yīng)用于教育數(shù)據(jù)挖掘和學(xué)習(xí)分析,帶來(lái)了一種新的途徑與可能。寬度學(xué)習(xí)新技術(shù)的發(fā)展,對(duì)教育領(lǐng)域數(shù)據(jù)挖掘和分析無(wú)疑具有積極作用,但寬度學(xué)習(xí)對(duì)于學(xué)習(xí)分析和教育數(shù)據(jù)挖掘方面的具體應(yīng)用還不多。將寬度學(xué)習(xí)應(yīng)用于教育的相關(guān)研究,大多還處在試驗(yàn)和探索階段,未來(lái)還需要一個(gè)長(zhǎng)期的整合和研究過(guò)程。