[美]賴安·S.貝克 [澳]德拉甘·伽瑟維克 [澳]沙姆亞·卡倫拜亞
【摘 要】
與初期相比,學(xué)習(xí)分析已經(jīng)有了長足發(fā)展。這個領(lǐng)域從研究成果發(fā)表渠道看聲譽提高得很快,已經(jīng)形成一個富有活力的共同體,對政策和實踐的影響越來越大。然而,很多研究者仍在厘清這個領(lǐng)域的范圍以把學(xué)習(xí)分析的貢獻(xiàn)與其他同樣基于教育數(shù)據(jù)領(lǐng)域的貢獻(xiàn)區(qū)分開來。我們認(rèn)為,應(yīng)該重視協(xié)作和了解相關(guān)領(lǐng)域的研究成果,才能保證學(xué)習(xí)分析領(lǐng)域健康發(fā)展,而不是強調(diào)它們的不同。具體講,本文提出一個旨在分析當(dāng)今聚焦教育數(shù)據(jù)研究的相關(guān)領(lǐng)域如何影響學(xué)習(xí)分析領(lǐng)域發(fā)展的框架。該框架的著眼點是這些領(lǐng)域各自所采用的主要方法范式,即本質(zhì)論、實體論/還原論、本體論/辯證論和存在論。本文使用這個框架分析學(xué)習(xí)分析領(lǐng)域(本體論范式)如何在方法上受到教育數(shù)據(jù)挖掘(實體論范式)、量化民族志(存在論范式)和大規(guī)模學(xué)習(xí)(本質(zhì)論范式)等領(lǐng)域新近發(fā)展的影響。本文根據(jù)分析結(jié)果歸納文獻(xiàn)中存在的、有待今后填補的研究空白。
【關(guān)鍵詞】 ?學(xué)習(xí)分析;教育人工智能;量化民族志;大規(guī)模學(xué)習(xí);機器學(xué)習(xí);研究范式
【中圖分類號】 ? G420 ? ? ? ? 【文獻(xiàn)標(biāo)識碼】 ?B ? ? ? 【文章編號】 ?1009-458x(2021)12-0038-15
導(dǎo)讀:在今天的教育技術(shù)領(lǐng)域,學(xué)習(xí)分析(learning analytics)是一個高頻詞,也是一個大熱門研究領(lǐng)域。這是因為學(xué)習(xí)分析幾乎涉及教育的方方面面,從教師的教和學(xué)生的學(xué)到機構(gòu)管理和決策,都可見學(xué)習(xí)分析的應(yīng)用。如果以2011年首屆國際學(xué)習(xí)分析與知識大會(LAK)為學(xué)習(xí)分析領(lǐng)域的起點,其在過去短短十年間的發(fā)展可以說是全方位的,包括舉辦自己的學(xué)術(shù)會議(LAK)、創(chuàng)辦自己的學(xué)術(shù)期刊《學(xué)習(xí)分析期刊》(Journal of Learning Analytics)、成立自己的學(xué)術(shù)團(tuán)體學(xué)習(xí)分析研究學(xué)會(Society for Learning Analytics Research,SoLAR)等,實踐者和研究者隊伍不斷壯大,教育機構(gòu)管理層和決策層對學(xué)習(xí)分析應(yīng)用也越來越感興趣。學(xué)習(xí)分析的教育能供性的確十分誘人,雖然從現(xiàn)狀看一定程度上仍然停留在“言辭”階段,尤其是在促進(jìn)微觀層面教與學(xué)方面尚缺乏嚴(yán)謹(jǐn)、可復(fù)制、可推廣應(yīng)用的實證研究成果。從某種意義上講,學(xué)習(xí)分析現(xiàn)在似乎處于一個停滯(plateau)階段,比如研究范式單一,方法雷同,混淆變量之間的關(guān)聯(lián)(correlation)與因果(causation)關(guān)系,把前者等同于后者。凡此種種,不一而足,都說明學(xué)習(xí)分析的研究范式必須有新突破,才有可能走出停滯階段。本文倡導(dǎo)的正是這樣一個新發(fā)展方向。
本文選擇一個新視角,即研究“學(xué)習(xí)分析與采用不同方法論范式的其他相關(guān)領(lǐng)域的關(guān)系以及相互影響”,“進(jìn)一步了解學(xué)習(xí)分析作為一個領(lǐng)域正在受到哪些方法論范式(methodological paradigm)的影響”。文章首先指出作為一種實踐的學(xué)習(xí)分析吸收了組織研究、變革管理、信息系統(tǒng)、法律和倫理等領(lǐng)域的成果以及受到設(shè)計科學(xué)和人機交互的影響,并簡要闡述兩種實踐模型:突出學(xué)習(xí)分析關(guān)鍵維度和問題的模型和強調(diào)實施過程的模型。
文章認(rèn)為“學(xué)習(xí)分析不是一個孤立的領(lǐng)域,它離不開同樣致力研究數(shù)據(jù)教育應(yīng)用的其他相關(guān)領(lǐng)域的發(fā)展”,因此,不能一味強調(diào)它們的不同,而是應(yīng)該研究如何取各家之長補各家之短。正是基于這種認(rèn)識,文章基于20世紀(jì)哲學(xué)家理查德·麥基翁(Richard McKeon)提出的四種哲學(xué)思想流派,即實體論(entitative)/還原論(reductionism)/原子論(atomist)(把現(xiàn)象分解成為其組成部分進(jìn)行理解,分析組成部分之間的關(guān)系)、本體論(ontological)/辯證論(dialectic)(把現(xiàn)象作為一個整體進(jìn)行理解,認(rèn)為只有理解整體才能理解其組成部分)、存在論(existentialist)(現(xiàn)實從根本上是個人建構(gòu)的,因此對現(xiàn)象的理解應(yīng)該是現(xiàn)實參與者自己的理解)和本質(zhì)論(essentialist)(天地萬物皆有意義,因此只需對現(xiàn)實直接建模,不必說明為什么),建構(gòu)了一個分析框架,文章認(rèn)為與數(shù)據(jù)教育應(yīng)用相關(guān)的四種主要學(xué)術(shù)會議和這四種范式存在一定對應(yīng)關(guān)系(雖然不是嚴(yán)格意義上的對應(yīng)關(guān)系,詳見原文圖1)。具體說,四種范式與四種學(xué)術(shù)會議(或四個相關(guān)領(lǐng)域)的對應(yīng)關(guān)系是:LAK大會/學(xué)習(xí)分析——本體論/辯證論范式、教育數(shù)據(jù)挖掘大會(Educational Data Mining,EDM)/教育數(shù)據(jù)挖掘——實體論/還原論/原子論范式、量化民族志國際大會(International Conference on Quantitative Ethnography,ICQE)/量化民族志——存在論范式和美國計算機協(xié)會大規(guī)模學(xué)習(xí)大會(ACM Conference on Learning @ Scale,L@S)/大規(guī)模學(xué)習(xí)——本質(zhì)論范式。文章在這個基礎(chǔ)上進(jìn)一步分析這四種范式在學(xué)習(xí)分析研究中的體現(xiàn),提出跨范式研究(inter-paradigmatic)的主張并探討可能的研究問題(方向)(詳見“各種范式在學(xué)習(xí)分析實踐中的主要位置”一節(jié))。
我們不妨把文中提出的跨范式研究問題或方向作為學(xué)習(xí)分析未來發(fā)展的新起點。作者之所以提出跨范式研究的主張,原因是學(xué)習(xí)分析給我們帶來的挑戰(zhàn)非常復(fù)雜,“非任何一種范式能解決的”。而要實現(xiàn)跨范式的轉(zhuǎn)變,我們每一個人首先必須了解自己對研究和實踐所持的哲學(xué)觀,清楚這種哲學(xué)觀對我們認(rèn)識世界的方式的影響,同時我們還要了解相關(guān)領(lǐng)域同行的這種哲學(xué)觀,所謂“他山之石可以攻玉”,不能因為自己的無知而排除“異己之見”。從這個意義上講,跨范式研究同樣應(yīng)該成為其他研究領(lǐng)域的發(fā)展方向。
本文原文發(fā)表于《計算機與教育:人工智能》(Computers and Education:Artificial Intelligence)期刊(2021年第2卷)。第一作者美國賓夕法尼亞大學(xué)(University of Pennsylvania)的賴安·S.貝克(Ryan S. Baker)博士和第二作者澳大利亞莫納什大學(xué)(Monash University)的德拉甘·伽瑟維克(Dragan Ga?evi )博士均是學(xué)界頗有影響的學(xué)者,分別來自教育數(shù)據(jù)挖掘和學(xué)習(xí)分析的專業(yè)背景,第三作者沙姆亞·卡倫拜亞(Shamya Karumbaiah)是美國賓夕法尼亞大學(xué)學(xué)習(xí)分析中心博士生(學(xué)位論文撰寫階段),具有計算機科學(xué)背景,因此他們對于跨范式研究應(yīng)該有更加深刻的見地。
經(jīng)三位作者授權(quán),本文得以翻譯成中文并在本刊“國際論壇”發(fā)表。衷心感謝他們對本刊的支持和信任!
一、引言
2011年舉行的首屆國際學(xué)習(xí)分析與知識大會(International Conference on Learning Analytics and Knowledge,LAK)標(biāo)志著學(xué)習(xí)分析正式成為一個領(lǐng)域(Long, et al., 2011),因此,2020年迎來了這個領(lǐng)域建成的十周年。“大數(shù)據(jù)”(big data)的出現(xiàn)給教育帶來越來越多的機會,舉辦LAK大會的初衷就是為了回應(yīng)這些機會(Siemens & Baker, 2012)。舉辦LAK大會的另一個目的是給研究者和實踐者提供一個交流機會,因為雖然他們都是從事與教育大數(shù)據(jù)相關(guān)的工作但是卻沒有一個共同社區(qū)可以在一起交流、討論和開展研究(Siemens, 2014)。首屆LAK大會組委會把學(xué)習(xí)分析(learning analytics)定義為“測量、收集、分析和報告有關(guān)學(xué)習(xí)者及其背景的數(shù)據(jù)以了解和優(yōu)化學(xué)習(xí)以及學(xué)習(xí)發(fā)生的環(huán)境”(Long, et al., 2011)。這個定義迄今仍然經(jīng)常被用于界定學(xué)習(xí)分析,也得到學(xué)習(xí)分析研究學(xué)會(Society for Learning Analytics Research,SoLAR)的正式認(rèn)可。這個定義強調(diào)利用數(shù)據(jù)促進(jìn)全面了解和提升教育的各個系統(tǒng)。
與初期相比,學(xué)習(xí)分析領(lǐng)域已經(jīng)有了長足發(fā)展。LAK大會論文集是教育技術(shù)領(lǐng)域被引率最高的出版物之一(Google Scholar, 2020)。提交LAK大會的論文數(shù)量和參會人數(shù)穩(wěn)步增加,因此,LAK大會已經(jīng)成為一個主要學(xué)術(shù)會議。學(xué)習(xí)分析社區(qū)在全球各地舉辦LAK博士聯(lián)盟(Doctoral Consortium)系列活動和學(xué)習(xí)分析暑期學(xué)院(Learning Analytics Summer Institutes)以及多種形式的在線講座系列活動,致力于培養(yǎng)下一代研究者、實踐者和領(lǐng)袖?!秾W(xué)習(xí)分析期刊》(Journal of Learning Analytics)已被各主要期刊數(shù)據(jù)庫索引(比如Scopus 和Emerging Sources Citation Index)?!秾W(xué)習(xí)分析手冊》(Handbook of Learning Analytics)第一版獲得成功(Lang, et al., 2017),第二版正在緊鑼密鼓進(jìn)行中。SoLAR建設(shè)了一個由個人會員和機構(gòu)會員組成的網(wǎng)絡(luò),并與教育技術(shù)行業(yè)建立緊密聯(lián)系。SoLAR還啟動幾項計劃以促進(jìn)學(xué)習(xí)分析領(lǐng)域建設(shè),比如組建一些特殊興趣小組、開展網(wǎng)絡(luò)研討會和播客系列活動、出版簡報和發(fā)布招聘信息。
目前學(xué)習(xí)分析仍然有很多不確定的挑戰(zhàn)需要解決,其中有一些直接關(guān)乎這個領(lǐng)域的定位。比如,對于學(xué)習(xí)分析論文應(yīng)該具備什么特點目前學(xué)界仍然沒有達(dá)成共識。有人提出LAK大會不能接受沒有干預(yù)措施的研究論文,也有人認(rèn)為LAK大會不能發(fā)表不是數(shù)據(jù)科學(xué)的論文。如何處理諸如此類問題直接關(guān)系到這個領(lǐng)域的健康發(fā)展,即培養(yǎng)學(xué)科和范式的多樣性。具體說,我們有必要進(jìn)一步了解學(xué)習(xí)分析作為一個領(lǐng)域正在受到哪些方法論范式(methodological paradigm)的影響。目前對學(xué)習(xí)分析領(lǐng)域研究文獻(xiàn)的綜述主要涉及這個領(lǐng)域自身的研究主題和方法(Dawson, et al., 2014; Dawson, et al., 2019; Ferguson, 2012)或某些具體分支(比如儀表盤)(Bodily & Verbert, 2017; Bodily, et al., 2018; Matcha, et al., 2020)、采用情況(Viberg, et al., 2018)和在高等教育的應(yīng)用(Tsai & Ga?evi , 2017)等。還有一些則提出主要旨在促進(jìn)學(xué)習(xí)分析與其他領(lǐng)域?qū)嵺`結(jié)合的模型(Chatti, et al., 2012; Ga?evi , et al., 2017; Greller & Drachsler, 2012; Siemens, 2013)。雖然這些綜述和模型對于學(xué)習(xí)分析未來發(fā)展很有意義,但是幾乎沒有研究關(guān)注學(xué)習(xí)分析與采用不同方法論范式的其他相關(guān)領(lǐng)域的關(guān)系以及相互影響。因此,本研究是對現(xiàn)有文獻(xiàn)的補充。
學(xué)習(xí)分析不是一個孤立的領(lǐng)域,它離不開同樣致力研究數(shù)據(jù)教育應(yīng)用的其他相關(guān)領(lǐng)域的發(fā)展??傮w上看,數(shù)據(jù)挖掘和分析已經(jīng)發(fā)展成為教育技術(shù)研究的一個核心主題和領(lǐng)域(Chen, Zou, et al., 2020)。自從新千年以來已經(jīng)出現(xiàn)了一些相關(guān)領(lǐng)域,它們有自己的共同體,所采用的研究方式也有所不同。最先出現(xiàn)的是教育數(shù)據(jù)挖掘(Educational Data Mining,EDM)這個領(lǐng)域,歷史比學(xué)習(xí)分析悠久,2000年以來在一些主要學(xué)術(shù)會議上舉行一系列工作坊,在此基礎(chǔ)上2008年舉行了首屆EDM大會,2009年創(chuàng)辦了《教育數(shù)據(jù)挖掘期刊》(Journal of Educational Data Mining)。EDM大會和期刊均由國際教育數(shù)據(jù)挖掘?qū)W會(International Educational Data Mining Society,IEDMS)主辦,該組織架起了研究者與教育技術(shù)行業(yè)和很多利益相關(guān)者組織之間的橋梁。另外兩個比較關(guān)注數(shù)據(jù)在教育中的應(yīng)用的共同體則分別圍繞美國計算機協(xié)會大規(guī)模學(xué)習(xí)大會(ACM Conference on Learning @ Scale,L@S)(2014年舉行首屆大會)和量化民族志國際大會(International Conference on Quantitative Ethnography,ICQE)(2019年舉辦首屆大會)建立起來的。盡管如此,除了西蒙斯和貝克(Siemens & Baker, 2012)以及陳等(Chen, Rolim, et al., 2020)之外,目前鮮見構(gòu)建系統(tǒng)分析這些相關(guān)領(lǐng)域相互影響的框架的研究。西蒙斯和貝克(Siemens & Baker, 2012)闡述了把相關(guān)領(lǐng)域聯(lián)系起來的重要性,而陳等(Chen, Rolim, et al., 2020)則比較了LAK大會和EDM大會的主題、文獻(xiàn)計量情況以及參加者身份。然而,有必要系統(tǒng)研究相關(guān)領(lǐng)域當(dāng)前的發(fā)展,進(jìn)一步了解它們正在對學(xué)習(xí)分析產(chǎn)生的影響。
本文提出了一個分析框架,旨在揭示教育數(shù)據(jù)相關(guān)領(lǐng)域是如何影響學(xué)習(xí)分析研究趨勢的。這個框架聚焦這些領(lǐng)域各自主要采用的方法論范式。具體講,本文使用這個框架分析學(xué)習(xí)分析領(lǐng)域(本體論[ontological]范式)是如何在方法上受到教育數(shù)據(jù)(實體論[entitative]范式)、量化民族志(存在論[existentialist]范式)和大規(guī)模學(xué)習(xí)(本質(zhì)論[essentialist]范式)等領(lǐng)域新近發(fā)展的影響的。本文根據(jù)分析結(jié)果歸納文獻(xiàn)中存在的、有待今后填補的研究空白。
二、作為一種實踐的學(xué)習(xí)分析
學(xué)習(xí)分析從一開始便既是一個研究領(lǐng)域又是一個實踐領(lǐng)域。之所以強調(diào)實踐,主要是因為政治和經(jīng)濟因素的變化(Buckingham Shum & Luckin, 2019; Ferguson, 2012; Siemens, 2013)。教育發(fā)展受制于政治和經(jīng)濟因素,全球均如此。很多國家高等教育撥款模式在很大程度上受到順利獲得學(xué)位的學(xué)生人數(shù)的影響。所以,學(xué)校高層管理者(比如副校長、院長和教務(wù)長)和決策者看到學(xué)習(xí)分析通過預(yù)測建模和早期預(yù)警系統(tǒng)降低學(xué)生流失率方面的潛能(Siemens, 2013)。同樣,使用預(yù)測分析提高K-12畢業(yè)率也越來越引起研究者的興趣(Bowers, et al., 2012; Singh, 2018)。學(xué)習(xí)分析可用于支持學(xué)生繼續(xù)就讀(減少流失)以及學(xué)校其他需要優(yōu)先考慮的事情,由此形成了學(xué)校事務(wù)分析(academic analytics)(Campbell, et al., 2007)。學(xué)校事務(wù)分析對學(xué)習(xí)分析影響很大,并由此促使從事學(xué)習(xí)分析的人和高等教育學(xué)校信息技術(shù)負(fù)責(zé)人這兩個群體建立緊密關(guān)系。后者通常參加EDUCAUSE舉辦的活動。
學(xué)習(xí)分析的另一個重要實踐是評價和提高數(shù)字技術(shù)的教育應(yīng)用效果。與過去相比,學(xué)界目前對這方面更感興趣。高等教育對使用學(xué)習(xí)管理系統(tǒng)尤其感興趣(Ferguson, 2012),因此很多研究者在探索如何使用學(xué)習(xí)管理系統(tǒng)記錄的日志數(shù)據(jù)和開發(fā)報告系統(tǒng)(現(xiàn)在被稱為“儀表盤”),這些系統(tǒng)采用信息可視化和相對簡單的數(shù)據(jù)分析技術(shù)(Jovanovi , et al., 2008; Rienties, et al., 2018)。學(xué)習(xí)分析在這方面的應(yīng)用不但能給教師提供相關(guān)的解決方案,而且也引起諸如教學(xué)/教育設(shè)計者和教育/學(xué)習(xí)技術(shù)人員的興趣(Weller, 2020)。
除了學(xué)習(xí)管理系統(tǒng)外,學(xué)界對基于計算機學(xué)習(xí)環(huán)境的使用和進(jìn)一步完善也有比較大的興趣,比如自適應(yīng)學(xué)習(xí)系統(tǒng)、智能輔導(dǎo)系統(tǒng)和慕課(Essa, 2016)。目前K-12越來越重視標(biāo)準(zhǔn)化考試,學(xué)校也需要證明學(xué)生考試成績的提高以獲得撥款,因此這是基于計算機學(xué)習(xí)環(huán)境在K-12發(fā)展的主要驅(qū)動因素之一。這種現(xiàn)象始于英美,但現(xiàn)在已經(jīng)席卷全球(Lingard & Lewis, 2016)。至于高等教育,雖然沒有這樣的驅(qū)動因素,但是師生同樣熱衷于使用這些學(xué)習(xí)技術(shù)。諸如ALEKS、Cognitive Tutor、Khan Academy、edX和Coursera這些大平臺的用戶多達(dá)數(shù)十萬或數(shù)百萬。學(xué)習(xí)分析研究者試圖利用這些數(shù)據(jù)使這些平臺更有效,進(jìn)一步完善知識考核以改進(jìn)課程學(xué)習(xí)順序(Ritter, et al., 2016),通過各種人類記憶模型更好地安排各階段復(fù)習(xí)(Settles & Meeder, 2016),把復(fù)雜的考核任務(wù)融入教學(xué)干預(yù)策略中(Li, et al., 2018),以及研究針對不同學(xué)生和不同環(huán)境的不同干預(yù)措施(Sales, et al., 2018)。如同學(xué)習(xí)管理系統(tǒng)一樣,學(xué)界在這方面也很熱衷于通過報告和可視化手段向教師提供反饋信息,便于他們據(jù)此與學(xué)生交流和做出相應(yīng)干預(yù)(An, et al., 2019; Holstein, et al., 2019)。
正因為學(xué)習(xí)分析強調(diào)實際應(yīng)用,很多學(xué)習(xí)技術(shù)銷售商從這個領(lǐng)域形成之初便積極參加學(xué)習(xí)分析的活動,贊助LAK大會和EDM大會并發(fā)表論文。的確,今天的LAK大會設(shè)置有實踐者參加的分主題,而EDM大會則設(shè)置有業(yè)界參加的分主題。
(一)影響學(xué)習(xí)分析實踐的領(lǐng)域
文獻(xiàn)一直強調(diào)學(xué)習(xí)分析的社會——技術(shù)本質(zhì)(Dawson, et al., 2019; Siemens, 2013)。這一點在SoLAR所采用的學(xué)習(xí)分析定義中便得到體現(xiàn),即學(xué)習(xí)分析使用學(xué)習(xí)發(fā)生環(huán)境的數(shù)據(jù)(Long, et al., 2011),也體現(xiàn)在和2019年國際電子組件與材料研討會(International Electron Devices and Materials Symposium,IEDMS)所采用的教育數(shù)據(jù)挖掘定義中,即教育數(shù)據(jù)挖掘的目標(biāo)是“更好地了解學(xué)生以及他們的學(xué)習(xí)環(huán)境”。學(xué)習(xí)分析領(lǐng)域一些著名作者指出學(xué)習(xí)分析應(yīng)用于組織環(huán)境中,而在這樣的環(huán)境里社會、政治、隱私和倫理因素的作用至少與任何技術(shù)解決方案同等重要(Colvin, et al., 2015; Dawson, et al, 2018, 2019; Ga?evi , et al., 2017; Lynch, 2017; Macfadyen, et al., 2014; Siemens, 2013)。正因如此,學(xué)習(xí)分析的很多研究集中在制訂實踐準(zhǔn)則、政策和策略框架等方面,而這些東西已經(jīng)影響到很多機構(gòu)和系統(tǒng)對學(xué)習(xí)分析的采用(Sclater & Bailey, 2015; Tsai, et al., 2018)。作為一個實踐領(lǐng)域,學(xué)習(xí)分析在很大程度上得益于組織研究、變革管理、信息系統(tǒng)、法律和倫理等領(lǐng)域的成果。
因為意識到學(xué)習(xí)分析實踐是在復(fù)雜教育系統(tǒng)中開展的,因此研究者更加重視借鑒復(fù)雜性科學(xué)和理論(Jacobson, et al., 2016)。研究者強調(diào)必須把學(xué)習(xí)分析置于復(fù)雜教育系統(tǒng)中開展才能使之發(fā)揮最大的實際作用(Dawson, et al., 2019)。有研究者認(rèn)為學(xué)習(xí)分析的成功變革管理要建立在對復(fù)雜自適應(yīng)系統(tǒng)理解的基礎(chǔ)上(Macfadyen, et al., 2014)。復(fù)雜性領(lǐng)導(dǎo)力包含運作、開創(chuàng)新局面和使能三個方面,因此被視為擴大學(xué)習(xí)分析應(yīng)用規(guī)模促進(jìn)教育創(chuàng)新所必不可少的(Tsai, et al., 2019)。
要使學(xué)習(xí)分析在實踐中得到廣泛應(yīng)用,必須重視其設(shè)計和充分考慮人的因素(Buckingham Shum, et al., 2019; Ga?evi , et al., 2017)。不同學(xué)習(xí)分析工具(主要是指儀表盤)曾經(jīng)受到熱捧,但是有一些研究發(fā)現(xiàn)這種工具的實際應(yīng)用率經(jīng)常相對較低,也可能造成一些不理想后果,比如如果缺乏有效設(shè)計(Bodily & Verbert, 2017; Corrin & de Barba, 2014)會導(dǎo)致大學(xué)本科生的掌握導(dǎo)向(mastery orientation)表現(xiàn)下降(Lonn, et al., 2015)和平均積分點(GPA)下降(Chaturapruek, et al., 2018)。因此,近年來研究者提出一些旨在指導(dǎo)學(xué)習(xí)分析系統(tǒng)設(shè)計和理解意義建構(gòu)的方法(Holstein, et al., 2019; Wise & Jung, 2019)。白金漢·岑等(Buckingham Shum, et al., 2019)更進(jìn)一步提出要充分考慮學(xué)習(xí)分析中人的因素。這個方向的研究清楚強調(diào)學(xué)習(xí)分析實踐越來越受到設(shè)計科學(xué)和人機交互的影響。
(二)學(xué)習(xí)分析實踐模型
有幾種學(xué)習(xí)分析模型能夠指導(dǎo)實踐、承認(rèn)學(xué)習(xí)分析領(lǐng)域復(fù)雜性和體現(xiàn)來自其他方面的影響。這些模型通常被分為兩類:一類體現(xiàn)這個領(lǐng)域必須考慮的關(guān)鍵維度和問題,另一類則強調(diào)學(xué)習(xí)分析的實施過程。沙提等(Chatti, et al., 2012)提出一個學(xué)習(xí)分析參考模型,該模型包含四個維度,以分別回答四個方面問題:數(shù)據(jù)、環(huán)境和背景之類統(tǒng)稱為“什么”(What)的問題;目標(biāo)之類統(tǒng)稱為“為什么”(Why)的問題;方法之類統(tǒng)稱為“如何”(How)的問題;利益相關(guān)者之類統(tǒng)稱為“誰”(Who)的問題。格雷勒和德拉克斯勒(Greller & Drachsler, 2012)提出的學(xué)習(xí)分析通用框架也包括類似四個維度的內(nèi)容,但是他們所用的名稱和各個維度的范圍與沙提等稍有不同。格雷勒和德拉克斯勒的模型還增加了自身局限(能力和接受程度)和外部制約(規(guī)范和慣例)內(nèi)容。
研究者提出了一些學(xué)習(xí)分析的過程模型,均把學(xué)習(xí)分析視為一個循環(huán)??寺澹–low, 2012)的學(xué)習(xí)分析循環(huán)始于產(chǎn)生數(shù)據(jù)的學(xué)習(xí)者,這些數(shù)據(jù)的測量和分析結(jié)果用作采取干預(yù)措施的依據(jù)。其他過程模型更加細(xì)致,包括學(xué)習(xí)分析循環(huán)的其他活動。斯坦納等(Steiner, et al., 2014)提出的學(xué)習(xí)分析交互過程模型包含數(shù)據(jù)選擇、數(shù)據(jù)捕捉、數(shù)據(jù)報告、預(yù)測、根據(jù)結(jié)果采取行動和進(jìn)一步完善。西蒙斯(Siemens, 2013)的數(shù)據(jù)循環(huán)也包含類似階段,但主要增加了辨識數(shù)據(jù)循環(huán)各階段與學(xué)習(xí)分析目的、數(shù)據(jù)源、利益相關(guān)者、分析技術(shù)和行動類型之間的關(guān)系。換言之,西蒙斯認(rèn)為學(xué)習(xí)分析是一個跨學(xué)科的研究和實踐領(lǐng)域,得益于很多類型利益相關(guān)者的貢獻(xiàn)。
三、學(xué)習(xí)分析的四種思維范式
(一)四種范式
不管學(xué)習(xí)分析被視為一種實踐還是一門科學(xué),作為一個年輕的領(lǐng)域,學(xué)習(xí)分析的成分相當(dāng)復(fù)雜——這一點是不可否認(rèn)的。目前有三個與之相關(guān)的重要會議:EDM大會(始于2008年)、LAK大會(始于2011年)和L@S大會(始于2014年)。還有一個會議是ICQE大會(始于2019年),其范圍不只涉及學(xué)習(xí)和教育方面,但是第一屆和第二屆大會的絕大多數(shù)內(nèi)容都是屬于學(xué)習(xí)和教育方面的。另外還有一個會議的歷史更加悠久,在學(xué)習(xí)分析成為一個研究領(lǐng)域之前就出現(xiàn)了,即教育人工智能大會(Artificial Intelligence and Education,簡稱“AIED大會”,始于1989年)。AIED原先的涉及面廣泛,包括人工智能在教育領(lǐng)域的各種應(yīng)用,早期的工作主要是設(shè)計用于教育的智能系統(tǒng)和為這些系統(tǒng)開發(fā)學(xué)生模型。EDM可能是AIED的一個分支,AIED大會與EDM大會一樣發(fā)表大量教育數(shù)據(jù)挖掘的研究成果。
其他一些會議也發(fā)表很多學(xué)習(xí)分析研究成果。一直以來,智能輔導(dǎo)系統(tǒng)(Intelligent Tutoring Systems,ITS)大會發(fā)表與AIED大會相似的研究,多年來這兩個大會隔年舉行。首屆EDM大會事實上和ITS大會一樣都是2008年在蒙特利爾舉行的。其他發(fā)表學(xué)習(xí)分析研究成果的會議包括學(xué)習(xí)科學(xué)國際會議(International Conference on Learning Sciences)(早期從AIED發(fā)展出來的一個分支)和計算機支持協(xié)作學(xué)習(xí)會議(Computer-Supported Collaborative Learning,CSCL),它們涵蓋的范圍更廣(因為包括其他形式的研究)但同時又更窄(關(guān)注的現(xiàn)象更具體)。此外,有一些機構(gòu),比如學(xué)習(xí)分析暑期學(xué)院(Learning Analytics Summer Institute)和西蒙項目暑期學(xué)校(Simon Initiative Summer School)(這些主要是舉辦培訓(xùn),不是發(fā)表成果)以及地區(qū)性會議和各國全國性會議也跟學(xué)習(xí)分析有關(guān)系。
在已經(jīng)有EDM大會的情況下還舉辦LAK大會,可能是因為這兩個會議的發(fā)起者彼此不認(rèn)識。在組織首屆LAK大會時EDM大會和LAK大會的發(fā)起者中幾乎沒有互相認(rèn)識者。這的確是一件怪事。然而,我們認(rèn)為這些分支并不只是當(dāng)時同一個領(lǐng)域研究者的社交網(wǎng)絡(luò)不暢所致的偶然結(jié)果,而是因為不同研究者在如何理解科學(xué),甚至是現(xiàn)實的本質(zhì)方面,存在的深層差異所致的。這些深層次的不同促使早期很多教育數(shù)據(jù)挖掘研究者研究智能輔導(dǎo)系統(tǒng)和游戲以及供學(xué)習(xí)者個體使用的技術(shù),而早期很多學(xué)習(xí)分析與知識研究者則重視研究協(xié)作性和基于討論的學(xué)習(xí)環(huán)境,尤其是在大學(xué)層次。因為選擇不同研究方向,很多研究者無緣相識,這或許是學(xué)習(xí)分析研究者舉辦自己的會議而不是參加EDM會議的原因,也可能是教育數(shù)據(jù)挖掘研究者(比如本文第一作者)大多沒有聽說過首屆LAK大公組織者的原因。
但是,為什么學(xué)習(xí)分析研究者和教育數(shù)據(jù)挖掘研究者(大多數(shù))思維不一樣?一種可能的解釋要追溯到公元前4世紀(jì),也就是說即使是本領(lǐng)域最資深的研究者開始從事這方面研究之前這些不同就已經(jīng)存在了。
理查德·麥基翁(Richard McKeon)是20世紀(jì)著名哲學(xué)家,雖然很多人看不懂他的哲學(xué)。他曾經(jīng)闡述四種可以追溯到柏拉圖(Plato)和亞里士多德(Aristotle)的哲學(xué)思想流派(McKeon, 1966):實體論(原子論[atomist]/德謨克里特斯[Democritus])、本體論(柏拉圖)、存在論(詭辯論[sophist]/普羅泰戈拉[Protagoras)和本質(zhì)論(亞里士多德)四種思想流派。沃森(Watson, 1994)和里克(Rich, 2018)對麥基翁的觀點進(jìn)一步擴展和闡釋,方便讀者理解。這些思想流派有各自喜歡使用的“方法”(鑒于本文目的,不妨視為元方法[mets-method]或有關(guān)方法的思維方式)。
簡而言之,還原論(reductionism)是實體學(xué)派的主要方法。還原論在理解現(xiàn)象時把現(xiàn)象分解成為它們的組成部分,然后進(jìn)一步分析這些組成部分之間的關(guān)系。雖然一直以來還原論沒有受到哲學(xué)家的青睞(德謨克里特斯的名聲遠(yuǎn)不及柏拉圖和亞里士多德),但是還原論已經(jīng)發(fā)展成為很多學(xué)科的核心元方法。這里有必要提醒讀者注意,還原論主張所有現(xiàn)象都可以被簡化為物理過程(Sachse, 2013),但是我們采用還原論這種方法時不必接受這種激進(jìn)觀點。
辯證法(Dialectic)是本體論學(xué)派的主要方法。這個學(xué)派認(rèn)為要把現(xiàn)象作為一個整體進(jìn)行理解或者把系統(tǒng)理解為系統(tǒng),只有理解整個系統(tǒng)才能理解其組成部分。這種理解常常通過以下過程得以實現(xiàn):分析看似矛盾的不同觀點以逐步更好地理解某一現(xiàn)象或系統(tǒng),同時使抽象和不完整的理解具體化和更加完整。
麥基翁用于表述另外兩種方法的術(shù)語(運算[operational]和疑難[problematic])較少為人所知,但是它們所代表的思想流派卻是學(xué)界所熟知的。存在論把現(xiàn)實視為從根本上是個人建構(gòu)的,因此認(rèn)為對現(xiàn)象的理解應(yīng)該是現(xiàn)實參與者自己的理解而且這些理解具有不可簡化的合理性(諸如“哲學(xué)建構(gòu)主義”[philosophical constructionism]和“現(xiàn)象理解”[phenomenological understanding]這些術(shù)語時有所見)。存在論經(jīng)常使用本質(zhì)上是描述性的方法,而且拒絕采用通用目的措施(Strohecker, 1991)。
與之相反的本質(zhì)論認(rèn)為天地萬物皆有意義,因此認(rèn)為“數(shù)據(jù)的作用難以講清楚”,并將其當(dāng)成拒絕可解釋的建模方法的理由(Halevy, et al., 2009)。換言之,對現(xiàn)實進(jìn)行直接建模就足夠了,不必說明理論依據(jù)或解釋(這甚至是不足取的)。
我們對這些問題的理解也得益于另外一個理查德——20世紀(jì)和21世紀(jì)設(shè)計領(lǐng)域一個主要思想家理查德(“迪克”)·布坎南(Richard “Dick” Buchanan)。大約有十年的時間,布坎南在卡內(nèi)基梅隆大學(xué)(Carnegie Mellon University)的設(shè)計專題研討班上從交互設(shè)計方法的角度討論以上四種哲學(xué)思想流派。雖然筆者不知道布坎南的這些觀點是否正式成文,但是我們知道因特網(wǎng)上有一些聽課筆記①。布坎南認(rèn)為設(shè)計從實體論角度看是人與物品之間的關(guān)系,從本體論角度看是人與宇宙之間的關(guān)系,從存在論角度看是人與人之間的關(guān)系,而從本質(zhì)論角度講則是人與環(huán)境之間的關(guān)系。
布坎南在講課中提到的一個主要主題是大多數(shù)設(shè)計師更喜歡從其中一種或兩種范式的角度進(jìn)行設(shè)計,并經(jīng)常覺得其他范式似乎令人費解,甚至可能是認(rèn)為故意不想讓人理解,因此不予認(rèn)可。格里諾(Greeno, 1997)和安德森等(Anderson, et al., 1997)之間的辯論便是一個很好的例子。格里諾主張從本體論的“情景主義”(situationalist)角度看認(rèn)知科學(xué),而安德森等則主張采用實體論。安德森等最后把格里諾的范式稱為“形式”,而他們自己的范式才是“實質(zhì)”,格里諾的文章被視為“情景噪音”(situa-babel)。格里諾則把安德森等的文章稱為“回答錯誤問題的主張”。由此可見,雙方視角不同,重點考慮的問題也不同。
(二)四種范式在學(xué)習(xí)分析中的體現(xiàn)
西蒙斯和貝克(Siemens & Baker, 2012)最早嘗試把麥基翁和布坎南等的觀點與學(xué)習(xí)分析聯(lián)系在一起,他們認(rèn)為教育數(shù)據(jù)挖掘的大部分研究“更加強調(diào)把現(xiàn)象還原為組成部分并分析各個組成部分以及它們之間的關(guān)系”(體現(xiàn)實體論/還原論),而大部分學(xué)習(xí)分析研究則“更加強調(diào)把系統(tǒng)視為整體理解并全面理解其復(fù)雜性”(本體論/辯證論)(p.253)。的確,學(xué)習(xí)分析早期的研究認(rèn)為采用還原論從根本上講意味著意義的丟失(Atkisson & Wiley, 2011),西蒙斯和貝克在撰寫續(xù)篇時對有關(guān)問題的討論也反映了布坎南的觀點(采用不同范式的不同研究者對其他范式的態(tài)度)(2012年4月25日電子郵件),比如西蒙斯問道:“你在發(fā)言中提到教育數(shù)據(jù)挖掘強調(diào)還原論。這是你要傳遞的信息嗎?還原論通常包含貶義,至少在人文學(xué)科和社會科學(xué)領(lǐng)域是如此。我認(rèn)為給教育數(shù)據(jù)挖掘貼上還原論標(biāo)簽可能會使其陷入它不想要的處境中?。ㄎ蚁嘈拍愫芮宄€原論的觀點,但我想我還是要提出這個問題,或許你想修改一下措辭。)”我在這里引用西蒙斯的這段話,不是為了批評他(他本人對其他范式持開放態(tài)度),而是為了說明某個人用于表述自己所采用的范式的語言在另一個領(lǐng)域的人看來可能是包含貶義。再如,有些統(tǒng)計學(xué)家用“數(shù)據(jù)挖掘”這個術(shù)語指沒有原則的劣質(zhì)研究(Jensen, 2000)。
根據(jù)西蒙斯和貝克的文章以及兩人的討論,我們或許有理由認(rèn)為學(xué)習(xí)分析(從一開始)主要采用本體論/辯證論范式,而教育數(shù)據(jù)挖掘(從一開始)主要采用實體論/還原論范式。圖1展示了四種范式與相關(guān)領(lǐng)域研究者之間的關(guān)系。
早期EDM大會研究成果中體現(xiàn)實體論/還原論的一些例子包括:
· 把各個知識領(lǐng)域的結(jié)構(gòu)簡化為一套技能,這些技能對應(yīng)相應(yīng)項目(Barnes, 2005),并進(jìn)一步研究具體項目中某一項技能能否彌補另一項技能(Pardos, et al., 2008);
· 研究智能輔導(dǎo)系統(tǒng)哪一種方法最能有效預(yù)測學(xué)生未來表現(xiàn)(Baker, et al., 2008; Pavlik, et al., 2009);
· 通過分析輔助性資源的使用情況和對學(xué)習(xí)表現(xiàn)的直接促進(jìn)作用評價輔助性資源的質(zhì)量(Chang, et al., 2006)。
提交首屆LAK大會的研究成果中體現(xiàn)本體論/辯證論的一些例子:
· 提出分布式學(xué)習(xí)多層次分析的本體論(Suthers & Rosen, 2011);
· 可視化呈現(xiàn)隨著時間推移學(xué)習(xí)者之間交互模式的變化(Bakharia & Dawson, 2011);
· 從社會文化角度分析會議參加者之間各種形式的對話(Ferguson & Shum, 2011)。
更加體現(xiàn)本質(zhì)論范式的研究在早年EDM和LAK大會上相對不受青睞,因為審稿人不看好在不理解現(xiàn)象的情況下對現(xiàn)象進(jìn)行預(yù)測的研究。貝克(Baker, 2012)一書收錄了一項研究,作者試圖根據(jù)全部作業(yè)和考試的成績預(yù)測一門課程的最終成績。這確實有點出乎意料(因為該書的主題是教育大數(shù)據(jù))。然而,L@S大會的舉辦為本質(zhì)論范式研究提供了一個交流舞臺,早期一些例子包括:
· 全面調(diào)查慕課學(xué)習(xí)者何時停止觀看課程視頻和何時交互更加頻繁(Kim, et al., 2014);
· 分析發(fā)帖量更大的學(xué)生特點,包括他們的人口統(tǒng)計信息、年級、注冊學(xué)習(xí)的課程數(shù)量和發(fā)帖的內(nèi)容和背景(Huang, et al., 2014);
· 對學(xué)生在學(xué)習(xí)一種非正式編程語言過程所呈現(xiàn)的模式進(jìn)行聚類,量化分析非正式學(xué)習(xí)(Yang, et al., 2014)。
并非提交L@S大會的所有論文都采用這種范式,第二屆大會(原先明確不鼓勵提交涉及智能輔導(dǎo)系統(tǒng)數(shù)據(jù)的論文,但第二屆放棄執(zhí)行這個政策)收到不少通常參加EDM大會的作者提交的論文。但是,L@S大會為對本質(zhì)論范式感興趣的研究者提供了一個交流舞臺。隨著L@S大會的成功舉辦以及機器學(xué)習(xí)領(lǐng)域熱衷研究高深莫測的算法,即深度學(xué)習(xí)(LeCun, et al., 2015),研究不理解情況下的預(yù)測成為EDM大會論文的一種趨勢,即上文提到的“數(shù)據(jù)的作用難以講清楚”(Halevy, et al., 2009),包括使用深度學(xué)習(xí)對學(xué)生知識(Khajah, et al., 2016)和學(xué)生情感(Botelho, et al., 2018)進(jìn)行建模的算法和給簡答題評分的算法(Zhang, et al., 2016)。
LAK大會也出現(xiàn)與這種趨勢相對應(yīng)的情況,很多原來向AIED或EDM大會提交論文的研究者開始在LAK大會發(fā)表他們的研究成果。比如:
· 研究在慕課學(xué)習(xí)中對不同社會經(jīng)濟地位(能力)的態(tài)度和意見的不同程度如何影響同伴反饋并對此進(jìn)行建模(Choi, et al., 2019);
· 研究學(xué)習(xí)游戲設(shè)計的變化如何對學(xué)習(xí)者的選擇和表現(xiàn)產(chǎn)生實際影響(Harpstead, et al., 2019);
· 分析未能完成作業(yè)現(xiàn)象和這種現(xiàn)象與學(xué)生自信的關(guān)系(Botello, et al., 2019)。
存在論范式總體看較少見。采用這種范式的研究偶爾散見于學(xué)習(xí)分析領(lǐng)域,包括利用學(xué)習(xí)分析和數(shù)據(jù)揭示開放式、自我指導(dǎo)任務(wù)的學(xué)習(xí)情況(Blikstein, 2011; Worsley & Blikstein, 2015)、研究不同學(xué)習(xí)者解決問題的各種不同方法(Martin, et al., 2015)、采用諸如聚類的方法了解不同學(xué)習(xí)者的更深層次差異(Amershi & Conati, 2009),以及對學(xué)習(xí)相同課程的大學(xué)生和高中生的話語模式的差別進(jìn)行認(rèn)知網(wǎng)絡(luò)分析(Shaffer & Ruis, 2017)。至此,存在論范式研究者還沒有在學(xué)習(xí)分析相關(guān)的各種會議找到一個“可靠的家”,比如伯蘭、貝克和博利施泰因(Berland, Baker, & Blikstein, 2014)的學(xué)習(xí)分析在建構(gòu)主義(constructionist)的應(yīng)用宣言發(fā)表于《技術(shù)、知識與學(xué)習(xí)》(Technology, Knowledge, and Learning)期刊,而不是主流的學(xué)習(xí)分析出版物/場合。伯蘭和博利施泰因早期的幾篇文章發(fā)表在學(xué)習(xí)分析出版物/場合之后,近年已經(jīng)另辟蹊徑發(fā)表他們的研究成果。
相比之下,量化民族志研究者創(chuàng)辦自己的學(xué)術(shù)會議——ICQE大會,以彌補學(xué)習(xí)分析領(lǐng)域沒有向他們提供相應(yīng)舞臺的缺陷(雖然認(rèn)知網(wǎng)絡(luò)分析在計算機支持協(xié)作學(xué)習(xí)大會獲得成功)。ICQE大會的范圍不僅包括學(xué)習(xí)或教育,舉辦這個大會的部分目的是擴大研究領(lǐng)域和研究方法,雖然首屆大會的正式論文中78%涉及學(xué)習(xí)或教育方面的研究。
提交首屆ICEQ大會的論文包括:
· 分析職前教師診斷性推論上的差別(Bauer, et al., 2019)。
· 采用認(rèn)知網(wǎng)絡(luò)分析呈現(xiàn)一個在線游戲社區(qū)資深成員隨著時間推移身份的變化(Barany & Foster, 2019);
· 了解學(xué)生面對動機或理解方面問題時在如何調(diào)節(jié)協(xié)作學(xué)習(xí)方面的不同(Melzner, et al., 2019)。
有趣的是,雖然首屆ICEQ大會舉辦地麥迪遜是建構(gòu)主義學(xué)習(xí)分析研究的中心,但是提交首屆大會的論文沒有涉及建構(gòu)主義學(xué)習(xí)環(huán)境的研究。這在某種程度上講可能是因量化民族志所采用的主要方法所致的,即認(rèn)知網(wǎng)絡(luò)分析以及相關(guān)方法體現(xiàn)的是采用存在論范式處理大規(guī)模教育數(shù)據(jù),當(dāng)然這不是唯一的方法。雖然一些建構(gòu)主義學(xué)習(xí)分析使用了網(wǎng)絡(luò)分析方法(比如:Martin, et al., 2015),但是很多研究也同時使用其他方法。建構(gòu)學(xué)習(xí)分析研究者未來將在何處“安家”目前尚不清楚。
近來出現(xiàn)了一個變化,即存在論范式研究在學(xué)習(xí)分析會議和期刊占有更大的份額,比如《學(xué)習(xí)分析期刊》最近出版“以人為中心的學(xué)習(xí)分析”主題專刊,其前言提出學(xué)習(xí)分析研究要“承認(rèn)對現(xiàn)實的理解因環(huán)境而異……必須從學(xué)習(xí)分析主要重視量化,向有助于詳細(xì)闡述說為什么和如何使用學(xué)習(xí)分析以及為什么學(xué)習(xí)分析可能被誤用或被忽視的轉(zhuǎn)變”(Buckingham Shum, et al., 2019, p. 6)。與之相呼應(yīng)的是2020年LAK大會出現(xiàn)了一大批采用認(rèn)知網(wǎng)絡(luò)分析方法的論文(比如:Chen, Rolim, et al., 2020; Ferreira, et al., 2020; Saint, et al., 2020; Swiecki & Shaffer, 2020; Uzir, et al., 2020; Whitelock-Wainwright, et al., 2020)。
總的來看,上述四種范式分別主要在四個與學(xué)習(xí)分析相關(guān)學(xué)術(shù)會議“安家”:實體論/還原論是EDM大會,本體論/辯證論是LAK大會,本質(zhì)論是L@S大會,存在論是ICEQ大會。近來,EDM大會擴大范圍,也接受本質(zhì)論范式研究,LAK大會也一樣,接受實體論/還原論和存在論范式研究。這些對應(yīng)關(guān)系還在繼續(xù)變化,因此現(xiàn)在難以斷言以這些會議為中心而形成的不同研究者共同體最終將采用什么范式。
四、各種范式在學(xué)習(xí)分析實踐中的主要位置
正如庫恩(Kuhn, 1962)的經(jīng)典論著《科學(xué)革命的結(jié)構(gòu)》(The Structure of Scientific Revolutions)所指出的,當(dāng)一個科學(xué)領(lǐng)域存在一種以上相互競爭的思維范式時,經(jīng)常會出現(xiàn)這種情況:其中一種范式會爭取在競爭中“勝出”并獨霸整個領(lǐng)域。雖然庫恩明確指出他的理論不適用于社會科學(xué),但是以心理學(xué)為例,過去幾十年對庫恩的理論有過很多討論(Coleman & Salamon, 1988)。當(dāng)然,上文提到的安德森等(Anderson, et al., 1997)和格里諾(Greeno, 1997)之間的辯論也證明不同范式陣營的人對何種范式才是“正確的”范式意見甚為相左。從廣義的學(xué)習(xí)分析領(lǐng)域衍生出來的專業(yè)性更強的學(xué)術(shù)會議也證明,研究者都希望能找到一個與自己認(rèn)識世界的方式相配的“知識家園”,而同樣的情況還有上文提到的相關(guān)學(xué)術(shù)會議范圍的擴大變化,比如本來提交EDM大會的一些研究(實體論范式)轉(zhuǎn)而投給(主要接受本體論/辯證論范式研究的)LAK大會,另一方面EDM大會開始接受本質(zhì)論范式研究等。
并非所有研究者和實踐者都采用相同范式,因此我們認(rèn)為不同范式的存在很自然,也是好事,有益于學(xué)習(xí)分析的發(fā)展。學(xué)習(xí)分析給我們這些研究者和實踐者帶來復(fù)雜挑戰(zhàn)(參見:Baker, 2019; Pelánek, 2020),這些挑戰(zhàn)如此艱巨,非任何一種范式能解決。學(xué)習(xí)分析給教育界帶來非常重要的機會,不能因為教育內(nèi)部的“派別之爭”而浪費這些機會。
然而,我們認(rèn)為各種會議“各行其道”這種“不相往來”的態(tài)度不足取(幸運的是,如上所述,現(xiàn)在沒有出現(xiàn)這種情況)。符合規(guī)律的做法是某一個會議和社區(qū)選擇與自身對知識的認(rèn)識相適應(yīng)的研究問題,聚焦這些問題。EDM大會或許是這種做法的一個好例子。EDM大會特別關(guān)注預(yù)測問題的準(zhǔn)確性和(或)知識的推斷,2019年的大會一共收到28篇這個主題的論文!
我們認(rèn)為不同思維范式陣營的研究者必須加強協(xié)作,除了保持本領(lǐng)域跨學(xué)科特點外,朝著“跨范式”研究方向發(fā)展。帕夫利克和托特(Pavlik & Toth, 2010)在談到智能輔導(dǎo)系統(tǒng)實踐社區(qū)存在的不同觀點時指出:“從根本上講,雖然這些觀點可能有所不同……但是在這種情況下它們能互為補充和相互加強?!保╬. 105)
正因如此,我們認(rèn)為一種范式的方法在解決另一種范式的短板問題上可能發(fā)揮非常有效的作用。下面我們擬提出一些可能的做法。
第一種做法其實已經(jīng)存在?;诒举|(zhì)論范式、更加適合使用數(shù)據(jù)的高深莫測模型正在為教育數(shù)據(jù)挖掘領(lǐng)域所接受,因為在很多情況下更好的預(yù)測本身是一件好事。雖然預(yù)測準(zhǔn)確性不是一個模型的唯一目標(biāo),但是我們有充分理由選擇AUC ROC值0.75的模型,而不選擇AUC ROC值0.65 的模型。高深莫測、預(yù)測能力強的模型對我們?nèi)粘I町a(chǎn)生變革性影響,比如在語音識別方面。關(guān)鍵是必須明確哪些情況需要更高的預(yù)測準(zhǔn)確率并且有解決效度問題的好辦法,因為準(zhǔn)確率的優(yōu)化可能帶來其他效度問題,因此既要能夠發(fā)現(xiàn)這些問題又要能夠減少這些因素的影響。比如,楊和楊(Yeung & Yeung, 2018)提出了一個學(xué)生知識估測深度學(xué)習(xí)模型,發(fā)現(xiàn)一些效度問題,然后通過正則化(regularization)在不降低模型預(yù)測準(zhǔn)確率的情況下解決這些問題。把本質(zhì)論范式在預(yù)測準(zhǔn)確率方面的優(yōu)勢與實體論范式重視效度的優(yōu)勢相結(jié)合,這可能有助于解決實體論范式和辯證論范式學(xué)習(xí)分析實踐者所希望解決的問題。
基于本質(zhì)論范式的強大預(yù)測力與基于實體論范式逐一考慮各組成部分的效度相結(jié)合對其他范式的研究可能大有裨益。教育數(shù)據(jù)挖掘研究采用實體論范式已經(jīng)證明有助于各種“模型發(fā)現(xiàn)”(discovery with models)分析(某種現(xiàn)象的模型被用于更深入理解這種現(xiàn)象,甚至是其他現(xiàn)象)(Baker & Yacef, 2009)。多年來,模型發(fā)現(xiàn)是教育數(shù)據(jù)挖掘研究采用的一種重要方法,比如貝克和亞瑟夫(Baker & Yacef, 2009)的文獻(xiàn)綜述中19%的論文以及2019年EDM大會18%正式論文均采用模型發(fā)現(xiàn)方法。LAK在系統(tǒng)方面的研究中經(jīng)常依靠相對簡單的構(gòu)念(比如投入),導(dǎo)致在制訂其測評指標(biāo)的時候困難重重(Kovanovic, et al., 2016)。如果在這些分析中采用預(yù)測能力更強、經(jīng)過更加全面驗證的模型,則有可能獲得更豐富、更可信的結(jié)果。同樣,量化民族志的很多研究給復(fù)雜的認(rèn)知網(wǎng)絡(luò)分析輸入相對簡單的測評指標(biāo),或者是依靠人工窮盡編碼或使用正則表達(dá)式匹配(regular expression matching)生成數(shù)據(jù)輸入認(rèn)知網(wǎng)絡(luò)分析(比如:Cai, et al., 2019)。如果在認(rèn)知網(wǎng)絡(luò)分析中采用預(yù)測能力更強、經(jīng)過更加全面驗證的模型,則可能做到深層次考慮教育數(shù)據(jù)挖掘和大規(guī)模學(xué)習(xí)領(lǐng)域現(xiàn)在能夠測量的不同復(fù)雜類型構(gòu)念之間的關(guān)系(比如對語篇的自動編碼[Ferreira, et al., 2020])。
實體論范式發(fā)現(xiàn)復(fù)雜構(gòu)念的能力有益于其他范式的研究。很多存在論范式研究涉及對具體案例進(jìn)行質(zhì)性深度分析——這是一個非常費力的過程(Sherin, et al., 2018)。雖然可視化能提高分析過程的速度(Shaffer & Ruis, 2017; Sherin, et al., 2018),但是收集質(zhì)性數(shù)據(jù)經(jīng)常可能是一個深入而又耗時的過程,因此使用自動化模型加快質(zhì)性數(shù)據(jù)的收集和分析的速度可能大有裨益。如果我們能夠確定我們特別感興趣的案例,我們便能集中分析這些案例。更值得稱道的是,如果我們能夠確定對哪些正在發(fā)生的案例感興趣,我們便能夠集中收集它們的質(zhì)性數(shù)據(jù),如訪談和觀察。比如,觀察到學(xué)生情緒變化時馬上向現(xiàn)場質(zhì)性研究者發(fā)出提醒,研究者便能夠在這種情緒變化的一分鐘之內(nèi)對該學(xué)生進(jìn)行訪談(Baker, in preparation)。
存在論范式可能在幾個方面支持其他范式的研究。量化民族志和其他存在論范式方法很可能有助于更好地理解其他范式機器學(xué)習(xí)模型所研究的現(xiàn)象。比較現(xiàn)象可見和現(xiàn)象不可見在行為上的關(guān)系(比較認(rèn)知網(wǎng)絡(luò))可能有助于我們更好地了解這種現(xiàn)象發(fā)生的原因(比如:Karumbaiah, et al., 2019),構(gòu)建發(fā)現(xiàn)這種現(xiàn)象的更有效特征工程(feature engineering)。從現(xiàn)象學(xué)的角度了解編碼者發(fā)現(xiàn)一個構(gòu)念的推理過程也可能更好地發(fā)現(xiàn)這個構(gòu)念。比如帕克特等(Paquette, et al., 2014)采用知識工程方法研究編碼者是如何發(fā)現(xiàn)“鉆空子”現(xiàn)象的,并把結(jié)果用于發(fā)現(xiàn)其他學(xué)習(xí)系統(tǒng)相同現(xiàn)象且無須重新訓(xùn)練模型(Paquette & Baker, 2019)。
民族志和其他存在論范式在學(xué)習(xí)分析研究中可能還有一個重要用途,不是在建模階段,而是在使用這些模型的階段。如上所述,民族志方法在設(shè)計干預(yù)方面可能發(fā)揮重要作用,不管是報告還是自動干預(yù),教師、學(xué)生和其他利益相關(guān)者都可能發(fā)現(xiàn)它們有用、實用和可取(參見:Buckingham Shum, et al., 2019; Holstein, et al., 2019)。雖然這方面的研究一般可能以辯證論或?qū)嶓w論范式學(xué)習(xí)分析與人機交互實踐者或傳統(tǒng)民族志研究者之間相互協(xié)作的形式進(jìn)行,但是量化民族志能夠開發(fā)更加符合利益相關(guān)者的思維,因而他們覺得更為可取的模型。用戶常常對模型如何工作以及是否有作用產(chǎn)生懷疑(Rientes, et al., 2018),因此,如果模型更符合人類思維方式,這可能有助于克服目前學(xué)習(xí)分析推廣應(yīng)用的障礙。
從另一個方面看,學(xué)習(xí)分析能夠使量化民族志實現(xiàn)系統(tǒng)層面的理解。民族志是一種存在論范式方法,能夠使我們?nèi)嫔钊肓私馍钌钪哺诰唧w環(huán)境的個人經(jīng)歷。雖然它能為構(gòu)建符合利益相關(guān)者思維方式的模型和工具提供寶貴見解,但是這種方法很難考慮更加寬泛的系統(tǒng)層面問題。相比之下,主要采用本體論范式的學(xué)習(xí)分析則能夠提供系統(tǒng)層面的理解。未來一個富有成效的研究方向是研究如何采用民族志方法全面揭示利益相關(guān)者對學(xué)習(xí)分析的期望和使用經(jīng)驗(Pontual Falc?o, et al., 2020),并把這個結(jié)果融入能模擬相關(guān)政策和策略的系統(tǒng)影響的模型中(Dawson, et al., 2019)。另一個相關(guān)的例子是社會認(rèn)知網(wǎng)絡(luò)標(biāo)記(Social and Epistemic Network Signature,SENS)(Ga?evi , et al., 2019; Swiecki & Shaffer, 2020),這種方法把社會網(wǎng)絡(luò)分析(本體論范式)和認(rèn)知網(wǎng)絡(luò)分析(存在論范式)相結(jié)合,用于分析網(wǎng)絡(luò)和協(xié)作學(xué)習(xí)的社會和認(rèn)知維度。
五、結(jié)束語
本文討論了對大數(shù)據(jù)和數(shù)據(jù)科學(xué)教育用途感興趣的四個共同體(學(xué)習(xí)分析、教育數(shù)據(jù)挖掘、大規(guī)模學(xué)習(xí)和量化民族志)之間的關(guān)系和最主要的不同之處。
我們認(rèn)為這四個共同體所開展的不同工作在很大程度上可以從四種哲學(xué)范式的角度進(jìn)行解釋。這四種范式追溯到古希臘哲學(xué)的起源,而本文采用理查德·麥基翁和理查德·布坎南提出的框架并做適當(dāng)修改。雖然上述四個共同體各自舉辦的四種學(xué)術(shù)會議與這四種范式不存在嚴(yán)格的對應(yīng)關(guān)系,但是這些范式與四個共同體各自的研究存在驚人的對應(yīng)程度。
我們希望每一個人都更好地了解自己的哲學(xué)觀對研究和實踐的影響。通過了解自己,我們便能夠更加深入地了解我們做出具體選擇的原因并從遵循這種哲學(xué)傳統(tǒng)的其他研究中尋找類似的東西。通過了解更大學(xué)術(shù)領(lǐng)域同行對他們的研究和實踐所持的哲學(xué)觀,我們便能夠更好地了解他們做出具體選擇的原因以及這些選擇與(有時是不可言傳的)深層哲學(xué)理念的關(guān)系,明白他們不是因為無知、懶惰或愚蠢才做出這些選擇的。
或許更重要的是,通過了解我們同行的哲學(xué)觀,我們可能能夠更好地理解他們看問題的視角(我們原先做不到,因為不了解他們的哲學(xué)觀),更好地向他們學(xué)習(xí)。我們因此更可能能夠設(shè)計充分利用各自優(yōu)勢的研究課題,為本領(lǐng)域做出貢獻(xiàn),也能服務(wù)好我們的學(xué)生。本文闡述了不同共同體的合作可能帶來的新關(guān)系和研究課題。當(dāng)然,各方加強彼此聯(lián)系和協(xié)作的機會并不限于本文所述,還有很多可能性是我們現(xiàn)在還想象不到的。一言以蔽之,我們這個領(lǐng)域希望解決的挑戰(zhàn)不可能通過某一種方法或一套工具得以解決。我們必須共同面對,一起解決。
【利益沖突聲明】筆者聲明不存在可能影響本研究的已知經(jīng)濟利益沖突或個人問題。
[參考文獻(xiàn)]
Amershi, S., & Conati, C. (2009). Combining unsupervised and supervised classification to build user models for exploratory learning environments. Journal of Educational Data Mining, 1(1), 18-71.
An, P., Bakker, S., Ordanovski, S., Taconis, R., Paffen, C. L., & Eggen, B. (2019). Unobtrusively enhancing reflection-in-action of teachers through spatially distributed ambient information. In Proceedings of the 2019 CHI conference on human factors in computing systems (paper no. 91). Association for Computing Machinery.
Anderson, J. R., Reder, L. M., & Simon, H. A. (1997). Situative versus cognitive perspectives: Form versus substance. Educational Researcher, 26(1), 18-21.
Atkisson, M., & Wiley, D. (2011). Learning analytics as interpretive practice: Applying westerman to educational intervention. In Proceedings of the 1st international conference on learning analytics and knowledge (pp. 117-121). Association for Computing Machinery.
Baker, R. S. (2012). Big data and education (1st ed.). Columbia University. Teachers College.
Baker, R. S. (2019). Challenges for the future of educational data mining: The Baker learning analytics prizes. Journal of Educational Data Mining, 11(1), 1-17.
Baker, R. S. J.d., Corbett, A. T., & Aleven, V. (2008). Improving contextual models of guessing and slipping with a truncated training set. In R. de Baker, T. Barnes, & J. Beck (Eds.), Proceedings of the 1st international conference on educational data mining (pp. 67-76). International Educational Data Mining Society.
Baker, R. S. J. d., & Yacef, K. (2009). The state of educational data mining in 2009: A review and future visions. Journal of Educational Data Mining, 1(1), 3-17.
Bakharia, A., & Dawson, S. (2011). SNAPP: A bird’s-eye view of temporal participant interaction. In Proceedings of the 1st international Conference on learning Analytics and knowledge (pp. 168- 173). Association for Computing Machinery.
Barany, A., & Foster, A. (2019). Examining identity exploration in a video game participatory culture. In B. Eagan, M. Misfeldt, & A. Siebert-Evenstone (Eds.), Advances in quantitative ethnography (pp. 3-13). Springer.
Barnes, T. (2005). The Q-matrix method: Mining student response data for knowledge. In J. E. Beck (Ed.), Proceedings of AAAI 2005 educational data mining workshop (pp. 39-46). Association for the Advancement of Artificial Intelligence.
Bauer, E., Sailer, M., Kiesewetter, J., Schulz, C., Pfeiffer, J., Gurevych, I., Fischer, M., & Fischer, F. (2019). Using ENA to analyze pre-service teachers’ diagnostic argumentations: A conceptual framework and initial applications. In B. Eagan, M. Misfeldt, & A. Siebert-Evenstone (Eds.), Advances in quantitative ethnography (pp. 14-25). Springer.
Berland, M., Baker, R. S., & Blikstein, P. (2014). Educational data mining and learning analytics: Applications to constructionist research. Technology, Knowledge and Learning, 19, 205-220.
Blikstein, P. (2011). Using learning analytics to assess students’ behavior in open-ended programming tasks. In Proceedings of the 1st international conference on learning analytics and knowledge (pp. 110-116). Association for Computing Machinery.
Bodily, R., Kay, J., Aleven, V., Jivet, I., Davis, D., Xhakaj, F., & Verbert, K. (2018, March). Open learner models and learning analytics dashboards: a systematic review. In Proceedings of the 8th international conference on learning analytics and knowledge (pp. 41-50).
Bodily, R., & Verbert, K. (2017). Review of research on student-facing learning analytics dashboards and educational recommender systems. IEEE Transactions on Learning Technologies, 10(4), 405-418.
Botelho, A. F., Baker, R., Ocumpaugh, J., & Heffernan, N. (2018). Studying affect dynamics and chronometry using sensor-free detectors. In K. E. Boyer, & M. Yudelson (Eds.), Proceedings of the 11th international conference on educational data mining (pp. 157-166). International Educational Data Mining Society.
Botelho, A. F., Varatharaj, A., Inwegen, E. G. V., & Heffernan, N. T. (2019). Refusing to try: Characterizing early stopout on student assignments. In Proceedings of the 9th international conference on learning analytics & knowledge (pp. 391-400). Association for Computing Machinery.
Bowers, A. J., Sprott, R., & Taff, S. A. (2012). Do we know who will drop out? A review of the predictors of dropping out of high school: Precision, sensitivity, and specificity. High School Journal, 96(2), 77-100.
Buckingham Shum, S., Ferguson, R., & Martinez-Maldonado, R. (2019). Human-centred learning analytics. Journal of Learning Analytics, 6(2), 1-9.
Buckingham Shum, S., & Luckin, R. (2019). Learning analytics and AI: Politics, pedagogy and practices. British Journal of Educational Technology, 50(6), 2785-2793.
Cai, Z., Siebert-Evenstone, A., Eagan, B., Shaffer, D. W., Hu, X., & Graesser, A. C. (2019). nCoder+: A semantic tool for improving recall of nCoder coding. In B. Eagan, M. Misfeldt, & A. Siebert-Evenstone (Eds.), Advances in quantitative ethnography (pp. 41-54). Springer.
Campbell, J. P., DeBlois, P. B., & Oblinger, D. (2007). Academic analytics: A new tool for a new era. Educause Review, 42(4), 40-57.
Chang, K. M., Beck, J. E., Mostow, J., & Corbett, A. (2006). Does help help? A Bayes net approach to modeling tutor interventions. In Proceedings of the 21st annual Meeting of the American Association for artificial intelligence (pp. 41-46). American Association for Artificial Intelligence.
Chatti, M. A., Dyckhoff, A. L., Schroeder, U., & Thüs, H. (2012). A reference model for learning analytics. International Journal of Technology Enhanced Learning, 4(5-6), 318-331.
Chaturapruek, S., Dee, T. S., Johari, R., Kizilcec, R. F., & Stevens, M. L. (2018). How a data-driven course planning tool affects college students’ GPA: Evidence from two field experiments. In Proceedings of the fifth annual ACM conference on learning at scale (p. 63). Association for Computing Machinery.
Chen, G., Rolim, V., Mello, R. F., & Ga?evi , D. (2020). Let’s shine together! A comparative study between learning analytics and educational data mining. In Proceedings of the tenth international conference on learning analytics & knowledge (pp. 544-553). Association for Computing Machinery.
Chen, X., Zou, D., Cheng, G., & Xie, H. (2020). Detecting latent topics and trends in educational technologies over four decades using structural topic modeling: A retrospective of all volumes of computers & education. Computers & Education, 151, 103855.
Choi, H., Dowell, N., Brooks, C., & Teasley, S. (2019). Social comparison in MOOCs: Perceived SES, opinion, and message formality. In Proceedings of the 9th international conference on learning analytics & knowledge (pp. 160-169). Association for Computing Machinery.
Clow, D. (2012). The learning analytics cycle: Closing the loop effectively. In Proceedings of the 2nd international conference on learning analytics and knowledge (pp. 134-138). Association for Computing Machinery.
Coleman, S. R., & Salamon, R. (1988). Kuhn’s Structure of scientific revolutions in the psychological journal literature, 1969-1983: A descriptive study. The Journal of Mind and Behavior, 9(4), 415-446.
Colvin, C., Rogers, T., Wade, A., Dawson, S., Ga?evi , D., Buckingham Shum, S., Nelson, K., Alexander, S., Lockyer, L., Kennedy, G., Corrin, L., & Fisher, J. (2015). Student retention and learning analytics: A snapshot of Australian practices and a framework for advancement. Office of Learning and Teaching, Australian Government. Retrieved from http://he-analytics.com/wp-content/uploads/SP13-3249_-Master17Aug2015-web.pdf
Corrin, L., & de Barba, P. (2014). Exploring students’ interpretation of feedback delivered through learning analytics dashboards. In Proceedings of the ASCILITE 2014 conference (pp. 629-633). Australasian Society for Computers in Learning in Tertiary Education.
Dawson, S., Ga?evi , D., Siemens, G., & Joksimovic, S. (2014, March). Current state and future trends: A citation network analysis of the learning analytics field. In Proceedings of the fourth international conference on learning analytics and knowledge (pp. 231-240).
Dawson, S., Joksimovic, S., Poquet, O., & Siemens, G. (2019). Increasing the impact of learning analytics. In Proceedings of the 9th international conference on learning analytics & knowledge (pp. 446-455). Association for Computing Machinery.
Dawson, S., Poquet, O., Colvin, C., Rogers, T., Pardo, A., & Ga?evi , D. (2018). Rethinking learning analytics adoption through complexity leadership theory. In Proceedings of the 8th international conference on learning analytics and knowledge (pp. 236-244). Association for Computing Machinery.
Essa, A. (2016). A possible future for next generation adaptive learning systems. Smart Learning Environments, 3(16), 1-24.
Ferguson, R. (2012). Learning analytics: Drivers, developments and challenges. International Journal of Technology Enhanced Learning, 4(5), 304-317.
Ferguson, R., & Shum, S. B. (2011). Learning analytics to identify exploratory dialogue within synchronous text chat. In Proceedings of the 1st international conference on learning analytics and knowledge (pp. 99-103). Association for Computing Machinery.
Ferreira, M., Rolim, V., Mello, R. F., Lins, R. D., Chen, G., & Ga?evi , D. (2020). Towards automatic content analysis of social presence in transcripts of online discussions. In Proceedings of the tenth international conference on learning analytics & knowledge (pp. 141-150). Association for Computing Machinery.
Ga?evi , D., Joksimovi , S., Eagan, B. R., & Shaffer, D. W. (2019). SENS: Network analytics to combine social and cognitive perspectives of collaborative learning. Computers in Human Behavior, 92, 562-577.
Ga?evi , D., Kovanovi , V., & Joksimovi , S. (2017). Piecing the learning analytics puzzle: A consolidated model of a field of research and practice. Learning: Research and Practice, 3(1), 63-78.
Google Scholar. (2020). Educational technology [Citation count]. Retrieved from https://scholar.google.ca/citations?view_op=top_venues&hl=en& vq=soc_educationaltechnology
Greeno, J. G. (1997). On claims that answer the wrong questions. Educational Researcher, 26(1), 5-17.
Greller, W., & Drachsler, H. (2012). Translating learning into numbers: A genericframework for learning analytics. Journal of Educational Technology & Society, 15(3), 42-57.
Halevy, A., Norvig, P., & Pereira, F. (2009). The unreasonable effectiveness of data. IEEE Intelligent Systems, 24(2), 8-12.
Harpstead, E., Richey, J. E., Nguyen, H., & McLaren, B. M. (2019). Exploring the subtleties of agency and indirect control in digital learning games. In Proceedings of the 9th international conference on learning analytics & knowledge (pp. 121-129). Association for Computing Machinery.
Holstein, K., McLaren, B. M., & Aleven, V. (2019). Co-designing a real-time classroom orchestration tool to support teacher-AI complementarity. Journal of Learning Analytics, 6(2), 27-52.
Huang, J., Dasgupta, A., Ghosh, A., Manning, J., & Sanders, M. (2014). Superposter behavior in MOOC forums. In Proceedings of the first ACM conference on learning @scale conference (pp. 117-126). Association for Computing Machinery.
Jacobson, M. J., Kapur, M., & Reimann, P. (2016). Conceptualizing debates in learning and educational research: Toward a complex systems conceptual framework of learning. Educational Psychologist, 51(2), 210-218.
Jensen, D. (2000). Data snooping, dredging and fishing: The dark side of data mining a SIGKDD99 panel report. SIGKDD Explorations, 1(2), 52-54.
Jovanovi , J., Ga?evi , D., Brooks, C., Devedzic, V., Hatala, M., Eap, T., & Richards, G. (2008). LOCO-Analyst: Semantic web technologies in learning content usage analysis. International Journal of Continuing Engineering Education and Life Long Learning, 18(1), 54-76.
Karumbaiah, S., Baker, R. S., Barany, A., & Shute, V. (2019). Using epistemic networks with automated codes to understand why players quit levels in a learning game. In B. Eagan, M. Misfeldt, & A. Siebert-Evenstone (Eds.), Advances in quantitative ethnography (pp. 106-116). Springer.
Khajah, M., Lindsey, R. V., & Mozer, M. C. (2016). How deep is knowledge tracing? In T. Barnes, M. Chi, & M. Feng (Eds.), Proceedings of the 9th international conference on educational data mining (pp. 94-101). International Educational Data Mining Society.
Kim, J., Guo, P. J., Seaton, D. T., Mitros, P., Gajos, K. Z., & Miller, R. C. (2014). Understanding in-video dropouts and interaction peaks in online lecture videos. In Proceedings of the first ACM
Kovanovic, V., Ga?evi , D., Dawson, S., Joksimovic, S., Baker, R. S., & Hatala, M. (2016). Does time-on-task estimation matter? Implications on validity of learning analytics findings. Journal of Learning Analytics, 2(3), 81-110.
Kuhn, T. S. (1962). The structure of scientific revolutions (1st ed.). University of Chicago Press.
Lang, C., Siemens, G., Wise, A., & Ga?evi , D. (2017). Handbook of learning analytics (1st ed.). Society for Learning Analytics and Research. https://doi.org/10.18608/hla17.
LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436-444.
Li, H., Gobert, J., Dickler, R., & Moussavi, R. (2018). The impact of multiple real-time scaffolding experiences on science inquiry practices. In R. Nkambou, R. Azevedo, & J. Vassileva (Eds.), Intelligent tutoring systems: 14th international conference proceedings (pp. 99-109). Springer.
Lingard, B., & Lewis, S. (2016). Globalisation of the Anglo-American approach to topdown, test-based educational accountability. In G. T. L. Brown, & L. R. Harris (Eds.), Handbook of human and social conditions in assessment (1st ed.) (pp. 387-403). Routledge.
Long, P. D., Siemens, G., Conole, G., & Ga?evi , D. (Eds.). (2011). LAK’11: Proceedings of the 1st international conference on learning analytics and knowledge. Association for Computing Machinery.
Lonn, S., Aguilar, S. J., & Teasley, S. D. (2015). Investigating student motivation in the context of a learning analytics intervention during a summer bridge program. Computers in Human Behavior, 47, 90-97.
Lynch, C. F. (2017). Who prophets from big data in education? New insights and new challenges. Theory and Research in Education, 15(3), 249-271.
Macfadyen, L. P., Dawson, S., Pardo, A., & Ga?evi , D. (2014). Embracing big data in complex educational systems: The learning analytics imperative and the policy challenge. Research & Practice in Assessment, 9(Winter), 17-28.
Martin, T., Petrick Smith, C., Forsgren, N., Aghababyan, A., Janisiewicz, P., & Baker, S. (2015). Learning fractions by splitting: Using learning analytics to illuminate the development of mathematical understanding. The Journal of the Learning Sciences, 24 (4), 593-637.
Matcha, W., Ahmad Uzir, N., Ga?evi , D., & Pardo, A. (2020). A systematic review of empirical studies on learning analytics dashboards: A self-regulated learning perspective. IEEE Transactions on Learning Technologies, 13(2), 226-245.
McKeon, R. (1966). Philosophic semantics and philosophic inquiry. In Z. K. Mckeon (Ed.), Freedom and history and other essays: An introduction to the thought of Richard McKeon (pp. 242-256). The University of Chicago Press.
Melzner, N., Greisel, M., Dresel, M., & Kollar, I. (2019). Using process mining (PM) and epistemic network analysis (ENA) for comparing processes of collaborative problem regulation. In B. Eagan, M. Misfeldt, & A. Siebert-Evenstone (Eds.), Advances in quantitative ethnography (pp. 154-164). Springer.
Paquette, L., & Baker, R. S. (2019). Comparing machine learning to knowledge engineering for student behavior modeling: A case study in gaming the system. Interactive Learning Environments, 27(5-6), 585-597.
Paquette, L., de Carvalho, A. M. J. A., & Baker, R. S. (2014). Towards understanding expert coding of student disengagement in online learning. In Proceedings of the 36th annual cognitive science conference (pp. 1126-1131). Cognitive Science Society.
Pardos, Z., Heffernan, N., Ruiz, C., & Beck, J. (2008). The composition effect: Conjuntive or compensatory? An analysis of multi-skill math questions in ITS. In R. S. J. d. Baker, T. Barnes, & J. E. Beck (Eds.), Proceedings of the 1st international conference on educational data mining (pp. 147-156). International Educational Data Mining Society.
Pavlik, P. I., Jr., Cen, H., & Koedinger, K. R. (2009). Learning factors transfer analysis: Using learning curve analysis to automatically generate domain models. In T. Barnes, M. Desmararis, C. Romero, & S. Ventura (Eds.), Proceedings of the 2nd international conference on educational data mining (pp. 121-130). International Educational Data Mining Society.
Pavlik, P., & Toth, J. (2010). How to build bridges between intelligent tutoring system subfields of research. In V. Aleven, J. Kay, & J. Mostow (Eds.), Intelligent tutoring systems: 10th international conference, proceedings Part II (pp. 103-112). Springer.
Pelánek, R. (2020). Learning analytics challenges: Trade-offs, methodology, scalability. In Proceedings of the tenth international conference on learning analytics & knowledge (pp. 554-558). Association for Computing Machinery.
Pontual Falc?o, T., Ferreira Mello, R., Rodrigues, R. L., Diniz, J. R. B., Tsai, Y. S., & Ga?evi , D. (2020). Perceptions and expectations about learning analytics from a Brazilian higher education institution. In Proceedings of the tenth international conference on learning analytics & knowledge (pp. 240-249).
Rich, M. H. (2018). McKeon's semantics of communication: A pragmatic exploration of the communicative arts. Empedocles: European Journal for the Philosophy of Communication, 9(1), 5-24.
Rienties, B., Herodotou, C., Olney, T., Schencks, M., & Boroowa, A. (2018). Making sense of learning analytics dashboards: A technology acceptance perspective of 95 teachers. International Review of Research in Open and Distance Learning, 19(5), 186-202.
Ritter, S., Yudelson, M., Fancsali, S. E., & Berman, S. R. (2016). How mastery learning works at scale. In Proceedings of the third ACM conference on learning @ scale (pp. 71-79). Association for Computing Machinery.
Sachse, C. (2013). Reductionism in the philosophy of science (Vol. 11). Walter de Gruyter.
Saint, J., Ga?evi , D., Matcha, W., Uzir, N. A. A., & Pardo, A. (2020). Combining analytic methods to unlock sequential and temporal patterns of self-regulated learning. In Proceedings of the tenth international conference on learning analytics & knowledge (pp. 402-411).
Sales, A., Botelho, A. F., Patikorn, T., & Heffernan, N. T. (2018). Using big data to sharpen design-based inference in A/B tests. In K. E. Boyer, & M. Yudelson (Eds.), Proceedings of the 11th international conference on educational data mining (pp. 479-485). International Educational Data Mining Society.
Sclater, N., & Bailey, P. (2015). Code of practice for learning analytics. Jisc. Retrieved from https://www.jisc.ac.uk/guides/code-of-practice- for-learning-analytics
Settles, B., & Meeder, B. (2016). A trainable spaced repetition model for language learning. In K. Erk, & N. A. Smith (Eds.), Proceedings of the 54th annual meeting of the association for computational linguistics (Vol. 1, pp. 1848-1858). Long papers.
Shaffer, D., & Ruis, A. (2017). Epistemic network analysis: A worked example of theory-based learning analytics. In C. Lang, G. Siemens, A. Wise, & D. Ga?evi (Eds.), Handbook of learning analytics (pp. 175-187). SoLAR.
Sherin, B., Kersting, N., & Berland, M. (2018). Learning analytics in support of qualitative analysis. In J. Kay, & R. Luckin (Eds.), Proceedings of the 13th international conference of the learning sciences (pp. 464-471). International Society of the Learning Sciences.
Siemens, G., & Baker, R. S. D. (2012). Learning analytics and educational data mining: towards communication and collaboration. In Proceedings of the 2nd international conference on learning analytics and knowledge (pp. 252-254).
Siemens, G. (2013). Learning analytics: the emergence of a discipline. American Behavioral Scientist, 57(10), 1380-1400.
Siemens, G. (2014). The journal of learning analytics: Supporting and promoting learning analytics research. Journal of Learning Analytics, 1(1), 3-5.
Singh, R. P. (2018). Learning analytics: Potential, protection, and privacy in the educational system. In M. K. Singh, Z. Zerihun, & N. Singh (Eds.), Impact of learning analytics on curriculum design and student performance (pp. 1-18). IGI Global.
Steiner, C., Kickmeier-Rust, M., & Türker, M. A. (2014). Deliverable D3.1 review article about LA and EDM approaches. European Commission LEA’s Box Project. Retrieved from http://css-kmi.tugraz.at/mkrwww/leas-box/downloads/D3.1.pdf
Strohecker, C. (1991). Elucidating styles of thinking about topology through thinking about knots. In I. Harel, & S. Papert (Eds.), Constructionism (pp. 215-234). Ablex.
Suthers, D., & Rosen, D. (2011). A unified framework for multi-level analysis of distributed learning. In Proceedings of the 1st international conference on learning analytics and knowledge (pp. 64-74). Association for Computing Machinery.
Swiecki, Z., & Shaffer, D. W. (2020). iSENS: an integrated approach to combining epistemic and social network analyses. In Proceedings of the tenth international conference on learning analytics & knowledge (pp. 305-313). Association for Computing Machinery.
Tsai, V., & Gasevic, D. (2017, March). Learning analytics in higher education—challenges and policies: a review of eight learning analytics policies. In Proceedings of the seventh international learning analytics & knowledge conference (pp. 233-242).
Tsai, Y.-S., Ga?evi , D., Whitelock-Wainwright, A., Mu?oz-Merino, P. J., Moreno-Marcos, P. M., Rubio Fernández, A., Delgado Kloos, C., Scheffel, M., Jivet, I., Drachsler, H., Tammets, K., Ruiz Calleja, A., & Kollom, K. (2018). Sheila: Supporting higher education to integrate learning analytics. The University of Edinburgh.
Tsai, Y.-S., Poquet, O., Ga?evi , D., Dawson, S., & Pardo, A. (2019). Complexity leadership in learning analytics: Drivers, challenges and opportunities. British Journal of Educational Technology, 50(6), 2839- 2854.
Uzir, N. A. A., Ga?evi , D., Jovanovi , J., Matcha, W., Lim, L. A., & Fudge, A. (2020). Analytics of time management and learning strategies for effective online learning in blended environments. In Proceedings of the tenth international conference on learning analytics & knowledge (pp. 392-401). Association for Computing Machinery.
Viberg, O., Hatakka, M., B¨alter, O., & Mavroudi, A. (2018). The current landscape of learning analytics in higher education. Computers in Human Behavior, 89, 98-110.
Watson, W. (1994). McKeon’s semantic schema. Philosophy and Rhetoric, 27(2), 85-103.
Weller, M. (2020). 25 years of ed tech. Athabasca University Press.
Whitelock-Wainwright, A., Tsai, Y. S., Lyons, K., Kaliff, S., Bryant, M., Ryan, K., & Ga?evi , D. (2020). Disciplinary differences in blended learning design: A network analytic study. In Proceedings of the tenth international conference on learning analytics & knowledge (pp. 579- 588).
Wise, A., & Jung, Y. (2019). Teaching with analytics: Towards a situated model of instructional decision-making. Journal of Learning Analytics, 6(2), 53-69
Worsley, M., & Blikstein, P. (2015). Leveraging multimodal learning analytics to differentiate student learning strategies. In Proceedings of the fifth international conference on learning analytics and knowledge (pp. 360-367). Association for Computing Machinery.
Yang, S., Domeniconi, C., Revelle, M., Sweeney, M., Gelman, B. U., Beckley, C., & Johri, A. (2015). Uncovering trajectories of informal learning in large online communities of creators. In Proceedings of the second ACM conference on learning @scale (pp. 131-140). Association for Computing Machinery.
Yeung, C. K., & Yeung, D. Y. (2018). Addressing two problems in deep knowledge tracing via prediction-consistent regularization. In Proceedings of the fifth annual ACM conference on learning at scale (pp. 1-10). Association for Computing Machinery.
Zhang, Y., Shah, R., & Chi, M. (2016). Deep learning+ student modeling+ clustering: A recipe for effective automatic short answer grading. In T. Barnes, M. Chi, & M. Feng (Eds.), Proceedings of the 9th international conference on educational data mining (pp. 562-567). International Educational Data Mining Society.
收稿日期:2021-06-23
定稿日期:2021-06-23
作者簡介:賴安·S.貝克(Ryan S. Baker)博士,美國賓夕法尼亞大學(xué)(University of Pennsylvania)副教授,學(xué)習(xí)分析中心主任;國際教育數(shù)據(jù)挖掘?qū)W會(International Educational Data Mining Society)創(chuàng)會主席,《基于計算機的情景學(xué)習(xí)》(Computer-Based Learning in Context)期刊主編,《教育數(shù)據(jù)挖掘期刊》(Journal of Educational Data Mining)副主編,慕課復(fù)制框架(MOOC Replication Framework, MORF)聯(lián)執(zhí)總監(jiān);曾擔(dān)任匹茲堡學(xué)習(xí)科學(xué)中心(Pittsburgh Science of Learning Center)DataShop技術(shù)總監(jiān)。
德拉甘·伽瑟維克(Dragan Ga?evi )博士,澳大利亞莫納什大學(xué)(Monash University)信息技術(shù)學(xué)部學(xué)習(xí)分析教授和學(xué)習(xí)分析中心總監(jiān);學(xué)習(xí)分析研究學(xué)會(SoLAR)創(chuàng)會主席。在亞洲、澳大利亞、歐洲和北美等多國獲得各種榮譽稱號,包括學(xué)習(xí)技術(shù)協(xié)會(Association for Learning Technology)最佳年度研究課題獎(2019)。
沙姆亞·卡倫拜亞(Shamya Karumbaiah),美國賓夕法尼亞大學(xué)學(xué)習(xí)分析中心博士生(學(xué)位論文撰寫階段)。
譯者簡介:肖俊洪,汕頭開放大學(xué)教授,Distance Education (《遠(yuǎn)程教育》)(Taylor & Francis) 期刊副主編,SpringerBriefs in Open and Distance Education(《遠(yuǎn)程開放教育SpringerBriefs系列叢書》)聯(lián)執(zhí)主編。<C:\Users\DELL\Desktop\202112翁4改\Image\yxccfl2.tif>https://orcid.org/0000-0002-5316-2957
責(zé)任編輯 韓世梅