摘 要:主流學(xué)習(xí)分析側(cè)重于數(shù)據(jù)采集、分析挖掘、算法建模等工具理性研究,而關(guān)于如何使用學(xué)習(xí)分析的價(jià)值理性研究未受到足夠重視,教育數(shù)據(jù)要素的開發(fā)利用研究在工具理性與價(jià)值理性上發(fā)生取向失衡現(xiàn)象。為此,研究概念化了學(xué)習(xí)分析的價(jià)值理性目標(biāo)“可行動(dòng)見解”,明確了其內(nèi)涵定義,重點(diǎn)構(gòu)建了可行動(dòng)見解的概念結(jié)構(gòu),刻畫了可行動(dòng)見解的敘述特征,提出了支持可行動(dòng)見解生成的分析推理過程和設(shè)計(jì)策略。研究認(rèn)為,可行動(dòng)見解是終端用戶從學(xué)習(xí)分析中生成的可付諸行動(dòng)的有意義知識(shí)或信息,包括事實(shí)性見解、解釋性見解、反思性見解與行動(dòng)性見解四個(gè)層級(jí)化成分。為了實(shí)現(xiàn)可行動(dòng)見解的有效生成,建議在設(shè)計(jì)學(xué)習(xí)分析系統(tǒng)時(shí)采取以用戶為中心的參與式設(shè)計(jì)方法、引入數(shù)據(jù)故事化設(shè)計(jì)理念、整合教育理論或?qū)W習(xí)構(gòu)念等策略。
關(guān)鍵詞:可行動(dòng)見解;學(xué)習(xí)分析;數(shù)據(jù)要素;價(jià)值理性;數(shù)據(jù)故事化
作者簡介:汪維富,江西師范大學(xué)新聞與傳播學(xué)院講師(南昌 330022);毛美娟,江西外語外貿(mào)職業(yè)學(xué)院電子商務(wù)學(xué)院講師(南昌 330099)
基金項(xiàng)目:江西省社會(huì)科學(xué)基金2023年青年項(xiàng)目“數(shù)據(jù)要素賦能教育高質(zhì)量發(fā)展的價(jià)值轉(zhuǎn)化實(shí)踐策略研究”(項(xiàng)目編號(hào):23JY12)
中圖分類號(hào):G442 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1009-458x(2024)10-0060-13
一、引言
學(xué)習(xí)分析日益成為數(shù)據(jù)要素賦能教育高質(zhì)量發(fā)展的重要方法與技術(shù)。然而,學(xué)習(xí)分析尚未給教育系統(tǒng)帶來實(shí)質(zhì)性的改進(jìn)(Pelletier et al., 2022),其研究內(nèi)容聚焦數(shù)據(jù)建模、分析挖掘、機(jī)器學(xué)習(xí)等方面(胡航 等, 2021; 趙帥 等, 2022)。假設(shè)通過分析大數(shù)據(jù)就會(huì)直接改進(jìn)實(shí)踐,這是天真的(Spillane, 2012)。例如,教師在應(yīng)用學(xué)生數(shù)據(jù)時(shí)經(jīng)常面臨數(shù)據(jù)解讀困難、缺乏建設(shè)性干預(yù)等問題(白雪梅 等, 2022)。數(shù)據(jù)具有原材料的性質(zhì),其本身并不能說明或解決學(xué)習(xí)問題,數(shù)據(jù)價(jià)值轉(zhuǎn)化需要用戶認(rèn)知的深度參與,將分析轉(zhuǎn)化為具有本地化、情境性、有意義的見解。教育技術(shù)研究需要技術(shù)理性的再平衡,突出價(jià)值理性的主導(dǎo)地位,避免工具理性的過度張揚(yáng)(李芒, 2008)。同樣,學(xué)習(xí)分析的研究焦點(diǎn)需要從數(shù)據(jù)采集、算法建模的工具理性轉(zhuǎn)向如何利用數(shù)據(jù)要素來影響教育實(shí)踐的價(jià)值理性(汪維富 & 毛美娟, 2021)。當(dāng)數(shù)據(jù)獲取不再掣肘時(shí),數(shù)據(jù)價(jià)值成為教育數(shù)據(jù)應(yīng)用實(shí)踐的首要指向,當(dāng)下需要從數(shù)據(jù)處理轉(zhuǎn)向教育數(shù)據(jù)的人為解讀過程,加強(qiáng)數(shù)據(jù)認(rèn)知規(guī)律的研究(林書兵 & 張學(xué)波, 2021)。類似地,坎波斯(Campos, F. C.)等認(rèn)為急需一種用戶話語體系來考察學(xué)習(xí)分析的應(yīng)用過程(Campos et al., 2021)。然而,終端用戶如何應(yīng)用學(xué)習(xí)分析,怎樣開展數(shù)據(jù)價(jià)值轉(zhuǎn)化,仍是一個(gè)尚未被深入探索的重要議題(Wise et al., 2016)。
最近,學(xué)習(xí)分析研究共同體日益達(dá)成了共識(shí),教育數(shù)據(jù)的實(shí)踐影響取決于能否為終端用戶提供高質(zhì)量的“可付諸行動(dòng)的數(shù)據(jù)見解”,即可行動(dòng)見解,英文為actionable insights,類似表述還有actionable knowledge、actionable feedback、actionable information、actionable data、actionable analytics、actionable recourse等(Clow, 2013; Colvin et al., 2016; Ga?evi et al., 2016; Liu et al., 2017; 祝智庭 等, 2017; Van Leeuwen, 2019; Hilliger et al., 2020; Iraj et al., 2021; Rasouli & Chieh, 2022)。在一個(gè)關(guān)于學(xué)習(xí)分析的早期定義中,就將“可行動(dòng)信息”(actionable information)作為關(guān)鍵目標(biāo),即學(xué)習(xí)分析是應(yīng)用技術(shù)分析教育數(shù)據(jù),提供可行動(dòng)信息以改善學(xué)習(xí)相關(guān)活動(dòng)(Van Harmelen & Workman, 2012)。庫珀(Cooper, A.)甚至直接將學(xué)習(xí)分析視為可行動(dòng)分析(actionable analytics)(Cooper, 2012)。然而,還沒有研究完整地探討過學(xué)習(xí)分析的“可行動(dòng)見解”概念,多數(shù)研究默認(rèn)讓終端用戶自行從特定化的數(shù)據(jù)分析情境中感知數(shù)據(jù)的意義,可行動(dòng)見解的生成過程還是一個(gè)“黑箱”。因此,本研究將對(duì)“可行動(dòng)見解”進(jìn)行系統(tǒng)的概念化。
二、可行動(dòng)見解的內(nèi)涵界定
學(xué)術(shù)產(chǎn)出是一個(gè)持續(xù)積累與創(chuàng)新的過程,本研究將先考察見解與可行動(dòng)的定義,再界定學(xué)習(xí)分析中的可行動(dòng)見解。
(一)見解與可行動(dòng)
見解(insight)在劍橋詞典中被定義為“對(duì)復(fù)雜問題或情況的清晰、深刻、突然的理解”。直覺(intuition)是人們已經(jīng)習(xí)得或熟練的思考模式,而見解(insight)是新生成的關(guān)系模式,即“理解事物方式的意外轉(zhuǎn)變”。在信息可視化領(lǐng)域,見解有兩種理解向度:1)一個(gè)信息或知識(shí)單元,“數(shù)據(jù)探究時(shí)發(fā)現(xiàn)的一個(gè)信息單位”(Saraiya et al., 2005);2)一種心理狀態(tài),即一種頓悟性、自發(fā)性的心理體驗(yàn),從不知道如何解決問題過渡到明白怎樣解決問題(Mai et al., 2004)。因此,見解既是用戶對(duì)數(shù)據(jù)信息的分析推理過程,又是可以外顯衡量的信息或知識(shí)發(fā)現(xiàn)單元。
可行動(dòng)(actionable)是指信息能否在未來的行動(dòng)進(jìn)程中被實(shí)踐者有效利用(商麗麗 等,2022)。蘇(Su, P.)等提出了可行動(dòng)的規(guī)則,若人們可依據(jù)該規(guī)則采取使自身獲益的行動(dòng),那該規(guī)則就是可行動(dòng)的(Su et al., 2012)?!翱尚袆?dòng)”既強(qiáng)調(diào)了數(shù)據(jù)信息的實(shí)踐性效用標(biāo)準(zhǔn),又提出了支持用戶決策的信息設(shè)計(jì)要求。
(二)可行動(dòng)見解的內(nèi)涵界定
學(xué)習(xí)分析的可行動(dòng)見解是從教育數(shù)據(jù)分析中提取的、可支持用戶采取干預(yù)決策的有意義信息或知識(shí)發(fā)現(xiàn)。第一,可行動(dòng)見解是特定的終端用戶深入推理數(shù)據(jù)分析結(jié)果而做出的理性判斷,他們具有特定的問題解決需求、專業(yè)領(lǐng)域知識(shí)或現(xiàn)場經(jīng)驗(yàn),而不是模糊、泛在的“用戶”。第二,可行動(dòng)見解具有自發(fā)性與頓悟性特征,用戶需要關(guān)聯(lián)其他豐富情境信息,調(diào)動(dòng)心理模型或原有圖式,進(jìn)行認(rèn)知加工。第三,可行動(dòng)見解關(guān)注學(xué)習(xí)分析所帶來的行動(dòng)決策潛力,而不僅僅是關(guān)系描述或表征。第四,可行動(dòng)見解是為制定行動(dòng)而建立改進(jìn)流程或反饋循環(huán)的信息(J?rn? & Gynther, 2018),強(qiáng)調(diào)數(shù)據(jù)應(yīng)用的循環(huán)性特征,從學(xué)習(xí)分析中推斷的新假設(shè)仍需在新一輪教育實(shí)踐中得到驗(yàn)證。第五,可行動(dòng)見解旨在幫助用戶使用學(xué)習(xí)分析來解決特定問題,是個(gè)人化理論假設(shè)(personal theorizing)或情境化實(shí)踐知識(shí),并非一般化的普遍知識(shí)。第六,可行動(dòng)見解是一個(gè)信息發(fā)現(xiàn)的單元,可以用主觀語言、出聲思維或話語分析來描述與評(píng)估。綜上所述,可行動(dòng)見解是終端用戶從學(xué)習(xí)分析中獲得的可付諸行動(dòng)的有意義信息或知識(shí)發(fā)現(xiàn),是一個(gè)兼具知識(shí)性與實(shí)踐性的復(fù)合型概念,既要分析、理解數(shù)據(jù)分析中特定的關(guān)系模式,又要結(jié)合知識(shí)專長或教育情境來作出推斷、干預(yù)并持續(xù)驗(yàn)證。
可行動(dòng)見解與數(shù)據(jù)素養(yǎng)較為相關(guān),但在概念界定與應(yīng)用定位上有所不同。數(shù)據(jù)素養(yǎng)是指個(gè)體采集、處理、管理、應(yīng)用數(shù)據(jù)的意識(shí)與技能,屬于能力或素養(yǎng)范疇。可行動(dòng)見解是特定用戶應(yīng)用數(shù)據(jù)解決問題過程中生成的有意義信息或知識(shí)發(fā)現(xiàn),屬于數(shù)據(jù)實(shí)踐主客體之間的交互結(jié)果。利用數(shù)據(jù)要素解決教育問題,一方面需要提升教育者、學(xué)習(xí)者、教育管理者的數(shù)據(jù)素養(yǎng),另一方面需要開發(fā)適合其消費(fèi)數(shù)據(jù)的高質(zhì)量制品或服務(wù)(De Laet et al., 2020)。考察學(xué)習(xí)分析的可行動(dòng)見解,可以揭示終端用戶與數(shù)據(jù)產(chǎn)品的交互機(jī)制,以更好地幫助研發(fā)者設(shè)計(jì)、開發(fā)與評(píng)價(jià)學(xué)習(xí)分析系統(tǒng)或數(shù)據(jù)應(yīng)用支架,而不僅僅是要求他們提升數(shù)據(jù)素養(yǎng)。
三、可行動(dòng)見解的概念結(jié)構(gòu)
學(xué)習(xí)分析的目標(biāo)是為用戶提供可行動(dòng)見解,使用戶做出具有證據(jù)依據(jù)、實(shí)際意義的決策。因此,與純粹的數(shù)據(jù)分析不同,學(xué)習(xí)分析的目的是雙重的,低層次目的是促進(jìn)用戶理解數(shù)據(jù)分析本身,高層次目的是通過分析決策來發(fā)現(xiàn)并解決教育現(xiàn)實(shí)問題。可見,可行動(dòng)見解是一個(gè)多成分、層次化的概念(Tan & Chan, 2015; Koh & Tan, 2017),但其生成過程在很大程度上仍被掩蓋,本研究將剖析可行動(dòng)見解的概念結(jié)構(gòu)。
(一)可行動(dòng)見解的相關(guān)研究基礎(chǔ)
為了刻畫可行動(dòng)見解的概念結(jié)構(gòu),本研究借鑒數(shù)據(jù)轉(zhuǎn)化模型、意義建構(gòu)、學(xué)習(xí)分析應(yīng)用過程模型、數(shù)據(jù)可視化解讀與數(shù)據(jù)素養(yǎng)等相關(guān)成果。這些成果在一定程度上闡述了可行動(dòng)見解的某些方面,但還缺乏針對(duì)教育情境的細(xì)致性闡述與有機(jī)整合。
1. DIKW數(shù)據(jù)轉(zhuǎn)化模型
“數(shù)據(jù)—信息—知識(shí)—智慧”(Data-Information-Knowledge-Wisdom, DIKW)模型是經(jīng)典的數(shù)據(jù)轉(zhuǎn)化理論(Ackoff, 1989)。其中,信息是被組織、篩選、分類或合成過的結(jié)構(gòu)化數(shù)據(jù);通過有意義地組織、關(guān)聯(lián)各種信息,可以獲得有價(jià)值的知識(shí),知識(shí)反映了使用信息的特定立場、視角或意圖;而智慧是能有效整合并靈活應(yīng)用各類知識(shí),更具完整性、穩(wěn)定性、前瞻性,主要體現(xiàn)在制定最佳行動(dòng)方案上。由于這三個(gè)層次經(jīng)常交織在一起,有學(xué)者在知識(shí)與智慧之間加入“見解”層次(Kozlov, 2020)。見解是個(gè)人、暫時(shí)、零散的閃光點(diǎn)或頓悟知識(shí),但還沒有與其他知識(shí)貫通成具有普適性、穩(wěn)定性的智慧。其中,見解與智慧的主要區(qū)別在于,前者是只適用于特定情境的本地化、臨時(shí)性知識(shí),而后者是經(jīng)過實(shí)踐驗(yàn)證的體系化知識(shí)。見解既是對(duì)特定知識(shí)的情境化理解,又是凝練行動(dòng)智慧的重要橋梁??梢姡娊庠诓煌潭壬洗砹嘶跀?shù)據(jù)分析而產(chǎn)生的信息、知識(shí)與智慧。信息層側(cè)重于見解的事實(shí)性,知識(shí)層側(cè)重于見解的原理性或解釋性,而智慧層側(cè)重于見解的行動(dòng)性。因此,可以從事實(shí)性、原理性、行動(dòng)性等層面來考察可行動(dòng)見解的概念結(jié)構(gòu)。
2. 數(shù)據(jù)的意義建構(gòu)過程
可行動(dòng)見解在本質(zhì)上是用戶對(duì)數(shù)據(jù)信息的意義建構(gòu)。意義建構(gòu)(Sense-making)是人類信息加工的關(guān)鍵過程,將事物賦予意義的過程,以有意圖、持續(xù)性地回溯事物之間的聯(lián)系,使其得到合理化解釋,從而穩(wěn)定地預(yù)測其關(guān)系模式并高效地行動(dòng)(Klein et al., 2006)。意義建構(gòu)主張對(duì)現(xiàn)實(shí)世界的主動(dòng)建構(gòu),而不只是發(fā)現(xiàn)隱藏在數(shù)字、文本或事件中的已有事物(Brown et al., 2015)。皮羅爾斯(Pirolli, P.)與卡德(Card, S.)概述了數(shù)據(jù)信息的意義建構(gòu)過程,包括兩個(gè)認(rèn)知任務(wù)循環(huán):自下而上的搜索循環(huán),以信息搜索與組織為中心,涉及檢索、閱讀、過濾、提取、系統(tǒng)化組織等過程;自上而下的意義建構(gòu)循環(huán),包括重新評(píng)估見解、尋找見解支持、考察見解證據(jù)、探索新關(guān)系、獲取更多數(shù)據(jù)等過程(Pirolli & Card, 2005)。同樣,托馬斯(Thomas, J.)等將意義建構(gòu)描述為一個(gè)“掃描—解釋—行動(dòng)—績效”的序列化過程(Thomas et al., 1993)??梢姡尚袆?dòng)見解不僅是對(duì)數(shù)據(jù)中關(guān)系模式的有意義發(fā)現(xiàn),而且需要經(jīng)過用戶的探索、驗(yàn)證、提煉的持續(xù)構(gòu)建。
3. 學(xué)習(xí)分析應(yīng)用過程模型
從學(xué)習(xí)者角度,韋伯特(Verbert, K.)等提出了學(xué)習(xí)分析的應(yīng)用過程模型:1)意識(shí),感知數(shù)據(jù)或可視化;2)反思,考察數(shù)據(jù)表現(xiàn)并提出相應(yīng)的問題;3)意義建構(gòu),根據(jù)經(jīng)驗(yàn)或?qū)I(yè)知識(shí),試圖回答問題并形成新意義(即新圖式或框架);4)影響,固化新意義并據(jù)此改變行為(Verbert et al., 2013)。類似地,懷斯(Wise, A. F.)等凝練了基于學(xué)習(xí)分析的自我調(diào)節(jié)過程,將應(yīng)用學(xué)習(xí)分析視為學(xué)習(xí)者反思性實(shí)踐循環(huán)的重要部分,包括接觸、目標(biāo)設(shè)定、行動(dòng)、反思等過程(Wise et al., 2016)。
從教師角度,懷斯與榮格(Jung, Y.)考察了教師利用學(xué)習(xí)分析來啟發(fā)教學(xué)法的探究過程(Wise & Jung, 2019):1)提出問題,帶著特定的目標(biāo)或興趣感知數(shù)據(jù);2)解釋數(shù)據(jù),發(fā)現(xiàn)值得注意的關(guān)系模式,并利用參照標(biāo)準(zhǔn)、情境信息來研判、分析價(jià)值,對(duì)關(guān)系模式進(jìn)行歸因分組;3)行動(dòng)決策,針對(duì)特定的數(shù)據(jù)發(fā)現(xiàn)采取教學(xué)響應(yīng),如提供針對(duì)全班或個(gè)人的教學(xué)支架、修改課程教學(xué)設(shè)計(jì)等,或深度反思教學(xué);4)檢查影響,探究行動(dòng)策略對(duì)教學(xué)改進(jìn)的有效性。最近,李(Li, Q.)等發(fā)現(xiàn)專家教師在應(yīng)用學(xué)習(xí)分析時(shí)有三個(gè)關(guān)注點(diǎn)(Li et al., 2021):1)目標(biāo),教學(xué)目標(biāo)、有效學(xué)習(xí)或?qū)W習(xí)愿景的實(shí)現(xiàn)程度;2)問題,學(xué)習(xí)中存在問題的范圍、潛在原因和后果;3)行動(dòng),有根據(jù)地改進(jìn)教學(xué)實(shí)踐或?qū)崟r(shí)干預(yù)。類似地,坎波斯等(Campose et al., 2021)將教師對(duì)學(xué)習(xí)分析的響應(yīng)行為分為情緒性、分析性和意圖性三類。這些實(shí)證研究極大地豐富了刻畫可行動(dòng)見解的精確性、過程性特征。
4. 數(shù)據(jù)可視化素養(yǎng)
可視化是非數(shù)據(jù)專業(yè)用戶使用數(shù)據(jù)的關(guān)鍵機(jī)制,其相關(guān)研究發(fā)現(xiàn)對(duì)于剖析可行動(dòng)見解的概念結(jié)構(gòu)具有很好的啟發(fā)作用。懷納(Wainer, H.)提出了圖表理解任務(wù)的三個(gè)層次(Wainer, 1992):1)字面任務(wù),讀取數(shù)據(jù)圖形中特定的數(shù)值或?qū)ο螅?)比較任務(wù),確定數(shù)據(jù)圖形的關(guān)系、趨勢、模式等;3)擴(kuò)展任務(wù),構(gòu)建圖形之外的數(shù)據(jù)見解,如根據(jù)預(yù)測制定新意義或干預(yù)決策。這三個(gè)層次依次稱為讀取數(shù)據(jù)本身、讀取數(shù)據(jù)之間的關(guān)系和讀取數(shù)據(jù)之外的意義(Curcio, 1987)。類似地,克拉斯(Claes, S.)等定義了可視化見解的三個(gè)層次(Claes et al., 2015):1)事實(shí)性見解,感知數(shù)據(jù)事實(shí)及其關(guān)系模式;2)解釋性見解,對(duì)數(shù)據(jù)事實(shí)或關(guān)系模式進(jìn)行情境化理解;3)反思性見解,結(jié)合外部信息、專業(yè)經(jīng)驗(yàn)來合理化數(shù)據(jù)發(fā)現(xiàn)等。陳(Chen, Y.)等提出了可視化見解的層次模型(Chen et al., 2009):1)從數(shù)據(jù)可視化中提取的事實(shí)發(fā)現(xiàn);2)調(diào)用評(píng)估這些數(shù)據(jù)發(fā)現(xiàn)的心智模型,即激活與數(shù)據(jù)發(fā)現(xiàn)相關(guān)的個(gè)人經(jīng)驗(yàn)知識(shí);3)對(duì)這些數(shù)據(jù)發(fā)現(xiàn)的客觀和主觀評(píng)價(jià),合理化數(shù)據(jù)發(fā)現(xiàn)并衡量其使用價(jià)值??ㄅ硖兀–arpenter, P. A.)與沙阿(Shah, P.)提出了圖形理解的認(rèn)知模型(Carpenter & Shah, 1988):1)識(shí)別,感知并識(shí)別圖形中數(shù)據(jù)關(guān)系模式;2)解釋,從關(guān)系模式中進(jìn)行檢索、構(gòu)造定性和定量意義;3)整合,將定性或定量意義與標(biāo)簽、圖例、標(biāo)題、文本等信息聯(lián)系起來推斷發(fā)現(xiàn)。這些研究為描繪可行動(dòng)見解的概念結(jié)構(gòu)提供了豐富多樣的理解細(xì)節(jié)。
5. 數(shù)據(jù)素養(yǎng)的內(nèi)涵結(jié)構(gòu)
數(shù)據(jù)素養(yǎng)是有效地理解和使用數(shù)據(jù)并將其轉(zhuǎn)化為決策信息的能力,學(xué)習(xí)分析在功能上也是支持用戶對(duì)教育數(shù)據(jù)的處理與利用,考察數(shù)據(jù)素養(yǎng)對(duì)于刻畫可行動(dòng)見解具有較好的參考價(jià)值。早在2011年,美國教育部針對(duì)大數(shù)據(jù)時(shí)代的教師提出了五大數(shù)據(jù)技能要求:1)數(shù)據(jù)定位,能找到相關(guān)數(shù)據(jù);2)數(shù)據(jù)理解,理解數(shù)據(jù)的重要性、多樣性表征形式;3)數(shù)據(jù)解釋,明白數(shù)據(jù)的潛在意義,能對(duì)其教育價(jià)值做出關(guān)聯(lián)性解讀;4)數(shù)據(jù)驅(qū)動(dòng)的教學(xué)決策,對(duì)分析結(jié)果做出價(jià)值研判并制定相應(yīng)決策;5)提出新問題、新觀點(diǎn)的能力,對(duì)教學(xué)成效進(jìn)行評(píng)價(jià)與驗(yàn)證,不斷調(diào)整教學(xué)計(jì)劃(Barbara et al., 2011)。類似地,曼迪納奇(Mandinach, E. B.)與古默(Gummer, E. S.)概述了教師使用數(shù)據(jù)的過程(Mandinach & Gummer, 2016):1)確定問題,識(shí)別可通過數(shù)據(jù)分析解決的教學(xué)問題;2)使用數(shù)據(jù),識(shí)別可能的數(shù)據(jù)源,收集數(shù)據(jù),結(jié)合問題來分析數(shù)據(jù);3)將數(shù)據(jù)轉(zhuǎn)換為信息,使用多樣化方式組織數(shù)據(jù),結(jié)合教學(xué)法知識(shí)來解釋分析結(jié)果;4)將信息轉(zhuǎn)換為可付諸實(shí)踐的知識(shí)見解,以采取干預(yù)、調(diào)整教學(xué)或改進(jìn)設(shè)計(jì);5)評(píng)估有效性,采取干預(yù)行動(dòng)之后,收集新數(shù)據(jù)來評(píng)估干預(yù)措施的有效性。
(二)刻畫可行動(dòng)見解的概念結(jié)構(gòu)
DIKW數(shù)據(jù)轉(zhuǎn)化模型厘清了可行動(dòng)見解的內(nèi)容邊際和結(jié)構(gòu)化特征,意義建構(gòu)明確了可行動(dòng)見解的數(shù)據(jù)意義賦予的建構(gòu)性過程,學(xué)習(xí)分析應(yīng)用過程模型勾勒了可行動(dòng)見解的關(guān)鍵結(jié)構(gòu),而數(shù)據(jù)可視化素養(yǎng)和數(shù)據(jù)素養(yǎng)為概述可行動(dòng)見解提供了豐富的內(nèi)容給養(yǎng)。據(jù)此,本研究歸納了可行動(dòng)見解的概念結(jié)構(gòu)(如表1所示)。從中可以看出,可行動(dòng)見解是一個(gè)層次化的概念結(jié)構(gòu),包括“事實(shí)性見解—解釋性見解—反思性見解—行動(dòng)性見解”四種關(guān)聯(lián)的見解。
1.事實(shí)性見解
事實(shí)性見解是用戶從數(shù)據(jù)分析或可視化中直接發(fā)現(xiàn)的觀測結(jié)果,如明顯的指標(biāo)變化、特定的關(guān)系模式等。為了獲得這類見解,用戶需要與學(xué)習(xí)分析過程、系統(tǒng)或工具進(jìn)行持續(xù)的交互,感知到特定數(shù)據(jù)變量之間的關(guān)系,具體內(nèi)容有數(shù)值、趨勢、分布、相關(guān)、交集、預(yù)測、對(duì)比、向下鉆取、指標(biāo)合成或拆解、聚類、異常值、排序或復(fù)合見解等(Chen et al., 2009; 朝樂門 & 張晨, 2019)。事實(shí)性見解涉及客觀性、無需評(píng)判性的信息發(fā)現(xiàn),但僅憑事實(shí)性見解不太可能對(duì)現(xiàn)象理解、行動(dòng)決策和問題解決產(chǎn)生直接影響。
2. 解釋性見解
解釋性見解是對(duì)學(xué)習(xí)分析的事實(shí)性見解進(jìn)行情境化詮釋、意義賦予和回溯性解析,明確這些觀察發(fā)現(xiàn)對(duì)于當(dāng)前的教育情境或用戶對(duì)象意味著什么。學(xué)習(xí)分析在本質(zhì)上是對(duì)教育數(shù)據(jù)的去情境化抽象、處理與表征,而要準(zhǔn)確理解數(shù)據(jù)事實(shí)的實(shí)際含義,需要再次還原其情境細(xì)節(jié),重新賦予其教與學(xué)意義上的內(nèi)涵。用戶綜合教育情境、參照基準(zhǔn)、關(guān)聯(lián)數(shù)據(jù)、相關(guān)理論等軟性證據(jù)(soft evidence),對(duì)事實(shí)性見解的硬性證據(jù)(hard evidence)進(jìn)行關(guān)聯(lián)思考、意義賦予、問題凝練、假設(shè)生成等,將數(shù)據(jù)價(jià)值轉(zhuǎn)化焦點(diǎn)從單純的“數(shù)據(jù)事實(shí)與圖表”轉(zhuǎn)向數(shù)據(jù)背后的“教育情境與學(xué)習(xí)問題”。
3. 反思性見解
反思性見解是用戶整合專業(yè)知識(shí)、心理圖式、教育情境或其他三角互證信息,對(duì)解釋性見解進(jìn)行批判性、有效性的價(jià)值衡量,判斷其是否符合預(yù)期目標(biāo)或一般規(guī)律,研判造成這種結(jié)果的可能原因是什么,推斷這種狀態(tài)持續(xù)下去可能會(huì)引發(fā)怎樣的后果。其實(shí),用戶經(jīng)常很難理解為什么會(huì)出現(xiàn)特定的學(xué)習(xí)行為模式或使用特定學(xué)習(xí)策略,如趙(Zhao, F.)等提出了一個(gè)基于結(jié)果確認(rèn)的學(xué)習(xí)行為分析框架,以探索學(xué)習(xí)模式和策略選擇背后的深層原因和發(fā)生機(jī)理(Zhao et al., 2021)。對(duì)數(shù)據(jù)分析過程和結(jié)果重新賦予新的圖式化、關(guān)聯(lián)性意義,為制定行動(dòng)策略做好深思熟慮的準(zhǔn)備。因此,反思性見解反映了數(shù)據(jù)發(fā)現(xiàn)與相關(guān)理論、預(yù)期目標(biāo)、學(xué)習(xí)意圖或具身經(jīng)驗(yàn)的切合性,不再局限于數(shù)據(jù)分析過程或可視化系統(tǒng)中能夠提供的信息情境。
4. 行動(dòng)性見解
行動(dòng)性見解關(guān)注如何深思熟慮做出并實(shí)施證據(jù)導(dǎo)向的行動(dòng)決策,在解釋與反思特定關(guān)系模式的基礎(chǔ)上,結(jié)合發(fā)展目標(biāo)與知識(shí)經(jīng)驗(yàn),針對(duì)性地提出可付諸實(shí)踐的干預(yù)策略。學(xué)習(xí)分析的關(guān)鍵目標(biāo)是務(wù)實(shí)性或?qū)嵺`性的,主要是為了做什么,而不僅僅是為了發(fā)現(xiàn)或解釋數(shù)據(jù)。首先,數(shù)據(jù)見解是否具有可行動(dòng)性,涉及能否獲知數(shù)據(jù)中的特定關(guān)系模式(事實(shí)性見解),能否理解關(guān)系模式背后的教育情境及其意義(解釋性見解),能否合理化關(guān)系模式的原因及其后果(反思性見解)。其次,行動(dòng)性見解的生成一般依賴于專業(yè)知識(shí)、具體經(jīng)驗(yàn)或教育理論等方面的指導(dǎo)。如采用學(xué)習(xí)探究共同體理論指導(dǎo)在線課程干預(yù)措施的制定(Rienties et al., 2016)。最后,用戶實(shí)施特定的干預(yù)行動(dòng)之后,需要開始新一輪的數(shù)據(jù)見解探索過程,以持續(xù)驗(yàn)證干預(yù)行動(dòng)的實(shí)際影響,即生成新的事實(shí)性見解或產(chǎn)生新的問題假設(shè)。
教師或?qū)W習(xí)者在使用教育數(shù)據(jù)和學(xué)習(xí)分析系統(tǒng)時(shí)并不一定都會(huì)生成所有層次的數(shù)據(jù)見解(特別是第四個(gè)層次的行動(dòng)性見解),如使用數(shù)據(jù)大屏列出機(jī)構(gòu)運(yùn)行的基本數(shù)據(jù)。一方面,可行動(dòng)見解是一個(gè)從低可行動(dòng)到高可行動(dòng)的連續(xù)統(tǒng),但支持所有四層見解生成的學(xué)習(xí)分析設(shè)計(jì)對(duì)于教育數(shù)據(jù)價(jià)值轉(zhuǎn)化的影響是最深刻的。尤其是生成第四層見解,實(shí)施基于數(shù)據(jù)證據(jù)的干預(yù)行動(dòng),能夠完整地閉合學(xué)習(xí)分析的應(yīng)用回路。另一方面,四層見解的產(chǎn)生過程不一定是線性連續(xù)的,用戶既可以從行動(dòng)性見解(如用戶根據(jù)自身經(jīng)驗(yàn)獲得的干預(yù)決策猜想)到事實(shí)性見解(即找到支持其決策猜想的數(shù)據(jù)證據(jù)),又可以根據(jù)事實(shí)性見解來建立其對(duì)學(xué)習(xí)情境的初步理解,結(jié)合其他相關(guān)軟性證據(jù)來確定潛在問題,構(gòu)建問題情境,提出相關(guān)假設(shè),預(yù)測后果,以制定最優(yōu)的解決方案。
四、可行動(dòng)見解的敘述特征
與信息可視化領(lǐng)域?qū)σ娊獾奶卣鹘缍ㄒ粯?,可行?dòng)見解也具有明顯的敘述特征,是一種需要通過語言符號(hào)、出聲思維或話語分析才可表征、可量化的數(shù)據(jù)見解。諾森(North, C.)闡述了數(shù)據(jù)見解的五個(gè)敘述特征(North, 2006):復(fù)雜、深刻、定性、意外、相關(guān)。類似地,洛(Law, P. M.)等認(rèn)為數(shù)據(jù)見解具有可行動(dòng)性、協(xié)同性、意外性、可驗(yàn)證性、自發(fā)性、可信賴性和互聯(lián)性等特征(Law et al., 2020)。在學(xué)習(xí)分析領(lǐng)域,數(shù)據(jù)見解具有三個(gè)特征:1)實(shí)踐性,主要是為了做什么,而不僅是解釋或報(bào)告;2)依據(jù)性,任何行動(dòng)都是經(jīng)過深思熟慮、有證據(jù)導(dǎo)向的;3)實(shí)證性,有相關(guān)基準(zhǔn)幫助用戶衡量數(shù)據(jù)發(fā)現(xiàn)的重要程度(Cooper, 2012)。綜上所述,本研究歸納了學(xué)習(xí)分析的可行動(dòng)見解的八個(gè)敘述特征:情境性、深刻性、主觀性、意外性、自發(fā)性、整合性、特異性和證實(shí)性(如表2所示)。
語言即思維。敘述特征實(shí)際上代表了用戶應(yīng)用學(xué)習(xí)分析的思維推理過程。多數(shù)相關(guān)研究側(cè)重于從研究者、研發(fā)者或數(shù)據(jù)分析者角度來考察教育實(shí)踐,關(guān)注數(shù)據(jù)建模準(zhǔn)確率、精準(zhǔn)率、召回率、泛化程度等(Baker, 2019)。而可行動(dòng)見解的敘述特征是面向?qū)W習(xí)者、教師、教育管理者等非數(shù)據(jù)專業(yè)用戶而構(gòu)建的,可以作為學(xué)習(xí)分析系統(tǒng)設(shè)計(jì)的內(nèi)核理論(kernel theory),指導(dǎo)教育數(shù)據(jù)要素的開發(fā)利用實(shí)踐。例如,“情境性”特征說明學(xué)習(xí)分析的數(shù)據(jù)結(jié)構(gòu)(或指標(biāo))要與具體的學(xué)習(xí)情境或任務(wù)緊密對(duì)齊,以確保數(shù)據(jù)的教育意義;“特異性”特征要求學(xué)習(xí)分析過程或結(jié)果有足夠細(xì)致的顆粒度和指向性,以聚焦可付諸行動(dòng)的施策主體、對(duì)象、時(shí)間、強(qiáng)度等;而“證實(shí)性”特征表明需為數(shù)據(jù)分析提供特定的價(jià)值判斷基準(zhǔn)或可追溯的成功實(shí)例,幫助用戶確認(rèn)需要實(shí)施干預(yù)的臨界值等。
表2 可行動(dòng)見解的敘述特征
[特征 說明 情境性 見解是嵌入到教育情境之中的,涉及學(xué)習(xí)過程、學(xué)習(xí)設(shè)計(jì)、學(xué)習(xí)結(jié)果、學(xué)習(xí)資源、教學(xué)活動(dòng)、時(shí)間管理、學(xué)習(xí)者特征等教育性意義,而非純粹的數(shù)據(jù)處理和分析 深刻性 見解是用戶結(jié)合機(jī)器算法、經(jīng)驗(yàn)知識(shí)的推理結(jié)果,涉及多維時(shí)空、種類多樣的數(shù)據(jù),而不僅是單個(gè)抽象數(shù)值,具有一定的深度、廣度與高度 主觀性 見解往往是不確定的,可能有多樣化的理解向度、驗(yàn)證路徑或解決方案 意外性 見解往往是不可預(yù)測的、偶然的,經(jīng)常會(huì)出現(xiàn)難以猜測、意想不到的關(guān)系模式 自發(fā)性 見解意味著“從不知道如何解決問題突然遷移到知道怎樣解決問題”,這依賴于人類特有的直覺、關(guān)聯(lián)思維、頓悟、經(jīng)驗(yàn)與因果推理 整合性 見解生成時(shí)會(huì)調(diào)動(dòng)用戶的期望、預(yù)感、知覺、假設(shè)、知識(shí)、經(jīng)驗(yàn)或心理模型,參考外部信息、工具、理論、基準(zhǔn)、調(diào)查信息,主動(dòng)開展統(tǒng)整性反思、驗(yàn)證 特異性 見解具有足夠的特異性、具體性、指向性才具有實(shí)踐價(jià)值,從特定的用戶、時(shí)間、位置、對(duì)象、活動(dòng)或關(guān)系角度來制定可施行的干預(yù)措施 證實(shí)性 可從定量上或定性上判斷數(shù)據(jù)發(fā)現(xiàn)的顯著性、可靠性、有效性、可追溯性,明白什么樣的預(yù)期范圍是達(dá)標(biāo)的或存在問題,特征值達(dá)到什么閾值或條件才值得關(guān)注 ]
五、支持可行動(dòng)見解生成的分析推理過程
學(xué)習(xí)分析是一項(xiàng)社會(huì)性技術(shù),數(shù)據(jù)價(jià)值的轉(zhuǎn)化需要終端用戶的分析推理,積極調(diào)用心理圖式,以開展基于密集數(shù)據(jù)資源的復(fù)雜認(rèn)知活動(dòng),而可行動(dòng)見解正是這些認(rèn)知活動(dòng)的信息輸出。其中,分析推理是終端用戶應(yīng)用信息可視化的核心加工過程,理性地對(duì)數(shù)據(jù)信息的邏輯價(jià)值開展推斷和評(píng)價(jià)(Leighton, 2004)。同樣,為了支持可行動(dòng)見解的生成,學(xué)習(xí)分析系統(tǒng)或工具需要有效地支持用戶的分析推理,以協(xié)同、補(bǔ)充、增強(qiáng)、引導(dǎo)終端用戶的信息加工過程。
然而,還沒有研究概述終端用戶使用學(xué)習(xí)分析的分析推理過程,借助數(shù)據(jù)工具實(shí)現(xiàn)人類推理的過程仍然是一個(gè)高度未開發(fā)的領(lǐng)域(Meyer, et al., 2010),更沒有顆粒細(xì)致的理論框架來解釋學(xué)習(xí)分析的意義建構(gòu)過程(Duval, 2011)。值得注意的是,塞迪格(Sedig, K.)和帕森斯(Parsons, P.)梳理了關(guān)于數(shù)據(jù)可視化支持用戶分析推理的思維框架,從專業(yè)可視化軟件中提煉了數(shù)十種認(rèn)識(shí)行為(epistemic action),包括篩選、檢索、注釋、翻轉(zhuǎn)等(Sedig & Parsons, 2013)。不過,該框架針對(duì)的是數(shù)據(jù)專業(yè)人員的分析推理過程,并不是從教師、學(xué)習(xí)者等非數(shù)據(jù)專業(yè)用戶的視角出發(fā),但為其數(shù)據(jù)分析推理活動(dòng)提供了重要的理論構(gòu)建指引。通過整合最新研究成果,本研究將構(gòu)建使用學(xué)習(xí)分析的分析推理過程,包括感知探索、意義建構(gòu)、整合推理和干預(yù)決策,以對(duì)應(yīng)可行動(dòng)見解的四個(gè)層次結(jié)構(gòu)(如表3所示)。
(一)感知探索
在接觸到學(xué)習(xí)分析過程或系統(tǒng)之后,用戶帶著問題、好奇心或自由地探索與感知數(shù)據(jù),結(jié)合對(duì)關(guān)鍵教與學(xué)事件、現(xiàn)象的回憶,或憑借已有知識(shí)經(jīng)驗(yàn),逐漸形成探究焦點(diǎn),構(gòu)建特定的數(shù)據(jù)發(fā)現(xiàn)或關(guān)系模式,識(shí)別新問題或出現(xiàn)認(rèn)知沖突,可能會(huì)出現(xiàn)一定的情緒響應(yīng),或者繼續(xù)等待分析推理時(shí)機(jī)。該階段主要生成事實(shí)性見解,以“看見”數(shù)據(jù)中“發(fā)生了什么”(What)。
(二)意義建構(gòu)
用戶對(duì)特定的數(shù)據(jù)現(xiàn)象或關(guān)系模式進(jìn)行情境化理解和本地化解釋,在數(shù)據(jù)信息與可理解的教育概念之間建立關(guān)聯(lián)和映射。例如,與預(yù)期目標(biāo)和數(shù)據(jù)基準(zhǔn)對(duì)比,將數(shù)據(jù)發(fā)現(xiàn)還原至關(guān)聯(lián)的學(xué)習(xí)情境,聯(lián)合多個(gè)數(shù)據(jù)對(duì)象、變量、特征、實(shí)例進(jìn)行跨時(shí)空、立體化比較,判斷數(shù)據(jù)發(fā)現(xiàn)的價(jià)值性與可信度,提出教與學(xué)的相關(guān)假設(shè),賦予數(shù)據(jù)以教育教學(xué)意義并將其整合到其他先前存在的心理圖式當(dāng)中,其實(shí)質(zhì)是診斷和明確現(xiàn)狀問題與預(yù)期目標(biāo)之間的差距。該階段主要生成解釋性見解,以“洞見”這些數(shù)據(jù)發(fā)現(xiàn)“意味著什么”(So What)。
(三)整合推理
用戶結(jié)合專業(yè)知識(shí)、相關(guān)理論、輔助數(shù)據(jù)、外部工具等,調(diào)用數(shù)據(jù)以外的信息、理論、信念對(duì)數(shù)據(jù)發(fā)現(xiàn)或意義進(jìn)行補(bǔ)充說明,對(duì)數(shù)據(jù)發(fā)現(xiàn)進(jìn)行分析推理、價(jià)值確認(rèn)、后果預(yù)測、恰當(dāng)歸因、論證假設(shè),或引發(fā)有待驗(yàn)證的質(zhì)疑、困惑或假設(shè),激發(fā)對(duì)教育現(xiàn)象本身的預(yù)測性、假設(shè)性、移情性反省。整合推理實(shí)際上是對(duì)數(shù)據(jù)背后的教育現(xiàn)象進(jìn)行合理化,該階段主要生成反思性見解,以“預(yù)見”數(shù)據(jù)背后教育現(xiàn)象的發(fā)生機(jī)制(Why)。
(四)干預(yù)決策
在對(duì)數(shù)據(jù)發(fā)現(xiàn)進(jìn)行情境化的解釋與深思熟慮的反思之后,用戶根據(jù)相關(guān)教育理論、分析目標(biāo)、特定基準(zhǔn)、個(gè)人或團(tuán)隊(duì)經(jīng)驗(yàn),對(duì)數(shù)據(jù)背后的教育問題做出針對(duì)性的行動(dòng)響應(yīng),向利益相關(guān)者提供反饋,引發(fā)對(duì)教與學(xué)策略的深度思考,完善或改變已有心理圖式,也可能繼續(xù)觀察、有待補(bǔ)充更多數(shù)據(jù)或?qū)で蟾嗾f明信息。干預(yù)決策意味著根據(jù)相關(guān)理論或自身知識(shí)經(jīng)驗(yàn),或者參考機(jī)器學(xué)習(xí)模型生成的反事實(shí)解釋(Counterfactual explanation)(Rasouli & Chieh Yu, 2022),制定可實(shí)施的行動(dòng)策略,以彌合問題現(xiàn)狀與預(yù)期目標(biāo)之間的鴻溝。該階段主要生成行動(dòng)性見解,以“創(chuàng)見”解決教育相關(guān)問題的新措施(How)。同樣地,在實(shí)施新干預(yù)之后會(huì)引發(fā)下一輪感知探索,運(yùn)用新的事實(shí)性見解來驗(yàn)證上一輪干預(yù)的有效性,以支持可行動(dòng)見解的迭代生成,從而形成教與學(xué)的新觀點(diǎn)或理論(Wong et al., 2019)。
六、支持可行動(dòng)見解生成的學(xué)習(xí)
分析系統(tǒng)設(shè)計(jì)建議
學(xué)習(xí)分析系統(tǒng)或?qū)W習(xí)儀表盤為數(shù)據(jù)要素的價(jià)值轉(zhuǎn)化提供了規(guī)?;瘷C(jī)制,但師生在解釋學(xué)習(xí)分析并據(jù)此采取行動(dòng)上還存在較大挑戰(zhàn)(Li et al., 2021;Susnjak et al., 2022)。盡管直觀地顯示數(shù)據(jù)可以一目了然,但是僅僅表征或報(bào)告數(shù)據(jù),對(duì)于用戶生成可行動(dòng)見解是遠(yuǎn)遠(yuǎn)不夠的,學(xué)習(xí)分析制品還需要幫助用戶對(duì)數(shù)據(jù)背后的教育現(xiàn)象進(jìn)行合理地解釋、反思與干預(yù)決策。數(shù)據(jù)用戶面臨的最大挑戰(zhàn)之一就是應(yīng)用分析結(jié)果來解決現(xiàn)實(shí)世界中的問題(You, 2010)。換句話說,單純的數(shù)據(jù)分析往往很難實(shí)現(xiàn)其更高層次的目的,即支持有效的干預(yù)決策。為了促進(jìn)可行動(dòng)見解的生成,建議在開發(fā)學(xué)習(xí)分析系統(tǒng)或?qū)W習(xí)儀表盤時(shí)采取一些對(duì)應(yīng)的設(shè)計(jì)策略。
(一)采用以終端用戶為中心的參與式設(shè)計(jì)策略,提高學(xué)習(xí)分析的相關(guān)性與可用性
可行動(dòng)見解的生成包括感知探索、意義建構(gòu)、整合推理、干預(yù)決策等多個(gè)階段,設(shè)計(jì)良好的學(xué)習(xí)分析應(yīng)該支持用戶從事這些復(fù)雜認(rèn)知的思維過程。以終端用戶為中心的參與式設(shè)計(jì)方法被認(rèn)為是支持可行動(dòng)見解生成的關(guān)鍵方法(Buckingham Shum et al., 2019)。分析與推理數(shù)據(jù)信息時(shí)可能存在“偏差發(fā)現(xiàn)”、質(zhì)疑等傾向,終端用戶也可能會(huì)得出與需求無關(guān)的“意外性”“自發(fā)性”“主觀性”見解,所以調(diào)查并滿足終端用戶的真實(shí)需求顯得至關(guān)重要。直接邀請(qǐng)終端用戶參與學(xué)習(xí)分析應(yīng)用的設(shè)計(jì)全程,充分考慮其需求、愿望、經(jīng)驗(yàn)、應(yīng)用情境與限制,提升學(xué)習(xí)分析設(shè)計(jì)的相關(guān)性、可用性、可解釋性。如馬丁內(nèi)斯-馬爾多納多(Martinez-Maldonado, R.)在開發(fā)課堂協(xié)作學(xué)習(xí)儀表盤時(shí),就充分調(diào)查與挖掘了教師關(guān)于如何使用協(xié)作學(xué)習(xí)分析的觀點(diǎn)、痛點(diǎn)及其支持需求(Martinez-Maldonado, 2019)。類似地,基施納(Kirschner, P. A.)提出以用戶為中心的CSCL可視化設(shè)計(jì)流程(Kirschner, 2002):1)在設(shè)計(jì)和開發(fā)工具之前,觀察學(xué)習(xí)者實(shí)際做了什么;2)確定可以做些什么來支持學(xué)習(xí)者;3)確定學(xué)習(xí)環(huán)境中的約束和行為習(xí)慣;4)確定學(xué)習(xí)者怎樣感知和體驗(yàn)所提供的支持;5)確定學(xué)習(xí)者實(shí)際如何使用支持;6)利用習(xí)得的經(jīng)驗(yàn)教訓(xùn),不斷修正設(shè)計(jì)。
(二)采用數(shù)據(jù)故事化設(shè)計(jì)理念,促進(jìn)數(shù)據(jù)要素的深度意義建構(gòu)與價(jià)值轉(zhuǎn)化
數(shù)據(jù)故事化(Data Storytelling)主張結(jié)合敘事要素、模型與方法來幫助用戶洞察數(shù)據(jù)中的見解發(fā)現(xiàn),是數(shù)據(jù)價(jià)值轉(zhuǎn)化的深度設(shè)計(jì)邏輯(汪維富 等, 2023)。朝樂門與張晨(2019)認(rèn)為,數(shù)據(jù)故事化能將“數(shù)據(jù)”還原或關(guān)聯(lián)至特定情境,并以敘述方式呈現(xiàn)過程,能有效地促進(jìn)用戶從數(shù)據(jù)的表面感知轉(zhuǎn)向數(shù)據(jù)的深度認(rèn)知,讓學(xué)習(xí)分析的設(shè)計(jì)傾向從探索性特征轉(zhuǎn)為解釋性特征,使終端用戶像數(shù)據(jù)科學(xué)家一樣從數(shù)據(jù)中洞察價(jià)值。根據(jù)可行動(dòng)見解的概念結(jié)構(gòu),除了獲知事實(shí)性見解,還需要對(duì)這些數(shù)據(jù)發(fā)現(xiàn)進(jìn)行解釋和反思,甚至執(zhí)行對(duì)應(yīng)的干預(yù),易于理解的敘事文本作為數(shù)據(jù)的情境再植方法與理解支架,能高效地引導(dǎo)用戶對(duì)教育數(shù)據(jù)進(jìn)行意義建構(gòu)、整合推理與干預(yù)決策。如在儀表盤中增加關(guān)于復(fù)雜數(shù)據(jù)指標(biāo)的文本解釋,將相關(guān)情境要素信息植入可視化當(dāng)中,為預(yù)測模型探尋可行動(dòng)的反事實(shí)解釋列表,為達(dá)到特定基準(zhǔn)的對(duì)象設(shè)定干預(yù)反饋規(guī)則等。
(三)融合教育理論或?qū)W習(xí)構(gòu)念,實(shí)現(xiàn)從低階數(shù)據(jù)向可行動(dòng)見解的話語轉(zhuǎn)變
純粹地基于大量低階數(shù)據(jù)(如點(diǎn)擊流、眼睛注視、心電信號(hào)等)而創(chuàng)建的分析模型存在可理解性和可用性的困境,因?yàn)檫@些數(shù)據(jù)無法轉(zhuǎn)化為教師和學(xué)習(xí)者可以理解的概念形式。因此,學(xué)習(xí)分析研究者紛紛強(qiáng)調(diào)教育理論或?qū)W習(xí)構(gòu)念在發(fā)展可行動(dòng)見解上的關(guān)鍵作用(Dawson et al., 2015)。教育理論能夠指導(dǎo)設(shè)計(jì)者如何從諸多數(shù)據(jù)變量中選擇和生成可靠的關(guān)鍵指標(biāo),實(shí)現(xiàn)從點(diǎn)擊流到有效學(xué)習(xí)構(gòu)念的轉(zhuǎn)換,賦予低階的初始數(shù)據(jù)以用戶可解釋、可操作的高階學(xué)習(xí)構(gòu)念,在解釋性見解、反思性見解、行動(dòng)性見解層面實(shí)現(xiàn)數(shù)據(jù)點(diǎn)擊流到教育概念的關(guān)聯(lián)映射和話語轉(zhuǎn)換。如果沒有理論,缺乏將數(shù)據(jù)聯(lián)系起來的整體框架,學(xué)習(xí)分析可能只是雜亂無章的數(shù)據(jù)處理。事實(shí)上,若沒有教育概念,學(xué)習(xí)儀表盤只是簡易的數(shù)據(jù)描述呈現(xiàn),可能只停留在事實(shí)性見解層面,很難提供進(jìn)一步的可行動(dòng)見解。
七、總結(jié)與展望
數(shù)據(jù)發(fā)揮價(jià)值需要經(jīng)過一套完整的增值過程(郝祥軍 & 顧小清, 2023),不僅包括工具理性導(dǎo)向的數(shù)據(jù)統(tǒng)計(jì)與分析挖掘,而且涉及價(jià)值理性導(dǎo)向的用戶推理與實(shí)踐驗(yàn)證。本研究從終端用戶的輸出角度,全面刻畫了可行動(dòng)見解的概念框架,包括內(nèi)涵定義、概念結(jié)構(gòu)、敘述特征和分析推理過程,這些成果對(duì)于促進(jìn)教育數(shù)據(jù)要素的開發(fā)利用和價(jià)值轉(zhuǎn)化具有一定的理論與實(shí)踐意義。一方面,面對(duì)學(xué)習(xí)分析研究充斥著數(shù)據(jù)處理和算法建模等工具理性目標(biāo),可行動(dòng)見解為用戶使用學(xué)習(xí)分析提供了過程性的價(jià)值理性目標(biāo),較好地回應(yīng)了學(xué)習(xí)分析研究中工具理性與價(jià)值理性的失衡問題,構(gòu)建了學(xué)習(xí)分析研究的新話語體系。另一方面,教育數(shù)據(jù)要素只有經(jīng)過深度的開發(fā)加工,產(chǎn)出高品質(zhì)的教育數(shù)據(jù)服務(wù),才能激活與發(fā)揮其潛在價(jià)值(楊現(xiàn)民 等, 2022)??尚袆?dòng)見解的概念結(jié)構(gòu)、敘述特征與分析推理過程,能在細(xì)致顆粒度上直接指導(dǎo)教育數(shù)據(jù)產(chǎn)品的深度開發(fā)與可用性評(píng)價(jià)。
盡管本研究較系統(tǒng)地概述了學(xué)習(xí)分析的可行動(dòng)見解,但在理論刻畫上均使用了基于文獻(xiàn)研究的歸納推理方法,沒有在現(xiàn)實(shí)情境中進(jìn)行科學(xué)驗(yàn)證,可能存在概述不全面、歸納不深入等缺陷,需要進(jìn)一步在具體教育數(shù)據(jù)情境中開展實(shí)踐應(yīng)用,并持續(xù)提煉可行動(dòng)見解的概念框架。
參考文獻(xiàn)
白雪梅,顧小清,尹歡歡,武美玖,& 胡碧皓. (2022). 數(shù)據(jù)驅(qū)動(dòng)精準(zhǔn)教學(xué):實(shí)踐路徑、感知理解與現(xiàn)實(shí)困境. 電化教育研究(4),77-84.
朝樂門,& 張晨. (2019). 數(shù)據(jù)故事化:從數(shù)據(jù)感知到數(shù)據(jù)認(rèn)知. 中國圖書館學(xué)報(bào)(5),61-78.
郝祥軍,& 顧小清. (2023). AI重塑知識(shí)觀:數(shù)據(jù)科學(xué)影響下的知識(shí)創(chuàng)造與教育發(fā)展. 中國遠(yuǎn)程教育(5),13-23.
胡航,杜爽,梁佳柔,& 康忠琳. (2021). 學(xué)習(xí)績效預(yù)測模型構(gòu)建:源于學(xué)習(xí)行為大數(shù)據(jù)分析. 中國遠(yuǎn)程教育(4),8-20,76.
李芒. (2008). 對(duì)教育技術(shù)“工具理性”的批判. 教育研究(5),56-61.
林書兵,& 張學(xué)波. (2021). 教育數(shù)據(jù)解讀的認(rèn)知解密與技能解鎖. 開放教育研究(4),17-26.
商麗麗,唐華云,王延昭,& 左美云. (2022). 在線評(píng)論可行動(dòng)信息識(shí)別研究. 數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)(12),1-12.
汪維富,& 毛美娟. (2021). 超越工具理性:促進(jìn)學(xué)習(xí)分析研究成熟的發(fā)展進(jìn)路. 現(xiàn)代教育技術(shù)(12),35-41.
汪維富,閆寒冰,& 毛美娟. (2023). 數(shù)據(jù)故事化:教育數(shù)據(jù)要素價(jià)值轉(zhuǎn)化的新視角. 電化教育研究(5),13-19,28.
楊現(xiàn)民,吳貴芬,& 李新. (2022). 教育數(shù)字化轉(zhuǎn)型中數(shù)據(jù)要素的價(jià)值發(fā)揮與管理. 現(xiàn)代教育技術(shù)(8),5-13.
趙帥,王煒,江毅,& 劉艷. (2022). 面向數(shù)智化決策的學(xué)習(xí)分析研究要旨與動(dòng)向——基于2011—2021年LAK會(huì)議論文的質(zhì)性元分析. 中國遠(yuǎn)程教育(10),10-20.
祝智庭,彭紅超,& 雷云鶴. (2017). 解讀教育數(shù)據(jù)智慧. 開放教育研究(5),21-29.
Ackoff, R. (1989). From data to wisdom. Journal of Applied Systems Analysis, 16, 3-9.
Alhadad, S. S. (2016). Attentional and cognitive processing of analytics visualizations: Can design features affect interpretations and decisions about learning and teaching? In Proceedings of the 33rd Annual Conference of the Australasian Society for Computers in Learning in Tertiary Education(pp. 20-32). ASCLTE.
Baker, R. S. (2019). Challenges for the future of educational data mining: The Baker learning analytics prizes. Journal of Educational Data Mining, 11(1), 1-17.
Barbara, M., Chen, E., DeBarger, A. H., & Padilla, C. (2011). Teachers’ ability to use data to inform instruction: Challenges and supports.
OPEPD.
Brown, A. D., Colville, I., & Pye, A. (2015). Making sense of sensemaking in organization studies. Organization Studies, 36(2), 265-277.
Buckingham Shum, S., Ferguson, R., & Martinez-Maldonado, R. (2019). Human-centred learning analytics. Journal of Learning Analytics, 6(2), 1-9.
Campos, F. C., Ahn, J., Digiacomo, D. K., Nguyen, H., & Hays, M. (2021). Making sense of sensemaking: Understanding how K-12 teachers and coaches react to visual analytics. Journal of Learning Analytics, 8(3), 1-21.
Carpenter, P. A., & Shah, P. (1998). A model of the perceptual and conceptual processes in graph comprehension. Journal of Experimental Psychology: Applied, 2(4), 75-100.
Chen, Y., Yang, J., & Ribarsky, W. (2009). Toward effective insight management in visual analytics systems. In Proceedings of the 2009 IEEE Pacific Visualization Symposium(pp. 49-56). IEEE.
Claes, S., Wouters, N., Slegers, K., & Moere, A. V. (2015). Controlling in-the-wild evaluation studies of public displays. In Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems(pp. 81-84). ACM.
Clow, D. (2013). An overview of learning analytics. Teaching in Higher Education, 18(6), 683-695.
Colvin, C., Rogers, T., Wade, A., Dawson, S., Gasevic, D., Buckingham Shum, S., Nelson, K., Alexander, S., Lockyer, L., Kennedy, G., Corrin, L., & Fisher , J. (2016). Student retention and learning analytics: A snapshot of Australian practices and a framework for advancement. AGOLT.
Conijn, R., Van Waes, L., & van Zaanen, M. (2020). Human-Centered design of a dashboard on students’ revisions during writing. In C. Alario-Hoyos, M. J. Rodríguez-Triana, M. Scheffel, I. Arnedillo-Sánchez, & S. M. Dennerlein (Eds.), Addressing global challenges and quality education(pp.30-44). Springer.
Cooper, A. (2012). What is analytics? Definition and essential characteristics.CETIS Analytics Series, 1(5), 1-10.
Curcio, F. R. (1987). Comprehension of mathematical relationships expressed in graphs. Journal for Research in Mathematics Education, 18(5), 382-393.
Dawson, S., Mirriahi, N., & Gasevic, D. (2015). Importance of theory in learning analytics in formal and workplace settings.Journal of Learning Analytics, 2(2), 1-4.
De Laet, T., Verbert, K., Millecamp, M., Broos, Tom., Chatti, M.A., & Muslim, A. (2020). XLA: Explainable learning analytics. In Adjunct proceedings of the 10th International Conference on Learning Analytics & Knowledge(pp. 477-479). ACM.
Duval, E. (2011). Attention please! Learning analytics for visualization and recommendation. In Proceedings of the 1st International Conference on Learning Analytics & Knowledge(pp. 9-17). ACM.
Ga?evi , D., Dawson, S., & Pardo, A. (2016). How do we start? State and directions of learning analytics adoption. International Council for Open and Distance Education.
Hilliger, I., Ortiz-Rojas, M., Pesántez-Cabrera, P., Scheihing, E., Tsai, Y. S., Mu?oz-Merino, P. J., Broos, T., Whitelock-Wainwright, A., & Pérez-Sanagustín, M. (2020). Identifying needs for learning analytics adoption in Latin American universities: A mixed-methods approach.The Internet and Higher Education, 45, 100726.
Iraj, H., Fudge, A., Khan, H. J., Faulkner, M., Pardo, A., & Kovanovíc, V. (2021). Narrowing the feedback gap: Examining student engagement with personalized and actionable feedback messages. Journal of Learning Analytics, 8(3), 1-16.
J?rn?, R. L., & Gynther, K. (2018). What constitutes an ‘a(chǎn)ctionable insight’ in learning analytics? Journal of Learning Analytics, 5(3), 198-221.
Kirschner, P. A. (2002). Can we support CSCL? Educational, social and technological affordances for learning(pp. 7-47).OUNL.
Klein, G., Moon, B., & Hoffman, R. R. (2006). Making sense of sensemaking 1: Alternative perspectives . IEEE Intelligent Systems, 21(4), 70-73.
Koh, E., & Tan, J. (2017). A taxonomy for teacher-actionable insights in learning analytics. In Proceedings of the 25th International Conference on Computers in Education(pp. 517-519). Asia-Pacific Society for Computers in Education.
Kozlov, V. (2020-8-25). What is data, information, knowledge, insight? http://victorkozlov.com/blog/data-information-knowledge-
insight/
Law, P. M., Endert, A., & Stasko, J. T. (2020). What are data insights to professional visualization users. In 2020 IEEE Visualization Conference(pp. 181-185). IEEE.
Leighton, J. P. (2004).The nature of reasoning. Cambridge University Press.
Li, Q., Jung, Y., & Wise, A. F. (2021). Beyond first encounters with analytics: Questions, techniques and challenges in instructors’ sensemaking. In Proceedings of the 11th International Conference on Learning Analytics & Knowledge(pp. 344-353).ACM.
Liu, D. Y. T., Bartimote-Aufflick, K., Pardo, A., & Bridgeman, A.J. (2017). Data-driven personalization of student learning support in higher education. In A. Pe?a-Ayala (Ed.), Learning analytics: Fundaments, applications, and trends(pp. 143-170). Springer.
Mai, X. Q., Luo, J., Wu, J. H., & Luo, Y. J. (2004). “Aha!” effects in a guessing riddle task: An event-related potential study. Human Brain Mapping, 22(4), 261-270.
Mandinach, E. B., & Gummer, E. S. (2016). Every teacher should succeed with data literacy. Phi Delta Kappan, 97(8), 43-46.
Martinez-Maldonado, R. (2019). A handheld classroom dashboard: Teachers’ perspectives on the use of real-time collaborative learning analytics.International Journal of Computer-Supported Collaborative Learning, 14, 383-411.
Meyer, J., Thomas, J., Diehl, S., Fisher, B., &; Keim, D. (2010). From visualization to visually enabled reasoning. In H. Hagen (Ed.), Scientific visualization: Advanced concepts(pp. 227-245).Schloss Dagstuhl-Leibniz-Zentrum fuer Informatik.
Molenaar, I., & Knoop-van Campen, C. A. N. (2019). How teachers make dashboard information actionable. IEEE Transactions on Learning Technologies, 13(3), 347-355.
North, C. (2006). Toward measuring visualization insight. IEEE Computer Graphics & Applications, 26(3), 6-9.
Pelletier, K., McCormack, M., Reeves, J., Robert, J., Arbino, N., Al-Freih, M., Dickson-Deane, C., Guevara, C., Koster, L., Sánchez-Mendiola, M., Bessette, L. S., & Stine, J. (2022). EDUCAUSE Horizon Report (Teaching and Learning Edition).EDUCAUSE.
Pirolli, P., & Card, S. (2005). The sensemaking process and leverage points for analyst technology as identified through cognitive task analysis.Proceedings of International Conference on Intelligence Analysis (5), 2-4.
Rasouli, P., & Chieh Yu, I. (2022). CARE: coherent actionable recourse based on sound counterfactual explanations. International Journal of Data Science and Analytics. http://doi.org/10.1007/s41060-022-00365-6.
Rienties, B., Boroowa, A., Cross, S., Kubiak, C., Mayles, K., & Murphy, S. (2016). Analytics4Action evaluation framework: A review of evidence-based learning analytics interventions at the Open University UK. Journal of Interactive Media in Education (1), 1-11.
Saraiya, P., North, C., & Duca. C. (2005). An insight-based methodology for evaluating bioinformatics visualizations. IEEE Transactions on Visualization and Computer Graphics, 11(4), 443-456.
Sedig, K., & Parsons, P. (2013). Interaction design for complex cognitive activities with visual representations: A pattern-based approach. AIS Transactions on Human-Computer Interaction, 5(2), 84-133.
Spillane, J. P. (2012). Data in practice: Conceptualizing the data-based decision-making phenomena. American Journal of Education, 118(2), 113-141.
Su, P., Mao, W., Zeng, D., & Zhao, H. (2012). Mining actionable behavioral rules. Decision Support Systems, 54(1), 142-152.
Susnjak, T., Ramaswami, G. S., & Mathrani, A. (2022). Learning analytics dashboard: A tool for providing actionable insights to learners. International Journal of Educational Technology in Higher Education, 19(12). https://doi.org/10.1186/s41239-021-00
313-7.
Tan, S. Y., & Chan, T. (2015). Defining and conceptualizing actionable insight: A conceptual framework for decision-centric analytics. In ACIS 2015 Proceedings(pp.1-11). AIS Electronic Library.
Thomas, J., Clark, S., & Gioia, D. (1993). Strategic sensemaking and organizational performance: Linkages among scanning, interpretation, and outcomes. Academy of Management Journal, 36(2), 239-70.
Van Harmelen, M., & Workman, D. (2012). Analytics for learning and teaching. CETIS Analytics Series, 1(3), 1-40.
Van Leeuwen, A. (2019). Teachers’ perceptions of the usability of learning analytics reports in a flipped university course: When and how does information become actionable knowledge? Educational Technology Research and Development, 67(5), 1043-1064.
Verbert, K., Duval, E., Klerkx, J., Govaerts, S., & Santos, J. L. (2013). Learning analytics dashboard applications. American Behavioral Scientist, 57, 1500-1509.
Wainer, H., (1992). Understanding graphs and tables. Educational Researcher, 21(1), 14-23.
Wise, A. F., & Jung, Y. (2019). Teaching with analytics: Towards a situated model of instructional decision-making. Journal of Learning Analytics, 6(2), 53-69.
Wise, A. F., Vytasek, J. M., Hausknecht, S. N., & Zhao, Y. (2016). Developing learning analytics design knowledge in the “Middle Space”: The student tuning model and align design framework for learning analytics use. Journal of Asynchronous Learning Networks, 20, 155-182.
Wong, J., Baars, M., de Koning, B. B., der Zee, T., Davis, D., Khalil, M., Houben, G-J., & Paas, F. (2019). Educational theories and learning analytics: From data to knowledge. In D. Ifenthaler, D. K. Mah, & J. K. Yau (Eds.), Utilizing learning analytics to support study success(pp. 3-25). Springer.
You, H. (2010). A knowledge management approach for real-time business intelligence. In 2nd International Workshop on Intelligent Systems and Applications(pp. 1-4). IEEE.
Zhao, F., Hwang, G. J., & Yin, C. (2021). A result confirmation-based learning behavior analysis framework for exploring the hidden reasons behind patterns and strategies. Educational Technology & Society, 24(1), 138-151.
Actionable Insights of Learning Analytics: Connotation
Understanding and Conceptual Structure
Wang Weifu and Mao Meijuan
Abstract: Mainstream learning analytics focuses on instrumental rationality, such as data collection, analysis and mining, and algorithmic modeling, while the value rationality research on how to use learning analytics has been overlooked. As a result, there is a significant imbalance between instrumental rationality and value rationality on the development and utilization of educational data elements. Therefore, this study conceptualizes the value rationality goal of learning analytics, which is referred to as “actionable insights”. Then, the connotation of actionable insights is clarified, the conceptual structure of actionable insights is constructed, the narrative features of actionable insights are characterized, and the analytical reasoning processes and design strategies that support the generation of actionable insights are proposed. The study argues that actionable insights represent meaningful knowledge or information that can be acted upon by end-users from learning analytics, including four hierarchical components: factual, interpretive, reflective and actionable insights. To effectively support the generation of actionable insights, it is recommended to adopt user-centered participatory design methods, incorporate the design concept of data storytelling, and integrate educational theories or learning constructs when designing and developing learning analytics systems.
Keywords: actionable insights; learning analytics; data element; value rationality; data storytelling
Authors: Wang Weifu, lecturer of the School of Journalism and Communication, Jiangxi Normal University (Nanchang 330022); Mao Meijuan, lecturer of the E-Commerce School, Jiangxi College of Foreign Studies (Nanchang 330099)
責(zé)任編輯 郝 丹 韓世梅