吳斕 余勝泉 駢揚 劉陽

摘要：立德樹人，促進學(xué)生全面發(fā)展是新時代教育評價改革的宗旨，踐行全面發(fā)展評價觀基于學(xué)生全學(xué)習(xí)過程數(shù)據(jù)，為此需要借助信息技術(shù)實現(xiàn)對過程行為數(shù)據(jù)的自動采集和分析，提高評估的效率和準(zhǔn)確性。該研究以協(xié)作問題解決能力為評估對象，探索信息技術(shù)創(chuàng)新評估工具的實踐路徑。在“評估三角”理論的指導(dǎo)下，首先從協(xié)作問題解決能力“多維-交互”的本質(zhì)出發(fā)構(gòu)建三維能力評估框架；其次，依托PSAA平臺設(shè)計和開發(fā)基于過程數(shù)據(jù)流的協(xié)作問題解決能力自動化評估系統(tǒng)，實現(xiàn)集觸發(fā)行為、采集行為、編碼行為、推斷能力和報告結(jié)果于一體的評估流程，并設(shè)計了對過程行為數(shù)據(jù)特別是會話內(nèi)容質(zhì)性特征的自動編碼模型；最后，以B市140名初中生為實驗對象驗證了該評估系統(tǒng)的有效性、有用性和易用性。未來還需不斷融合新理論和新技術(shù)改進和創(chuàng)新測評方法和工具，助推面向?qū)W生過程表現(xiàn)的核心素養(yǎng)評估的落地。

關(guān)鍵詞：協(xié)作問題解決能力評估；人人協(xié)作；過程數(shù)據(jù)流

中圖分類號：G434 文獻標(biāo)識碼：A

* 本文受北京市教育科學(xué)“十四五”規(guī)劃優(yōu)先關(guān)注課題“人工智能教育應(yīng)用體系構(gòu)建研究”（課題編號：3020-0058）資助。

2020年10月，中共中央、國務(wù)院印發(fā)《深化新時代教育評價改革總體方案》明確指出新時代教育評價改革方向，要以立德樹人為主線，扭轉(zhuǎn)不科學(xué)的教育評價導(dǎo)向，關(guān)注學(xué)生全面發(fā)展[1]。2021年7月，教育部等多部門聯(lián)合印發(fā)《關(guān)于推進教育新型基礎(chǔ)設(shè)施建設(shè)構(gòu)建高質(zhì)量教育支撐體系的指導(dǎo)意見》，其中強調(diào)要利用大數(shù)據(jù)、人工智能等新一代信息技術(shù)創(chuàng)新評價工具，尤其在評價手段、內(nèi)容等方面作出明確指示，包括開發(fā)能夠記錄學(xué)生學(xué)習(xí)過程表現(xiàn)，支撐學(xué)生德智體美勞全要素評價的工具[2]。

破除“五唯”，立足全面發(fā)展評價觀，其背后的邏輯思路是將評價工作融入育人的每個環(huán)節(jié)，全方位記錄不同場景下學(xué)生日常行為表現(xiàn)，基于過程數(shù)據(jù)的分析與挖掘評估學(xué)生各項能力的發(fā)展?fàn)顩r。由于數(shù)據(jù)來源豐富，數(shù)據(jù)量龐大且結(jié)構(gòu)復(fù)雜，對評價技術(shù)也提出較高要求。因此，需要以信息技術(shù)為支撐實現(xiàn)評價工具的數(shù)字化和智能化，實現(xiàn)自動采集過程行為數(shù)據(jù)、實時分析數(shù)據(jù)和產(chǎn)生可視化評估報告等[3]，是新時代教育評價改革的重要突破口。

本研究將以協(xié)作問題解決能力作為研究對象，探索如何借助信息技術(shù)創(chuàng)新育人評價工具。首先，協(xié)作問題解決能力（Collaborative Problem Solving， CPS）是人類學(xué)習(xí)、工作和生活中不可或缺的一項重要技能，被世界各國列入21世紀(jì)學(xué)生核心素養(yǎng)框架中[4]。為此，有必要開展常態(tài)化、大規(guī)模的評估，有效測量學(xué)生此項能力發(fā)展水平，支持教師進行針對性反饋與干預(yù)，助力學(xué)生協(xié)作問題解決能力水平的提升[5]。其次，PISA（Programme for International Student Assessment，以下簡稱 PISA）和ATC21S（Assessment and Teaching of 21st Century Skills，以下簡稱 ATC21S）率先于2015年發(fā)起面向全球中學(xué)生的大規(guī)模測評項目，正式推動基于計算機的協(xié)作問題解決能力評估實踐。隨著實踐深入，一些影響評估過程和結(jié)果的關(guān)鍵問題亟待解決，包括如何在多維度上輸出結(jié)果以表征能力的復(fù)雜結(jié)構(gòu)、如何降低協(xié)作過程中同伴對被試真實水平產(chǎn)生影響、以及如何實現(xiàn)對過程行為數(shù)據(jù)（特別是協(xié)作會話質(zhì)性特征）的自動編碼等等[6][7]。

基于此，本研究試圖探索基于過程數(shù)據(jù)流的協(xié)作問題解決能力自動化評估方法，實現(xiàn)從個體在測評系統(tǒng)中產(chǎn)生的過程行為數(shù)據(jù)（點擊流數(shù)據(jù)和會話數(shù)據(jù)）中自動抽取評估證據(jù)，結(jié)合該能力的復(fù)雜結(jié)構(gòu)在多維度上輸出個體的能力表現(xiàn)，并采取措施控制同伴對個體的影響，保證評估結(jié)果的科學(xué)性和有效性。該研究是助推全面發(fā)展評價觀落地，創(chuàng)新育人評價工具方面的一個典型實踐案例，為后續(xù)實現(xiàn)面向?qū)W生過程表現(xiàn)的德智體美勞全要素的評價提供了可借鑒的實踐經(jīng)驗。

（一）協(xié)作問題解決能力

協(xié)作問題解決能力是個體與同伴協(xié)作解決復(fù)雜問題過程中所展現(xiàn)的能力[8]，是一個由多種子技能組成的復(fù)雜技能集[9]，包括認(rèn)知的、社會的、動機情感等多方面技能[10]。因此，該能力具有復(fù)雜性和多維性特征[11]。大多數(shù)研究將協(xié)作問題解決能力作為認(rèn)知性和社會性兩方面技能的交互結(jié)果。最早由O’Neil等人于2003年確定了協(xié)作問題解決能力評估框架的兩大維度——“問題解決”（Problem Solving）和“協(xié)作”（Collaboration），其中“問題解決”維度包括內(nèi)容理解、問題解決策略和自我調(diào)節(jié)，“協(xié)作”維度包括適應(yīng)能力、協(xié)調(diào)能力、決策能力、人際交往能力、領(lǐng)導(dǎo)力和溝通能力[12]，該框架為后續(xù)一系列研究奠定理論基礎(chǔ)。PISA2015項目通過四種問題解決技能（Problem-Solving Proficiency）（探究和理解、表征和系統(tǒng)化、計劃和執(zhí)行、監(jiān)控和反思）與三種協(xié)作技能（Collaboration Proficiency）（建立和維持共識、采取合適的行動解決問題、建立和維持團隊的組織形式）的交叉，生成4*3矩陣形式的協(xié)作問題解決能力評估框架。ATC21S項目也將協(xié)作問題解決能力劃分為“社交技能”（Social Skills）和“認(rèn)知技能”（Cognitive Skills）[13]，其中“社交技能”包括參與、觀點獲取和社會調(diào)節(jié)；“認(rèn)知技能”包括任務(wù)調(diào)節(jié)、學(xué)習(xí)與知識建構(gòu)。

目前為止，協(xié)作問題解決能力評估框架主要以“認(rèn)知-社會”二維結(jié)構(gòu)為主，近年來隨著對學(xué)生非認(rèn)知表現(xiàn)的關(guān)注，不少研究指出動機情感、自我調(diào)節(jié)等會影響個體的協(xié)作問題解決能力[14][15]，因此該能力的評估框架有待進一步拓展。由于該能力具有復(fù)雜結(jié)構(gòu)，如果只生成單一維度的能力值會過分窄化評估信息[16]，不利于指導(dǎo)教育教學(xué)，而且協(xié)作問題解決過程中，各能力維度之間可能存在交互作用[17]，因此，在評估協(xié)作問題解決能力時需要綜合考慮“多維-交互”特點，這為評估工作帶來一定的挑戰(zhàn)性。

（二）基于過程數(shù)據(jù)流的協(xié)作問題解決能力評估

基于計算機的測評方式能夠創(chuàng)設(shè)豐富的協(xié)作型任務(wù)情境，以非侵入方式采集學(xué)生自然狀態(tài)下的過程行為表現(xiàn)，并以過程數(shù)據(jù)流的形式存儲在日志文件中，支持面向?qū)W生過程表現(xiàn)的核心素養(yǎng)和關(guān)鍵能力的評估[18][19]，因而在教育評估領(lǐng)域內(nèi)備受關(guān)注。根據(jù)協(xié)作同伴的類型不同，基于計算機的協(xié)作問題解決能力評估主要包括兩種形式——人機協(xié)作和人人協(xié)作，分別以PISA2015和ATC21S兩大項目為典型代表。國內(nèi)有學(xué)者已從合作方式、對話交流類型、合作證據(jù)等方面進行了對比和闡述[20]，本研究主要聚焦于兩種評估形式中采用的基于過程數(shù)據(jù)流的評估方法。

人機協(xié)作中的同伴是基于腳本的計算機代理，學(xué)生與計算機代理的交流過程是預(yù)先定義的，以PISA2015項目為例，每次任務(wù)包括多道試題，為完成每道試題，學(xué)生需要與代理進行多輪會話，每個話輪以單選題形式呈現(xiàn)，學(xué)生需選出自己認(rèn)為最適合的選項，代理則根據(jù)學(xué)生選擇結(jié)果提供不同回復(fù)。測試系統(tǒng)包括“會話區(qū)”和“任務(wù)區(qū)”，“會話區(qū)”記錄學(xué)生每輪會話的選擇結(jié)果，“任務(wù)區(qū)”會記錄學(xué)生的點擊行為，例如是否點擊了正確的鏈接，拖拽圖標(biāo)的先后順序等。評估系統(tǒng)會事先確定編碼規(guī)則，將每一輪會話的不同選項和“任務(wù)區(qū)”的點擊行為進行組合，關(guān)聯(lián)到不同的評估指標(biāo)以及獲得相應(yīng)的分值，根據(jù)學(xué)生在“會話區(qū)”和“任務(wù)區(qū)”的作答結(jié)果，自動獲取關(guān)聯(lián)的評估指標(biāo)及分?jǐn)?shù)，學(xué)生完成測試后系統(tǒng)自動統(tǒng)計所有評估指標(biāo)的總分，最后線下基于心理測量模型估計能力值[21]。人機協(xié)作的評估方法通過事先定義會話內(nèi)容以及每一輪會話關(guān)聯(lián)的評估指標(biāo)，實現(xiàn)基于學(xué)生的過程表現(xiàn)自動化累積不同評估指標(biāo)的得分，便于操作和支持大規(guī)模應(yīng)用。此外，基于腳本定義虛擬同伴的性格特點，能夠有效控制評估過程和消除同伴對個體表現(xiàn)的影響[22]。但不足之處是由于技術(shù)所限，虛擬同伴還無法真正替代真實的人類伙伴，難以保證獲得的是個體在真實情境中的表現(xiàn)，進而影響評估結(jié)果的準(zhǔn)確性。

人人協(xié)作中的同伴是真實的人，這種評估方式更接近真實生活，但難以控制，協(xié)作過程中會涌現(xiàn)大量豐富的過程行為數(shù)據(jù)，尤其是在線會話類數(shù)據(jù)，機器難以理解會話內(nèi)容，使得從過程數(shù)據(jù)流中抽取評估證據(jù)存在較大困難。以ATC21S項目為例，測試系統(tǒng)包括“會話區(qū)”和“任務(wù)區(qū)”，“會話區(qū)”實時記錄學(xué)生與同伴在線交流的消息，以文本形式存儲在日志文件中，“任務(wù)區(qū)”中以“行為事件”形式記錄學(xué)生各類操作行為，包括輸入、點擊、拖拽、移動、懸停等，以事件的形式存儲在日志文件中?；陬A(yù)先設(shè)計的編碼規(guī)則，系統(tǒng)將不同類型的事件轉(zhuǎn)化為具有評估意義的行為指標(biāo)，并基于事件發(fā)生的次數(shù)或時長等為行為指標(biāo)賦予分值，最后將行為指標(biāo)關(guān)聯(lián)到不同的評估指標(biāo)上，這些行為指標(biāo)就好比傳統(tǒng)測試中的試題，每個行為指標(biāo)基于編碼規(guī)則得到分值，類似于學(xué)生在每道測試題上的得分，最后也是在線下利用心理測量模型估計能力值。由于ATC21S項目是跨國性測評，需要進行不同國家語言的轉(zhuǎn)換，因此沒有考慮會話內(nèi)容的分析，導(dǎo)致大量有價值的評估證據(jù)流失。此外，在小組構(gòu)成方面較為單一，該項目采取的是兩兩協(xié)作的方式，學(xué)生自始至終和同一位同伴完成四個不同的評估任務(wù)，協(xié)作情境具有一定的局限性，難以平衡不同類型同伴對個體表現(xiàn)的影響[23][24]。

目前，面向大規(guī)模的評估工具主要以記錄學(xué)生在測評系統(tǒng)中產(chǎn)生的點擊流數(shù)據(jù)和會話數(shù)據(jù)為主。要實現(xiàn)基于計算機的自動化評估包括三個關(guān)鍵環(huán)節(jié)：創(chuàng)設(shè)協(xié)作任務(wù)情境觸發(fā)個體產(chǎn)生表征能力的行為數(shù)據(jù)，從過程性數(shù)據(jù)中抽取評估證據(jù)以及基于心理測量模型估計能力值。由于人機協(xié)作和人人協(xié)作各自的測試結(jié)構(gòu)不同，導(dǎo)致基于過程數(shù)據(jù)流的評估思路完全不同。人機協(xié)作需要預(yù)先定義會話路徑，以及每輪會話和任務(wù)作答結(jié)果關(guān)聯(lián)的評估指標(biāo)，而人人協(xié)作則需要預(yù)先在系統(tǒng)中進行數(shù)據(jù)埋點以實時記錄個體的過程行為表現(xiàn)，基于預(yù)先定義的編碼規(guī)則從過程數(shù)據(jù)流中抽取行為指標(biāo)，并關(guān)聯(lián)不同的評估指標(biāo)。但是，PISA2015和ATC21S項目沒有完全實現(xiàn)基于過程數(shù)據(jù)流的自動化評估，其中基于心理測量模型估計個體能力值是在線下完成的，這樣容易導(dǎo)致評估周期拉長，評估結(jié)果反饋延時，不利于支持教師及時改進教學(xué)和促使學(xué)生自我反思。因此，需要減少評估流程中的人工干預(yù)，實現(xiàn)數(shù)據(jù)的自動化采集和分析。

本研究將探究人人協(xié)作評估模式下，基于過程數(shù)據(jù)流的協(xié)作問題解決能力自動化評估方法。打通評估過程中的數(shù)據(jù)流回路，串起“線上數(shù)據(jù)編碼”和“線下估計能力值”的環(huán)節(jié)，打造“測試-報告-改進”一體化評估系統(tǒng)，提高評估效率和實現(xiàn)及時反饋。此外，在線會話內(nèi)容中蘊含著大量能夠表征個體團隊意識、認(rèn)知水平的評估證據(jù)，如果在評估過程中增加會話內(nèi)容的分析能夠極大提高評估結(jié)果的科學(xué)性和準(zhǔn)確性。本研究將結(jié)合我國學(xué)生的協(xié)作特點增加對會話數(shù)據(jù)質(zhì)性特征的分析，以期提高評估結(jié)果的科學(xué)性和準(zhǔn)確性，更加全面細(xì)致地反映個體的過程表現(xiàn)。

為保證評估流程的科學(xué)性和有效性，本研究依賴能力評估的基礎(chǔ)——“評估三角”（Assessment Triangle），該理論強調(diào)“基于證據(jù)進行推理”。三角形的三個頂點分別代表能力評估的三個核心環(huán)節(jié)——認(rèn)知、觀察和解釋（Cognition， Observation， Interpretation）?！罢J(rèn)知”即明確能力評估框架；“觀察”即在特定情境中獲取表征個體能力水平的外顯行為；“解釋”即基于心理測量模型或統(tǒng)計方法推斷個體能力水平 [25][26]。

基于“評估三角”理論，本研究設(shè)計了基于過程數(shù)據(jù)流的協(xié)作問題解決能力自動化評估框架。如圖1所示，首先，構(gòu)建協(xié)作問題解決能力評估框架，明確評估對象；接著，基于能力評估框架設(shè)計評估任務(wù)，在評估系統(tǒng)中進行數(shù)據(jù)埋點，確保能夠采集個體在任務(wù)過程中產(chǎn)生的一系列行為表現(xiàn)[27]；在評估過程中實時采集個體產(chǎn)生的點擊流數(shù)據(jù)和會話數(shù)據(jù)；然后，基于預(yù)先定義的證據(jù)編碼規(guī)則，從原始數(shù)據(jù)中抽取具有等級意義的評估指標(biāo)；最后，基于心理測量模型推斷個體能力值，以可視化報告形式輸出評估結(jié)果。下面從評估框架、系統(tǒng)設(shè)計、評估方法三個方面介紹如何實現(xiàn)基于過程數(shù)據(jù)流的協(xié)作問題解決能力自動化評估。

（一）三維能力評估框架的構(gòu)建

相關(guān)研究表明協(xié)作問題解決能力是一個復(fù)雜技能集，是認(rèn)知、社會等多種子技能交互的結(jié)果[28]，需要從多個維度刻畫協(xié)作問題解決能力。協(xié)作問題解決過程包括問題情境和協(xié)作情境[29]，個體在問題情境中進行計劃、探索和完成任務(wù)，在協(xié)作情境中與同伴進行溝通交流，學(xué)習(xí)科學(xué)中將“同伴交互”分為認(rèn)知導(dǎo)向的交互（如方案協(xié)商、群體知識建構(gòu)）社會導(dǎo)向的交互（如人際關(guān)系構(gòu)建、團隊凝聚力形成）[30]，通過這種認(rèn)知-社會性交互，個體還需不斷進行反思和調(diào)節(jié)[31]，而這依賴于個體具備的元認(rèn)知屬性的技能。大量研究表明，個體的元認(rèn)知水平在問題解決和協(xié)作學(xué)習(xí)過程中都發(fā)揮著重要作用，還會影響同伴的行為表現(xiàn)[32]，因此，本研究假定協(xié)作問題解決能力具有三個子維度——認(rèn)知維度、社會維度和元認(rèn)知維度。

基于社會認(rèn)知理論[33]，社會建構(gòu)主義理論[34]，群體認(rèn)知模型[35]，情境認(rèn)知理論[36]和聯(lián)通主義理論[37]等，在ATC21S項目評估指標(biāo)體系的基礎(chǔ)上，自上而下構(gòu)建了三維協(xié)作問題解決能力評估框架，每個維度下關(guān)聯(lián)若干行為指標(biāo)，然后自下而上基于數(shù)據(jù)對理論假設(shè)進行驗證，并鑒別出相關(guān)度較高的行為指標(biāo)不斷改進評估框架，本研究采用了探索性結(jié)構(gòu)方程模型等統(tǒng)計方法經(jīng)歷多次迭代，對評估框架改進的最終結(jié)果如表1所示，為從過程數(shù)據(jù)流中抽取具有評估意義的行為指標(biāo)提供了解釋性框架[38]，由于考慮到協(xié)作問題解決能力的交互特征，個體在展示某些行為時，需要不同類型子指標(biāo)之間的相互配合，因此有些行為指標(biāo)橫跨多個維度，這一結(jié)論也符合協(xié)作問題解決能力的本質(zhì)特征，即該能力是多個維度交互的結(jié)果[39]，不同維度之間具有補償性和關(guān)聯(lián)性。

其中認(rèn)知維度代表個體在解決問題過程中的認(rèn)知投入程度，如查找資料、閱讀資料、分析規(guī)律、指出錯誤等，以及參與的認(rèn)知導(dǎo)向的同伴交互，如和同伴分任務(wù)屬性、確定目標(biāo)、協(xié)商問題解決方案等。社會維度表征個體參與社會導(dǎo)向的同伴交互活動中的行為表現(xiàn)，如響應(yīng)同伴、鼓勵同伴、保持交流等。元認(rèn)知維度借鑒Zimmerman提出的SRL模型[40]，包括個體在認(rèn)知-社會交互活動中進行監(jiān)控、反思并做出進行調(diào)節(jié)，如規(guī)劃未來行動計劃、了解同伴狀況、進行適應(yīng)性支持等。另外，某些行為指標(biāo)同時關(guān)聯(lián)了兩個或三個維度，例如“提示資料線索”關(guān)聯(lián)認(rèn)知和元認(rèn)知兩個維度，“構(gòu)建共享問題空間”關(guān)聯(lián)認(rèn)知、社會和元認(rèn)知三個維度。

（二）自動化評估系統(tǒng)的設(shè)計

評估系統(tǒng)的設(shè)計要保證個體與同伴產(chǎn)生實質(zhì)性的協(xié)作，有效觸發(fā)個體產(chǎn)生能夠表征其能力水平的行為表現(xiàn)，采取一定措施控制同伴對其產(chǎn)生影響，盡可能地獲取個體的真實表現(xiàn)，下面從測試結(jié)構(gòu)、測試界面和協(xié)作支架三個方面介紹本研究的自動化評估系統(tǒng)的設(shè)計。

1.測試結(jié)構(gòu)

為解決人人協(xié)作評估形式面臨的一大挑戰(zhàn)——如何削弱同伴等外界因素對個體外在表現(xiàn)的影響，該系統(tǒng)借鑒了Hao等人提出的方法——多團隊循環(huán)式設(shè)計（A Multiteam Round Robin-like Design）的理念[41]，即個體需要與不同同伴參與完成不同任務(wù)，綜合這些任務(wù)中個體的表現(xiàn)來評價其能力水平，以平衡外界不同因素對個體行為表現(xiàn)的影響。如下頁圖2所示，每個個體需要連續(xù)完成四個測評任務(wù)，每個任務(wù)的同伴都不相同。在小組成員數(shù)量方面，基于相關(guān)研究，為了既能保持有效的協(xié)作又能產(chǎn)生復(fù)雜的交互，將小組的人數(shù)控制在2—4人左右[42][43]，每次任務(wù)的協(xié)作同伴數(shù)量隨機，最后基于個體在四次任務(wù)中的所有表現(xiàn)評估其能力水平，通過這種跨任務(wù)評估的方式可以平衡同伴對個體真實表現(xiàn)帶來的影響。其中每個任務(wù)可能包括一個或多道試題。

2.測試界面

測試系統(tǒng)的整體界面包括任務(wù)區(qū)、會話區(qū)和資料中心。 “任務(wù)區(qū)”負(fù)責(zé)創(chuàng)設(shè)問題情境，提供任務(wù)說明、試題、作答時間和指定本題負(fù)責(zé)提交答案的同學(xué)等。其中試題類型較多，有選擇題、填空題、主觀題和一些交互操作類試題。系統(tǒng)會記錄個體在該區(qū)域產(chǎn)生的所有點擊行為，如拖動圖標(biāo)、向上或向下滾動頁面、點擊按鈕。

“會話區(qū)”支持測試者與同伴實時在線交流，創(chuàng)設(shè)了協(xié)作情境，測試者可以發(fā)送文本消息和表情符號，還可瀏覽歷史聊天消息。此外，會話區(qū)會根據(jù)作題進度自動發(fā)送系統(tǒng)消息（如提示作答規(guī)則等）。系統(tǒng)可以實時記錄個體在“會話區(qū)”的所有會話行為和點擊行為，如發(fā)送的一條消息、向上或向下滾動窗口瀏覽歷史聊天記錄。

點擊測試系統(tǒng)中的“資料中心”圖標(biāo)可以進入查看各種資料，“資料中心”提供了問題解決的相關(guān)線索，包括與任務(wù)相關(guān)或不相關(guān)資料，考察個體對問題的理解是否正確，該系統(tǒng)會記錄個體在“資料中心”所有的點擊行為，如進入或退出資料中心、打開或關(guān)閉某個資料。

3.協(xié)作支架

在線協(xié)作的環(huán)境中，由于測試者無法實時了解同伴的真實狀況，為了確保協(xié)作過程實質(zhì)性發(fā)生，需要添加協(xié)作支架，以觸發(fā)測試者與同伴產(chǎn)生協(xié)作意愿。本研究基于Vera等人研究[44]設(shè)計三種協(xié)作支架——資料不對稱、任務(wù)信息不對稱和投票機制，如表2所示。

（三）一體化評估方法的實現(xiàn)

為實現(xiàn)自動化評估方法，系統(tǒng)集觸發(fā)個體行為、采集行為、編碼行為、推斷能力和輸出評估結(jié)果于一體，貫通整個評估流程的數(shù)據(jù)回路。下面以任務(wù)《拍攝人工智能電影》為例詳細(xì)闡述自動化評估方法的實現(xiàn)流程。該任務(wù)選擇與生活相關(guān)的場景，對于學(xué)科知識不作要求，在資料中心會提供相關(guān)資料和線索幫助解決問題，該任務(wù)包括五個小任務(wù)，如表3所示。

以第4題為例，試題背景是某電影公司要拍攝一部電影，想請大家判斷應(yīng)該選擇哪個劇本可能會取得較高的票房。任務(wù)界面顯示為一道組合題，學(xué)生既要選擇正確的劇本，又要闡述選擇的理由，理由需要在最下面的交互場景中進行探究才能歸納得到。這道題使用的協(xié)作支架是“資料不對稱”，同一組內(nèi)不同成員的“資料中心”中劇本不同，因此需要相互交流劇本內(nèi)容。

1.采集行為

為了實現(xiàn)行為數(shù)據(jù)的自動化采集和存儲，系統(tǒng)提前在任務(wù)區(qū)、會話區(qū)和資料中心進行了數(shù)據(jù)埋點。因此，可以記錄個體所有的點擊行為和會話行為。每條記錄包括小組序號、姓名、帳號、時間、行為的具體內(nèi)容、任務(wù)名稱和行為類型。行為類型包括“點擊行為”（Click）和“會話行為”（Chat）。

2.編碼行為

系統(tǒng)采集的行為數(shù)據(jù)以非結(jié)構(gòu)化數(shù)據(jù)為主，難以直接用來估計學(xué)生的能力水平，需要進行編碼轉(zhuǎn)化為具有評估意義、單位統(tǒng)一、帶有數(shù)值的行為指標(biāo)。

其中“點擊行為”根據(jù)預(yù)先定義的規(guī)則自動編碼和記分，以“資料中心”中的“點擊行為”為例，如果個體點擊的資料與任務(wù)相關(guān)，則關(guān)聯(lián)的行為指標(biāo)“努力查找資料”得1分。

為了實現(xiàn)對會話數(shù)據(jù)的質(zhì)性特征的分析，本研究邀請了兩位心理學(xué)和教育學(xué)領(lǐng)域的專家共同對準(zhǔn)實驗中采集的近兩萬條會話數(shù)據(jù)進行質(zhì)性分析，結(jié)合中國學(xué)生的交流特點，總結(jié)出高識別度的關(guān)鍵字、詞語和句式，關(guān)聯(lián)不同的行為指標(biāo)，基于正則表達(dá)式實現(xiàn)對會話內(nèi)容的自動編碼，目前機器識別準(zhǔn)確度約70%。

最后統(tǒng)計個體完成連續(xù)四個任務(wù)在不同行為指標(biāo)上的得分情況，如圖3所示，這些數(shù)據(jù)為連續(xù)型數(shù)據(jù)，不具有等級意義，不能直接輸入到心理測量模型中，還需進一步轉(zhuǎn)化為具有等級意義的行為指標(biāo)。

借鑒ATC21S項目采用的閾值法，基于線下行為指標(biāo)數(shù)據(jù)的分析，根據(jù)頻次分布情況劃分成五個等級，分別用0、1、2、3和4依次表示，從而將行為指標(biāo)轉(zhuǎn)化為具有等級意義的題項。結(jié)果如圖4所示，根據(jù)每個行為指標(biāo)設(shè)定的閾值區(qū)間將每個行為指標(biāo)上的得分轉(zhuǎn)化具有等級意義的數(shù)值。

3.推斷能力

多維項目反應(yīng)理論（Multidimensional Item Response Theory，簡稱MIRT）可以擬合數(shù)據(jù)的多維結(jié)構(gòu)[45]，能夠精確報告?zhèn)€體在多維度上的表現(xiàn)水平[46]。考慮到協(xié)作問題解決能力的各維度之間具有交互作用，本研究采用MIRT的補償模型，即各個維度之間是通過線性組合的形式來決定某個行為指標(biāo)上的表現(xiàn)。將如圖4所示中具有等級意義的數(shù)值作為輸入，運用多維等級反應(yīng)模型（Multidimensional Graded Response Model，簡稱MGRM）分別估計個體在認(rèn)知、社會和元認(rèn)知維度上的得分來表征其協(xié)作問題解決能力水平。在MGRM中，被試得t分的概率被定義為被試得t分及以上的概率減去被試得t+1分及以上的概率[47]，即：

4.輸出結(jié)果

基于M G R M輸出的值一般在- 3到3之間，不利于師生理解，因此需要進一步轉(zhuǎn)換，并基于過程行為數(shù)據(jù)的分析以可視化形式展示協(xié)作問題解決能力評估結(jié)果，為學(xué)生提供一些細(xì)節(jié)性反饋，促進學(xué)生反思和改進。

如下頁圖5所示是某位學(xué)生的協(xié)作問題解決能力評估報告，首先根據(jù)學(xué)生在不同維度上的初始能力值，劃分不同的能力段位，根據(jù)能力正態(tài)分布曲線以-0.43和0.43為界限，將每個維度輸出的原始能力值劃分0、1和2三個等級，學(xué)生的協(xié)作問題解決能力掌握模式有“000-222”共27種，根據(jù)不同掌握模式設(shè)定不同的能力等級，采用段位的形式來表示，如黑鐵、青銅、王者等；接著，將初始能力值轉(zhuǎn)換為以150為均值，50為標(biāo)準(zhǔn)差的分?jǐn)?shù)，以表格形式展示個體得分、平臺均分和最高分，并以雷達(dá)圖和箱形圖可視化個體在平臺測試群體中的位置，表格中除了展示個體在協(xié)作問題解決能力不同維度上的分?jǐn)?shù)，還根據(jù)不同維度的能力表現(xiàn)，提供一些個性化改進建議，以促使學(xué)生進一步反思并有意識地提升自己。

（一）系統(tǒng)的開發(fā)和實現(xiàn)

該系統(tǒng)的設(shè)計與開發(fā)依托北京師范大學(xué)未來教育高精尖創(chuàng)新中心自主研發(fā)的PSAA（Problem Solving Ability Assessment，簡稱PSAA）平臺。該平臺包括教師端和學(xué)生端，教師端支持教師自主出題、發(fā)布測試和查看評估報告，學(xué)生端支持學(xué)生參與測試和查看評估報告。實現(xiàn)流程如圖6所示，首先教師編輯試題、發(fā)布測試和隨機分組，然后學(xué)生進入平臺開始測評，連續(xù)完成四個任務(wù)后系統(tǒng)基于過程數(shù)據(jù)流自動生成能力報告，從而實現(xiàn)了自動化評估和實時反饋，減少了人工分析數(shù)據(jù)的負(fù)擔(dān)，提高評估效率。

（二）實驗過程和效果驗證

本研究選取了B市某中學(xué)的140名初中學(xué)生參與測試，一共完成四個不同評估任務(wù)，每次測試的時間約45分鐘左右，為了創(chuàng)設(shè)多樣化協(xié)作情境，每位學(xué)生參與每次測試的同伴都是隨機分配且不重復(fù)，小組構(gòu)成方面比較豐富，性別方面有同性別組和混合性別組之分，小組人數(shù)方面有2人一組、3人一組和4人一組，每個任務(wù)采用的協(xié)作支架也不相同，最大限度豐富協(xié)作情境，以平衡同伴對個體表現(xiàn)的影響。

1.評估系統(tǒng)的有效性驗證

為了驗證三維協(xié)作問題解決能力評估框架的科學(xué)性，本研究利用R語言的MIRT程序包，分析所有學(xué)生完成四個任務(wù)后在不同行為指標(biāo)上的表現(xiàn)數(shù)據(jù)，采用MGRM分別對20個行為指標(biāo)的三維能力評估模型進行擬合度檢驗，估計方法是“MHRM”，該方法適用于多維結(jié)構(gòu)的模型[48]，具體擬合指標(biāo)如下頁表4所示，其中主要指標(biāo)都達(dá)到良好標(biāo)準(zhǔn)，比較擬合指數(shù)（CFI）和 Tucker-Lewis系數(shù)（TLI）均大于0.95，表示模型擬合良好，且數(shù)值越大模型越佳；近似均方根誤差（RMSEA）和標(biāo)準(zhǔn)均方根殘差（SRMSR）均小于0.08，表示模型擬合合理，且數(shù)值越小模型越佳[49]。

為進一步驗證本研究開發(fā)的評估系統(tǒng)的有效性，本研究對比評估系統(tǒng)的結(jié)果與專家評估結(jié)果的相關(guān)性，以說明評估的結(jié)構(gòu)效度[50]。由于班主任老師最了解學(xué)生在真實生活中的表現(xiàn)，因此邀請了使用評估系統(tǒng)的140名學(xué)生的班主任老師基于他們的日常表現(xiàn)對其協(xié)作問題解決能力的認(rèn)知、社會和元認(rèn)知三個維度進行評分，用“低、中、高”三個等級來表示，分別對應(yīng)0、1和2。接著以-0.43和0.43為界限將該系統(tǒng)輸出的學(xué)生在三個維度上的能力值劃分為“低、中、高”三個等級，也用0、1和2表示。為了檢驗系統(tǒng)的評估結(jié)果與班主任老師評分結(jié)果之間的相關(guān)性，在SPSS26.0中進行了Spearman秩相關(guān)分析，結(jié)果顯示：在認(rèn)知維度（ρ=0.571，P=<0.001），社會維度（ρ=0.580，P=<0.001）和元認(rèn)知維度（ρ=0.595，P=<0.001）上，該系統(tǒng)的評估結(jié)果與班主任老師的評分結(jié)果存在正相關(guān)關(guān)系，表明該老師評估出能力高的學(xué)生，通過該系統(tǒng)測試的能力水平也高，進一步證明了評估系統(tǒng)的有效性。

2.評估系統(tǒng)的有用性和易用性驗證

為了驗證評估系統(tǒng)的有用性與易用性，本研究改編Chu等人的科技接受度量表[51]，開發(fā)了關(guān)于該評估系統(tǒng)的調(diào)查問卷，共19個題項，分為三個部分：評估工具的體驗（5題）、評估工具的感受（9題）和評估工具的滿意度（5題），問卷采用李克特五點量表，每題的最高分為5分，最低分為1分，三個部分的Cronbach’s α系數(shù)分別是0.92、0.93和0.96，具有良好的信度。結(jié)果表明學(xué)生覺得該評估系統(tǒng)體驗感強（Mean=4.229，SD=0.956），使用感受好（Mean=4.049，SD=1.004），對系統(tǒng)的滿意度較高（Mean=4.193，SD=1.083）。

此外，本研究采用了半結(jié)構(gòu)化訪談的方式對學(xué)生開展深入訪談，共計30名學(xué)生參與訪談，訪談主題包括“平臺的使用感受、平臺功能設(shè)計的體驗以及評估工具對自身的幫助”，每個主題的訪談文本的詞云圖如圖7所示。從訪談的內(nèi)容看，學(xué)生對平臺的使用感受和體驗比較好，他們都表示喜歡使用這個平臺，也愿意推薦給其他同學(xué)使用；更重要的是，學(xué)生通過參與這種人人協(xié)作的測試形式可以體會到與人協(xié)作的優(yōu)勢、會促進思考如何提升與人協(xié)作的方法和技巧，對提升協(xié)作問題解決能力有促進作用，如“這個評估系統(tǒng)能夠促進同學(xué)間的交流，鍛煉團隊協(xié)作能力”，“我覺得這種在線交流方式非常新穎，有助于提升自己的信息搜索、使用和總結(jié)能力，非常愿意推薦給其他同學(xué)使用”等等。此外，學(xué)生對于平臺功能設(shè)計方面也提出了一些改進意見，如“有時候同伴打字慢可能會影響在線溝通的效果，我覺得可以在會話區(qū)添加一些快捷回復(fù)，這樣可以加快回復(fù)速度”。這些意見對于未來評估系統(tǒng)的完善和發(fā)展具有參考價值，后續(xù)會結(jié)合意見進一步完善和優(yōu)化評估系統(tǒng)的各項功能。

本研究提出了一個基于過程數(shù)據(jù)流的協(xié)作問題解決能力自動化評估框架，對于后續(xù)實現(xiàn)面向?qū)W生過程表現(xiàn)的核心素養(yǎng)的評估具有一定的借鑒意義。更重要的是，由于協(xié)作問題解決能力評估缺少本土化研究，本研究考慮了中國學(xué)生的協(xié)作特點設(shè)計了自動化評估系統(tǒng)，對于培養(yǎng)我國學(xué)生的協(xié)作問題解決能力具有重要的實踐價值。具體來說，主要貢獻有以下兩個方面：（1）突破已有的“認(rèn)知-社會”二維結(jié)構(gòu)框架。從該能力本質(zhì)出發(fā)，新增元認(rèn)知子維度，構(gòu)建了三維協(xié)作問題解決能力評估框架，描述了不同子維度之間的交互關(guān)系，表征該能力的“多維-交互”特征，并利用多維項目反應(yīng)模型推斷學(xué)生在各子維度上的表現(xiàn)水平。（2）設(shè)計并實現(xiàn)集觸發(fā)行為、采集行為、編碼行為、推斷能力和輸出結(jié)果于一體的自動化評估系統(tǒng)。需要特別強調(diào)的是該系統(tǒng)解決了兩個關(guān)鍵問題：一是在小組構(gòu)成方面采取多團隊循環(huán)設(shè)計的方式，從而平衡了同伴對個體產(chǎn)生的影響；二是納入對會話數(shù)據(jù)質(zhì)性特征的分析，豐富了評估證據(jù)和評估結(jié)果，提高了評估的科學(xué)性和準(zhǔn)確性。而且從實驗驗證的結(jié)果也可以看到該評估系統(tǒng)具有較好的有效性和易用性，為利用信息技術(shù)創(chuàng)新評估工具，破解能力評估過程中面臨的困難與挑戰(zhàn)提供解決思路。

在本研究中，機器識別會話數(shù)據(jù)質(zhì)性特征的準(zhǔn)確度不高，后續(xù)還需嘗試新的方法，基于自然語言處理技術(shù)和機器學(xué)習(xí)方法探索會話數(shù)據(jù)質(zhì)性特征的自動化分類模型，以提高機器識別協(xié)作會話中關(guān)鍵證據(jù)的準(zhǔn)確性。此外，隨著移動智能終端和物聯(lián)網(wǎng)技術(shù)的普及，可以獲取協(xié)作問題解決過程中的多模態(tài)數(shù)據(jù)，如腦電數(shù)據(jù)、眼動數(shù)據(jù)、面部表情等，這些數(shù)據(jù)類型和結(jié)構(gòu)不同，對于自動化分類技術(shù)提出更高要求。而先前構(gòu)建的理論模型以及一些傳統(tǒng)的心理測量模型和統(tǒng)計方法可能并不適合直接用于多模態(tài)數(shù)據(jù)的分析[52]，需要自底向上基于數(shù)據(jù)挖掘的結(jié)果不斷補充和驗證評估模型與方法，未來要將數(shù)據(jù)驅(qū)動方法（如機器學(xué)習(xí)、數(shù)據(jù)挖掘）和理論驅(qū)動方法（如心理測驗學(xué)、統(tǒng)計學(xué)、認(rèn)知科學(xué)）進行混合[53]，根據(jù)評估過程中產(chǎn)生的不同類型數(shù)據(jù)，融合新理論和新技術(shù)進行測評方法和工具的改進與創(chuàng)新，全面助推面向?qū)W生過程表現(xiàn)的核心素養(yǎng)評估的落地。

參考文獻：

[1] 新華網(wǎng).中共中央、國務(wù)院印發(fā)《深化新時代教育評價改革總體方案》[EB/OL].http：//www.xinhuanet.com//mrdx/2020-10/14/ c_139439004.htm，2020-10-14.

[2] 教育部等六部門.關(guān)于推進教育新型基礎(chǔ)設(shè)施建設(shè)構(gòu)建高質(zhì)量教育支撐體系的指導(dǎo)意見[EB/OL].http：//www.moe.gov.cn/srcsite/A16/ s3342/202107/t20210720_545783.html，2021-07-01.

[3] Teig N，Scherer R，Kj rnsli M.Identifying patterns of students’ performance on simulated inquiry tasks using PISA 2015 log-file data [J].Journal of Research in Science Teaching，2020，57（9）：1400-1429.

[4] 鄭旭東，馬云飛等.協(xié)作問題解決：人工智能時代必備的高階能力[J].現(xiàn)代教育技術(shù)，2021，31（3）：12-19.

[5] 張生，王雪，齊媛.評他能力：人工智能時代學(xué)生必備的高階思維能力[J].中國電化教育，2021，（11）：24-31.

[6][16][41] Hao J，Liu L，et al.Psychometric Considerations and a General Scoring Strategy for Assessments of Collaborative Problem Solving [J]. ETS Research Report Series，2019，（1）：1-17.

[7] Rojas M，Nussbaum M，et al.Assessing collaborative problemsolving skills among elementary school students [J].Computers & Education，2021，（175）：104313.

[8][13][23] Care E，Griffin P，McGaw B.Assessment and teaching of 21st century skills [M].Dordrecht：Springer，2012.

[9][11] Scoular C，Care E，Hesse F W.Designs for Operationalizing Collaborative Problem Solving for Automated Assessment [J].Journal of Educational Measurement，2017（54）：12-35.

[10] Kyllonen P C，Zhu M，Davier A A.Innovative assessment of collaboration [M].New York：Springer，2017.

[12] O’Neil H F，Chuang S，Chung G K W K.Issues in the computerbased assessment of collaborative problem solving [J].Assessment in Education：Principles，Policy & Practice，2003，10（3）：361-373.

[14][18] Stoeffler K，Rosen Y，et al.Gamified performance assessment of collaborative problem solving skills [J].Computers in Human Behavior，2020，（104）：106036.

[15] Liu S，Liu M.The impact of learner metacognition and goal orientation on problem-solving in a serious game environment [J].Computers in Human Behavior，2020，102（1）：151-165.

[17][29] 吳忭，王戈等.基于會話代理的協(xié)作問題解決能力測評工具設(shè)計與效果驗證[J].遠(yuǎn)程教育雜志，2019，37（6）：91-99.

[19] Gobert J D，Sao Pedro M，et al.From Log Files to Assessment Metrics：Measuring Students’ Science Inquiry Skills Using Educational Data Mining [J].Journal of the Learning Sciences，2013，22（4）：521-563.

[20] 袁建林.基于行為過程表現(xiàn)測量合作問題解決能力的研究[D].北京：北京師范大學(xué)，2017.

[21] OECD.PISA 2015：Draft collaborative problem solving framework [EB/OL].http：//www.oecd.org/pisa/pisaproducts/Draft%20PISA%20 2015%20Collaborative%20Problem%20Solving%20Framework%20. pdf，2014-07-07.

[22][30] Dowell N，Poquet O.SCIP：Combining Group Communication and Interpersonal Positioning to Identify Emergent Roles in Scaled Digital Environments [J].Computers in Human Behavior，2021，（1）：106709.

[24] Griffin P，Care E.Assessment and Teaching of 21st Century Skills [M]. Dordrech：Springer，2015.

[25] NRC.Knowing what students know：The science and design of educational assessment [M].Washington，DC：National Academies Press，2001.

[26] Shavelson R J.On the measurement of competency [J].Empirical Research in Vocational Education and Training，2010，2（1）：41-63.

[27] McClelland D C.Testing for competence rather than for “intelligence” [J]. American Psychologist，1973，28（1）：1-14.

[28][39] Hao J，Liu L，von Davier A，et al.Assessing collaborative problem solving with simulation based tasks [A].Lindwall O，Ha kkinen P，Koschman T，et al.Exploring the Material Conditions of Learning [C].Gothenburg：The International Society of the Learning Sciences，2015.544-547.

[31] Dowell N，Lin Y，et al.Exploring the Relationship between Emergent Sociocognitive Roles，Collaborative Problem-Solving Skills，and Outcomes：A Group Communication Analysis [J].Journal of Learning Analytics，2020，7（1）：38-57.

[32] Hurme T R，Palonen T，Jrvel S.Metacognition in joint discussion： an analysis of the patterns of interaction and the metacognitive content of the networked discussions in mathematics [J].Metacognition & Learning，2006，1（2）：181-200.

[33] Bandura A.Social cognitive theory of mass communication [J].Media psychology，2001，3（3）：265-299.

[34] Vygotsky L S.Mind in society [M].Cambridge：Harvard University Press，1978.

[35] Stahl G.Group cognition in computer-assisted collaborative learning [J]. Journal of Computer Assisted Learning，2005，21（2）：79-90.

[36] Lave J，Wenger E.Situated learning：Legitimate peripheral participation [M]. Cambridge：Cambridge University Press，1991.

[37] Siemens G.Connectivism：Learning theory for the digital age [J]. International Journal of Instructional Technology and Distance Learning，2005，2（1）：1-9.

[38] Zoanetti N P.Interactive computer based assessment tasks：How problem-solving process data can inform instruction [J].Australasian Journal of Educational Technology，2010，26（5）：585-606.

[40] Zimmerman B J，Martinez-Pons M.Student differences in self-regulated learning：Relating grade，sex，and giftedness to self-efficacy and strategy use [J].Journal of Educational Psychology，1990，（82）：51-59.

[42] 趙建華.Web環(huán)境下智能協(xié)作學(xué)習(xí)系統(tǒng)構(gòu)建的理論與方法[D].廣州：華南師范大學(xué)，2002.

[43] Pedaste M，Leijen .Does group size affect students’ inquiry and collaboration in using computer‐based asymmetric collaborative simulations [A].Herzog M A，Kubincová Z，Han P，et al.Advances in Web-Based Learning-ICWL2019 [C].Switzerland：Springer Nature，2019.143-154.

[44] Hagemann V，Kluge A.Complex problem solving in teams：the impact of collective orientation on team process demands [J].Frontiers in psychology，2017，（8）：1730.

[45] 曾平飛，余娜等.多維Rasch模型在維度分?jǐn)?shù)報告中的應(yīng)用——對帶寬-保真度困境的解決[J].心理發(fā)展與教育，2012，28（3）：329-336.

[46] 劉慧.小學(xué)高年級學(xué)生閱讀能力的認(rèn)知診斷研究——基于層級多維項目反應(yīng)理論模[D].北京：北京師范大學(xué)，2014.

[47] 杜文久，肖涵敏.多維項目反應(yīng)理論等級反應(yīng)模型[J].心理學(xué)報，2012，44（10）：1402-1407.

[48][49] Chalmers R P.mirt：A multidimensional item response theory package for the R environment [J].Journal of statistical Software，2012，48（1）：1-29.

[50] 戴海崎，張鋒等.心理與教育測量[M].廣州：暨南大學(xué)出版社，1999.

[51] Chu H C，Hwang G J，et al.A two-tier test approach to developing location-aware mobile learning systems for natural science courses [J]. Computers & Education，2010，55（4）：1618-1627.

[52] Xu H，F(xiàn)ang G，Ying Z.A latent topic model with Markov transition for process data [J].British Journal of Mathematical and Statistical Psychology，2020，（73）：474-505.

[53] Von Davier A A.Computational psychometrics in support of collaborative educational assessments [J].Journal of Educational Measurement，2017，54（1）：3-11.

作者簡介：

吳斕：講師，博士，研究方向為數(shù)據(jù)驅(qū)動的能力評估、證據(jù)導(dǎo)向的STEM教育。

余勝泉：教授，博士，研究方向為人工智能教育應(yīng)用、教育大數(shù)據(jù)、移動教育與泛在學(xué)習(xí)、區(qū)域性教育信息化。

駢揚：在讀博士，研究方向為人工智能教育應(yīng)用。

劉陽：碩士，研究方向為教育大數(shù)據(jù)、學(xué)習(xí)分析。

Research on Students’ Process Behavior Data-based Collaborative Problem Solving Ability Assessment

Wu Lan1， Yu Shengquan2， Pian Yang2， Liu Yang2（1.School of Teacher Education， Nanjing University of Information Science & Technology， Nanjing 210044， Jiangsu； 2.Advanced Innovation Center for Future Education， Beijing Normal University， Beijing 102206）

Abstract： It is the purpose of educational evaluation reform in the new era to foster talents through virtue and promote students’all-round development， which relies on student’s entire learning process performance. Therefore， in order to improve the efficiency and accuracy of evaluation， it is necessary to realize automatic collection and analysis of process behavior data with information technology. In this study， we explore the practical path of innovating the assessment of collaborative problem solving ability. Firstly， under the guidance of “Assessment Triangle” theory， a three-dimensional ability assessment framework is constructed from the nature of “multi-dimension and interactivity”； Secondly， based on the PSAA platform， we design and develop the automated assessment system of collaborative problem solving based on process stream data， which realizes the integration of triggering behavior， collecting behavior， coding behavior， inferring ability and reporting the results into one system. Specifically， this system achieves the automatic coding of the qualitative characteristics on discourse data； Finally， a quasi-experiment in city B with 140 junior high school students is conducted to verify the validity， usefulness and ease of use of this assessment system. In the future， it is necessary to continuously innovate assessment methods and tools by integrating new theories and technologies， and thus to boost the implementation of core competency assessment rapidly based on students’ process behavior data.

Keywords： computer-based collaborative problem solving ability assessment； human-to-human approach； process data streaming

收稿日期：2021年12月9日

責(zé)任編輯：趙云建