吳 忭 王 戈 胡藝齡 祝嘉鈺

（華東師范大學(xué) 教育學(xué)部 教育信息技術(shù)學(xué)系，上海 200062）

一、引言

現(xiàn)代社會(huì)的發(fā)展和知識(shí)的不斷變遷，使得職業(yè)分工愈發(fā)精細(xì)化，無(wú)論是工作還是學(xué)習(xí)場(chǎng)所，很多項(xiàng)目都需要不同領(lǐng)域和專業(yè)人員，通過(guò)溝通與協(xié)作共同完成，如今協(xié)作能力已成為具有社會(huì)競(jìng)爭(zhēng)力的人才必備的一項(xiàng)技能。這使得各國(guó)對(duì)青少年能力培養(yǎng)的重心發(fā)生了變化，在培養(yǎng)其科學(xué)文化知識(shí)和技能之余，各國(guó)更重視培養(yǎng)其協(xié)作能力、人際交往能力等社會(huì)發(fā)展亟需的能力，只有這樣，青少年才能有效應(yīng)對(duì)愈加復(fù)雜的社會(huì)問(wèn)題。

協(xié)作問(wèn)題解決能力，作為協(xié)作能力和問(wèn)題解決能力的復(fù)合技能，其培養(yǎng)和評(píng)價(jià)受到了廣泛關(guān)注。聯(lián)合國(guó)教科文組織在《教育：財(cái)富蘊(yùn)藏其中》報(bào)告中，強(qiáng)調(diào)了“團(tuán)隊(duì)協(xié)作能力”的重要性[1]；新加坡教育部在學(xué)校課程中增加“項(xiàng)目工作（Project Work）”一項(xiàng)，將知識(shí)應(yīng)用、溝通、協(xié)作和獨(dú)立學(xué)習(xí)四項(xiàng)技能，作為學(xué)習(xí)成果明確列出[2]；美國(guó)21世紀(jì)技能學(xué)習(xí)聯(lián)盟（Unite States based Partenership for 21st Century Skills，P21）將問(wèn)題解決能力和協(xié)作能力定義為每一位美國(guó)青少年要在學(xué)校中學(xué)習(xí)掌握的技能[3]；我國(guó)也明確將“培養(yǎng)學(xué)生分析和解決問(wèn)題的能力以及交流與合作的能力”，寫入了《基礎(chǔ)教育課程改革綱要》中[4]。各國(guó)的學(xué)者們大多關(guān)注于，如何設(shè)置協(xié)作問(wèn)題解決活動(dòng)的發(fā)生情境，來(lái)培養(yǎng)學(xué)生的協(xié)作問(wèn)題解決能力。而在評(píng)估方面，卻因受限于協(xié)作問(wèn)題解決能力的影響因素多變及復(fù)雜性，難以測(cè)量在此環(huán)境下學(xué)生實(shí)際協(xié)作以及問(wèn)題解決活動(dòng)情況。因此，對(duì)于學(xué)生的協(xié)作問(wèn)題解決能力，是否通過(guò)情境的安排，真正得到了提升和鍛煉，目前尚未有相對(duì)準(zhǔn)確的評(píng)價(jià)方式。

實(shí)際上，協(xié)作問(wèn)題解決能力，通常被視為難以測(cè)量的技能[5]，協(xié)作活動(dòng)和問(wèn)題解決活動(dòng)，都是非線性的序列活動(dòng)，任務(wù)要素間的依賴，參與者之間的互動(dòng)，以及任務(wù)要素與參與者之間的關(guān)系，使得協(xié)作問(wèn)題解決活動(dòng)是一項(xiàng)交互復(fù)合的聯(lián)動(dòng)過(guò)程，采用何種有效方案，對(duì)這一復(fù)雜系統(tǒng)進(jìn)行建模和量化，成為了一項(xiàng)挑戰(zhàn)。

二、文獻(xiàn)綜述

（一）協(xié)作問(wèn)題解決概念界定

關(guān)于協(xié)作問(wèn)題解決（Collaborative Problem Solving，CPS）的研究，源于問(wèn)題解決的社交屬性[6]。相比于獨(dú)立完成任務(wù)，在協(xié)作情境下團(tuán)隊(duì)進(jìn)行任務(wù)活動(dòng)時(shí)，組內(nèi)成員之間共享期間知識(shí)和思維的碰撞，能夠讓成員獲得更多的信息和資源，從而更高效、高質(zhì)的完成任務(wù)。目前，關(guān)于協(xié)作問(wèn)題解決能力公認(rèn)的概念，來(lái)自于OECD在PISA 2015中的定義：“個(gè)體能夠有效地參與問(wèn)題解決過(guò)程的能力，在這一過(guò)程中，兩個(gè)及兩個(gè)以上主體需要共享彼此的理解和努力，來(lái)形成解決方案，并聯(lián)合他們所具有的知識(shí)、技能和努力，來(lái)達(dá)成解決方案”[7]。這一定義，對(duì)協(xié)作問(wèn)題解決的核心構(gòu)成要素進(jìn)行了界定：其一，協(xié)作要求存在兩個(gè)及以上的主體；其二，協(xié)作問(wèn)題解決，考察了個(gè)體在團(tuán)體環(huán)境中所體現(xiàn)出的自身所具備的知識(shí)、技能和努力；其三，協(xié)作問(wèn)題解決，必然是在一個(gè)問(wèn)題解決的場(chǎng)景中，以得到一個(gè)解決方案為目標(biāo)的活動(dòng)。本研究的協(xié)作問(wèn)題解決測(cè)評(píng)系統(tǒng)框架，也基于這一定義進(jìn)行構(gòu)建。

（二）協(xié)作問(wèn)題解決的評(píng)價(jià)框架發(fā)展

現(xiàn)有的對(duì)協(xié)作問(wèn)題解決的研究，已形成了諸多理論框架和模型，從早期的小組工作模型到協(xié)作問(wèn)題解決框架，研究者提出了概念框架中的核心概念，并逐漸聚焦。早在1994年，Stevens和Campion提出了小組工作（Teamwork）概念框架，包括沖突解決、協(xié)作問(wèn)題解決、溝通、目標(biāo)設(shè)定和行為管理、計(jì)劃和任務(wù)合作[8]這五個(gè)要素。2009年，F(xiàn)adel和Trilling提出了21世紀(jì)合作技能框架，將合作技能分解為三個(gè)方面：清晰的溝通、與他人協(xié)作、問(wèn)題解決[9]。2011年，Griffin團(tuán)隊(duì)定義了ATC21S框架[10]，將協(xié)作問(wèn)題解決能力，分為社交技能和認(rèn)知技能兩個(gè)維度，其中社交技能分為參與、觀點(diǎn)視角、任務(wù)完成，認(rèn)知技能分為任務(wù)管理，知識(shí)建構(gòu)與學(xué)習(xí)。2013年，OECD公布了PISA 2015的協(xié)作問(wèn)題解決框架[11]，通過(guò)構(gòu)建“社交維度×個(gè)人問(wèn)題解決階段”的二維框架矩陣，對(duì)協(xié)作問(wèn)題解決能力進(jìn)行評(píng)估。由上述可知，有關(guān)于協(xié)作問(wèn)題解決能力的框架雖多，但大體有兩個(gè)特征：（1）總體框架由繁趨簡(jiǎn)，多聚焦于社交和認(rèn)知兩個(gè)維度；（2）有共同特征的技能，聚合于單層，溝通、團(tuán)隊(duì)管理等技能被劃歸進(jìn)入社交維度。在對(duì)協(xié)作問(wèn)題解決能力的定義方面，研究者傾向于從宏觀視角來(lái)描述整體的問(wèn)題解決過(guò)程，而對(duì)于評(píng)價(jià)方面，研究者傾向于從微觀視角來(lái)對(duì)個(gè)體表現(xiàn)行為進(jìn)行評(píng)估。

本文的測(cè)評(píng)框架，主要基于PISA 2015框架展開(kāi)。它構(gòu)建了協(xié)作維度下的三個(gè)能力要素與問(wèn)題解決維度下的四個(gè)過(guò)程要素這樣一個(gè)交叉矩陣框架[12]，如表1所示。這種矩陣型結(jié)構(gòu)定義的協(xié)作問(wèn)題解決能力，將每個(gè)協(xié)作技能在不同問(wèn)題解決階段所對(duì)應(yīng)的表征具體化，使得整個(gè)協(xié)作問(wèn)題解決能力框架，表現(xiàn)出高度的結(jié)構(gòu)化。

表1 PISA 2015協(xié)作問(wèn)題解決框架矩陣

（三）會(huì)話代理技術(shù)帶來(lái)助力

目前，對(duì)于協(xié)作問(wèn)題解決能力的測(cè)評(píng)，大多以個(gè)體的結(jié)果性評(píng)價(jià)為主，但協(xié)作活動(dòng)是在某一情境下發(fā)生的，不同情境下個(gè)體會(huì)有不同的表現(xiàn)；同樣，不同的團(tuán)隊(duì)成員，也會(huì)對(duì)個(gè)體的行為表現(xiàn)有所影響。為了減少這些情境造成的不確定因素的影響，基于會(huì)話代理（Conversational Agent）的人機(jī)交互測(cè)評(píng)模式應(yīng)運(yùn)而生。會(huì)話代理基于智能代理技術(shù)，通過(guò)與個(gè)體的對(duì)話或含義更廣泛的互動(dòng)，來(lái)收集日志數(shù)據(jù)，具有評(píng)估互動(dòng)個(gè)體在認(rèn)知和非認(rèn)知層面的知識(shí)、技能和語(yǔ)言等方面的能力。同時(shí)，它也能模擬真實(shí)情境，避免人—人協(xié)作的不確定性對(duì)被測(cè)個(gè)體產(chǎn)生影響。通過(guò)提示和引導(dǎo)，能夠讓學(xué)習(xí)者有充分的空間，展現(xiàn)他們真實(shí)的技能水平[13]，使得測(cè)評(píng)更具有公平性。相比于傳統(tǒng)測(cè)評(píng)手段，人機(jī)交互的測(cè)評(píng)模式，使個(gè)體能力的表現(xiàn)更加穩(wěn)定。在測(cè)評(píng)期間，會(huì)話代理會(huì)有針對(duì)性地引導(dǎo)回答不完善的學(xué)生反思，促進(jìn)學(xué)生能夠表達(dá)出所有他所知道的內(nèi)容。這種交互的形式，使得會(huì)話代理能夠持續(xù)采集目標(biāo)數(shù)據(jù)，直到數(shù)據(jù)樣本滿足需求。

已有的研究表明，智能代理AutoTutor能夠通過(guò)模擬真實(shí)導(dǎo)師談話形式（Expectation and Misconception-tailored Dialogue），來(lái)評(píng)價(jià)學(xué)生的能力水平[14]。在師生交流期間，會(huì)話代理通過(guò)問(wèn)答并跟蹤學(xué)習(xí)者解決難題時(shí)的過(guò)程數(shù)據(jù)，區(qū)分出正確答案（期望）和特定的錯(cuò)誤（迷思概念）并加以記錄，經(jīng)過(guò)多輪談話后，積累的數(shù)據(jù)能夠轉(zhuǎn)換生成學(xué)習(xí)者的能力模型，從而形成對(duì)學(xué)習(xí)者更為深入的了解。綜合來(lái)看，會(huì)話代理技術(shù)能夠?yàn)閰f(xié)作問(wèn)題解決能力測(cè)評(píng)上的形成性評(píng)估，提供可靠依據(jù)與幫助。

三、模型設(shè)計(jì)

（一）評(píng)價(jià)模型

PISA 2015提供給個(gè)體復(fù)雜的任務(wù)情境，進(jìn)而考查其協(xié)作問(wèn)題解決能力，既涉及受測(cè)個(gè)體在問(wèn)題情境中的推理過(guò)程，也涉及其在協(xié)作環(huán)境下的溝通、管理和社交過(guò)程。兩個(gè)環(huán)境下的行為并非各自獨(dú)立，而是相互影響的。因此，協(xié)作問(wèn)題解決系統(tǒng)的評(píng)價(jià)框架中，應(yīng)包含兩部分：?jiǎn)栴}情境和社交情境。

問(wèn)題情境下包括三個(gè)變量：任務(wù)類型、任務(wù)內(nèi)容、任務(wù)難度。（1）任務(wù)類型：任務(wù)類型決定了當(dāng)前問(wèn)題情境下對(duì)個(gè)體考察的能力傾向，不同任務(wù)類型對(duì)個(gè)人的能力要求不同，所以，不同能力傾向的個(gè)體會(huì)在不同任務(wù)類型下有著不同的表現(xiàn)。（2）問(wèn)題內(nèi)容：?jiǎn)栴}內(nèi)容決定了當(dāng)前問(wèn)題情境下考察能力的限制條件，包括內(nèi)容相關(guān)問(wèn)題和內(nèi)容無(wú)關(guān)問(wèn)題。內(nèi)容相關(guān)問(wèn)題即有特定學(xué)科背景的問(wèn)題，如若個(gè)體缺少該領(lǐng)域方面的知識(shí)，則學(xué)生在解決問(wèn)題上有一定的困難；內(nèi)容無(wú)關(guān)問(wèn)題即一般領(lǐng)域問(wèn)題，注重對(duì)歸納演繹等思維方式的考察，不受個(gè)體先前知識(shí)的影響。（3）任務(wù)難度：對(duì)任務(wù)綜合的評(píng)價(jià)結(jié)果，取決于多方因素，如問(wèn)題的結(jié)構(gòu)、任務(wù)的同步性等等。它會(huì)影響個(gè)體的表現(xiàn)，一般來(lái)說(shuō)，任務(wù)難度越大，個(gè)體在系統(tǒng)中取得的績(jī)效越低。

社交情境下的個(gè)體協(xié)作問(wèn)題解決能力，受團(tuán)隊(duì)中其他成員的影響。個(gè)體與團(tuán)隊(duì)內(nèi)其他成員在情境下的溝通情況，能夠反映個(gè)體的協(xié)作問(wèn)題解決能力水平。但溝通本身即是一個(gè)復(fù)雜的過(guò)程，且受到諸多因素的干擾（例如，團(tuán)隊(duì)成員性格、在溝通中扮演的角色，被分配的任務(wù)等），屬于社交情境下的測(cè)評(píng)誤差元素。由于溝通由個(gè)體和他人構(gòu)成，我們可將其簡(jiǎn)單分割為：個(gè)體對(duì)外的自我表達(dá)和個(gè)體對(duì)他人話語(yǔ)的理解，由此可通過(guò)話語(yǔ)數(shù)據(jù)，評(píng)估個(gè)體的協(xié)作問(wèn)題解決表現(xiàn)。

由此，整合問(wèn)題解決與協(xié)作學(xué)習(xí)等相關(guān)研究，本文提出了如下系統(tǒng)評(píng)估框架，如圖1所示。

圖1 協(xié)作問(wèn)題解決能力測(cè)評(píng)系統(tǒng)評(píng)估框架

協(xié)作問(wèn)題解決活動(dòng)為問(wèn)題解決和協(xié)作學(xué)習(xí)的融合，因此，可依托PISA 2015框架中規(guī)定的四個(gè)問(wèn)題解決活動(dòng)階段，評(píng)估個(gè)體在協(xié)作問(wèn)題解決整體活動(dòng)中的表現(xiàn)。在協(xié)作問(wèn)題解決活動(dòng)中，問(wèn)題情境是活動(dòng)發(fā)生的背景因素，選用與專業(yè)領(lǐng)域無(wú)關(guān)的一般性問(wèn)題，可減少先前知識(shí)的誤差，減少問(wèn)題內(nèi)容元素對(duì)個(gè)體能力造成的影響。設(shè)置確定的問(wèn)題和任務(wù)，可使問(wèn)題情境處于穩(wěn)定狀態(tài)。而社交情境中變量的控制和量化，則是影響協(xié)作問(wèn)題解決能力評(píng)估的關(guān)鍵。社交情境下的變量，是個(gè)體與其它成員間溝通的理解與表達(dá)，可通過(guò)在測(cè)評(píng)系統(tǒng)中設(shè)置有限輸入，來(lái)控制團(tuán)隊(duì)間的對(duì)話內(nèi)容，即通過(guò)限制個(gè)體輸入內(nèi)容，實(shí)現(xiàn)對(duì)個(gè)體的行為表現(xiàn)的量化。會(huì)話代理作為團(tuán)隊(duì)成員，可減少不同成員對(duì)個(gè)體評(píng)估結(jié)果的影響。評(píng)估過(guò)程采集個(gè)體的會(huì)話內(nèi)容、當(dāng)前焦點(diǎn)（即所處的問(wèn)題解決階段狀態(tài)），以評(píng)價(jià)個(gè)體在協(xié)作問(wèn)題解決活動(dòng)中的貢獻(xiàn)，分析在四個(gè)問(wèn)題解決階段中個(gè)體協(xié)作問(wèn)題解決的行為邏輯，從而得出對(duì)個(gè)體的協(xié)作問(wèn)題解決活動(dòng)的多角度、全方位的過(guò)程性評(píng)價(jià)。

（二）會(huì)話代理邏輯及架構(gòu)設(shè)計(jì)

圖2顯示了支持協(xié)作問(wèn)題解決的會(huì)話代理（Collaborative Problem Solving Supported Conversational Agent，CP2SCA）的架構(gòu)設(shè)計(jì)，其目標(biāo)是通過(guò)嵌入對(duì)話管理模塊，來(lái)模擬受測(cè)個(gè)體在真實(shí)問(wèn)題情境中與團(tuán)隊(duì)其他成員的協(xié)作表現(xiàn)。系統(tǒng)需要實(shí)現(xiàn)以下四種功能：（1）真實(shí)協(xié)作情境模擬：能夠?qū)崿F(xiàn)和用戶的協(xié)作交互，理解用戶的輸入內(nèi)容并向用戶做出反應(yīng)，表達(dá)相關(guān)主題的內(nèi)容。（2）社交情境變量控制：會(huì)話代理在問(wèn)題情境中的行為是非固定序列，使得社交（協(xié)作）情境靈活變化。系統(tǒng)能夠依據(jù)本身的參數(shù)設(shè)定來(lái)規(guī)劃對(duì)話，靈活表現(xiàn)不同的行為特征。（3）社交情境誤差控制：在理解用戶語(yǔ)言和向用戶表達(dá)的過(guò)程中減少誤差。（4）問(wèn)題情境兼容性：在控制社交情境中心的同時(shí)，留出接口與問(wèn)題情境連接。同時(shí)，為簡(jiǎn)化測(cè)評(píng)，研究采用被試者—會(huì)話代理兩者配對(duì)的形式進(jìn)行。

圖2 支持協(xié)作問(wèn)題解決的會(huì)話代理（CP2SCA）系統(tǒng)架構(gòu)

CP2SCA會(huì)話代理，主要由輸入模塊、對(duì)話管理模塊、輸出模塊組成，確保受測(cè)個(gè)體與代理能夠完成基于問(wèn)題情境的對(duì)話交互。在輸入、輸出模塊，會(huì)話代理關(guān)注計(jì)算機(jī)邏輯與個(gè)體理解之間的映射，其主要功能，是將會(huì)話管理輸出的底層邏輯，通過(guò)編碼轉(zhuǎn)換為受測(cè)個(gè)體能夠理解的語(yǔ)言，用于支持協(xié)作問(wèn)題解決過(guò)程中的語(yǔ)言溝通行為，成為計(jì)算機(jī)代理與個(gè)體直接交互的渠道。在對(duì)話管理模塊中，系統(tǒng)通過(guò)文本與受測(cè)個(gè)體對(duì)話交互，根據(jù)用戶輸入情況，做出最佳反應(yīng)，并模擬真實(shí)的任務(wù)同伴，保證協(xié)作問(wèn)題解決任務(wù)情境的統(tǒng)一。

對(duì)話管理模塊通常包含四個(gè)組件，分別是數(shù)據(jù)庫(kù)、當(dāng)前焦點(diǎn)、話語(yǔ)規(guī)劃、對(duì)話策略。其中，（1）數(shù)據(jù)庫(kù)用于存儲(chǔ)受測(cè)個(gè)體與計(jì)算機(jī)在對(duì)話過(guò)程中提出的想法、計(jì)劃，以及對(duì)問(wèn)題參數(shù)的改變和問(wèn)題狀態(tài)的更新，輔助構(gòu)建團(tuán)隊(duì)問(wèn)題空間；（2）當(dāng)前焦點(diǎn)記錄當(dāng)前對(duì)話討論所處的問(wèn)題階段和討論關(guān)注對(duì)象；（3）話語(yǔ)規(guī)劃是會(huì)話代理的核心部分，將當(dāng)前焦點(diǎn)、數(shù)據(jù)庫(kù)中已存儲(chǔ)的信息、輸入的會(huì)話信息作為變量，通過(guò)邏輯控制分析用戶行為，規(guī)劃代理給予反應(yīng)的話語(yǔ)，從而生成對(duì)話策略；（4）對(duì)話策略即為最終代理，反饋給用戶的行為的編碼方案。

會(huì)話代理的實(shí)現(xiàn)流程為：（1）首先，當(dāng)用戶輸入信息后，會(huì)話代理將輸入內(nèi)容解碼，再將其存入數(shù)據(jù)庫(kù)；同時(shí)，將解碼內(nèi)容記錄到當(dāng)前焦點(diǎn)模塊中，更新當(dāng)前用戶話語(yǔ)內(nèi)容所處的問(wèn)題解決狀態(tài)，完成對(duì)話狀態(tài)的跟蹤。（2）而后，會(huì)話代理根據(jù)當(dāng)前焦點(diǎn)內(nèi)容、數(shù)據(jù)庫(kù)已有信息的記錄和輸入內(nèi)容，完成話語(yǔ)規(guī)劃，制定出合適的對(duì)話策略編碼方案。（3）最后，會(huì)話代理將對(duì)話策略編碼為人機(jī)交流的語(yǔ)言，輸出代理對(duì)用戶的反映內(nèi)容。

四、模型驗(yàn)證

（一）實(shí)驗(yàn)工具設(shè)計(jì)

1.基于會(huì)話代理的協(xié)作問(wèn)題解決測(cè)評(píng)原型

除基本的用戶信息采集功能 （登陸界面+任務(wù)信息介紹頁(yè)）外，系統(tǒng)重點(diǎn)在于協(xié)作問(wèn)題解決活動(dòng)部分。在整合計(jì)算機(jī)會(huì)話代理技術(shù)的基礎(chǔ)上，本原型開(kāi)發(fā)工具具體為：HBuilder 9.0.1版；開(kāi)發(fā)語(yǔ)言：前端——HTML5、CSS、JavaScript（ES2015版本），后端——PHP（5.6.31版本）、MySQL（5.7.19版本）；插件（框架）：CSS：AUI 2.0、JS：jQuery 3.2.1；數(shù)據(jù)格式：JSON。主要界面及功能，如圖3-圖5所示。

圖3 實(shí)驗(yàn)控制界面

圖4 聊天對(duì)話界面

圖5 歷史記錄界面

該系統(tǒng)包括了實(shí)驗(yàn)控制界面、聊天對(duì)話界面、歷史記錄界面。實(shí)驗(yàn)控制界面是系統(tǒng)的主要操作界面，如圖3所示。在該界面下，被試可通過(guò)更改實(shí)驗(yàn)操作臺(tái)的數(shù)據(jù)，完成情境中的個(gè)人實(shí)驗(yàn)操作，由右側(cè)文本框記錄，被試在協(xié)作問(wèn)題解決活動(dòng)中的個(gè)體嘗試操作行為。在點(diǎn)擊“確認(rèn)注射試劑”按鈕后，更新當(dāng)前團(tuán)隊(duì)任務(wù)狀態(tài)，并將最終實(shí)驗(yàn)操作記錄為團(tuán)隊(duì)協(xié)作問(wèn)題解決行為，用于反映團(tuán)隊(duì)知識(shí)的共建。聊天界面是被試與會(huì)話代理之間的對(duì)話溝通界面，其中對(duì)話形式分為兩類：自定義對(duì)話和編碼對(duì)話。如圖4所示，在自定義對(duì)話面板中，給予被試一些對(duì)話內(nèi)容的選項(xiàng)，由被試自由選擇，不同的選擇會(huì)引發(fā)會(huì)話代理不同的反饋。編碼對(duì)話面板則會(huì)給出固定的回答模式，被試在下拉菜單選擇相應(yīng)參數(shù)后自動(dòng)生成對(duì)話，有助于對(duì)被試輸入內(nèi)容進(jìn)行編碼并儲(chǔ)存。圖5所示的歷史記錄界面，會(huì)儲(chǔ)存被試和代理的所有實(shí)驗(yàn)操作和對(duì)話記錄，被試能夠在該界面查看實(shí)驗(yàn)記錄，也可將其轉(zhuǎn)發(fā)給會(huì)話代理同伴，以更改團(tuán)隊(duì)討論中所處的當(dāng)前焦點(diǎn)狀態(tài)。

測(cè)評(píng)系統(tǒng)設(shè)置的問(wèn)題情境是 “新物種探秘”，科學(xué)實(shí)驗(yàn)室采集到了未知屬性樣本，被試以實(shí)驗(yàn)研究員的身份參與其中，通過(guò)與同事（會(huì)話代理）的對(duì)話，合作進(jìn)行實(shí)驗(yàn)任務(wù)探索，最終需明確“未知樣本”的特性。在實(shí)驗(yàn)期間，系統(tǒng)會(huì)采集過(guò)程中的話語(yǔ)輪次（話語(yǔ)集合數(shù)量）、對(duì)話輪次（發(fā)言數(shù)量）、步長(zhǎng)（個(gè)體發(fā)言數(shù)和鼠標(biāo)點(diǎn)擊數(shù)）、績(jī)效（得出的正確結(jié)論數(shù)量）等數(shù)據(jù)。

2.技術(shù)接受度量表

本文參照戴維斯（Davis）的經(jīng)典技術(shù)接受度模型（Technology Acceptance Model）研究[15]中的感知有用性量表和感知易用性量表，對(duì)開(kāi)發(fā)出的協(xié)作問(wèn)題解決測(cè)評(píng)系統(tǒng)，進(jìn)行接受度評(píng)估。問(wèn)卷采用了李克特七點(diǎn)量表，共計(jì)12個(gè)題項(xiàng)。

（二）實(shí)驗(yàn)對(duì)象及過(guò)程

由于協(xié)作問(wèn)題解決能力是個(gè)體由學(xué)校走入社會(huì)的必備能力，因此，本實(shí)驗(yàn)的研究對(duì)象選擇為來(lái)自華東地區(qū)某大學(xué)的30名即將畢業(yè)的學(xué)生，年齡在20～26歲之間。首先，由研究人員向?qū)嶒?yàn)對(duì)象介紹工具的使用方法及實(shí)驗(yàn)?zāi)康摹＝酉聛?lái)，被試在測(cè)試環(huán)境中通過(guò)與會(huì)話代理協(xié)作，在實(shí)驗(yàn)情境中完成協(xié)作問(wèn)題解決任務(wù)。實(shí)驗(yàn)結(jié)束后，被試填寫技術(shù)接受度調(diào)查問(wèn)卷，問(wèn)卷包含技術(shù)接受度量表和二個(gè)開(kāi)放性問(wèn)題：

其一，與真實(shí)協(xié)作問(wèn)題解決過(guò)程相比，這樣的人機(jī)協(xié)作的感受是什么？

其二，原型工具提供的交互操作，是否能夠支持良好的自我意愿表達(dá)？

五、實(shí)驗(yàn)分析與討論

（一）原型工具的有效性檢驗(yàn)

調(diào)查結(jié)果顯示，由量表測(cè)得的技術(shù)接受度M=5.55，SD=0.78?？梢钥闯?，被試對(duì)測(cè)評(píng)系統(tǒng)的技術(shù)接受度較高。同時(shí)，在開(kāi)放性的問(wèn)題中，被試普遍對(duì)原型工具的認(rèn)可程度較高。因此，原型工具基本能夠模擬真實(shí)的協(xié)作問(wèn)題解決活動(dòng)，并且為使用者提供了基本的交互操作，進(jìn)行自我意愿表達(dá)。通過(guò)會(huì)話代理采集到的數(shù)據(jù)，能夠在一定程度上反映被試在真實(shí)協(xié)作問(wèn)題解決活動(dòng)中的行為。

為驗(yàn)證原型的有效性，研究采取專家法，請(qǐng)三名專家對(duì)具有代表性的10名被試的協(xié)作問(wèn)題解決過(guò)程評(píng)級(jí)（分5級(jí)），分析專家評(píng)定結(jié)果和原型評(píng)定結(jié)果的一致性。一致性檢驗(yàn)結(jié)果，如表2所示：

表2 專家評(píng)級(jí)與原型工具評(píng)級(jí)的一致性檢驗(yàn)結(jié)果

結(jié)果表明，原型工具對(duì)被試的評(píng)定結(jié)果和機(jī)器的評(píng)定結(jié)果具有一致性（p＜0.05），因此，原型工具的評(píng)測(cè)具有有效性。

（二）協(xié)作問(wèn)題解決行為的特征分析

1.建立協(xié)作問(wèn)題解決表征模型

行為特征即描述個(gè)體在協(xié)作問(wèn)題解決活動(dòng)過(guò)程中，表現(xiàn)出的行為序列偏好，而對(duì)于個(gè)體協(xié)作問(wèn)題解決活動(dòng)中，表現(xiàn)出的行為特征，尚未有規(guī)范的標(biāo)尺來(lái)評(píng)價(jià)。根據(jù)PISA 2015框架，可以得出問(wèn)題解決行為包含的四個(gè)階段：提出問(wèn)題、制定計(jì)劃、行動(dòng)、得出結(jié)論。因此，可根據(jù)其序列性的特征，依據(jù)各個(gè)階段積累的探索中規(guī)則條數(shù)——數(shù)量，和規(guī)則從當(dāng)前階段進(jìn)入下個(gè)階段間隔的輪次數(shù)——對(duì)話輪次，以輸出行為為節(jié)點(diǎn)，反饋行為為步長(zhǎng)來(lái)構(gòu)建一個(gè)有向圖。如，經(jīng)過(guò)系統(tǒng)采集到的團(tuán)隊(duì)行為非結(jié)構(gòu)性數(shù)據(jù)，如表3所示。根據(jù)問(wèn)題解決的四個(gè)階段，把數(shù)據(jù)進(jìn)行歸類整理，可得到圖6。從圖6可知，問(wèn)題數(shù)量為4；計(jì)劃數(shù)量為2；結(jié)論數(shù)量為1；執(zhí)行的行動(dòng)為1。一般來(lái)說(shuō)，提出問(wèn)題后會(huì)制定相應(yīng)的計(jì)劃，從而執(zhí)行行動(dòng)并得出結(jié)論，但也存在跳過(guò)計(jì)劃，根據(jù)已有經(jīng)驗(yàn)，直接進(jìn)行行動(dòng)的情況發(fā)生。因此，提出問(wèn)題與制定計(jì)劃和行動(dòng)都有關(guān)聯(lián)。各個(gè)階段之間的步長(zhǎng)是所屬步數(shù)的差值。由于關(guān)系復(fù)雜并難以表述，可通過(guò)圖7所示的有向圖對(duì)其進(jìn)行簡(jiǎn)化。四個(gè)圓為四個(gè)問(wèn)題解決階段，獲取信息階段由行動(dòng)完成，二者等價(jià)表示。圓的半徑為該階段達(dá)成共識(shí)的總數(shù)；線的長(zhǎng)度為均步長(zhǎng)，當(dāng)有兩個(gè)元素之間有多條不同步長(zhǎng)的連線時(shí)，求取其均值。

表3 團(tuán)隊(duì)行為非結(jié)構(gòu)性數(shù)據(jù)表

圖6 團(tuán)隊(duì)行為非結(jié)構(gòu)化數(shù)據(jù)歸類整理①注：行為間標(biāo)注的數(shù)字為步長(zhǎng)

圖7 團(tuán)隊(duì)行為特征有向圖

圖7是基于階段內(nèi)，歷史信息數(shù)和相關(guān)信息數(shù)量間步長(zhǎng) （反饋行為數(shù)）兩個(gè)數(shù)據(jù)整理所得的有向圖。通過(guò)有向圖的形式，能夠?qū)⒎蔷€性、非結(jié)構(gòu)化的過(guò)程數(shù)據(jù)，整合成為直觀量化的模型。例如，從假設(shè)的示例中可以推斷，團(tuán)隊(duì)在協(xié)作問(wèn)題解決過(guò)程中，傾向從問(wèn)題出發(fā)思考（主要從問(wèn)題出發(fā)），在邏輯推理的嚴(yán)謹(jǐn)性和問(wèn)題思考的連貫性等方面有所欠缺 （不制定行動(dòng)計(jì)劃，對(duì)一個(gè)問(wèn)題進(jìn)行思考的步長(zhǎng)間隔長(zhǎng)）等。由于協(xié)作問(wèn)題解決活動(dòng)是一個(gè)生態(tài)環(huán)境，個(gè)體在團(tuán)隊(duì)中的表現(xiàn)受團(tuán)隊(duì)內(nèi)部其他成員的影響。因此，研究在對(duì)團(tuán)隊(duì)整體行為特征所建的有向圖模型基礎(chǔ)上，增加個(gè)體在各項(xiàng)數(shù)據(jù)中的“貢獻(xiàn)”維度，以構(gòu)建個(gè)體的協(xié)作問(wèn)題解決表征模型。輸出行為的貢獻(xiàn)，通過(guò)餅圖的形式呈現(xiàn)；反饋行為通過(guò)步長(zhǎng)呈現(xiàn)。與輸出行為不同的是，反饋行為影響團(tuán)隊(duì)的協(xié)作情境活動(dòng)，主要呈現(xiàn)個(gè)體的自我認(rèn)知以及對(duì)其他團(tuán)隊(duì)成員的態(tài)度。因此，反饋行為表征無(wú)法計(jì)量其行為貢獻(xiàn)，主要關(guān)注其出現(xiàn)頻次。

2.模型分析

我們根據(jù)個(gè)體輸出行為在團(tuán)隊(duì)協(xié)作問(wèn)題解決行為的占比，可以直觀地看出，團(tuán)隊(duì)在協(xié)作問(wèn)題解決活動(dòng)中的行為特征，以及個(gè)體在協(xié)作問(wèn)題解決各個(gè)階段的貢獻(xiàn)，并了解個(gè)體在團(tuán)體協(xié)作問(wèn)題解決過(guò)程中的行為表現(xiàn)。以樣本09和樣本02為例，在有向圖的基礎(chǔ)上加入餅狀圖后，生成的個(gè)體輸出行為特征圖表，如圖8-9所示。

圖8 團(tuán)隊(duì)09輸出行為特征及個(gè)體貢獻(xiàn)比率

圖9 團(tuán)隊(duì)02輸出行為特征及個(gè)體貢獻(xiàn)比率

（1）個(gè)體貢獻(xiàn)比率。通過(guò)分析在協(xié)作問(wèn)題解決四個(gè)階段中的被試貢獻(xiàn)比率，可了解被試與團(tuán)隊(duì)其它成員的協(xié)作情況。若某階段中被試的貢獻(xiàn)為0或100%，則表明在該階段協(xié)作并沒(méi)有真正發(fā)生。若被試貢獻(xiàn)比率較大，可判定被試在協(xié)作活動(dòng)中處于主導(dǎo)地位。由于協(xié)作問(wèn)題解決活動(dòng)階段具有序列特征，個(gè)體在各階段的貢獻(xiàn)，也能夠反映出其領(lǐng)導(dǎo)力、執(zhí)行能力、歸納總結(jié)能力，從而反映出整體的協(xié)作問(wèn)題解決表現(xiàn)。

從樣本09的個(gè)人貢獻(xiàn)角度來(lái)看，在問(wèn)題的提出階段和制定計(jì)劃階段，被試09的貢獻(xiàn)輸出是100%，所有的問(wèn)題和計(jì)劃均由被試制定，說(shuō)明在這兩個(gè)階段協(xié)作并沒(méi)有真正發(fā)生；在執(zhí)行階段，八次行動(dòng)中有五次遵循計(jì)劃安排，三次為無(wú)計(jì)劃實(shí)施，被試只有三次遵循了自己提出的計(jì)劃；在得出結(jié)論階段，被試和會(huì)話代理各提出兩個(gè)結(jié)論，被試貢獻(xiàn)率為50%。綜合來(lái)看，被試09在協(xié)作過(guò)程中有較強(qiáng)的主導(dǎo)意識(shí)，但執(zhí)行能力不佳，并不能遵循自己的計(jì)劃進(jìn)行活動(dòng)，需要進(jìn)一步培養(yǎng)與他人的協(xié)作能力。

從樣本02的個(gè)人貢獻(xiàn)角度來(lái)看，在問(wèn)題提出階段由被試02主導(dǎo)，但在制定計(jì)劃和執(zhí)行計(jì)劃期間，被試和會(huì)話代理的貢獻(xiàn)較為均衡，而最終獲得的結(jié)論全部皆由會(huì)話代理總結(jié)得出。綜合來(lái)看，被試02在協(xié)作問(wèn)題解決過(guò)程中，更偏向于領(lǐng)導(dǎo)者的角色，帶領(lǐng)組內(nèi)其他成員提出問(wèn)題，一同設(shè)計(jì)并執(zhí)行計(jì)劃，引導(dǎo)組內(nèi)成員得出結(jié)論。他的執(zhí)行能力頗佳，但歸納總結(jié)能力不強(qiáng)；團(tuán)隊(duì)協(xié)作能力較強(qiáng)，但問(wèn)題解決能力稍弱一些。

（2）協(xié)作問(wèn)題解決行為邏輯。結(jié)合已構(gòu)建的個(gè)體協(xié)作問(wèn)題解決表征模型，我們發(fā)現(xiàn)，在協(xié)作問(wèn)題解決活動(dòng)中出現(xiàn)了兩種行為邏輯：?jiǎn)栴}驅(qū)動(dòng)邏輯和計(jì)劃驅(qū)動(dòng)邏輯。

在問(wèn)題驅(qū)動(dòng)行為邏輯下，協(xié)作問(wèn)題解決活動(dòng)路徑從問(wèn)題出發(fā)，在問(wèn)題階段將思維外化。團(tuán)隊(duì)的思維活躍，能夠根據(jù)任務(wù)要求考慮很多問(wèn)題，再根據(jù)可探究的問(wèn)題，制定計(jì)劃或執(zhí)行進(jìn)而得出結(jié)論。由于問(wèn)題數(shù)目過(guò)多，在協(xié)作問(wèn)題解決活動(dòng)中，很容易出現(xiàn)制定的計(jì)劃難以和問(wèn)題一一對(duì)應(yīng)的情況。如圖8所示，團(tuán)隊(duì)09在協(xié)作過(guò)程中，制定的計(jì)劃數(shù)量遠(yuǎn)小于提出的問(wèn)題數(shù)量，這里存在兩種可能，問(wèn)題重復(fù)或問(wèn)題被忽視，均不是有效的問(wèn)題解決處理行為。同時(shí)，提出問(wèn)題階段與制定計(jì)劃階段之間步長(zhǎng)最大（7.4），可以發(fā)現(xiàn)，團(tuán)隊(duì)在分析任務(wù)要求提出問(wèn)題和制定相應(yīng)計(jì)劃之間，消耗了較多的言語(yǔ)溝通。

在計(jì)劃驅(qū)動(dòng)行為邏輯下，協(xié)作問(wèn)題解決活動(dòng)路徑從計(jì)劃出發(fā)，在制定計(jì)劃階段將思維外化與人分享。在問(wèn)題階段，個(gè)體的思維發(fā)散性不強(qiáng)，但更擅長(zhǎng)將問(wèn)題轉(zhuǎn)化為更加具體的計(jì)劃，使得計(jì)劃的可執(zhí)行性更強(qiáng)。因此，團(tuán)隊(duì)成員根據(jù)問(wèn)題制定的計(jì)劃數(shù)目遠(yuǎn)大于問(wèn)題數(shù)目。與從問(wèn)題出發(fā)的團(tuán)隊(duì)相比，“計(jì)劃—執(zhí)行—結(jié)論”間的線條更短，三者的連接更加緊密。如圖9所示，雖然團(tuán)隊(duì)02僅提出了2個(gè)問(wèn)題，但依據(jù)此制定出了詳細(xì)的8個(gè)計(jì)劃。且從執(zhí)行階段與問(wèn)題階段和計(jì)劃階段的連接線步長(zhǎng)可以看出，執(zhí)行階段的行動(dòng)，大部分依據(jù)計(jì)劃執(zhí)行，團(tuán)隊(duì)沒(méi)有在計(jì)劃與執(zhí)行之間消耗太多時(shí)間。由此可以說(shuō)明，團(tuán)隊(duì)02制定的計(jì)劃詳細(xì)得當(dāng)，計(jì)劃執(zhí)行力很強(qiáng)。

綜上，我們通過(guò)對(duì)協(xié)作問(wèn)題解決活動(dòng)中個(gè)體貢獻(xiàn)度和協(xié)作問(wèn)題解決行為邏輯的追蹤，能夠可視化協(xié)作問(wèn)題解決活動(dòng)路徑，解讀在此期間團(tuán)隊(duì)成員的思維外化特征和個(gè)體的協(xié)作問(wèn)題解決能力整體表現(xiàn)。將個(gè)體的貢獻(xiàn)與整體行為邏輯分析時(shí)，能夠看出個(gè)體的各項(xiàng)能力指標(biāo)特征及個(gè)體的協(xié)作問(wèn)題解決行為風(fēng)格。本文提出的可視化方式，規(guī)范了過(guò)程性復(fù)雜數(shù)據(jù)的分析方法，可比較同一情境下不同個(gè)體的行為模式，也可拓展到比較同一個(gè)體在不同問(wèn)題情境下的行為模式，從而了解個(gè)體的協(xié)作問(wèn)題解決能力水平。

六、結(jié)論

本文提出了協(xié)作問(wèn)題解決系統(tǒng)測(cè)評(píng)框架，并從對(duì)話的角度對(duì)協(xié)作問(wèn)題解決過(guò)程行為，進(jìn)行定義和編碼，借鑒現(xiàn)有的會(huì)話管理概念，開(kāi)發(fā)了基于會(huì)話代理的協(xié)作問(wèn)題解決能力測(cè)評(píng)系統(tǒng)，模擬真實(shí)的協(xié)作問(wèn)題解決情境。

（一）構(gòu)建通用性協(xié)作問(wèn)題解決能力測(cè)評(píng)框架

本文結(jié)合PISA 2015協(xié)作問(wèn)題解決能力框架，進(jìn)一步設(shè)計(jì)了協(xié)作問(wèn)題解決能力測(cè)評(píng)系統(tǒng)的評(píng)估框架。從認(rèn)知角度解構(gòu)協(xié)作問(wèn)題解決活動(dòng)，將其從宏觀上分為問(wèn)題情境和社交情境。而在二者情境下的變量，在所設(shè)計(jì)的基于會(huì)話代理的協(xié)作問(wèn)題解決能力測(cè)評(píng)系統(tǒng)，得到了盡可能的控制。通過(guò)前文所述的該系統(tǒng)中的實(shí)證研究結(jié)果，可以看出：基于此測(cè)評(píng)框架的系統(tǒng)用戶技術(shù)接受度強(qiáng)，評(píng)估框架具有可操作性和有效性，能夠?qū)σ话銋f(xié)作問(wèn)題解決活動(dòng)中小組成員的協(xié)作問(wèn)題解決之行為，進(jìn)行過(guò)程性分析和評(píng)價(jià)。

（二）設(shè)計(jì)融合會(huì)話代理的協(xié)作問(wèn)題解決測(cè)評(píng)系統(tǒng)

由于協(xié)作問(wèn)題解決活動(dòng)是復(fù)雜、動(dòng)態(tài)的，而人與人之間的溝通是建構(gòu)式的序列對(duì)話，因此，本文嘗試設(shè)計(jì)基于語(yǔ)境的計(jì)算機(jī)會(huì)話代理，將非結(jié)構(gòu)化話語(yǔ)編碼為結(jié)構(gòu)化數(shù)據(jù)，實(shí)現(xiàn)“人機(jī)對(duì)話”。會(huì)話代理支持的協(xié)作問(wèn)題解決測(cè)評(píng)系統(tǒng)，控制了協(xié)作問(wèn)題解決環(huán)境的測(cè)試環(huán)境，能夠控制影響協(xié)作問(wèn)題解決行為的復(fù)雜變量。這種控制方法，簡(jiǎn)化了協(xié)作問(wèn)題解決測(cè)評(píng)方法，保證了技術(shù)應(yīng)用的可行性，為收集個(gè)體的行為，分析個(gè)體的表現(xiàn)，提供了更便利的途徑。同時(shí)，為開(kāi)展協(xié)作問(wèn)題解決能力的評(píng)價(jià)提供了參考，也給可應(yīng)用“人機(jī)互動(dòng)”的測(cè)評(píng)領(lǐng)域發(fā)展，提供了新的方向。

（三）測(cè)評(píng)并驗(yàn)證會(huì)話代理的過(guò)程性分析模型有效性

已有協(xié)作問(wèn)題解決測(cè)評(píng)對(duì)被試給予分值或等級(jí)評(píng)定，能夠了解個(gè)體的協(xié)作問(wèn)題解決能力水平，但不能確定其提升的方向和方式。在本文中，會(huì)話代理在與個(gè)體協(xié)作完成任務(wù)時(shí)采集了過(guò)程性數(shù)據(jù)，研究者規(guī)范了過(guò)程性分析方法，將過(guò)程性數(shù)據(jù)以有向圖的方式，對(duì)個(gè)體與團(tuán)隊(duì)其他成員的行為特征可視化，對(duì)個(gè)體的協(xié)作問(wèn)題解決行為特征和協(xié)作問(wèn)題解決能力進(jìn)行評(píng)價(jià)。評(píng)價(jià)過(guò)程未局限于協(xié)作問(wèn)題解決能力的定級(jí)，還對(duì)個(gè)體在協(xié)作問(wèn)題解決活動(dòng)中所表現(xiàn)出的決策、執(zhí)行、歸納總結(jié)等能力，進(jìn)行評(píng)價(jià)分析，能夠全面的評(píng)價(jià)出其協(xié)作問(wèn)題解決風(fēng)格和行為邏輯，從而能夠有依據(jù)的制定策略，提升個(gè)體的協(xié)作問(wèn)題解決能力。因此，這類能夠全面表現(xiàn)出協(xié)作問(wèn)題解決活動(dòng)情況的規(guī)范化過(guò)程性分析模型，具有一定的推廣價(jià)值。