基于學(xué)生體驗的電子檔案袋測評感知價值調(diào)查分析

林莉蘭 洪葉

一、引言

檔案袋測評是基于表現(xiàn)的測評。與傳統(tǒng)的測試不同，檔案袋呈現(xiàn)的不僅是最終成果，也是學(xué)習(xí)過程。電子檔案袋測評為數(shù)字化學(xué)習(xí)環(huán)境提供了各類成果證據(jù)存儲的無限空間，更重要的是體現(xiàn)了認知主義和建構(gòu)主義學(xué)習(xí)理論觀，被視為促進學(xué)生發(fā)展的工具，支持個性化學(xué)習(xí)和促進學(xué)生自主學(xué)習(xí)能力發(fā)展。雖然電子檔案袋測評被廣泛推崇，但在理論主張與實踐之間仍存在鴻溝。

國內(nèi)研究者更感興趣的是如何在數(shù)字化學(xué)習(xí)環(huán)境下結(jié)合課程教學(xué)融入檔案袋的促學(xué)和測評功能，多基于教師視角描述電子檔案袋的設(shè)計和應(yīng)用，尚未有學(xué)者從學(xué)生視角研究學(xué)生的使用感受。電子檔案袋測評反映的是一種全新的學(xué)習(xí)觀和測評觀，通過學(xué)生的自我測評和反思來促進學(xué)生承擔(dān)更多的學(xué)習(xí)職責(zé)，學(xué)生是測評的參與者，而不是客體。對于大學(xué)生來說，他們是否適應(yīng)這一新的測評文化以及所涉及的新興技術(shù)？他們?nèi)绾卧u價使用感受及效果？本研究擬通過調(diào)查回答上述問題，以期對相關(guān)電子檔案袋設(shè)計和運用提供啟示。

二、研究方法

（一）研究環(huán)境和目的

本研究的電子檔案袋（以下簡稱PALA）系筆者所在項目組設(shè)計開發(fā)，用于所在學(xué)校大學(xué)英語自主學(xué)習(xí)項目，目的是輔助課程學(xué)習(xí)，促進學(xué)生自主能力發(fā)展。感知價值在本文中指學(xué)生根據(jù)電子檔案袋測評體驗及感知的收獲而形成的判斷。為了捕捉受試體驗，調(diào)查涉及三個變量：感知PALA促進自主價值、感知電子檔案袋技術(shù)價值、感知檔案袋測評價值。研究將考察影響學(xué)生體驗PALA的因素以及因素間的關(guān)系，分析學(xué)生對這三個變量的反應(yīng)。

（二）研究工具

1.問卷

“感知PALA促進自主價值”以自主學(xué)習(xí)能力構(gòu)念為框架。項目組在前期實證研究基礎(chǔ)上，確定了大學(xué)生外語自主學(xué)習(xí)能力操作化定義包括五個維度：目標管理能力、自我反思能力、互動交流能力、自我評估能力、外語（英語）使用能力。根據(jù)這一定義以及前期研究成果編制初始項目16個，其中4題為干擾題?！案兄娮訖n案袋技術(shù)價值”以技術(shù)接受模型（Technology Acceptance Modeling，TAM）為框架，旨在通過感知有用性、感知易用性、對使用特定技術(shù)（包括電子檔案袋）態(tài)度以及后續(xù)行為意愿之間的關(guān)系來解釋用戶如何感知和使用技術(shù)。參照這一模型設(shè)計了12題來測量學(xué)生感知電子檔案袋技術(shù)的價值。第三個變量借鑒Brown的“學(xué)生測評觀”（Student Conceptions of Assessment，SCoA）量表模型。該量表用于解釋學(xué)生如何看待測評及測評的作用，涉及四個構(gòu)念：測評促進了我的學(xué)和教師教（促進）;測評與我無法控制的外部因素有關(guān)（外部）;測評對我的學(xué)習(xí)環(huán)境有積極的社會和情感影響（情感）;測評干擾了我的學(xué)習(xí)（無關(guān)）。參照SCoA模型設(shè)計了22道題來測量學(xué)生如何評估檔案袋測評的作用。初始50道題采用李克特五級量式，最后一部分還設(shè)計了3道開放題，以了解學(xué)生對改進PALA的建議。

2.訪談

鑒于問卷獲得的學(xué)生對開放性問題的回應(yīng)有限，研究添加了訪談。訪談采用半結(jié)構(gòu)化形式，圍繞如下問題：英語學(xué)習(xí)目的、平時英語學(xué)習(xí)時間、是否適應(yīng)自主學(xué)習(xí)模式、是否曾經(jīng)使用過學(xué)習(xí)檔案袋、PALA是否有用、使用PALA的體驗、改進PALA的建議。6名任課老師分別從實驗班中推薦了自主學(xué)習(xí)能力強、一般和弱三個等次的6名學(xué)生參加訪談（實際參加訪談學(xué)生35人）。2018年6月底，筆者對這些學(xué)生進行了一對一的訪談，訪談按照事先確定的時間和地點舉行，在三個半天內(nèi)完成。

（三）數(shù)據(jù)收集及分析

參實驗組的兩輪學(xué)生（筆者所在學(xué)校2016級和2017級非英語專業(yè)本科生）分別于2018年6月和2019年1月參加了網(wǎng)絡(luò)問卷調(diào)查，共收到有效問卷295份（77.2%）。為確定三個擬測變量間的關(guān)系，同時驗證問卷的構(gòu)念效度，研究采用因子分析技術(shù)。將232份問卷分成兩部分，運用SPSS24.0對132份問卷進行探索性因子分析，運用AMOS24.0對100份問卷進行驗證性因子分析。訪談的定性數(shù)據(jù)分析方法如下：兩位教師運用內(nèi)容分析法對訪談內(nèi)容獨立編碼。對編碼存在爭議部分由筆者參與討論，使編碼趨于一致。筆者根據(jù)兩位教師編碼，對數(shù)據(jù)進行描述性統(tǒng)計分析。

三、結(jié)果分析

（一）感知PALA價值模型

初始問卷的信度系數(shù)為0.97，內(nèi)部一致性統(tǒng)計結(jié)果表明，題項V34-40的CITI值低于0.5的標準，刪除這7項后，問卷的一致性程度得到提高。

問卷的樣本測度值KMO為0.96，Bartlett球形檢驗的統(tǒng)計顯著（p=.000），表明數(shù)據(jù)適合做因子分析。采用主成分分析法和最大正交旋轉(zhuǎn)方式來實現(xiàn)對觀測變量進行降維處理。最后，問卷的43個題項獲得的3個因子解釋了76.54%的方差。因子1共有16題，解釋了29.69%的方差，與“PALA促進自主價值”構(gòu)念一致。因子2共有12題，解釋了24.14%的方差，與“感知電子檔案袋技術(shù)價值”構(gòu)念一致。因子3解釋了22.71%的方差，與“感知檔案袋測評價值”構(gòu)念一致，共15題。

另一部分數(shù)據(jù)用于對獲得的三因子模型驗證。采用了四個步驟：模型設(shè)定、模型估計、模型評估和模型修正。根據(jù)修正指數(shù)，結(jié)合理論，刪除了8題后，模型擬合度達到了理想標準（X2/df、GFI、NFI、IF、CFI、RMSEA值均達到標準）。最終問卷為35題，信度為0.98，各維度的信度均在0.97-0.98之間，說明量表有較好的信度，各題項能較好地反映所在維度構(gòu)念。

最終問卷的感知PALA促進自主價值變量共12題（因子分析過程中刪除了4道干擾題），反映了本研究的自主學(xué)習(xí)能力理論假設(shè)。感知電子檔案袋技術(shù)價值變量保留了初始12道題。在感知檔案袋測評價值這部分，因子分析過程中刪除了情感（V30、V31、V32）、無關(guān)（V34、V35、V36、V37、V38）和外部因子（V38、V39、V40、V50），僅保留“促進”因子（共11題）。這一結(jié)果表明，僅“促進”因子反映了感知PALA價值構(gòu)念，而其他三個因子與感知PALA價值相關(guān)性低或無相關(guān)。

從圖1顯示三因子的關(guān)系模型可看出，外源性潛在構(gòu)念與內(nèi)源性潛在構(gòu)念（變量）之間的路徑均為正相關(guān)，具有統(tǒng)計學(xué)意義，因此接受本研究提出的感知PALA價值假設(shè)模型。感知PALA促進自主價值、感知技術(shù)價值和感知檔案袋測評價值三因子解釋了79%的感知PALA價值方差，其中感知技術(shù)價值因子貢獻略高，其次是感知檔案袋測評價值和感知促進自主價值，說明三個因子都在一定程度上影響學(xué)生的感知PALA價值。學(xué)生對檔案袋測評的感知價值與感知電子檔案袋的技術(shù)價值存在高度相關(guān)，對檔案袋測評的感知價值與感知PALA促進自主價值也是顯著相關(guān)，感知PALA促進自主價值和感知電子檔案袋技術(shù)價值存在中度相關(guān)。這一結(jié)果不僅表明三個變量之間的線性關(guān)系程度，還表明某一變量的變化會同時引起另外兩個變量變化。

（二）感知PALA價值定量分析

對學(xué)生問卷各項答題進行百分比統(tǒng)計。在感知PALA促進自主這一維度上，每一題持“贊同”和“完全贊同”的學(xué)生都在75%以上，表明多數(shù)受測學(xué)生肯定PALA促進他們自主學(xué)習(xí)能力的價值，肯定了PALA在促進他們管理學(xué)習(xí)目標、自我反思、互動交流、自我評估和英語使用能力的價值。在感知技術(shù)價值這一維度，對電子檔案袋有用性（V17-19）和易用性（V20-22）持肯定評價的學(xué)生占總數(shù)75%-82%，在使用態(tài)度（V23-25）和后續(xù)使用意愿（V26-28）持肯定評價的百分比略低（72%-78%）。感知檔案袋測評價值這一維度的11題均是對其促學(xué)和促教的評價。80%以上受測學(xué)生認為檔案袋測評促進了教師的教學(xué)（V46、V47和V49），促進了他們?nèi)谌雽W(xué)習(xí)過程（V29），提高了學(xué)習(xí)效率（V33），了解了自己學(xué)習(xí)現(xiàn)狀（V45、V48）。但問及是否重視測評結(jié)果（V43）或如何使用測評結(jié)果調(diào)整后續(xù)學(xué)習(xí)（V42、V44）時，50%左右的學(xué)生不置可否，只有34%左右的學(xué)生給與肯定答復(fù)。這一結(jié)果似乎說明不少學(xué)生還不能使用測評結(jié)果調(diào)整和改進學(xué)習(xí)方法。

（三）定性數(shù)據(jù)分析

42.9%的受訪學(xué)生表示“喜歡”英語，而17.1%的學(xué)生明確表明“不喜歡”英語。大多數(shù)受訪學(xué)生（82.8%）表示能適應(yīng)自主學(xué)習(xí)模式，僅有8.6%的學(xué)生尚不能適應(yīng)。所有受訪學(xué)生此前無使用檔案袋的學(xué)習(xí)經(jīng)歷。當問及PALA在他們的英語學(xué)習(xí)過程中是否有用時，多數(shù)學(xué)生（77.2%）給予了肯定答復(fù)，而5.7%的受訪學(xué)生認為“無用”。這一結(jié)果與問卷調(diào)查結(jié)果基本一致，即大多數(shù)學(xué)生肯定了PALA的使用價值。PALA的“反思”（51.4%）和“學(xué)習(xí)過程軌跡圖”（29.6%）被認為是PALA最有用的部分。當問及PALA使用感受時，多數(shù)學(xué)生給與了充分肯定（71.4%），多集中在提高自我管理學(xué)習(xí)能力（22.9%）、幫助適應(yīng)學(xué)習(xí)方式轉(zhuǎn)變（22.9%）、感受PALA對促進學(xué)習(xí)的作用（25.7%）。受訪學(xué)生對PALA的改進建議回應(yīng)不多，收集的建議分別是：增加師生互動（25.7%）、精簡和優(yōu)化系統(tǒng)界面（5.7%）、細化反思部分提示（5.7%）、提高系統(tǒng)運行的穩(wěn)定性（5.7%）、增加自主學(xué)習(xí)測試頻率（5.7%）?？偟膩碚f，多數(shù)受訪學(xué)生認為PALA在促進他們管理自己學(xué)習(xí)、適應(yīng)學(xué)習(xí)模式的轉(zhuǎn)變以及促進學(xué)習(xí)方面持肯定態(tài)度。

四、結(jié)論與討論

首先，多數(shù)受試能適應(yīng)檔案袋這種新的測評方法。雖然受試在實驗前從未接觸和使用過檔案袋學(xué)習(xí)方法，但本研究的因子分析結(jié)果在感知檔案袋測評價值因子上拒絕了原假設(shè)的“外部”“情感”和“無關(guān)”因子。根據(jù)SCoA理論，“情感”和“外部”因子指學(xué)生將檔案袋測評與同伴的關(guān)系、學(xué)習(xí)環(huán)境和學(xué)校教學(xué)質(zhì)量相關(guān)聯(lián)，反映了學(xué)生缺乏自主和自我控制，“無關(guān)”因子則反映了學(xué)生拒絕承認檔案袋測評的有效性。已有研究也驗證了持促進觀的學(xué)生能適應(yīng)學(xué)習(xí)測評模式，而持外部、情感歸因或認為測評與自己無關(guān)的學(xué)生難以適應(yīng)測評模式。本研究所保留的促進因子驗證了PALA的促進價值，也反映了學(xué)生適應(yīng)檔案袋測評學(xué)習(xí)法。描述性統(tǒng)計數(shù)據(jù)和訪談也表明，多數(shù)學(xué)生適應(yīng)這種測評方法。其次，多數(shù)學(xué)生認可PALA所采用的技術(shù)。這一結(jié)果一方面可能是PALA將多種數(shù)據(jù)集合到一個平臺，方便了學(xué)生了解和監(jiān)控學(xué)習(xí)過程。另一個可能的原因是PALA所采用的結(jié)構(gòu)化構(gòu)架。電子檔案袋的優(yōu)勢如何在教學(xué)中得以顯現(xiàn)并得到學(xué)生的認可，關(guān)鍵在于要基于使用群體的現(xiàn)狀提出合理的設(shè)計方案。本研究采用結(jié)構(gòu)化的構(gòu)架是基于前期實施條件分析后做出的決定。結(jié)構(gòu)化的檔案袋更適用于自主學(xué)習(xí)能力仍處于“反應(yīng)性自主”階段的學(xué)生。這一舉措為成功實施PALA提供了很好的鋪墊。最后，PALA基本達到了其設(shè)定的促進學(xué)生自主能力發(fā)展和促學(xué)的目標。從問卷和訪談數(shù)據(jù)看，多數(shù)學(xué)生肯定了PALA在支持他們實施學(xué)習(xí)決策和促進他們自我管理學(xué)習(xí)的能力，促進了他們反思學(xué)習(xí)過程和成效，也提高了他們對學(xué)習(xí)過程的認識，提高了他們學(xué)習(xí)績效。這一結(jié)果驗證了有關(guān)檔案袋測評能力促進學(xué)生自主能力發(fā)展和促進學(xué)習(xí)的推論。

雖然PALA取得了理想效果，但在如何加強教師的導(dǎo)學(xué)方面仍有改進的空間。調(diào)查發(fā)現(xiàn)，只有三分之一的學(xué)生能根據(jù)測評結(jié)果調(diào)整后續(xù)學(xué)習(xí)。檔案袋測評被認為是替代傳統(tǒng)考試的一個理想的方法，其優(yōu)勢之一就是通過學(xué)生參與測評來實現(xiàn)不斷改進和提高的目的。上述結(jié)果可能是學(xué)生不理解檔案袋測評的意義，或是不知道如何調(diào)整學(xué)習(xí)方法。PALA雖然有教師針對學(xué)生學(xué)習(xí)過程的反饋，計算機技術(shù)也能提供機評和學(xué)習(xí)過程記錄反饋，但對自主能力仍處在發(fā)展階段的學(xué)生來說，仍需要老師指導(dǎo)他們?nèi)绾谓鉀Q學(xué)習(xí)過程中的問題，如何調(diào)整學(xué)習(xí)方法。

本研究為電子檔案袋測評設(shè)計和研究提供了一個新視角。已有研究主要基于TAM或SCoA模型來探討電子檔案袋測評的作用。本研究除了上述兩個模型外，還從PALA目的設(shè)計了擬測變量。因子分析驗證了本研究的理論假設(shè)，即學(xué)生感知PALA價值模型由感知PALA促進自主價值、感知技術(shù)價值和感知測評的促進價值三因子組成。因子模型圖也表明，三因子相互關(guān)聯(lián)，互相影響。也就是說，以促進學(xué)生自主為目標的電子檔案袋測評設(shè)計需同時考慮學(xué)生是如何理解自主、電子檔案袋技術(shù)和測評的促進功能。本研究的啟示是，電子檔案袋測評的設(shè)計既要考慮測評的目的和實現(xiàn)方式，也要考慮平臺技術(shù)的呈現(xiàn)方式。

作者簡介：

林莉蘭：教授，博士，研究方向為二語習(xí)得、英語語言教學(xué)（lin5928@163.com）。

洪葉：講師，碩士，研究方向為英美文學(xué)（hy@ahjzu.edu.cn）。