孟海燕 王磊
摘要: 采用個案研究法,挖掘和收集學(xué)生在化學(xué)模擬考試視頻中作答跳轉(zhuǎn)模式的序列數(shù)據(jù),結(jié)合訪談和實物資料,發(fā)現(xiàn)反映學(xué)生考場心態(tài)的作答順序、時間分配、審題習(xí)慣和用筆習(xí)慣等具體行為表現(xiàn),以提高學(xué)生對自己作答狀態(tài)的元認(rèn)知水平。通過改善具體行為而有效改善考場心態(tài),促進(jìn)高考成績能夠真實反映學(xué)生的學(xué)習(xí)水平,提高考試測量的科學(xué)性和準(zhǔn)確性。
關(guān)鍵詞: 考場心態(tài); 考試視頻; 作答跳轉(zhuǎn); 序列挖掘
文章編號: 10056629(2022)02007805
中圖分類號: G633.8
文獻(xiàn)標(biāo)識碼: B
1 研究緣起
高考是學(xué)生學(xué)習(xí)生涯中重要的考試之一。影響高考成績的因素很多,徐震昊通過高考后填寫調(diào)查問卷的方式進(jìn)行相關(guān)與回歸分析,得出學(xué)生“高考成績”最終會以其“一模考試成績”為基準(zhǔn)線,以“高考發(fā)揮感覺”為上下波動系數(shù)進(jìn)行動態(tài)調(diào)整[1]。李娟等運用層次分析法得出,影響高考成績各因素的權(quán)重及排序,其中排在首位的是考場心態(tài)[2]。
學(xué)生在考場上的作答行為一定程度上反映了學(xué)生怎樣的考場心態(tài)。美國教育考試服務(wù)中心何其瑋及其團(tuán)隊一直從事基于數(shù)字化測評的學(xué)生考試行為研究。其最初是把一個考試長的序列切分成小的序列[3]進(jìn)行研究,針對每道題,看學(xué)生采取哪些動作,每個動作的時長等;近年研究發(fā)展到從學(xué)生答第一道題到最后一道題的整體序列[4]。通過研究學(xué)生作答試題中的跳轉(zhuǎn),為測評學(xué)生的能力和認(rèn)真程度等提供更多的量化數(shù)據(jù)支持,以提高測評的準(zhǔn)確性。而王艷曉[5]對不同成績等級的學(xué)生在線公共答題行為流程建模,實現(xiàn)對學(xué)生個體的成績等級進(jìn)行預(yù)測。目前國內(nèi)鮮有對紙筆考試中學(xué)生作答行為的研究報道。
基于已有研究,本研究假設(shè)學(xué)生紙筆考試時答題序列和跳轉(zhuǎn)模式一定程度上能反映學(xué)生的考場心態(tài);擬以觀察分析學(xué)生個體日常模擬考試視頻為突破口,找到能反映學(xué)生考場心態(tài)的具體行為表現(xiàn)。期望通過幫助學(xué)生改變考場作答行為而改善考場心態(tài),促進(jìn)考試成績能夠更真實地反映學(xué)生的學(xué)習(xí)水平。
2 研究方法
2.1 研究路徑和研究對象
本研究的路徑為: 分析學(xué)生個體日?;瘜W(xué)模擬考試的考試視頻,挖掘?qū)W生作答跳轉(zhuǎn)模式的序列數(shù)據(jù);然后針對數(shù)據(jù)進(jìn)行開放式訪談,并收集實物資料,找到序列數(shù)據(jù)背后與考試心態(tài)有關(guān)的行為表現(xiàn),提高學(xué)生對自己作答狀態(tài)的元認(rèn)知水平;之后指導(dǎo)學(xué)生改善考場作答行為,從而有效改善考場心態(tài)。
本研究對象的選取依據(jù)目的性原則,選擇的是日常學(xué)習(xí)勤奮刻苦、學(xué)科基礎(chǔ)知識扎實、考試成績經(jīng)常不理想的學(xué)生。他們對自己的考場作答狀態(tài),包括做題順序、做題時間分配、遇到哪些困難和解決策略等詳情,多數(shù)表示不清楚,無法找到有效的改善考場狀態(tài)的策略,考試心態(tài)不穩(wěn)定。他們同意研究者用攝像機全程記錄他們的考試過程。研究樣本如表1所示。
2.2 數(shù)據(jù)搜集的方法
數(shù)據(jù)搜集過程與方法見表2。
2.3 數(shù)據(jù)分析假設(shè)
考試作答跳轉(zhuǎn)模式的序列數(shù)據(jù)分析假設(shè): 一是整體序列。學(xué)生應(yīng)按試題編號,順序完成1~19題。整套試題滿分100分,作答時間90分鐘。假定理想狀態(tài)是學(xué)生均速作答,速度為0.9分鐘/1分試題;二是單題序列。對于每一道選擇題的4個選項,一般按順序閱讀4個選項。大題的作答順序,一般先整體瀏覽題目,把握題目脈絡(luò)后,按小題序號順序作答。
3 數(shù)據(jù)分析
3.1 學(xué)生答題成績統(tǒng)計
學(xué)生答題成績統(tǒng)計見表3。
3.2 整體作答跳轉(zhuǎn)模式
從考試視頻可以看出: A、 C、 D三位學(xué)生的整體作答模式都是按題號由前向后作答(見圖1),其中C學(xué)生做完最后一題后跳轉(zhuǎn)回前面檢查。但B學(xué)生的作答隨時間推移,有明顯的多次跳轉(zhuǎn)(見圖2)。放大B學(xué)生在11~14題之間的跳轉(zhuǎn)序列,記錄視頻中的動作信息,同時將訪談B學(xué)生得到的動作原因,整理見表4。
相應(yīng)動作按順序正常完成。審題圈重點后,先草稿演算,排除D選項。在題號處改選D,并圈出題干反應(yīng)熱信息。草稿演算,排除B選項。在題號處寫下選C。審題干,圈重點?;氐紸選項,草稿演算。圈畫A選項中詞語。草稿演算,排除A選項。 審題干,圈重點。圈畫C和D選項,在題號處寫選C。按順序正常完成。
動作原因只有D選項是定性判斷,先思考排除。同時想起第6題也考到焓變,于是跳回第6題。發(fā)現(xiàn)之前自己審題錯誤,改選答案后,又把原來審錯的題干信息反應(yīng)熱重點標(biāo)注。 B所需的定量數(shù)據(jù)題中都直接給出,先計算排除。感覺選C,直接寫上。審?fù)觐}干后,心虛12題的A選項,因為當(dāng)時知道三種物質(zhì)的數(shù)據(jù),要算第四種物質(zhì),太繁瑣,于是沒算。心虛,故跳回12題。 A的計算太麻煩,看了看,還是決定不算了。于是回到13題。邊圈重點,邊心虛,猶豫是否回到12題算A選項。在讀13題B選項之前,決定跳回12題。草稿演算A選項。算出來后,確認(rèn)仍然選C。時間緊張了,趕緊往下做。 匆忙間,忘記13題沒有做完。直接跳到了14題,做14題時,眼睛看到13題題號旁沒有寫選項,意識到13題沒做完,就跳回13題。正常做13題,感覺時間更緊張。
從表4可以看出,B學(xué)生從12題跳回第6題,發(fā)現(xiàn)自己第一遍做第6題時審題錯誤,隨后修改正確。此時因發(fā)現(xiàn)自己之前的錯誤而開始緊張?;氐?2題繼續(xù)做題,因緊張、著急、擔(dān)心時間不夠、猶豫等原因,在12、 13、 14題之間反復(fù)跳轉(zhuǎn)。
作答心態(tài)改變的起因在第6題。視頻顯示B學(xué)生的作答順序依次為: 判斷A,跳過B,直接計算C,在題號旁寫上C,猶豫,涂掉C,圈題干中的焓變信息,看D,在題號旁寫下B(正確答案)。這些做法的原因是:“看到這類難題,我就犯怵,結(jié)果第一遍審題把多投產(chǎn)物看成了多投的反應(yīng)物”,“犯怵就瞎蒙,就跳題”。
最終B學(xué)生第6題和第12題都得到了全分,她的學(xué)科基礎(chǔ)知識是足夠的。但是,由于考場犯怵,導(dǎo)致瞎蒙和跳題,影響了整場考試狀態(tài)??己蟮诙煸L談B學(xué)生時,起初研究者問及她作答跳轉(zhuǎn)的原因,她否認(rèn)跳轉(zhuǎn)過程存在?;乜匆曨l之后,她才漸漸回憶起來,說出每一個動作的原因。像B學(xué)生這樣考后不記得考場作答經(jīng)歷的情況很常見,因此有針對性地改善就無從談起?;诳紙鲆曨l分析挖掘整體作答跳轉(zhuǎn)的序列數(shù)據(jù),可幫助學(xué)生更加清楚自己的考場心態(tài)是如何變化的,以及這種變化是如何影響自己作答的。提升學(xué)生考場作答的元認(rèn)知水平是更好地自我改善的關(guān)鍵步驟。
3.3 單道選擇題內(nèi)的作答序列
考試視頻顯示B學(xué)生第10題的作答順序見圖3。第一步,把表格中4個選項關(guān)于實驗現(xiàn)象的橫向看了一遍,圈畫出重點詞語;第二步,回到A選項,縱向看實驗現(xiàn)象和結(jié)論,之后依次縱向看B、 C、 D選項。這個作答序列跳轉(zhuǎn)的細(xì)微動作,背后的原因是該學(xué)生怕考試時間不夠用,初次審題過于匆忙,并沒有看清題目要求選“實驗現(xiàn)象與結(jié)論相對應(yīng)的”,以為是選表述正確的或錯誤的,沒想到橫著看完4個選項的實驗現(xiàn)象,發(fā)現(xiàn)表述都對,只好返回細(xì)看題目要求,才發(fā)現(xiàn)題目是要求判斷現(xiàn)象與結(jié)論的對應(yīng)關(guān)系,于是重新豎著看選項。B學(xué)生心急,本想節(jié)省時間,反倒耗費了更多的考試時間。
C學(xué)生總是不清楚自己為什么選擇題錯誤率那么高,筆者重點分析她的作答視頻選擇題部分。她整體是按題號作答的,然而單道選擇題內(nèi)部的作答序列跳轉(zhuǎn)很多。常常只看了試題個別選項,就選出了答案;再看剩余選項時,再修改答案。例如第6題,在圈出題干重點后,她的作答序列為: 排除A,寫選C,排除B,看完D,改選D。經(jīng)訪談得知,她考場上很緊張,看題目時不能靜心逐行掃描信息,而是跳躍式審題作答。從圖1看出她的選擇題作答耗時是最少的。筆者就她出錯的單道選擇題每個選項提問,她可以順利答對,證明她的學(xué)科知識不存在問題。
3.4 單題作答耗時數(shù)據(jù)對比
將四位學(xué)生解答每道題所用時長統(tǒng)計列表,與假定理想值(計算方法見2.3)對比,將各學(xué)生數(shù)據(jù)對比,得出柱狀圖(見圖4)。
圖4顯示,A學(xué)生的多數(shù)題目做題時長明顯高于其他學(xué)生和假定理想值(第18題耗時短是因為只做了一半,就跳做19題)。其中的原因是A學(xué)生明確表示自己都會做,不清楚時間耗在哪里。
仔細(xì)查看考試視頻,發(fā)現(xiàn)A學(xué)生做題過程中有4個明顯的特點: (1)做選擇題時,他的機讀卡放在自己的左前方約30厘米處,每做完一道,就拿過機讀卡上涂一道,再放回原處。14道選擇如此往復(fù)。遇到改選擇答案時,還會增加拿機讀卡次數(shù)。(2)他在試卷上寫草稿和審題圈畫時,是用細(xì)自動鉛筆,填涂機讀卡時用2B鉛筆,寫答題卡時用簽字筆,頻繁更換用筆。(3)草稿寫錯時,會用橡皮反復(fù)擦,并吹干凈卷面橡皮末。(4)做題時,經(jīng)常放下筆“瞪題”。反復(fù)拿放機讀卡、頻繁換筆、橡皮擦拭草稿紙等動作每次幾十秒,整場考試下來,總計多達(dá)15分鐘。在數(shù)據(jù)面前,A學(xué)生驚呆了。他坦言,自己平時做練習(xí)題時,是沒有這些做題習(xí)慣的。但正式考試時怕出錯,就表現(xiàn)出: 選擇一道一道地涂答題卡;草稿怕寫錯而用鉛筆;考試“瞪題”,想了又想。由于考場心態(tài)使他新添的做題習(xí)慣,是導(dǎo)致他考試時間不足的主要原因。
C學(xué)生一向怕計算填空題,這次考試也是見到那一空時就跳過,放到最后才做。她當(dāng)時感覺計算用了很長時間,但看了考試視頻時間數(shù)據(jù),只用了近2分鐘就解答正確。這個數(shù)據(jù),增強了C學(xué)生拿下計算題的信心。
對比選擇題的單題耗時時長,會發(fā)現(xiàn)D學(xué)生解答第8題時間過長,3分選擇題竟然耗時近6分鐘。另外,在做15題第(7)問時,在一個2分的填空上足足花費了8分鐘(圖中未列出大題中每個小題耗時)。在考場緊張作答狀態(tài)下,D學(xué)生并沒有覺察到自己過度糾結(jié)這2道題。在實際考試時,越是原本成績優(yōu)秀的學(xué)生,越堅信自己一定能把題目做出來,不肯策略性跳過或放棄。以往高考失利的學(xué)生中不乏此類例子。正確做法是當(dāng)在考場上做題遇到障礙時,要適度關(guān)注時間。若題目確實過難,為在一定時間內(nèi)展現(xiàn)自己更多方面的學(xué)習(xí)水平,需要策略性地跳轉(zhuǎn)作答,完成全卷后,還有時間,再跳轉(zhuǎn)回障礙處攻克難點。D學(xué)生很清楚應(yīng)有的正確做法,但并沒有意識到自己在這方面存在問題??荚囈曨l分析讓他清晰地“看到”了自己的作答狀態(tài),下決心改善。
4 基于數(shù)據(jù)分析的改進(jìn)
A學(xué)生為爭取更多答題時間,將考場作答習(xí)慣改為: 做完所有選擇題,一次性涂機讀卡;一直用簽字筆寫草稿和答卷,省去橡皮擦拭時間;用合適的修改符號保持草稿的清晰度。之后不久的模擬測試中,他得了滿分。A學(xué)生總結(jié)道:“該攝像記錄了貼近真實的日常試卷作答過程,讓我了解了平常未曾想到的作答習(xí)慣問題,反映了我考場過于謹(jǐn)小慎微、怕出錯的心態(tài),感到比較驚訝。分析過程非常有趣,從別的視角回顧可以了解當(dāng)時沒有注意到的細(xì)節(jié)。從數(shù)據(jù)上能清晰顯示出時間分配的不合理和一些會多多少少拖慢速度的習(xí)慣。我該在這兩個方面注意一下。”
B學(xué)生針對自己考場犯怵,先增加了平日里對犯怵題目的刻意練習(xí)和總結(jié),從而增加考場情緒穩(wěn)定性。考試遇到小阻礙,策略性暫時跳過。爭取把試題一遍全做過,再回查,不在中間糾結(jié)反復(fù)。后來她在家錄下了自己另一次模擬考試的視頻,主動找筆者一起分析。她的收獲是:“我以前其實不太在意考試過程中的做題技巧,認(rèn)為只要知識掌握夠熟練,不管做題技巧有什么問題,最后的成績應(yīng)該不會有太大差距。固然知識掌握是基礎(chǔ),但是在分析考試視頻的過程中,我也感受到了做題的速度、方式與習(xí)慣其實也對成績產(chǎn)生了不小的影響。這種影響歸根結(jié)底是心態(tài)。我易被心態(tài)影響,一直對化學(xué)不夠自信,性子也比較急。我以往知道自己的問題,只是不知道如何改進(jìn)心態(tài),也不知道改進(jìn)心態(tài)有什么作用。但是當(dāng)老師給我進(jìn)行視頻分析后,我能夠從真正的、具體的內(nèi)容里去學(xué)習(xí)如何調(diào)整做題習(xí)慣進(jìn)而改進(jìn)心態(tài):‘少圈畫題干沒用的詞語,要真審題’‘選擇不要跳選項跳題,穩(wěn)住’‘實驗和結(jié)論對照起來看’,這樣的分析給我最大的收獲就是學(xué)會反思自己的試卷完成過程,進(jìn)而通過反思踏踏實實放穩(wěn)心態(tài)。在這個過程中,我逐漸習(xí)慣了考試后的自我反思?!?/p>
針對C學(xué)生出現(xiàn)的問題,筆者建議她在考場上采用草稿紙局部遮擋試題,對每個選項進(jìn)行逐行掃描審題。之后的3次模擬考試中,她的選擇題正確率有了明顯提升。她是這樣總結(jié)的:“我對自己的作答有了更系統(tǒng)的認(rèn)識,包括做卷子時出現(xiàn)的問題、做題的時間分布和自身在不同題型上的優(yōu)勢和不足。這讓我找到了改進(jìn)的方向?!?/p>
D學(xué)生參與研究,就是想了解自己的考場作答模式。他如愿以償,發(fā)現(xiàn)了自己考場上的過度糾結(jié)之處。在接下來的考試中適當(dāng)調(diào)整,做題節(jié)奏更加穩(wěn)健。
北京2021年高考化學(xué)試題難度很大,這四位學(xué)生的化學(xué)高考成績(等級賦分),學(xué)生B和D與他們平時的化學(xué)學(xué)習(xí)水平保持了一致,學(xué)生A和C進(jìn)步非常明顯。
綜上可見,基于考試視頻的作答跳轉(zhuǎn)模式序列數(shù)據(jù)挖掘,無論是整套試卷,還是針對單題,研究者都可以基于數(shù)據(jù)分析,找到體現(xiàn)考場心態(tài)的具體行為,通過幫助學(xué)生改變考場行為,從而改善考試心態(tài)。
5 研究反思與展望
基于日??荚囈曨l,挖掘?qū)W生作答跳轉(zhuǎn)模式中的序列數(shù)據(jù),可尋找到學(xué)生的作答順序、時間分配、審題習(xí)慣和用筆習(xí)慣等反映考場心態(tài)的具體行為表現(xiàn),通過改善這些具體行為,達(dá)到改善考場心態(tài)的目的。首次使用該方法分析考試視頻的研究者應(yīng)該是專業(yè)任課教師,逐漸過渡到師生共同完成,最終學(xué)生本人也可以獨立完成自我分析。這種研究方法,是一種基于實證的促進(jìn)高考成績更真實反映學(xué)生的學(xué)習(xí)水平的有效方法。
未來更多的考試在計算機上進(jìn)行,再加上視頻分析技術(shù)的日益進(jìn)步,相信數(shù)字化測評和視頻分析技術(shù)相結(jié)合,會使基于考試視頻的作答跳轉(zhuǎn)模式序列數(shù)據(jù)挖掘分析在促進(jìn)考試評價的科學(xué)性和客觀性上有更廣闊的應(yīng)用空間和前景。
參考文獻(xiàn):
[1]徐震昊. 高考成績與影響因素的統(tǒng)計測評與分析[J]. 中國統(tǒng)計, 2017, (4): 56~58.
[2]李娟, 張茂勝, 談鑫杰. 影響高考成績的多因素權(quán)重分析[J]. 數(shù)學(xué)的實踐與認(rèn)識, 2019, 9(24): 259~265.
[3]Zhuangzhuang Han, Qiwei He & Matthias V. D.. Predictive Feature Generation and Selection Using Process Data From PISA Interactive Problem-Solving Items: An Application of Random Forests [J]. Frontiers in Psychology, 2019, (10): 2461.
[4]Matthias V. D., Khorramdel L., Qiwei He, Shin H. J. & Haiwen Chen. Developments in Psychometric Population Models for Technology-Based Large-Scale Assessments: An Overview of Challenges and Opportunities [J]. Journal of Educational and Behavioral Statistics, 2019, 44(6): 671~705.
[5]王艷曉. 基于流程性教育數(shù)據(jù)挖掘的學(xué)生成績預(yù)測方法研究[D]. 濟(jì)南: 山東科技大學(xué)碩士學(xué)位論文, 2018.