湛藍 柏毅

摘要： 利用信息技術設計面向中小學生的科學素養(yǎng)評測方案是提升科學學科教學的關鍵基礎工作。研究團隊參考PISA和NAEP的評估框架與形式，將計算機平臺和數(shù)字化設備相結合，依據(jù)ECD模型及理論，開發(fā)科學素養(yǎng)評測系統(tǒng)，運用IRT項目反應理論Rasch模型、Logistic模型對評測數(shù)據(jù)進行檢驗分析，驗證了評測方案的合理性與科學性。教師應用這一新的技術與方法，可有效檢測學生科學素養(yǎng)水平，為教學提供依據(jù)。

關鍵詞：科學素養(yǎng);科學素養(yǎng)評測;數(shù)字化設備;探究實驗

科學素養(yǎng)是當前科學教育領域關注的重點概念，它既是學生自身成長的需要，又是國家社會對人的素質要求?！读x務教育科學課程標準（2022年版）》倡導提升學生科學素養(yǎng)，這進一步凸顯了科學教育的重要地位。設計適合義務教育階段的科學素養(yǎng)評測方案具有推動科學教育發(fā)展的現(xiàn)實意義。紙筆評測無法實現(xiàn)對探究實踐等要素的評價，而數(shù)字化設備以其定量直觀、實時準確的優(yōu)勢，逐漸進入科學教育工作者的視野。筆者認為在評測中運用計算機和數(shù)字化設備，將虛擬情境和真實情境結合，能使學生的探究更接近科學本質，為科學素養(yǎng)評測工作提供極大的助力。

一、國際科學素養(yǎng)評測現(xiàn)狀

隨著社會與科技的發(fā)展，眾多組織和學者從不同的層次和角度對科學素養(yǎng)的定義進行歸納與完善。筆者綜合國內外學者和我國課程標準對科學素養(yǎng)內涵的定義，兼顧評測實施的可操作性，在本文中主要關注學生能否借助科學知識和科學過程來了解自然的奧秘，能否應用科學素養(yǎng)來從事各種科學研究。

為了了解學生科學素養(yǎng)情況，眾多組織和研究者進行了評測方案的研發(fā)。目前有三項大規(guī)模樣本的科學素養(yǎng)評測在國際上具有廣泛的影響，它們分別是國際學生評估項目（The Program for International Student Assessment，PISA）、美國國家教育進步評價（National Assessment of Educational Progress，NAEP）和國際數(shù)學與科學趨勢研究項目（the Trends in International Mathematics and Science Study，TIMSS）。早期項目的形式主要是紙筆測試，隨著信息技術的發(fā)展，研究者逐步開發(fā)了基于信息和通信技術（Information and communication technology，ICT）的單元評估。2009年，NAEP率先嘗試基于計算機情境評測，加入了計算機交互任務（Interactive Computer Task）和動手操作任務（Hands-on Task），創(chuàng)設虛擬的任務情境，評估學生的問題解決能力，并于2019年完成從紙筆測試到基于數(shù)字的評估的過渡。PISA于2012年引入了基于計算機的評估平臺，用于問題解決、數(shù)學和數(shù)字化閱讀三個方面的測試。隨著評估框架的更新調整，新項目的開發(fā)均是基于計算機平臺。雖然紙筆評估至今仍然是一種選擇，但大多數(shù)國家都選擇在計算機平臺上實施和交付整個評估^[1]。TIMSS在2019年也進入了計算機評估系統(tǒng)研發(fā)的初始階段，最新的TIMSS 2023手冊表明該項目將于2023年完成升級。僅使用計算機平臺創(chuàng)設虛擬情境難以全面評測學生的科學素養(yǎng)，開發(fā)者還應該考慮科學探究的真實性和可操作性。為此，研究團隊構建相應的探究實驗平臺，并將數(shù)字化設備引入評測體系，以便學生在真實情境中自主探究，在實踐中評估操作水平，從而填補科學素養(yǎng)評測的缺口。

二、基于數(shù)字化設備的科學素養(yǎng)評測方案

《義務教育科學課程標準（2022年版）》在“評價建議”中倡導教師采用非紙筆測試的方式，重點評價學生的科學探究能力、技術與工程實踐能力、創(chuàng)新解決實際問題的能力等^[2]。因此，數(shù)字化設備進入科學素養(yǎng)評測非常符合新課標的精神。以下，筆者結合東南大學百研工坊科學教育團隊開發(fā)的評測方案，論述數(shù)字化設備與學生科學素養(yǎng)評測深度融合的方式。

（一）數(shù)字化設備在科學素養(yǎng)評測中的應用

數(shù)字化設備是一種建立在測量技術上的檢測裝置，能將模擬信號轉換成數(shù)字信號輸出。筆者所述數(shù)字化設備指的是將信息技術、網(wǎng)絡技術和傳感器技術等相結合的一系列工具（如圖1），即為完成評測而采用的傳感器、數(shù)據(jù)采集器、計算機和配套應用軟件。

其工作原理如下：傳感器將采集的信息轉化成電信號，數(shù)據(jù)采集器將電信號轉換成數(shù)字信號反饋給計算機軟件，最終通過數(shù)字化信息系統(tǒng)實驗室（Digital Information System laboratory，DISLab）系統(tǒng)將實驗結果以可視化圖形呈現(xiàn)。借此，學生可以快速采集實驗數(shù)據(jù)、監(jiān)控信號量的實時變化數(shù)據(jù)，完成監(jiān)測、統(tǒng)計、繪圖和分析工作^[3]。數(shù)字化設備具有定量、直觀、實時、準確等特點，是改進傳統(tǒng)實驗耗時長、器材多、步驟繁、不精確等缺點的重要手段。教師使用數(shù)字化設備可以有效提高學生的數(shù)據(jù)處理、模型建構、科學推理等能力。數(shù)字化設備在義務教育階段科學教學中應用廣泛（見表1）。

（二）科學素養(yǎng)評測理論模型

1.ECD概念評估框架

百研工坊的科學素養(yǎng)評測方案是依據(jù)ECD（Evidence-Centered Design）模型設計的。ECD模型是由梅斯雷弗（Robert J. Mislevy）等人開發(fā)的系統(tǒng)性評價設計的模式，經(jīng)過多年的研究與發(fā)展，該模型被廣泛用于PISA、NAEP等國際評測項目。ECD模型有五個層次的測試開發(fā)：領域分析、領域建模、概念評價框架、評估預實驗、評估交付。其中，概念評價框架通常有五個子模式：學生模式、證據(jù)模式、任務模式、組合模式和呈現(xiàn)模式（如圖2）^[4]。學生模式涵蓋了學生應掌握的知識，相當于評測目標與內容，即“我們能測量什么”;證據(jù)模式指所選的實驗范式，相當于評測手段和方式，即“我們如何測量”;任務模式指具體情境的選擇，即“任務的框架和情境是什么”;組合模式則表明了前三種模式是如何相互結合的;呈現(xiàn)模式指的是評價實際采用的具體方式，如紙筆、實驗操作、計算機交互等。這些子模式協(xié)同構建了一個科學完整的評價框架。

在評測方案中，靜態(tài)評估和計算機交互任務都在計算機上呈現(xiàn)，而動手實操任務借助的是數(shù)字化設備搭建的實驗平臺。研究團隊參考NAEP中富技術環(huán)境（Technology-Rich Environments，TRE）下關于問題解決的研究方法，應用學生模式和證據(jù)模式設計了基于數(shù)字化設備的科學素養(yǎng)評測目標（見表2）。學生模式下的評估目標由科學探究能力（又分為知識探索能力、綜合推理能力）與信息技術能力組成。證據(jù)模式下的評估目標則是針對不同情境、不同方案進行不同的細節(jié)劃分，如分為知識點掌握、實驗探究步驟、應用技術手段等內容，其中特別增加了對數(shù)字化設備操作的考核要求，由主試者評分^[5]。

2.項目反應理論Rasch模型

研究團隊設計新方案的另一個重要的理論基礎是項目反應理論（Item Response Theory， IRT）。它是當前評測項目中的常用理論，彌補了經(jīng)典測量理論的項目依賴性與樣本依賴性等不足，其科學性主要體現(xiàn)在：被試者的能力評估值與評測的具體內容無關，即不考慮測量誤差時，從不同難度和內容的評測項目中所得到的能力評估值是相同的。此外，被試者的能力分布也不影響項目參數(shù)，這對于評測方案的質量檢驗和結果分析非常有價值。

Rasch模型是丹麥學者喬治·拉希（Georg Rasch）基于IRT提出來的一種潛在特質模型，它是一個單參數(shù)IRT模型。Rasch模型的優(yōu)勢在于：（1）項目參數(shù)具有不變性，即進行Rasch分析時不需要較大的樣本量;（2）特征參數(shù)具有不變性，即特征參數(shù)的估計與測量項目是沒有關系的，回避了經(jīng)典測量理論中項目依賴的問題;（3）可以分析多級評分項目，例如主觀題的評分。Rasch模型是一個理想化的數(shù)學模型，它的運用需要滿足兩個前提條件：一是對于任何被試個體，在難度低的題目上的表現(xiàn)要好于在難度高的題目上的表現(xiàn);二是對于任何題目，能力水平高的個體要比能力水平低的個體有更大可能回答正確。Rasch模型公式如下：

其中，P_ni表示被試n正確回答問題i的可能性，B_n表示被試的能力，D_i表示問題i的難度。

筆者分析時，將被試者的原始成績轉換為logit分數(shù)（即線性數(shù)據(jù)，例如4級記分法：回答不正確記0分，答對30%～60%記1分，60%以上記2分，完全正確記3分），將被試者的能力水平和題目難度放在同一水平標尺上進行直觀準確的比較，從而客觀地對評測方案檢驗分析^[6]。

3.Logistic模型

Logistic模型也可作為測評方案的質量檢驗工具，用于估計評測方案中各題的區(qū)分度、難度系數(shù)、猜測系數(shù)。20世紀50年代美國學者伯恩鮑姆（Birnbaum）在正態(tài)肩型曲線模型基礎上提出了Logistic模型，適用于記分為對或錯的二級記分試題。Logistic模型表達式如下：

其中θ為能力參數(shù)，a為區(qū)分度，b為難度系數(shù)，c為猜測系數(shù)（不會隨著能力水平而變化），D為常數(shù)，取D=1.7，當c=0時可得到二參數(shù)模型，當c=0且a=1時可得到單參數(shù)模型。圖3為三參數(shù)模型的項目特征曲線，縱坐標代表被試正確作答該題的概率，拐點的θ值為項目難度參數(shù)，拐點處的斜率表示項目的區(qū)分度a。

模型的優(yōu)選一定要基于一定的理論依據(jù)與實踐研究。研究者需要對預實驗數(shù)據(jù)進行模型擬合度測試，選擇更適宜的Logistic參數(shù)模型進行參數(shù)估計，從而完成評測方案的質量驗證^[7]。

（三）平臺功能與方案實施

1.評測平臺

筆者基于信息通信技術和傳感器技術構建了科學素養(yǎng)評測平臺，包括評測試題模塊（如圖4）、實驗評分模塊（如圖5）以及系統(tǒng)管理模塊（如圖6）。評測試題模塊為被試者呈現(xiàn)試題信息和操作要求;實驗評分模塊可實現(xiàn)對部分靜態(tài)評估題自動評分，其他題型如簡答題、實驗操作題由主試者賦分;系統(tǒng)管理模塊具有用戶管理、數(shù)據(jù)查詢、數(shù)據(jù)存儲的功能，主要優(yōu)勢在于主試者不用即時評分，后臺實時生成數(shù)據(jù)報表，協(xié)助后期數(shù)據(jù)挖掘工作。三大模塊協(xié)調銜接，為后續(xù)評測奠定了扎實的基礎。

2.評測內容與維度

評測內容的設計非常關鍵。研究團隊依據(jù)《義務教育科學課程標準（2022年版）》，參考國際科學素養(yǎng)評測項目框架和命題思路，使評測內容與相應年齡段學生的認知發(fā)展水平相適應，從個人、社會和全球視角審視，聚焦現(xiàn)實世界中自然資源、環(huán)境等方面的問題，如清潔能源、溫室效應等。此外，科學素養(yǎng)評測的四個維度（PISA2015科學素養(yǎng)評估框架：能力、知識、態(tài)度、情景）在方案中都有體現(xiàn)：在情境上參考了PISA任務背景的分類維度（區(qū)域/國家/全球層面，自然資源/物理/科技前沿等），科學態(tài)度則是以發(fā)放人口學調研問卷的形式收集，科學知識和科學能力兩個維度在試題的主體部分進行考評，呈現(xiàn)方式包括靜態(tài)評估題（如選擇題、簡答題）、計算機交互任務、實際操作任務等。

3.實施過程

筆者將計算機任務情境與學生操作相結合進行評測，讓被試者根據(jù)頁面呈現(xiàn)的試題信息作答。對于實驗操作題，被試者需要選取器材，組建裝置進行實驗。傳感器將數(shù)據(jù)實時傳輸?shù)接嬎銠C的配套應用軟件上，由被試者處理分析。在這一過程中，主試者使用標準引導語引導被試者作答，并根據(jù)評分細則對實驗操作項打分。與紙筆測試和單純的機試相比，數(shù)字化評測效果更佳，能全面地衡量學生知識的掌握和探究實踐能力的發(fā)展水平，實現(xiàn)對學生科學素養(yǎng)的綜合考評。

（四）評測數(shù)據(jù)的分析與處理

信效度分析是評測方案開發(fā)的重要一環(huán)，評測方案必須經(jīng)歷多次理論論證和實踐評估并加以改進才能完成交付?？茖W可靠的方案將為ICT評估的發(fā)展和數(shù)字化科學素養(yǎng)評測系統(tǒng)的完善提供有力的支持。

1.評測數(shù)據(jù)的預處理

數(shù)據(jù)預處理的步驟包括缺失值填補和數(shù)據(jù)篩選。為了盡可能利用測試數(shù)據(jù)，教師可使用SPSS軟件中的EM填補法或平均值填補法完成數(shù)據(jù)缺失值的填補，后續(xù)對評測總分進行樣本Z分數(shù)的計算，將異常數(shù)據(jù)值剔除^[8]。

2.信效度分析

筆者完成數(shù)據(jù)預處理后，使用SPSS軟件進行正態(tài)性檢驗、信度分析與相關性分析，從而檢驗方案的信效度。首先，筆者根據(jù)樣本量選擇W檢驗或D檢驗，確定PISA效標卷總分和評測方案總分是否符合正態(tài)分布;然后，對方案總體及各因子使用克隆巴赫α系數(shù)信度估計方法，判斷內部一致性與穩(wěn)定性的情況;最后，檢驗PISA效標卷與評測方案的外部相關性，確定評測方案是否具有較好的效標關聯(lián)效度^[9]。

3.Rasch模型數(shù)據(jù)分析

除上述方法外，結合Rasch模型進行試題要素分析也是驗證評測方案科學性的方式之一。在數(shù)據(jù)預處理后，筆者使用Winsteps軟件對方案進行整體質量檢驗，根據(jù)擬合指標判斷題目的擬合情況;然后，實施單維性檢驗，根據(jù)標準殘差圖判斷方案是否考評了被試者同一潛在特質;根據(jù)懷特圖中數(shù)據(jù)點的分布情況，檢驗題目難度與被試者能力的匹配程度;最后，運用項目擬合、氣泡圖等進一步分析，對難度不合理、擬合度較差的題目予以修改保留或舍棄。筆者以某地區(qū)六年級學生的科學素養(yǎng)評測數(shù)據(jù)的氣泡圖為例進行簡要分析（如圖7），氣泡與題目一一對應，氣泡直徑代表該題的標準差，縱坐標代表題目難度，橫坐標代表Outfit MNSQ（即擬合度檢驗的未加權均方擬合統(tǒng)計量），該值在0.5～1.5則表示題目滿足擬合要求。從圖7中可以清晰地判斷出，該評測方案大部分題目都在合理的區(qū)間內，但第5、6兩題超出可接受的范圍，與模型預期不太擬合。此外，第13、14題的氣泡半徑明顯大于其他各題，說明在檢驗被試者能力水平時誤差較大，需要查閱題目對其進行修改或刪除。

4. logistic模型數(shù)據(jù)分析

教師評測試題質量還可以采用項目反應理論logistic模型，該模型適用于二級評分試題。筆者首先檢驗數(shù)據(jù)是否符合單維性假設，方法有定義分析法、探索性因子分析法等，假設成立則可以進行參數(shù)估計;通過擬合度檢驗選擇更合適的logistic模型進行參數(shù)估計，繪制出項目特征曲線，考慮修改或刪除不符合項目曲線規(guī)律的題目;然后通過信息函數(shù)曲線判斷該方案所適合的學生的能力水平;最后對能力值進行估計，優(yōu)化評測題目（如個別題目的表述、答案設置等）從而使方案更加完善。以某評測方案的項目特征曲線為例，筆者調用R軟件TAM package中的plot函數(shù)繪制項目特征曲線（如圖8），編號S1-1-1的題目為標準項目特征曲線，同時查找該題的難度系數(shù)與區(qū)分度，結果各參數(shù)均在可接受范圍內，而編號S4-3的圖像平緩接近直線，說明區(qū)分度過低，需要對題目進行修改，S6-3-3則為反向的項目特征曲線，不符合檢驗規(guī)律，應考慮刪除該題。

三、反思與展望

隨著信息技術在教育教學中的應用普及，PISA、NAEP、TIMSS等國際科學素養(yǎng)評測項目大力發(fā)展均得益于用計算機評估任務，而國內傳統(tǒng)的以紙筆測試為基礎的評價方式存在滯后性和模糊性。筆者基于數(shù)字化設備開發(fā)評測方案為我國中小學開拓了科學素養(yǎng)評測研究的新范式。

該評測方案不僅創(chuàng)設了與生活環(huán)境密切相關的真實任務，評測形式也超越了以往的簡單測量，走向靜態(tài)評估單元、計算機交互任務、動手實操任務的多元化發(fā)展方向，在這個方面，ICT技術與數(shù)字化設備充分發(fā)揮各自的優(yōu)勢，奠定了良好的技術基礎。此外，已開發(fā)的評測方案覆蓋了科學三大領域，研究者可將各方案靈活組合、簡化或拓展，調整計分規(guī)則，使其適用于各種規(guī)模、范圍的科學素養(yǎng)評測，建立學段和地區(qū)的評價數(shù)據(jù)常模，從而切實推動科學教育的發(fā)展。

研究團隊在科學素養(yǎng)評測領域開展了一些探索工作，取得了相對成熟的成果。在之后的研究中，筆者一方面會對已有的方案繼續(xù)改進，另一方面將面向更多年齡段、涉及更多領域、開發(fā)更多主題的子系統(tǒng)，為深入研究我國學生科學素養(yǎng)奠定良好基礎。

注：本文系中央高校基本科研業(yè)務費專項資金資助項目（編號：2242022k30036）、中央高?；究蒲袠I(yè)務費專項資金資助項目（編號：2242022k30037）的研究成果。

參考文獻

[1] 楊基瑜，徐欣蕾，權夢婭，等.學生科學素養(yǎng)及其評測體系的國際比較研究[J].文教資料，2014（5）：81-84.

[2] 中華人民共和國教育部.義務教育科學課程標準：2022年版[S].北京：北京師范大學出版社，2022.

[3] 陳曉平，趙惠松.促進學生科學探究素養(yǎng)提高的DIS實驗教學[J].中小學數(shù)字化教學，2021（6）：46-49.

[4] 夏小俊，柏毅.基于計算機的科學素養(yǎng)評測云平臺研究[J].計算機與網(wǎng)絡，2015（22）：3.

[5] 林娉婷.學生科學核心概念評測方案研究[D].南京：東南大學，2016.

[6] 朱文琴.小學六年級科學素養(yǎng)評測方案設計——以生命科學領域為例[D].南京：東南大學，2019.

[7] 郭憲.Logistic模型在學生科學素養(yǎng)評測中的應用——以某校初一學生為例[D].南京：東南大學，2021.

[8] 劉枳杉.學生科學素養(yǎng)評測方案研究[D].南京：東南大學，2016.

[9] 龐謙竺.九年級科學素養(yǎng)評測方案設計——以物質和生命科學領域為例[D].南京：東南大學，2019.

（作者湛藍系東南大學研究生;柏毅系東南大學兒童發(fā)展與學習科學教育部重點實驗室教授，中國教育學會科學教育分會常務理事、副秘書長，中國STEAM教育評價委員會委員）

責任編輯：祝元志