●郝夏穎 郭倩雯 陳彤彤 張勇

第三方評價技術(shù)在教育質(zhì)量監(jiān)測中的運用
——以成都市小學(xué)五年級語文學(xué)業(yè)質(zhì)量監(jiān)測為例

●郝夏穎 郭倩雯 陳彤彤 張勇

第三方評價有別于學(xué)校第一方評價和政府第二方評價，既打破了第一方評價囿于自身視野、利益而不能自覺、客觀、公正地評價自我發(fā)展的局限性，又突破了政府在教育管理和評價中既擔(dān)任裁判員又擔(dān)任教練員的管評不分的弊端。

第三方評價技術(shù)——ACTS

政策依據(jù)?！秶抑虚L期教育改革和發(fā)展規(guī)劃綱要（2010-2020年）》明確提出：“改進教育教學(xué)評價，根據(jù)培養(yǎng)目標(biāo)和人才理念，建立科學(xué)、多樣的評價標(biāo)準(zhǔn)。開展由政府、學(xué)校、家長及社會各方面參與的教育質(zhì)量評價活動。”2013年，《教育部關(guān)于推進中小學(xué)教育質(zhì)量綜合評價改革的意見》中提出：“要探索建立一種政府、社會組織和專業(yè)機構(gòu)等共同參與的外部評價機制。”2015年，教育部下發(fā)的《關(guān)于深入推進教育管辦評分離、促進政府職能轉(zhuǎn)變的若干意見》中指出，“大力培育專業(yè)教育服務(wù)機構(gòu)，整合教育質(zhì)量監(jiān)測評估機構(gòu)，完善監(jiān)測評估體系，定期發(fā)布監(jiān)測評估報告，擴大行業(yè)協(xié)會、專業(yè)學(xué)會、基金會等各類社會組織參與教育評價”，部署構(gòu)建“政府管教育、學(xué)校辦教育、社會評教育”的格局。

理論依據(jù)。18世紀(jì)到19世紀(jì)，實驗心理學(xué)和教育統(tǒng)計學(xué)的發(fā)展，為解決教育評價的主觀性、隨意性、隨機性問題提供了理論和方法上的指導(dǎo)；20世紀(jì)30至50年代，美國泰勒提出了以教育目標(biāo)為核心的“教育評價原理”，并提出了“教育評價”概念，從而把教育評價與教育測量區(qū)分開來；20世紀(jì)50年代，布魯姆提出的“教育目標(biāo)分類學(xué)理論”，從課程評價出發(fā)，把教育目標(biāo)分類視為一個系列化的目標(biāo)系統(tǒng)，形成的診斷性評價、形成性評價、終結(jié)性評價的評定方法，為教學(xué)評價提供了有效依據(jù)；20世紀(jì)70年代，喬納森的“學(xué)習(xí)結(jié)果分類理論”，把焦點放在高層次的認(rèn)知、元認(rèn)知和情感性的學(xué)習(xí)結(jié)果上，有效地將知識的類型、評價的標(biāo)準(zhǔn)和教學(xué)策略結(jié)合在一起，綜合考慮各種因素對評價結(jié)果的影響；20世紀(jì)80年代以來，“項目反應(yīng)理論”把教育評價引向了計算機化和因人施測的方向，模糊評價法發(fā)展了教育評價的數(shù)據(jù)處理技術(shù)；20世紀(jì)80年代中后期，加德納提出的“多元智能理論”，為因材施教提供了理論依據(jù)，賦予學(xué)生觀、教學(xué)觀與評價觀以新的含義；21世紀(jì)以來，馬扎諾明確提出了系統(tǒng)一致的“教育目標(biāo)新分類”，把知識分為信息、心理程序和心理動作程序三個領(lǐng)域，系統(tǒng)一致的教育目標(biāo)分類提供了人類思維的一種模式，而且將認(rèn)知加工過程和三種知識水平結(jié)合在一起。

ACTS評價技術(shù)?；谏鲜稣吆屠碚撘罁?jù)，ACTS評價技術(shù)誕生，它的全稱是Ability-CompetenceTest System，即學(xué)業(yè)素質(zhì)能力評價系統(tǒng)。它是以新課程標(biāo)準(zhǔn)提出的“知識與技能，過程與方法，情感態(tài)度與價值觀”的三維目標(biāo)為基礎(chǔ)，以教育目標(biāo)分類學(xué)、認(rèn)知建構(gòu)理論、多元智能理論等為主要理論和方法依據(jù)，結(jié)合教育學(xué)、心理學(xué)領(lǐng)域最新的研究成果，借鑒國際上最新的測量評價發(fā)展趨勢，形成的一個以“知識、技能、能力”為顯性維度，以“方法、過程、策略”以及“價值、情感、態(tài)度”為隱性維度的三維多元多層測量評價技術(shù)模型。它力求從根本上解決當(dāng)前學(xué)科教育評價不能診斷、反映課程目標(biāo)和課程標(biāo)準(zhǔn)的問題。該模型滿足了國家提出的關(guān)于教育評價與考試改革的新要求，以及新課程改革的課程目標(biāo)和課程標(biāo)準(zhǔn)要求，評價結(jié)果能與國際學(xué)業(yè)成績評估接軌。

知識、技能和能力的顯性三維目標(biāo)的測量、評價、甄別與診斷，有助于學(xué)生找到并確診認(rèn)知要素和成果結(jié)構(gòu)中存在的長短板和不均衡問題；其關(guān)聯(lián)分析也有助于學(xué)生發(fā)現(xiàn)和診斷學(xué)習(xí)上存在的問題點、困難點、盲點及其形成的原因和機制，進而找到解決問題的方向和方法。該模型在成績報告方面，學(xué)習(xí)和借鑒了國際大型標(biāo)準(zhǔn)化測試的報告系統(tǒng)，不僅能提供數(shù)據(jù)多元、多維、多重比較結(jié)果，而且能提供面向不同群體（學(xué)生、教師、學(xué)校、地區(qū)或?qū)W區(qū)）的數(shù)據(jù)報告，從而為教育咨詢提供可靠、可信、有效的工具，為教研、教學(xué)、教學(xué)管理等提供可靠有效的平臺和工具，為教師專業(yè)發(fā)展提供科學(xué)的操作平臺。

ACTS評價技術(shù)在成都市小學(xué)五年級語文學(xué)業(yè)質(zhì)量監(jiān)測中的運用

第三方評價技術(shù)——ACTS成功運用于成都實驗區(qū)，充分體現(xiàn)了其評價的科學(xué)性和公正性。

項目及評價工具介紹。成都市小學(xué)五年級語文學(xué)業(yè)質(zhì)量監(jiān)測項目于2015年開展實施，由中國教育學(xué)會采用中小學(xué)教育質(zhì)量綜合評價改革實驗專用技術(shù)——ACTS學(xué)業(yè)素質(zhì)能力評價系統(tǒng)對成都市21個區(qū)（市）縣的五年級學(xué)生，以抽樣方式進行2015年學(xué)業(yè)質(zhì)量監(jiān)測工作。本次學(xué)業(yè)質(zhì)量監(jiān)測采用的模式為：“學(xué)業(yè)質(zhì)量監(jiān)測+學(xué)校問卷調(diào)查?！奔瘁槍Τ啥际形迥昙壵Z文閱讀水平進行學(xué)業(yè)質(zhì)量監(jiān)測，并以校長問卷、教師問卷、學(xué)生問卷的方式展開。此項目意在通過監(jiān)測結(jié)果使各地區(qū)各學(xué)校認(rèn)識到影響語文閱讀質(zhì)量的原因，從而合理引導(dǎo)教育行政管理部門科學(xué)決策，及時調(diào)整評價學(xué)校和學(xué)生的標(biāo)準(zhǔn)，推動各學(xué)校教育質(zhì)量和學(xué)生健康水平的提升。

本項目采用的第三方評價技術(shù)主要運用ACTS學(xué)業(yè)素質(zhì)能力評價系統(tǒng)，針對語文閱讀學(xué)業(yè)質(zhì)量監(jiān)測，所使用的監(jiān)測工具分為知識、技能和能力三個維度。其中知識維度分字詞、句子、語段、文章4項指標(biāo)；技能維度分為認(rèn)知、理解、信息提取、綜合概括、推理、應(yīng)用、分析、表達(dá)共8個指標(biāo)；能力維度分為詞匯辨析、語言理解、邏輯分析、人際理解、自我認(rèn)識共5項指標(biāo)。

學(xué)業(yè)質(zhì)量監(jiān)測的具體情況。成都市共有21個區(qū)（市）縣的抽樣學(xué)校參與此次學(xué)業(yè)質(zhì)量監(jiān)測，成績有效的有11913人。此次監(jiān)測結(jié)果顯示，成都市五年級學(xué)生在知識、技能、能力、總成績四個維度中，其平均得分率略高于60%。在知識、技能、能力維度中，相對應(yīng)地，學(xué)生在語段、分析、人際理解指標(biāo)的區(qū)域平均水平最低。

就三個維度總體情況在成都各區(qū)（市）縣的表現(xiàn)水平而言，新津縣在總成績、知識、技能、能力四項中的閱讀水平最高，大邑縣的閱讀水平最低。各區(qū)（市）縣在中等成績分?jǐn)?shù)段的人數(shù)普遍占多數(shù)，低等成績分?jǐn)?shù)段的人數(shù)比例次之，高等成績分?jǐn)?shù)段的人數(shù)比例最少。在知識維度中，各區(qū)（市）縣在語段指標(biāo)項的平均水平最差，表現(xiàn)最為明顯的是金堂縣；在技能維度中，各區(qū)（市）縣在分析指標(biāo)項的平均水平最差，表現(xiàn)最為明顯的是大邑縣；在能力維度中，各區(qū)（市）縣在人際理解指標(biāo)項的平均水平最差，表現(xiàn)最為明顯的是大邑縣。

成都市小學(xué)語文學(xué)業(yè)質(zhì)量存在的問題主要在四個方面：一是各維度指標(biāo)均衡性不足。成都市五年級學(xué)生在知識、技能、能力三個維度的指標(biāo)中表現(xiàn)出不均衡的趨勢。在知識維度中，主要體現(xiàn)在語段的表現(xiàn)水平較弱；在技能維度中，主要體現(xiàn)在綜合概括、分析、表達(dá)技能的表現(xiàn)水平較弱；在能力維度中，主要表現(xiàn)在人際理解、自我認(rèn)識指標(biāo)的表現(xiàn)水平較弱。三個維度各個指標(biāo)間相互關(guān)聯(lián)，且較高層次的指標(biāo)與較低層次的指標(biāo)之間的平均得分率存在較大差異，有的平均得分率差異竟高達(dá)30個百分點。

二是總體水平偏低。成都市五年級閱讀成績監(jiān)測結(jié)果表明，在知識、技能、能力、總成績四項指標(biāo)中，各指標(biāo)的平均得分率均略高于60%，并且各區(qū)（市）縣各分?jǐn)?shù)段人數(shù)比例在上述四個指標(biāo)中的結(jié)果表明60-85分?jǐn)?shù)段的人數(shù)占大多數(shù)，而0-60分?jǐn)?shù)段的人數(shù)次之，有些區(qū)縣在0-60分?jǐn)?shù)段人數(shù)所占比重甚至比60-85分?jǐn)?shù)段人數(shù)所占比重還高，85-100分?jǐn)?shù)段的人數(shù)最少。由此可見，該市五年級學(xué)生閱讀水平整體偏低。成都市五年級各區(qū)（市）縣在總成績、知識、技能、能力中，普遍表現(xiàn)為其中位數(shù)得分率高于其平均得分率，且低水平區(qū)（市）縣的成績分化程度較大。這表明各區(qū)（市）縣閱讀的平均成績受到后進生的影響較大，即后進生的成績拉低了整個區(qū)（市）縣的平均閱讀水平。并且低閱讀水平區(qū)（市）縣的學(xué)生成績分布不均衡，高低分差異十分明顯。

三是城鄉(xiāng)差異明顯。成都市不同區(qū)（市）縣城鄉(xiāng)同類學(xué)校在閱讀成績指標(biāo)項的表現(xiàn)也有明顯差別。城市學(xué)校、城關(guān)鎮(zhèn)學(xué)校在知識、技能、能力、總成績中的平均得分率和中位數(shù)得分率要明顯優(yōu)于農(nóng)村學(xué)校，這不僅與地理位置有關(guān)，更與優(yōu)渥的教學(xué)資源、教學(xué)設(shè)備有關(guān)。在知識、技能、能力三維度各指標(biāo)中，城市、城關(guān)鎮(zhèn)學(xué)校的平均得分率也明顯優(yōu)于農(nóng)村學(xué)校。

四是學(xué)生成績受父母受教育程度、經(jīng)濟環(huán)境的影響較大。在知識、技能、能力、總成績四項指標(biāo)中，學(xué)生的閱讀成績與父母受教育程度呈正相關(guān)關(guān)系。因此，父母受教育程度不同，其子女在閱讀學(xué)業(yè)質(zhì)量監(jiān)測中的差距也較為明顯，尤其是在技能方面表現(xiàn)突出。

學(xué)生閱讀成績的高低同樣也受到父母經(jīng)濟環(huán)境的影響。父母職業(yè)層級較高且有穩(wěn)定經(jīng)濟收入的家庭所教養(yǎng)出的學(xué)生的閱讀水平較高，反之，學(xué)生的閱讀水平也相對較低。

針對上述問題，專家給出了四條建議。一是有效培養(yǎng)學(xué)生閱讀中的薄弱知識、技能和能力。成都市五年級學(xué)生閱讀學(xué)業(yè)質(zhì)量監(jiān)測結(jié)果表明，學(xué)生在語文知識中的語段閱讀、分析、綜合概括技能、人際理解能力是影響其閱讀水平的薄弱環(huán)節(jié)。這些薄弱的知識、技能、能力普遍存在于各區(qū)（市）縣的監(jiān)測結(jié)果中，因此，針對此薄弱環(huán)節(jié)，應(yīng)有的放矢地提升、訓(xùn)練學(xué)生的弱勢項目。平時語文教學(xué)過程中應(yīng)加強學(xué)生的語段訓(xùn)練，注意引導(dǎo)學(xué)生挖掘材料背后所傳達(dá)的思想感情、分析語段中句與句之間的邏輯結(jié)構(gòu)。在學(xué)習(xí)生活中培養(yǎng)學(xué)生的人際理解能力，注重培養(yǎng)學(xué)生在班級、學(xué)校中的人際交往能力，使學(xué)生在學(xué)習(xí)生活中和諧友愛相處，換位思考，互幫互助。教師也應(yīng)引導(dǎo)家長在家庭中培養(yǎng)學(xué)生獨立自主的生活能力，體諒父母，從而為其語文學(xué)習(xí)打下良好的基礎(chǔ)。

二是有效提升薄弱區(qū)（市）縣后面50%的學(xué)生的學(xué)科能力。成都市五年級學(xué)生閱讀學(xué)業(yè)質(zhì)量監(jiān)測結(jié)果中各區(qū)（市）縣的閱讀成績受到后進生的影響較大，且低閱讀水平區(qū)（市）縣的學(xué)生成績分布不均衡，高低分差異較大。因此，針對此問題應(yīng)有效提升薄弱區(qū)（市）縣后50%學(xué)生的學(xué)科能力。一方面，加強優(yōu)等生對后進生的幫扶工作，學(xué)習(xí)優(yōu)等生的學(xué)習(xí)經(jīng)驗。另一方面，加強區(qū)（市）縣之間的溝通與交流，轉(zhuǎn)變教師以講和灌為主的教學(xué)方式，改進教學(xué)，高度關(guān)注后進生。

三是大力開展農(nóng)村教師的專項幫扶計劃。針對各區(qū)（市）縣學(xué)校閱讀成績城鄉(xiāng)差異明顯的現(xiàn)象，成都市教育局在政策層面上應(yīng)開展針對農(nóng)村教師的專項幫扶計劃，在寒暑假或不影響教師日常教學(xué)的時間，安排農(nóng)村教師培訓(xùn)，使農(nóng)村教師學(xué)習(xí)城市、城關(guān)鎮(zhèn)學(xué)校較為先進的教學(xué)管理經(jīng)驗和教學(xué)經(jīng)驗；實行教育政策的傾斜，以優(yōu)厚條件鼓勵城市中優(yōu)秀教育人才支持農(nóng)村教育事業(yè)。此外，通過促進教師專業(yè)水平的提升來促進學(xué)生能力的提升。

四是制定針對弱勢條件學(xué)生克服先天差距的計劃和方案。針對義務(wù)教育階段的弱勢條件學(xué)生群體，成都市教育行政主管部門應(yīng)對各區(qū)（市）縣的弱勢學(xué)生制定有助于他們克服這種先天差距的計劃和方案。對義務(wù)教育階段家庭經(jīng)濟困難的學(xué)生加大幫扶力度，為每一個學(xué)生創(chuàng)造良好的學(xué)習(xí)發(fā)展環(huán)境。

運用第三方評價技術(shù)對于成都乃至全國教育都產(chǎn)生了積極影響

成都市教育局以項目的形式委托第三方開展教育質(zhì)量監(jiān)測工作，是一場順應(yīng)時代變革的重大舉措。在這場改革過程中，第三方評價技術(shù)運用于教育質(zhì)量監(jiān)測取得了一定的成效，也為全國教育改革實驗區(qū)教育質(zhì)量監(jiān)測工作的開展提供了借鑒和經(jīng)驗。

引入“第三方評價”，有效體現(xiàn)評估中的公平性。當(dāng)前，我國義務(wù)教育階段尤為突出的問題之一就是不公平。這種不公平突出表現(xiàn)為區(qū)域之間、城鄉(xiāng)之間、學(xué)校之間在地理位置、教學(xué)設(shè)備、師資隊伍等教育資源分配中的不公平。一直以來，我國教育質(zhì)量監(jiān)測的主體多為教育行政部門。教育行政部門掌握著對本地區(qū)教育監(jiān)測的實施權(quán)和評估權(quán)，而監(jiān)測評估的結(jié)果往往會直接關(guān)系到地區(qū)及學(xué)校的資源配置。在這樣一種“運動員兼裁判員”的角色定位下，由于缺乏必要的責(zé)任監(jiān)管和問責(zé)制度，常常會不可避免地造成評估的主觀性以及監(jiān)測結(jié)果的不真實，并因此誤導(dǎo)政府決策，最終將不利于形成教育資源的科學(xué)、均衡配置，這與教育質(zhì)量監(jiān)測所要達(dá)成的終極目標(biāo)——提升教育質(zhì)量，促進教育公平顯然是背道而馳的。

本次成都市引入第三方評價參與對全市教育質(zhì)量的監(jiān)測，可以說是在實踐層面上建立了政府與第三方評價機構(gòu)在教育監(jiān)測及評估領(lǐng)域一種協(xié)同合作的工作機制。以《國家義務(wù)教育質(zhì)量監(jiān)測方案》為政策基礎(chǔ)，由第三方評價機構(gòu)憑借其專業(yè)團隊力量，科學(xué)的評估技術(shù)以及專業(yè)的監(jiān)測實施程序，獨立于行政機構(gòu)去承擔(dān)質(zhì)量監(jiān)測與評價的責(zé)任。從這個角度講，第三方因存在形式的獨立性決定了其評估結(jié)果的公平性。因此，基礎(chǔ)教育質(zhì)量監(jiān)測中引入“第三方評價”，才能有效地體現(xiàn)評估的客觀性和公平性。

引入“第三方評價”，有效提升監(jiān)測和評估結(jié)果的精準(zhǔn)性。國家義務(wù)教育質(zhì)量監(jiān)測中一個重要的要求就是能“深入分析影響義務(wù)教育質(zhì)量的主要因素”。那么如何才能實現(xiàn)監(jiān)測和評估結(jié)果的精準(zhǔn)化？一方面需要在監(jiān)測指標(biāo)的設(shè)置上做到精細(xì)化。本次成都市五年級學(xué)業(yè)質(zhì)量監(jiān)測采用第三方評價技術(shù)——ACTS學(xué)業(yè)素質(zhì)能力評價技術(shù)系統(tǒng)作為處理、分析工具，是我國目前唯一能按學(xué)科教育三維目標(biāo)要求研制的測評工具。它參考了課程標(biāo)準(zhǔn)中知識與技能、過程與方法、情感態(tài)度和價值觀的三維目標(biāo)以及國際學(xué)生評估項目（PISA）閱讀素養(yǎng)框架，將學(xué)業(yè)質(zhì)量監(jiān)測工具的內(nèi)容指標(biāo)，在2013年《中小學(xué)教育質(zhì)量綜合評價指標(biāo)框架（試行）》中的“知識技能與學(xué)科思想方法”的基礎(chǔ)上進一步細(xì)化，形成了知識、技能、能力3個維度，共17項具體的內(nèi)容監(jiān)測指標(biāo)。另一方面，精準(zhǔn)化體現(xiàn)在評估的結(jié)果具有準(zhǔn)確性和指向性。質(zhì)量監(jiān)測內(nèi)容的評估如果只關(guān)注學(xué)業(yè)成果，就與一般的學(xué)科測驗無異，而應(yīng)該同時聚焦學(xué)情和學(xué)業(yè)成果。所以，教育質(zhì)量監(jiān)測在技術(shù)層面不僅能夠就學(xué)業(yè)成績以多維、多元、多層的數(shù)據(jù)結(jié)果呈現(xiàn)監(jiān)測結(jié)果，還能聚焦學(xué)生成長，將學(xué)業(yè)成績與學(xué)業(yè)負(fù)擔(dān)、學(xué)校資源、家庭背景等學(xué)生成長過程中的影響因素進行分析，從而給出充分的學(xué)業(yè)質(zhì)量的診斷信息和評估建議。從這個角度而言，基礎(chǔ)教育質(zhì)量監(jiān)測中引入“第三方評價”，能有效提升監(jiān)測和評估結(jié)果的精準(zhǔn)性。

引入“第三方評價”，有利于優(yōu)化教、學(xué)、研、管等工作。國家義務(wù)教育質(zhì)量監(jiān)測的目的之一就是“為轉(zhuǎn)變教育管理方式和改進學(xué)校教育教學(xué)提供參考”。這里體現(xiàn)了兩個重要的目標(biāo)訴求：一是改進教育教學(xué)，提高學(xué)生學(xué)業(yè)水平；二是轉(zhuǎn)變教育管理方式，提高效率。本次學(xué)業(yè)質(zhì)量監(jiān)測，針對第一個目標(biāo)訴求，通過運用ACTS學(xué)業(yè)素質(zhì)能力評價系統(tǒng)，可提供集學(xué)業(yè)診斷和甄別等功能于一體的成績報告單，用詳實的數(shù)據(jù)，記錄每一個學(xué)生、每一所學(xué)校、每一個區(qū)（市）縣的真實學(xué)業(yè)水平以及問題的癥結(jié)所在。其中，從學(xué)生個體數(shù)據(jù)分析來看，報告直觀地呈現(xiàn)了學(xué)生個體在知識、技能、能力三個維度的成長情況，包括其長短板及優(yōu)劣勢。從學(xué)的層面引導(dǎo)學(xué)生學(xué)習(xí)觀念和方法的轉(zhuǎn)變。從班級、區(qū)域的學(xué)生群體數(shù)據(jù)分析來看，能夠精細(xì)反映教師的教學(xué)績效、專業(yè)成長中存在的問題，以及準(zhǔn)確地識別區(qū)際間教學(xué)質(zhì)量存在的差異，從而有針對性地制定教研計劃，使教學(xué)和教研工作變得更加科學(xué)有效。針對第二個目標(biāo)訴求，第三方評價機構(gòu)通過提供專業(yè)的學(xué)業(yè)質(zhì)量監(jiān)測報告，集中呈現(xiàn)成都市各區(qū)（市）縣的學(xué)生閱讀水平的現(xiàn)狀，在總結(jié)成果的同時指出其存在的問題；對學(xué)業(yè)水平影響因素進行相關(guān)性分析；對成都市教育質(zhì)量的均衡性及影響因素進行評估。基于此，可以有效提升教育管理部門工作的針對性和實效性，轉(zhuǎn)變管理方式，促進區(qū)域教育資源的優(yōu)化配置和教育質(zhì)量的不斷提升。

作者單位：北京市公眾教育科學(xué)研究院。

（責(zé)任編輯 曾憲波）