論PISA結(jié)果在方法論層面的使用誤區(qū)

呂云震

摘 要：隨著PISA近年在全球范圍的風(fēng)靡，各國政策制定者紛紛把PISA成績視為推行教育改革的重要參照。政策制定者對PISA結(jié)果進行了去地方化和去情境化解讀、非嚴謹性因果推論，以及基于政治目的的政策借鑒等誤導(dǎo)。文章基于PISA數(shù)據(jù)在方法論層面的使用誤區(qū)進行了深度挖掘，主要從樣本排除率過高、目標(biāo)人群不具備整體代表性、學(xué)生成績預(yù)測模型具有內(nèi)在設(shè)計誤區(qū)、“趨勢指標(biāo)”具有誤導(dǎo)性這四個方面討論了PISA結(jié)果在方法論層面的局限性，以促使相關(guān)人士在解釋和使用PISA結(jié)果時更加謹慎。同時，文章也呼吁經(jīng)合組織的PISA結(jié)果報告更加明確地表明其局限性。

關(guān)鍵詞：經(jīng)合組織；PISA；數(shù)據(jù)利用；方法論；誤區(qū)

近些年，經(jīng)合組織（Organization for Economic Co-operation and Development，OECD）發(fā)起的國際學(xué)生評估項目（Programme for International Student Assessment，PISA）在全球的影響力呈不斷擴大之勢，參與成員自2000年的43個增加到2015年的70余個，其中包括許多非OECD成員方。PISA結(jié)果對各國教育體系的影響越來越凸顯。但是，當(dāng)政策制定者、權(quán)威智庫機構(gòu)、媒體等將PISA結(jié)果用于政策改革時，往往對評估結(jié)果進行各自利益驅(qū)動下的解讀與使用，這不僅導(dǎo)致PISA結(jié)果被濫用，還帶來了嚴重的誤導(dǎo)。本文從方法論的角度，探討PISA數(shù)據(jù)在利用與解讀的過程中需要注意之處。

一、PISA結(jié)果帶來的全球教育影響

在過去的60年里，國際大規(guī)模評估成為一項影響教育政策的重要手段。PISA是OECD成員方之間通過協(xié)作來測量這些國家或地區(qū)15歲學(xué)生在義務(wù)教育階段的學(xué)習(xí)成績、社會技能等表現(xiàn)的大型跨國教育項目。PISA在全球范圍的拓展，緣于教育發(fā)展的需要，更是基于政治決策對于科學(xué)和實證方法的需求，因為數(shù)字往往被認為是政府科學(xué)化管理的基礎(chǔ)。除此之外，數(shù)字的直觀性使得任何一個參與成員都可以“不受時空限制地和他國進行比較”，這相當(dāng)于有了一雙“全球眼”。盡管OECD表示PISA創(chuàng)辦的初衷是方便各國的教育政策制定者檢驗本國的教育質(zhì)量，即“PISA作為一種比較的手段，應(yīng)當(dāng)成為國際通行的標(biāo)桿，用于衡量各國教育體系的優(yōu)劣”[1]，但目前而言，PISA所起的作用遠不止于此。

自第一次結(jié)果發(fā)布，PISA就給世界教育系統(tǒng)帶來了極大的改變。如2001年引發(fā)德國“PISA震驚”（PISA Shock），引起了德國的大規(guī)模教育改革。類似影響不僅出現(xiàn)在德國，還擴展至日本、丹麥、芬蘭等國家?！懊恳淮蜳ISA結(jié)果發(fā)布，都會對政府、新聞界和教育界產(chǎn)生極大震撼”[2]。這句話在時刻保持危機感的美國亦得到了驗證。如2012年P(guān)ISA結(jié)果公布后，時任美國聯(lián)邦教育部長阿恩·鄧肯就呼吁高中教育采用PISA準則作為改革標(biāo)準，他認為當(dāng)時的美國教育已“停滯不前”。

媒體和政策決策者們也對PISA結(jié)果十分感興趣，尤其是成績排名（League Table）。這些排名指明了教育中所謂的“勝者”和“敗者”，勝者受到追捧而敗者則要面對各方的批評。芬蘭在前幾輪的PISA測試中均排名首位，大量的學(xué)者和政策制定者前往這個北歐島國做實地調(diào)查，以求發(fā)現(xiàn)芬蘭教育成功的秘密，各國大量的電影、書籍和指導(dǎo)材料都以芬蘭教育為榜樣。這一趨勢持續(xù)到2009年。我國上海第一次參與PISA就取得了閱讀、數(shù)學(xué)與科學(xué)3項第一的成績，遠超芬蘭。在2012年的PISA測試中上海再一次奪冠，同芬蘭一樣成為了國際教育界關(guān)注的焦點。此時，芬蘭媒體對本國PISA分數(shù)的下降進行了批判性報道，稱芬蘭的教育體系“近乎崩塌”，但實際上芬蘭的教育并沒有發(fā)生多大程度的改變。

上述可見，PISA在教育政策方面對各國產(chǎn)生了深刻影響，這就需要相關(guān)人士在發(fā)掘、運用和闡釋PISA數(shù)據(jù)時首先要深刻地認識到PISA數(shù)據(jù)的局限性以及這些局限可能帶來的負面影響。下文將從PISA數(shù)據(jù)的取樣過程、測量過程，以及每輪PISA之間的銜接性等方法論層面闡述PISA數(shù)據(jù)存在的局限，從而幫助人們更理性地看待PISA數(shù)據(jù)帶來的“全球效應(yīng)”。

二、PISA數(shù)據(jù)使用在方法論層面的局限

（一）樣本排除率過高

PISA參與人群取樣過程中的一大問題是“樣本排除率”（exclusion rates）高于國際標(biāo)準。通常來說，PISA參與人群的抽樣程序遵循非常嚴格的技術(shù)標(biāo)準，而且整個流程和最后的數(shù)據(jù)庫都將隨時接受調(diào)查，以確保滿足這些標(biāo)準。PISA的目標(biāo)人群是七年級及以上處于各國相應(yīng)教育系統(tǒng)中的15歲學(xué)生[3]。PISA通常使用兩階段分層法來選擇目標(biāo)群體，第一階段是根據(jù)所有學(xué)校人數(shù)比例分層選取至少150所學(xué)校，第二階段是從這150所學(xué)校中分別隨機選擇35名15歲的學(xué)生參與測試。在每個教育系統(tǒng)中，至少保證有4500名學(xué)生參加測試。這一抽樣過程的目標(biāo)是樣本能夠代表目標(biāo)人群——15歲在校生，而不是所有15歲人群。為了確保學(xué)生樣本代表目標(biāo)人群，有幾個針對學(xué)校和學(xué)生的排除標(biāo)準，如具有嚴重智力或功能殘障的學(xué)生、語言能力不足的學(xué)生，或者接納這些學(xué)生的學(xué)校。一般而言，樣本排除率應(yīng)保持在該年齡人群總?cè)藬?shù)的5%以下。[4]

盡管在一開始就考慮到PISA取樣的規(guī)模和范圍，但取樣過程仍然在很多國家出現(xiàn)了偏差。例如，有8個國家的樣本排除率超過了5%，其中盧森堡樣本排除率達8.4%。之所以將樣本排除率的最高值定為5%，就是要確保排除了不符合樣本的學(xué)生或?qū)W校之后，參與方的PISA平均成績的誤差低于±5分。因此，過高的樣本排除率可能會帶來超出預(yù)期的“數(shù)值扭曲”，導(dǎo)致不精準的推理和結(jié)論。因此，表格中所有的不符合采樣標(biāo)準的數(shù)據(jù)都應(yīng)該在腳注中加以說明。

實際上，關(guān)于樣本誤差的說明僅在PISA報告第一卷的附件中有記錄，主要表格中并沒有加以說明，而且再次使用該數(shù)據(jù)時，這些誤差更容易被一概而論[5]。有關(guān)樣本排除率的其他信息也可以在OECD發(fā)布的技術(shù)報告中找到，但是技術(shù)報告一般在PISA結(jié)果發(fā)布1年后才可獲得，比如2015年P(guān)ISA的技術(shù)報告需要在2017年年底才可以看到，具有滯后性。

（二）目標(biāo)人群不具備整體代表性

關(guān)于樣本抽樣的第二個問題涉及人口的整體覆蓋率，即樣本是否能夠有效地代表不同教育體系該年齡段的總?cè)藬?shù)。在目標(biāo)人群——15歲在校生中，PISA樣本具有很高的代表性，但2012年的65個參與方中，超過16個國家的目標(biāo)群體占所有15歲群體的比例不到80%，包括表現(xiàn)最好的中國上海。其中，哥斯達黎加目標(biāo)群體只占所有15歲群體的50%，而阿爾巴尼亞和越南則分別占55%和56%[6]。這表明所有15歲的人口中有將近一半的人口沒有被納入抽樣調(diào)查范圍。

雖然這不是一個普遍現(xiàn)象，但類似于“PISA結(jié)果可以代表15歲這一年齡段青年的整體學(xué)業(yè)水平”“這一結(jié)果將具有普遍的預(yù)測性”等論述在上述國家不具適切性。這些國家較低的目標(biāo)人群覆蓋率大大削弱了OECD在報告中的某些聲明的準確性，如PISA結(jié)果所預(yù)測的學(xué)生素養(yǎng)是人力資本的重要指標(biāo)，同時也影響到整個社會的發(fā)展與穩(wěn)定：各國人力資本的總體指標(biāo)需要涵蓋15歲輟學(xué)或已工作群體的情況。

（三）學(xué)生成績預(yù)測模型具有內(nèi)在設(shè)計誤區(qū)

PISA學(xué)生學(xué)業(yè)成就評估模型以“拉斯參數(shù)反應(yīng)理論”（Rasch Item Response Theory）為理論基礎(chǔ)，其假設(shè)前提之一是“對于所有測試人群，PISA測試項目具有均等效應(yīng)性”，即不同文化背景中的人群對PISA測試項目的難易程度具有同等接受能力[7]。值得注意的是，在實證調(diào)查中，這一假設(shè)并不成立，而且建立在這一假設(shè)之上的實際測試過程中出現(xiàn)的眾多背景性誤差會影響最終的排名結(jié)果，尤其是對于中等教育水平的國家。另有調(diào)查發(fā)現(xiàn)，這一模型具有極大的偏差——在一些地區(qū)偏差率甚至高達95%～99%。因此，不嚴謹?shù)募僭O(shè)造成最終的排名不夠精確，從而得出錯誤的結(jié)論，具有嚴重的誤導(dǎo)效應(yīng)。

與成績預(yù)測模型相關(guān)的另一變量就是學(xué)生的家庭背景因素。然而，對于一些復(fù)雜的社會性問題，受測學(xué)生并不能準確地理解，導(dǎo)致其答案與實際家庭背景情況有出入。此外，與PISA類似的國際評估研究表明，受測學(xué)生對問題的理解程度有限，導(dǎo)致學(xué)生與家長對同一問題的看法之間存在差異，而且這種差異在教育體系欠發(fā)達地區(qū)表現(xiàn)得更加明顯。

此外，PISA 2012出現(xiàn)了相關(guān)變量較大的數(shù)據(jù)缺失，如“在家里最常使用哪種語言”這個問題上，數(shù)據(jù)丟失達12%[8]。盡管所有社會科學(xué)數(shù)據(jù)都存在誤差，但其都有一定的標(biāo)準區(qū)間，相較之下PISA的數(shù)據(jù)缺失較大。

（四）“趨勢指標(biāo)”具有誤導(dǎo)性

最后一個方法論層面的局限性體現(xiàn)在對PISA結(jié)果的趨勢判斷方面。在每一輪的PISA中，都會有一科主測試科目，另兩科為輔。例如，在2009年，閱讀作為主測試科目，占PISA總測試時間的60%，剩余40%的時間則平均分配給數(shù)學(xué)和科學(xué)兩門科目。PISA的主要結(jié)果之一被稱作“趨勢指標(biāo)”（trend indicators），以顯示隨著時間的變化，PISA測試結(jié)果會發(fā)生怎樣的改變，并預(yù)測PISA的未來發(fā)展趨勢。這對當(dāng)前國際范圍流行的新自由主義教育改革具有指導(dǎo)作用，因而被各國政策制定者所關(guān)注。為了達到趨勢指導(dǎo)作用，PISA測試的一部分選題被嚴格保密，并未對社會公開，并在下一輪測試中再次出現(xiàn)。這些選題作為各輪測試之間的橋梁，對數(shù)據(jù)的統(tǒng)計和趨勢測量起著重要的作用。例如，在2012年的110個數(shù)學(xué)項目中，有35個與2009年相同，48個與2006年相同，84個與2003年相同。其中，數(shù)學(xué)是2012年和2003年的主測試領(lǐng)域，因此這兩輪數(shù)學(xué)測試的選題重復(fù)度較高。實際上，相鄰兩輪PISA之間的測試題目具有關(guān)聯(lián)性。例如，2012年P(guān)ISA數(shù)學(xué)測試與2009年P(guān)ISA數(shù)學(xué)測試相關(guān)聯(lián)。通過這種方式，2012年的學(xué)生PISA成績與2009年相關(guān)聯(lián)，2009年與2006年相關(guān)聯(lián)，以此類推。然而，人為的或試題選擇過程出現(xiàn)的各種問題，導(dǎo)致關(guān)聯(lián)過程中存在固有的錯誤，簡稱為“關(guān)聯(lián)性錯誤”（Link Error）。就選題而言，盡管各輪測試之間存在選題重復(fù)性，尤其是主測試項相同的年份，但每輪之間的選擇重復(fù)率在某些科目中很低，大大影響著對PISA測量趨勢的預(yù)測與判斷。例如，在2000年和2009年的主測量科目科學(xué)中，只有5個選題相同。

另外，數(shù)學(xué)和科學(xué)在成為主測試科目之前，其框架未得到有效開發(fā)，這也自然影響之后的項目框架的質(zhì)量。雖然目前的PISA技術(shù)報告都會明確這些趨勢預(yù)測的局限性，但很多文章對這些問題避而不談，這容易使研究人員忽略PISA測試的技術(shù)問題，放任沒有數(shù)據(jù)支撐的教育發(fā)展趨勢判斷干預(yù)教育發(fā)展。

三、結(jié)語

那些沒有全國教育評估體系的國家已經(jīng)逐步參照PISA建立了標(biāo)準的國際規(guī)范和技術(shù)體系，以了解自身的教育發(fā)展水平。PISA已然成為一個有價值的教育測量工具，但其內(nèi)在的缺陷和使用過程中出現(xiàn)的問題在近些年受到很多學(xué)者的批判。PISA在全球范圍樹立起的標(biāo)桿性地位也處于風(fēng)口浪尖，因此要充分利用PISA數(shù)據(jù)的價值，就必須對其內(nèi)在的局限有全面的了解。對于PISA的開發(fā)機構(gòu)OECD來說，在使用和解釋PISA數(shù)據(jù)的時候，需更加謹慎。下文提出兩條建議，以呼吁OECD對PISA結(jié)果進行報告時更加明確地表明其局限。

第一，雖然PISA技術(shù)報告通常會向讀者說明數(shù)據(jù)的局限性，但是這些局限或注意事項通常被埋沒在大量其他細節(jié)和信息中。閱讀PISA報告和手冊的人們在面對大量表格、圖形、文本時很容易忽略有關(guān)其局限性的描述。因此，筆者建議在PISA報告中專門設(shè)置相關(guān)章節(jié)闡述項目存在的局限性，包括更詳細的解讀、更多的鏈接、相關(guān)訪談資料等。這將使讀者能夠更有效地了解與PISA方法和結(jié)果相關(guān)的局限，以幫助政策制定者和其他利益相關(guān)者在研究過程中更加謹慎地使用相關(guān)數(shù)據(jù)。

第二，OECD發(fā)布PISA技術(shù)報告的時間應(yīng)與PISA結(jié)果的發(fā)布時間同步。相比之下，國際教育成就評價協(xié)會（International Association for the Evaluation of Educational Achievement，IEA）在其開展的國際學(xué)業(yè)成就研究結(jié)果公布后的一個月內(nèi)就提供了技術(shù)報告。鑒于每一輪PISA在技術(shù)層面都有創(chuàng)新，因此對于研究人員來說，在不知曉技術(shù)的情況下單純對PISA結(jié)果進行闡釋和使用，會顯得很空洞。

參考文獻：

[1]OECD. PISA 2009 Results： What Makes a School Successful？—Resources， Policies and Practices[EB/OL].http：//dx.doi.org/10.1787/9789264091559-en，2018-10-12.

[2]Hopmann， S.， Brinek， G.， Retzl， M. （Eds.）. PISA According to PISA： Does PISA Keep What It Promises[M].Vienna， Austria： Lit Verlag，2007：1.

[3][4]OECD. PISA 2009 Technical Report[R]. Paris： Author， 2012.

[5][6]OECD. PISA 2012 Results： What Students Know and Can Do[R]. Paris： Author， 2014.

[7]Adams， R. J.， Wu， M. L. The Mixed-coefficients Multinomial Logit Model： A Generalized Form of the Rasch Model[A]. In C. H. Carstensen （Ed.）， Multivariate and Mixture Distribution Rasch Models[M].New York： Springer， 2007：57-75.

[8]OECD. PISA 2012 International Database[EB/OL]. http：//pisa2012.acer.edu.au/downloads.php，2018-07-16.

編輯 朱婷婷 校對 許方舟