• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      論PISA結(jié)果在方法論層面的使用誤區(qū)

      2019-03-27 08:46:40呂云震
      世界教育信息 2019年4期
      關(guān)鍵詞:經(jīng)合組織方法論誤區(qū)

      呂云震

      摘 要:隨著PISA近年在全球范圍的風(fēng)靡,各國政策制定者紛紛把PISA成績視為推行教育改革的重要參照。政策制定者對PISA結(jié)果進行了去地方化和去情境化解讀、非嚴謹性因果推論,以及基于政治目的的政策借鑒等誤導(dǎo)。文章基于PISA數(shù)據(jù)在方法論層面的使用誤區(qū)進行了深度挖掘,主要從樣本排除率過高、目標(biāo)人群不具備整體代表性、學(xué)生成績預(yù)測模型具有內(nèi)在設(shè)計誤區(qū)、“趨勢指標(biāo)”具有誤導(dǎo)性這四個方面討論了PISA結(jié)果在方法論層面的局限性,以促使相關(guān)人士在解釋和使用PISA結(jié)果時更加謹慎。同時,文章也呼吁經(jīng)合組織的PISA結(jié)果報告更加明確地表明其局限性。

      關(guān)鍵詞:經(jīng)合組織;PISA;數(shù)據(jù)利用;方法論;誤區(qū)

      近些年,經(jīng)合組織(Organization for Economic Co-operation and Development,OECD)發(fā)起的國際學(xué)生評估項目(Programme for International Student Assessment,PISA)在全球的影響力呈不斷擴大之勢,參與成員自2000年的43個增加到2015年的70余個,其中包括許多非OECD成員方。PISA結(jié)果對各國教育體系的影響越來越凸顯。但是,當(dāng)政策制定者、權(quán)威智庫機構(gòu)、媒體等將PISA結(jié)果用于政策改革時,往往對評估結(jié)果進行各自利益驅(qū)動下的解讀與使用,這不僅導(dǎo)致PISA結(jié)果被濫用,還帶來了嚴重的誤導(dǎo)。本文從方法論的角度,探討PISA數(shù)據(jù)在利用與解讀的過程中需要注意之處。

      一、PISA結(jié)果帶來的全球教育影響

      在過去的60年里,國際大規(guī)模評估成為一項影響教育政策的重要手段。PISA是OECD成員方之間通過協(xié)作來測量這些國家或地區(qū)15歲學(xué)生在義務(wù)教育階段的學(xué)習(xí)成績、社會技能等表現(xiàn)的大型跨國教育項目。PISA在全球范圍的拓展,緣于教育發(fā)展的需要,更是基于政治決策對于科學(xué)和實證方法的需求,因為數(shù)字往往被認為是政府科學(xué)化管理的基礎(chǔ)。除此之外,數(shù)字的直觀性使得任何一個參與成員都可以“不受時空限制地和他國進行比較”,這相當(dāng)于有了一雙“全球眼”。盡管OECD表示PISA創(chuàng)辦的初衷是方便各國的教育政策制定者檢驗本國的教育質(zhì)量,即“PISA作為一種比較的手段,應(yīng)當(dāng)成為國際通行的標(biāo)桿,用于衡量各國教育體系的優(yōu)劣”[1],但目前而言,PISA所起的作用遠不止于此。

      自第一次結(jié)果發(fā)布,PISA就給世界教育系統(tǒng)帶來了極大的改變。如2001年引發(fā)德國“PISA震驚”(PISA Shock),引起了德國的大規(guī)模教育改革。類似影響不僅出現(xiàn)在德國,還擴展至日本、丹麥、芬蘭等國家?!懊恳淮蜳ISA結(jié)果發(fā)布,都會對政府、新聞界和教育界產(chǎn)生極大震撼”[2]。這句話在時刻保持危機感的美國亦得到了驗證。如2012年P(guān)ISA結(jié)果公布后,時任美國聯(lián)邦教育部長阿恩·鄧肯就呼吁高中教育采用PISA準則作為改革標(biāo)準,他認為當(dāng)時的美國教育已“停滯不前”。

      媒體和政策決策者們也對PISA結(jié)果十分感興趣,尤其是成績排名(League Table)。這些排名指明了教育中所謂的“勝者”和“敗者”,勝者受到追捧而敗者則要面對各方的批評。芬蘭在前幾輪的PISA測試中均排名首位,大量的學(xué)者和政策制定者前往這個北歐島國做實地調(diào)查,以求發(fā)現(xiàn)芬蘭教育成功的秘密,各國大量的電影、書籍和指導(dǎo)材料都以芬蘭教育為榜樣。這一趨勢持續(xù)到2009年。我國上海第一次參與PISA就取得了閱讀、數(shù)學(xué)與科學(xué)3項第一的成績,遠超芬蘭。在2012年的PISA測試中上海再一次奪冠,同芬蘭一樣成為了國際教育界關(guān)注的焦點。此時,芬蘭媒體對本國PISA分數(shù)的下降進行了批判性報道,稱芬蘭的教育體系“近乎崩塌”,但實際上芬蘭的教育并沒有發(fā)生多大程度的改變。

      上述可見,PISA在教育政策方面對各國產(chǎn)生了深刻影響,這就需要相關(guān)人士在發(fā)掘、運用和闡釋PISA數(shù)據(jù)時首先要深刻地認識到PISA數(shù)據(jù)的局限性以及這些局限可能帶來的負面影響。下文將從PISA數(shù)據(jù)的取樣過程、測量過程,以及每輪PISA之間的銜接性等方法論層面闡述PISA數(shù)據(jù)存在的局限,從而幫助人們更理性地看待PISA數(shù)據(jù)帶來的“全球效應(yīng)”。

      二、PISA數(shù)據(jù)使用在方法論層面的局限

      (一)樣本排除率過高

      PISA參與人群取樣過程中的一大問題是“樣本排除率”(exclusion rates)高于國際標(biāo)準。通常來說,PISA參與人群的抽樣程序遵循非常嚴格的技術(shù)標(biāo)準,而且整個流程和最后的數(shù)據(jù)庫都將隨時接受調(diào)查,以確保滿足這些標(biāo)準。PISA的目標(biāo)人群是七年級及以上處于各國相應(yīng)教育系統(tǒng)中的15歲學(xué)生[3]。PISA通常使用兩階段分層法來選擇目標(biāo)群體,第一階段是根據(jù)所有學(xué)校人數(shù)比例分層選取至少150所學(xué)校,第二階段是從這150所學(xué)校中分別隨機選擇35名15歲的學(xué)生參與測試。在每個教育系統(tǒng)中,至少保證有4500名學(xué)生參加測試。這一抽樣過程的目標(biāo)是樣本能夠代表目標(biāo)人群——15歲在校生,而不是所有15歲人群。為了確保學(xué)生樣本代表目標(biāo)人群,有幾個針對學(xué)校和學(xué)生的排除標(biāo)準,如具有嚴重智力或功能殘障的學(xué)生、語言能力不足的學(xué)生,或者接納這些學(xué)生的學(xué)校。一般而言,樣本排除率應(yīng)保持在該年齡人群總?cè)藬?shù)的5%以下。[4]

      盡管在一開始就考慮到PISA取樣的規(guī)模和范圍,但取樣過程仍然在很多國家出現(xiàn)了偏差。例如,有8個國家的樣本排除率超過了5%,其中盧森堡樣本排除率達8.4%。之所以將樣本排除率的最高值定為5%,就是要確保排除了不符合樣本的學(xué)生或?qū)W校之后,參與方的PISA平均成績的誤差低于±5分。因此,過高的樣本排除率可能會帶來超出預(yù)期的“數(shù)值扭曲”,導(dǎo)致不精準的推理和結(jié)論。因此,表格中所有的不符合采樣標(biāo)準的數(shù)據(jù)都應(yīng)該在腳注中加以說明。

      實際上,關(guān)于樣本誤差的說明僅在PISA報告第一卷的附件中有記錄,主要表格中并沒有加以說明,而且再次使用該數(shù)據(jù)時,這些誤差更容易被一概而論[5]。有關(guān)樣本排除率的其他信息也可以在OECD發(fā)布的技術(shù)報告中找到,但是技術(shù)報告一般在PISA結(jié)果發(fā)布1年后才可獲得,比如2015年P(guān)ISA的技術(shù)報告需要在2017年年底才可以看到,具有滯后性。

      (二)目標(biāo)人群不具備整體代表性

      關(guān)于樣本抽樣的第二個問題涉及人口的整體覆蓋率,即樣本是否能夠有效地代表不同教育體系該年齡段的總?cè)藬?shù)。在目標(biāo)人群——15歲在校生中,PISA樣本具有很高的代表性,但2012年的65個參與方中,超過16個國家的目標(biāo)群體占所有15歲群體的比例不到80%,包括表現(xiàn)最好的中國上海。其中,哥斯達黎加目標(biāo)群體只占所有15歲群體的50%,而阿爾巴尼亞和越南則分別占55%和56%[6]。這表明所有15歲的人口中有將近一半的人口沒有被納入抽樣調(diào)查范圍。

      雖然這不是一個普遍現(xiàn)象,但類似于“PISA結(jié)果可以代表15歲這一年齡段青年的整體學(xué)業(yè)水平”“這一結(jié)果將具有普遍的預(yù)測性”等論述在上述國家不具適切性。這些國家較低的目標(biāo)人群覆蓋率大大削弱了OECD在報告中的某些聲明的準確性,如PISA結(jié)果所預(yù)測的學(xué)生素養(yǎng)是人力資本的重要指標(biāo),同時也影響到整個社會的發(fā)展與穩(wěn)定:各國人力資本的總體指標(biāo)需要涵蓋15歲輟學(xué)或已工作群體的情況。

      (三)學(xué)生成績預(yù)測模型具有內(nèi)在設(shè)計誤區(qū)

      PISA學(xué)生學(xué)業(yè)成就評估模型以“拉斯參數(shù)反應(yīng)理論”(Rasch Item Response Theory)為理論基礎(chǔ),其假設(shè)前提之一是“對于所有測試人群,PISA測試項目具有均等效應(yīng)性”,即不同文化背景中的人群對PISA測試項目的難易程度具有同等接受能力[7]。值得注意的是,在實證調(diào)查中,這一假設(shè)并不成立,而且建立在這一假設(shè)之上的實際測試過程中出現(xiàn)的眾多背景性誤差會影響最終的排名結(jié)果,尤其是對于中等教育水平的國家。另有調(diào)查發(fā)現(xiàn),這一模型具有極大的偏差——在一些地區(qū)偏差率甚至高達95%~99%。因此,不嚴謹?shù)募僭O(shè)造成最終的排名不夠精確,從而得出錯誤的結(jié)論,具有嚴重的誤導(dǎo)效應(yīng)。

      與成績預(yù)測模型相關(guān)的另一變量就是學(xué)生的家庭背景因素。然而,對于一些復(fù)雜的社會性問題,受測學(xué)生并不能準確地理解,導(dǎo)致其答案與實際家庭背景情況有出入。此外,與PISA類似的國際評估研究表明,受測學(xué)生對問題的理解程度有限,導(dǎo)致學(xué)生與家長對同一問題的看法之間存在差異,而且這種差異在教育體系欠發(fā)達地區(qū)表現(xiàn)得更加明顯。

      此外,PISA 2012出現(xiàn)了相關(guān)變量較大的數(shù)據(jù)缺失,如“在家里最常使用哪種語言”這個問題上,數(shù)據(jù)丟失達12%[8]。盡管所有社會科學(xué)數(shù)據(jù)都存在誤差,但其都有一定的標(biāo)準區(qū)間,相較之下PISA的數(shù)據(jù)缺失較大。

      (四)“趨勢指標(biāo)”具有誤導(dǎo)性

      最后一個方法論層面的局限性體現(xiàn)在對PISA結(jié)果的趨勢判斷方面。在每一輪的PISA中,都會有一科主測試科目,另兩科為輔。例如,在2009年,閱讀作為主測試科目,占PISA總測試時間的60%,剩余40%的時間則平均分配給數(shù)學(xué)和科學(xué)兩門科目。PISA的主要結(jié)果之一被稱作“趨勢指標(biāo)”(trend indicators),以顯示隨著時間的變化,PISA測試結(jié)果會發(fā)生怎樣的改變,并預(yù)測PISA的未來發(fā)展趨勢。這對當(dāng)前國際范圍流行的新自由主義教育改革具有指導(dǎo)作用,因而被各國政策制定者所關(guān)注。為了達到趨勢指導(dǎo)作用,PISA測試的一部分選題被嚴格保密,并未對社會公開,并在下一輪測試中再次出現(xiàn)。這些選題作為各輪測試之間的橋梁,對數(shù)據(jù)的統(tǒng)計和趨勢測量起著重要的作用。例如,在2012年的110個數(shù)學(xué)項目中,有35個與2009年相同,48個與2006年相同,84個與2003年相同。其中,數(shù)學(xué)是2012年和2003年的主測試領(lǐng)域,因此這兩輪數(shù)學(xué)測試的選題重復(fù)度較高。實際上,相鄰兩輪PISA之間的測試題目具有關(guān)聯(lián)性。例如,2012年P(guān)ISA數(shù)學(xué)測試與2009年P(guān)ISA數(shù)學(xué)測試相關(guān)聯(lián)。通過這種方式,2012年的學(xué)生PISA成績與2009年相關(guān)聯(lián),2009年與2006年相關(guān)聯(lián),以此類推。然而,人為的或試題選擇過程出現(xiàn)的各種問題,導(dǎo)致關(guān)聯(lián)過程中存在固有的錯誤,簡稱為“關(guān)聯(lián)性錯誤”(Link Error)。就選題而言,盡管各輪測試之間存在選題重復(fù)性,尤其是主測試項相同的年份,但每輪之間的選擇重復(fù)率在某些科目中很低,大大影響著對PISA測量趨勢的預(yù)測與判斷。例如,在2000年和2009年的主測量科目科學(xué)中,只有5個選題相同。

      另外,數(shù)學(xué)和科學(xué)在成為主測試科目之前,其框架未得到有效開發(fā),這也自然影響之后的項目框架的質(zhì)量。雖然目前的PISA技術(shù)報告都會明確這些趨勢預(yù)測的局限性,但很多文章對這些問題避而不談,這容易使研究人員忽略PISA測試的技術(shù)問題,放任沒有數(shù)據(jù)支撐的教育發(fā)展趨勢判斷干預(yù)教育發(fā)展。

      三、結(jié)語

      那些沒有全國教育評估體系的國家已經(jīng)逐步參照PISA建立了標(biāo)準的國際規(guī)范和技術(shù)體系,以了解自身的教育發(fā)展水平。PISA已然成為一個有價值的教育測量工具,但其內(nèi)在的缺陷和使用過程中出現(xiàn)的問題在近些年受到很多學(xué)者的批判。PISA在全球范圍樹立起的標(biāo)桿性地位也處于風(fēng)口浪尖,因此要充分利用PISA數(shù)據(jù)的價值,就必須對其內(nèi)在的局限有全面的了解。對于PISA的開發(fā)機構(gòu)OECD來說,在使用和解釋PISA數(shù)據(jù)的時候,需更加謹慎。下文提出兩條建議,以呼吁OECD對PISA結(jié)果進行報告時更加明確地表明其局限。

      第一,雖然PISA技術(shù)報告通常會向讀者說明數(shù)據(jù)的局限性,但是這些局限或注意事項通常被埋沒在大量其他細節(jié)和信息中。閱讀PISA報告和手冊的人們在面對大量表格、圖形、文本時很容易忽略有關(guān)其局限性的描述。因此,筆者建議在PISA報告中專門設(shè)置相關(guān)章節(jié)闡述項目存在的局限性,包括更詳細的解讀、更多的鏈接、相關(guān)訪談資料等。這將使讀者能夠更有效地了解與PISA方法和結(jié)果相關(guān)的局限,以幫助政策制定者和其他利益相關(guān)者在研究過程中更加謹慎地使用相關(guān)數(shù)據(jù)。

      第二,OECD發(fā)布PISA技術(shù)報告的時間應(yīng)與PISA結(jié)果的發(fā)布時間同步。相比之下,國際教育成就評價協(xié)會(International Association for the Evaluation of Educational Achievement,IEA)在其開展的國際學(xué)業(yè)成就研究結(jié)果公布后的一個月內(nèi)就提供了技術(shù)報告。鑒于每一輪PISA在技術(shù)層面都有創(chuàng)新,因此對于研究人員來說,在不知曉技術(shù)的情況下單純對PISA結(jié)果進行闡釋和使用,會顯得很空洞。

      參考文獻:

      [1]OECD. PISA 2009 Results: What Makes a School Successful?—Resources, Policies and Practices[EB/OL].http://dx.doi.org/10.1787/9789264091559-en,2018-10-12.

      [2]Hopmann, S., Brinek, G., Retzl, M. (Eds.). PISA According to PISA: Does PISA Keep What It Promises[M].Vienna, Austria: Lit Verlag,2007:1.

      [3][4]OECD. PISA 2009 Technical Report[R]. Paris: Author, 2012.

      [5][6]OECD. PISA 2012 Results: What Students Know and Can Do[R]. Paris: Author, 2014.

      [7]Adams, R. J., Wu, M. L. The Mixed-coefficients Multinomial Logit Model: A Generalized Form of the Rasch Model[A]. In C. H. Carstensen (Ed.), Multivariate and Mixture Distribution Rasch Models[M].New York: Springer, 2007:57-75.

      [8]OECD. PISA 2012 International Database[EB/OL]. http://pisa2012.acer.edu.au/downloads.php,2018-07-16.

      編輯 朱婷婷 校對 許方舟

      猜你喜歡
      經(jīng)合組織方法論誤區(qū)
      經(jīng)合組織:社交和情感、實踐和身體技能必不可少
      教書育人(2020年11期)2020-11-26 06:00:18
      漢學(xué)方法論值得關(guān)注
      方法論視角下的制定法解釋
      法律方法(2019年4期)2019-11-16 01:07:02
      冬季洗澡的誤區(qū)
      海峽姐妹(2019年2期)2019-03-23 02:56:34
      法本位的方法論闡釋
      法律方法(2018年2期)2018-07-13 03:22:02
      三角恒等變換中的誤區(qū)警示
      2018年理財,要警惕這些誤區(qū)
      海峽姐妹(2018年2期)2018-04-12 07:13:37
      UAF的方法論意義
      冬病夏治走出誤區(qū)才有效
      華人時刊(2016年13期)2016-04-05 05:50:15
      韓國人年均工作時間2124小時 為德國人1.6倍
      祖國(2015年21期)2015-12-02 22:33:00
      罗源县| 锡林郭勒盟| 思茅市| 古浪县| 措美县| 东光县| 北京市| 呼和浩特市| 青浦区| 绥宁县| 灵台县| 临武县| 巴楚县| 南阳市| 鄂伦春自治旗| 梁平县| 镶黄旗| 当涂县| 岢岚县| 西乌珠穆沁旗| 吉林市| 松潘县| 忻城县| 珲春市| 大悟县| 冷水江市| 璧山县| 泊头市| 乐昌市| 清徐县| 大姚县| 吉安县| 枣阳市| 屏南县| 高雄市| 庄河市| 鄢陵县| 惠水县| 荃湾区| 汤原县| 左云县|