蔣林浩 沈玉翠 張優(yōu)良 黃俊平 楊 洋
比較與借鑒
澳大利亞卓越科研評(píng)價(jià)(ERA)實(shí)踐及啟示
蔣林浩 沈玉翠 張優(yōu)良 黃俊平 楊 洋
在我國(guó)倡導(dǎo)“破五唯”的背景下,中國(guó)科研評(píng)價(jià)體系如何重構(gòu),成為亟待解決的問(wèn)題。近年來(lái),澳大利亞政府分階段探索構(gòu)建了卓越科研評(píng)價(jià)(ERA)。該評(píng)價(jià)體系的特征包括:引入科研社會(huì)互動(dòng)與影響力評(píng)價(jià)機(jī)制、持續(xù)關(guān)注學(xué)科差異和非傳統(tǒng)研究成果、進(jìn)一步強(qiáng)調(diào)研究質(zhì)量和代表作制度、評(píng)價(jià)結(jié)果與科研撥款逐步脫鉤。中國(guó)推動(dòng)新時(shí)代教育評(píng)價(jià)改革,可以借鑒澳大利亞的實(shí)踐經(jīng)驗(yàn),注重學(xué)術(shù)成果的應(yīng)用價(jià)值,為不同學(xué)科制定多樣化的評(píng)價(jià)指標(biāo),建立質(zhì)量導(dǎo)向的評(píng)價(jià)體系,避免科研評(píng)價(jià)的不良影響。
“破五唯”;澳大利亞卓越科研評(píng)價(jià);非傳統(tǒng)科研成果;質(zhì)量導(dǎo)向
改革開(kāi)放之后,中國(guó)經(jīng)濟(jì)高速增長(zhǎng)四十余年,研發(fā)投資總量位居世界前列,擁有世界上規(guī)模最大的科技人才隊(duì)伍,已經(jīng)成為具有重要影響力的科技大國(guó)。國(guó)際著名教育學(xué)家西蒙?馬金森(Simon Marginson)預(yù)測(cè),按照目前的發(fā)展勢(shì)頭,中國(guó)的研發(fā)投資規(guī)模和學(xué)術(shù)論文發(fā)表總量將在2030年代達(dá)到歐洲和美國(guó)的總和[1]。中國(guó)近年來(lái)取得的科研成就毋庸贅言,但是不能忽視存在的問(wèn)題,比如論文影響力不足,引用率偏低;缺乏對(duì)于本土問(wèn)題的關(guān)懷,并沒(méi)有解決現(xiàn)實(shí)問(wèn)題等[2]?!犊萍既?qǐng)?bào)》2010年就曾刊文指出,產(chǎn)學(xué)研脫節(jié)現(xiàn)象源于中國(guó)科研評(píng)價(jià)導(dǎo)向問(wèn)題,既有的評(píng)價(jià)體系既不利于產(chǎn)生原始創(chuàng)新成果,又不能促進(jìn)產(chǎn)業(yè)發(fā)展[3]。2016年,在全國(guó)科技創(chuàng)新大會(huì)、兩院院士大會(huì)、中國(guó)科協(xié)第九次全國(guó)代表大會(huì)上,習(xí)近平總書(shū)記提出要改革科技評(píng)價(jià)制度,建立分類評(píng)價(jià)體系,正確評(píng)價(jià)科技創(chuàng)新成果的科學(xué)價(jià)值、技術(shù)價(jià)值、經(jīng)濟(jì)價(jià)值、社會(huì)價(jià)值、文化價(jià)值[4]。有什么樣的評(píng)價(jià)指揮棒,就有什么樣的辦學(xué)導(dǎo)向。2020年10月,中共中央、國(guó)務(wù)院印發(fā)了《深化新時(shí)代教育評(píng)價(jià)改革總體方案》,強(qiáng)調(diào)扭轉(zhuǎn)不科學(xué)的教育評(píng)價(jià)導(dǎo)向,堅(jiān)決克服唯分?jǐn)?shù)、唯升學(xué)、唯文憑、唯論文、唯帽子的頑瘴痼疾,提高教育治理能力和水平?!拔⊿CI”“SCI至上”為導(dǎo)向的科研評(píng)價(jià)體系使大量的科研成果外流,對(duì)我國(guó)科研創(chuàng)新發(fā)展產(chǎn)生極其不良的影響[5]。高??蒲性u(píng)價(jià)改革進(jìn)入關(guān)鍵期,如何建立科學(xué)的科研評(píng)價(jià)體系,正確引導(dǎo)高校以及教師的科研行為,發(fā)揮科技創(chuàng)新對(duì)于社會(huì)發(fā)展的最大效用,成為亟待解決的關(guān)鍵問(wèn)題。
其實(shí),如何恰當(dāng)?shù)卦u(píng)價(jià)科研活動(dòng),并發(fā)揮政府對(duì)于高??蒲谢顒?dòng)的有效影響,是世界各國(guó)普遍面對(duì)的難題。各國(guó)政府普遍構(gòu)建科研評(píng)價(jià)體系,形成了弱式介入型、強(qiáng)式介入型、弱式競(jìng)爭(zhēng)型和強(qiáng)式競(jìng)爭(zhēng)型等類型的評(píng)價(jià)系統(tǒng)[6]。卓越科研評(píng)價(jià)體系(Excellence in Research for Australia,ERA)作為競(jìng)爭(zhēng)型科研評(píng)價(jià)體系的典型,是澳大利亞借鑒英國(guó)和新西蘭等國(guó)家的經(jīng)驗(yàn),并結(jié)合本土的實(shí)際,分階段構(gòu)建的以政府為主導(dǎo)的科研評(píng)價(jià)制度。澳大利亞在20世紀(jì)80年代末確立了基于科研量(Research Quantum)的績(jī)效評(píng)價(jià)方式。1995年實(shí)施了涵蓋科研投入和科研產(chǎn)出等指標(biāo)的綜合指數(shù)(Composite Index),這加劇了大學(xué)追求論文發(fā)表數(shù)量的現(xiàn)象。為了凸顯科研成果的質(zhì)量和影響力,澳大利亞在2004年建立了科研質(zhì)量框架評(píng)價(jià)(Research Quality Framework,RQF),但該框架因政府變更等原因并未推行。2008年,澳大利亞政府推行卓越科研評(píng)價(jià),對(duì)科研質(zhì)量框架評(píng)價(jià)的評(píng)價(jià)方法進(jìn)行了優(yōu)化。2018年卓越科研評(píng)價(jià)進(jìn)一步引入了社會(huì)互動(dòng)與影響力(Engagement and Impact,EI)評(píng)價(jià),凸顯了大學(xué)科研的應(yīng)用價(jià)值。
從澳大利亞科研評(píng)價(jià)的改革歷程來(lái)看,其評(píng)價(jià)導(dǎo)向經(jīng)歷了從論文數(shù)量導(dǎo)向到質(zhì)量導(dǎo)向,再轉(zhuǎn)向應(yīng)用導(dǎo)向的發(fā)展過(guò)程,應(yīng)用導(dǎo)向是2018年EI改革的重點(diǎn),也是澳大利亞對(duì)高??蒲性u(píng)價(jià)的新認(rèn)識(shí),這對(duì)我國(guó)當(dāng)前完善科研評(píng)價(jià)體系有重要的借鑒意義。當(dāng)前,我國(guó)大力倡導(dǎo)“破五唯”,迫切需要確立科學(xué)的評(píng)價(jià)標(biāo)準(zhǔn),構(gòu)建系統(tǒng)完備的科研評(píng)價(jià)體系。我國(guó)的科研評(píng)價(jià)體系改革也正經(jīng)歷從數(shù)量導(dǎo)向到質(zhì)量導(dǎo)向的轉(zhuǎn)變,但在價(jià)值導(dǎo)向或應(yīng)用導(dǎo)向方面的改革意識(shí)和力度仍需加強(qiáng)?;诖耍疚牧D全面介紹澳大利亞卓越科研評(píng)價(jià)(ERA2018),深入剖析該評(píng)價(jià)體系的特征,為新時(shí)期優(yōu)化中國(guó)學(xué)科和科研評(píng)價(jià)體系提供借鑒。
由于澳大利亞科研評(píng)價(jià)的方式在持續(xù)地改革和發(fā)展,其評(píng)價(jià)周期也隨著改革難度而變化。2018年的卓越科研評(píng)價(jià)是最新一輪評(píng)價(jià),該輪評(píng)價(jià)由澳大利亞科學(xué)研究委員會(huì)(Australian Research Council,ARC)組織進(jìn)行,評(píng)價(jià)范圍涵蓋42所高校,2603個(gè)評(píng)價(jià)單元(Unit of Evaluation,UoE),76261名研究人員。卓越科研評(píng)價(jià)收集了所有符合條件的高等教育研究機(jī)構(gòu)在考核期內(nèi)開(kāi)展的研究活動(dòng)的數(shù)據(jù),考察了每所大學(xué)每個(gè)學(xué)科的科研表現(xiàn)。該評(píng)價(jià)致力于進(jìn)一步開(kāi)發(fā)和完善評(píng)價(jià)框架,以確保為政府、產(chǎn)業(yè)、商業(yè)和社區(qū)提供高質(zhì)量的科研;盤點(diǎn)澳大利亞各個(gè)高校的學(xué)科實(shí)力;明確研究績(jī)效的卓越標(biāo)準(zhǔn);尋找未來(lái)的研究方向;在國(guó)內(nèi)或者國(guó)際范圍比較澳大利亞所有學(xué)科領(lǐng)域的水平[7]。
卓越科研評(píng)價(jià)由數(shù)據(jù)提交、專家分配、評(píng)價(jià)審核和報(bào)告形成等階段組成。①數(shù)據(jù)提交階段。各大學(xué)按要求提交數(shù)據(jù)到IT系統(tǒng)SEER(the System to Evaluate the Excellence of Research)。澳大利亞科學(xué)研究委員會(huì)對(duì)數(shù)據(jù)進(jìn)行審查,甄別數(shù)據(jù)填寫(xiě)存在問(wèn)題的大學(xué),要求其更正或提供解釋。卓越科研評(píng)價(jià)的評(píng)價(jià)單元是按研究領(lǐng)域代碼(Fields of Research Codes,F(xiàn)oR)劃分的不同學(xué)科。按照澳大利亞和新西蘭標(biāo)準(zhǔn)研究分類(The Australian and New Zealand Standard Research Classification,ANZSRC),研究領(lǐng)域代碼包括兩位代碼(即ANZSRC第一等級(jí),比如01數(shù)學(xué)科學(xué))、四位代碼(即ANZSRC第二等級(jí),比如0101基礎(chǔ)數(shù)學(xué))、六位代碼(即ANZSRC的第三等級(jí),比如010101代數(shù)與數(shù)論)。由于卓越科研評(píng)價(jià)是基于學(xué)科的研究評(píng)價(jià)活動(dòng),并沒(méi)有將跨學(xué)科和多學(xué)科領(lǐng)域作為單獨(dú)的領(lǐng)域進(jìn)行評(píng)價(jià),但是研究者可以將研究成果按比例分配到3個(gè)二級(jí)研究領(lǐng)域中供專家進(jìn)行評(píng)價(jià)。②專家分配階段。澳大利亞科學(xué)研究委員會(huì)收集完數(shù)據(jù)后,向卓越科研評(píng)價(jià)的研究評(píng)價(jià)委員會(huì)分配評(píng)價(jià)單元。卓越科研評(píng)價(jià)2018年研究評(píng)價(jià)委員會(huì)(Research Evaluation Committee,REC)由150名來(lái)自澳大利亞和海外的杰出研究人員組成,分為8個(gè)研究評(píng)價(jià)委員會(huì),包括生物與生物技術(shù)科學(xué)、人文與創(chuàng)意藝術(shù)、經(jīng)濟(jì)與商業(yè)、教育與人類社會(huì)、工程與環(huán)境科學(xué)、數(shù)學(xué)與信息和計(jì)算科學(xué)、醫(yī)學(xué)與健康科學(xué)、物理與化學(xué)和地球科學(xué)。研究評(píng)價(jià)委員會(huì)從各院校提交的專家?guī)熘刑暨x成員和主席,在挑選過(guò)程中充分考慮專家對(duì)學(xué)科的貢獻(xiàn)。研究評(píng)價(jià)委員會(huì)主席或代理主席為每個(gè)評(píng)價(jià)單元分配成員。在分配任務(wù)時(shí),會(huì)考慮其專業(yè)知識(shí)、個(gè)人興趣和工作量,分配過(guò)程通過(guò)SEER系統(tǒng)完成。③評(píng)價(jià)審核階段。該階段包括評(píng)價(jià)環(huán)節(jié)和審核環(huán)節(jié)。評(píng)價(jià)環(huán)節(jié)由評(píng)審成員根據(jù)評(píng)價(jià)指標(biāo)和數(shù)據(jù),在SEER系統(tǒng)中給出對(duì)每個(gè)評(píng)價(jià)單元的初步意見(jiàn),該過(guò)程不得與其他成員或機(jī)構(gòu)直接接觸,但評(píng)審成員可以看到其他同行的評(píng)審意見(jiàn)。如果評(píng)審成員認(rèn)為有必要,可以增加或重新分配其他評(píng)審者。審核階段是科研評(píng)價(jià)的重要環(huán)節(jié),在完成線上評(píng)價(jià)后,科研評(píng)價(jià)委員會(huì)召開(kāi)會(huì)議審議所有初步評(píng)價(jià),并就每個(gè)單元評(píng)價(jià)的最終評(píng)價(jià)意見(jiàn)達(dá)成一致。每個(gè)評(píng)價(jià)單元的結(jié)果由委員會(huì)討論同意后決定。④形成報(bào)告階段。科研評(píng)價(jià)委員會(huì)使用SEER系統(tǒng)編寫(xiě)每個(gè)單元的評(píng)價(jià)報(bào)告,這些報(bào)告要呈現(xiàn)初步評(píng)級(jí)給出的原因。在同行評(píng)審部分,科研評(píng)價(jià)委員會(huì)成員能看到各個(gè)學(xué)?;驒C(jī)構(gòu)提供的代表作,代表作數(shù)量占產(chǎn)出總數(shù)的30%,所以每個(gè)機(jī)構(gòu)的樣本數(shù)是不同的。評(píng)審委員會(huì)對(duì)代表作進(jìn)行評(píng)審,以彌補(bǔ)同行評(píng)審報(bào)告或其他科研評(píng)價(jià)委員會(huì)成員提供的報(bào)告中的“空白”或“欠缺”之處,以便給出公正和完整的評(píng)價(jià)意見(jiàn)。最后由澳大利亞科學(xué)研究委員會(huì)對(duì)外發(fā)布澳大利亞大學(xué)研究狀況報(bào)告(State of Australian University Research 2018-19,ERA 2018 National Report)。
卓越科研評(píng)價(jià)的評(píng)價(jià)指標(biāo)分為研究質(zhì)量指標(biāo)、研究活動(dòng)指標(biāo)和成果應(yīng)用指標(biāo)三類。其中,研究質(zhì)量指標(biāo)包括科研發(fā)表、引文分析、同行評(píng)審、國(guó)內(nèi)和國(guó)際研究收入等;研究活動(dòng)指標(biāo)包括研究產(chǎn)出、研究收入和研究項(xiàng)目等;成果應(yīng)用指標(biāo)包括研究商業(yè)化收入、專利、動(dòng)植物新品種、注冊(cè)外觀設(shè)計(jì)、國(guó)家衛(wèi)生與醫(yī)學(xué)研究委員會(huì)批準(zhǔn)的指南標(biāo)準(zhǔn)等[8]。卓越科研評(píng)價(jià)指標(biāo)是由研究評(píng)價(jià)委員會(huì)根據(jù)國(guó)際最佳做法制定,在制定過(guò)程中遵守以下原則:①可量化。盡量做到客觀測(cè)量科研成果,任何評(píng)價(jià)主體在任何時(shí)間,都能形成客觀的、相同的評(píng)價(jià)結(jié)果。②國(guó)際公認(rèn)。指標(biāo)必須是國(guó)際公認(rèn)的研究質(zhì)量衡量標(biāo)準(zhǔn)。③與其他學(xué)科的可比性。卓越科研評(píng)價(jià)不會(huì)進(jìn)行跨學(xué)科直接比較,但指標(biāo)能進(jìn)行跨學(xué)科研究水平的比較。④可以篩選出優(yōu)秀成果。指標(biāo)既能評(píng)價(jià)成果質(zhì)量,也能識(shí)別集中度較高的優(yōu)秀成果。⑤研究相關(guān)性。指標(biāo)必須與學(xué)科的研究性質(zhì)和特點(diǎn)相符。⑥可重復(fù)和可核查。采取透明和公開(kāi)的評(píng)價(jià)方法,學(xué)校內(nèi)部可復(fù)制這種方法進(jìn)行自我評(píng)價(jià)。⑦可審核和可核對(duì)。評(píng)價(jià)對(duì)象必須為特定時(shí)間段的成果。⑧行為影響。指標(biāo)應(yīng)該推動(dòng)科研往理想方向發(fā)展,避免產(chǎn)生隱形負(fù)面影響,限制特殊利益集團(tuán)或個(gè)人操縱評(píng)價(jià)結(jié)果[7]。卓越科研評(píng)價(jià)指標(biāo)見(jiàn)表1。
卓越科研評(píng)價(jià)采用5級(jí)標(biāo)準(zhǔn)(見(jiàn)表2),這與其他國(guó)家在研究評(píng)價(jià)過(guò)程中采取的標(biāo)準(zhǔn)大體一致[8]。卓越科研評(píng)價(jià)評(píng)價(jià)衡量的是研究質(zhì)量,而不是規(guī)模。因此,表2中的“世界標(biāo)準(zhǔn)”指研究質(zhì)量標(biāo)準(zhǔn)。研究評(píng)價(jià)委員會(huì)全面考慮每所大學(xué)提交的所有支持證據(jù),不對(duì)個(gè)別研究人員的貢獻(xiàn)做出評(píng)論,評(píng)級(jí)反映了研究評(píng)價(jià)委員會(huì)對(duì)大學(xué)整體科研狀況的評(píng)價(jià)。評(píng)價(jià)的基本單元是研究領(lǐng)域,并對(duì)每個(gè)基本單元的最少成果數(shù)量進(jìn)行了限定(比如要求索引期刊文章的數(shù)量底線是50篇,用于同行評(píng)議的成果數(shù)量權(quán)重底線是50,書(shū)籍的權(quán)重為5,其他產(chǎn)出的權(quán)重為1),只要不低于這個(gè)底線的評(píng)價(jià)單元都能接受評(píng)價(jià),不管其提交的成果數(shù)量是否差別很大,都有機(jī)會(huì)得到相同的評(píng)價(jià)等級(jí)。澳大利亞科學(xué)研究委員會(huì)提出卓越科研評(píng)價(jià)僅對(duì)在特定期限內(nèi)的大學(xué)研究質(zhì)量進(jìn)行回顧性評(píng)價(jià)。由于澳大利亞科學(xué)研究委員會(huì)并沒(méi)有在大學(xué)之間進(jìn)行橫向比較,因此卓越科研評(píng)價(jià)結(jié)果不能用作排名。卓越科研評(píng)價(jià)是基于不同學(xué)科專家的專業(yè)知識(shí)而開(kāi)展的評(píng)價(jià),不同指標(biāo)適用于不同學(xué)科,因此不合適對(duì)不同學(xué)科進(jìn)行比較。然而,卓越科研評(píng)價(jià)的評(píng)價(jià)過(guò)程中,一直貫穿著每個(gè)評(píng)價(jià)單元在引文分析指標(biāo)方面的國(guó)際比較或國(guó)內(nèi)比較,即引用分析的相對(duì)影響力指標(biāo)(Relative Citation Impact,RCI),該數(shù)據(jù)比較每篇文章的引用次數(shù)與該學(xué)科文章的平均引用次數(shù),包括國(guó)際和國(guó)內(nèi)的比較,同時(shí)還統(tǒng)計(jì)了每個(gè)評(píng)價(jià)單元的不同等級(jí)(根據(jù)引用次數(shù)分為前1%、5%、10%、25%、50%)文章的分布比例。RCI比較能夠幫助專家了解每篇文章和每個(gè)評(píng)價(jià)單元的文章引用次數(shù)及其國(guó)際和國(guó)內(nèi)排位情況,對(duì)于衡量每個(gè)評(píng)價(jià)單元對(duì)本學(xué)科的研究成果的貢獻(xiàn)度提供了一個(gè)新的認(rèn)識(shí)規(guī)模指標(biāo)的視角。
2018年,澳大利亞卓越科研評(píng)價(jià)之所以引入科研社會(huì)互動(dòng)與影響力評(píng)價(jià),是因?yàn)榭紤]到卓越科研評(píng)價(jià)雖然可以較好地評(píng)價(jià)研究質(zhì)量,但無(wú)法體現(xiàn)科研成果在社會(huì)、經(jīng)濟(jì)與其他領(lǐng)域的應(yīng)用價(jià)值。為此,澳大利亞政府將科研社會(huì)互動(dòng)與影響力評(píng)價(jià)機(jī)制作為國(guó)家創(chuàng)新和科學(xué)議程的一部分,主要評(píng)價(jià)科研對(duì)社會(huì)、經(jīng)濟(jì)和文化的實(shí)際貢獻(xiàn)與現(xiàn)實(shí)影響。評(píng)價(jià)主要參考定性材料,包括科研影響力模板、社會(huì)互動(dòng)陳述材料以及描述性材料的解釋說(shuō)明,也有部分量化指標(biāo),包括科研收入、社會(huì)獲獎(jiǎng)、專利數(shù)量等。如表3所示,影響維度下進(jìn)一步細(xì)分為“研究影響”和“影響方式”?!把芯坑绊憽狈矫?,大學(xué)需要指出研究對(duì)經(jīng)濟(jì)、文化等方面的社會(huì)影響,并提供支持這種影響的具體證據(jù)?!坝绊懛绞健狈矫?,大學(xué)應(yīng)提交材料說(shuō)明研究影響的方法或機(jī)制,包括機(jī)構(gòu)、學(xué)院或部門實(shí)施的戰(zhàn)略[9]。
表1 澳大利亞卓越科研評(píng)價(jià)指標(biāo)
資料來(lái)源:https://www.arc.gov.au/excellence-research-australia/key-documents。
①世界百分位數(shù)閾值是通過(guò)對(duì)世界數(shù)據(jù)庫(kù)中的論文進(jìn)行排名并確定1、5、10、25和50個(gè)百分位數(shù)對(duì)應(yīng)的引用數(shù)量來(lái)確定的。50是引文的中位數(shù),代表世界平均引文數(shù)。
表2 澳大利亞卓越科研評(píng)價(jià)等級(jí)及其含義
資料來(lái)源:ARC 2018C. ERA 2012 Evaluation Handbook。
卓越科研評(píng)價(jià)是一項(xiàng)以學(xué)科為基礎(chǔ)的研究評(píng)價(jià)活動(dòng),對(duì)學(xué)科按研究領(lǐng)域代碼進(jìn)行劃分,進(jìn)而統(tǒng)計(jì)研究成果并分別評(píng)級(jí)。卓越科研評(píng)價(jià)對(duì)不同學(xué)科的評(píng)價(jià)在科研成果形式上有所不同。卓越科研評(píng)價(jià)涵蓋兩種類型的研究成果:一是傳統(tǒng)類成果,包括書(shū)籍、專著章節(jié)、期刊文章、會(huì)議出版物等。二是非傳統(tǒng)類成果,包括策劃或展出的活動(dòng)、現(xiàn)場(chǎng)表演、原創(chuàng)作品、錄制或呈現(xiàn)的作品、為外部機(jī)構(gòu)撰寫(xiě)的研究報(bào)告[8]。所有學(xué)科均可能產(chǎn)出傳統(tǒng)類成果,但是非傳統(tǒng)類成果未必適用于所有學(xué)科。其中,人文、創(chuàng)意藝術(shù)和社會(huì)科學(xué)學(xué)科可以提交非傳統(tǒng)研究成果。非傳統(tǒng)研究成果可以有效囊括部分學(xué)科的應(yīng)用研究以及人文社會(huì)科學(xué)(HASS)的創(chuàng)造性研究。非傳統(tǒng)研究成果的提交一般采取文件夾形式,其中僅含一項(xiàng)非傳統(tǒng)研究成果,展現(xiàn)形式為一份2000字以內(nèi)的研究成果闡述,內(nèi)容為研究背景(研究領(lǐng)域、應(yīng)用情景、研究問(wèn)題)、研究貢獻(xiàn)(研究創(chuàng)新性、產(chǎn)生的新知識(shí))、研究重要性(研究卓越水平的證明材料)。人文社科不同學(xué)科的主要非傳統(tǒng)研究成果形式和數(shù)量占比不同。卓越科研評(píng)價(jià)的每個(gè)學(xué)科評(píng)價(jià)指標(biāo)有所不同,體現(xiàn)了對(duì)學(xué)科差異和特色的關(guān)注。
表3 澳大利亞卓越科研評(píng)價(jià)的科研社會(huì)互動(dòng)與影響力評(píng)價(jià)體系指標(biāo)
資料來(lái)源:https://www.arc.gov.au/policies-strategies/strategy/research-impact-principles-framework。
澳大利亞科研評(píng)價(jià)從數(shù)量評(píng)價(jià)方式、綜合指數(shù)評(píng)價(jià)一直發(fā)展到卓越科研評(píng)價(jià)體系,逐漸重視科研質(zhì)量[10]。卓越科研評(píng)價(jià)摒棄了以傳統(tǒng)的簡(jiǎn)單數(shù)量評(píng)價(jià)為特征的評(píng)價(jià)方法,經(jīng)過(guò)4輪評(píng)價(jià),對(duì)科研成果的評(píng)價(jià)更為多元化、具體化[11]。卓越科研評(píng)價(jià)強(qiáng)調(diào)質(zhì)量評(píng)價(jià),所以評(píng)價(jià)工作除了考察傳統(tǒng)成果的引用和影響力之外,也通過(guò)同行評(píng)議方式考察各個(gè)學(xué)校的代表作,做到既注重量化數(shù)據(jù)也注重代表作的質(zhì)量。每個(gè)學(xué)校需要在各類成果中選擇30%的代表作進(jìn)行同行評(píng)議,代表作成果類型可以是傳統(tǒng)成果也可以是非傳統(tǒng)成果。同行評(píng)議專家在審閱代表作后,需要撰寫(xiě)一份針對(duì)該成果的同行評(píng)議報(bào)告,報(bào)告內(nèi)容包括專家層次、所評(píng)價(jià)的成果類型和數(shù)量、同行評(píng)議專家的抽樣策略、被評(píng)價(jià)成果的內(nèi)容以及專家給出的評(píng)價(jià)等級(jí)。專家還需在報(bào)告中闡述其評(píng)價(jià)成果的方法(包含被評(píng)價(jià)成果采用了哪些研究方法、這些方法的適用性如何、該成果類型是否符合其所在學(xué)科的發(fā)表行為特征)和研究團(tuán)隊(duì)對(duì)學(xué)科的貢獻(xiàn)(包括該研究成果在學(xué)科史中的作用,成果的重要性、原創(chuàng)性、嚴(yán)謹(jǐn)度和深度等)。卓越科研評(píng)價(jià)對(duì)同行評(píng)議報(bào)告內(nèi)容有詳細(xì)的結(jié)構(gòu)要求,強(qiáng)調(diào)了質(zhì)量評(píng)價(jià)是卓越科研評(píng)價(jià)的重點(diǎn),同時(shí)通過(guò)嚴(yán)謹(jǐn)?shù)脑u(píng)價(jià)報(bào)告確保同行評(píng)價(jià)的公平性和客觀性。
澳大利亞全國(guó)高等教育聯(lián)盟(The National Tertiary Education Union)指出,卓越科研評(píng)價(jià)及其他研究績(jī)效評(píng)估與澳大利亞政府對(duì)高校科研資金的分配(包括可持續(xù)卓越科研計(jì)劃SRE和科研訓(xùn)練項(xiàng)目RTS)之間的關(guān)系并不確定[12]。實(shí)際上,澳大利亞科研撥款與卓越科研評(píng)價(jià)的結(jié)果的關(guān)系經(jīng)歷了不斷調(diào)整并逐漸脫嵌的過(guò)程。在2010年之前,澳大利亞科研撥款僅參考學(xué)校總體發(fā)表的數(shù)量,這導(dǎo)致了科研成果的數(shù)量迅速增長(zhǎng),但是質(zhì)量堪憂[13]。為了提升科研質(zhì)量,澳大利亞2010年調(diào)整了高校的撥款機(jī)制,設(shè)立了包括可持續(xù)卓越科研計(jì)劃(Sustainble Research Excellence,SRE)等6個(gè)專項(xiàng)構(gòu)成的科研績(jī)效撥款制度??沙掷m(xù)卓越科研計(jì)劃的撥款與卓越科研評(píng)價(jià)進(jìn)行掛鉤??沙掷m(xù)卓越科研計(jì)劃將卓越科研評(píng)價(jià)結(jié)果與科研間接成本數(shù)據(jù)作為調(diào)節(jié)因子對(duì)科研撥款進(jìn)行調(diào)整。2017年,澳大利亞政府重新調(diào)整大學(xué)科研撥款機(jī)制,可持續(xù)卓越科研計(jì)劃合并到科研支持項(xiàng)目,且與卓越科研評(píng)價(jià)不再掛鉤,說(shuō)明政府科研撥款的關(guān)注點(diǎn)不再主要是質(zhì)量指標(biāo)[14]??傮w上,澳大利亞政府通過(guò)撥款機(jī)制引導(dǎo)了高??蒲械陌l(fā)展方向,高?;谪?cái)政收入的考慮,往往根據(jù)評(píng)價(jià)機(jī)制有針對(duì)性地調(diào)整辦學(xué)行為和管理模式。
我國(guó)建設(shè)世界科技強(qiáng)國(guó)仍任重道遠(yuǎn),建設(shè)科學(xué)合理的評(píng)價(jià)機(jī)制有助于優(yōu)化中國(guó)科研創(chuàng)新的社會(huì)生態(tài)系統(tǒng)。開(kāi)展任何科研評(píng)估都可能達(dá)成預(yù)期的目標(biāo),也可能會(huì)有非預(yù)期后果,產(chǎn)生不良的影響[15]。筆者認(rèn)為澳大利亞卓越科研評(píng)價(jià)對(duì)我國(guó)學(xué)科評(píng)估的啟示包括如下四點(diǎn):
科研社會(huì)互動(dòng)與影響力評(píng)價(jià)的實(shí)踐探索代表澳大利亞科研評(píng)價(jià)政策從工具理性向價(jià)值理性回歸。邁克爾?吉本斯等提出,知識(shí)產(chǎn)生模式逐漸由“學(xué)術(shù)范式”為主導(dǎo)的模式Ⅰ向以“應(yīng)用范式”為核心的模式Ⅱ轉(zhuǎn)型,更重視知識(shí)生產(chǎn)的跨學(xué)科性、應(yīng)用情境性、社會(huì)傳播性及公眾問(wèn)責(zé)[16]。在知識(shí)生產(chǎn)模式轉(zhuǎn)型的背景下,澳大利亞科研政策的轉(zhuǎn)變映射出科研績(jī)效評(píng)價(jià)制度的初衷,政府對(duì)科研的支持旨在推動(dòng)科研成果的商業(yè)轉(zhuǎn)化與應(yīng)用。科研社會(huì)互動(dòng)與影響力評(píng)價(jià)強(qiáng)調(diào)學(xué)術(shù)研究的“應(yīng)用導(dǎo)向”和“市場(chǎng)導(dǎo)向”,意味著大學(xué)科研與經(jīng)濟(jì)社會(huì)發(fā)展的結(jié)合,科研的最終導(dǎo)向是為國(guó)家發(fā)展戰(zhàn)略服務(wù)。從澳大利亞卓越科研評(píng)價(jià)的改革階段看,科研目標(biāo)的轉(zhuǎn)變呈現(xiàn)出階段性特征,表現(xiàn)為從數(shù)量導(dǎo)向轉(zhuǎn)變?yōu)橘|(zhì)量導(dǎo)向,從質(zhì)量導(dǎo)向提升到貢獻(xiàn)導(dǎo)向,這與我國(guó)的政策導(dǎo)向不謀而合。2020年,中共中央、國(guó)務(wù)院印發(fā)了《深化新時(shí)代教育評(píng)價(jià)改革總體方案》,提出教育評(píng)價(jià)要突出質(zhì)量導(dǎo)向,重點(diǎn)評(píng)價(jià)學(xué)術(shù)貢獻(xiàn)、社會(huì)貢獻(xiàn)以及支撐人才培養(yǎng)情況。我國(guó)的科研評(píng)價(jià)改革進(jìn)入轉(zhuǎn)折點(diǎn),純量化評(píng)價(jià)造成的問(wèn)題已經(jīng)嚴(yán)重制約科研活動(dòng)的健康發(fā)展。教育部學(xué)科評(píng)估正在探索分類評(píng)價(jià)、質(zhì)量導(dǎo)向和關(guān)注貢獻(xiàn)等方面??蒲胸暙I(xiàn)除了學(xué)術(shù)貢獻(xiàn),還應(yīng)該涵蓋社會(huì)貢獻(xiàn),即科研成果的應(yīng)用價(jià)值。在第五輪學(xué)科評(píng)估公布的指標(biāo)中,把專利轉(zhuǎn)化列為評(píng)價(jià)指標(biāo)之一,同時(shí)在社會(huì)服務(wù)指標(biāo)體系中,也要求對(duì)學(xué)科服務(wù)社會(huì)的總體情況和5個(gè)典型案例進(jìn)行綜合評(píng)價(jià),強(qiáng)調(diào)突破性貢獻(xiàn)。從指標(biāo)體系看,第五輪學(xué)科評(píng)估開(kāi)始關(guān)注科研的應(yīng)用價(jià)值,但是從評(píng)價(jià)體系看,該指標(biāo)沒(méi)有明確給予評(píng)價(jià)或案例撰寫(xiě)引導(dǎo),無(wú)法引導(dǎo)學(xué)校理解和認(rèn)識(shí)什么是科研的應(yīng)用價(jià)值。只有充分重視研究的應(yīng)用價(jià)值,明確應(yīng)用價(jià)值應(yīng)該包含哪些方面,才能兼顧應(yīng)用性較強(qiáng)的學(xué)科,建立符合國(guó)家創(chuàng)新體系發(fā)展戰(zhàn)略需求的評(píng)價(jià)體系。
卓越科研評(píng)價(jià)對(duì)不同的學(xué)科采取差異化的評(píng)價(jià)方式。在對(duì)人文社會(huì)學(xué)科的評(píng)價(jià)中,不僅包括對(duì)出版書(shū)籍、書(shū)籍章節(jié)、期刊文章或會(huì)議出版物等傳統(tǒng)性研究成果的評(píng)價(jià),還包括對(duì)策劃或展出活動(dòng)、現(xiàn)場(chǎng)表演、原創(chuàng)作品、錄制作品、研究報(bào)告以及非傳統(tǒng)研究成果組合等的評(píng)價(jià)。這種模式鼓勵(lì)了研究成果的社會(huì)應(yīng)用,避免了評(píng)價(jià)指標(biāo)的一刀切問(wèn)題。以往的量化評(píng)價(jià)方法,通過(guò)數(shù)字轉(zhuǎn)化、精簡(jiǎn)和整合復(fù)雜信息,使得科研的復(fù)雜內(nèi)容變得容易被理解和比較[17]。事實(shí)上,純量化指標(biāo)難以真正評(píng)價(jià)不同學(xué)科的質(zhì)量。純量化評(píng)價(jià)的實(shí)施取決于有沒(méi)有科學(xué)的、全面的學(xué)術(shù)成果庫(kù),從現(xiàn)有的條件看,目前比較完善的只有英文期刊論文數(shù)據(jù)庫(kù),而對(duì)人文藝術(shù)社科等領(lǐng)域的藝術(shù)作品、非英語(yǔ)發(fā)表、研究報(bào)告、設(shè)計(jì)作品等非傳統(tǒng)成果類型均難以實(shí)施評(píng)價(jià)。盡管同行評(píng)議存在主觀性較強(qiáng)等問(wèn)題,但仍然是學(xué)術(shù)評(píng)價(jià)的重要方法,因此,科研評(píng)價(jià)應(yīng)轉(zhuǎn)變單一評(píng)價(jià)模式,關(guān)注不同學(xué)科的特色和屬性,重視各種非傳統(tǒng)研究成果形式,鼓勵(lì)多元化評(píng)價(jià)模式共存,以確保評(píng)價(jià)方法的科學(xué)性和評(píng)價(jià)視角的豐富性。教育部學(xué)位與研究生教育研究中心自實(shí)施第四輪學(xué)科評(píng)估以來(lái),開(kāi)始關(guān)注學(xué)科差異,有針對(duì)性地制定評(píng)價(jià)指標(biāo)體系,納入學(xué)科特色指標(biāo),逐步提高評(píng)價(jià)體系的科學(xué)性和適切性,得到了學(xué)術(shù)界的廣泛認(rèn)可。在第五輪學(xué)科評(píng)估中,針對(duì)不同學(xué)科特色制定了特定指標(biāo),如新品種研發(fā)與轉(zhuǎn)化情況、新藥研發(fā)情況、藝術(shù)實(shí)踐成果等,豐富了科研成果的產(chǎn)出形式,為此,第五輪學(xué)科評(píng)估按一級(jí)學(xué)科設(shè)置了99套指標(biāo)體系。未來(lái),學(xué)科評(píng)估應(yīng)該進(jìn)一步關(guān)注學(xué)科差異,充分考慮學(xué)科知識(shí)的屬性和特征,制定更為多元化和差異化的評(píng)價(jià)指標(biāo)體系。
科研評(píng)價(jià)不能一味追求數(shù)量而忽視對(duì)質(zhì)量的要求,只有高質(zhì)量、原創(chuàng)性的成果才能真正推動(dòng)科研創(chuàng)新和社會(huì)進(jìn)步。質(zhì)量理應(yīng)是科研評(píng)價(jià)或?qū)W科評(píng)價(jià)最重要的關(guān)注點(diǎn),然而很多外部評(píng)價(jià)演化為數(shù)字游戲,促使大學(xué)內(nèi)部的管理政策趨向于追求規(guī)模和數(shù)量,進(jìn)而導(dǎo)致科研人員追求“短平快”的科研活動(dòng),形成“學(xué)術(shù)泡沫”。澳大利亞科研評(píng)價(jià)也經(jīng)歷了從數(shù)量導(dǎo)向向質(zhì)量導(dǎo)向轉(zhuǎn)變的過(guò)程。在1995年啟動(dòng)綜合指數(shù)評(píng)價(jià)時(shí),主要依據(jù)量化指標(biāo),評(píng)價(jià)指標(biāo)包括書(shū)籍、期刊文章、會(huì)議論文等出版物、研究生畢業(yè)人數(shù)等,并根據(jù)指標(biāo)權(quán)重和評(píng)價(jià)要素計(jì)算結(jié)果分配經(jīng)費(fèi);2005年,澳大利亞教育、科學(xué)與培訓(xùn)部宣布使用科研質(zhì)量框架評(píng)價(jià)制度,專門針對(duì)科研質(zhì)量和影響力開(kāi)展評(píng)價(jià),但該制度因?yàn)槠湓O(shè)計(jì)難以落地且成本太高而未實(shí)施;2008年,推行卓越科研評(píng)價(jià),優(yōu)化了科研質(zhì)量框架評(píng)價(jià),強(qiáng)調(diào)科研經(jīng)費(fèi)必須確保分配給有價(jià)值的科研活動(dòng),強(qiáng)調(diào)對(duì)科研質(zhì)量的評(píng)價(jià),其評(píng)價(jià)體系包括核心指標(biāo)和關(guān)聯(lián)指標(biāo);2018年,卓越科研評(píng)價(jià)體系增加了科研社會(huì)互動(dòng)與影響力評(píng)價(jià)[18]??傮w上,科研質(zhì)量是澳大利亞卓越科研評(píng)價(jià)的主要導(dǎo)向,其評(píng)價(jià)方法從純量化統(tǒng)計(jì)轉(zhuǎn)變?yōu)榱炕治龊屯性u(píng)議并存,總體上對(duì)“科研質(zhì)量”的概念、評(píng)價(jià)方法和指標(biāo)等形成了較為科學(xué)和全面的認(rèn)識(shí)。對(duì)于我國(guó)而言,科研評(píng)價(jià)要貫徹質(zhì)量導(dǎo)向,以真正達(dá)到“以評(píng)促質(zhì)”的效果,而非變成沒(méi)有實(shí)際價(jià)值的數(shù)字競(jìng)賽。
長(zhǎng)期以來(lái),西方國(guó)家實(shí)施科研評(píng)價(jià)的主要目的是為公共資金的分配提供依據(jù),政府和社會(huì)都希望加強(qiáng)對(duì)科學(xué)界的監(jiān)督和掌握,提升公共資金投入科學(xué)界的使用效率[19]。包括英國(guó)科研卓越框架(REF)、荷蘭標(biāo)準(zhǔn)化評(píng)價(jià)指南(SEP)等在內(nèi)的評(píng)價(jià)都采用公式計(jì)算各學(xué)科的得分并進(jìn)行評(píng)級(jí),且將評(píng)級(jí)結(jié)果與政府科研資金分配直接掛鉤。因此,高校和科研機(jī)構(gòu)非常重視科研評(píng)價(jià),高校的管理行為不可避免地受到評(píng)價(jià)框架和評(píng)價(jià)指標(biāo)的影響[20]。當(dāng)評(píng)價(jià)與資源分配掛鉤,學(xué)?;?qū)W院管理層為了獲取資源,將“迎合”評(píng)價(jià)指標(biāo)開(kāi)展學(xué)科建設(shè)。決策者受到排名制度的影響而遵從外在的規(guī)則,而未必符合學(xué)術(shù)發(fā)展的客觀規(guī)律,這會(huì)導(dǎo)致高校放棄一定的辦學(xué)“自由度”,在評(píng)價(jià)者面前成為“弱勢(shì)精英”[21]。盡管評(píng)價(jià)的初衷并非限制學(xué)?;?qū)W院管理者的自由,但事實(shí)是當(dāng)評(píng)價(jià)與資源掛鉤,學(xué)?;?qū)W院決策者必須考慮任性發(fā)展可能造成的損失。澳大利亞對(duì)高校的科研撥款與卓越科研評(píng)價(jià)經(jīng)歷了從掛鉤到脫鉤的過(guò)程,但是作為政府組織的評(píng)估,卓越科研評(píng)價(jià)也可能對(duì)于學(xué)術(shù)發(fā)展產(chǎn)生消極的影響。澳大利亞有學(xué)者即指出政府對(duì)高校的科研評(píng)估會(huì)影響大學(xué)對(duì)于學(xué)者的績(jī)效評(píng)估以及聘用,學(xué)者們則會(huì)為此改變研究方向或做出相應(yīng)的調(diào)整,這有悖于科研自由探索的精神[22],同時(shí)也會(huì)增加學(xué)者的工作負(fù)擔(dān),使其長(zhǎng)期處于焦慮狀態(tài),不利于身心健康[23]。目前,我國(guó)各類大學(xué)評(píng)估和排名在高等教育界產(chǎn)生了重大影響,其影響既有積極的方面,如提升了高校的辦學(xué)積極性,但也有一些非預(yù)期的消極影響,如導(dǎo)致了唯指標(biāo)導(dǎo)向。盡管近年來(lái)一些評(píng)估開(kāi)始轉(zhuǎn)變?cè)u(píng)價(jià)導(dǎo)向,但評(píng)估排名的社會(huì)影響力還是會(huì)讓資源集中到一些“頭部”高校,這對(duì)高等教育整體發(fā)展有消極影響。因此,我國(guó)政府、高校和相關(guān)部門也應(yīng)進(jìn)一步關(guān)注重學(xué)科評(píng)價(jià)結(jié)果的使用情況,減少其對(duì)高??蒲谢顒?dòng)的不良影響。
[1] 馬金森. 生生不息的火焰: 全球科學(xué)中的中國(guó)[J]. 北京大學(xué)教育評(píng)論, 2020, 18(4): 2-33.
[2] HORTA H, SHEN W. Current and future challenges of the Chinese research system[J]. Journal of higher education policy and management, 2020, 42(2): 157-177.
[3] 郭生練. 誰(shuí)撥偏了科研評(píng)價(jià)的方向?[N]. 科技日?qǐng)?bào), 2010-06-22.
[4] 習(xí)近平. 為建設(shè)世界科技強(qiáng)國(guó)而奮斗[EB/OL]. (2016-05-31)[2022-11-20]. http://www.xinhuanet.com/politics/2016-05/31/c_1118965169.htm.
[5] 宋艷輝,朱李,邱均平. “破五唯”背景下我國(guó)科研評(píng)價(jià)體系構(gòu)建的幾點(diǎn)思考[J].情報(bào)雜志, 2022, 41(2): 190-197.
[6] GLASER J. The social orders of research evaluation system[M]//WHITLEY R, GLASER J. The changing governance of the sciences. Dordrecht: Springer, 2007: 245-266.
[7] ARC 2018. ERA 2018 evaluation handbook[EB/OL]. [2022-11-20]. https://www.arc.gov.au/excellence-research-australia/key-documents.
[8] ARC. Excellence in research for Australia (ERA)[EB/OL]. [2022-11-20]. https://dataportal.arc.gov.au/ERA/NationalReport/2018/pages/introduction/index.html?id=era-2018-indicators.
[9] 宗曉華, 張強(qiáng), 占茜. 以社會(huì)貢獻(xiàn)界定卓越科研: 澳大利亞大學(xué)的社會(huì)互動(dòng)與影響力評(píng)價(jià)[J]. 大學(xué)教育科學(xué), 2020(1): 58-65.
[10]顧麗娜, 陸根書(shū). 澳大利亞科研評(píng)價(jià)體系介紹[J]. 理工高教研究, 2006(1): 49-51.
[11]劉蘭劍, 杜向民. 澳大利亞ERA分類科研評(píng)價(jià)體系及其啟示[J]. 科學(xué)學(xué)與科學(xué)技術(shù)管理, 2015, 36(12): 24-32.
[12]The National Tertiary Education Union. Excellence in research Australia[EB/OL]. [2022-11-20]. https://www.nteu.org.au/policy/research/era/overview.
[13]BUTLER L. Explaining Australia’s increased share of ISI publications—the effects of a funding formula based on publication counts[J]. Research policy, 2003, 32(1): 143-155.
[14]宗曉華, 張強(qiáng). 澳大利亞大學(xué)科研績(jī)效撥款的制度演變及啟示[J]. 清華大學(xué)教育研究, 2021, 42(6): 44-51.
[15]BRIDGES D. Research quality assessment: intended and unintended consequences[J]. Power and education, 2011, 3(1): 31-38.
[16]吉本斯, 利摩日, 諾沃茨曼, 等. 知識(shí)產(chǎn)生的新模式——當(dāng)代社會(huì)科學(xué)與研究的動(dòng)力學(xué)[M]. 陳洪捷, 沈文欽, 等譯, 北京: 北京大學(xué)出版社, 2011: 4-9.
[17]ESPELAND W N, SAUDER M. Engines of anxiety—academic ranking, reputation, and accountability[M]. New York: Russel Sage Foundation, 2016: 19-39.
[18]張強(qiáng). 評(píng)估之路該如何前進(jìn)?——澳大利亞大學(xué)科研評(píng)價(jià)制度的分析與審思[J]. 山東高等教育, 2021(1): 85-92.
[19]蔣林浩. 學(xué)科評(píng)估對(duì)高校管理的影響[D]. 北京: 北京大學(xué), 2020: 4.
[20]MARTIN-SARDESAI A, IRVINE H, TOOLEY S, et al. Organizational change in an Australian university: responses to a research assessment exercise[J]. The British accounting review, 2017, 49(4): 399-412.
[21]PORTER T M. Trust in numbers: the pursuit of objectivity in science and public life[M]. Princeton: Princeton University Press, 1995.
[22]MARTIN-SARDESAI A, IRVINE H, TOOLEY S, et al. Government research evaluations and academic freedom: a UK and Australian comparison[J]. Higher education research & development, 2016, 36(2): 372-385.
[23]MARTIN-SARDESAI A, GUTHRIE J. Human capital loss in an academic performance measurement system[J]. Journal of intellectual capital, 2018, 19(1): 53-70.
10.16750/j.adge.2023.02.012
蔣林浩,華南師范大學(xué)(清遠(yuǎn))科技創(chuàng)新研究院常務(wù)副院長(zhǎng),副研究員,廣州 510631;沈玉翠,華南師范大學(xué)(清遠(yuǎn))科技創(chuàng)新研究院部門負(fù)責(zé)人,廣州 510631;張優(yōu)良(通訊作者),北京工業(yè)大學(xué)高等教育研究院副研究員,香港嶺南大學(xué)博士后/研究助理教授,北京 100124;黃俊平,北京大學(xué)學(xué)位辦公室主任,學(xué)科辦公室副主任,北京 100871;楊洋,華南師范大學(xué)教師教育學(xué)部碩士研究生,廣州 510631。
全國(guó)博士后管理委員會(huì)2020年“香江學(xué)者計(jì)劃”(編號(hào):XJ2020008)
(責(zé)任編輯 劉俊起)