非學(xué)術(shù)影響評價：英國REF科研影響評估的創(chuàng)新性評析

茹 寧 閆廣芬

（1.南開大學(xué)，天津300350；2.天津大學(xué)，天津300350）

一直以來，科學(xué)研究被視為國家的事業(yè)，政府作為最大的 “資助人”，相信社會能夠從高質(zhì)量的科學(xué)研究中 “自動”獲益，因此，科研評估只需確?？蒲械漠a(chǎn)出與質(zhì)量即可。然而，20世紀(jì)80年代以來，隨著各國公共財政經(jīng)費(fèi)的緊縮和新公共行政、新公共管理運(yùn)動的興起，政府的角色從科研 “資助人”向 “投資人”轉(zhuǎn)變。作為投資人的政治決策者們，一方面希望研究機(jī)構(gòu)通過證據(jù)展示研究成果對社會的價值，以幫助他們在 “應(yīng)從GDP中拿出多少用于研發(fā)”“哪些研究值得投資”“應(yīng)優(yōu)先資助哪些研究”等問題上做出明智決策；另一方面通過 “投入-回報”展示，使捐資者、納稅人看到公共研發(fā)經(jīng)費(fèi)的績效收益，進(jìn)而理解 “社會究竟從公共科研資助中獲得了哪些好處”。在這種新觀念下，科研評估僅僅關(guān)注研究成果本身的 “量”與“質(zhì)”已經(jīng)不夠了，還需要強(qiáng)調(diào)其 “溢出”學(xué)術(shù)界之外的社會效益與社會影響，這催發(fā)了各國對探索實(shí)施科研社會影響評價機(jī)制的改革浪潮。

美國是最早對科研項目的 “投入-產(chǎn)出”效益開展評估的國家之一。“美國項目評估評級工具” （Program Assessment Rating Tool， PART)是1993年 《政府績效與成果法》（Government Performance and Results Act，GPRA）催生下的科研績效評估工具，它采用基于證據(jù)的分析方法 （evidence-based analysis）， 至 2008年已評估了1000多個大型聯(lián)邦科研項目的社會效益。[1]《美國再投資與復(fù)蘇法案》（American Recovery and Reinvestment Act，ARRA）催生了 “科學(xué)和技術(shù)對美國再投資:衡量研究對創(chuàng)新、競爭力和科學(xué)的影響”（Science and Technology for America’s Reinvestment:Measuring the Effect of ResearchonInnovation,CompetitivenessandScience,STAR METRICS）評估。STAR METRICS于2010年投入使用，專注于使用數(shù)據(jù)分析聯(lián)邦科研項目在經(jīng)濟(jì)、就業(yè)、勞動產(chǎn)出和公共衛(wèi)生等領(lǐng)域的收益回報。[2]加拿大創(chuàng)新基金會 （CFI）主要負(fù)責(zé)加拿大基礎(chǔ)研究的經(jīng)費(fèi)撥款。從2007年開始，如何評價CFI資助項目的社會影響開始進(jìn)入政策議程?！靶Ч麥y量研究”（the Outcome Measurement Study,OMS）評估就是最近的一項成果，它引入了 “創(chuàng)新與外部收益”（innovation&extrinsic benefits）評價，并采用了“活動-產(chǎn)出-成果 （包括直接、間接、長期）-最終影響 （ultimate impacts）”的評價模型。[3]荷蘭于2006年開發(fā)的 “情境下的科研評估”（the Dutch Evaluating Research in Context,ERiC），通過研究團(tuán)隊與科研用戶之間 “生成性互動”（productive interaction）的過程性評估，[4]來評價研究在私營部門和公共部門所產(chǎn)生的社會影響。2009年，歐盟出資80萬歐元研發(fā) “基于生產(chǎn)性互動的科研社會影響”（Social Impact Assessment MethodsthroughProductiveInteractions,SIAMPI），SIAMPI是ERiC在歐盟的進(jìn)一步推廣，荷蘭、英、法、西班牙參加了該評估在衛(wèi)生、納米、信息技術(shù)等領(lǐng)域的試點(diǎn)。[5]澳大利亞于2004年開發(fā)了 “研究質(zhì)量與可行性評估框架”（Research Quality Framework,RQF）， 對公共經(jīng)費(fèi)資助的科學(xué)研究在區(qū)域、國家或國際范圍所產(chǎn)生的經(jīng)濟(jì)、社會、環(huán)境和文化等方面的貢獻(xiàn)進(jìn)行評價。澳大利亞政府本打算在全國高校推行RQF評估，但遺憾的是，執(zhí)政黨更迭導(dǎo)致該計劃流產(chǎn)。[6]

英國于2014年取消了自1992年以來一直使用的RAE（Research Assessment Exercise）評估，而代之以REF（Research Excellence Framework）評估。REF相對于RAE的改革重點(diǎn)就是，以“科研影響”取代了 “科研聲譽(yù)”板塊。RAE2008評估中三個板塊的內(nèi)容和權(quán)重分別為:科研產(chǎn)出 （70%）、科研聲譽(yù) （10%）、科研環(huán)境（20%），在REF2014評估中調(diào)整為:科研產(chǎn)出（65%）、科研影響 （20%）、科研環(huán)境 （15%）。與上述國家針對項目、某學(xué)科或?qū)W科 （群）領(lǐng)域開發(fā)的影響評估不同，REF采用統(tǒng)一的科研影響評估框架，基本覆蓋了全英高校和科研機(jī)構(gòu)的所有學(xué)科。不同學(xué)科的研究產(chǎn)生社會影響的時間、方式、路徑和效果非常不同，能否采用統(tǒng)一的框架與方法對不同學(xué)科的研究影響進(jìn)行評價，一直是科研影響評估的難點(diǎn)。REF在這一問題上的突破成為科研影響評估理論與實(shí)踐的重要發(fā)展，在國際社會引發(fā)了強(qiáng)烈關(guān)注。我國學(xué)術(shù)界目前對REF評估的研究已相對豐富，但這些研究大多側(cè)重于REF相對于RAE而言在整個評估框架與方法上所進(jìn)行的改革，而缺乏針對其中 “科研影響”評估的深度分析。進(jìn)一步說，我們還沒有從國際上新出現(xiàn)的這一評估“類型”，即非學(xué)術(shù)影響評估的視角來開展對REF科研影響評估的系統(tǒng)研究。近年來，針對我國高?？蒲谐晒纳鐣D(zhuǎn)化與應(yīng)用一直處于較低水平的現(xiàn)狀，我國頒發(fā)了一系列政策文件，強(qiáng)調(diào)要提高高校服務(wù)經(jīng)濟(jì)社會發(fā)展的能力，加強(qiáng)對高?？蒲匈|(zhì)量與社會貢獻(xiàn)的評價。REF的科研影響評估在 “非學(xué)術(shù)影響”評價方面的創(chuàng)新做法，可為改進(jìn)和完善我國高校的社會服務(wù)與貢獻(xiàn)評價體系提供借鑒經(jīng)驗(yàn)。鑒于此，本文以REF在2014年基礎(chǔ)上最新修訂出臺的2021年評估指南為范本，對其中 “科研影響”板塊的改革進(jìn)行全面分析，尤其著重從 “非學(xué)術(shù)影響”評價的視角來探討其在內(nèi)容、方法及結(jié)果呈現(xiàn)等方面的創(chuàng)新特性。

一、評估內(nèi)容創(chuàng)新：明確 “非學(xué)術(shù)影響”評價的內(nèi)涵及評價維度

科學(xué)研究所產(chǎn)生的影響，從廣義上講，包含兩個層面的內(nèi)容:一是在學(xué)術(shù)界之內(nèi)產(chǎn)生的影響，稱為學(xué)術(shù)影響；二是在學(xué)術(shù)界之外產(chǎn)生的影響，稱為非學(xué)術(shù)影響或社會影響。REF評估將 “科研影響”界定為:“對學(xué)術(shù)界以外的經(jīng)濟(jì)、社會、文化、公共政策或服務(wù)、健康、環(huán)境或生活質(zhì)量所產(chǎn)生的影響、改變或益處”，并在評估中把科研影響具體化為 “人類與動物健康”“文化創(chuàng)造”“商業(yè)經(jīng)濟(jì)”“公共政策、法律與服務(wù)”“職業(yè)道德與行為實(shí)踐”“環(huán)境”“生產(chǎn)”“參與學(xué)習(xí)”“社會福利”九個社會維度。[7]顯然，REF的 “科研影響”僅指科學(xué)研究所產(chǎn)生的非學(xué)術(shù)性質(zhì)的社會影響，這種 “狹義”化的概念在評估中是否科學(xué)、可行呢？

目前，大多數(shù)科研影響評估尚未對研究的學(xué)術(shù)影響與非學(xué)術(shù)影響做出明確區(qū)分。具體而言，很多科研影響評估把H指數(shù)、G指數(shù)、期刊影響因子 （Impact Factor,IF）等學(xué)術(shù)影響評價指標(biāo)與專利轉(zhuǎn)化率、研發(fā)收入、衍生公司數(shù)等非學(xué)術(shù)影響評價指標(biāo)放在一起來評價科研影響。然而，學(xué)術(shù)影響與非學(xué)術(shù)影響形成的路徑與作用機(jī)理不同，高學(xué)術(shù)影響力并不意味著高社會影響力，這從評價指標(biāo)上也可以反映出來。以IF為例，高IF值意味著該期刊發(fā)表的研究成果學(xué)術(shù)影響力高，但是，高IF期刊的封閉性限制了研究成果的社會影響范圍，因?yàn)樵诖蠖鄶?shù)情況下，只有學(xué)者才能接觸到這些研究成果。相比之下，開放期刊 （Open Access Journals）的IF值較低，但讀者群更豐富，受眾更廣泛。由此我們可以合理地推斷，發(fā)表在高IF期刊上的研究成果的學(xué)術(shù)影響大，社會影響反而小。可見，對科研影響不做 “學(xué)術(shù)”與 “非學(xué)術(shù)”的劃分，混用兩者的評價指標(biāo)是有問題的。REF評估采用 “科研影響”的狹義內(nèi)涵避免了這種含混，明確將科研影響評價界定為超出 “學(xué)術(shù)界”之外的社會影響，而將 “學(xué)術(shù)影響”排除在 “科研影響”評價之外，這可謂在厘清科研影響評估的對象上邁出了重要一步。

當(dāng)然，把科研影響限定為 “非學(xué)術(shù)”性質(zhì)的社會影響，并不意味著REF舍棄了研究的學(xué)術(shù)影響評價，REF評估指南解釋道，“科研影響不包括對學(xué)術(shù)研究的影響或?qū)χR進(jìn)步的貢獻(xiàn)，因?yàn)橛嘘P(guān)此部分的內(nèi)容將在REF的 ‘科研產(chǎn)出’部分進(jìn)行”[8]。REF雖然取消了RAE的 “科研聲譽(yù)”板塊，但在11個學(xué)科引入了文獻(xiàn)計量法（bibliometric），把評價科研聲譽(yù)的H指數(shù)、G指數(shù)、期刊影響因子等指標(biāo)調(diào)整到 “科研產(chǎn)出”板塊，這實(shí)際是把 “科研聲譽(yù)”所測量的 “學(xué)術(shù)性質(zhì)的影響”以質(zhì)量評價的方式納入 “科研產(chǎn)出”板塊，從而加強(qiáng)了研究產(chǎn)出的質(zhì)量績效與學(xué)術(shù)影響力評價。REF通過這樣的改革調(diào)整，明確區(qū)分了科研的 “學(xué)術(shù)影響”與 “非學(xué)術(shù)影響”評價的界限，使REF形成了 “投入-產(chǎn)出-績效”和 “產(chǎn)出-應(yīng)用-影響”兩個清晰的評估環(huán)節(jié)，前一個環(huán)節(jié)以 “科研產(chǎn)出質(zhì)量與績效”評價為主題，后一個環(huán)節(jié)側(cè)重 “科研社會應(yīng)用與影響”評價。這樣，REF形成了覆蓋 “知識產(chǎn)出-知識質(zhì)量-知識影響”的完整評估鏈，使整個評估框架設(shè)計更加完整而連貫。從評估實(shí)踐來看，正是厘清了科研影響的內(nèi)涵與外延，REF科研影響評估環(huán)節(jié)才能聚焦到研究成果所產(chǎn)生的九大社會領(lǐng)域上來，形成九個明確的評估維度，提高了評估對象的明晰性和評估的可操作性，為采用適切的評估方法奠定了基礎(chǔ)。

二、評估方法創(chuàng)新：混合評估方法在“非學(xué)術(shù)影響”評價中的整合使用

大量實(shí)證研究表明，只有在極少數(shù)的情況下，科學(xué)研究所產(chǎn)生的非學(xué)術(shù)性質(zhì)的社會影響才會以直接的、明確可識別的方式呈現(xiàn)出來。因此，對于科研影響評估而言，沒有一種單一的評估方法是充分有效的。尤其對于REF評估而言，全英國有154所高校和科研機(jī)構(gòu)參加，這種大規(guī)模的特點(diǎn)也決定了REF不可能采用單一的評估方法。經(jīng)過多輪咨詢和前期試點(diǎn)之后，REF專家組最終采用了以定性為主、以定量為輔的混合評價方法。

1.以結(jié)構(gòu)化的案例模板呈現(xiàn)非線性的社會影響

案例法是REF的基本評估方法。在REF2014評估中，參評院校需要提交 “影響案例”和 “影響模板”，案例占80%的評估權(quán)重，模板占20%。影響案例提供關(guān)于研究產(chǎn)生何種影響的詳細(xì)信息，影響模板闡明學(xué)校在促進(jìn)研究影響產(chǎn)生的過程中所采用的戰(zhàn)略和實(shí)施路徑。REF2021評估將取消 “影響模板”，將其部分內(nèi)容整合到 “科研環(huán)境”板塊，這意味著影響案例將成為未來REF科研影響板塊的唯一評估內(nèi)容。

影響的發(fā)生不是知識的 “用與不用”這么簡單的兩種狀態(tài)，而是源于復(fù)雜的人類和社會的非線性交互過程，尤其是那些改變?nèi)藗兊囊庖?、觀念和信念的影響，往往要經(jīng)歷一個不易察覺的長期過程，其中的影響因素復(fù)雜而隱蔽。量化方法雖然客觀明了，但卻由于簡化而可能忽略掉一些關(guān)鍵的影響因素，導(dǎo)致無法提供科研影響評價的 “完整圖景”。相比之下，案例相對 “寬松”的敘事方式，更容易在知識擴(kuò)散的過程中撒下一張 “廣泛的網(wǎng)”，因而比數(shù)據(jù)、指標(biāo)或公式更能有效地 “捕捉”到影響；案例由科研發(fā)現(xiàn)者來闡述影響與其研究之間的關(guān)系，更有利于影響與研究之間的歸因分析；案例允許靈活自由的分析思路和表達(dá)方式，這使影響在案例 “敘事”中能更好地呈現(xiàn)出來。

表1 REF2021影響案例模板及填寫指南

當(dāng)然，案例法也有明顯缺陷。案例的表述如果過于隨意就會導(dǎo)致無法在案例之間進(jìn)行有效比較，案例的撰寫如果摻雜過多的主觀甚至是夸大其詞的內(nèi)容就會干擾評價的客觀性。為克服這些問題，REF制定了高度結(jié)構(gòu)化的案例模板，并對每部分的寫作內(nèi)容、規(guī)范、字?jǐn)?shù)等做了詳細(xì)規(guī)定。案例模板由A、B、C三部分構(gòu)成:A部分填寫參評院校與人員基本信息；C部分主要提供研究資助信息，但不是必填內(nèi)容，評估組要求時才填寫；B部分是主體部分，包括“影響概要”“研究詳情”“研究佐證文獻(xiàn)”“影響詳情”“影響佐證來源”五個部分 （見表1）。限于篇幅，此處只節(jié)選了 “影響詳情”部分的填寫指南。從模板格式與填寫要求可以看出REF案例的特點(diǎn):一是盡量客觀，對研究和影響的描述都需要提供相應(yīng)的證據(jù)和佐證材料；二是重在闡述研究與影響之間的歸因關(guān)系，如果影響與研究沒有實(shí)質(zhì)性關(guān)聯(lián)，案例將直接被評為 “無等級”（unclassified）?？梢?，通過結(jié)構(gòu)化、標(biāo)準(zhǔn)化、證據(jù)化處理后，REF案例模板將“敘事描述”限定在一個可比較、可分析和可評價的框架內(nèi)，避免了案例撰寫的主觀隨意性，加強(qiáng)了案例評估的可行性和有效性。

資料來源：R E F 2 0 2 1評估指南

表2 參與科研影響評估的評估組成員類型與職責(zé)

2.以來自社會各界的 “專家評議”法取代學(xué)術(shù)界的 “同行評議”法

案例本質(zhì)上是學(xué)術(shù)界就科研成果與其社會影響之間的關(guān)系進(jìn)行的主觀陳述，如果將案例交給同行專家評議，那么，評價結(jié)果仍然局限于學(xué)科或?qū)W界內(nèi)部的看法，而無法反映社會影響。鑒于此，REF在評估方法上的一個重要改革，就是邀請科研用戶和其他利益相關(guān)者參與案例評價。在REF2014評估中，聘請的外部專家占到23%，這些專家的來源非常多樣化，私營、公共和第三部門均有分布，參與評估的角色也非常多元，有主席、顧問、觀察員、評估專員、國際專家等 （見表2）。他們各司其職，為評估提供了不同于學(xué)界專家的獨(dú)特看法。

表3 REF科研影響評價維度、類型與指標(biāo) （節(jié)選）

不過，REF評估指出，外部利益相關(guān)者的加入，并不意味著學(xué)術(shù)專家在科研影響評價中的作用式微，他們在影響評估中仍將保持重要的發(fā)言權(quán)。這是因?yàn)榉菍W(xué)術(shù)影響評價不應(yīng)以損害學(xué)術(shù)自治為代價，保持一定比例的學(xué)術(shù)專家參與就是保障學(xué)術(shù)界知識生產(chǎn)的自治權(quán)限。只是參加影響評估的學(xué)術(shù)專家，其身份不再是單一的研究者，而與其他利益相關(guān)者一樣，代表了社會各界中的 “一界”。所以，嚴(yán)謹(jǐn)?shù)卣f，REF科研影響評估是以來自社會各界代表的“專家評價”（expert review）代替了傳統(tǒng)的 “同行評價”（peer review）。專家評議法的優(yōu)勢，一是促進(jìn)學(xué)者將學(xué)術(shù)自由權(quán)與服務(wù)國家戰(zhàn)略的社會責(zé)任統(tǒng)一起來；二是在學(xué)術(shù)界與社會各界之間就科學(xué)研究的社會貢獻(xiàn)與價值標(biāo)準(zhǔn)形成公共對話空間，全面而公正地反映出研究影響的社會 “圖景”。

3.基于社會影響客觀證據(jù)集的 “去賦值”評價法

案例法與專家評議法都屬于定性評價方法，容易因摻入評估者的主觀價值判斷而降低評估的有效性。為了克服這一缺陷，REF專家組研發(fā)了一個包含上百個指標(biāo)的證據(jù)集作為輔助評價工具。該證據(jù)集對應(yīng)九個評估維度，在每個影響維度下設(shè)立了相應(yīng)的證據(jù)指標(biāo)，以 “措施、證明、書面記錄、點(diǎn)擊量、專利數(shù)、許可證書、合同、收入、銷售額、營業(yè)額、利潤”等可量化形式出現(xiàn) （見表3）。①

REF開發(fā)與引入證據(jù)集，是以 “循證學(xué)”（Evidence-Based Practice）為學(xué)理依據(jù)的。20世紀(jì)末興起的循證思潮，激發(fā)了對社會科學(xué)進(jìn)行非學(xué)術(shù)評估的需求，并在布萊爾政府任內(nèi)備受推崇。②此次證據(jù)集的開發(fā)可視為該理論在REF評估中的深化應(yīng)用。需要指出的是，證據(jù)指標(biāo)集并不是指標(biāo)評價法，正如REF評估指南指出的，證據(jù)只是 “列舉”而不是窮盡所有的 “影響”，它起指導(dǎo)、參考作用，但不是直接的評價工具。[9]盡管如此，證據(jù)集的引入具有重要作用，一方面為影響案例 “佐證材料”的撰寫提供規(guī)范，另一方面為專家提供評價依據(jù)，這就在案例描述與專家評價兩個環(huán)節(jié)之間形成了客觀而統(tǒng)一的 “評價鏈”，較好地實(shí)現(xiàn)了定性描述和定量評估之間的平衡。

在平衡定性和定量評價問題之后，REF還面臨的一個問題是，如何對不同類型的影響進(jìn)行評分，這涉及影響的價值賦值問題。影響的價值賦值其實(shí)隱含了一個前提假設(shè)，即 “影響”一定是有價值的，而價值又有高低之分。斯托克 （Stoker）對此假設(shè)提出了質(zhì)疑，他以藥品沙利度胺 （thalidomide）的例子③來證明:往往最初看起來沒有價值的研究，后來卻被證明對人類有重大貢獻(xiàn)；而那些被認(rèn)為有價值的研究成果，后來卻被證明對人類無益甚至有害。在進(jìn)步和貢獻(xiàn)相對確定并易于衡量的醫(yī)學(xué)領(lǐng)域尚且如此，更不用說政治和社會政策領(lǐng)域了。畢竟，“政治是一個利益與價值觀的優(yōu)先次序相互競爭的領(lǐng)域……政治學(xué)家們最關(guān)心的問題在政治上和道德上的好壞更不清晰，因此也更有風(fēng)險……如果使用預(yù)設(shè)的價值來評價影響，其結(jié)果很可能是損害科學(xué)研究的自治本質(zhì)”[10]。鑒于此，REF摒棄了 “回報”“效益”“價值”等評判標(biāo)準(zhǔn)，而采用了 “廣度”（reach）與 “強(qiáng)度”(significance)兩個標(biāo)準(zhǔn)來評價影響，形成了五個評價等級。以影響的 “廣度”與 “強(qiáng)度”為標(biāo)準(zhǔn)，評價重點(diǎn)不再是 “價值”，而是 “改變”。這種改變包括兩種:一是行為的改變，導(dǎo)致行為改變的影響往往是顯見而易于計量的；二是態(tài)度或觀念的改變，導(dǎo)致觀念改變的影響是長期而潛移默化的，但往往更加重大且深遠(yuǎn)。循證方法更適用于捕捉此類影響，這也佐證了REF采用證據(jù)集的必要性與可行性。

三、評估結(jié)果創(chuàng)新：“后分析”技術(shù)促進(jìn)科研社會影響力的全球擴(kuò)散

為了將評價結(jié)果以直觀清晰的形式傳達(dá)給決策者和公眾，REF2014評估結(jié)果發(fā)布之后，英國高等教育撥款委員會 （Higher Education Funding Council for England,HEFCE）還委托蘭德歐洲公司 （LAND Europe）、Techpolics調(diào)查公司、麥克米林公司 （Macmillan）、倫敦國王學(xué)院的數(shù)字人文系 （Department of Digital Humanities）等第三方組織，對REF科研影響評估開展了一系列 “后分析”（post-REF analysis），以更好地呈現(xiàn)英國科研的社會影響力。

1.在線案例數(shù)據(jù)庫的創(chuàng)建

麥克米林公司旗下的數(shù)字科學(xué)研究所（Digital Science）對參評機(jī)構(gòu)提交的6000多個影響案例進(jìn)行了通用格式處理，并對案例的佐證文獻(xiàn)鑒定后提供了原文鏈接，在此基礎(chǔ)上成功開發(fā)了一個英國大學(xué)科研影響案例在線數(shù)據(jù)庫，該數(shù)據(jù)庫已在REF官網(wǎng)發(fā)布。該案例庫按照參評院校、評估單元、研究領(lǐng)域、影響類型和影響范圍等進(jìn)行了分類整理，并開發(fā)了簡單檢索、定向檢索、通配符檢索、文本檢索等多種檢索方法，公眾可按分類便捷地搜索到想要查詢的案例。REF官網(wǎng)聲明，“案例數(shù)據(jù)庫是公開免費(fèi)的，任何對此感興趣的英國及海外政策分析人士都可以查閱與下載”[11]。

2.全球影響力 “地圖”的開發(fā)

倫敦國王學(xué)院的研究團(tuán)隊采用主題建模、關(guān)鍵字搜索和信息提取等多種文本挖掘技術(shù)，對在線案例文本進(jìn)行了綜合分析，以揭示英國科研影響的主題、性質(zhì)、路徑、規(guī)模、學(xué)科分布、受益者類型等特征。其中最引發(fā)關(guān)注的是，項目組開發(fā)了一款可視化地圖軟件，直觀地顯示出目前在世界上的249個國家和地區(qū)中④，英國高校2014年在REF評審中提交的影響案例已經(jīng)覆蓋了205個，表明過去20年里英國高校的科研成果在世界范圍產(chǎn)生了廣泛影響力。地圖還顯示，英國高校科研對 “金磚四國”的影響頗為顯著，在17932個非英國地理標(biāo)簽中，1640個被標(biāo)記為 “金磚四國”，其中，對巴西的影響學(xué)科覆蓋比例最廣，而中國在影響案例中最經(jīng)常被提及，且影響明顯集中于A組和B組，也就是說，在生命醫(yī)學(xué)和自然科學(xué)研究方面，中英開展了更多的合作研究。[12]

3.“影響力發(fā)現(xiàn)”工具的應(yīng)用

“影響力發(fā)現(xiàn)”工具 （The ImpactFinder）是以 “影響數(shù)組陣列”的點(diǎn)陣聚集度來呈現(xiàn)影響發(fā)生的密集領(lǐng)域的一款可視化工具，其功能是可以直觀地呈現(xiàn)出科研影響在學(xué)科分布的密度和強(qiáng)度。The ImpactFinder最初是由蘭德歐洲公司開發(fā)，用來評估生物醫(yī)學(xué)研究對健康的影響，現(xiàn)已在許多研究資助機(jī)構(gòu)的評估中使用。REF引入科研影響評估后，蘭德公司和Ranmore咨詢集團(tuán)合作，將The ImpactFinder的評估單位從學(xué)科擴(kuò)展到學(xué)校，并開發(fā)了 “分析包”和 “建議包”兩項內(nèi)容，“分析包”的功能提供一個關(guān)于學(xué)校整體科研影響分布狀況的“影響數(shù)組陣列”圖，顯示學(xué)校的影響案例發(fā)生比較密集的學(xué)科，學(xué)校可根據(jù)演示結(jié)果尋找典型案例，進(jìn)而搜集影響證據(jù)；“建議包”則在“分析包”的基礎(chǔ)上，指導(dǎo)學(xué)校明確本校科研影響的特征以及科研成果轉(zhuǎn)化的戰(zhàn)略路徑。[13]

四、關(guān)于REF科研影響評估的爭論

REF的評估結(jié)果不僅決定了英國官方近20億英鎊的研究經(jīng)費(fèi)在下一個撥款期的分配去向，而且是工商業(yè)界研發(fā)投資和社會慈善捐資的重要參考依據(jù)?？蒲杏绊懽鳛橐粋€嶄新的板塊被引入REF評估，勢必對英國高校的經(jīng)費(fèi)分配乃至科研戰(zhàn)略與辦學(xué)方向產(chǎn)生重大影響。因此，自REF2014實(shí)施科研影響評估以來，英國本土關(guān)于這一改革的討論就沒有停止過，爭論的焦點(diǎn)集中在以下三個方面。

1.非學(xué)術(shù)影響評估是否會危害學(xué)術(shù)自治

對非學(xué)術(shù)影響評估最普遍的質(zhì)疑就是，學(xué)術(shù)自治將被來自社會的 “他治”關(guān)系所規(guī)制而受到侵蝕。尤其在社會科學(xué)領(lǐng)域，這種質(zhì)疑之聲從未停止過。簡·塞爾比 （Jan Selby）閱讀了REF政治學(xué)科排前15名的學(xué)校提交的43個案例文本，發(fā)現(xiàn)沒有一個案例以馬克思主義、激進(jìn)女權(quán)主義或后殖民主義思想為研究基礎(chǔ)，也沒有出現(xiàn) “對抗”、“抵制”或 “譴責(zé)”等字眼的標(biāo)題。這引發(fā)的爭論是，專業(yè)知識沒有用來改進(jìn)政策，而只是用于證明當(dāng)前決策的理性過程，從而為根深蒂固的黨派信仰和既定權(quán)力提供支持。[14]理查德 （Richard）警告說:“為了產(chǎn)生影響而接近權(quán)力帶來了風(fēng)險，學(xué)者們被吸入威斯敏斯特泡沫 （Westminster bubble）之中，他們有意識或無意識地受內(nèi)部特權(quán)（privileged insider access）的誘惑而失去了價值中立的判斷。”[15]然而，持不同意見的學(xué)者認(rèn)為，科研影響評估為研究與社會之間提供了一個公共對話空間，是對研究與社會規(guī)約關(guān)系的積極構(gòu)建，并不侵蝕學(xué)術(shù)自治?？?（Callon）說:“自治并不是通過將社會與科研問題選擇相分離或通過研究者對知識運(yùn)用的自我隔離來實(shí)現(xiàn)的，而是通過構(gòu)建確保特定情境場域之間知識轉(zhuǎn)化過程中高度自治的機(jī)構(gòu)實(shí)現(xiàn)的。”[16]因此，“研究影響不是一個讓我們充滿恐懼和厭惡的問題，而是作為一名研究人員應(yīng)做事情的一部分”[17]。

2.非學(xué)術(shù)影響評估是否會損害基礎(chǔ)研究

THE官網(wǎng)的一篇分析報道指出，老牌的曼徹斯特大學(xué)是REF2014評估中最大的 “輸家”（biggest loser），損失了1060萬英鎊科研經(jīng)費(fèi)。倫敦帝國理工學(xué)院獲得的經(jīng)費(fèi)資助也下降5%，劍橋大學(xué)則出現(xiàn)3.4%的損失。相比之下，一些92后大學(xué) （post-92 universities）卻成為最大的“贏家”。 諾森比亞大學(xué) （Northumbria University）的科研撥款增加330萬英鎊，哈德斯菲爾德大學(xué) （University of Huddersfield）增加280萬英鎊。而在獲得科研經(jīng)費(fèi)低于100萬英鎊的大學(xué)中，科研經(jīng)費(fèi)增幅最大的是貝德福德郡大學(xué)（University of Bedfordshire）和邊緣山大學(xué)（Edge Hill University），經(jīng)費(fèi)資助都翻了一番。[18]一些學(xué)者由此擔(dān)心非學(xué)術(shù)影響評估將研究資金導(dǎo)向更容易證明影響的應(yīng)用研究，而削弱基礎(chǔ)研究:“科研影響評估正在改變研究的性質(zhì)，使其更具有實(shí)用性。這是件壞事嗎？如果它破壞了藍(lán)天研究 （blue sky research），如果它缺乏科學(xué)的想象力，那就有可能。”[19]但相反的意見卻認(rèn)為，REF引入科研影響評價有望打破 “馬太效應(yīng)”，使長期以來被羅素集團(tuán)大學(xué)⑤所壟斷的科研經(jīng)費(fèi)流向具有顯著服務(wù)特色和社會影響潛力的新型大學(xué)，這實(shí)際給了基礎(chǔ)研究和應(yīng)用研究公平的競爭機(jī)會。因?yàn)榛A(chǔ)研究如果無法在科研影響評價環(huán)節(jié)獲得優(yōu)勢，則可以在 “科研產(chǎn)出”板塊證明自己的卓越性，而 “科研產(chǎn)出”板塊在REF評估中所占權(quán)重高達(dá)65%?？梢?，基礎(chǔ)研究不會因?yàn)镽EF引入科研影響評價而處于不利地位，更不會因此而導(dǎo)致基礎(chǔ)研究貶值。

3.非學(xué)術(shù)影響評估方法是否有效可行

對于REF2014采用的 “影響案例+影響模板”的評估方法，不少人提出了質(zhì)疑。他們指出，案例的寫作質(zhì)量直接影響評分，一些高校為了獲得高分，甚至雇用 “槍手”來寫作案例，結(jié)果導(dǎo)致案例 “缺乏專業(yè)性，評估專家很可能是根據(jù)案例的寫作水平而不是實(shí)質(zhì)性的影響做出評價的”[20]。還有批評者指出，影響模板反映的大都是學(xué)校的戰(zhàn)略計劃，這些計劃很可能是撰寫人想象出來的，而不是基于現(xiàn)實(shí)的做法，也難以進(jìn)行核實(shí)，這讓評估變得很不可靠。有人甚至調(diào)侃說，“影響模板具有 ‘童話性質(zhì)’，影響案例則是一種 ‘修飾性的文字游戲’”[21]。而對REF科研影響評估最直接的批評是其高額成本。根據(jù)蘭德公司對20所院校的分析調(diào)查，準(zhǔn)備一個影響案例的成本約為7500英鎊，一個影響模板的成本約3500英鎊。英國高校共花費(fèi)約5500萬英鎊準(zhǔn)備提交影響評估的材料。[22]一直以來，英國科研評估因成本不斷攀升，耗資巨大而備受詬病，此次REF引入科研影響評估，評估成本不降反升，必然帶來對其可行性的質(zhì)疑。

這些意見得到了重視和回應(yīng)。為了降低成本，HEFCE決定REF2021評估取消 “影響模板”，并對案例模板進(jìn)行了更加結(jié)構(gòu)化的處理，要求撰寫內(nèi)容聚焦于研究與影響之間關(guān)系的說明。任何評估方法都不是完美無缺的，尤其科學(xué)研究所產(chǎn)生的非學(xué)術(shù)影響具有長期性和非線性特征，其評估方法的完善必然會經(jīng)歷一個長期實(shí)踐與修正的過程?？傮w來看，HEFCE對REF的科研影響評估充滿信心，決定2021年繼續(xù)科研影響評估，并將其比重從20%提高至25%。[23]這意味著將近5億的科研經(jīng)費(fèi)與高?？蒲挟a(chǎn)生的非學(xué)術(shù)性質(zhì)的社會影響掛鉤?？蒲杏绊懺u估的持續(xù)進(jìn)行，對英國大學(xué)的科研行為、發(fā)展戰(zhàn)略所產(chǎn)生的影響由此可想而知。正如一位大學(xué)校長所言，“我們不能保證我們的研究產(chǎn)生什么影響，但是，科研影響評估使我們認(rèn)識到，我們需要觀念和文化的改變來培養(yǎng)影響力的產(chǎn)生”[24]。蘭德公司的調(diào)查也顯示，英國高校正在積極采取應(yīng)對之策，一些高校開始將科研影響納入其研究戰(zhàn)略，利用編制案例模板的經(jīng)驗(yàn)來指導(dǎo)正在進(jìn)行的研究；一些高校正在考慮采用一種系統(tǒng)的機(jī)制或方法來收集、跟蹤和記錄研究影響；還有一些高校通過采取擴(kuò)大宣傳策略，提高研究影響的社會知名度?？梢哉f，“高等教育內(nèi)部的文化正在發(fā)生著變化，一種基于社會影響力的文化正在培育之中”[25]。

注釋：

①受篇幅所限，本文僅節(jié)選 “社會、文化和創(chuàng)造力”維度的證據(jù)集。表中的 “影響類型”指影響主要發(fā)生的領(lǐng)域或呈現(xiàn)的形式。

②循證學(xué)由David L Sackett教授首次提出，本意是 “基于證據(jù)的實(shí)踐”，其理念始于20世紀(jì)末發(fā)展起來的循證醫(yī)學(xué)，最初指醫(yī)生 “將當(dāng)前所能獲得的最佳研究證據(jù)與自身的專業(yè)技能及患者的價值觀整合起來進(jìn)行治療”。此后，它以迅雷不及掩耳之勢席卷了整個醫(yī)療衛(wèi)生領(lǐng)域，并不斷向鄰近學(xué)科滲透，形成了循證心理治療、循證教育學(xué)、循證社會學(xué)等數(shù)十個新的學(xué)科領(lǐng)域。循證學(xué)關(guān)注什么研究是有效的證據(jù)，如何提高研究證據(jù)的質(zhì)量，如何更好地使用研究證據(jù)等，這些都促成了對研究的非學(xué)術(shù)影響的關(guān)注。

③沙利度胺是人類藥物史上一個著名的案例。沙利度胺被發(fā)現(xiàn)有鎮(zhèn)靜催眠作用，還能夠顯著抑制妊娠反應(yīng)。自20世紀(jì)50年代末開始陸續(xù)投放歐洲、日本、澳大利亞、非洲和拉丁美洲市場，直到60年代初發(fā)現(xiàn)，服用沙利度胺使46個國家的超過一萬名新生兒出現(xiàn)畸形。

④該地圖軟件的國家單位參照的是ISO3166-1標(biāo)準(zhǔn)制定的國家代碼。目前，世界上有249個國家、地區(qū)在ISO中被指定了代碼，這比聯(lián)合國官方承認(rèn)的國家數(shù)字要高，因?yàn)镮SO編碼包括未被聯(lián)合國承認(rèn)的國家。

⑤羅素大學(xué)集團(tuán) （The Russell Group）成立于1994年，由英國最頂尖的24所世界一流研究型大學(xué)組成。該高校聯(lián)盟代表著英國大學(xué)的最高學(xué)術(shù)水平，集團(tuán)成員每年共獲得全英大學(xué)65%以上的科研經(jīng)費(fèi)和贊助資金。