羅彪+楊婷婷+王海風(fēng)
”摘要: ”文章初步構(gòu)建了我國(guó)自然科學(xué)基金績(jī)效評(píng)估框架及相應(yīng)的評(píng)價(jià)指標(biāo)體系。首先,界定基金績(jī)效內(nèi)涵,在利益相關(guān)者的視角下分析我國(guó)基金績(jī)效評(píng)估的主要要素。然后對(duì)美、日等國(guó)評(píng)估實(shí)例進(jìn)行比較分析,總結(jié)評(píng)估經(jīng)驗(yàn)。然后對(duì)我國(guó)基金績(jī)效評(píng)估現(xiàn)狀進(jìn)行回顧與梳理,通過比較分析提出基金績(jī)效評(píng)估框架。最后一句評(píng)估框架設(shè)計(jì)構(gòu)建多維度評(píng)估指標(biāo)體系。期望能為NSC和省級(jí)基金績(jī)效評(píng)估展開提供啟示,也能為同類科學(xué)資助機(jī)構(gòu)績(jī)效評(píng)估提供借鑒。
關(guān)鍵詞:績(jī)效評(píng)估;公共組織;評(píng)估框架;評(píng)估指標(biāo)
中圖分類號(hào):C37文獻(xiàn)標(biāo)志碼:A文章編號(hào):1009-0X(2014)04-0001-0810
一、引言
我國(guó)自然科學(xué)基金委員會(huì)(National Natural Science oundation o China, NSC)于2010年開展了國(guó)際評(píng)估,對(duì)自然科學(xué)基金(以下簡(jiǎn)稱“基金”)資助與管理績(jī)效進(jìn)行評(píng)價(jià),開創(chuàng)了我國(guó)基金整體績(jī)效評(píng)估的先河。同一類型的評(píng)估,日本早在十年前就已開展,并在取得卓越成果后以立法形式將這一評(píng)估形式規(guī)范化、制度化,形成一套完整的評(píng)估體系。從時(shí)間以及評(píng)估經(jīng)驗(yàn)來說,我國(guó)遠(yuǎn)遠(yuǎn)落后。作為我國(guó)基礎(chǔ)研究領(lǐng)域最重要的資助渠道之一,自然科學(xué)基金一直以來致力于為科學(xué)研究的順利開展提供保障,1986—2012年間,科學(xué)基金批準(zhǔn)資助經(jīng)費(fèi)達(dá)9334億元,年度批準(zhǔn)資助經(jīng)費(fèi)從1986年109億元增加到2012年2366億元。隨著投入的不斷增大,對(duì)基金績(jī)效評(píng)估的需求也越來越迫切:從基礎(chǔ)研究角度看,目前世界各國(guó)競(jìng)爭(zhēng)激烈,科學(xué)研究已成為了國(guó)際競(jìng)爭(zhēng)前沿的戰(zhàn)略高地,有效評(píng)估可明確其對(duì)國(guó)家發(fā)展的貢獻(xiàn);從公共財(cái)政角度看,基金的資金主要來源于財(cái)政稅收,有效評(píng)估為科學(xué)合理的分配有限資金提供了依據(jù)。綜合橫向?qū)Ρ群托枨蟮钠惹行?,如何在“?guó)際評(píng)估”的影響下,深化基金績(jī)效評(píng)估在我國(guó)的推行就成為了一個(gè)迫在眉睫的問題。
自上世紀(jì)60年代以來,一些最早設(shè)立科學(xué)基金的國(guó)家就陸續(xù)展開了對(duì)基金委資助工作的評(píng)估,但由于評(píng)估機(jī)制、評(píng)估目的、評(píng)估對(duì)象等選擇的不同,各國(guó)基金績(jī)效評(píng)估模式呈現(xiàn)顯著差異。目前國(guó)內(nèi)基金績(jī)效評(píng)估的研究主要集中在以下三個(gè)方面:其一,借鑒美國(guó)、英國(guó)等發(fā)達(dá)國(guó)家科學(xué)資助機(jī)構(gòu)的績(jī)效評(píng)估實(shí)踐,對(duì)績(jī)效評(píng)估的價(jià)值、內(nèi)容和方法等問題進(jìn)行探討。其二, 從項(xiàng)目績(jī)效評(píng)估的角度,對(duì)項(xiàng)目后評(píng)估的理論、模型和指標(biāo)等進(jìn)行研究。其三,引入綜合評(píng)估方法,采用實(shí)證研究方式,對(duì)資助項(xiàng)目績(jī)效進(jìn)行驗(yàn)證性評(píng)估??傮w而言相關(guān)研究熱衷于從項(xiàng)目視角探索新方法,對(duì)整體自然科學(xué)基金進(jìn)行評(píng)估的研究在我國(guó)仍屬于空白點(diǎn)。然而,對(duì)基金績(jī)效評(píng)估并不簡(jiǎn)單等同于對(duì)資助項(xiàng)目及其成果的驗(yàn)收評(píng)估,也不是簡(jiǎn)單以單一項(xiàng)目為評(píng)價(jià)對(duì)象,自然科學(xué)基金績(jī)效評(píng)估究竟應(yīng)該評(píng)些什么?不同評(píng)估模式的著力點(diǎn)在哪里?我國(guó)應(yīng)該選用哪種評(píng)估模式?對(duì)這些問題的解釋將直接影響我國(guó)自然科學(xué)基金績(jī)效評(píng)估框架的建立。本文以基金績(jī)效評(píng)估要素為基礎(chǔ),通過美日英三國(guó)的評(píng)估實(shí)例,分析其主要特征,并與我國(guó)基金績(jī)效評(píng)估進(jìn)行比較,提出我國(guó)基金績(jī)效評(píng)估框架,并提出相應(yīng)的指標(biāo)體系,以期對(duì)我國(guó)科學(xué)基金績(jī)效評(píng)價(jià)體系的完善有所促進(jìn)。
二、概念界定
國(guó)內(nèi)學(xué)者在進(jìn)行基金績(jī)效評(píng)估研究時(shí),并未對(duì)這一概念進(jìn)行恰當(dāng)解剖辨析,在實(shí)際研究中存在“自然科學(xué)基金績(jī)效”,“項(xiàng)目資助績(jī)效”,“自然科學(xué)基金委資助績(jī)效”等多種說法,往往出現(xiàn)不同學(xué)者采用同一標(biāo)題但研究?jī)?nèi)容迥異的現(xiàn)象,因此有必要首先對(duì)基本概念進(jìn)行界定
”(0華 南 理 工 大 學(xué) 學(xué) 報(bào)(社 會(huì) 科 學(xué) 版))Y(〗第16卷Y)
”第4期(羅彪 等:我國(guó)自然科學(xué)基金績(jī)效評(píng)估框架構(gòu)建
(一)績(jī)效
對(duì)“績(jī)效(perorance)”的含義, 博納?。˙ernardin)等(1984)認(rèn)為,績(jī)效是在特定時(shí)間范圍,在特定工作職能、活動(dòng)或行為上生產(chǎn)出的結(jié)果記錄。OECD(1994)在《績(jī)效管理和評(píng)估》報(bào)告中對(duì)績(jī)效進(jìn)行了界定,“績(jī)效是實(shí)施一項(xiàng)活動(dòng)所獲得的相對(duì)于目標(biāo)的有效性,它不僅包括從事該活動(dòng)的效率、效力和經(jīng)濟(jì)性,還包括活動(dòng)實(shí)施主體對(duì)預(yù)定活動(dòng)過程的遵從度以及該項(xiàng)活動(dòng)的公眾滿意度”。理查德·斯旺森認(rèn)為績(jī)效就是一個(gè)系統(tǒng)所生產(chǎn)的被認(rèn)為有價(jià)值的以產(chǎn)品或服務(wù)形式表現(xiàn)的產(chǎn)出。
從上述定義看,各學(xué)者均認(rèn)為績(jī)效是行為或活動(dòng)的有效性,由此可見績(jī)效本身是一個(gè)多維的概念,它是效果、效益和效率的總稱,不僅包括行為過程也包括行為結(jié)果,同時(shí)伴隨著對(duì)目標(biāo)的實(shí)現(xiàn)程度。
(二)基金績(jī)效
自然科學(xué)基金是指科學(xué)資助機(jī)構(gòu)接受政府的委托,采取科學(xué)基金制對(duì)政府投入科學(xué)的公共經(jīng)費(fèi)進(jìn)行集中管理與分配,為優(yōu)質(zhì)基礎(chǔ)研究項(xiàng)目提供穩(wěn)定、可靠的經(jīng)費(fèi)來源。一般認(rèn)為,“基金”包含“資金(und)”和“組織(oundation)”兩個(gè)層面的含義:從資金上來講,基金是用于特定目的并獨(dú)立核算的資金;從組織上講,基金是為特定目標(biāo)而專門管理和運(yùn)作資金的機(jī)構(gòu)或組織。結(jié)合“基金”與“績(jī)效”定義,可對(duì)基金績(jī)效進(jìn)行不同分類:①?gòu)膬?nèi)容看,基金績(jī)效可分為資助戰(zhàn)略績(jī)效、資助過程績(jī)效和資助結(jié)果績(jī)效。②從對(duì)象看,基金績(jī)效可分為資助投資效率和組織管理績(jī)效。
(三)基金績(jī)效評(píng)估
結(jié)合以上定義,基金績(jī)效評(píng)估是對(duì)基金委在進(jìn)行公共資金管理和資助活動(dòng)所產(chǎn)生的結(jié)果以及實(shí)現(xiàn)預(yù)期目標(biāo)程度進(jìn)行分析、評(píng)價(jià),即評(píng)估主體在一定的時(shí)間、空間范圍內(nèi),采用有關(guān)評(píng)估方法,按照一定的評(píng)估標(biāo)準(zhǔn),對(duì)基金委管理情況以及資助結(jié)構(gòu)進(jìn)行評(píng)判和比較,形成評(píng)估結(jié)論,為科學(xué)決策提供參考意見。這一過程是對(duì)基金委活動(dòng)的科學(xué)性、可行性和有效性進(jìn)行評(píng)判,因此本文研究是將科技計(jì)劃、組織框架、工作流程與項(xiàng)目產(chǎn)出相結(jié)合,評(píng)估科學(xué)基金整體績(jī)效。
三、自然科學(xué)基金績(jī)效評(píng)估要素分析
評(píng)估是按照明確的目標(biāo)來測(cè)定對(duì)象的屬性,并將這種屬性變?yōu)橹饔^效用的行為,即明確價(jià)值的過程。從系統(tǒng)論角度來看,評(píng)估要素主要包括評(píng)估主體、評(píng)估客體、評(píng)估目的和評(píng)估結(jié)果等,各要素相互聯(lián)系彼此影響,構(gòu)成一套完整的評(píng)估系統(tǒng)。肖利(2004)提出,科技項(xiàng)目評(píng)估中出現(xiàn)的問題,主要在于評(píng)估價(jià)值導(dǎo)向不清、評(píng)估目的不明確、評(píng)估程序缺乏科學(xué)規(guī)范、評(píng)估方法選擇不當(dāng)、評(píng)估結(jié)果被扭曲等。自然科學(xué)基金績(jī)效評(píng)估是一個(gè)復(fù)雜的社會(huì)過程,要構(gòu)建一個(gè)適用的評(píng)估框架,就必須從基本評(píng)估要素開始。
自然科學(xué)基金作為一個(gè)典型的利益相關(guān)者組織,各利益相關(guān)者之間動(dòng)態(tài)關(guān)聯(lián),影響基金資助績(jī)效。根據(jù)米切爾評(píng)分法(Mitchell ScoreBased Approach)對(duì)利益相關(guān)者的界定,我國(guó)自然科學(xué)基金績(jī)效評(píng)估的確定型利益相關(guān)者主要包括上級(jí)政府部門、基金委自身和公眾。
1評(píng)估主體,即“誰來評(píng)”。績(jī)效評(píng)估本質(zhì)上是人的價(jià)值判斷行為,評(píng)估指標(biāo)的理解、評(píng)估程序的服從,往往因評(píng)估主體的不同而有差異,因此評(píng)估主體在績(jī)效評(píng)估中占據(jù)重要地位。對(duì)基金績(jī)效評(píng)估主體,學(xué)者存在不同的意見。曲應(yīng)龍根據(jù)委托代理理論提出科技項(xiàng)目績(jī)效評(píng)估主體系統(tǒng),主張完全獨(dú)立的評(píng)估主體。然而學(xué)者在對(duì)這一問題進(jìn)行研究時(shí),沒有考慮到評(píng)估主體的適用性,一個(gè)理想的評(píng)估主體不僅應(yīng)結(jié)合低利益相關(guān)性和高知識(shí)擁有度,同時(shí)要考慮到一國(guó)文化等因素。
2評(píng)估目的,即“為什么評(píng)”。績(jī)效評(píng)估必須解決動(dòng)力問題,即找到充分的理由,要發(fā)現(xiàn)必要性的依據(jù)。從主要利益相關(guān)者的不同需求出發(fā),我國(guó)基金績(jī)效評(píng)估目的具體可分三個(gè)層面:①政府層面:政府部門與基金委實(shí)際上是一種委托—代理關(guān)系,作為科技發(fā)展規(guī)劃和科技政策的制定者,政府需要明確基金委戰(zhàn)略目標(biāo)的實(shí)現(xiàn)程度。②基金委層面:基金委作為管理部門,要求對(duì)科學(xué)研究的過程與結(jié)果進(jìn)行績(jī)效評(píng)估,以提高資助和管理的質(zhì)量、效益與效率。③公眾層面:在“新公共運(yùn)動(dòng)”強(qiáng)調(diào)結(jié)果、問責(zé)、透明和回應(yīng)的背景下,公眾要求科學(xué)界說明公共資金花在了哪里?公共資金資助的科學(xué)研究與解決公共所關(guān)心的問題間有何關(guān)聯(lián)?
3評(píng)估客體,即“評(píng)估誰”。評(píng)估客體取決于評(píng)估目的。在利益相關(guān)者視角下,科學(xué)基金績(jī)效評(píng)估是一種基于需求的評(píng)估,即從利益相關(guān)者的不同關(guān)注點(diǎn)和需求點(diǎn)出發(fā),評(píng)估科學(xué)基金資助與管理工作的有效性。因此,一個(gè)全面、客觀的績(jī)效評(píng)估活動(dòng),必須權(quán)衡和取舍利益相關(guān)者需求,從而達(dá)到利益的協(xié)調(diào)和共贏。
4評(píng)估實(shí)施,即“怎樣評(píng)”。評(píng)估首先要依據(jù)相關(guān)法規(guī),同時(shí)要符合現(xiàn)代公共管理理念,運(yùn)用現(xiàn)代績(jī)效管理技術(shù),重視科學(xué)性、合理性、可行性和有效性。按照目前績(jī)效管理理論和技術(shù)發(fā)展水平,績(jī)效評(píng)估所遵循的程序基本相同:①選擇考評(píng)客體;②明確績(jī)效目標(biāo);③確定考評(píng)指標(biāo);④考評(píng)實(shí)際績(jī)效;⑤實(shí)際績(jī)效與期望績(jī)效對(duì)比;⑥做出決策。其中信息的收集和處理是最重要的環(huán)節(jié),是能否考評(píng)出實(shí)際績(jī)效的依據(jù)。
評(píng)估結(jié)果,評(píng)估結(jié)果是績(jī)效評(píng)估最終的形式結(jié)果,評(píng)估結(jié)果使用是激勵(lì)和問責(zé)的主要依據(jù),其方式包括公開、獎(jiǎng)懲、配置資源、改進(jìn)管理等。
評(píng)估作為一門經(jīng)驗(yàn)科學(xué),經(jīng)驗(yàn)性是其最重要的特點(diǎn)之一,因此要分析我國(guó)自然科學(xué)基金績(jī)效評(píng)估要素以及每一部分關(guān)鍵點(diǎn),分析借鑒國(guó)外先進(jìn)評(píng)估經(jīng)驗(yàn)具有必要性和可行性。
四、國(guó)外自然科學(xué)基金績(jī)效評(píng)估概況及比較
自20 世紀(jì)60 年代起,經(jīng)濟(jì)合作與發(fā)展組織(OECD)的一些國(guó)家就開始嘗試對(duì)政府支持的科學(xué)研究活動(dòng)的投入、產(chǎn)出、成果和影響定量評(píng)估方法探索。作為世界上最發(fā)達(dá)國(guó)家的基礎(chǔ)研究的政府資助機(jī)構(gòu),20世紀(jì)70年代,美國(guó)國(guó)家科學(xué)基金會(huì)(NS)和國(guó)立衛(wèi)生研究會(huì)(NI)成立了評(píng)估辦公室,開始探索基金績(jī)效評(píng)估方法及其影響力。20世紀(jì)80年代后,主要?jiǎng)?chuàng)新型國(guó)家對(duì)基礎(chǔ)研究持續(xù)強(qiáng)力投入,政府性科學(xué)發(fā)展基金規(guī)模日漸龐大,政府科技計(jì)劃的績(jī)效評(píng)價(jià)在世界范圍內(nèi)推行開來??偟膩砜矗澜缰饕獓?guó)家基金績(jī)效評(píng)估模式可以進(jìn)行如下分類:
(1)基于動(dòng)因,分為“形成式評(píng)估”和“總結(jié)式評(píng)估”。前者是為了及時(shí)調(diào)整修改基金工作中的問題方向,以獲得更加理想的效果。出發(fā)點(diǎn)是組織內(nèi)部,自我評(píng)估是其主要評(píng)估方式,日本是主要代表國(guó)家。后者評(píng)估目的在于證明政府行為的合理性,出發(fā)點(diǎn)來源于政府預(yù)算壓力,以英美為主要代表。
(2)基于導(dǎo)向,可以分為“結(jié)果導(dǎo)向評(píng)估”和“戰(zhàn)略導(dǎo)向評(píng)估”。前者是在新公共運(yùn)動(dòng)的作用下,突破了以往評(píng)估模式強(qiáng)調(diào)研究活動(dòng)定量的近期直接“產(chǎn)出”(output)的局限,擴(kuò)展為更多關(guān)注其對(duì)學(xué)術(shù)界和經(jīng)濟(jì)社會(huì)諸方面的中期乃至長(zhǎng)期影響的綜合性“成果”(outcoe),英國(guó)是這一范式的典型代表。后者是在戰(zhàn)略管理于公共部門的不斷應(yīng)用的基礎(chǔ)上發(fā)展出的一種績(jī)效評(píng)估范式,“目標(biāo)—結(jié)果”的邏輯結(jié)構(gòu)貫穿評(píng)估過程的始終,代表國(guó)家有美國(guó)、日本、加拿大等。
不同的評(píng)估模式下,基金績(jī)效評(píng)估的重點(diǎn)也有所不同,以下通過美日兩個(gè)具有代表意義國(guó)家的基金績(jī)效評(píng)估模式說明在基金績(jī)效評(píng)估中不同的評(píng)估目標(biāo)對(duì)評(píng)估內(nèi)容、評(píng)估客體等要素的影響。
(一)美國(guó)NS“目標(biāo)—結(jié)果”績(jī)效評(píng)估
美國(guó)國(guó)家科學(xué)基金會(huì)(National Science oundation, NS)成立于190年,作為一個(gè)聯(lián)邦政府機(jī)構(gòu),NS于上個(gè)世紀(jì)90年代末開始在聯(lián)邦政府的績(jī)效管理體制下對(duì)科學(xué)研究的績(jī)效評(píng)估進(jìn)行了一系列的探索和實(shí)踐。1993年美國(guó)聯(lián)邦政府頒布了《政府績(jī)效與結(jié)果法》(Governent Perorance and Results Act, GPRA),根據(jù)規(guī)定,NS需要制定五年戰(zhàn)略規(guī)劃、年度績(jī)效計(jì)劃并發(fā)布年度績(jī)效報(bào)告。隨后,在2001和2002年美國(guó)聯(lián)邦政府又分別提出了總統(tǒng)管理議程(President Manageent Agenda, PMA)和項(xiàng)目評(píng)價(jià)等級(jí)工具(Progra Aeent Rating ool, PAR),在這三份文件的影響和推動(dòng)下,形成了一套評(píng)估NS績(jī)效的有效體系。
NS績(jī)效評(píng)估客體可分為項(xiàng)目、資助計(jì)劃、科學(xué)處和NS整體四個(gè)層次,實(shí)行“自下而上”的評(píng)估方式:先從項(xiàng)目評(píng)估開始,通過PAR對(duì)項(xiàng)目本身的目標(biāo)設(shè)定和管理等進(jìn)行比較評(píng)估;再逐步向上評(píng)估資助項(xiàng)目成果與資助計(jì)劃的一致性程度;再到上一層次,由績(jī)效評(píng)估委員會(huì)(AC/GPA)的外部專家通過項(xiàng)目和資助計(jì)劃的評(píng)估結(jié)果對(duì)整體戰(zhàn)略規(guī)劃的實(shí)現(xiàn)情況進(jìn)行評(píng)估;最后評(píng)估科技活動(dòng)對(duì)NS以及對(duì)國(guó)家、社會(huì)的整體影響?!澳繕?biāo)—結(jié)果”邏輯貫穿了整個(gè)NS的評(píng)估過程,同時(shí)在具體的績(jī)效評(píng)估過程中針對(duì)不同目標(biāo)實(shí)現(xiàn)情況采取不同的程序和方法:對(duì)于教育和基礎(chǔ)研究成果的不可預(yù)見性,NS采用專家定性評(píng)估的方法;針對(duì)定性成果目標(biāo)的評(píng)估由外部評(píng)估小組完成;而對(duì)于管理與投資方面的目標(biāo)主要采用定量分析的方法。在評(píng)估主體上,NS采用了多元化的績(jī)效評(píng)估主體,以外部咨詢機(jī)構(gòu)進(jìn)行評(píng)估,基金計(jì)劃的制定者、管理者參與較少,以保證評(píng)估的客觀性。評(píng)估結(jié)果提交上級(jí)部門作為預(yù)算編制的因素之一,年度報(bào)告錄入由NS維護(hù)的網(wǎng)絡(luò)系統(tǒng)對(duì)外公布。
(二)日本SPS“自互評(píng)相結(jié)合”績(jī)效評(píng)估
日本國(guó)會(huì)于2001年正式頒布了《關(guān)于行政機(jī)關(guān)實(shí)施政策評(píng)價(jià)的法律》(Governent Policy Evaluation Act , GPEA),法案要求所有政府機(jī)構(gòu)都要設(shè)計(jì)各自的3年中期發(fā)展目標(biāo)、發(fā)展規(guī)劃和評(píng)估體系,進(jìn)行自我評(píng)估和第三方評(píng)估。日本學(xué)術(shù)振興會(huì)(apan Society or prootion o Science, SPS)于2003年由原文部省下屬機(jī)構(gòu)正式轉(zhuǎn)型為獨(dú)立行政法人機(jī)構(gòu)(Incorporated Adinistrative Agency, IAA),按照法案的要求,所有IAA都要接受外部委員會(huì)基于其中期目標(biāo)和發(fā)展規(guī)劃進(jìn)行的評(píng)估。在獨(dú)立行政法人改革背景與《政策評(píng)價(jià)法》要求下,SPS于2002年實(shí)施了歷時(shí)十個(gè)月的國(guó)際評(píng)估,由外部評(píng)估專家根據(jù)SPS提供的評(píng)估材料和補(bǔ)充材料做出評(píng)價(jià)。
在國(guó)際評(píng)估之后,SPS采取年度評(píng)估和中期評(píng)估相結(jié)合的方式,即每年對(duì)研究項(xiàng)目進(jìn)行評(píng)估,發(fā)布評(píng)估報(bào)告;每3年對(duì)SPS過去3年的中期規(guī)劃實(shí)施情況進(jìn)行評(píng)估。2004年2月SPS成立了自我檢查委員會(huì)和外部評(píng)估委員會(huì),負(fù)責(zé)開展年度評(píng)估。年度評(píng)估由自我檢查評(píng)估和外部評(píng)估兩部分構(gòu)成,外部評(píng)估實(shí)際上是對(duì)SPS自我評(píng)估進(jìn)行再評(píng)估。最終由后者向SPS理事長(zhǎng)提交年度績(jī)效評(píng)估報(bào)告,并將報(bào)告向公眾公示,展示其資助績(jī)效,接受公眾監(jiān)督。(見表1)
(三)美日基金績(jī)效評(píng)估比較分析
根據(jù)以上內(nèi)容,美國(guó)NS和日本SPS在基金績(jī)效評(píng)估方面既有許多相似之處,也存在著顯著的差異。如表2所示。
首先,從宏觀環(huán)境來說,兩者績(jī)效評(píng)估均是在立法的強(qiáng)制推動(dòng)下采用規(guī)范化的方式實(shí)施。在操作層面,共性經(jīng)驗(yàn)有:①戰(zhàn)略貫穿評(píng)估過程始終;②評(píng)估主體多元化;③內(nèi)部評(píng)估與外部評(píng)估相結(jié)合;④定性評(píng)估與定量評(píng)估相結(jié)合;⑤多維度評(píng)估指標(biāo)。
然而,在具體評(píng)估過程中,兩國(guó)還是存在了顯著不同,美國(guó)強(qiáng)調(diào)“獨(dú)立化”評(píng)估,將科技資助機(jī)構(gòu)作為一個(gè)整體,由獨(dú)立評(píng)估機(jī)構(gòu)對(duì)科技計(jì)劃進(jìn)行全面評(píng)估,根據(jù)評(píng)估結(jié)果調(diào)整計(jì)劃目標(biāo)和預(yù)算,而具體的資助項(xiàng)目的評(píng)估與計(jì)劃評(píng)估相分離;日本則更強(qiáng)調(diào)“一體化”評(píng)估,在評(píng)估過程中強(qiáng)調(diào)“自我評(píng)估”,項(xiàng)目評(píng)估與計(jì)劃評(píng)估一體化。造成這兩種不同的評(píng)估范式的原因主要有:
(1)文化差異。批判精神在西方國(guó)家盛行,第三方評(píng)估起主要作用;而在日本,個(gè)人自律意識(shí)很強(qiáng),同時(shí)避免爭(zhēng)論或不愿意批評(píng)別人的文化傾向使得“自我評(píng)估”占據(jù)了主導(dǎo)地位。
(2)對(duì)政府作用的偏好程度不同。日本強(qiáng)調(diào)政府的主導(dǎo)作用,這種作用滲透到項(xiàng)目評(píng)估層面,項(xiàng)目與計(jì)劃評(píng)估相結(jié)合,偏好計(jì)劃目標(biāo)的實(shí)現(xiàn)程度;美國(guó)則主張市場(chǎng)化競(jìng)爭(zhēng),偏向于制度建設(shè)的良性發(fā)展,這兩種不同的偏好導(dǎo)致了基金評(píng)估目標(biāo)的不同,進(jìn)而影響評(píng)估機(jī)構(gòu)、評(píng)估內(nèi)容、評(píng)估結(jié)果處理等一系列的評(píng)估方面。
五、我國(guó)自然科學(xué)基金績(jī)效評(píng)估框架
(一)我國(guó)自然科學(xué)基金評(píng)估現(xiàn)狀
我國(guó)自然科學(xué)基金績(jī)效評(píng)估工作起步較晚。1997年國(guó)家科技部證實(shí)批準(zhǔn)成立了“國(guó)家科技評(píng)估中心”,科技評(píng)價(jià)作為“第三方立場(chǎng)”被引入政府科技決策系統(tǒng);2003年,科技部出臺(tái)《科學(xué)技術(shù)評(píng)價(jià)辦法》(試行),對(duì)我國(guó)科技評(píng)價(jià)活動(dòng)的規(guī)范化和制度化起著重大作用;2007年,財(cái)政部頒發(fā)《中央級(jí)民口科技計(jì)劃(基金)經(jīng)費(fèi)績(jī)效考評(píng)管理暫行辦法》,提出廣泛開展科技經(jīng)費(fèi)績(jī)效評(píng)估的管理要求。這些規(guī)章制度的頒布對(duì)基金績(jī)效評(píng)估起到了規(guī)范和指導(dǎo)的作用,此后,各科學(xué)部和部門均不同程度的開展了基金績(jī)效評(píng)估活動(dòng),如數(shù)理學(xué)部對(duì)科學(xué)基金專項(xiàng)進(jìn)行績(jī)效評(píng)估,管理科學(xué)部對(duì)面上結(jié)題項(xiàng)目開展了后評(píng)估等。
總體來看,這些評(píng)估多被定位于回顧性評(píng)估,主要目的是了解資助項(xiàng)目的產(chǎn)出情況,具有對(duì)政府投入的科技項(xiàng)目及其成果的驗(yàn)收特征,資助項(xiàng)目是評(píng)估的主要對(duì)象。然而,自然科學(xué)基金評(píng)估并不簡(jiǎn)單等同于對(duì)基金委投入的資助項(xiàng)目及其成果的驗(yàn)收評(píng)估,也不是簡(jiǎn)單以單一項(xiàng)目為評(píng)價(jià)對(duì)象的,而要以對(duì)整體計(jì)劃、組織的評(píng)價(jià)為核心,同時(shí)與資源配置建立緊密聯(lián)系,我國(guó)對(duì)整體基金資助進(jìn)行評(píng)估目前依然有待發(fā)展。
(二)我國(guó)自然科學(xué)基金績(jī)效評(píng)估現(xiàn)狀與他國(guó)比較
將我國(guó)基金績(jī)效評(píng)估與美日基金績(jī)效評(píng)估模式相比較(見表3)可以看出,我國(guó)基金績(jī)效評(píng)估缺乏明確評(píng)估目標(biāo)以及相對(duì)應(yīng)的評(píng)估體系。在評(píng)估目標(biāo)上,表現(xiàn)出結(jié)果導(dǎo)向的總結(jié)式評(píng)估特征,關(guān)注項(xiàng)目執(zhí)行效果和影響,這種評(píng)估導(dǎo)向關(guān)鍵點(diǎn)是基金績(jī)效對(duì)整體科技規(guī)劃的戰(zhàn)略適應(yīng)性進(jìn)行獨(dú)立客觀評(píng)價(jià),需要對(duì)制度設(shè)計(jì)合理性進(jìn)行分析,因此不僅要以資助項(xiàng)目的產(chǎn)出成果為依據(jù),還需要站在戰(zhàn)略規(guī)劃層面進(jìn)行資源合理配置。然而我國(guó)在實(shí)際評(píng)估過程中缺乏相應(yīng)的戰(zhàn)略計(jì)劃評(píng)估,出現(xiàn)評(píng)估主體與科技計(jì)劃管理機(jī)構(gòu)相分離、項(xiàng)目評(píng)估與計(jì)劃預(yù)算評(píng)估相分離等情況,由此形成了評(píng)估目標(biāo)與評(píng)估過程的不協(xié)調(diào)。同時(shí)在評(píng)估背景、評(píng)估主體、評(píng)估內(nèi)容等方面也亟需進(jìn)一步完善。
(三)我國(guó)自然科學(xué)基金績(jī)效評(píng)估框架
基金績(jī)效評(píng)估是一項(xiàng)復(fù)雜的系統(tǒng)過程,涉及到評(píng)估主體、評(píng)估對(duì)象、評(píng)估形式、評(píng)估方法等多個(gè)環(huán)節(jié),同時(shí)國(guó)情不同、文化差異以及經(jīng)濟(jì)發(fā)展水平導(dǎo)致不同的評(píng)估模式。我國(guó)強(qiáng)調(diào)政府導(dǎo)向,但同時(shí)沒有日本文化中的“自律”傾向,缺乏“自評(píng)估”的基礎(chǔ),因此對(duì)別國(guó)模式照搬是行不通的,需建立適合我國(guó)的基金績(jī)效評(píng)估模式。根據(jù)前文對(duì)比結(jié)果及分析,可初步繪制我國(guó)自然科學(xué)基金績(jī)效評(píng)估框架(見圖1)。具體來說:
1制定“基金績(jī)效評(píng)估辦法”。制定評(píng)估規(guī)范是評(píng)估工作的關(guān)鍵和有效運(yùn)行的前提。辦法應(yīng)明確評(píng)估頻率和周期、評(píng)估目的、評(píng)估指標(biāo)范圍、評(píng)估結(jié)果運(yùn)用等內(nèi)容,以規(guī)范的制度形式賦予評(píng)估一定的法理力量,從而保障評(píng)估工作的連續(xù)性、評(píng)估方式的合理性和評(píng)估結(jié)果的實(shí)用性,將自然科學(xué)基金績(jī)效評(píng)估法制化、制度化。
2成立“內(nèi)部評(píng)估小組”。評(píng)估主體的確定應(yīng)兼顧利益相關(guān)性和知識(shí)擁有度兩個(gè)方面。由于我國(guó)制度建設(shè)不全,自評(píng)估的信度和效度難以保障,他評(píng)估應(yīng)成為主要評(píng)估方式。因此可效仿“英國(guó)模式”,在基金委內(nèi)部成立“內(nèi)部評(píng)估小組”,設(shè)立專職負(fù)責(zé)人。“內(nèi)部評(píng)估小組”應(yīng)根據(jù)機(jī)構(gòu)特點(diǎn)和需求組織評(píng)價(jià)工作,同時(shí)在日常工作中還要收集科研產(chǎn)出、影響和投入等資料信息,使評(píng)估真正成為日常工作的組成部分。
3建立績(jī)效評(píng)估數(shù)據(jù)信息支撐系統(tǒng)。全面有效的信息是獲取實(shí)際績(jī)效的基礎(chǔ),應(yīng)重視與績(jī)效目標(biāo)相關(guān)的數(shù)據(jù)采集、證實(shí)和認(rèn)證工作。一套健全的評(píng)估信息系統(tǒng)不僅應(yīng)包括項(xiàng)目申請(qǐng)書系統(tǒng)、項(xiàng)目結(jié)題報(bào)告系統(tǒng)同時(shí)還應(yīng)包括評(píng)估專家系統(tǒng)和財(cái)務(wù)系統(tǒng)等。
4多層次評(píng)估客體。根據(jù)前文分析,我國(guó)基金績(jī)效評(píng)估客體分為戰(zhàn)略目標(biāo)、基金委和資助項(xiàng)目,每個(gè)層次屬性不同,要實(shí)現(xiàn)的目的不同,應(yīng)構(gòu)建相應(yīng)的評(píng)估指標(biāo),選擇不同的評(píng)估方式,同時(shí)各層次之間也相互聯(lián)系互為補(bǔ)充。
績(jī)效評(píng)估報(bào)告??刹扇∧甓葓?bào)告和專題報(bào)告形式。主報(bào)告上交上級(jí)部門最終向公眾公開。專題報(bào)告根據(jù)需要報(bào)送有關(guān)部門,如管理績(jī)效評(píng)估報(bào)告可報(bào)送基金委,便于其了解管理中存在的問題并改進(jìn),同時(shí)將報(bào)告錄入信息系統(tǒng)。
科學(xué)評(píng)估自然科學(xué)基金績(jī)效必須要有一套可行的指標(biāo)體系,只有這樣才能準(zhǔn)確度量出科學(xué)基金的實(shí)際績(jī)效?;鹂?jī)效指標(biāo)設(shè)計(jì)與評(píng)估目標(biāo)密切相關(guān),特定的目的或定位要求特定的指標(biāo)體系,同時(shí)針對(duì)不同的工作性質(zhì)和任務(wù)應(yīng)設(shè)立和采用不同的指標(biāo)體系。如前所述,我國(guó)基金績(jī)效評(píng)估動(dòng)力主要來源于政府、公眾以及基金委自身,相對(duì)應(yīng)的評(píng)估對(duì)象戰(zhàn)略目標(biāo)、項(xiàng)目以及基金委,3個(gè)維度的內(nèi)容存在顯著差異,因此績(jī)效測(cè)量的側(cè)重點(diǎn)也有所不同。由于我國(guó)基金績(jī)效評(píng)估實(shí)踐多停留在項(xiàng)目階段,文獻(xiàn)研究指標(biāo)體系多是基于項(xiàng)目產(chǎn)出,缺乏從不同評(píng)估定位以及評(píng)估對(duì)象出發(fā)設(shè)定指標(biāo)體系,因此本文在基金績(jī)效評(píng)估框架的基礎(chǔ)上,借鑒國(guó)內(nèi)外已有評(píng)估成果以及中國(guó)相關(guān)研究,對(duì)3個(gè)維度的具體內(nèi)容進(jìn)行了分析,進(jìn)而構(gòu)建了我國(guó)基金績(jī)效評(píng)估指標(biāo)體系。
1戰(zhàn)略目標(biāo)績(jī)效評(píng)估。所謂戰(zhàn)略績(jī)效評(píng)估,主要指基金資助與戰(zhàn)略規(guī)劃匹配性的評(píng)估,回答“目的與手段的一致性問題”。這種一致性可分為兩個(gè)層面:形式一致性和實(shí)質(zhì)一致性。前者是指每年的基金資助指南是否較好地滿足了科技發(fā)展規(guī)劃的要求。后者則是指資助項(xiàng)目群是否符合基金資助指南的要求?;趹?zhàn)略的概括性與方向性,應(yīng)建立高質(zhì)量專家評(píng)估組,根據(jù)資助項(xiàng)目以及項(xiàng)目成果對(duì)戰(zhàn)略響應(yīng)進(jìn)行評(píng)估。
2基金委管理評(píng)估。通過外國(guó)評(píng)估實(shí)例可以得出管理績(jī)效評(píng)估重點(diǎn)在于將基金機(jī)構(gòu)作為服務(wù)組織,對(duì)其是否提供了優(yōu)質(zhì)服務(wù)以及是否及時(shí)改進(jìn)服務(wù)進(jìn)行評(píng)估,在評(píng)估方法上偏重專家評(píng)估、問卷訪談等定性評(píng)估方法。我國(guó)學(xué)者吳建南對(duì)項(xiàng)目資助流程和組織管理要素兩個(gè)方面進(jìn)行分析,從而提出了NSC管理績(jī)效的評(píng)估維度和評(píng)估內(nèi)容,為基金管理績(jī)效評(píng)估提供了參考,但是這一分法忽視了基金委作為公共部門服務(wù)目標(biāo)“顧客”的職能。據(jù)此,本文提出從項(xiàng)目運(yùn)營(yíng)管理、組織管理和服務(wù)改進(jìn)三個(gè)維度出發(fā),評(píng)估自然科學(xué)基金委管理績(jī)效。
3資助項(xiàng)目成果績(jī)效評(píng)估?;鹬饕Y助項(xiàng)目為基礎(chǔ)研究,對(duì)其進(jìn)行績(jī)效評(píng)估的主要障礙可歸納為以下兩點(diǎn):①基礎(chǔ)研究具有很強(qiáng)的探索性和風(fēng)險(xiǎn)性,不當(dāng)評(píng)估會(huì)迫使科學(xué)家更多地關(guān)注短期結(jié)果,趨于保守,而不是銳意創(chuàng)新;②基礎(chǔ)研究的結(jié)果可以定量度量,但研究活動(dòng)中很多重要的方面卻難以用定量指標(biāo)來衡量。基礎(chǔ)研究作為科技發(fā)展的重要源泉,決定著自主創(chuàng)新的廣度和深度,創(chuàng)新可以說是基礎(chǔ)研究成果的最主要方面,因此可以通過創(chuàng)新和研究成果兩個(gè)維度,對(duì)資助項(xiàng)目績(jī)效進(jìn)行評(píng)估。這樣既兼顧了基礎(chǔ)研究的探索性長(zhǎng)期績(jī)效與突破成就,同時(shí)也能通過定量指標(biāo)對(duì)資助績(jī)效進(jìn)行直觀展示。已有的研究中針對(duì)創(chuàng)新維度的指標(biāo)構(gòu)建較少,通過對(duì)各國(guó)績(jī)效評(píng)估的實(shí)例研究,可以從是否探索新的科學(xué)技術(shù)領(lǐng)域、是否產(chǎn)生了重大成果以及已有研究是否取得突破性進(jìn)展等方面對(duì)創(chuàng)新展開評(píng)估。針對(duì)研究成果的評(píng)估指標(biāo)構(gòu)建,我國(guó)學(xué)者進(jìn)行了一系列研究,主要分為兩個(gè)層面:①指標(biāo)構(gòu)建方法,主要有德爾菲法、評(píng)分法、比較法、網(wǎng)絡(luò)分析法等。②指標(biāo)體系,主要可分為研究產(chǎn)出、合作交流以及人才培養(yǎng)等。具體指標(biāo)構(gòu)建可根據(jù)基礎(chǔ)研究特點(diǎn)借鑒“3E”、“4E”等理論模式制定。詳細(xì)的指標(biāo)構(gòu)成。
管理評(píng)估項(xiàng)目運(yùn)營(yíng)管理基金委在項(xiàng)目資助流程各個(gè)環(huán)節(jié)的實(shí)際運(yùn)行情況。如學(xué)科均衡、資助率、資助強(qiáng)度等組織管理基金委協(xié)調(diào)組織目標(biāo)、組織結(jié)構(gòu)、技術(shù)、資本和人員等組織構(gòu)成要素及其匹配關(guān)系的過程評(píng)估。如組織結(jié)構(gòu)、組織文化等服務(wù)改進(jìn)基金委服務(wù)支持的效率、有效性和公正性資助項(xiàng)目
成果評(píng)估創(chuàng)新取得突破性成果、探索新方法、進(jìn)入新領(lǐng)域研究成果包括研究活動(dòng)定量產(chǎn)出和綜合性成果。如發(fā)表論文、申請(qǐng)專利、國(guó)際合作等七、總結(jié)
本文從利益相關(guān)者角度出發(fā)構(gòu)建的我國(guó)自然科學(xué)基金績(jī)效評(píng)估框架,有效解決了以往方法研究脫離實(shí)踐的問題??蚣芤曰鹂?jī)效評(píng)估概念的界定為基礎(chǔ),對(duì)各主要評(píng)估要素進(jìn)行分析,提出了從戰(zhàn)略目標(biāo)、基金委管理和資助項(xiàng)目成果三個(gè)維度對(duì)我國(guó)自然科學(xué)基金進(jìn)行績(jī)效評(píng)估,并結(jié)合國(guó)外先進(jìn)評(píng)估經(jīng)驗(yàn)與我國(guó)現(xiàn)實(shí)情況提出自然科學(xué)基金績(jī)效評(píng)估框架,并根據(jù)不同維度評(píng)估客體特征提出相應(yīng)的評(píng)估維度和指標(biāo)內(nèi)容,為我國(guó)自然科學(xué)基金以及同類資助機(jī)構(gòu)績(jī)效評(píng)估實(shí)踐工作提供思路與借鑒。需要指出的是,基金績(jī)效評(píng)估在實(shí)際操作中涉及眾多利益相關(guān)者且各評(píng)估要素之間相互聯(lián)系,構(gòu)成一個(gè)復(fù)雜系統(tǒng),本文提供的我國(guó)基金績(jī)效評(píng)估框架以及評(píng)估指標(biāo)體系是面向基金機(jī)構(gòu)的通用設(shè)計(jì),在具體運(yùn)用中,還應(yīng)該根據(jù)實(shí)際情況進(jìn)行反復(fù)論證以確定具體的績(jī)效指標(biāo)及其他評(píng)估要素,同時(shí)在基金績(jī)效評(píng)估指標(biāo)構(gòu)建方面主要根據(jù)不同評(píng)估客體特性進(jìn)行設(shè)計(jì),缺乏實(shí)際論證與進(jìn)一步深入,有待于后續(xù)進(jìn)一步研究。
3建立績(jī)效評(píng)估數(shù)據(jù)信息支撐系統(tǒng)。全面有效的信息是獲取實(shí)際績(jī)效的基礎(chǔ),應(yīng)重視與績(jī)效目標(biāo)相關(guān)的數(shù)據(jù)采集、證實(shí)和認(rèn)證工作。一套健全的評(píng)估信息系統(tǒng)不僅應(yīng)包括項(xiàng)目申請(qǐng)書系統(tǒng)、項(xiàng)目結(jié)題報(bào)告系統(tǒng)同時(shí)還應(yīng)包括評(píng)估專家系統(tǒng)和財(cái)務(wù)系統(tǒng)等。
4多層次評(píng)估客體。根據(jù)前文分析,我國(guó)基金績(jī)效評(píng)估客體分為戰(zhàn)略目標(biāo)、基金委和資助項(xiàng)目,每個(gè)層次屬性不同,要實(shí)現(xiàn)的目的不同,應(yīng)構(gòu)建相應(yīng)的評(píng)估指標(biāo),選擇不同的評(píng)估方式,同時(shí)各層次之間也相互聯(lián)系互為補(bǔ)充。
績(jī)效評(píng)估報(bào)告??刹扇∧甓葓?bào)告和專題報(bào)告形式。主報(bào)告上交上級(jí)部門最終向公眾公開。專題報(bào)告根據(jù)需要報(bào)送有關(guān)部門,如管理績(jī)效評(píng)估報(bào)告可報(bào)送基金委,便于其了解管理中存在的問題并改進(jìn),同時(shí)將報(bào)告錄入信息系統(tǒng)。
科學(xué)評(píng)估自然科學(xué)基金績(jī)效必須要有一套可行的指標(biāo)體系,只有這樣才能準(zhǔn)確度量出科學(xué)基金的實(shí)際績(jī)效?;鹂?jī)效指標(biāo)設(shè)計(jì)與評(píng)估目標(biāo)密切相關(guān),特定的目的或定位要求特定的指標(biāo)體系,同時(shí)針對(duì)不同的工作性質(zhì)和任務(wù)應(yīng)設(shè)立和采用不同的指標(biāo)體系。如前所述,我國(guó)基金績(jī)效評(píng)估動(dòng)力主要來源于政府、公眾以及基金委自身,相對(duì)應(yīng)的評(píng)估對(duì)象戰(zhàn)略目標(biāo)、項(xiàng)目以及基金委,3個(gè)維度的內(nèi)容存在顯著差異,因此績(jī)效測(cè)量的側(cè)重點(diǎn)也有所不同。由于我國(guó)基金績(jī)效評(píng)估實(shí)踐多停留在項(xiàng)目階段,文獻(xiàn)研究指標(biāo)體系多是基于項(xiàng)目產(chǎn)出,缺乏從不同評(píng)估定位以及評(píng)估對(duì)象出發(fā)設(shè)定指標(biāo)體系,因此本文在基金績(jī)效評(píng)估框架的基礎(chǔ)上,借鑒國(guó)內(nèi)外已有評(píng)估成果以及中國(guó)相關(guān)研究,對(duì)3個(gè)維度的具體內(nèi)容進(jìn)行了分析,進(jìn)而構(gòu)建了我國(guó)基金績(jī)效評(píng)估指標(biāo)體系。
1戰(zhàn)略目標(biāo)績(jī)效評(píng)估。所謂戰(zhàn)略績(jī)效評(píng)估,主要指基金資助與戰(zhàn)略規(guī)劃匹配性的評(píng)估,回答“目的與手段的一致性問題”。這種一致性可分為兩個(gè)層面:形式一致性和實(shí)質(zhì)一致性。前者是指每年的基金資助指南是否較好地滿足了科技發(fā)展規(guī)劃的要求。后者則是指資助項(xiàng)目群是否符合基金資助指南的要求?;趹?zhàn)略的概括性與方向性,應(yīng)建立高質(zhì)量專家評(píng)估組,根據(jù)資助項(xiàng)目以及項(xiàng)目成果對(duì)戰(zhàn)略響應(yīng)進(jìn)行評(píng)估。
2基金委管理評(píng)估。通過外國(guó)評(píng)估實(shí)例可以得出管理績(jī)效評(píng)估重點(diǎn)在于將基金機(jī)構(gòu)作為服務(wù)組織,對(duì)其是否提供了優(yōu)質(zhì)服務(wù)以及是否及時(shí)改進(jìn)服務(wù)進(jìn)行評(píng)估,在評(píng)估方法上偏重專家評(píng)估、問卷訪談等定性評(píng)估方法。我國(guó)學(xué)者吳建南對(duì)項(xiàng)目資助流程和組織管理要素兩個(gè)方面進(jìn)行分析,從而提出了NSC管理績(jī)效的評(píng)估維度和評(píng)估內(nèi)容,為基金管理績(jī)效評(píng)估提供了參考,但是這一分法忽視了基金委作為公共部門服務(wù)目標(biāo)“顧客”的職能。據(jù)此,本文提出從項(xiàng)目運(yùn)營(yíng)管理、組織管理和服務(wù)改進(jìn)三個(gè)維度出發(fā),評(píng)估自然科學(xué)基金委管理績(jī)效。
3資助項(xiàng)目成果績(jī)效評(píng)估。基金主要資助項(xiàng)目為基礎(chǔ)研究,對(duì)其進(jìn)行績(jī)效評(píng)估的主要障礙可歸納為以下兩點(diǎn):①基礎(chǔ)研究具有很強(qiáng)的探索性和風(fēng)險(xiǎn)性,不當(dāng)評(píng)估會(huì)迫使科學(xué)家更多地關(guān)注短期結(jié)果,趨于保守,而不是銳意創(chuàng)新;②基礎(chǔ)研究的結(jié)果可以定量度量,但研究活動(dòng)中很多重要的方面卻難以用定量指標(biāo)來衡量?;A(chǔ)研究作為科技發(fā)展的重要源泉,決定著自主創(chuàng)新的廣度和深度,創(chuàng)新可以說是基礎(chǔ)研究成果的最主要方面,因此可以通過創(chuàng)新和研究成果兩個(gè)維度,對(duì)資助項(xiàng)目績(jī)效進(jìn)行評(píng)估。這樣既兼顧了基礎(chǔ)研究的探索性長(zhǎng)期績(jī)效與突破成就,同時(shí)也能通過定量指標(biāo)對(duì)資助績(jī)效進(jìn)行直觀展示。已有的研究中針對(duì)創(chuàng)新維度的指標(biāo)構(gòu)建較少,通過對(duì)各國(guó)績(jī)效評(píng)估的實(shí)例研究,可以從是否探索新的科學(xué)技術(shù)領(lǐng)域、是否產(chǎn)生了重大成果以及已有研究是否取得突破性進(jìn)展等方面對(duì)創(chuàng)新展開評(píng)估。針對(duì)研究成果的評(píng)估指標(biāo)構(gòu)建,我國(guó)學(xué)者進(jìn)行了一系列研究,主要分為兩個(gè)層面:①指標(biāo)構(gòu)建方法,主要有德爾菲法、評(píng)分法、比較法、網(wǎng)絡(luò)分析法等。②指標(biāo)體系,主要可分為研究產(chǎn)出、合作交流以及人才培養(yǎng)等。具體指標(biāo)構(gòu)建可根據(jù)基礎(chǔ)研究特點(diǎn)借鑒“3E”、“4E”等理論模式制定。詳細(xì)的指標(biāo)構(gòu)成。
管理評(píng)估項(xiàng)目運(yùn)營(yíng)管理基金委在項(xiàng)目資助流程各個(gè)環(huán)節(jié)的實(shí)際運(yùn)行情況。如學(xué)科均衡、資助率、資助強(qiáng)度等組織管理基金委協(xié)調(diào)組織目標(biāo)、組織結(jié)構(gòu)、技術(shù)、資本和人員等組織構(gòu)成要素及其匹配關(guān)系的過程評(píng)估。如組織結(jié)構(gòu)、組織文化等服務(wù)改進(jìn)基金委服務(wù)支持的效率、有效性和公正性資助項(xiàng)目
成果評(píng)估創(chuàng)新取得突破性成果、探索新方法、進(jìn)入新領(lǐng)域研究成果包括研究活動(dòng)定量產(chǎn)出和綜合性成果。如發(fā)表論文、申請(qǐng)專利、國(guó)際合作等七、總結(jié)
本文從利益相關(guān)者角度出發(fā)構(gòu)建的我國(guó)自然科學(xué)基金績(jī)效評(píng)估框架,有效解決了以往方法研究脫離實(shí)踐的問題。框架以基金績(jī)效評(píng)估概念的界定為基礎(chǔ),對(duì)各主要評(píng)估要素進(jìn)行分析,提出了從戰(zhàn)略目標(biāo)、基金委管理和資助項(xiàng)目成果三個(gè)維度對(duì)我國(guó)自然科學(xué)基金進(jìn)行績(jī)效評(píng)估,并結(jié)合國(guó)外先進(jìn)評(píng)估經(jīng)驗(yàn)與我國(guó)現(xiàn)實(shí)情況提出自然科學(xué)基金績(jī)效評(píng)估框架,并根據(jù)不同維度評(píng)估客體特征提出相應(yīng)的評(píng)估維度和指標(biāo)內(nèi)容,為我國(guó)自然科學(xué)基金以及同類資助機(jī)構(gòu)績(jī)效評(píng)估實(shí)踐工作提供思路與借鑒。需要指出的是,基金績(jī)效評(píng)估在實(shí)際操作中涉及眾多利益相關(guān)者且各評(píng)估要素之間相互聯(lián)系,構(gòu)成一個(gè)復(fù)雜系統(tǒng),本文提供的我國(guó)基金績(jī)效評(píng)估框架以及評(píng)估指標(biāo)體系是面向基金機(jī)構(gòu)的通用設(shè)計(jì),在具體運(yùn)用中,還應(yīng)該根據(jù)實(shí)際情況進(jìn)行反復(fù)論證以確定具體的績(jī)效指標(biāo)及其他評(píng)估要素,同時(shí)在基金績(jī)效評(píng)估指標(biāo)構(gòu)建方面主要根據(jù)不同評(píng)估客體特性進(jìn)行設(shè)計(jì),缺乏實(shí)際論證與進(jìn)一步深入,有待于后續(xù)進(jìn)一步研究。
3建立績(jī)效評(píng)估數(shù)據(jù)信息支撐系統(tǒng)。全面有效的信息是獲取實(shí)際績(jī)效的基礎(chǔ),應(yīng)重視與績(jī)效目標(biāo)相關(guān)的數(shù)據(jù)采集、證實(shí)和認(rèn)證工作。一套健全的評(píng)估信息系統(tǒng)不僅應(yīng)包括項(xiàng)目申請(qǐng)書系統(tǒng)、項(xiàng)目結(jié)題報(bào)告系統(tǒng)同時(shí)還應(yīng)包括評(píng)估專家系統(tǒng)和財(cái)務(wù)系統(tǒng)等。
4多層次評(píng)估客體。根據(jù)前文分析,我國(guó)基金績(jī)效評(píng)估客體分為戰(zhàn)略目標(biāo)、基金委和資助項(xiàng)目,每個(gè)層次屬性不同,要實(shí)現(xiàn)的目的不同,應(yīng)構(gòu)建相應(yīng)的評(píng)估指標(biāo),選擇不同的評(píng)估方式,同時(shí)各層次之間也相互聯(lián)系互為補(bǔ)充。
績(jī)效評(píng)估報(bào)告??刹扇∧甓葓?bào)告和專題報(bào)告形式。主報(bào)告上交上級(jí)部門最終向公眾公開。專題報(bào)告根據(jù)需要報(bào)送有關(guān)部門,如管理績(jī)效評(píng)估報(bào)告可報(bào)送基金委,便于其了解管理中存在的問題并改進(jìn),同時(shí)將報(bào)告錄入信息系統(tǒng)。
科學(xué)評(píng)估自然科學(xué)基金績(jī)效必須要有一套可行的指標(biāo)體系,只有這樣才能準(zhǔn)確度量出科學(xué)基金的實(shí)際績(jī)效?;鹂?jī)效指標(biāo)設(shè)計(jì)與評(píng)估目標(biāo)密切相關(guān),特定的目的或定位要求特定的指標(biāo)體系,同時(shí)針對(duì)不同的工作性質(zhì)和任務(wù)應(yīng)設(shè)立和采用不同的指標(biāo)體系。如前所述,我國(guó)基金績(jī)效評(píng)估動(dòng)力主要來源于政府、公眾以及基金委自身,相對(duì)應(yīng)的評(píng)估對(duì)象戰(zhàn)略目標(biāo)、項(xiàng)目以及基金委,3個(gè)維度的內(nèi)容存在顯著差異,因此績(jī)效測(cè)量的側(cè)重點(diǎn)也有所不同。由于我國(guó)基金績(jī)效評(píng)估實(shí)踐多停留在項(xiàng)目階段,文獻(xiàn)研究指標(biāo)體系多是基于項(xiàng)目產(chǎn)出,缺乏從不同評(píng)估定位以及評(píng)估對(duì)象出發(fā)設(shè)定指標(biāo)體系,因此本文在基金績(jī)效評(píng)估框架的基礎(chǔ)上,借鑒國(guó)內(nèi)外已有評(píng)估成果以及中國(guó)相關(guān)研究,對(duì)3個(gè)維度的具體內(nèi)容進(jìn)行了分析,進(jìn)而構(gòu)建了我國(guó)基金績(jī)效評(píng)估指標(biāo)體系。
1戰(zhàn)略目標(biāo)績(jī)效評(píng)估。所謂戰(zhàn)略績(jī)效評(píng)估,主要指基金資助與戰(zhàn)略規(guī)劃匹配性的評(píng)估,回答“目的與手段的一致性問題”。這種一致性可分為兩個(gè)層面:形式一致性和實(shí)質(zhì)一致性。前者是指每年的基金資助指南是否較好地滿足了科技發(fā)展規(guī)劃的要求。后者則是指資助項(xiàng)目群是否符合基金資助指南的要求。基于戰(zhàn)略的概括性與方向性,應(yīng)建立高質(zhì)量專家評(píng)估組,根據(jù)資助項(xiàng)目以及項(xiàng)目成果對(duì)戰(zhàn)略響應(yīng)進(jìn)行評(píng)估。
2基金委管理評(píng)估。通過外國(guó)評(píng)估實(shí)例可以得出管理績(jī)效評(píng)估重點(diǎn)在于將基金機(jī)構(gòu)作為服務(wù)組織,對(duì)其是否提供了優(yōu)質(zhì)服務(wù)以及是否及時(shí)改進(jìn)服務(wù)進(jìn)行評(píng)估,在評(píng)估方法上偏重專家評(píng)估、問卷訪談等定性評(píng)估方法。我國(guó)學(xué)者吳建南對(duì)項(xiàng)目資助流程和組織管理要素兩個(gè)方面進(jìn)行分析,從而提出了NSC管理績(jī)效的評(píng)估維度和評(píng)估內(nèi)容,為基金管理績(jī)效評(píng)估提供了參考,但是這一分法忽視了基金委作為公共部門服務(wù)目標(biāo)“顧客”的職能。據(jù)此,本文提出從項(xiàng)目運(yùn)營(yíng)管理、組織管理和服務(wù)改進(jìn)三個(gè)維度出發(fā),評(píng)估自然科學(xué)基金委管理績(jī)效。
3資助項(xiàng)目成果績(jī)效評(píng)估?;鹬饕Y助項(xiàng)目為基礎(chǔ)研究,對(duì)其進(jìn)行績(jī)效評(píng)估的主要障礙可歸納為以下兩點(diǎn):①基礎(chǔ)研究具有很強(qiáng)的探索性和風(fēng)險(xiǎn)性,不當(dāng)評(píng)估會(huì)迫使科學(xué)家更多地關(guān)注短期結(jié)果,趨于保守,而不是銳意創(chuàng)新;②基礎(chǔ)研究的結(jié)果可以定量度量,但研究活動(dòng)中很多重要的方面卻難以用定量指標(biāo)來衡量?;A(chǔ)研究作為科技發(fā)展的重要源泉,決定著自主創(chuàng)新的廣度和深度,創(chuàng)新可以說是基礎(chǔ)研究成果的最主要方面,因此可以通過創(chuàng)新和研究成果兩個(gè)維度,對(duì)資助項(xiàng)目績(jī)效進(jìn)行評(píng)估。這樣既兼顧了基礎(chǔ)研究的探索性長(zhǎng)期績(jī)效與突破成就,同時(shí)也能通過定量指標(biāo)對(duì)資助績(jī)效進(jìn)行直觀展示。已有的研究中針對(duì)創(chuàng)新維度的指標(biāo)構(gòu)建較少,通過對(duì)各國(guó)績(jī)效評(píng)估的實(shí)例研究,可以從是否探索新的科學(xué)技術(shù)領(lǐng)域、是否產(chǎn)生了重大成果以及已有研究是否取得突破性進(jìn)展等方面對(duì)創(chuàng)新展開評(píng)估。針對(duì)研究成果的評(píng)估指標(biāo)構(gòu)建,我國(guó)學(xué)者進(jìn)行了一系列研究,主要分為兩個(gè)層面:①指標(biāo)構(gòu)建方法,主要有德爾菲法、評(píng)分法、比較法、網(wǎng)絡(luò)分析法等。②指標(biāo)體系,主要可分為研究產(chǎn)出、合作交流以及人才培養(yǎng)等。具體指標(biāo)構(gòu)建可根據(jù)基礎(chǔ)研究特點(diǎn)借鑒“3E”、“4E”等理論模式制定。詳細(xì)的指標(biāo)構(gòu)成。
管理評(píng)估項(xiàng)目運(yùn)營(yíng)管理基金委在項(xiàng)目資助流程各個(gè)環(huán)節(jié)的實(shí)際運(yùn)行情況。如學(xué)科均衡、資助率、資助強(qiáng)度等組織管理基金委協(xié)調(diào)組織目標(biāo)、組織結(jié)構(gòu)、技術(shù)、資本和人員等組織構(gòu)成要素及其匹配關(guān)系的過程評(píng)估。如組織結(jié)構(gòu)、組織文化等服務(wù)改進(jìn)基金委服務(wù)支持的效率、有效性和公正性資助項(xiàng)目
成果評(píng)估創(chuàng)新取得突破性成果、探索新方法、進(jìn)入新領(lǐng)域研究成果包括研究活動(dòng)定量產(chǎn)出和綜合性成果。如發(fā)表論文、申請(qǐng)專利、國(guó)際合作等七、總結(jié)
本文從利益相關(guān)者角度出發(fā)構(gòu)建的我國(guó)自然科學(xué)基金績(jī)效評(píng)估框架,有效解決了以往方法研究脫離實(shí)踐的問題。框架以基金績(jī)效評(píng)估概念的界定為基礎(chǔ),對(duì)各主要評(píng)估要素進(jìn)行分析,提出了從戰(zhàn)略目標(biāo)、基金委管理和資助項(xiàng)目成果三個(gè)維度對(duì)我國(guó)自然科學(xué)基金進(jìn)行績(jī)效評(píng)估,并結(jié)合國(guó)外先進(jìn)評(píng)估經(jīng)驗(yàn)與我國(guó)現(xiàn)實(shí)情況提出自然科學(xué)基金績(jī)效評(píng)估框架,并根據(jù)不同維度評(píng)估客體特征提出相應(yīng)的評(píng)估維度和指標(biāo)內(nèi)容,為我國(guó)自然科學(xué)基金以及同類資助機(jī)構(gòu)績(jī)效評(píng)估實(shí)踐工作提供思路與借鑒。需要指出的是,基金績(jī)效評(píng)估在實(shí)際操作中涉及眾多利益相關(guān)者且各評(píng)估要素之間相互聯(lián)系,構(gòu)成一個(gè)復(fù)雜系統(tǒng),本文提供的我國(guó)基金績(jī)效評(píng)估框架以及評(píng)估指標(biāo)體系是面向基金機(jī)構(gòu)的通用設(shè)計(jì),在具體運(yùn)用中,還應(yīng)該根據(jù)實(shí)際情況進(jìn)行反復(fù)論證以確定具體的績(jī)效指標(biāo)及其他評(píng)估要素,同時(shí)在基金績(jī)效評(píng)估指標(biāo)構(gòu)建方面主要根據(jù)不同評(píng)估客體特性進(jìn)行設(shè)計(jì),缺乏實(shí)際論證與進(jìn)一步深入,有待于后續(xù)進(jìn)一步研究。