兼顧重要性與可靠性的科學(xué)基金項(xiàng)目績(jī)效評(píng)價(jià)方法*

杜元偉 楊 寧 陳 群 王素素

(1.中國(guó)海洋大學(xué) 管理學(xué)院，山東 青島 266100；2.中國(guó)海洋大學(xué) 海洋發(fā)展研究院，山東 青島 266100)

一、引言

《科技評(píng)價(jià)工作規(guī)定(試行)辦法》指出，政府管理部門(mén)及相關(guān)方面要委托評(píng)價(jià)機(jī)構(gòu)或組織專(zhuān)家評(píng)價(jià)組，運(yùn)用合理、規(guī)范的程序和方法，對(duì)科技活動(dòng)及其相關(guān)責(zé)任主體所進(jìn)行的專(zhuān)業(yè)化評(píng)價(jià)與咨詢活動(dòng)，旨在優(yōu)化科技管理決策，加強(qiáng)科技監(jiān)督問(wèn)責(zé)，提高科技活動(dòng)實(shí)施效果和財(cái)政支出績(jī)效。國(guó)家863計(jì)劃、國(guó)家973計(jì)劃、國(guó)家自然科學(xué)基金、國(guó)家社科基金、教育部人文社科基金等科學(xué)基金項(xiàng)目是科技活動(dòng)的重要組成部分,它們對(duì)提升科技水平、促進(jìn)經(jīng)濟(jì)增長(zhǎng)、提高社會(huì)福利、增強(qiáng)國(guó)家競(jìng)爭(zhēng)力起到了重要的支撐作用。目前已有專(zhuān)家學(xué)者從影響因素分析、指標(biāo)權(quán)重確定、評(píng)價(jià)方法構(gòu)建等方面對(duì)科學(xué)基金項(xiàng)目的績(jī)效評(píng)價(jià)問(wèn)題進(jìn)行了研究。其一，在影響因素分析方面，現(xiàn)有成果主要是通過(guò)定量或者定性分析找出影響科學(xué)基金項(xiàng)目績(jī)效評(píng)價(jià)的因素，為科學(xué)構(gòu)建科學(xué)基金項(xiàng)目指標(biāo)體系提供依據(jù)。[1-3]例如：王長(zhǎng)峰利用灰色模型及柯布道格拉斯生產(chǎn)函數(shù)就互聯(lián)網(wǎng)的發(fā)展對(duì)科學(xué)基金項(xiàng)目的績(jī)效影響進(jìn)行定量分析。[4]其二，在指標(biāo)權(quán)重確定方面，現(xiàn)有成果主要是應(yīng)用主觀賦權(quán)、客觀賦權(quán)、主客觀交叉賦權(quán)等方法確定科學(xué)基金項(xiàng)目績(jī)效評(píng)價(jià)指標(biāo)的權(quán)重，進(jìn)而依據(jù)該權(quán)重對(duì)各項(xiàng)指標(biāo)上的績(jī)效表現(xiàn)信息進(jìn)行綜合集成計(jì)算項(xiàng)目取得的績(jī)效。如：Jung采用網(wǎng)絡(luò)分析法(Analytic Network Process, ANP)、[5]Nilashi采用決策試驗(yàn)和評(píng)價(jià)實(shí)驗(yàn)室(Decision Making Trial and Evaluation Laboratory, DEMATEL)和ANP相結(jié)合的主觀賦權(quán)方法確定各項(xiàng)指標(biāo)的權(quán)重；[6]Charttirot采用逼近理想解排序法(Technique for Order Preference by Similarity to Ideal Solution, TOPSIS)等客觀賦權(quán)方法確定指標(biāo)權(quán)重；[7]關(guān)于主客觀交叉賦權(quán)法，Mohaghar采用將模糊集與ANP相結(jié)合的方法確定指標(biāo)權(quán)重，[8]Sangaiah等采用將模糊集、DEMATEL、TOPSIS等進(jìn)行結(jié)合的主客觀交叉賦權(quán)方法確定指標(biāo)權(quán)重。[9-10]其三，在評(píng)價(jià)方法構(gòu)建方面，現(xiàn)有成果或者側(cè)重于從項(xiàng)目產(chǎn)出視角構(gòu)建能夠確定項(xiàng)目績(jī)效效果的評(píng)價(jià)方法，或者側(cè)重于從項(xiàng)目投入與產(chǎn)出雙重視角構(gòu)建能夠確定項(xiàng)目績(jī)效效率的評(píng)價(jià)方法。如：在項(xiàng)目績(jī)效產(chǎn)出評(píng)價(jià)方面，肖人毅、Feng、Liu、Gül?in分別采用統(tǒng)動(dòng)力學(xué)仿真、專(zhuān)家系統(tǒng)整合法、智能決策支持法、多準(zhǔn)則妥協(xié)解排序法(VIKOR)進(jìn)行項(xiàng)目產(chǎn)出績(jī)效評(píng)價(jià)；[11-14]在項(xiàng)目績(jī)效投入產(chǎn)出評(píng)價(jià)方面，吳建南、楊方娟、宋志紅基于循證設(shè)計(jì)和傾向得分分層等方法得出科學(xué)基金資助確實(shí)提高科研產(chǎn)出的結(jié)論；[15-17]李志蘭、Chun、Karasaka采用數(shù)據(jù)包絡(luò)分析(Data Envelopment Analysis,DEA)對(duì)科學(xué)基金的整體投入產(chǎn)出效率進(jìn)行分析，得出加大科學(xué)基金的投入力度有助于提高產(chǎn)出效率的結(jié)論；[18-20]段慶鋒、楊雨昆采用DEA兩階段模型分析了科學(xué)基金項(xiàng)目投入產(chǎn)出效率問(wèn)題并指出效率瓶頸在于知識(shí)生產(chǎn)階段。[21-22]

上述研究成果對(duì)豐富科學(xué)基金項(xiàng)目的績(jī)效評(píng)價(jià)理論和方法起到了重要作用，也為啟發(fā)本文研究思路、構(gòu)建理論方法起到了借鑒作用。上述成果中的決策信息主要來(lái)源于專(zhuān)家對(duì)科學(xué)基金項(xiàng)目在各項(xiàng)評(píng)價(jià)指標(biāo)上績(jī)效表現(xiàn)的主觀判斷，最終績(jī)效評(píng)價(jià)結(jié)果是對(duì)專(zhuān)家主觀判斷信息的綜合集成。一些成果認(rèn)識(shí)到知識(shí)經(jīng)驗(yàn)、認(rèn)知能力等諸多方面的差異可能會(huì)導(dǎo)致源于不同專(zhuān)家的決策信息的可利用程度并不相同，為此借鑒在多屬性決策中利用指標(biāo)權(quán)重對(duì)決策信息進(jìn)行線性加權(quán)的融合思路，提出了利用專(zhuān)家權(quán)重對(duì)主觀判斷信息進(jìn)行綜合集成的應(yīng)對(duì)策略。然而，多屬性決策中的指標(biāo)權(quán)重與群體決策中的專(zhuān)家可靠性是兩個(gè)截然不同的概念。前者用于反映一個(gè)指標(biāo)相對(duì)于另一個(gè)指標(biāo)的重要程度，取決于決策者偏好，具有主觀性和相對(duì)性，而后者常用于反映一個(gè)信源在一段時(shí)間內(nèi)和一定條件下無(wú)故障地執(zhí)行特定功能的能力或可能性，具有客觀性和絕對(duì)性。需要注意的是，目前對(duì)于指標(biāo)權(quán)重的內(nèi)涵及其確定方法已經(jīng)在業(yè)界達(dá)成共識(shí)，而專(zhuān)家可靠性確是一個(gè)近幾年剛剛被關(guān)注的新概念。在群體決策領(lǐng)域，有關(guān)專(zhuān)家可靠性的研究成果并不多見(jiàn)，個(gè)別成果提出了專(zhuān)家可靠性的計(jì)算方法，如熵值法、偏離目標(biāo)測(cè)算法等，[23-25]其他成果則是直接根據(jù)統(tǒng)計(jì)信息給出專(zhuān)家可靠性的具體數(shù)值。[26-27]本文中的專(zhuān)家可靠性將遵循第二種思路予以確定。由信息融合理論可知，基于指標(biāo)權(quán)重的融合策略和基于可靠性的融合策略并不相同，前者應(yīng)采用補(bǔ)償性策略、后者應(yīng)采用非補(bǔ)償性策略(原因詳見(jiàn)后文)?，F(xiàn)有成果因融合策略選擇不當(dāng)而造成對(duì)科學(xué)基金項(xiàng)目績(jī)效評(píng)價(jià)結(jié)果的科學(xué)有效性是有待商榷的。有鑒于此，本文在考慮指標(biāo)權(quán)重與專(zhuān)家可靠系數(shù)之間性質(zhì)差異的基礎(chǔ)上，提出了兼顧重要性與可靠性的科學(xué)基金項(xiàng)目績(jī)效評(píng)價(jià)方法。

二、科學(xué)基金項(xiàng)目績(jī)效評(píng)價(jià)機(jī)理

科學(xué)基金項(xiàng)目績(jī)效評(píng)價(jià)問(wèn)題一般是基于專(zhuān)家對(duì)待評(píng)項(xiàng)目在各項(xiàng)評(píng)價(jià)指標(biāo)上績(jī)效表現(xiàn)判斷來(lái)確定項(xiàng)目綜合績(jī)效表現(xiàn)的等級(jí)。下面從專(zhuān)家評(píng)價(jià)信息表達(dá)、個(gè)體補(bǔ)償性融合、群體非補(bǔ)償性融合三個(gè)層面構(gòu)建科學(xué)基金項(xiàng)目的績(jī)效評(píng)價(jià)機(jī)理。

基于基本信任函數(shù)的信息表達(dá)機(jī)理。在進(jìn)行項(xiàng)目績(jī)效評(píng)價(jià)時(shí)，專(zhuān)家需要對(duì)待評(píng)價(jià)項(xiàng)目在各項(xiàng)評(píng)價(jià)指標(biāo)上的績(jī)效表現(xiàn)情況進(jìn)行判斷，但是工作經(jīng)驗(yàn)、專(zhuān)業(yè)背景等方面的差異使得各類(lèi)專(zhuān)家都有自己擅長(zhǎng)的領(lǐng)域，他們能對(duì)與自己領(lǐng)域相關(guān)性高的指標(biāo)做出完備性評(píng)價(jià)，對(duì)相關(guān)性一般的指標(biāo)做出相對(duì)完備的評(píng)價(jià)，對(duì)相關(guān)性低指標(biāo)可能做不出任何的評(píng)價(jià)。因?yàn)閷?zhuān)家在各項(xiàng)指標(biāo)上給出評(píng)價(jià)信息的完備程度可能并不相同，所以為了有效地提取專(zhuān)家對(duì)科學(xué)基金項(xiàng)目在各個(gè)指標(biāo)上績(jī)效表現(xiàn)的不完備性評(píng)價(jià)信息，合理地描述專(zhuān)家的真實(shí)推斷情況，本文利用證據(jù)理論中的基本信任分配函數(shù)(Basic Belief function，BBA)構(gòu)建提取專(zhuān)家判斷信息的表達(dá)機(jī)理。BBA函數(shù)是證據(jù)理論中的一種證據(jù)信息表達(dá)方式，能夠利用局部不確定和全局不確定描述相對(duì)完備和不完備的推斷信息。

基于指標(biāo)權(quán)重的個(gè)體信息補(bǔ)償性融合機(jī)理。個(gè)體信息融合是指為了得到某一專(zhuān)家對(duì)科學(xué)基金項(xiàng)目的綜合性評(píng)價(jià)信息而對(duì)其在所有指標(biāo)上給出的績(jī)效評(píng)價(jià)信息進(jìn)行融合的過(guò)程。當(dāng)項(xiàng)目在某一指標(biāo)上表現(xiàn)優(yōu)秀，在另一項(xiàng)指標(biāo)(如人才培養(yǎng))表現(xiàn)中等，利用指標(biāo)權(quán)重對(duì)兩方面信息進(jìn)行融合后得到的綜合評(píng)價(jià)等級(jí)為良好是可能的。上述過(guò)程體現(xiàn)了專(zhuān)家評(píng)價(jià)在信息在不同指標(biāo)之間是可以相互補(bǔ)償?shù)?，故基于指?biāo)權(quán)重的個(gè)體信息融合要遵循補(bǔ)償性融合策略?？紤]到證據(jù)推理(Evidential Reasoning, ER)規(guī)則常被用于解決指標(biāo)之間具有補(bǔ)償性的多屬性決策問(wèn)題，[28]故本文采用ER規(guī)則對(duì)專(zhuān)家在各項(xiàng)指標(biāo)上的評(píng)價(jià)信息進(jìn)行融合。

基于專(zhuān)家可靠系數(shù)的群體信息非補(bǔ)償性融合機(jī)理。群體信息融合是指為了從專(zhuān)家群體視角得到他們對(duì)科學(xué)基金項(xiàng)目的綜合性評(píng)價(jià)信息而對(duì)所有專(zhuān)家個(gè)體融合結(jié)果進(jìn)行再融合的過(guò)程。如果某位專(zhuān)家認(rèn)為科學(xué)基金項(xiàng)目整體績(jī)效表現(xiàn)(經(jīng)過(guò)個(gè)體融合得到的結(jié)果)一定不是優(yōu)秀，而他又是絕對(duì)可靠的(給出無(wú)誤信息的可能性是100%)，那么顯然該項(xiàng)目最終評(píng)價(jià)等級(jí)一定不應(yīng)該是優(yōu)秀(否則會(huì)與該專(zhuān)家具有絕對(duì)可靠性相沖突)。這體現(xiàn)了專(zhuān)家之間非補(bǔ)償性的特點(diǎn)，故基于專(zhuān)家可靠系數(shù)的群體信息融合應(yīng)遵循非補(bǔ)償性融合策略?？紤]到證據(jù)理論(Dempster-Shafer Theory of Evidence, DS)中的Dempster規(guī)則具有“一票否決”的性質(zhì)，能夠反映證據(jù)融合的非補(bǔ)償性特征，故本文采用該規(guī)則對(duì)群體信息進(jìn)行融合。[29]

兼顧重要性與可靠性的科學(xué)基金項(xiàng)目績(jī)效評(píng)價(jià)機(jī)理可以描述為：先基于基本信任分配函數(shù)信息表達(dá)機(jī)理提取專(zhuān)家對(duì)科學(xué)基金項(xiàng)目在各項(xiàng)指標(biāo)上的不完備性評(píng)價(jià)信息，再以專(zhuān)家個(gè)體為單位、利用ER規(guī)則對(duì)各項(xiàng)指標(biāo)上的評(píng)價(jià)信息進(jìn)行補(bǔ)償性融合，最后利用Dempster規(guī)則對(duì)所有專(zhuān)家的個(gè)體評(píng)價(jià)結(jié)果進(jìn)行非補(bǔ)償性融合。上述績(jī)效評(píng)價(jià)機(jī)理可描述為下圖形式。

圖1 科學(xué)基金項(xiàng)目績(jī)效評(píng)價(jià)機(jī)理

三、科學(xué)基金項(xiàng)目績(jī)效評(píng)價(jià)方法

(一)評(píng)價(jià)信息提取

(1)

(二)個(gè)體信息的補(bǔ)償性融合

(2)

(3)

(4)

(5)

(6)

(三)群體信息的非補(bǔ)償性融合

(7)

(8)

由式(8)的性質(zhì)可知，若只要有一位絕對(duì)可靠的專(zhuān)家反對(duì)科學(xué)基金項(xiàng)目的績(jī)效評(píng)價(jià)結(jié)果隸屬于某個(gè)或某幾個(gè)等級(jí)，則無(wú)論其他專(zhuān)家的意見(jiàn)如何，該項(xiàng)目的績(jī)效評(píng)價(jià)結(jié)果一定不會(huì)隸屬于這些評(píng)價(jià)等級(jí)。這體現(xiàn)了Dempster規(guī)則能夠反映群體信息融合具有非補(bǔ)償性的特點(diǎn)。

(四)評(píng)價(jià)等級(jí)確定方法

由式(8)可知，mk(θ)為所有專(zhuān)家對(duì)項(xiàng)目ak最終績(jī)效隸屬評(píng)價(jià)等級(jí)的評(píng)價(jià)結(jié)果。因?yàn)閙k(θ)依然是一種BBA函數(shù)形式，其中可能存在著局部確定和全局不確定，所以為了確定項(xiàng)目ak的最終隸屬評(píng)價(jià)等級(jí)，需要對(duì)該結(jié)果進(jìn)行轉(zhuǎn)換處理。這里采用被業(yè)界學(xué)者廣泛接受的且能兼顧信度函數(shù)和似然函數(shù)雙重優(yōu)勢(shì)的Pignistic概率進(jìn)行轉(zhuǎn)換。[30]依據(jù)Pignistic概率計(jì)算規(guī)則，確定項(xiàng)目ak最終績(jī)效隸屬評(píng)價(jià)等級(jí)θn的計(jì)算公式如下：

(9)

其中，Belk(θn)=∑θ?θnmk(θ)，Plk(θn)=∑θn∩θ≠?mk(θ)，εk=[1-∑θn?ΘBelk(θn)]∑θn?ΘPlk(θn)。

(五)專(zhuān)家可靠系數(shù)計(jì)算方法

關(guān)于可靠性的描述，多出現(xiàn)在電氣工程領(lǐng)域，常用可靠性系數(shù)來(lái)刻畫(huà)可靠性，以此為鑒，專(zhuān)家的可靠性由專(zhuān)家的可靠性系數(shù)來(lái)表示。[33-38]在科學(xué)基金項(xiàng)目績(jī)效評(píng)價(jià)中，每位專(zhuān)家都可以視為一個(gè)信源，則專(zhuān)家的可靠系數(shù)是專(zhuān)家對(duì)科學(xué)基金項(xiàng)目績(jī)效評(píng)價(jià)問(wèn)題給出無(wú)誤信息的可能性，其值的確定可根據(jù)專(zhuān)家歷史評(píng)價(jià)信息予以確定。由實(shí)際情況可知，大部分的科學(xué)基金項(xiàng)目都是可以順利結(jié)題，只有極個(gè)別項(xiàng)目會(huì)存在不能結(jié)題或者延遲結(jié)題的情況。如果采用準(zhǔn)確率，即專(zhuān)家認(rèn)為可以結(jié)題的項(xiàng)目數(shù)和已經(jīng)結(jié)題的項(xiàng)目數(shù)進(jìn)行比較，則可能會(huì)導(dǎo)致這樣一個(gè)現(xiàn)象，一位評(píng)審專(zhuān)家總是給出建議結(jié)題的評(píng)價(jià)結(jié)果，不考慮項(xiàng)目完成的質(zhì)量，這位專(zhuān)家仍然具有較高的可靠性系數(shù)，這并不能很好地區(qū)分專(zhuān)家之間的可靠程度，故采用該種方法處理刻畫(huà)專(zhuān)家可靠性系數(shù)存在問(wèn)題?？紤]到上述情況，本文建議構(gòu)建混淆矩陣方法確定專(zhuān)家可靠系數(shù)。[39]混淆矩陣也稱誤差矩陣，是表示精度評(píng)價(jià)的一種標(biāo)準(zhǔn)格式，不僅具有很好地描述誤差的能力，且計(jì)算方法簡(jiǎn)單，易于理解和實(shí)際應(yīng)用。

設(shè)Y、N分別表示專(zhuān)家建議結(jié)題、不建議結(jié)題的項(xiàng)目數(shù)，T、F分別表示該項(xiàng)目實(shí)際結(jié)題、實(shí)際未結(jié)題的項(xiàng)目數(shù)，則YT表示建議結(jié)題并實(shí)際已結(jié)題的項(xiàng)目數(shù)，YF為專(zhuān)家建議結(jié)題而實(shí)際沒(méi)有結(jié)題的項(xiàng)目數(shù)，NT為不建議結(jié)題但實(shí)際已結(jié)題的項(xiàng)目數(shù)，NF為不建議結(jié)題且實(shí)際結(jié)果并沒(méi)有結(jié)題的項(xiàng)目數(shù)。為計(jì)算專(zhuān)家可靠性，構(gòu)造如下表所示的混淆矩陣。[28]

表1 混淆矩陣

專(zhuān)家的可靠性系數(shù)可由式(10)予以計(jì)算。

(10)

例如：若專(zhuān)家共評(píng)價(jià)項(xiàng)目20項(xiàng)，給出評(píng)價(jià)結(jié)果中，“建議結(jié)題”16個(gè)，“不建議結(jié)題”4個(gè)，其中“建議結(jié)題”且“實(shí)際已結(jié)題”項(xiàng)目數(shù)為13，“不建議結(jié)題”且“實(shí)際未結(jié)題”項(xiàng)目數(shù)為2。根據(jù)式(10)計(jì)算可得到專(zhuān)家評(píng)價(jià)的可靠性r=0.75。不難發(fā)現(xiàn)，專(zhuān)家的可靠性并非一成不變，而是會(huì)根據(jù)專(zhuān)家評(píng)審結(jié)果的準(zhǔn)確率予以動(dòng)態(tài)調(diào)整。

(六)方法步驟

遵循前文提出的科學(xué)基金項(xiàng)目績(jī)效評(píng)價(jià)機(jī)理，基于評(píng)價(jià)信息提取、個(gè)體信息的補(bǔ)償性融合、群體信息的非補(bǔ)償性融合、評(píng)價(jià)等級(jí)確定方法等構(gòu)建兼顧重要性和可靠性的科學(xué)基金項(xiàng)目績(jī)效評(píng)價(jià)方法步驟。具體如下：

步驟2：設(shè)定初始評(píng)價(jià)項(xiàng)目。令k=1，設(shè)定當(dāng)前評(píng)價(jià)項(xiàng)目為ak=a1。

步驟7：判斷是否完成評(píng)價(jià)。令k=k+1。若k≤K，則說(shuō)明還有項(xiàng)目ak需要進(jìn)行績(jī)效評(píng)價(jià)，轉(zhuǎn)到步驟3；若k>K，則說(shuō)明已完成對(duì)所有項(xiàng)目的績(jī)效評(píng)價(jià)，結(jié)束。

四、案例模擬分析——以某國(guó)家自然科學(xué)基金項(xiàng)目為例

為驗(yàn)證提出方法的科學(xué)有效性，本文以某國(guó)家自然科學(xué)基金項(xiàng)目為例進(jìn)行案例分析。該科學(xué)基金項(xiàng)目于2012年立項(xiàng)，預(yù)期目標(biāo)是通過(guò)借鑒吸收知識(shí)管理、行為科學(xué)、管理決策、信息融合等理論的基本觀點(diǎn)和技術(shù)方法，針對(duì)知識(shí)網(wǎng)絡(luò)中知識(shí)數(shù)量龐大、知識(shí)類(lèi)型多樣、知識(shí)主體復(fù)雜等特點(diǎn)，對(duì)知識(shí)網(wǎng)絡(luò)中決策信息的提取問(wèn)題開(kāi)展研究，以期能夠明確知識(shí)網(wǎng)絡(luò)中關(guān)鍵知識(shí)主體的識(shí)別方法、揭示多元決策信息智能提取機(jī)理、建立多元決策信息智能提取模型。

參照《國(guó)家自然科學(xué)基金資助項(xiàng)目研究成果管理辦法》和《國(guó)家自然科學(xué)基金資助項(xiàng)目結(jié)題/成果報(bào)告》，這里選用項(xiàng)目執(zhí)行情況(c1)、項(xiàng)目取得成果的總體情況(c2)、成果轉(zhuǎn)化應(yīng)用(c3)、人才培養(yǎng)情況(c4)、應(yīng)用前景情況(c5)作為項(xiàng)目的績(jī)效評(píng)價(jià)指標(biāo)。設(shè)指標(biāo)權(quán)重為(ω1,…,ω5)=(1.00,1.00,0.64,0.92,0.52)。為給專(zhuān)家開(kāi)展績(jī)效評(píng)價(jià)提供依據(jù)信息，在此給出項(xiàng)目原計(jì)劃目標(biāo)以及實(shí)際完成情況，具體如表2所示。

表2 項(xiàng)目計(jì)劃情況以及完成情況信息表

表3 專(zhuān)家歷史評(píng)價(jià)結(jié)果

表4 專(zhuān)家評(píng)價(jià)信息

表5 個(gè)體/群體融合結(jié)果

表6 評(píng)價(jià)等級(jí)的概率分布

因?yàn)楸疚暮诵乃枷胧腔谥笜?biāo)權(quán)重的個(gè)體融合采用補(bǔ)償性融合策略、基于可靠性的群體融合采用非補(bǔ)償性策略，所以這里分別從個(gè)體融合結(jié)果和群體融合結(jié)果兩個(gè)方面對(duì)上述融合策略進(jìn)行科學(xué)性分析。

從個(gè)體融合結(jié)果看可以得到以下結(jié)論：(1)專(zhuān)家e1認(rèn)為該項(xiàng)目績(jī)效表現(xiàn)等級(jí)有46.49%的可能性為優(yōu)秀，53.51%可能性為良好，該評(píng)價(jià)信息是否科學(xué)呢？由表5可知，專(zhuān)家e1在c1、c2、c4三項(xiàng)指標(biāo)上的評(píng)價(jià)信息與其他專(zhuān)家略有差距，專(zhuān)家e1認(rèn)為該項(xiàng)目在這些指標(biāo)上的績(jī)效表現(xiàn)為良好的可能性很大、其次為優(yōu)秀，而其他專(zhuān)家則認(rèn)為績(jī)效表現(xiàn)為優(yōu)秀可能性較大。由表3可知，該項(xiàng)目在上述三項(xiàng)指標(biāo)上的績(jī)效表現(xiàn)均達(dá)到并超額完成了原計(jì)劃目標(biāo)，這說(shuō)明專(zhuān)家e1的評(píng)價(jià)信息可能是存在偏差的。本文方法通過(guò)可靠系數(shù)80%對(duì)存在偏差的信息進(jìn)行了折扣處理，并未對(duì)項(xiàng)目最終績(jī)效評(píng)價(jià)結(jié)果(優(yōu)秀)產(chǎn)生不利影響，這體現(xiàn)了本文方法對(duì)評(píng)價(jià)信息進(jìn)行折扣處理具有科學(xué)性。(2)專(zhuān)家e4的個(gè)體融合結(jié)果是該項(xiàng)目100%屬于優(yōu)秀。由表5可知，雖然專(zhuān)家e4并沒(méi)有認(rèn)為該項(xiàng)目在指標(biāo)c3、c4、c5上100%為優(yōu)秀，但是由于指標(biāo)c1、c2的權(quán)重都為1(即這兩項(xiàng)指標(biāo)是絕對(duì)重要的)，而專(zhuān)家e4又認(rèn)為該項(xiàng)目在這兩項(xiàng)指標(biāo)上絕對(duì)優(yōu)秀，所以其個(gè)體融合結(jié)果為絕對(duì)優(yōu)秀，符合直覺(jué)判斷。(3)專(zhuān)家e5對(duì)項(xiàng)目在c1、c2的績(jī)效表現(xiàn)均給出完全不知道的評(píng)價(jià)信息，這并未對(duì)其個(gè)體評(píng)價(jià)結(jié)果造成影響，體現(xiàn)了本文信息表達(dá)機(jī)理在允許專(zhuān)家結(jié)合自己的知識(shí)經(jīng)驗(yàn)給出評(píng)價(jià)信息方面具有獨(dú)特優(yōu)勢(shì)。

從群體融合結(jié)果看可以得到以下結(jié)論：(1)由表6可知，專(zhuān)家e2、e3認(rèn)為該項(xiàng)目有屬于優(yōu)秀的等級(jí)的可能性約為95%，二者可靠系數(shù)分別為100%、95%，可靠性強(qiáng)，項(xiàng)目的最終評(píng)價(jià)結(jié)果與二者的個(gè)體判斷相一致，符合直覺(jué)邏輯。(2)專(zhuān)家e4認(rèn)為該項(xiàng)目100%一定屬于優(yōu)秀，即認(rèn)為該項(xiàng)目一定不會(huì)是其他等級(jí)(如良好)，而最終評(píng)價(jià)結(jié)果并非100%優(yōu)秀，在其他等級(jí)(良好)上也賦予了信度。由前文可知，當(dāng)專(zhuān)家絕對(duì)可靠且他/她認(rèn)為該項(xiàng)目一定不會(huì)是良好時(shí)，則該項(xiàng)目最終評(píng)價(jià)結(jié)果一定不會(huì)是良好。但專(zhuān)家e4的可靠系數(shù)是90%而非100%，這與非補(bǔ)償性融合中的“一票否定”規(guī)則并不沖突。(3)由表5可知，該項(xiàng)目的每一項(xiàng)指標(biāo)每位專(zhuān)家都沒(méi)有給出較差、很差的評(píng)價(jià)信息，專(zhuān)家個(gè)體融合結(jié)果、群體融合結(jié)果在較差、很差等級(jí)上也均未賦予信度，符合直覺(jué)邏輯，這體現(xiàn)了本文采用ER規(guī)則和Dempster規(guī)則進(jìn)行信息融合具有科學(xué)性。

五、結(jié)束語(yǔ)

現(xiàn)有科學(xué)基金項(xiàng)目績(jī)效評(píng)價(jià)并未區(qū)分指標(biāo)權(quán)重與專(zhuān)家可靠性之間的性質(zhì)差異，從而容易導(dǎo)致評(píng)價(jià)結(jié)果可能存在科學(xué)有效性差的問(wèn)題。為了解決上述問(wèn)題，本文首先基于基本信任分配函數(shù)給出了能夠反映指標(biāo)權(quán)重與專(zhuān)家可靠性兩種參數(shù)性質(zhì)特征和專(zhuān)家認(rèn)知能力的科學(xué)基金項(xiàng)目績(jī)效評(píng)價(jià)機(jī)理。然后，基于ER折扣和ER規(guī)則構(gòu)建了能夠?qū)?zhuān)家在不同指標(biāo)上評(píng)價(jià)信息進(jìn)行補(bǔ)償性融合的個(gè)體融合方法，基于Shafer折扣和Dempster規(guī)則構(gòu)建了能夠?qū)λ袑?zhuān)家個(gè)體融合結(jié)果進(jìn)行再融合的群體融合方法。在此基礎(chǔ)上，結(jié)合Pignistic概率和結(jié)果有效性閾值提出了科學(xué)基金項(xiàng)目隸屬評(píng)價(jià)等級(jí)的確定方法，并基于專(zhuān)家歷史評(píng)價(jià)信息構(gòu)建了專(zhuān)家可靠系數(shù)的計(jì)算方法。最后，遵循本文提出的科學(xué)基金項(xiàng)目績(jī)效評(píng)價(jià)機(jī)理，結(jié)合評(píng)價(jià)信息提取、個(gè)體融合方法、群體融合方法等給出了科學(xué)基金項(xiàng)目績(jī)效評(píng)價(jià)的方法步驟。本文還以某國(guó)家自然科學(xué)基金項(xiàng)目為案例背景模擬了提出方法的具體操作過(guò)程、分析了方法在解決實(shí)際問(wèn)題過(guò)程中的科學(xué)性。需要說(shuō)明的是，本文方法側(cè)重于從靜態(tài)決策視角基于專(zhuān)家給出的評(píng)價(jià)信息予以綜合集成，實(shí)現(xiàn)對(duì)科學(xué)基金項(xiàng)目績(jī)效表現(xiàn)的最終評(píng)價(jià)，而對(duì)于需要專(zhuān)家之間通過(guò)彼此交互對(duì)科學(xué)基金項(xiàng)目績(jī)效進(jìn)行評(píng)價(jià)的動(dòng)態(tài)決策問(wèn)題并未涉及，這也是下一步要研究的重點(diǎn)問(wèn)題。