許唐云， 瞿海妮， 趙三珊， 徐 愷

(1.國網(wǎng)上海市電力公司電力科學(xué)研究院，上海 200437;2.上海南華蘭陵電氣有限公司，上海 201111)

科技項目后評估主要是對已完成的科技項目成果進(jìn)行綜合的全面評估，對于科技成果的推廣利用、深化研究具有非常重要的作用.針對科技項目的評估方法，國內(nèi)外的科研人員、項目管理人員等進(jìn)行了大量的研究工作，在科技項目評估指標(biāo)體系設(shè)計，參數(shù)量化方法，權(quán)重設(shè)置，指標(biāo)融合計算等方面取得了一系列的研究成果.根據(jù)歐盟在1996年提出的“績效管理2000”[1]科技項目評估框架，實現(xiàn)了科技活動全方位考核、評價的目標(biāo).日本也在2000年提出了《國家研發(fā)考評實施方針》[2]，對科技項目成果的評估方法、流程、要求等進(jìn)行了規(guī)定.在中國，科技部等單位也提出了一系列的規(guī)范和要求，對科技項目和科技成果的評價做了較為全面的規(guī)定.

科技項目和科技成果評估所采用的方法包括定性分析，定量分析，定性與定量結(jié)合三種主要策略.典型的科技成果定性分析法包括同行評議法、德爾菲法等[3].以運(yùn)籌學(xué)為基礎(chǔ)的數(shù)據(jù)包絡(luò)分析法(DEA法)理論完整并在實際評價過程中具有較強(qiáng)的適應(yīng)性.把德爾菲法和層次分析法相結(jié)合，也在項目評估中得到廣泛應(yīng)用，該方法首先邀請專家進(jìn)行打分，然后用層次分析結(jié)構(gòu)法計算權(quán)重，通過目標(biāo)規(guī)劃的方法完成綜合評價[4].也有國內(nèi)學(xué)者提出把層次分析法、德爾菲法和模糊評價方法集成應(yīng)用，以實現(xiàn)科技成果評估[5].通過優(yōu)化的模糊綜合評價方法在工業(yè)產(chǎn)品質(zhì)量評價中效果較好[6]．國內(nèi)還有學(xué)者提出了把人工神經(jīng)網(wǎng)絡(luò)應(yīng)用到科技項目評估過程中，模擬專家實現(xiàn)科技項目進(jìn)行評價，雖然降低了評價的主觀性，但是可信度低，需要繼續(xù)深入改進(jìn)[7].

電力行業(yè)在科研投入持續(xù)、快速增長，開展了大量的研究開發(fā)工作，取得了形式多樣、內(nèi)容豐富的科研成果.由于電力行業(yè)的科技活動具有自身的一些特色，對電力科技項目的評估在遵循科技項目評估方法、策略和模型的一般原則基礎(chǔ)上，應(yīng)當(dāng)考慮電力科技項目和科技活動的特點，有必要針對電力的科技項目成果進(jìn)行分析和設(shè)計.本文主要討論針對電力科技成果的評價問題，即后評估問題，對立項評估、過程評估等也具有一定的參考作用.

1 評估指標(biāo)體系的設(shè)計

1.1 電力科技活動類型分析

電力行業(yè)屬于工業(yè)技術(shù)類行業(yè)中的一種，主要從事業(yè)電力相關(guān)產(chǎn)品和技術(shù)研究與開發(fā)，也包括電力系統(tǒng)運(yùn)行、維護(hù)和管理決策類的一些項目.基本上不從事基礎(chǔ)理論類的研究工作，研發(fā)目標(biāo)多以產(chǎn)品、實用技術(shù)、標(biāo)準(zhǔn)和規(guī)范為主.對電力行業(yè)科研活動項目的分類方式可以有多種.例如以從事的專業(yè)可以分發(fā)電、輸電、配電、運(yùn)行、維護(hù)、檢修、設(shè)備等；按照電壓等級分為高壓、低壓，中壓；按照設(shè)備和技術(shù)的類別可分為一次設(shè)備、二次設(shè)備、自動化和調(diào)度管理等.通過對國內(nèi)多家大型電力企業(yè)近年來科研項目和科研管理經(jīng)驗的總結(jié)和分析，按照上述指標(biāo)對項目分類對開展評估操作不利.總結(jié)多家電力行業(yè)企業(yè)的成功經(jīng)驗，對電力類科研項目按照科研項目成果的表現(xiàn)形式分類對于后評估工作的開展是有利的.

按照電力科研項目成果的表現(xiàn)形式，一般科研將科研活動分為3種形式，即應(yīng)用基礎(chǔ)類項目、應(yīng)用技術(shù)類項目和軟科學(xué)類研究項目.

應(yīng)用基礎(chǔ)類研究項目主要從事檢修、維護(hù)、加工、制造、調(diào)試、測試過程中的基礎(chǔ)性原理或工藝性技術(shù)的研究、開發(fā)和設(shè)計.項目成果以工藝技術(shù)方案、調(diào)試維護(hù)和作業(yè)規(guī)程等作為主要形式，一般不具有物理裝置或產(chǎn)品等實物類別的技術(shù)成果.某些科研項目可以形成軟件系統(tǒng)或虛擬的數(shù)字模型.

應(yīng)用技術(shù)類研究活動主要從事新的機(jī)械、電子或自動化裝置、工藝裝備的研究開發(fā)，研究的主要成果一般通過樣機(jī)和小批量產(chǎn)品形式體現(xiàn)，一般會參與試驗、試點應(yīng)用.

軟科學(xué)類科研活動主要和科技管理、企業(yè)運(yùn)行管理有關(guān)系，可以形成各種規(guī)范性的技術(shù)文件、技術(shù)標(biāo)準(zhǔn)、技術(shù)報告，可以對企業(yè)的運(yùn)行、檢修和維護(hù)作業(yè)、管理過程提供規(guī)范性指導(dǎo)或輔助支撐作用.此外群眾創(chuàng)新，QC活動等以人才培養(yǎng)為主要目標(biāo)的項目也可被認(rèn)為是軟科學(xué)研究活動中的一種.

1.2 評估指標(biāo)體系的建立

所有的科技活動都是為公司整體的發(fā)展戰(zhàn)略服務(wù)的，但是不同的科技項目對發(fā)展戰(zhàn)略的服務(wù)和支撐作用是不同的，有的項目傾向于解決基礎(chǔ)的理論和工藝問題，有的則主要解決新產(chǎn)品、新裝置的開發(fā)和測試問題，軟課題類研究項目主要解決管理、決策類問題.由于服務(wù)目標(biāo)不同，所以評價的方法也有差別，應(yīng)當(dāng)根據(jù)科技活動性質(zhì)設(shè)計成果評價指標(biāo)體系.

應(yīng)用基礎(chǔ)類項目主要解決公司發(fā)展過程中必須解決的關(guān)鍵工藝、原理等方面的技術(shù)問題，研究成果主要以知識產(chǎn)權(quán)成果、科技論文、核心專有技術(shù)等為主要表現(xiàn)方式，所以主要注重科技成果的先進(jìn)性、科學(xué)性和創(chuàng)新性.應(yīng)用技術(shù)類科技項目主要解決新產(chǎn)品、新裝置、新系統(tǒng)的開發(fā)問題，成果評價應(yīng)注重成果的可靠性、技術(shù)成熟度及推廣應(yīng)用的前景和價值.軟課題成果主要體現(xiàn)在對管理和決策的支持作用.在深入調(diào)研基礎(chǔ)上，針對3種不同類型的科研活動，設(shè)置的評價指標(biāo)體系分別如圖1～圖3所示.

應(yīng)用基礎(chǔ)類項目綜合評價指標(biāo)分為技術(shù)水平指標(biāo)、效益指標(biāo)、風(fēng)險指標(biāo)、項目成果指標(biāo)4種.在技術(shù)水平指標(biāo)下設(shè)置細(xì)分指標(biāo)科學(xué)性、先進(jìn)性和創(chuàng)造性3項；在效益指標(biāo)下設(shè)置推動作用、人才培養(yǎng)2個細(xì)分指標(biāo)；在風(fēng)險指標(biāo)下設(shè)置技術(shù)風(fēng)險指標(biāo)，在項目成果指標(biāo)下設(shè)置獲獎榮譽(yù)、發(fā)表論文、申請專利3個細(xì)分指標(biāo).

應(yīng)用技術(shù)類項目綜合評價指標(biāo)分為技術(shù)水平指標(biāo)、效益指標(biāo)、風(fēng)險指標(biāo)、量化成果指標(biāo)、推廣條件指標(biāo)5種.在技術(shù)水平指標(biāo)下設(shè)置細(xì)分指標(biāo)技術(shù)先進(jìn)性和技術(shù)可替代性2項；在效益指標(biāo)下設(shè)置市場需求、經(jīng)濟(jì)效益、社會效益3個細(xì)分指標(biāo)；在風(fēng)險指標(biāo)下設(shè)置政策風(fēng)險、技術(shù)風(fēng)險、經(jīng)濟(jì)風(fēng)險3個細(xì)分的技術(shù)指標(biāo)；在項目成果指標(biāo)下設(shè)置獲獎榮譽(yù)、發(fā)表論文、申請專利3個細(xì)分指標(biāo)；在推廣條件指標(biāo)下設(shè)置資金條件、設(shè)備條件、人力條件、成果轉(zhuǎn)化適應(yīng)性因素4個二級評價指標(biāo).

軟科學(xué)研究類項目綜合評價指標(biāo)分為技術(shù)水平指標(biāo)、效益指標(biāo)、風(fēng)險指標(biāo)、項目成果指標(biāo)4種.在技術(shù)水平指標(biāo)下設(shè)置細(xì)分指標(biāo)科學(xué)性和創(chuàng)造性2項；在效益指標(biāo)下設(shè)置推動作用、優(yōu)化作用2個細(xì)分指標(biāo)；在風(fēng)險指標(biāo)下設(shè)置技術(shù)風(fēng)險1個細(xì)分的技術(shù)指標(biāo);在項目成果指標(biāo)下設(shè)置獲獎榮譽(yù)、發(fā)表論文、申請專利3個細(xì)分指標(biāo).

2 基于AHP的權(quán)重配置方法

科技項目評價指標(biāo)權(quán)重的科學(xué)確定對于科技項目評估非常重要.基于非直觀經(jīng)驗的權(quán)重配置方法包括把復(fù)雜總目標(biāo)分解成多個子目標(biāo)，然后考察各個子目標(biāo)對上級目標(biāo)的貢獻(xiàn)并形成遞階層次結(jié)構(gòu).該方法以子目標(biāo)相對重要性為基礎(chǔ)，間接地結(jié)合了領(lǐng)域?qū)＜业慕?jīng)驗，遵循分解-判斷-綜合的處理過程，在實際評估過程中應(yīng)用廣泛.

以應(yīng)用基礎(chǔ)類評價指標(biāo)體系的一級指標(biāo)參數(shù)的權(quán)重分配為例，通過AHP方法配置權(quán)重的方法如下.

首先，根據(jù)專家的經(jīng)驗設(shè)置4個一級指標(biāo)(技術(shù)水平指標(biāo)、效益指標(biāo)、風(fēng)險指標(biāo)、項目成果指標(biāo))的兩兩判斷矩陣W.

然后檢驗一致性，計算一致性參數(shù)：

式中，RI為平均一致性指標(biāo)，根據(jù)判斷矩陣階數(shù)從標(biāo)準(zhǔn)表中查得(表1).

表1 RI值

當(dāng)一致性參數(shù)小于設(shè)置值時表明專家經(jīng)驗設(shè)置的相對權(quán)重具有較好的一致性.根據(jù)指標(biāo)間相對權(quán)重可以確定各指標(biāo)的權(quán)重向量：

γ=[0.61 0.20 0.05 0.12].

當(dāng)不能通過一致性檢驗時應(yīng)調(diào)整兩兩判斷矩陣.在多級指標(biāo)體系中，可根據(jù)上述方法逐級計算出各個指標(biāo)的權(quán)重.

3 數(shù)據(jù)融合處理

3.1 權(quán)重調(diào)節(jié)和特異評價處理

為了實現(xiàn)多個專家不同評估意見的處理，本文提出了如下的數(shù)據(jù)融合策略：

在樣本量較小(如評估專家的數(shù)量小于3)時，采用加權(quán)平均的單一指標(biāo)的融合策略.設(shè)對于某個指標(biāo)有n個專家進(jìn)行評價，每個專家的評價結(jié)果為sk，(k=1,…,n)，每個專家的評分為wk,則綜合后的評估結(jié)果s可表示為：

在樣本量較大時，可以采用特異性去除后的加權(quán)平均單一指標(biāo)的融合策略.特異性去除主要考慮到某些專家由于個體差異或差錯導(dǎo)致出現(xiàn)了較為顯著的錯誤結(jié)論，如果將其結(jié)果納入最終評價體系會對結(jié)果產(chǎn)生較為顯著的影響.特異性去除策略主要采用方差判斷策略.仍然假設(shè)對于某個指標(biāo)有n個專家進(jìn)行評價，每個專家的評價結(jié)果為sk，(k=1,…,n)，每個專家的總評分分別為wk.則評價結(jié)果的均值可表示為：

評價結(jié)果的平均方差值可表示為：

我們可以認(rèn)為，所有方差大于平均方差兩倍以上的評估結(jié)論都是存疑的，可以被去除.即所有滿足下式的評估結(jié)論都不被納入最終的評價計算過程中：

σk=(sk-E)2/n>2σ.

設(shè)去除特異性評價結(jié)論后的樣本數(shù)量為n′,則單指標(biāo)的評估結(jié)果s可表示為：

3.2 多級指標(biāo)融合及快速算法

在確定單一指標(biāo)的評估值基礎(chǔ)上，結(jié)合遞階層次結(jié)構(gòu)方法確定的各級指標(biāo)權(quán)重采用自底向上的算法可以確定綜合評價指標(biāo)的最終計算結(jié)果.設(shè)某類項目的綜合評價指標(biāo)體系中有m個一級評價指標(biāo)，每個一級評價指標(biāo)分別有nk個二級評價指標(biāo)(k=1,…,m).所有一級評價指標(biāo)對綜合評價指標(biāo)的權(quán)重分別為wk.對于第k個一級評價指標(biāo)，其所有的二級評價指標(biāo)權(quán)重分別為wkj,其中(j=1,…,nk).則最終確定的綜合評價指標(biāo)可用下式計算：

式中，skj表示第k個一級指標(biāo)下的第j個二級指標(biāo)的單一指標(biāo)評估值.

按照上述公式計算多指標(biāo)綜合數(shù)值時間需要非常多的求和及求乘積的計算，計算過程略顯復(fù)雜.在實際的評估過程中，可以直接求出綜合評價指標(biāo)與二級指標(biāo)參數(shù)之間的比例關(guān)系，然后假定多指標(biāo)綜合評價結(jié)果按百分制計算，則可以計算出每個二級指標(biāo)的一級權(quán)重參數(shù)，然后將融合后的單一指標(biāo)評估值求和就可以了(單一指標(biāo)評估值可以在評價時取0至二級指標(biāo)一級權(quán)重之間的任意值)，即通過簡單的求和就可以獲得多指標(biāo)綜合評價值.

以多指標(biāo)綜合評價結(jié)果最大值100為基礎(chǔ)，計算二級指標(biāo)的一級權(quán)重的計算公式為：

wkj=100×wk×skj

式中：wkj表示第k個一級指標(biāo)下的第j個二級指標(biāo)的一級權(quán)重(百分比).

4 總結(jié)

根據(jù)本文所提出的評價體系和數(shù)據(jù)處理策略，研制了適用于國家電網(wǎng)及下屬各級公司、電力系統(tǒng)一般工業(yè)企業(yè)的科技項目成果評價系統(tǒng).在本文確立的指標(biāo)體系基礎(chǔ)上，明確定義了全部一級、二級指標(biāo)的含義、適用范圍和專家評價準(zhǔn)則.

在某大型電力行業(yè)企業(yè)，通過對自2008年以來約100個項目的后評估結(jié)果進(jìn)行分析，根據(jù)本文提出的評估方案開展評估，過程非常簡潔、易操作、重復(fù)性好，具有良好的推廣應(yīng)用價值.