李 昀，吳華瑞，李奇峰，顧靜秋，李慶學(xué)，韓 笑

（1. 北京市農(nóng)林科學(xué)院，北京 100097； 2. 國家農(nóng)業(yè)信息化工程技術(shù)研究中心，北京 100097； 3. 北京市農(nóng)業(yè)信息技術(shù)研究中心，北京 100097； 4. 農(nóng)業(yè)部農(nóng)業(yè)信息軟硬件產(chǎn)品質(zhì)量檢測重點實驗室，北京 100097）

發(fā)展現(xiàn)代農(nóng)業(yè)，建設(shè)新農(nóng)村是我國的重大戰(zhàn)略決策。而科學(xué)技術(shù)是促進農(nóng)業(yè)和農(nóng)村發(fā)展的助推器。農(nóng)業(yè)科研高校和院所是加快農(nóng)業(yè)科技成果轉(zhuǎn)化和產(chǎn)業(yè)化，促進農(nóng)業(yè)科技進步的重要力量。而農(nóng)業(yè)科研成果績效評價是對科研項目完成效率、質(zhì)量和所帶來的社會經(jīng)濟效益進行量化的系統(tǒng)性過程，研究農(nóng)業(yè)科研成果的績效評價體系不僅有利于監(jiān)測農(nóng)業(yè)科技項目的實施效果，有利于形成更加合理有效的科研資源配置，形成依靠科研進步興農(nóng)機制，促進農(nóng)業(yè)現(xiàn)代化［1-3］。

與其他科研項目不同的是農(nóng)業(yè)科技成果不僅涉及科技創(chuàng)新，同時其研究成果轉(zhuǎn)化效果具有重要意義［4］。目前對于農(nóng)業(yè)科研績效評價指標體系構(gòu)建的研究涉及角度較多，基于科學(xué)指標數(shù)據(jù)庫，趙欣等探索了國外高校在農(nóng)科領(lǐng)域的論文發(fā)表及引用情況［5］。申紅芳等將科研投入作為影響因素，重點分析了不同農(nóng)業(yè)機構(gòu)科技產(chǎn)出及其資源配置情況［6］，劉寶濤等提出了包含科研投入、社會影響與科研產(chǎn)出3 個維度的農(nóng)業(yè)高?？蒲性u價指標體系，并采用正態(tài)云模型對多個農(nóng)業(yè)高校進行了績效評價與分析［7］。徐玲等將投入指標精簡為科技人力資源投入、科技財力資源投入與科技信息資源投入，從而構(gòu)建了農(nóng)林院校的科研資源配置效率指標［8］。

此外，上述研究在農(nóng)業(yè)科研指標構(gòu)建與評價方法等方面已取得了較多研究成果，但相關(guān)研究側(cè)重于分析內(nèi)容與評價結(jié)果，對于評價方法及其評價結(jié)果的衡量關(guān)注較少。理想解相似排序（TOPSIS）模型是一種解決多準則分析決策問題的方法，能夠令優(yōu)選方案應(yīng)盡可能接近正理想解，并盡可能遠離負理想解［9-10］。目前，該方法和相關(guān)改進方法已廣泛引用于各行業(yè)的績效評價中［11-13］?？紤]到農(nóng)業(yè)科研項目中的科研成果權(quán)重分配標準不統(tǒng)一，TOPSIS模型正負理想解計算簡單，沒有考慮到不同科研項目產(chǎn)出中側(cè)重點不同的缺點。本文研究了改進的熵-TOPSIS 農(nóng)業(yè)科研項目績效評價。

目前依靠先進信息技術(shù)、計算機處理技術(shù)、和網(wǎng)絡(luò)技術(shù)相結(jié)合的無紙化辦公方式在各行各業(yè)越來越普遍。協(xié)同辦公平臺是一種適應(yīng)復(fù)雜業(yè)務(wù)流程和信息交互的無紙化公務(wù)管理手段，可以有效管理科研人員的項目投入與成果產(chǎn)出［14］。科研人員通過協(xié)同辦公平臺上傳成果數(shù)據(jù)，也方便了對科研數(shù)據(jù)進行相關(guān)指標統(tǒng)計和評價。因此，本文主要研究了基于協(xié)同辦公平臺的農(nóng)業(yè)科研指標體系，為后續(xù)實現(xiàn)信息化科學(xué)績效評價提供參考。

1 農(nóng)業(yè)科研績效評價指標構(gòu)建

評價指標體系是農(nóng)業(yè)科研項目成果績效評價的重要組成部分，反映了農(nóng)業(yè)研究項目的完成效果與技術(shù)創(chuàng)新性（表1）。

以往農(nóng)業(yè)科研項目評價指標體系中通常將科研成果落地情況納入績效評價指標，實際上農(nóng)業(yè)領(lǐng)域中科研成果推廣的年限長，類型多樣，應(yīng)進行單獨討論［15］。因此，在某農(nóng)業(yè)科研單位協(xié)同辦公平臺的科研成果記錄驅(qū)動下，本文從項目投入與項目產(chǎn)出2 個維度建立了針對協(xié)同辦公平臺數(shù)據(jù)驅(qū)動下的農(nóng)業(yè)科研績效評價框架。項目投入包括人員投入、科研經(jīng)費投入、以及其他合作科研機構(gòu)投入等其它投入；項目產(chǎn)出則包括論文等成果產(chǎn)出與成果轉(zhuǎn)化結(jié)果等。該評價指標體系不僅關(guān)注論文和專利數(shù)量，同時關(guān)注獲獎情況以及人才培養(yǎng)和成果質(zhì)量，使農(nóng)業(yè)科研單位的日?？蒲泄ぷ鞲嗅槍π裕瑸檗r(nóng)業(yè)成果轉(zhuǎn)化投入提供進一步的指導(dǎo)。由于科研成果推廣的經(jīng)濟效益具有投入周期長，考核量化標準復(fù)雜等因素，本文僅對方便量化的科研創(chuàng)新成果進行評價。各科研成果均能夠由科研人員上傳至協(xié)同辦公平臺，研究農(nóng)業(yè)科技成果績效指標與評價方法有利于在平臺端直接實現(xiàn)績效評價，為科研單位的研究方向與資源配置提供指導(dǎo)。

表 1 農(nóng)業(yè)科研項目成果評價指標體系Table 1 Evaluation index system of agricultural scientific research projects

2 熵-TOPSIS 評價模型

評價體系構(gòu)建后，必須在綜合評價結(jié)果中確定各層次指標的位置，即確定指標權(quán)重，以反映不同指標對綜合評價的影響。通過對指標權(quán)重法的比較分析，熵權(quán)法具有定量分析與定性分析相結(jié)合、群體決策等優(yōu)點，因此筆者采用熵權(quán)法確定農(nóng)業(yè)科研成果指標評價體系的權(quán)重［16］。

利用上述方法分別確定評價指標的權(quán)重后，下一步筆者使用TOPSIS 方法對科研績效進行綜合評價。TOPSIS 是1 種通過與理想解的相似性來評價目標性能的方法。與其它方法相比，TOPSIS 方法計算原理簡單，結(jié)果直觀可靠。對研究對象的數(shù)據(jù)不存在特殊的限制，且易于理解應(yīng)用［17-19］。傳統(tǒng)TOPSIS 方法解決指標評價的步驟是：

（1）決策矩陣確定：

在決策矩陣X 中，第i 行表示樣本Ai（i=1,2,…, n），第j 列表示指標Qj。

（2）通過上述熵權(quán)法確定各指標權(quán)重：

（3）決策矩陣標準化：

通過該步驟消除不同指標量綱的影響。

（4）性能矩陣計算：

其中，vij= x'ij·wj。

（5）PIS 和NIS 確定

通過在評價樣本中的最佳或最差準則值組合，可獲得正理想解（PIS）和負理想解（NIS）。正理想解表示為：

負理想解表示為：

在這2 個公式中，B 表示正向指標（最大化），C 表示負向指標（最小化）。本文構(gòu)建指標屬于正向指標。

（6）每個樣本PIS 和NIS 之間的距離度：

使用歐幾里德距離計算d+和d-公式：

（7）每個樣本的性能指數(shù)計算：

其中Pi值表示理想解的絕對貼近度。最后按性能指標值的降序排列各個樣本。

3 熵-TOPSIS 距離評價模型

傳統(tǒng)TOPSIS 中通常采用單一維度的歐幾里得距離判斷參數(shù)與正理想解和負理想解間的相似度。但通過文獻可知，歐幾里得距離較簡單，難以表達不同指標維度間的細微差異［20］，對于線性相關(guān)指標，歐幾里得距離會失效。對于這個問題，本文同時引入余弦距離和曼哈頓距離。余弦距離用2 個向量的形式比較2 個樣本，如果其梯度同時在相同的增加方向上，它們之間相似。而兩者梯度不一致時，發(fā)生差異［9］。歐氏度量方便衡量數(shù)值上差異的絕對值，而余弦相似度能夠衡量的是維度間相對層面的差異。當兩樣本評分趨勢一致，分值差距較大時余弦相似度傾向得到更優(yōu)解。因此，本文引入余弦距離改進TOPSIS 模型：

每個樣本Ai和正理想解（負理想解）之間的余弦距離可如下所示：

每個樣本Ai和正理想解（負理想解）之間的曼哈頓距離為：

因此，每個樣本Ai與正理想解和負理想解之間的距離可以由下式定義：

得到每個樣本的正負理想解距離后，利用式（8）得到每個樣本的績效指數(shù)，依次進行對比排序，評價各項目執(zhí)行優(yōu)劣。

然而，TOPSIS 模型的距離改進只能以距離視角反映樣本的貼近度，不適應(yīng)評價指標體系的復(fù)雜多樣性?；疑P(guān)聯(lián)分析是一種測量序列間曲線形狀相似程度的方法，能直觀地呈現(xiàn)序列間的非線性關(guān)系，反映系統(tǒng)因素之間存在的相似程度。在多維空間中，序列曲線越相似，灰色關(guān)聯(lián)度越大。為了進一步提高結(jié)果的準確性，引入灰色關(guān)聯(lián)分析，將灰色關(guān)聯(lián)法和改進距離相結(jié)合，使多屬性指標決策方法更加精細［21］。

其中ρ是分辨率因子，ρ=0.5。則第i 種方案與正理想解的灰色關(guān)聯(lián)度為：

然后對改進距離與灰色關(guān)聯(lián)度進行無量綱處理：

最后通過式（8）計算得到樣本與理想解的絕對貼近度。

4 應(yīng)用案例分析

圖1 所示為某農(nóng)業(yè)科研院所設(shè)計的協(xié)同辦公平臺中科管系統(tǒng)綜合管理界面，圖2 所示為科研項目詳細信息界面。由圖可看到協(xié)同辦公平臺方便收集科研項目關(guān)聯(lián)成果與立項信息等內(nèi)容。本文設(shè)計的農(nóng)業(yè)科研項目評價指標均能從平臺內(nèi)獲得。

圖 1 協(xié)同辦公平臺科管系統(tǒng)綜合管理界面Fig. 1 Integrated management interface of science and management system in collaborative office platform

圖 2 科研項目關(guān)聯(lián)成果信息Fig.2 Research project details

項目1 ～項目19 由P1 ～P18 表示，如表2 所示。

表 2 收集數(shù)據(jù)原值Table 2 Original value of collected data

本文收集了18 個科研創(chuàng)新項目結(jié)題后的指標參數(shù)以驗證本文方法的有效性。項目類型包括國家自然基金、國家重點研發(fā)計劃與省級科技支撐項目等，研究內(nèi)容包括農(nóng)業(yè)信息化、農(nóng)業(yè)大數(shù)據(jù)挖掘、智能農(nóng)業(yè)管理設(shè)備研究等，所有項目都已完成驗收。表3 為各指標間的Pearson 相關(guān)系數(shù)，由文獻［22］可知，當相關(guān)系數(shù)大于0.4 時，指標之間即為中等相關(guān)。由表可知，C2 和C4 等多個指標間相關(guān)系數(shù)較大，科研績效評價指標間存在較強的相關(guān)性。而由前文知歐式距離計算不能很好處理指標間的相關(guān)性，需要改進TOPSIS 評價模型，從而得到科學(xué)評價結(jié)果。

表 3 各項指標之間的相關(guān)系數(shù)Table 3 Pearson correlation coefficient of each index

為了消除不同指標量綱對權(quán)重確認的影響，對上述采集指標標準化，得到了無量綱決策矩陣，處理后所有指標數(shù)值處于同一量級。基于歸一化決策矩陣，通過第2 節(jié)所述熵權(quán)法得到各級評價指標的對應(yīng)權(quán)重如圖3 所示。

圖 3 各級指標分配權(quán)重Fig 3 Distribution weight of indicators at all levels

熵權(quán)法所得權(quán)重中，一級指標項目投入權(quán)重小于項目產(chǎn)出權(quán)重，二級指標中項目認證成果產(chǎn)出指標權(quán)重較理論成果產(chǎn)出權(quán)重更大，在一定程度上符合理論認知，三級評價指標中C2 ＞C1,C3=C4,C7＞C15 ＞C11 ＞C13 ＞C10 ＞C14 ＞C16 ＞C5＞C12 ＞C6 ＞C9 ＞C8，C19 ＞C17 ＞C18，項目合作機構(gòu)投入大于項目人員投入，項目級別和項目資金投入相等，同時EI 論文大于核心論文權(quán)重，整體上熵權(quán)法能夠捕捉評價指標中差異較大的項，且賦權(quán)結(jié)構(gòu)大致符合主觀上專家績效評價中的賦權(quán)趨勢。而基于上述各級指標可得每個三級指標的總權(quán)重如表4 所示。

表 4 評價指標總權(quán)重Table 4 The total weight coefficient of index

由上述指標總權(quán)重可以看到，在這批采集數(shù)據(jù)中，項目立項經(jīng)費、產(chǎn)出新品種數(shù)量和產(chǎn)出新設(shè)備數(shù)量具有較大的變異程度。將上述得到的權(quán)重與采集數(shù)據(jù)一起利用改進TOPSIS 模型進行評價后，綜合得分如表5 所示。其中，項目9 排名第一，項目18 排名第18。S+'i，S-'i和p'i 分別表示傳統(tǒng)TOPSIS模型中的正理想解距離、負理想解距離和貼近度。我們將改進熵-TOPSIS 模型與灰色關(guān)聯(lián)-TOPSIS模型、傳統(tǒng)TOPSIS 評價模型評價結(jié)果進行了如表5所示對比。三者的評價結(jié)果趨勢基本一致，原數(shù)據(jù)中，項目9 的項目投入、理論成果和轉(zhuǎn)化成果產(chǎn)出均較其他項目更好，項目9 優(yōu)勢明顯，其他指標排名相差小于5，證明了本試驗算法的有效性。對于3個評價模型，傳統(tǒng)TOPSIS 模型排名第一的是項目14，由原始數(shù)據(jù)可直觀看到項目14 的理論成果產(chǎn)出、項目級別優(yōu)于項目9，但項目認證成果產(chǎn)出則是項目9 較優(yōu)，基于項目認證成果則明顯前者排名靠前更合理，因此引入灰色關(guān)聯(lián)模型后評價模型更關(guān)注于項目整體，而非差異較大的某一項。對于改進熵-TOPSIS 模型和灰色關(guān)聯(lián)-TOPSIS 模型，以項目16 和7 為例，從原始數(shù)據(jù)上雖然難以判斷哪個項目具有明顯優(yōu)勢，但項目7 在項目資金投入方面較項目16 具有較大差異，因此該模型較灰色關(guān)聯(lián)模型融合了細節(jié)判斷能力。

將3 種模型的評價結(jié)果方差和變異系數(shù)進行對比可知，本文算法具有最大的方差和變異系數(shù)，說明本文算法的分辨率高，離散程度強。傳統(tǒng)歐式距離TOPSIS 模型在水平測度上的結(jié)果差異較大，有利于結(jié)果判斷，而灰色關(guān)聯(lián)-TOPSIS 模型雖然在水平空間上差值小，但評價結(jié)果更綜合，本文算法對其他2 種算法進行了優(yōu)勢融合，既在水平上區(qū)分度較大，而且對指標差異進行了細節(jié)分析，具有更好的準確性。

表 5 科研創(chuàng)新成果績效評價結(jié)果Table 5 Performance evaluation results of scientific research and innovation achievements

5 結(jié)論

目前的農(nóng)科科研項目評價指標體系中通常將成果推廣效果、理論指標和項目投入等綜合討論，但農(nóng)業(yè)領(lǐng)域中科研成果推廣的年限長，不同成果面向目標人群不同，與科研項目結(jié)題成果一起進行統(tǒng)計評價并不科學(xué)，因此研究了1 種面向農(nóng)業(yè)領(lǐng)域的三級農(nóng)業(yè)科研創(chuàng)新成果績效評價指標體系，該體系由協(xié)同辦公平臺錄入數(shù)據(jù)即可確認，避免了主觀因素介入。

在該指標體系的基礎(chǔ)上，研究了目前TOPSIS模型中通過距離計算理想解貼進度的缺陷，引入余弦距離、曼哈頓距離、灰色關(guān)聯(lián)進行評價模型改進，改進TOPSIS 模型對樣本案例計算其與理想解的貼近度，得到了各項目樣本的總體性能指標，具有一定的可信度。能夠為后續(xù)在協(xié)同辦公平臺實現(xiàn)績效評價功能集成提供參考，具有實際應(yīng)用價值。但科研績效評價本身是不同指標相互權(quán)衡的結(jié)果，針對不同類型項目權(quán)重需要進一步矯正，這也是我們下一步的研究方向。