學術評價中個體權重、整體權重與偽權重問題研究*
——以線性評價及JCR 經濟學期刊評價為例

俞立平 潘偉波

(1.浙江工商大學 統(tǒng)計與數學學院 杭州 310018;2.浙江工商大學 統(tǒng)計數據工程技術與應用協(xié)同創(chuàng)新中心 杭州 310018)

0 引 言

在學術評價中，采用指標體系多屬性評價已經成為重要的研究方法。目前的一些主流評價，如泰晤士報世界大學排名、軟科世界大學學術排名、北京大學核心期刊評價、南京大學CSSCI期刊評價、教育部學科排名等等，均廣泛采用指標體系評價方法。采用指標體系評價，具有評價內容全面、信息量大、更加貼近管理需要的優(yōu)點，即使在破“五唯”背景下，采用指標體系進行多屬性評價仍然是非常重要的研究方法。

指標體系多屬性評價方法包括線性評價方法與非線性評價方法。所謂線性評價方法，就是評價得分與評價指標是嚴格的線性相等關系。計算時首先采用某種方法確定評價指標權重，然后將評價指標進行標準化，最后再進行加權匯總得到評價結果。所謂非線性評價方法，就是指評價得分與評價指標之間是非線性關系。評價方法包括主成分分析、因子分析、灰色關聯(lián)分析、DEA數據包絡分析、TOPSIS、VIKOR、康拓對角線等等。在實際應用的學術評價體系中，大部分采用的是線性評價方法。

權重問題是學術評價中非常重要的基礎問題。在線性評價中，所有的評價方法均離不開權重，在非線性評價中，許多評價方法也用到權重。由于實際的學術評價應用以線性評價方法為主，這樣權重問題就變成一個非常突出的問題。

分析整體權重與個體權重是個全新的視角。所謂整體權重，就是作為評價對象總體而言，其指標總體的相對重要性問題，這也是傳統(tǒng)研究中較多得到關注的。個體權重是個新的概念，所謂個體權重，就是指在線性評價中，針對某個具體的評價對象，其評價指標在評價得分中的相對重要性。對于個體權重，學術界較少關注。相關問題包括，整體權重與個體權重的計算方法？它們與設計權重即專家權重的關系？實際權重與設計權重一致嗎？如果不一致，其產生的原因是什么？設計權重與實際權重不一致的偽權重問題能否消除以及如何消除？偽權重對整體權重與個體權重的影響如何？整體權重、個體權重中的偽權重問題對學術評價具有什么影響？

整體權重、個體權重的計算及與設計權重的關系研究是學術評價的基礎問題，對于推進科技評價理論與多屬性評價方法具有重要意義。鑒于研究的基礎性，以JCR經濟學期刊為例，針對線性評價方法開展相關研究，但是其涉及的個體權重與整體權重問題其實廣泛存在于大學評價、學術期刊評價、學科評價、團隊評價等應用中。研究主要創(chuàng)新體現(xiàn)在，首次提出個體權重問題，并與整體權重放在一個框架下開展研究，分析整體權重、個體權重對設計權重與實際權重的影響，從而豐富了科技評價權重理論。

1 文獻綜述

權重問題是學術評價的基礎問題，廣泛應用在評價指標設計、專家權重分配、指標體系評價方法、指標體系權重應用、科技評價指標關系的分析中。

在學術評價指標設計的相關權重研究中，Hagen[1]認為在進行學者影響力學術跡評估時，采用合作者等權重會造成平均或夸大影響力偏差。Abbas[2]指出對于合作論文，第一作者權重應大于第二作者，第二作者權重應大于第三作者，總權重為1。唐璞妮等[3]為平衡論文合著者的貢獻，在學術跡的基礎上引入作者貢獻率，以更準確地評價不同學者學術影響力及其貢獻。鄭美鶯等[4]提出基于期刊質量權重的影響因子計算方法，采用期刊影響因子占所有期刊影響因子的比重作為該刊質量的權重。許海云等[6]對計算影響因子時期刊文獻類型等同進行改進，結合專家建議和序關系轉換權重原理，得到基于期刊文獻類型的序關系轉換權重的影響因子。

在同行評議不同專家的權重賦值研究中，Ganesh[6]在假設專家之間相互熟悉的前提下，通過專家之間的互評來確定專家權重。張立軍等[7]在學術評價中運用信度系數建立專家權重，在模糊綜合評價模型的專家評分環(huán)節(jié)考慮評審專家的水平差異。林強[8]按知識結構、課題熟悉度、社會知名度、學術地位建立專家綜合水平模型，以確定專家權重。

在指標體系評價方法的權重研究中，Hagerty等[9]區(qū)分評價主體存在與否，證明算術平均賦權是能夠減少分歧的最佳賦權方法。Edwards等[10]指出序和法對重要屬性權重賦值偏低，提出秩重心權重法，通過序數的倒數計算權重。張愛琴等[11]在學術期刊評價研究中，發(fā)現(xiàn)加權TOPSIS法不具有權重單調性，提出了分子加權TOPSIS方法，解決了權重單調性問題。熊國經等[12]以圖情類期刊為例，構建PLS路徑模型得到各指標外部權重，然后采用熵權法的差異系數對外部權重進行修正，得到各指標的權重，最后用加權TOPSIS法進行評價。王瑛等[13]采用CRITIC法和理想解法構建了基于復合權重科技成果立體綜合評價模型。此外還有大量的研究集中在權重賦值方法與權重優(yōu)化的研究中。

在指標體系評價的權重應用研究中，俞立平[15]將權重分為設計權重、自然權重、實際權重，從理論上分析了三者之間的關系，并提出了動態(tài)最大均值逼近標準化方法，徹底消除了自然權重問題。郭曉晶等[15]采用專家層次分析法、對比排序法、直接評分法作為主觀賦權法代表，采用CRITIC、熵權法、標準離差法作為客觀賦權法代表，綜合確定科技評價指標體系權重。杜向民等[16]在同行評議評價中，提出學術規(guī)范、科學性、研究價值、創(chuàng)新度、難易度的指標體系，并采用AHP方法確定指標權重。該領域的權重研究成果眾多，絕大多數指標體系評價均涉及到權重相關問題研究。

在評價指標關系的相關權重研究中，李亮等[17]以《情報學報》為例，基于社會網絡分析法，對國內情報學領域的合著網絡進行系統(tǒng)分析，得到核心作者網絡。孫桂娟等[18]采用DANP方法分析高校智庫國際影響力、決策影響力、網絡影響力、學術影響力之間的網絡關系和權重。劉洋等[19]引入論文權重因子表示論文質量，提出一種帶權重的社會網絡模型來表示合著網絡。需要特別說明的是，評價指標的篩選是整個評價的基礎[20]。

從現(xiàn)有的研究看，權重已經進入學術評價的方方面面，在評價指標角度，包括不同作者權重、不同單位權重、不同引用關系權重、不同文獻類型權重等等；在不同專家權重的研究中，涉及根據不同專家的學術水平與影響力來設置不同的權重進行評價；在多屬性評價方法中，權重與評價方法密切相關；在多屬性評價方法的應用中，涉及采用不同的權重賦值方法；在指標體系涉及的變量關系研究中，基于社會網絡分析、回歸分析的許多研究也離不開權重。總體上，在以下方面有待進一步深入：

第一，在學術評價中，整體權重涉及的自然權重、設計權重、實際權重問題已經得到討論，至于其解決方法，有待進一步拓展。

第二，關于個體權重的研究尚處于探索之中，現(xiàn)有的研究中，有一些研究談及權重對評價個體的影響，但個體權重的計算方法、包括對其進行的全面系統(tǒng)分析缺乏，有待進一步深入。

第三，關于個體權重的影響因素，該領域相關研究缺乏，需要進行全面的分析。

第四，關于個體權重與整體權重的關系，以及在整體權重視角下如何看待個體權重，包括評價對象個體如何應對評價的權重導向，這方面也需要進一步研究。

2 整體權重與個體權重的理論分析

在傳統(tǒng)的學術評價中，權重相關問題一般都是缺省指向整體權重的，因此首先對整體權重進行分析，然后再分析個體權重的相關問題。

2.1 整體權重的相關問題分析

a.線性評價中整體權重的計算及與實際權重的關系。通常情況下，線性學術評價的計算公式如下：

Cij=ω1Xi1+ω2Xi2+…+ωnXin

(1)

式(1)中，ωj表示權重，Xij表示標準化后的評價指標值，n為評價指標數量，此外設定評價對象即總體數量為m。ωj的確定方式可以是主觀賦權，也可以是客觀賦權，或者主客觀結合賦權，不過在主流的學術評價應用中，ωj的確定方式一般采用專家賦權。俞立平[14]將ωj稱為設計權重，即在學術評價時根據評價目的確定的權重。

在線性評價中，其實還有另外一個概念即實際權重，傅榮[21]稱其為結果權重，用該指標的加權匯總值占評價得分的匯總值表示：

式(2)中Wj表示實際權重，很明顯，通常情況下設計權重與實際權重并不相等，除非標準化后各學術評價指標的均值相等。俞立平將指標標準化后由于均值不等產生的權重稱為自然權重。

b.整體權重的偽權重問題及其修正。從以上分析可以看出，設計權重普遍存在與實際權重不相等現(xiàn)象，將其稱為偽權重問題，因此必須找到一種標準化處理方法，使得各指標標準化后均值相等。為此俞立平提出動態(tài)最大均值逼近標準化方法，其基本原理如圖1所示。

圖1 標準化過程

標準化步驟如下：

第一，首先按照極大值法標準化，找到所有指標標準化后的最大均值K，假設該指標為X’。

第二，除了指標X’以外，對于其他指標Xj，加上K與Xj均值的差，此時極大值為大于1。

第三，對Xj采用極大值法進行二次標準化，以解決極大值大于1問題，由于均值又縮小，所以繼續(xù)回到第二步。如此反復循環(huán)，直到第二步極大值可接受，比如極大值小于1.01，即在1%的誤差范圍內。注意這種標準化方法可以無限逼近最大均值，但總會存在一定的誤差。

需要說明的是，鑒于動態(tài)最大均值逼近標準化方法中，最大均值的指標對評價會產生較大影響，因此對于一些數據分布異常的指標，應考慮采用其他非線性標準化方法進行標準化。

除了以上提到的方法外，基于sigmoid函數進行標準化也具有一定的縮小指標標準化值均值差異的效果。俞立平等[22]在分析多屬性評價值評價功能的影響機制的基礎上，提出基于Sigmoid函數進行無量綱處理，可以在一定程度上減少自然權重帶來的影響。

Sigmoid函數圖像如圖2所示。它具有成長曲線的特征，有明顯的拐點，并且標準化值相對百分制評價具有直接優(yōu)劣判斷功能，不過其是一種非線性評價方法。

圖2 sigmoid函數

采用sigmoid函數對評價指標標準化處理，第一步是計算指標z值，即：

(3)

式(3)中，zij值為z值，Xij為學術評價指標原始指標，μj為該指標均值，σj為該指標的標準差。

將zij代入sigmoid函數，就得到標準化后的學術評價指標Y，即：

(4)

c.兩種偽權重修正方法的比較。動態(tài)最大均值逼近標準化方法與sigmoid函數標準化比較如表1所示。動態(tài)最大均值逼近標準化方法的場景模擬沒有任何限制，適用范圍較廣，它是一種線性變換，計算過程由于要進行循環(huán)，所以略顯繁瑣，對整體評價的偽權重問題消除效果較好，應用范圍適用于一切多屬性評價。而sigmoid函數標準的場景模擬最好是成長曲線，即處于成長的評價對象，它是一種非線性變換，頗具特色，標準化方法簡捷，對偽權重的消除效果較好，一般應用在時間序列數據的學術評價中，當然也可以兼顧截面數據評價。

表1 偽權重修正方法比較

2.2 個體權重的相關問題分析

a.個體權重的計算及其與實際權重的關系。 對于評價個體Ci而言，其評價得分為：

Ci=ω1Xi1+ω2Xi2+...+ωnXin

(5)

對于指標Xij，其實際權重為：

(6)

從式(6)可以看出，個體權重對于個體的每個評價指標而言均不一樣，這是其和整體權重的最大區(qū)別。

對于單個指標而言，要使得設計權重ωj與實際權重Wj相等，即：

(7)

也就是說，除非該指標標準化得分恰好等于評價值，設計權重和實際權重才會相等，這是小概率偶然事件，沒有意義。當然，有一種極端情況個體評價時設計權重與實際權重相等，那就是等權重評價。

公式(6)還可以進一步改成如下形式：

(8)

即實際權重與設計權重之比等于該指標標準化值與評價值之比，也就是說，在個體評價中，標準化指標值越接近評價值，其實際權重與設計權重越接近。

對于任何一個個體評價，可以分別計算其權重偏離系數，即實際權重與設計權重的偏離程度。個體所有權重的偏離程度通過每個指標權重偏離程度的加權匯總值表示。

b.個體實際權重的影響因素。從以上分析可以看出，個體實際權重的大小取決于設計權重、評價指標值、標準化方法、評價值等因素。設計權重體現(xiàn)了管理者的意圖與指標的重要性，這是無法修改的；個體各指標的發(fā)展特征不同，個體評價值受個體各評價指標的發(fā)展水平、權重、標準化方法的影響；指標標準化方法會影響個體評價指標值，因而對個體實際權重也會產生影響。

鑒于討論個體權重的前提是整體的設計權重與實際權重必須相等，因此后續(xù)會在實證研究中比較最大均值逼近標準化方法與sigmoid函數標準化方法對個體權重及其偏離程度的影響。

c.個體權重的進一步討論。第一，對于個體評價而言，設計權重難以等于實際權重，偽權重問題非常普遍，但這是正?，F(xiàn)象，其產生的根本原因是個體發(fā)展中的不均衡性。關于不均衡性也要辯證看待，有些不均衡性可能是負面的，要加以修正，而有些不均衡性恰恰是個體發(fā)展的優(yōu)勢和特色。比如對于學者而言，有的學者更加側重基礎研究，有的學者更加側重應用研究，而有的學者更加側重社會服務，這樣就導致大多數學者是不均衡發(fā)展的，這其實是值得肯定的。

第二，設計權重在個體評價時只能得到部分反映。在個體評價中，設計權重與實際權重永遠存在偏差，這種偏差是無法消除的。所以個體評價得分會部分反映管理者的意圖，即部分實際權重，但永遠無法反映全部實際權重，這在理論上是不可行的。

第三，評價導向會影響個體發(fā)展態(tài)勢。評價導向主要包括兩個方面，一是評價指標導向，即可能增加或刪除部分指標，二是各評價指標的權重(即設計權重)。如果評價與資源分配掛鉤，通常情況下這會影響個體的發(fā)展，即評價個體會不得不重視關鍵指標。這有利有弊，優(yōu)點是可以促進關鍵總體指標增長，缺點是犧牲了個體的發(fā)展個性。

第四，分類評價的本質就是減小個體評價的權重偏倚。個體評價的設計權重與實際權重是無法完全一致的，但如果分類評價，就會有效提高個體評價的設計權重與實際權重的一致程度。比如科技人才如果統(tǒng)一評價，那么從事基礎研究、應用研究、社會服務的科技人員個體實際權重與設計權重必然相差較大，而單獨評價基礎研究、單獨評價應用研究、單獨評價社會服務的科技人員，細分后的評價對象會擁有更多共性特征，從而使得設計權重與科技人員的發(fā)展個性擁有更好的一致性。

第五，個體權重屬于管理問題，而整體權重屬于技術問題。而對于整體而言，可以通過優(yōu)化標準化方法來解決設計權重與實際權重不一致問題，因此，這是個技術問題。當然，必須首先解決整體權重問題再來討論個體權重問題，否則沒有意義。對于個體而言，雖然設計權重與實際權重難以一致，但可以從管理角度適當加以優(yōu)化，比如分類評價。

2.3 實證研究設計

以JCR經濟學期刊為例，采用專家會議法確定各指標權重。然后先進行整體權重研究，首先采用傳統(tǒng)的極大值標準化方法進行評價，再分別采用最大均值逼近標準化方法、sigmoid函數標準化方法進行標準化，并分別計算不同標準化方法的實際權重以及設計權重與實際權重的偏離度，以比較整體評價中實際權重修正效果。

在以上討論基礎上，選擇不同標準化方法，再計算個體實際權重，以及個體設計權重與實際權重的偏離度，分析相關問題對個體評價的影響。

3 研究數據與實證結果

3.1 研究數據

以JCR2019經濟學期刊為例進行相關研究，選取的評價指標以及專家確定的初始權重如表2所示。

表2 評價指標及權重

一級指標包括3個，分別是知識信息量、影響力、時效性。第一，知識信息量指標主要是載文量，一般而言，載文量越大，期刊的知識信息量越大，期刊知識信息量也是后續(xù)影響力和時效性的基礎。第二，期刊影響力，包括總被引頻次、影響因子、他引影響因子、5年影響因子、即年指標、特征因子、論文影響分值7個指標，總被引頻次是期刊創(chuàng)刊以來的所有論文在統(tǒng)計當年的被引次數，時效性略差一些，另外對辦刊時間較短的期刊不利，因此權重略低。即年指標由于尚未到達被引峰值，因此權重也略低一些，特征因子是根據期刊被引網絡以及被引期刊水平綜合計算，因此權重略高，其他評價指標的權重大致相當。第三，期刊時效性，包括被引半衰期和引用半衰期兩個指標，權重相等。

需要說明的是，為了提高指標分類的穩(wěn)健性，還采用聚類分析輔助分類，結果如圖3所示。聚類分析將評價指標分為兩類，一類是被引半衰期和引用半衰期，另一類是其他所有指標。一般認為，引用半衰期短的，說明論文寫作時參考最新論文較多，這樣論文的新穎性和時效性也得到一定的保障，而被引半衰期較短本來就說明論文的時效性較好。還有一個指標是即年指標，該指標同時兼具影響力和時效性的特點，聚類分析將其分在影響力大類下，說明其更側重影響力。其實載文量大本身也能夠帶來更大的影響力，將載文量作為期刊信息量的指標單獨列出，主要原因是這是唯一的一個期刊來源指標，載文量信息也比較重要。

圖3 指標聚類分析結果

JCR2019經濟學期刊共有373種，由于部分期刊存在數據缺失，主要是期刊辦刊年限較短引起的，經過清洗后還有期刊337種。

3.2 整體權重的計算

分別采用極大值標準化、sigmoid函數標準化和動態(tài)最大均值逼近標準化方法進行標準化，然后基于專家給出的設計權重進行線性加權匯總，并分別計算不同標準化方法各指標的整體權重，結果如表3所示。

表3 不同標準化方法及整體權重的計算結果

采用極大值標準化，各指標的實際權重與設計權重相差較大，平均偏離度高達94.41%，也就是說，在學術評價中常用的極大值標準化方法會嚴重扭曲設計權重，使得實際權重產生較大的偏差，難以發(fā)揮權重的導向和評價功能。

采用sigmoid函數標準化，實際權重與設計權重偏離程度總體較低，除了被引半衰期和引用半衰期偏離度分別為6.20%、6.60%外，其他指標的偏離度均較低，平均偏離度為1.61%，這說明采用sigmoid函數標準化，能充分尊重設計權重。

采用動態(tài)最大均值逼近標準化方法，實際權重與設計權重偏離度最低，除了特征因子的偏離度為6.15%以外，其他指標的偏離度幾乎為0，平均偏離度僅為0.62%。

綜上可以看出，無論采用sigmoid函數標準化，還是采用動態(tài)最大均值逼近標準化方法，均能大幅降低設計權重與實際權重的不一致程度，有效解決偽權重問題。

3.3 個體權重的計算

由于個體權重是每個期刊的實際權重，受設計權重、評價指標值、標準化方法的綜合影響，從而導致每個期刊、每個指標的實際權重均存在較大差異，因此以《經濟展望雜志》(JournalofEconomicPerspectives)為例，同樣分別采用極大值標準化、sigmoid函數標準化、動態(tài)最大均值逼近標準化三種方法進行標準化，并分別計算該期刊各指標的實際權重，以供進一步分析。選取該期刊為例的另外一個原因是，該期刊每個指標均不是極大值，這樣在計算實際權重的時候更具有區(qū)分度。

采用極大值標準化方法，《經濟展望雜志》的實際權重及其偏離度如表4所示。實際權重與設計權重排序幾乎沒有任何關系，實際權重與設計權重的平均偏離度為62.42%，處于較高水平。

表4 《經濟展望雜志》極大值標準化個體權重

采用sigmoid函數標準化方法，《經濟展望雜志》的實際權重及其偏離度如表5所示。實際權重與設計權重排序同樣沒有太大關系，實際權重與設計權重的平均偏離度為28.13%，低于極大值標準化，主要原因這是一種非線性標準化方法，降低了不同期刊評價指標之間的差距。

采用最大均值逼近標準化方法，《經濟展望雜志》的實際權重及其偏離度如表6所示。實際權重與設計權重排序同樣相差較大，實際權重與設計權重的平均偏離度為41.39%，處于中等水平。其內在原因是采用最大均值作為參照標準標準化，同樣會適當縮小期刊評價指標之間的差距。

表5 《經濟展望雜志》sigmoid函數標準化個體權重

表6 《經濟展望雜志》最大均值逼近標準化個體權重

4 結論與討論

a.對于整體線性評價而言存在設計權重與實際權重不相等問題。在學術評價中，由于標準化后指標的均值不相等會產生實際權重與設計權重(專家權重)的偏離，也稱為偽權重問題，從而導致專家權重失效，這是線性評價的基礎問題，其嚴重性并沒有得到有效的重視，如果不加以解決，會產生較大的系統(tǒng)誤差。研究數據表明，實際權重對設計權重的偏離度達到94.41%，這會嚴重影響評價結果。

b.sigmoid函數標準化與動態(tài)最大均值逼近標準化方法均可以有效解決偽權重問題。研究比較了sigmoid標準化方法與動態(tài)最大均值逼近標準化方法對偽權重的影響，研究發(fā)現(xiàn)，這兩種方法均可以有效克服偽權重問題，使得實際權重與設計權重接近。實證研究結果表明，其有效率高達98%以上，這為消除線性學術評價中的偽權重問題開辟了新的道路。

研究發(fā)現(xiàn)，應根據不同情況選擇不同的標準化方法以克服偽權重問題。對于時間序列數據評價，以及評價指標數據分布異常情況下，宜采用sigmoid函數標準化，對于截面數據評價以及評價指標數據接近正態(tài)分布的情況，宜采用動態(tài)最大均值逼近標準化方法。另外評價指標發(fā)展規(guī)律接近成長曲線的評價也首選采用sigmoid函數進行標準化。

c.個體評價中廣泛存在偽權重問題并且理論上不可能消除。個體評價的影響因素比較復雜，受設計權重、指標標準化方法、評價值等因素的綜合影響。對于個體而言，實際權重與設計權重之比等于標準化指標值與評價得分之比。在個體評價中，設計權重與實際權重基本不可能相等，并且從技術上無法消除，實證研究結果也驗證了這種情況。在這種情況下，設計權重的評價導向會適當影響到個體的發(fā)展，分類評價一定程度上可以減小個體評價的偽權重問題。

d.解決整體評價的偽權重問題是討論個體評價權重問題的基礎。整體評價的權重是討論個體評價權重的基礎，只有首先解決好整體評價的權重問題，才能使個體評價中的設計權重與實際權重問題討論有意義，并且使得個體評價的實際權重計算正確，如果整體權重問題不解決，計算的個體實際權重也是錯誤的。

e.要辯證看待評價的權重導向作用。對于個體而言，權重的導向作用固然會產生影響，尤其是涉及到資源分配的評價，會使個體更加關注權重較大指標的發(fā)展。但本質上，個體的實際權重與導向權重往往相差較大，因此即使從提高評價得分角度，個體也沒必要太關注評價的權重導向，做好特色指標，形成競爭優(yōu)勢，才是個體發(fā)展真正應該關注的方向。