■ 朱 劍
(南京大學 學報編輯部,江蘇 南京 210093)
大數(shù)據之于學術評價:機遇抑或陷阱?
——兼論學術評價的“分裂”
■ 朱 劍
(南京大學 學報編輯部,江蘇 南京 210093)
作為行政權力部門分配學術資源和進行學術管理重要依據的學術評價如今已發(fā)生了分裂,定性評價和定量評價由一般的評價方法升格成為兩種不同的評價種類。兩類評價的主體分別為學術共同體和專業(yè)評價機構。兩個評價主體展開了對評價權力的角逐,致使學術評價失去了完整性而變得殘缺不全。正是在如此情境下,學術評價迎來了大數(shù)據時代。大數(shù)據之于學術評價,既提供了評價回歸統(tǒng)一的機遇,也布下了分裂走向極致的陷阱。重建科學合理的學術評價機制的關鍵,是處理好大數(shù)據時代與前大數(shù)據時代學術評價的關系、科研體制與學術評價的關系以及學術評價內部諸要素間的復雜關系。唯此,分裂的評價方能在科學的意義上重新歸于統(tǒng)一。
大數(shù)據 學術評價 評價主體 評價方法
“大數(shù)據”概念的提出不過短短四五年的時間,之所以能在如此短的時間里風行于世,不僅因為互聯(lián)網時代有著“數(shù)量巨大、結構復雜、類型眾多數(shù)據構成的數(shù)據集合”這一事實基礎,更因為技術進步所帶來的看得見的效用:人們可以從幾何級數(shù)增長的天量數(shù)據中挖掘可資利用的信息,并通過“基于云計算的數(shù)據處理與應用模式,通過數(shù)據的集成共享,交叉復用形成的智力資源和知識服務能力”[1],為經濟建設和社會發(fā)展提供其無可比擬的服務。
作為一場新的技術革命,大數(shù)據不同凡響的作用正在某些行業(yè)中顯現(xiàn),這就使學界中人聯(lián)想到,在學術研究和學術評價領域,大數(shù)據是否也會帶來某些變化,甚至是革命性的變化?答案似乎是肯定的。在學術研究中,采集和運用數(shù)據進行研究已是一種得到公認的方法,大數(shù)據無疑會使可資學術研究的數(shù)據在量與質的方面都有所提高,會使研究方法更加豐富多彩。與學術研究相比,在學術評價中,數(shù)據的作用更是無處不在:一方面,根據數(shù)據制作的各種排行榜和排名表大行其道;另一方面,圍繞數(shù)據的意義和作用的爭論也從未平息,對學術評價的質疑和詬病幾乎都與數(shù)據有關。兩方面的對立呈膠著狀態(tài),迫切需要新元素的介入來改變現(xiàn)狀。在這樣的情境下,大數(shù)據自然被寄予了更多的期望。
的確,由于評價數(shù)據與數(shù)據處理之于評價的不可或缺性,大數(shù)據完全有可能對評價產生影響。但是,影響的程度有多大,影響是正面的還是負面的,則很可能取決于我們對大數(shù)據與評價關系的看法。要讓大數(shù)據發(fā)揮正面的積極作用,我們首先應該弄清楚學術評價的現(xiàn)狀及其問題的癥結到底何在;其次應該準確地描述和分析這些問題與數(shù)據和數(shù)據處理方法之間有著何種關系;最后再來看大數(shù)據是否有助于這些問題的解決以及解決的條件是否具備,從而判斷大數(shù)據能在多大程度上改變學術評價現(xiàn)狀。本文將循著這個思路對大數(shù)據與學術評價的關系作一嘗試性的探討。
(一)學術評價的分裂
學術評價的對象是多元的,學術成果(作品)、作者、期刊、出版機構、科研機構等都可歸入評價對象,但只有對學術成果(作品)的評價是基礎性的,對其余各種對象的評價都是建立在對成果(作品)評價的基礎上的,所以,核心的評價是對成果(作品)的評價。學術成果(作品)一旦公開發(fā)表或發(fā)布,對它的評價就是所有讀者和應用者的基本權利,這就決定了評價的主體也是多元的。一般說來,讀者和應用者通過學術批評來行使他們的評價權利。學術批評的方式當然也是可以多種多樣的,最常見的批評方式則是撰寫和發(fā)表學術評論。多主體決定了學術批評永遠也不可能完全一致,而且,被批評者擁有反批評的權利,評價不會一次性地結束。換言之,在學術研究領域,一錘定音的評價幾乎不會存在。學術評價在一定時段內的不確定性對于學術研究的進展是十分必要的,學術研究正是在這樣反復的批評與反批評中實現(xiàn)超越的。
在現(xiàn)實中,學術評價的作用并不局限于研究領域和應用領域,它還是行政權力部門行使學術資源分配和科研管理權力的依據,從而與權力相關,而資源分配和科研管理需要的是結論明確的評價,不然就會無所適從。顯然,多主體和多時段反復進行的學術批評無法滿足行政權力部門的需要。為了使評價具有明確的結論,最好的辦法就是對評價主體的身份作出限定。如果有一個主體能夠博采眾長,短時間內作出讓多數(shù)人信服的權威評價,那么,這個主體作出的評價就是行政權力部門最好的也是最自然的選擇。這是一種特殊的評價,它不是學術評價的全部,卻需要建立在對全部評價進行判斷和揚棄的基礎之上。這樣的評價在科研體制中的重要性不言而喻,如果這樣的評價出了問題,必將危及整個科研事業(yè),也必將引發(fā)被評價者群起而攻之。不幸的是,群起而攻之的局面至少在十多年前就出現(xiàn)了,且久久不能平息??梢哉f,今天對學術評價的所有批評和抨擊都集中于為行政權力部門服務的評價上。只要集中分配和管理學術資源,不管分配和管理的權力集中于行政權力部門,還是轉移到專門機構,為其服務的學術評價都是不可或缺的。在可以預見的將來,這樣的集中分配和管理資源的方式都不可能有根本的改變,這是我們今天討論學術評價問題無法改變的前提。因此,本文所討論的學術評價也主要限于這樣的評價,而不是針對多元主體的學術批評。必須指出的是,為分配和管理資源服務的評價如果能做到科學和合理,對學術研究同樣是有意義的。從根本上說,分配和管理學術資源也是為學術研究服務,它與學術研究的利益應該是一致的。
如果說,為行政權力部門服務的學術評價應該由權威的評價主體作出,那么,迄今為止,得到最多承認的、最可能具備這種能力的評價者則是學術共同體,盡管它總是遭遇各種挑戰(zhàn)。學術共同體的評價又稱為“同行評議”。直到20世紀90年代末,來自學術共同體的專家也還是這種評價的唯一主體,同行評議也還是這種評價的唯一方式。但是,隨著國家對學術研究投入的不斷加大,學術資源日漸增多,評價與利益的關系越來越緊密,同行評議開始“異化”,“這些起源于歐美、并且長期行之有效的東西,卻在中國發(fā)生了變異,甚至是‘異化’。其中‘異化’最明顯、危害最嚴重的,莫過于‘同行評議’”,“權力支配,人情主導,標準缺失……三者只要居其一,都會使學術評價的意義受到嚴重損害”,“在我們當前的學術評價中,往往是三者一起發(fā)生作用,多路夾擊,來自歐美的同行評議,怎么可能不水土不服以致徹底變質呢?”[2]于是,以“定量評價”的數(shù)據統(tǒng)計和運算見長的專業(yè)評價機構應運而生,并開始與學術共同體搶奪評價主體的資格。
隨著專業(yè)評價機構的問世并積極地參與到為行政權力部門服務的行列中,通行的學術評價已分裂為定性評價和定量評價兩類。需要特別指出的是,將學術評價區(qū)分為獨立的定性評價和定量評價,是存在著對學術評價認識的誤區(qū)的。定性也好,定量也罷,原都只不過是學術評價的一種具體方法,互相之間并不對立和排斥,在專業(yè)評價機構出現(xiàn)以前,即當學術共同體還是唯一的評價主體時,評價者可以根據不同的評價目的,采取或定性或定量或兩者皆用的方法。專事定量評價的評價機構問世后,這一情況才發(fā)生了改變,定量評價逐漸成了這些機構的專利,同行評議逐漸地與定性評價畫上了等號。緣此,定性評價和定量評價才由具體方法上升成為不同的評價類別。定性和定量各自的“獨立”,造成了學術評價的分裂乃至對立,對學術評價產生了不容忽視的影響,而這至今仍未引起足夠的重視。
(二)分裂后的學術評價
1.不同評價主體的對立
學術評價的分裂首先體現(xiàn)在評價主體的分裂。在分裂為定性和定量兩大類的學術評價現(xiàn)實中,定性評價的主體是學術共同體,定量評價的主體是一些專業(yè)評價機構,這似乎已得到了公認。在評價實踐中,這兩個主體極易區(qū)分,無需多談。重要的是,盡管每個人都可以進行學術評價,但并不是所有人都能被行政權力部門認可為評價主體的,特別是在涉及資源分配和科研管理的評價中,行政權力部門的選擇一直在學術共同體與專業(yè)評價機構之間徘徊。
能被行政權力部門倚重的評價主體當然要有排他性的特殊稟賦,學術共同體與專業(yè)評價機構獲得評價主體資格的依憑是不同的,而這個依憑與數(shù)據有著不可分割的關系。
學術共同體之成為評價主體,依憑的是學術同行的身份。因其是學術同行,故對于評價對象(比如學術期刊、學術論文及其作者)所涉及或涉足的研究領域和專業(yè)非常熟悉,而被選為評審專家的共同體成員,更需要熟知該領域和精通該專業(yè),做到對同行中各種正在研究的問題的意義、基礎、方法、資料、難點及國內外研究歷史、現(xiàn)狀和進展,特別是相關學術批評都了然于胸。因此,他們對于評價對象的價值就可以通過對學術批評的吸納和自己的主觀判斷,從其理論貢獻、實踐意義、社會效益、經濟效用等諸多方面進行具體分析和價值判斷,最終得出評價結論。這樣的被稱為同行評議的評價,其主體的身份資源實乃源于自身的學養(yǎng),這在一定程度上體現(xiàn)了評價主體對相關專業(yè)學術信息匯集、處理和擁有的能力,這是一種獨特的資源,是非學術共同體成員所無法具備的,具有唯一性和排他性。但是,他們的資源(學養(yǎng))能否以數(shù)據的形式來表現(xiàn),卻是一個懸而未決的問題。事實上,許多有過評價專家經歷或身份的學者都既不具備將自身的學養(yǎng)、學術批評的信息數(shù)據化的能力,也不具備將評價對象的價值通過數(shù)據或運算來體現(xiàn)的能力和興趣。在專業(yè)評價機構崛起后,這成了學術共同體失去了唯一評價主體資格、甚至被逐出評價領域的主要原因。
專業(yè)評價機構大多由從事文獻情報學研究的人員組成,他們與眾多的評價對象當然不可能屬于同一學術共同體,換言之,他們對評價對象所屬的專業(yè)不可能精通,甚至一竅不通。筆者曾經指出,評價機構與評價對象之間存在著“信息不對稱”:“對于各學科前沿問題、艱深問題……評價機構掌握的實質性信息遠低于被評價者?!奔热蝗绱?,評價機構又是依憑什么獲取學術評價主體身份的?這是因為,評價機構不僅擅長于對一些論文和期刊外在形式數(shù)據的統(tǒng)計,并且進行了復雜的數(shù)據處理,形成了大量的形式數(shù)據,“從而造成了占據信息優(yōu)勢的假象”[3]。正是憑借對這些關于評價對象的量化數(shù)據的擁有以及運算的貌似具有排他性的能力,更因其制作的各種排行榜和排名表使復雜的學術評價變得十分簡單和明確,得到了行政權力部門的青睞,評價機構得以在事實上躋身于學術評價主體的行列之中,且后來居上,大有將學術共同體逐出評價領域的氣勢。
2.不同評價方法的對立
與評價主體分裂相輔相成的是評價方法的分裂。所謂評價方法,主要指對評價信息的采集和處理的方法。這是現(xiàn)實中定量評價與定性評價除了評價主體不同之外最大的不同之處。定量評價者(所有的專業(yè)評價機構無一例外都屬此類)大多堅持認為,所有的評價信息在理論上都是有可能轉化為數(shù)據來表達的,而所有的數(shù)據都是可以通過復雜的加權(一般是在運算中的系數(shù)或占比)和精細的運算(精確到小數(shù)點后4-6位)進行比較的,他們的結論就是經過運算而得出的排序表。因此,量化評價實際上就是一系列復雜的運算并歸總排序。而定性評價大多是對所獲取的原始信息的直接分析和判斷,很少有一個將各種不同信息進行數(shù)據轉換、并通過加權運算等一系列復雜方法處理數(shù)據的過程。因此,定性評價往往是一種經驗判斷。
在關于學術評價的種種討論中,人們并不質疑評價是否應該分裂為定性和定量這兩類評價,也不追究評價緣何而發(fā)生分裂,反將這種分裂視為自然的現(xiàn)象,故而一直就定量評價與定性評價孰優(yōu)孰劣爭論不休。其實,這樣的爭論意義并不大,因為作為一般評價方法,無論是定性評價還是定量評價,都是各有其優(yōu)長和局限的。但是,在評價分裂后,作為獨立的評價種類的定性評價和定量評價,卻未見得將其優(yōu)長充分發(fā)揮,卻使自身的局限明顯地放大了。我們不妨來看看“獨立”后各自的情況。
定量評價所標榜的優(yōu)點在于:(1)“客觀”。所有評價信息都有明確的數(shù)據源。(2)“公正”、“公平”。所有信息都轉換為數(shù)據,用統(tǒng)一的公式進行運算,一旦公式確定,就能排除人為干擾。(3)“科學”。其過程可以重復,其結論可以驗證。但是,只要對這些優(yōu)點作進一步分析就可以發(fā)現(xiàn),所謂優(yōu)點所在,恰恰也是其缺陷所在:(1)“客觀”的有限性。并不是所有的評價信息特別是內容層面的信息都可以轉化為用作比較的數(shù)據的,不管如何加權和運算都無法彌補在信息到數(shù)據轉換過程中出現(xiàn)的信息丟失和偏差。因此,“客觀”往往只是一種表象。(2)“公正、公平”的前提難以保證。這個前提就是,數(shù)據必須覆蓋評價對象的所有方面,但至少到目前為止,這樣的覆蓋還無法實現(xiàn);所有的數(shù)據都是自然產生而沒有受到人為干擾的,即數(shù)據必須絕對真實,但在定量評價的數(shù)據采集及加權運算的方法盡人皆知后,再也無法確保做到這一點,為應對評價而發(fā)生的不端行為就集中表現(xiàn)為數(shù)據造假。(3)專業(yè)的缺位使評價的科學性大打折扣。由于從事定量評價的人員大多非學術共同體成員,不懂專業(yè)是他們的致命傷,為彌補這一缺陷,定量評價通過大量數(shù)據的采集和復雜的加權運算,來替代學術共同體成員的專業(yè)判斷,這種替代的科學性通常會受到質疑。(4)極其簡單的評價結論。由于是外行對內行的評價,評價機構往往沒有能力用評價對象所屬學科的專業(yè)知識來對數(shù)據和運算結果進行解析,并完成評價結論,其評價結論就只能是無法反映實際學術內容的各種排名表,于評價對象難有實質性幫助。
定性評價被承認的優(yōu)點在于:(1)“直接”。直面評價對象,所有的信息都可以為評價所用,而不必考慮其是否能轉換為數(shù)據,更無需復雜的運算。(2)“專業(yè)”。定性評價即同行評議,只有來自學術共同體的評價能夠深入到內容層面進行評價,故是一種專業(yè)性的評價。(3)作為價值判斷的結論內涵的豐富性。其評價結論可以是排名表,但更可以是鑒定性的文字,甚至長篇大論,如果評價的公正性和專業(yè)性得到保證,就既能讓公眾信服,也能讓評價對象從中獲益。但是,在放棄了定量分析等非直接判斷的方式、同行評議在成為單純的定性評價之后,其缺陷也是明顯的,本來具有的優(yōu)勢甚至變成了劣勢:(1)單純的定性評價有可能使評價成為一種純粹的主觀判斷,必然受到評價者自身學識、德行等多方面的制約,以及外界各種因素的干擾,公正性難以得到保證。(2)定性評價的過程難以展示,很難做到公開;如果將評價視為一種科學研究或實驗,其過程難以重復驗證,科學和公平也難以體現(xiàn)。(3)由于前兩點缺陷,評價的隨意性難以避免,公信力難以保證。
需要指出的是,學術評價走向分裂的標志并不在于評價方法的不同和對立,而在于兩個獨立的評價主體的出現(xiàn)。主體的分裂甚至對立,才導致了方法的割裂和抵牾。作為一般的評價方法,無論單純的定性評價還是單純的定量評價都不可能獨立應對所有的評價需要,本應統(tǒng)攝于同一評價主體之下,才能給評價提供科學和合理的基本保證。這里所說的“統(tǒng)攝”與所謂“定量評價與定性評價相結合”的含義是有本質區(qū)別的,關于這一點,下文將詳加分析,這里只是強調,定性評價與定量評價各自的獨立乃至互相對立,只能使學術評價因分裂而走入歧途。
(三)評價分裂的后果
因評價方法上升為評價類別而出現(xiàn)的評價分裂,對學術評價造成的最嚴重后果就是使學術評價變得殘缺不全。
在學術評價中,評價主體是否具備學科專業(yè)優(yōu)勢是起決定作用的,所以,學術共同體這一評價主體的身份毋庸置疑。在評價發(fā)生分裂之前,同行評議并不意味著對主觀判斷的必然濫用和對定量評價的必然排斥,同行學者不能進行定量評價是因專業(yè)評價機構的產生而制造出的一種假象。今天的同行評議,受到兩方面的制約,一是在事關利益的評價中,同行評議對評價環(huán)境和評價主體自身的道德水準有苛刻的要求。若沒有一個干凈的學術環(huán)境,單純的定性評價可能比單純的定量評價更加荒唐。二是在學術成果(作品)數(shù)量巨大的時代,離開了數(shù)據統(tǒng)計和定量分析,同行評議的效率將十分低下,不確定性也必然增加,要提高效率和保持一定的穩(wěn)定性,同行評議除了經驗判斷外,也離不開數(shù)據分析。當然,同行所做的數(shù)據分析與評價機構的定量評價并不是一回事。評價分裂后的同行評議,既缺乏清潔的外部環(huán)境,又割舍了定量分析,當然無法令人信服。
在評價分裂后,獨立的定量評價主要由專業(yè)評價機構作出,其評價主體的身份是令人懷疑的。如果說,只有學術成果(作品)的閱讀者和使用者才具備評價主體的資格,那么,評價機構既不是閱讀者,也不是使用者,其對評價對象各種形式數(shù)據的統(tǒng)計大多與閱讀和使用無關,應該是連起碼的評價主體的資格也不具備的。由于不懂專業(yè)的根本性缺陷幾乎無法靠自身的努力得到足量的彌補,所造成的外行評價內行,很可能失之毫厘而差之千里;對評價信息的數(shù)據化處理雖然是其優(yōu)勢,但不具備學科專業(yè)知識,其數(shù)據分析難以深入內容層面,內容信息的缺失也使得評價機構的定量評價只有數(shù)據,只有運算,只有排序,卻沒有學術,也沒有真正的價值判斷。僅此兩點,都足以致命。因此,在傳統(tǒng)的評價環(huán)境內,評價機構的定量評價絕不可能是一種獨立存在的評價。
在現(xiàn)實評價中,數(shù)據運算與經驗判斷已成為兩種對立的評價,在這背后,其實隱含了這樣一種理論預設:定性評價與定量評價應該由不同的人或機構分別來做,因為從事定性評價的學術共同體做不了定量評價,而專業(yè)評價機構也做不了定性評價,所以將學術評價分為各自獨立的定性評價和定量評價是有道理的。這樣的理論預設是值得懷疑的。第一,專業(yè)評價機構的確沒有能力做定性評價,但學術共同體并非不能做定量評價,與定性評價的專業(yè)門檻高企不同,定量評價并沒有高不可攀的技術門檻,學術共同體在經過必要的訓練后,完全有能力做定量評價。第二,專業(yè)評價機構不僅沒有能力做定性評價,其實也沒有能力獨立完成定量評價,定量評價包含有數(shù)據運算與價值判斷這兩層意思,評價機構的最終產品,即其制作的所有排行榜和排名表都只是運算的結果,而不是專業(yè)分析和價值判斷的結論,充其量也只是未完成的評價。第三,成功的定量評價離不開學術共同體的參與和主導,從數(shù)據挖掘的方向、數(shù)據評價意義的設計、數(shù)據運算的公式,到運算結果的解析和最終具有價值判斷意義的評價結論的得出,哪一項也離不開學術共同體。
可見,評價的分裂和分裂后定性和定量評價的互相對立,不僅使同行評議淪為狹隘的主觀判斷,而且使定量評價變成了一場數(shù)字游戲。評價再也無法統(tǒng)攝于同一評價主體,殘缺不全也就是必然的了。這樣的結果不僅導致了現(xiàn)實中學術評價的不合理,而且也直接導致了學術評價自身的危機與困境。那么,大數(shù)據時代的到來是否有助于學術評價走出分裂的困境?
當我們將改進學術評價的希望寄托于大數(shù)據時,面對的卻是分裂的評價,分裂必定導致評價的殘缺,但統(tǒng)合后的評價未見得就一定科學合理,因此,對大數(shù)據之于評價作用的判斷,需要回答兩個問題:一是大數(shù)據能否將分裂的評價統(tǒng)合起來;二是統(tǒng)合后的評價能否借助于大數(shù)據變得科學和合理。
(一)信息、數(shù)據與評價的關系
在回答大數(shù)據對評價的作用這個問題之前,有必要重新討論評價信息、評價數(shù)據與學術評價的關系。信息與數(shù)據的作用主要體現(xiàn)在評價過程中,所以,讓我們從評價的過程說起。無論在前大數(shù)據時代還是大數(shù)據時代,學術評價的過程簡單說來實際上就是這樣幾個步驟:(1)確定評價的目的(必須是具體的而不是抽象的目的);(2)確定評價對象(評價客體);(3)確定誰來評價(評價主體);(4)確定評價方法、程序和標準;(5)評價主體收集與評價客體相關的各種可能有用的信息;(6)根據確定的方法、程序和標準,對所收集的信息進行比較、分析和處理;(7)得出評價結論。
在一般理解中,似乎只有評價方法和作為評價標準的指標體系才與數(shù)據相關,其實不然。如果說,評價數(shù)據來源于評價信息,那么,以上所言評價過程的七個方面,每一個方面都與評價信息有關。比如,確定評價目的時,除了考慮此項評價的必要性外,還要考慮可行性,即實現(xiàn)此項目的是否有必要的信息作為評價的基礎;再如,確定評價主體時,必須有一個評價專家數(shù)據庫,可以提供專家的各種相關信息;至于信息收集和處理,更是直接作用于信息;而評價結論其實也就是評價者通過信息處理而對評價對象作出的價值判斷,理應包含豐富的信息。所以說,信息是評價的基礎,沒有相關信息,也就無從評價。
信息、數(shù)據與評價三者間的關系主要體現(xiàn)在轉換和分析兩個方面。首先,是對與評價有關的信息進行數(shù)據轉換。在前大數(shù)據時代,這種轉換基本是指向性的和局部性的。所謂“指向性”,指的是具有明確指向的信息(高密度高價值信息)到數(shù)據的轉換,比如文摘、引用等指向明確的信息,轉換為可以運算的數(shù)據,而離開了這些有明確指向的信息,數(shù)據生成幾無可能,這與對數(shù)據的認識以及挖掘和處理數(shù)據的能力有關。所謂“局部性”,指的是只是部分信息的部分方面被轉換為數(shù)據,比如文摘和引用信息都屬于相對比較容易轉換為數(shù)據的,而在此之外的大量信息卻無法轉換為數(shù)據;即使文摘和引用,其所包含的與學術貢獻相關的信息量也是十分豐富的,但轉換為數(shù)據時除了頻次和比率外,其他信息基本都丟失了。在大數(shù)據時代,信息到數(shù)據轉換的指向性和局限性依然會存在,但是,由于對數(shù)據認識的深度和數(shù)據挖掘的廣度大大增加,處理的技術更加先進,我們有理由期待,除了指向明確的信息轉換為數(shù)據以外,還有可能出現(xiàn)低密度高價值的新數(shù)據源;我們也有理由相信,可以有更多的信息能夠比較全面地轉換為數(shù)據。其次,是對由信息轉換而來的數(shù)據進行運算和分析并得出結論。在前大數(shù)據時代,由于信息到數(shù)據轉換的指向性和局部性,數(shù)據不可能完全代替信息,因此,數(shù)據對評價的作用是有限的,單純的數(shù)據運算結果也是代替不了評價結論的。在大數(shù)據時代,不管數(shù)據量有多大,也不管運算方法有多先進,單純的數(shù)據運算仍然無法代替價值判斷,但是,數(shù)據的運算結果可以更好地用于學術評價,特別是對數(shù)據的利用不再是專業(yè)評價機構的專利,數(shù)據對同行評議同樣有意義,甚至有更大的意義。因此,引入大數(shù)據,的確會對學術評價發(fā)生重大影響。
(二)大數(shù)據對評價的影響
“大數(shù)據對社會經濟生活產生的影響絕不限于技術層面,它為我們看待世界提供了一種全新的方法,即決策行為將日益基于數(shù)據分析做出,而不是像過去更多憑借經驗和直覺做出。”“這是一場革命,龐大的數(shù)據資源使得各個領域開始了量化進程,無論學術界、商界還是政府,所有領域都將開始這種進程。”[4]顯然,大數(shù)據時代的到來,憑借巨量數(shù)據的獲取和運算的模式正在顛覆“憑借經驗和直覺”的模式,而被廣泛地運用于判斷、預測和決策之中。如果數(shù)據的量足夠龐大,覆蓋的面足夠寬廣,挖掘得足夠徹底,處理得足夠精細,那么,這種憑借“云計算”得出的評價性結論或預測性判斷就可以相對準確,在某些領域或某些問題的判斷上,它有可能勝過經驗和直覺。
正是基于大數(shù)據的特點,在學術評價領域,當“憑借經驗和直覺”的定性評價與憑借客觀數(shù)據的定量評價孰優(yōu)孰劣爭得不亦樂乎之時,人們似乎找到了一把打開這個幾乎成了“死結”的問題之鎖的鑰匙。比如,有評論者認為:“在‘前大數(shù)據時代’,期刊的評價方式多采用專家定性評價、內容評價……評價的模糊性與主觀性是這一階段期刊評價存在的主要問題。主觀性指評價缺少客觀依據和數(shù)據支撐,具有想當然的嫌疑;模糊性則因為評價依據不能使人信服而導致評價不夠精確”,“這些‘前大數(shù)據時代’期刊評價存在的主要問題,隨著大數(shù)據產生而得以‘緩解’。比方說,由于大數(shù)據的支撐,定量評價、形式評價等客觀的評價方式可以得到更好的實現(xiàn)……促使學術評價更趨于精確性與客觀性。從某種意義上來說,這是對‘前大數(shù)據時代’期刊評價的超越?!盵5]這里說的雖然是學術期刊評價,但因為現(xiàn)行學術評價機制的核心就是學術期刊評價,通過對學術期刊的評價來間接地評價學術成果,即發(fā)表在學術期刊上的論文,在沒有找到使人信服而又操作性良好的直接評價學術論文的方法之前,這樣的“以刊評文”實則就是學術評價的主要表現(xiàn)。顯然,大數(shù)據技術被寄予厚望,希望通過它可以大大提升定量評價的精準度,以實現(xiàn)評價的“超越”。
不難看出,以上對大數(shù)據的期待,仍然是建立在定性評價與定量評價相分裂和相對立基礎上的,由于定性評價被認定為“缺少客觀依據和數(shù)據支撐,具有想當然的嫌疑”,自然就會推論出大數(shù)據對定性評價的影響是極為有限的,亦即大數(shù)據挽救不了定性評價,轉而對大數(shù)據時代有“客觀依據和數(shù)據支撐”的定量評價寄予了厚望,期望它能超越“前大數(shù)據時代”。也就是說,要通過加強定量評價,使之壓倒性地戰(zhàn)勝定性評價,從而使分裂的評價一方“吃”掉另一方而實現(xiàn)評價的統(tǒng)一。
然而,以上看法并沒有弄清信息、數(shù)據與評價之間的關系,也就沒有理解數(shù)據在評價中的真實作用和意義。大數(shù)據時代云計算處理的數(shù)據不管量有多大,都離不開與其所代表的信息的關系,丟失了信息的數(shù)據不管設計了多么復雜的算式,其運算結果都沒有任何意義,只會將評價扭曲。由于大數(shù)據時代數(shù)據的價值雖大,但密度極低,較之前大數(shù)據時代,數(shù)據的挖掘和運算都更離不開對數(shù)據的解讀。這種解讀,核心是對數(shù)據與信息關系的解讀,需要有計算技術,更需要有各學科專業(yè)知識。專業(yè)評價機構雖然具備計算技術,卻永遠也無法具備各學科的專業(yè)知識,所以,他們可以對基于大數(shù)據的評價提供技術支持,但卻無力得出科學的評價結論。學術評價不是簡單的或復雜的數(shù)字游戲,而是一項嚴肅的科研活動,它必然要受到科研活動一般規(guī)律的支配和約束。大數(shù)據于科研的意義并非僅及于學術評價一項,如今,許多學科的研究都引入了大數(shù)據技術,但這些科研活動的主體,無一例外,都是本專業(yè)的科研人員,而不是只懂技術而不懂專業(yè)的外行。如果非本專業(yè)的評價人員能夠對該專業(yè)的學術成果作出科學評價,那么,他們也就可以在所有的學科的研究中取代專業(yè)人員,而這不啻天方夜譚。學術共同體之所以被國際學術界公認為最合適的學術評價主體,更多的是因為只有這樣的評價才具有專業(yè)水準,才能對學術研究作出真正的貢獻。
到目前為止,所有有關大數(shù)據的理論方法和實踐經驗并不能直接應用于學術評價。大數(shù)據理論和方法在其他領域的成功運用并不意味著它就能成功地移植到學術評價中來。學術評價特別是人文社會科學學術評價較之一般運用于生產領域、經濟領域的基于大數(shù)據的評價要復雜得多。其不同之一是,不管學術評價的目的和對象如何多元,學術質量都是評價的中心問題,而學術產品與現(xiàn)代工業(yè)產品最大的區(qū)別在于,前者是十足的個性化產品,很難進行深入到內容層面的關于學術質量的量化比較;后者則是規(guī)整的標準化產品,很容易進行包括產品質量、用戶體驗、市場需求在內的各方面的量化比較。其不同之二是,學術評價主要是對既有成果的價值判斷,而生產和市場領域的評價更多的是對市場前景的預測和營銷策略的設計,兩者對數(shù)據的挖掘方向和運算方法因目的不同而存在巨大差異。因此,在生產領域、經濟領域中風生水起的大數(shù)據理論和方法,在學術評價領域要想一顯身手,需要評價理論和方法的及時跟進。其最大的瓶頸就是,必須找到一條能夠讓個性化產品可以不受干擾地利用大數(shù)據技術進行量化數(shù)據類比的路,這條路,在前大數(shù)據時代根本就沒找到。在評價環(huán)境沒有根本改變、評價理論和方法沒有根本突破之前,要找到這條路基本不可能。因此,大數(shù)據技術要在學術評價方面真實地投入運用并發(fā)揮積極作用,恐怕還有很長的路要走,在現(xiàn)實與愿景之間,還橫亙著一條巨大的鴻溝。
(三)機遇與陷阱并存
其實,不管是否在大數(shù)據時代,包括學術評價在內的所有評價都會受到以下幾個方面因素的影響和制約:其一,是否具備成熟的、并且為公眾(特別是評價對象)普遍認可的評價理論。其二,是否具備在評價理論指導下成熟的、并且為公眾(特別是評價對象)普遍認可的科學評價方法。其三,是否具備學術評價所必需的干凈清潔的學術環(huán)境。其四,是否具有高學科專業(yè)水準和公信力的評價主體,能夠擔當起進行公正合理的學術評價的責任。其五,能否收集到足以支持評價方法的準確的評價信息。其六,是否具備對評價信息進行有效處理的能力。其七,是否具有對處理結果進行專業(yè)解釋的能力。只有同時滿足了上述條件,才可能得出科學合理的評價結論。
筆者并不懷疑大數(shù)據技術將會給學術評價帶來某種機遇,大數(shù)據以及相應技術顯然比前大數(shù)據時代更容易部分地而不是全部地滿足上述第五和第六個條件,從而有可能在評價中更好地發(fā)揮數(shù)據的作用。但是,科學評價所必須具備的七個條件,特別是前四個和最后一個條件并不會因為大數(shù)據時代的到來自然而然地就具備了,即使是第五和第六這兩個條件,也不僅僅是數(shù)據的量級和運算的能力問題,所以也不會因為大數(shù)據時代的到來就一定能取得突破。
在分裂的評價中,專事定量評價的各評價機構幾乎壟斷了所有的數(shù)據挖掘與運算排序,而這些機構顯然不具備上述基本條件,撇開前四個條件不論,僅就后三個條件而言,即使其最擅長的數(shù)據處理也不可能完成,因為他們沒有能力對數(shù)據及運算結果予以專業(yè)解析,只能將經運算排序的結果作為評價的結論發(fā)布出來,評價的過程在此已告中斷,今天的各種排行榜和排名表大多是這樣的未完成產品。沒有學術共同體的主導*目前專業(yè)評價機構大多號稱其排行榜和排名表是“定量評價與定性評價相結合”的產物,因為他們引入了同行專家參與他們的制作。而事實上,專家在其中的作用是很可疑的。專家充其量也只是起到了“打分機器”的作用,根本談不上“專家主導”,與學術共同體為主體的評價更是相差甚遠。,這樣的所謂定量評價,不僅無法發(fā)揮大數(shù)據的威力,而且已成為大數(shù)據在學術評價中應用的障礙。
正因為如此,過分地迷信評價機構的大數(shù)據技術,就有可能掉入工具理性的陷阱?!爱斍拔覈鐣洕?、文化、信息越來越向全球化發(fā)展,各行各業(yè)都在進入科學管理時代,可以說工具理性已經逐漸滲透到社會生活的方方面面……從西方科學技術體系移植的各種科學計量工具以一種學術研究的姿態(tài)凜然應用于中國學術管理的方方面面,信息技術的不斷進步使得海量的信息都可以被儲存、被分離、被分析,于是核心期刊排行榜、來源期刊排行榜、中國大學排行榜以及研制各種名號排行榜的技術門檻已經不是問題,越來越多的研究機構和傳媒企業(yè)甚至個人都以無比的熱情投入到對他人的排序中?!盵6]然而,這些基于大量數(shù)據及運算而制作的各種排行榜和排名表的科學性卻始終受到學界的質疑。比如在定量評價中普遍使用的引文分析法的“合法性問題”在學術界就一直爭議不斷,“向來不乏學者對以引文分析為基礎的量化學術評價提出異議或批評。爭議源自于學術界對引用行為和引文本質沒有形成普遍性的認識論共識”[7]??梢?,在評價理論不能讓學術界信服、評價方法不能得到科學驗證之時,大數(shù)據技術縱然能增加數(shù)據的量以及運算方法,其在學術評價中也難有用武之地。不僅如此,在定量評價一家獨大的情形下,數(shù)據的作用往往被片面夸大和扭曲,大數(shù)據如果盲目地運用,只會圍繞評價對象制造出更多的形式數(shù)據,而深入內容層面的數(shù)據仍將付諸闕如,其片面性和扭曲度將更為加大,亦即前大數(shù)據時代定量評價的缺陷將被成倍地放大,這樣的評價,恐怕只會添亂。從這個意義上來說,大數(shù)據不僅不能讓定量評價更精細和準確,相反,會讓已扭曲的定量評價走向極致。
與任何新技術一樣,作為一項新技術的大數(shù)據的運用也具有一定的條件限制,不具備必要的條件,機遇就可能成為陷阱,而大數(shù)據之有可能成為學術評價的陷阱是緣于評價的分裂,因此,要抓住大數(shù)據提供的機遇以改進學術評價,要務就是讓分裂的評價走向統(tǒng)一。首先,要破除只有評價機構才具備挖掘數(shù)據和運算能力的神話,各專業(yè)學者既然有能力將大數(shù)據運用于學術研究,就有能力將大數(shù)據運用于學術評價,定量評價不是評價機構的專利。其次,要看到所有評價機構發(fā)布的各種排行榜和排名表都不是嚴格意義上的定量評價,更不是完整的學術評價。再次,要看到迄今為止,所有評價機構所做的與數(shù)據和運算有關的工作都仍停留在前大數(shù)據時代,其發(fā)布的排行榜和排名表所依憑的基本都是指向性明確的單一數(shù)據,其算法也基本是簡單的加權統(tǒng)計。對于評價機構來說,如何真正運用大數(shù)據技術,其難度一點不比專業(yè)學者小,甚至更大,因為不懂學科專業(yè),就搞不清什么數(shù)據是有價值的。在這方面,他們恰恰需要專業(yè)學者的指導。最后,大數(shù)據運用于學術評價,只能由專業(yè)學者主導,評價機構的所謂定量評價不管它的數(shù)據量有多大,運算有多精細,也只能是學術評價的一個工具。縱然大數(shù)據有可能使這個工具更為精細,但是,工具永遠不可能完全代替人。因此,我們在談論大數(shù)據對評價的積極作用時,評價的統(tǒng)一是必要前提。
以上我們分析了學術評價的現(xiàn)狀及其問題的癥結所在以及數(shù)據與評價的關系,顯然,大數(shù)據可以給學術評價帶來某些機遇,但同時也存在著某種陷阱,那么,應該如何抓住大數(shù)據的機遇并有效避免其陷阱?在筆者看來,關鍵是要讓分裂的評價走向統(tǒng)一,為此,必須處理好以下幾個關系。
(一)大數(shù)據時代學術評價與“前大數(shù)據時代”學術評價的關系
目前,對現(xiàn)行評價的詬病可謂不絕于耳,批評的焦點多集中于現(xiàn)行的評價方法,改造或重建學術評價的努力也主要體現(xiàn)在評價方法層面,似乎只要找到合理的方法,評價問題就能迎刃而解。大數(shù)據正是因為有可能帶來評價方法的改進才被寄予厚望。然而,評價絕不是單純的方法問題,大數(shù)據并沒有也不可能改變學術評價的基本屬性,除了為學術研究服務以外,學術評價在今后相當長的時間內仍將是學術資源分配和學術管理的依據。因此,大數(shù)據時代的學術評價,并不意味著能成為割斷歷史的全新評價,而只能是過去評價的一種延續(xù)。這就決定了這樣一個基本事實:過去評價中存在的基本問題,大數(shù)據時代同樣存在,這些問題不解決,是改變不了評價現(xiàn)狀的。
同時,大數(shù)據時代又是一個以技術革命為突破口的觀念革命時代。大數(shù)據并不是一項孤立的技術,它的產生與信息時代的到來是緊密相關的,以互聯(lián)網思維為標志的新思維不僅孕育了新的產業(yè),而且正在使許多傳統(tǒng)行業(yè)發(fā)生變革,所以,我們有理由期待基于大數(shù)據技術的新的評價理念的產生,來推動評價理論的創(chuàng)新,破解評價中的既有問題。但是,迄今為止,作為互聯(lián)網思維最好體現(xiàn)的新技術、新模式和新平臺在學術評價中尚未得以呈現(xiàn),學術評價與新的時代仍然格格不入,因此,如何通過引入大數(shù)據實現(xiàn)評價理論的革新才是突破舊問題的關鍵。
(二)科研體制與學術評價的關系
科研體制與學術評價之間存在著一定的因果關系,從某種意義上來說,有什么樣的科研體制,就有什么樣的學術評價,學術評價的問題恰恰是科研體制問題的表現(xiàn)。在科研體制不變的前提下,要想讓大數(shù)據時代的學術評價走出定性評價與定量評價分裂的狀態(tài),構建健全的學術評價體系,難度極大。當然,評價體系對科研體制也會有反作用,評價的革新,可以倒逼科研體制的改革,但這有待于學術界的廣泛參與。最本質的學術評價乃是內容評價,而最好的內容評價來自于學術共同體內的學術批評。緣此,評價體系的重建只能寄希望于學術民主,而不僅僅是某種方法和技術的突破。學術是否民主,民主的程度如何,有一個標志,那就是看是否具有正常的學術批評。然而,在目前的科研體制和評價機制之下,我們還看不到正常的學術批評的回歸。
如果說,大數(shù)據能對學術評價產生一定的正面影響,那么,大數(shù)據首先要在學術批評中發(fā)揮作用。大數(shù)據無疑是可以用于學術批評的,可以為學術批評提供更多的資源和便利。現(xiàn)在的問題首先是,誰來做真正的學術批評?其次才是大數(shù)據在評價中的運用。道理很簡單,沒有學術批評的先行并作為評價的主要信息源和數(shù)據源,所有的信息和數(shù)據都是無法深入到內容層面的,不能深入到內容層面的評價,縱然再怎么“客觀”、“公正”,又能有多大意義?因此,正常的學術評價何以潰退?如何回歸?這的確值得一直在批評學術評價現(xiàn)狀的學術界深思和反省。
(三)學術評價內部各要素間的復雜關系
1.學術共同體與專業(yè)評價機構的關系
如果我們認同學術評價的信息應源于學術批評,那么,誰是評價主體的問題就不言而喻,只有學術共同體才是合適的學術評價主體。今天來自學術共同體的評價即“同行評議”之所以因極度“異化”而陷入困境,一個十分重要的原因就是正常的學術批評的缺失,致使同行評議失去了最基本的依據和最有效的監(jiān)督。如果學術民主和學術批評能夠走向正常,“同行評議”真正成為學術共同體意志的體現(xiàn),那么,以學術共同體為主體的學術評價機制就有望重建。與學術共同體相比,專業(yè)評價機構因不是共同體成員而缺乏的恰恰是專業(yè)性,所以不可能是合適的學術評價主體。這是一個基本的判斷,但作這樣的判斷,并非將專業(yè)評價機構排除在學術評價之外,專業(yè)評價機構自有其獨特的作用,那就是評價數(shù)據的生產者。其實,每個評價機構都制作有大量的評價數(shù)據,大多建有自己的數(shù)據庫,只是這些數(shù)據庫到目前為止都沒有很好地發(fā)揮應有的作用。一方面,評價機構為自己的數(shù)據庫的開放設置了種種障礙,數(shù)據制作也遠非透明,其數(shù)據來源、統(tǒng)計口徑等也是各行其是,缺乏公認的科學標準。另一方面,學術界對數(shù)據庫的價值還不了解,數(shù)據庫還很少為學術研究和學術批評所利用。這就造成了專業(yè)評價機構依憑其對數(shù)據庫的壟斷來爭奪評價主體的地位、卻遮蔽了數(shù)據庫的真正價值這樣的買櫝還珠的結果。因此,正確的選擇應該是專業(yè)評價機構從評價主體回歸其數(shù)據生產者的定位。在大數(shù)據時代,專業(yè)評價機構在數(shù)據的提供、算法的設計等方面都是大有可為的,但其作用也僅限于此,真理多行一步就會變成謬誤,所有的數(shù)據及算法都只是為學術研究和學術評價提供工具,而不是評價本身。利用這些數(shù)據來進行研究和批評或評價的應該是各專業(yè)學者,亦即各學術共同體成員。如何認識和利用數(shù)據這一工具,是大數(shù)據時代各專業(yè)學者面臨的新考驗,這也是他們回歸學術評價主體地位必須跨越的一道門檻。
2.定性評價與定量評價的關系
在今天的評價體制中,定性評價和定量評價已被視為兩種不同的評價,由此產生了一系列問題,于是,從管理部門到學術界以及專業(yè)評價機構都提出了定量評價與定性評價相結合的原則。之所以要“兩結合”,一般的解釋是讓這兩種各有所長、也各有缺陷的評價互補,以使評價變得相對全面和公正。這種已被普遍接受的觀點貌似公允,其實似是而非。如前所述,其要害在于分裂了的評價縱然能夠“兩結合”,也只能貌合神離。比如,在一些所謂的“兩結合”評價中,專家實際只是根據量化指標進行打分的機器,其學術專長無法發(fā)揮,徒有其名。在我們明確了學術評價的主體只能是學術共同體后,就不難發(fā)現(xiàn)科學的評價并不在于定性評價與定量評價這兩種評價相結合,而在于讓定性評價和定量評價都回歸到一般的評價方法,由評價主體根據不同的評價目的來選擇和確定最合適的方法。這個方法,可以是定性的,也可以是定量的,更多的時候則可能既有定性的又有定量的。如同學術研究一樣,研究者可以根據不同的研究目的和所掌握的不同資料,采用不同的方法。方法可以多種多樣,但不同的方法只能由同一個主體來統(tǒng)攝,而不應分別成為不同主體的專利。由此觀之,大數(shù)據時代意味著用于評價的資料更為豐富,相應地,評價方法也會更趨多元,定性評價與定量評價都只是方法之一種,而且,隨著數(shù)據的精細化、多元化,定性與定量之間的分野也會日漸模糊,而不會如現(xiàn)在這般涇渭分明。能夠靈活而準確地選用和統(tǒng)攝評價方法的主體顯然只能是學術共同體。
3.評價目的與指標體系的關系
學術評價的目的是多種多樣的。無論何種評價,其能否成功進行,評價目的的清晰明確都是具有決定意義的。“不同的評價目的決定著不同的評價標準和指標、不同的評價方法和評價專家的選擇以及評價程序的確定,它是評價的龍頭,分類評價的動因,規(guī)定、制約和導引著整個評價的方向和具體做法?!盵8]但自從蛻變?yōu)閷J聻樾姓嗔Σ块T分配學術資源和進行科研管理的工具之后,學術評價的發(fā)展一直有一種追求或趨向,即忽略評價目的的不同,而刻意尋求通適性的評價指標體系,讓一個評價指標體系能夠適應所有目的的評價,以使資源分配和科研管理更為直觀和簡單。制定“科學合理的評價指標體系”成為行政權力部門的明確要求,并寫入了一些行業(yè)指導類的文件,比如原新聞出版總署制定的《全國報紙期刊出版質量綜合評估指標體系(試行)》就是這類文件的典型,“總署賦予了這個指標體系兩個鮮明的特征:其一,純量化;其二,通適性”[9]。這個指標體系,應對的是包括學術期刊在內的全國各種各樣的報紙期刊,其評價結果如何,也就可想而知了。這樣的指標體系,通適性與純量化實乃互為表里:因其通適,必然要求純量化;因其純量化,故而能夠通適。指標體系本質上只是一種評價標準,指望一個標準普適于不同目的、不同對象、不同內容的一切評價,是不切實際的。這樣的指標體系完全抹殺了不同的評價目的對評價方法和標準的選擇性差異。在這樣“萬能”的指標體系約束下,不管評價目的如何不同,定性評價實際已被排除在評價方法之外,定量評價已成為唯一的方法。這已成為當今行政權力部門主導的學術評價中最常見的現(xiàn)象,也已成為前大數(shù)據時代評價的一個特征。如果這樣的趨勢不予改變,隨著大數(shù)據時代的到來,在通適性的量化評價面前,再豐富的數(shù)據特別是所有個性化的數(shù)據都將失去意義,評價必定走入死胡同。因此,在大數(shù)據時代,必須破除通適性、純量化評價的神話,根據不同的評價目的,選擇不同的評價方法,唯此,大數(shù)據才可真正有用武之地。
4.評價信息與評價數(shù)據的關系
大數(shù)據作為一種技術,在各種可資評價的信息獲取以及信息到數(shù)據的轉換方面,其作用是前大數(shù)據時代無法比擬的。但大數(shù)據要在評價中發(fā)揮作用,還有以下五大瓶頸需要突破:一是對信息的挖掘,可資評價的信息散布于方方面面,如何將其挖掘出來?二是從信息到數(shù)據的轉換,如何將具有豐富內涵的信息在盡可能不丟失其意義的前提下轉變?yōu)閿?shù)據,對丟失的信息如何彌補?三是對數(shù)據意義的界定,每項數(shù)據都有其特定的含義,縮小和夸大其意義都會導致評價結果的偏頗,如何作出準確的界定?四是對數(shù)據的處理和運算,不同的處理方法和運算公式會得出不同的處理和運算結果,什么樣的數(shù)據用什么樣的處理方法和運算公式最合理?五是對運算結果的解讀,對數(shù)據的處理和運算都是脫離了原始信息的處理手段,對數(shù)據處理和運算結果的解讀實際就是讓數(shù)據還原為帶有價值判斷意義的信息的過程,如何保證這樣的還原不會走樣?以上五大瓶頸在前大數(shù)據時代即已存在,隨著大數(shù)據技術的運用,被挖掘數(shù)據量必然出現(xiàn)井噴式的激增,突破瓶頸的難度將更大。所有這些,都不僅僅是單純的技術問題,更是各學科的專業(yè)問題。
5.評價結論與評價效果的關系
不管出于何種目的、采取何種方法的評價,都是要讓被評價者從評價中獲得教益,否則,評價就失去意義。因此,評價效果的好壞往往通過評價結論對被評價者有無助益及助益多少來體現(xiàn)。即使為行政權力部門服務的評價,也理應如此。今天的學術評價之所以被詬病連連,一個重要的原因就是評價結論過于簡單,簡單到就剩下一張排行榜或排名表,被評價者幾無學術或質量進益方面的收獲。但這樣的評價在現(xiàn)行的科研體制中卻與學術利益甚至學術研究和發(fā)表的資格緊緊地綁在一起而變得如此重要,迫使被評價者——如學者、期刊主編等,不得不將評價機構作為研究的對象,以從事各專業(yè)學術研究者的智商,“破譯”如此簡單的榜(表)的奧秘當然不在話下,于是,或者選擇激烈的批評,或者選擇無奈的迎合,或者兩者兼而有之,從而造成了學術界圍繞評價而出現(xiàn)的一些怪象,“某些機構……競相公開打出了期刊評價甚至學術評價的旗號……迫不及待地要充當評價主體”;“學術期刊不再關心學者的需求,而一味迎合評價機構的偏好,甚至不惜造假”[10]。評價結論的極簡化與行政權力部門簡單化管理需求以及由此造成的對評價目的差異性的忽視、對定性評價的排斥和對定量評價的偏好以及由此造成的評價方法的單一、對評價指標通適性和純量化的追求以及由此造成的評價信息和數(shù)據的片面性之間,有著明確的因果關系。換言之,學術體制不改,大數(shù)據也難以改變評價結果仍然簡單的現(xiàn)狀;而簡單的結果不僅對評價對象的作用有限,而且難免偏頗,甚至背離真實,評價仍然難逃尖銳的批評乃至猛烈的抨擊。
現(xiàn)在讓我們回到本文開頭提出的問題:大數(shù)據可能給學術評價帶來怎樣的影響?
正是在評價分裂的情境下,學術評價迎來了大數(shù)據時代。大數(shù)據之應用于學術評價,對數(shù)據挖掘和運算能力、對數(shù)據和運算結果的解析能力都提出了新的要求,而分裂的評價顯然滿足不了這樣的要求,從而為學術評價從分裂走向統(tǒng)一提供了某種契機,而結束分裂狀態(tài),也是大數(shù)據成功地運用于學術評價的前提條件。但是,被權力和利益撕裂了的學術評價要走向統(tǒng)一,并不取決于技術,而是取決于造成評價分裂的科研體制是否有所改變,如果體制不變,那么,評價分裂依舊,大數(shù)據之于定性評價則幾無助益,而對定量評價的作用更不容樂觀,當面對劇增的數(shù)據和復雜的運算不能作出具有專業(yè)水準的解析時,定量評價只能與學術研究漸行漸遠,越來越背離評價的初衷。
因此,要讓大數(shù)據在學術評價中發(fā)揮積極作用,并借助大數(shù)據的推動,重建科學合理的學術評價,前提就是:讓評價不再分裂,讓方法不再被壟斷;讓評價機構做其力所能及的事——專心地做數(shù)據,而把數(shù)據的最終解釋權交還給學術共同體;讓正常的學術批評重回學術研究之中;讓同行評議真正代表學術共同體的意志。而這一切,都有待于科研體制的改革和評價理論的重建,但愿大數(shù)據能成為促成這一改革和重建的催化劑。
[1][4]《帶您了解大數(shù)據》,http://www.thebigdata.cn/YeJieDongTai/8470.html
[2]李劍鳴:《自律的學術共同體與合理的學術評價》,載《清華大學學報(哲學社會科學版)》,2014年第4期。
[3]朱 劍:《重建學術評價機制的邏輯起點——從“核心期刊”、“來源期刊”排行榜談起》,載《清華大學學報(哲學社會科學版)》,2012年第1期。
[5]郝日虹 張清俐:《尋找大數(shù)據與學術期刊評價體系創(chuàng)新的“契合點”》,載《中國社會科學報》,2015年2月11日。
[6]陳 燕 崔金貴:《學術評價中工具理性與價值理性的主導成因及平衡機制》,載《清華大學學報(哲學社會科學版)》,2012年第6期。
[7]劉 宇 李 武:《引文評價合法性研究——基于引文功能和引用動機研究的綜合考察》,載《南京大學學報(哲學·人文科學·社會科學)》,2013年第6期。
[8]葉繼元:《人文社會科學評價體系探討》,載《南京大學學報(哲學·人文科學·社會科學)》,2010 年第1期。
[9]朱 劍:《量化指標:學術期刊不能承受之輕——評〈全國報紙期刊出版質量綜合評估指標體系(試行)〉》,載《清華大學學報(哲學社會科學版)》,2013年第1期。
[10]仲偉民:《緣于體制:社科期刊十個被顛倒的關系》,載《南京大學學報(哲學·人文科學·社會科學)》,2013年第2期。
(責任編輯:任天成)
2015-04-10
朱 劍,南京大學學報編輯部編審,主要研究學術期刊與學術評價。
本文系教育部人文社會科學研究規(guī)劃基金項目“高校學術期刊發(fā)展戰(zhàn)略研究”(課題編號:14YJAZH116)的研究成果。