科技網(wǎng)站信息質(zhì)量形式評價理論模型研究*

范佳佳，葉繼元

科技網(wǎng)站信息質(zhì)量形式評價理論模型研究*

范佳佳，葉繼元

文章以科技網(wǎng)站為研究對象，以文獻(xiàn)計量學(xué)和全評價為理論基礎(chǔ)，運用假設(shè)、推理方法研究科技網(wǎng)站信息質(zhì)量形式評價指標(biāo)，利用灰色關(guān)聯(lián)度法構(gòu)建科技網(wǎng)站信息質(zhì)量形式評價理論模型。研究發(fā)現(xiàn)：形式評價作為內(nèi)容與效用評價的補充，可以將內(nèi)容評價指標(biāo)作為形式評價標(biāo)準(zhǔn)，將主題特征度、權(quán)威度、新穎度、準(zhǔn)確度、熱度等單一指標(biāo)作為形式評價指標(biāo)，以簡化指標(biāo)體系、優(yōu)化評價模型。

科技網(wǎng)站信息質(zhì)量形式評價評價模型

引用本文格式 范佳佳，葉繼元.科技網(wǎng)站信息質(zhì)量形式評價理論模型研究［J］.圖書館論壇，2016（10）：41-48.

AbstractThis paper is mainly about science and technology websites on the basis of literature metrology and“full evaluation”.It uses the hypothesis and reasoning method to study formal evaluation indexes of science and technology websites’information quality，and uses the method of grey correlation degree to construct the formal evaluation theoretical model of the information quality of science and technology website.The study finds that formal evaluation can be used as the supplement to content and effectiveness evaluation，content evaluation indexes as the formal evaluation standards，and single indexes like subject characteristics，authority，novelty，accurate，and heat degree as formal evaluation indexes，so as to achieve the goal of simplifying the index system and optimizing the evaluation model.

Keywordsscience and technology website；information quality；formal evaluation；evaluation model

0　引言

葉繼元在《人文社會科學(xué)評價體系探討》一文中首次提出全評價體系，構(gòu)建起“六位一體”的全評價體系框架。他認(rèn)為：“人文社會科學(xué)學(xué)術(shù)評價涉及許多方面，是個復(fù)雜的體系，評價主體、評價客體、評價目的、評價標(biāo)準(zhǔn)與指標(biāo)、評價方法和評價制度至少六大要素構(gòu)成了評價體系的第一層結(jié)構(gòu)。”“形式評價是評價主體對評價客體外部特征的評價?！薄皟?nèi)容評價指評價客體內(nèi)含特征，是關(guān)于質(zhì)量的評價?！薄靶в迷u價是實踐、時間與歷史對評價客體實際作用和價值的驗證或最終評價。”“從知識的三要素可以推論出，所有的評價都可以分成形式評價、內(nèi)容評價和效用評價三種方式或評價指標(biāo)的三個方面?！保?］筆者認(rèn)為，由于主觀感受的相對粗糙和不準(zhǔn)確，依據(jù)全評價理論框架，從內(nèi)容與效用兩個主觀維度評價科技網(wǎng)站信息質(zhì)量存在準(zhǔn)確性、權(quán)威性和客觀性欠佳等問題。因此，單純從用戶主觀判斷來評價網(wǎng)站并不可靠，需要結(jié)合客觀數(shù)據(jù)，從外在形式角度對網(wǎng)站進(jìn)行形式評價。本文重點論述科技網(wǎng)站信息質(zhì)量形式評價理論模型的構(gòu)建過程。

1　文獻(xiàn)計量學(xué)是網(wǎng)站形式評價的理論根基

所謂形式評價，是“對評價客體內(nèi)含知識的外部特征的評價”，“最終的評價可用數(shù)字、數(shù)據(jù)反映”，是“精細(xì)評價”的基礎(chǔ)［1］?？萍季W(wǎng)站信息質(zhì)量形式評價是對反映網(wǎng)站信息質(zhì)量的可觀測外部特征的評價，這些可觀測外部特征可以量化，而且形式評價可以作為科技網(wǎng)站信息質(zhì)量全評價體系的基礎(chǔ)。網(wǎng)絡(luò)計量學(xué)的網(wǎng)絡(luò)資源分布規(guī)律、網(wǎng)絡(luò)資源老化規(guī)律、Web鏈接測度指標(biāo)等定律和指標(biāo)是網(wǎng)站量化指標(biāo)評價的基礎(chǔ)，對科技網(wǎng)站信息質(zhì)量形式評價起指導(dǎo)作用。Rousseau、Ingwersen和Cui［2-4］等通過研究證實：網(wǎng)絡(luò)資源分布規(guī)律深受文獻(xiàn)計量學(xué)的集中分布規(guī)律影響；網(wǎng)絡(luò)資源老化規(guī)律的半衰期概念來源于文獻(xiàn)計量學(xué)被引半衰期和引文半衰期；Web鏈接分析也同樣來源于科學(xué)引文思想。因此，可以認(rèn)為網(wǎng)絡(luò)計量學(xué)起源于文獻(xiàn)計量學(xué)，文獻(xiàn)計量學(xué)是網(wǎng)站形式評價的理論根基。綜上所述，可以利用文獻(xiàn)計量學(xué)測度指標(biāo)對科技網(wǎng)站信息質(zhì)量作形式評價。

2　形式評價標(biāo)準(zhǔn)的來源

匈牙利學(xué)者貝克在《一種測量科學(xué)成果質(zhì)量的方法》中提出一種測量科學(xué)成果質(zhì)量的新方法［5］，將科學(xué)認(rèn)識論結(jié)構(gòu)作為依據(jù)，并可以測量42個等級的破除性成果和創(chuàng)建性成果。他認(rèn)為，科學(xué)思維模式可分為6個階段，即設(shè)立公理、建立定理、聯(lián)結(jié)理論模型及現(xiàn)實、獲得經(jīng)驗事實、探索性實踐、程序性實踐。貝克通過對40項成果的實際測量得出結(jié)論：該測量科學(xué)成果質(zhì)量的方法適用于任何一門學(xué)科。由此推斷，可以將專家的評價意見進(jìn)行分解和量化，實現(xiàn)內(nèi)容與效用評價定量化，彌補單純主觀評價的人為因素干擾。但在實際操作中，還需根據(jù)評價目的和實際情況選擇適宜的定性評價量化方法，不能一味追求精細(xì)評價而犧牲效率，也不能貪圖實施方便而簡化內(nèi)容和效用評價過程。所以，當(dāng)利用貝氏模式將專家意見量化有一定難度的情況下，選擇替代方法不失為好的選擇。張詠在其博士論文中談到，“網(wǎng)絡(luò)信息資源評價的核心問題是判斷網(wǎng)絡(luò)信息資源是否滿足特定用戶群的特定的與潛在的信息需求”［6］。這與內(nèi)容和效用評價有關(guān)，而形式評價標(biāo)準(zhǔn)也應(yīng)從用戶滿意的角度選取，可以選擇將內(nèi)容與效用評價指標(biāo)量化處理的方式進(jìn)行形式評價。本文中的科技網(wǎng)站信息質(zhì)量形式評價是以用戶滿意為主導(dǎo)的全評價，在形式評價標(biāo)準(zhǔn)的選擇上同樣遵循用戶主導(dǎo)和用戶滿意的原則?？萍季W(wǎng)站信息質(zhì)量內(nèi)容與效用評價指標(biāo)的選擇來自專業(yè)網(wǎng)站資深用戶，而專業(yè)網(wǎng)站資深用戶從某種程度上說就是某個專業(yè)的專家。用戶選擇的內(nèi)容與效用評價指標(biāo)反映了影響用戶滿意的主要因素，以往利用專家問卷和打分制方法構(gòu)建的評價指標(biāo)體系與本文的內(nèi)容和效用評價在調(diào)查對象上具有同質(zhì)性，均屬專家主導(dǎo)。所以，科技網(wǎng)站信息質(zhì)量形式評價指標(biāo)實質(zhì)上是內(nèi)容和效用指標(biāo)的量化，即對科技網(wǎng)站信息質(zhì)量用戶滿意度影響因素指標(biāo)的量化。在內(nèi)容指標(biāo)足可量化充分的前提下，效用評價這一事后評價指標(biāo)若較難量化，可以不作為形式評價的備選標(biāo)準(zhǔn)。本文采取這一方法。

3　形式評價指標(biāo)的選擇

3.1形式評價指標(biāo)選取的注意事項

（1）形式評價研究對象是科技網(wǎng)站相關(guān)主題的網(wǎng)頁。訪問科技網(wǎng)站的用戶一般是某個主題領(lǐng)域的研究人員或?qū)W生，其訪問目的基本相同且明確，即瀏覽或查找相關(guān)主題科研信息，以期提高自身研究水平和能力。網(wǎng)站中不相關(guān)的非主題網(wǎng)頁基本不是用戶訪問的根本目標(biāo)，所以科技網(wǎng)站信息質(zhì)量形式評價對象是該類網(wǎng)站的相關(guān)主題網(wǎng)頁，所得評價結(jié)果是相關(guān)主題網(wǎng)頁信息質(zhì)量的總和。這一結(jié)果最終反映了科技網(wǎng)站信息質(zhì)量形式評價測度水平。

（2）形式評價指標(biāo)選取的原則是全面性、簡單性、易操作性?？偨Y(jié)以往文獻(xiàn)，用定量方法評價學(xué)術(shù)網(wǎng)站信息質(zhì)量的指標(biāo)主要有主題相關(guān)網(wǎng)頁量、主題特征度、被文獻(xiàn)引用量、作者權(quán)威度、共鏈強度［7］、網(wǎng)絡(luò)影響因子［8］、外部鏈接數(shù)［9］、鏈接密度、頁面平均鏈接數(shù)［10］、網(wǎng)站更新周期［11］、特定用戶需求滿足程度［12］、信息資源內(nèi)容廣度和深度、反映事物或系統(tǒng)屬性的客觀程度［13］、網(wǎng)站同被引量［14］等。上述評價指標(biāo)基本涵蓋了反映學(xué)術(shù)網(wǎng)站信息質(zhì)量的所有因素。本文的形式評價指標(biāo)是所選評價標(biāo)準(zhǔn)的細(xì)化，需根據(jù)評價標(biāo)準(zhǔn)制定下位評價指標(biāo)，以上總結(jié)的經(jīng)驗性評價指標(biāo)可作為備選參考。本文制定評價指標(biāo)的原則是既要做到全面，能基本涵蓋反映科技網(wǎng)站信息質(zhì)量的各個方面，又要保證指標(biāo)的簡單化，用最少的指標(biāo)反映評價標(biāo)準(zhǔn)，在數(shù)據(jù)獲取時能做到易于操作、方便易行，即每個形式評價標(biāo)準(zhǔn)配備一個評價指標(biāo)，并且該指標(biāo)能充分反映標(biāo)準(zhǔn)的內(nèi)在含義。

（3）形式評價實證研究對象的計量單位具有相對性。評價在字面上有排名、排序的涵義，所以評價結(jié)果是相對的。這就決定了評價對象的計量單位是相對的，即可以根據(jù)每個評價指標(biāo)的實際情況選擇不同的計量單位，既可以選擇平均主題網(wǎng)頁的計量結(jié)果、計量結(jié)果的百分比，也可選擇全部相關(guān)主題網(wǎng)頁的計量結(jié)果等。本文比較傾向前兩種方法，原因在于，這樣可以規(guī)避因網(wǎng)站規(guī)模和成立時間的差異而造成的評價誤差。

（4）對數(shù)據(jù)量大的網(wǎng)站采用抽樣方法采集數(shù)據(jù)。袁毅認(rèn)為評價網(wǎng)站準(zhǔn)確性可采取下列方法：“抽樣檢查網(wǎng)站中的概念解釋、原理解釋、試驗方法、結(jié)論是否與百科全書、教科書相符?！保?］所以，本文對數(shù)據(jù)量大的網(wǎng)站采用抽樣的方法采集評價樣本。同時，注意到網(wǎng)站用戶瀏覽和查詢的內(nèi)容主要是最新科技信息，并且網(wǎng)站建設(shè)水平和信息容量不斷變化，最新的數(shù)據(jù)更能反映網(wǎng)站建設(shè)現(xiàn)狀和信息質(zhì)量，而歷史性數(shù)據(jù)對評價網(wǎng)站現(xiàn)實狀況意義不大。所以，本文采用整體分層抽樣，局部簡單隨機抽樣的方法對近1-2年的數(shù)據(jù)進(jìn)行重復(fù)抽取采樣。樣本量參考沈浩提出的：不同規(guī)模的總體在P=0.5時，使用簡單隨機抽樣，且以誤差界限為0.05、置信度為95%的標(biāo)準(zhǔn)估計P所需的樣本容量［15］（參見表1）。采用的隨機抽樣工具參考段宇鋒的代碼，并進(jìn)行了修改，在Microsoft Internet Explorer環(huán)境下運行［10］。

表1　不同總體規(guī)模數(shù)據(jù)所需的樣本量

（5）各評價指標(biāo)值在實證階段需進(jìn)行統(tǒng)一標(biāo)準(zhǔn)化的處理。本文擬運用灰色關(guān)聯(lián)度方法和層次分析法構(gòu)建科技網(wǎng)站信息質(zhì)量形式評價模型，由于各評價指標(biāo)值計量單位不同，在評價模型中需要進(jìn)行歸一化處理，以保證評價結(jié)果的正確性。

（6）形式評價實證研究中，數(shù)據(jù)抓取的欄目限定在科技信息范圍內(nèi)。形式評價實證研究需要對評價客體進(jìn)行網(wǎng)站數(shù)據(jù)批量獲取，抓取范圍包括有關(guān)主題科技信息的所有欄目；而有關(guān)招聘、期刊論文數(shù)據(jù)庫、相關(guān)機構(gòu)鏈接、友情鏈接、合作伙伴鏈接、論壇鏈接、在線調(diào)查、圖片、視頻、廣告等欄目不在評價對象之列，不予以抓取。

3.2形式評價備選指標(biāo)討論

根據(jù)信息內(nèi)容質(zhì)量評價指標(biāo)，結(jié)合上文提到的經(jīng)驗性形式評價指標(biāo)，下文用假設(shè)和推理方法討論形式評價可能選擇的指標(biāo)，即假設(shè)形式評價采用以下評價指標(biāo)作為評價標(biāo)準(zhǔn)。根據(jù)文獻(xiàn)計量學(xué)理論，結(jié)合核心期刊評價方法，討論各評價標(biāo)準(zhǔn)下可選的評價指標(biāo)，通過比較，選擇唯一具有全面性、簡單性、易操作性的評價指標(biāo)。

3.2.1主題相關(guān)性標(biāo)準(zhǔn)

主題相關(guān)性即網(wǎng)站的主題覆蓋度，用于表達(dá)網(wǎng)站涉及主題的深度和廣度。主題相關(guān)性的概念來源于網(wǎng)絡(luò)資源分布定律，而網(wǎng)絡(luò)資源分布定律深受文獻(xiàn)計量學(xué)三大集中分散定律的影響，即布拉德夫定律、洛特卡定律、齊普夫定律。所以，可用文獻(xiàn)計量學(xué)的三大集中分散定律指導(dǎo)主題相關(guān)性下位指標(biāo)的選擇。袁毅提出用相關(guān)網(wǎng)頁量和主題特征度兩個定量指標(biāo)測度網(wǎng)站的主題相關(guān)性［7］。相關(guān)網(wǎng)頁量是網(wǎng)站主題相關(guān)網(wǎng)頁的數(shù)量；主題特征度是指網(wǎng)站擁有主題特征詞的總和。相關(guān)網(wǎng)頁量法源自核心期刊評選的載文量分析方法，這是一種粗略估計的方法，并且會受主題搜索技術(shù)、主題忠實表達(dá)程度的影響。所以本文選擇袁毅提出的以主題特征度作為主題相關(guān)性的評價指標(biāo)。主題特征詞是“能體現(xiàn)某學(xué)科、專業(yè)或主題內(nèi)容特征并能區(qū)別于其他學(xué)科、專業(yè)或主題內(nèi)容的關(guān)鍵詞”［7］。對主題特征詞的提取，本文借鑒了袁毅的方法并加以改進(jìn)：首先，以主題、題名、關(guān)鍵詞、文摘為檢索入口，在權(quán)威數(shù)據(jù)庫中檢索主題相關(guān)文獻(xiàn)，合并主題文本，統(tǒng)計高頻詞，制作詞頻共現(xiàn)矩陣，統(tǒng)計高共現(xiàn)詞；檢索相關(guān)會議信息，提取主題特征詞；檢索近年綜述文章以獲取主題特征詞；在相關(guān)主題網(wǎng)站提取主題特征詞。然后，將提取的主題特征詞進(jìn)行去重、篩選過濾，再利用最終獲取的主題特征詞對實證網(wǎng)站進(jìn)行主題抓取。

本文的主題特征度計量方法與袁毅提出的有所不同：鑒于網(wǎng)站建設(shè)規(guī)模、網(wǎng)站功能屬性、成立時間的差異性，計量各網(wǎng)站總體主題特征度無法做到科學(xué)對比和排名。而且，部分主題特征詞在同一網(wǎng)頁會重復(fù)出現(xiàn)，造成重復(fù)計算的問題。所以，根據(jù)前文所述計量單位的相對性原理，本文用網(wǎng)站含有主題特征詞的網(wǎng)頁數(shù)與網(wǎng)站總網(wǎng)頁數(shù)的比值表示“主題特征度”。

主題特征度指標(biāo)相比相關(guān)網(wǎng)頁量指標(biāo)的主題覆蓋度更高，是相關(guān)網(wǎng)頁量指標(biāo)的有力補充。相關(guān)實驗表明“大多數(shù)網(wǎng)站的相關(guān)網(wǎng)頁量指標(biāo)與主題特征度指標(biāo)評價結(jié)果是一致的”［7］。所以，本文僅選擇主題特征度一個指標(biāo)測度主題相關(guān)性。

3.2.2權(quán)威性標(biāo)準(zhǔn)

網(wǎng)站權(quán)威性代表信息的可靠性和可信性，可以參考已有研究結(jié)論，從信息作者、編輯、責(zé)任者或信息本身的權(quán)威性角度度量網(wǎng)站的權(quán)威性。需要說明的是，網(wǎng)站是由一個個網(wǎng)頁構(gòu)成的，網(wǎng)頁的權(quán)威性總和構(gòu)成了網(wǎng)站的權(quán)威性。所以，需要以網(wǎng)頁作為網(wǎng)站權(quán)威性研究的基本單位，而不能簡單靠網(wǎng)站的責(zé)任者、創(chuàng)辦者的權(quán)威性來考察。

袁毅從作者權(quán)威度和用鏈接衡量的網(wǎng)站權(quán)威度兩個角度考察網(wǎng)站的權(quán)威性［7］。但隨著網(wǎng)站建設(shè)的不斷發(fā)展，現(xiàn)在很多學(xué)術(shù)網(wǎng)站的科技新聞并不注明來源作者，而以信息的來源機構(gòu)代替，并且新聞編輯的權(quán)威性更無從查起。因此，在新的網(wǎng)絡(luò)環(huán)境下，作者權(quán)威度對本文不太適用。

同樣，目前許多網(wǎng)站上的鏈接并不鏈接到具體網(wǎng)頁，而是直接與網(wǎng)站首頁鏈接，有的則刻意與權(quán)威網(wǎng)站建立鏈接，以提高知名度。袁毅也認(rèn)為，一個網(wǎng)站可能因為建站機構(gòu)的現(xiàn)實權(quán)威性而獲得更多的鏈接。她通過大量的文獻(xiàn)研究得出結(jié)論：不能簡單地將鏈接或其他相關(guān)測度作為評價網(wǎng)站的指標(biāo)，必須提取反映網(wǎng)站質(zhì)量的實質(zhì)性鏈接才能有效評價網(wǎng)站。其實，研究學(xué)術(shù)網(wǎng)站的鏈接情況需要以學(xué)術(shù)網(wǎng)站的學(xué)術(shù)主題相關(guān)網(wǎng)頁的被鏈接情況為研究對象。然而，由于數(shù)據(jù)抓取手段的限制，往往很難將非主題學(xué)術(shù)網(wǎng)頁的鏈接剔除。更重要的是，網(wǎng)頁的學(xué)術(shù)價值并不能憑被鏈接次數(shù)反映。有的網(wǎng)頁被鏈接次數(shù)多，原因在于它有助于進(jìn)一步查找并獲取豐富信息，其本身并不具備很高的學(xué)術(shù)價值。段宇鋒在他的博士論文中也詳細(xì)論述了關(guān)于利用鏈接指標(biāo)評價網(wǎng)站的局限性，他認(rèn)為：網(wǎng)絡(luò)鏈接方法應(yīng)用網(wǎng)絡(luò)計量理論存在爭議，商業(yè)搜索引擎并不是開展網(wǎng)絡(luò)鏈接研究的最佳工具，網(wǎng)絡(luò)鏈接抽取會出現(xiàn)不全面和不準(zhǔn)確的現(xiàn)象［10］。鏈接機理的復(fù)雜性和鏈接數(shù)據(jù)獲取的不穩(wěn)定性，導(dǎo)致利用鏈接指標(biāo)，包括網(wǎng)絡(luò)影響因子來評價網(wǎng)絡(luò)資源有一定的局限性。

根據(jù)PageRank算法原理，本文認(rèn)為利用其判斷網(wǎng)頁的質(zhì)量有一定的可信性和可行性。由于不同語言網(wǎng)頁的PageRank值沒有可比性，且PageRank也并非為評價中文網(wǎng)頁而設(shè)計，同時其評價學(xué)術(shù)網(wǎng)站的算法并未考慮網(wǎng)頁的日期和域的價值，所以，應(yīng)慎重考慮將PageRank值作為網(wǎng)站權(quán)威性指標(biāo)。

袁毅提出利用網(wǎng)站被文獻(xiàn)引用量來測量學(xué)術(shù)網(wǎng)站的實用性，即通過統(tǒng)計學(xué)術(shù)文獻(xiàn)引用網(wǎng)站信息的數(shù)量評價網(wǎng)站的實用性，實質(zhì)是考察網(wǎng)站主題覆蓋度的深度問題。該觀點為后人的研究提供了啟示，但由于受備檢學(xué)術(shù)數(shù)據(jù)庫、引用動機、檢索策略設(shè)計等方面的制約，在實際操作上有一定的局限性。本文受此啟發(fā)，將期刊引用定律引入到學(xué)術(shù)網(wǎng)站權(quán)威性評價指標(biāo)的選擇中。

本文認(rèn)為，期刊文獻(xiàn)引用定律可以作為網(wǎng)站權(quán)威性評價的指導(dǎo)原理。核心期刊的評選方法之一即是統(tǒng)計期刊被引量，被引次數(shù)多的刊物一般是某個領(lǐng)域的核心刊物，在此領(lǐng)域內(nèi)具有一定的權(quán)威性。由此推理，學(xué)術(shù)網(wǎng)站信息被引用（轉(zhuǎn)載）次數(shù)多，也代表此網(wǎng)站在某個學(xué)術(shù)領(lǐng)域的權(quán)威地位。由于網(wǎng)站是由網(wǎng)頁構(gòu)成的，可轉(zhuǎn)化為評價網(wǎng)頁的被引用（轉(zhuǎn)載）次數(shù)。

網(wǎng)站內(nèi)的信息或新聞有的以一個網(wǎng)頁存儲，有的分成幾個網(wǎng)頁，但信息或新聞標(biāo)題只有一個。每條信息或新聞頁面一般都標(biāo)有“來源”，這個“來源”分為兩種：一種是來自網(wǎng)站原創(chuàng)；另一種是引用（轉(zhuǎn)載）其他網(wǎng)站。一個標(biāo)題只有一個原創(chuàng)來源。所以，本文的思路是：以抓取數(shù)據(jù)的標(biāo)題為單位，計量該標(biāo)題被全網(wǎng)引用（轉(zhuǎn)載）的總次數(shù)（不包括原創(chuàng)來源的自引），次數(shù)越多說明該條信息或新聞的權(quán)威性越強。在評價時按被引次數(shù)計分，如被引用1次記為1，2次記為2。特別說明的是，在被引次數(shù)相同情況下，網(wǎng)站原創(chuàng)信息或新聞得到的計分要更高，因為它不依賴轉(zhuǎn)載權(quán)威性高網(wǎng)站的內(nèi)容來賺取權(quán)威性，屬于原創(chuàng)，具有自身的權(quán)威性。對于抓取數(shù)據(jù)量大的網(wǎng)站可以考慮采用總體分層、各欄目簡單隨機抽樣的方法，利用抽樣樣本評價總體。將抽樣數(shù)據(jù)的計分總和/抽取樣本數(shù)量作為網(wǎng)站權(quán)威性評價的指標(biāo)，命名為權(quán)威度。

權(quán)威度指標(biāo)是依據(jù)核心期刊評選方法中引文量指標(biāo)而設(shè)置的，來源于歷史驗證的經(jīng)驗性指標(biāo)，具有一定的可靠性和全面測量性，并且這一指標(biāo)在實際操作上可以依靠檢索和抓取方式獲得，較為簡單、易操作。所以，本文只利用權(quán)威度一個指標(biāo)測評網(wǎng)站的權(quán)威性。

3.2.3準(zhǔn)確性標(biāo)準(zhǔn)

網(wǎng)站的準(zhǔn)確性表示網(wǎng)站信息可靠和沒有錯誤的程度。袁毅采用內(nèi)容分析方法觀測網(wǎng)站準(zhǔn)確性，從字、句、概念、試驗方法、聯(lián)系信息、數(shù)據(jù)、圖表、日期等諸多關(guān)鍵點進(jìn)行評判。內(nèi)容分析方法具有精確評價的優(yōu)點，但實施起來較為復(fù)雜，可操作性不強。另一種方法則是借用語義網(wǎng)技術(shù)，利用元數(shù)據(jù)制作XML結(jié)構(gòu)化網(wǎng)絡(luò)文檔，使機器能自動代替人工識別關(guān)鍵點信息，進(jìn)行比較并作出評價，但這種方法明顯將問題復(fù)雜化了。

Fritch等認(rèn)為網(wǎng)站信息本身的權(quán)威性可從信息的準(zhǔn)確性來判斷［16］。本文也認(rèn)同網(wǎng)站權(quán)威性與準(zhǔn)確性有一定聯(lián)系，兩者之間往往是相關(guān)的。所以從某種意義上說，網(wǎng)站的準(zhǔn)確性可以用權(quán)威性來測量。本文選擇的測量方法與權(quán)威性基本相同。不同在于，相同被引次數(shù)的原創(chuàng)信息不再區(qū)分地單獨打分。對不注明信息來源的新聞或網(wǎng)頁記0分，原因在于沒有標(biāo)注來源，其準(zhǔn)確性有待考察。本文將這一平均準(zhǔn)確性的指標(biāo)命名為準(zhǔn)確度。

3.2.4時效性標(biāo)準(zhǔn)

信息的效用由時間決定，并有一定的期限。信息價值的大小與發(fā)布信息的時間密切相關(guān)。信息一經(jīng)形成，發(fā)布速度越快，其價值越大。筆者認(rèn)為，信息時效性并不是簡單指信息發(fā)布時間遠(yuǎn)近和更新速度，而是網(wǎng)站信息發(fā)布時間與事件發(fā)生時間的時間差，差值越小，信息的時效性越強。

信息時效性強的網(wǎng)站被用戶瀏覽和利用的次數(shù)顯然比時效性弱的多，文獻(xiàn)老化定律即說明了這點。用定量方法測量信息時效性的研究中，王玉斌根據(jù)信息老化計算方法和信息被點擊或者關(guān)注的次數(shù)構(gòu)建老化模型，通過網(wǎng)站信息在各時刻影響力的變化測量網(wǎng)站的時效性［17］。他通過編制算法，實現(xiàn)了對信息時效性的觀測。但在實際應(yīng)用上，獲取特定時間段內(nèi)的點擊數(shù)量、關(guān)注次數(shù)和評論數(shù)量等歷史數(shù)據(jù)有一定難度。同時，該研究將信息時效性與信息價值之間建立直接相關(guān)關(guān)系，不考慮其他影響信息質(zhì)量的因素，本文不宜采用。另外，崔鑫鑫研究了應(yīng)急衛(wèi)生防疫保障信息時效性的影響因素，包括信息傳輸者、信息傳輸渠道、信息接收者和外部環(huán)境［18］。這一研究深入挖掘了測量信息時效性的各個維度，但方法過于復(fù)雜，對于本文的研究可借鑒性不強。

筆者認(rèn)為，應(yīng)牢牢把握信息時效性的內(nèi)涵，用網(wǎng)站信息發(fā)布時間與信息事件發(fā)生時間的時間差值測量時效性。將差值按大小分成不同等級區(qū)間進(jìn)行打分，以打分總和作為網(wǎng)站時效性觀測值。鑒于信息事件發(fā)生時間隱藏在網(wǎng)頁字里行間，沒有固定位置，機器干預(yù)有一定難度，需要人工逐條打開網(wǎng)頁仔細(xì)閱讀，進(jìn)行內(nèi)容分析。此方法操作較為復(fù)雜、繁瑣，對于抓取數(shù)據(jù)量大的網(wǎng)站，可以考慮采用抽樣評價，即將抓取數(shù)據(jù)進(jìn)行時間倒序排列，采用各欄目分層抽樣，欄目內(nèi)簡單隨機抽樣相結(jié)合的方式來抽取樣本。分析樣本時間差值，將樣本時間差總和/含有時間差值的樣本網(wǎng)頁數(shù)作為網(wǎng)站信息時效性初步評價結(jié)果。

具體操作上需注意的是，網(wǎng)站新聞或信息標(biāo)題鏈接旁的時間一般為網(wǎng)站更新時間或信息發(fā)布時間，有的發(fā)布時間則顯示在打開鏈接后的頁面題頭或結(jié)尾。通常以“時間、發(fā)布時間、日期或發(fā)表時間”等字樣標(biāo)注，或無文字提示，只列出時間。信息事件發(fā)生時間一般存在于頁面文字內(nèi)容之中；對于一些特殊情況，如網(wǎng)頁引用專業(yè)文獻(xiàn)，應(yīng)以原文發(fā)表時間作為信息事件發(fā)生時間。預(yù)報性消息的時間差用負(fù)數(shù)表示。如無法找到信息事件發(fā)生時間，如學(xué)者發(fā)表的小品文，則不計入評價范圍，樣本的空缺用后面網(wǎng)頁補充。

特別說明的是，測量網(wǎng)站信息時效性要考慮網(wǎng)站的更新頻率。更新頻率除了依賴于網(wǎng)站日常維護，還與網(wǎng)站性質(zhì)有關(guān)。比如，研究機構(gòu)網(wǎng)站報道內(nèi)部新聞較多，若沒有新事件發(fā)生則不會更新。所以，更新頻率不是評價網(wǎng)站信息時效性的決定因素。在實證階段，篩選出的網(wǎng)站與主題高度相關(guān)，用戶對其充分了解，網(wǎng)站更新頻率有一定保障。因此本文以網(wǎng)站各欄目最后一次更新時間的均值為評價標(biāo)準(zhǔn)。如果此值沒有超過一定時限，則認(rèn)為該網(wǎng)站信息時效性在更新頻率上通過。若不通過，則將其時效性減半。本文將1/［（樣本時間差總和/含有時間差值的樣本網(wǎng)頁數(shù)）（更新頻率不通過的乘以2）］定義為觀測科技網(wǎng)站信息質(zhì)量時效性的指標(biāo)，命名為新穎度。

新穎度是把握信息時效性含義而設(shè)置的科技網(wǎng)站信息時效性評價指標(biāo)，已具有全面測量時效性的功能，所以本文只利用這一指標(biāo)衡量時效性。

3.2.5科技前沿性標(biāo)準(zhǔn)

科技前沿性指網(wǎng)站能反映科技前沿信息的程度，即網(wǎng)站包含科技前沿信息的數(shù)量。與主題相關(guān)性類似，文獻(xiàn)計量學(xué)三大集中分散定律同樣指導(dǎo)科技前沿性下位指標(biāo)的選擇，同樣可以將載文量指標(biāo)引用到科技前沿性的評價中。袁小姍在科技信息網(wǎng)站內(nèi)容特色性評價標(biāo)準(zhǔn)下設(shè)置的一個指標(biāo)是“科技特色信息含量”，主要指網(wǎng)站科技特色欄目所包含的信息數(shù)量［19］，但這一指標(biāo)在概念上有些模糊，比如何為“特色欄目”？如何把握？“信息數(shù)量”采用的計量單位是篇數(shù)還是網(wǎng)頁數(shù)？另一種評價科技前沿性的方法是直接對網(wǎng)站內(nèi)科技前沿信息數(shù)量進(jìn)行統(tǒng)計，如會議信息、基金項目信息等，但缺點是由于這種信息在網(wǎng)站中分布比較分散，在查找時較易遺漏，較難操作。

參照主題特征詞，本文提出“熱詞”的概念，即網(wǎng)站中包含反映科技前沿性信息的主題詞，是“能體現(xiàn)某學(xué)科、專業(yè)或主題內(nèi)容特征并能區(qū)別于其他學(xué)科、專業(yè)或主題內(nèi)容的，且能代表最前沿科技信息的關(guān)鍵詞”。［7］熱詞的選擇首先以主題、題名、關(guān)鍵詞、文摘為檢索入口，在權(quán)威數(shù)據(jù)庫中檢索主題相關(guān)文獻(xiàn)，合并主題文本，按年代排序統(tǒng)計高頻詞；檢索最新會議信息，提取會議關(guān)鍵詞；檢索近年綜述文章，獲取最新關(guān)鍵詞；從相關(guān)主題網(wǎng)站提取新詞。而后將提取的高頻詞、關(guān)鍵詞、新詞等去重、篩選過濾，得到熱詞。參照本文主題特征度的計量方法，提出“熱度”這一概念，以測度科技前沿性下位指標(biāo)，即網(wǎng)站含有熱詞的網(wǎng)頁數(shù)與網(wǎng)站總網(wǎng)頁數(shù)的比值。

上文提到的諸多測度網(wǎng)站科技前沿性的指標(biāo)和方法與熱度的測度功能相同，在實踐中，熱度測量能較易做到抓取全面、準(zhǔn)確和易于操作。筆者認(rèn)為，熱度基本能比較全面地計量網(wǎng)站科技前沿的程度。因此本文僅選擇熱度一個指標(biāo)測度網(wǎng)站科技前沿性。

3.2.6其他標(biāo)準(zhǔn)

除以上5個信息內(nèi)容質(zhì)量評價指標(biāo)外，內(nèi)容與效用評價模型中還有啟發(fā)性、交流性和廣泛性3個指標(biāo)。啟發(fā)性標(biāo)準(zhǔn)反映網(wǎng)站對用戶的正面作用，很難從客觀的角度進(jìn)行量化；交流性標(biāo)準(zhǔn)可以通過網(wǎng)站提供的交流平臺的數(shù)量、用戶發(fā)帖和回帖的頻次度量；廣泛性表示網(wǎng)站涉及主題的廣度，可利用主題覆蓋度指標(biāo)測量。此外，參考以往文獻(xiàn)，其他較常見的網(wǎng)站信息質(zhì)量形式評價標(biāo)準(zhǔn)還有實用性標(biāo)準(zhǔn)、原創(chuàng)性標(biāo)準(zhǔn)、客觀性標(biāo)準(zhǔn)等。參考袁毅［7］對實用性的理解，實用性標(biāo)準(zhǔn)下可設(shè)置引文指標(biāo)；通過信息來源判斷原創(chuàng)信息數(shù)量，可觀測網(wǎng)站原創(chuàng)性；客觀性標(biāo)準(zhǔn)要通過較復(fù)雜的內(nèi)容分析手段，如對比教科書或權(quán)威網(wǎng)站、咨詢專業(yè)人員等。對于以提供鏈接為主的網(wǎng)站，則要評價其出鏈質(zhì)量。網(wǎng)站中包含較多自創(chuàng)軟件的，還要分析其軟件性能的稀有性。

4　形式評價指標(biāo)權(quán)重的確定方法

本文運用層次分析法確定科技網(wǎng)站信息質(zhì)量形式評價指標(biāo)權(quán)重?；舅悸啡缦拢旱谝?，構(gòu)造判斷矩陣。采用美國運籌學(xué)家T·L·薩蒂教授提出的1-9標(biāo)度法對不同評價指標(biāo)進(jìn)行兩兩比較，構(gòu)造判斷矩陣。筆者利用專家打分的方法對各判斷矩陣中的指標(biāo)進(jìn)行兩兩比較。第二，求解判斷矩陣A的特征根，找出最大特征根λmax及其對應(yīng)的特征向量W，即得到同一層各指標(biāo)相對于上一層指標(biāo)的相對重要性的權(quán)重排序。第三，用T· L·薩蒂的平均隨機一致性指標(biāo)對判斷矩陣進(jìn)行一致性檢驗。根據(jù)各個平均一致性指標(biāo)，求出判斷矩陣的一致性指數(shù)CI=（λmax-n）/（n-1）、隨機一致性比率CR=CI/RI。若CR＜0.10，則認(rèn)為矩陣具有滿意的一致性；否則必須重新調(diào)整矩陣，直至矩陣具有滿意的一致性［20］。

5　科技網(wǎng)站信息質(zhì)量形式評價理論模型

利用層次分析法確定指標(biāo)權(quán)重后，應(yīng)用灰色關(guān)聯(lián)度分析方法構(gòu)建科技網(wǎng)站信息質(zhì)量形式評價模型。本文形式評價指標(biāo)體系共分為3層，即目標(biāo)層、判斷準(zhǔn)則層和措施層等3級指標(biāo)。目標(biāo)層為“科技網(wǎng)站信息質(zhì)量形式評價”用字母“A”代表；其下有判斷準(zhǔn)則層，即評價標(biāo)準(zhǔn)；措施層，即評價指標(biāo)。首先確定參考序列，記為x0k，（k=1，2，...，n）。關(guān)聯(lián)分析中與參考序列作關(guān)聯(lián)程度比較的序列稱之為比較序列，記為x1k，x2k，...xmk。這m個比較序列與參考序列之間的關(guān)聯(lián)度r0i可按式公式1計算：

其中εik是第k個時刻比較序列xik與參考序列x0k的關(guān)聯(lián)系數(shù)，計算方法見公式2：

公式2中的△ik=|x0k-xik|稱為參考序列x0k與比較序列xik在第k時刻的絕對值；△min=ρ稱為分辨系數(shù)，是為了削弱因最大絕對差值過大而失真的影響，以提高關(guān)聯(lián)系數(shù)之間的差異顯著性而人為給定的系數(shù)，一般取0＜ρ＜1。關(guān)聯(lián)度分析的主要目的是對影響參考序列的諸多比較序列的影響程度依大小進(jìn)行排序，稱為關(guān)聯(lián)序。那么記：

上式中，R=［r1，r2，r3…rm］T，為m個被評對象的綜合評判結(jié)果向量；W=［w1，w2，w3…wn］T，為n個評價指標(biāo)的權(quán)重分配向量，其中這樣，R=WET可作為科技網(wǎng)站信息質(zhì)量形式評價參考模型。結(jié)合可確定的模型構(gòu)成因素，科技網(wǎng)站信息質(zhì)量形式評價理論模型可如下表達(dá)：

圖1　科技網(wǎng)站信息質(zhì)量形式評價理論模型

6　研究結(jié)論

本文將全評價和文獻(xiàn)計量學(xué)作為基礎(chǔ)理論，以主題相關(guān)性、權(quán)威性、新穎性、準(zhǔn)確性、科技前沿性、啟發(fā)性、交流性和廣泛性等內(nèi)容與效用評價指標(biāo)作為科技網(wǎng)站信息質(zhì)量形式評價標(biāo)準(zhǔn)。通過假設(shè)推理，設(shè)計主題特征度、權(quán)威度、新穎度、準(zhǔn)確度、熱度等單一指標(biāo)作為形式評價指標(biāo)，利用灰色關(guān)聯(lián)度方法構(gòu)建科技網(wǎng)站信息質(zhì)量形式評價理論模型，達(dá)到簡化指標(biāo)體系、優(yōu)化評價模型的目的。同時，形式評價作為主觀評價的有力補充，可與內(nèi)容、效用評價相結(jié)合，并為實證證明“全評價”的科學(xué)性打下理論基礎(chǔ)

［1］葉繼元.人文社會科學(xué)評價體系探討［J］.南京大學(xué)學(xué)報（哲學(xué)·人文科學(xué)·社會科學(xué)），2010，47（1）：97-110.

［2］Rousseau R.Sitations：an exploratory study［J］.Cybermetrics，1997，1（1）：1.

［3］Ingwersen P.The calculation of web impact factors［J］. Journalofdocumentation，1998，54（2）：236-243.

［4］Cui L.Rating health Web sites using the principles of citation analysis：A bibliometric approach［EB/OL］.［2003-03-19］.http：//www.jmir.org/1999/1/e4/.

［5］貝克.一種測量科學(xué)成果質(zhì)量的方法［J］.科學(xué)、技術(shù)與辯證法，1987（2）：79-86.

［6］張詠.環(huán)境科學(xué)網(wǎng)絡(luò)信息資源評價研究［D］.南京：南京大學(xué)，2002.

［7］袁毅.核心網(wǎng)站評選的理論與方法［M］.北京：北京圖書館出版社，2005.

［8］曹梅.教育網(wǎng)站評價的網(wǎng)絡(luò)計量模式初探［J］.開放教育研究，2011（5）：103-107.

［9］劉友華，戚愛華，杜佳，等.學(xué)術(shù)網(wǎng)站評價指標(biāo)體系的構(gòu)建與應(yīng)用［J］.情報科學(xué)，2008（1）：64-68.

［10］段宇鋒.網(wǎng)絡(luò)鏈接分析與網(wǎng)站評價研究［D］.武漢：武漢大學(xué)，2004.

［11］張詠.網(wǎng)絡(luò)信息資源評價的方法及指標(biāo)［J］.圖書情報工作，2001（12）：25-29.

［12］劉雁書，方平.網(wǎng)絡(luò)信息質(zhì)量評價指標(biāo)體系及可獲取性研究［J］.情報雜志，2002（6）：10-12.

［13］查先進(jìn)，陳明紅.信息資源質(zhì)量評估研究［J］.中國圖書館學(xué)報，2010（2）：46-55.

［14］邱均平，楊思洛.基于被引的學(xué)術(shù)網(wǎng)站評價探析［J］.情報理論與實踐，2009（7）：69-73.

［15］沈浩.樣本量的確定［R］.北京：北京廣播學(xué)院新聞傳播學(xué)院調(diào)查統(tǒng)計研究所課程講義，2001.

［16］Fritch J W，Cromwell RL.Evaluating Internet resources：Identity，affiliation，and cognitive authority in anetworked world［J］.Journalofthe American Society for Information Science and Technology，2001，52（6）：499-507.

［17］王玉斌.基于信息內(nèi)容時效性改進(jìn)推薦算法的策略研究與實驗［D］.北京：北京郵電大學(xué)，2013.

［18］崔鑫鑫.軍隊?wèi)?yīng)急防御保障信息時效性研究［D］.重慶：第三軍醫(yī)大學(xué)，2006.

［19］袁小姍.科技信息網(wǎng)站評價研究［D］.吉林：吉林大學(xué)，2011.

［20］范佳佳，高潔.外語類院校核心競爭力評價模型構(gòu)建——以高校T為例［J］.重慶大學(xué)學(xué)報（社會科學(xué)版），2012（6）：91-95.

（責(zé)任編輯：沈麗霞）

Research on the Formal Evaluation Theoretical Model of Information Quality of Science and Technology Websites

FAN Jia-jia，YE Ji-yuan

范佳佳，女，博士，上海社會科學(xué)院信息研究所助理研究員；葉繼元，男，博士生導(dǎo)師，南京大學(xué)信息管理學(xué)院教授。

2016-04-27

*本文系國家社會科學(xué)基金重點項目“我國戰(zhàn)略性新興產(chǎn)業(yè)的信息資源保障體系與服務(wù)模式研究”（項目編號：11AZD082）研究成果之一