構(gòu)建檔案信息化建設(shè)的績(jī)效評(píng)價(jià)指標(biāo)體系研究*

朱麗梅

（華南理工大學(xué)檔案館，廣東廣州，510641）

開(kāi)展檔案信息化建設(shè)的績(jī)效評(píng)價(jià)，旨在查找問(wèn)題與不足，及時(shí)引導(dǎo)和規(guī)范后續(xù)的檔案信息化建設(shè)，從而充分盤(pán)活檔案信息資源、提升檔案服務(wù)效能及檔案的社會(huì)美譽(yù)度?？?jī)效評(píng)價(jià)的實(shí)施，亟需構(gòu)建一個(gè)科學(xué)可行的績(jī)效評(píng)價(jià)指標(biāo)體系。目前國(guó)內(nèi)尚無(wú)統(tǒng)一的檔案信息化績(jī)效評(píng)價(jià)指標(biāo)體系，對(duì)檔案信息化建設(shè)績(jī)效研究甚少，且多為定性分析。筆者嘗試將公共部門(mén)績(jī)效評(píng)價(jià)理論嫁接到檔案信息化建設(shè)工作上，打破單一的評(píng)價(jià)主體，采取定量與定性相結(jié)合的評(píng)價(jià)方法，提升評(píng)價(jià)結(jié)果的客觀性與準(zhǔn)確性。

1 檔案信息化建設(shè)績(jī)效評(píng)價(jià)的內(nèi)涵

績(jī)效評(píng)價(jià)是一個(gè)動(dòng)態(tài)的過(guò)程，既表現(xiàn)為測(cè)量、評(píng)判和評(píng)級(jí)的活動(dòng)，又是這三者組成的連貫過(guò)程［1］。本文對(duì)檔案信息化建設(shè)績(jī)效評(píng)價(jià)的內(nèi)涵界定為：評(píng)價(jià)主體立足檔案信息化建設(shè)的根本目的及實(shí)踐，參照評(píng)價(jià)指標(biāo)體系及評(píng)價(jià)標(biāo)準(zhǔn)，采用定性定量比對(duì)分析，對(duì)檔案部門(mén)在一定時(shí)期內(nèi)實(shí)施檔案信息化建設(shè)進(jìn)行客觀、準(zhǔn)確的測(cè)量、評(píng)判與評(píng)級(jí)的活動(dòng)與過(guò)程。

2 績(jī)效評(píng)價(jià)指標(biāo)的遴選依據(jù)

評(píng)價(jià)指標(biāo)直接反映評(píng)價(jià)內(nèi)容與主題，關(guān)系著評(píng)價(jià)結(jié)果的可信度。本文密切結(jié)合績(jī)效評(píng)價(jià)理論、檔案信息化建設(shè)的理論與實(shí)踐、政策法規(guī)等進(jìn)行指標(biāo)遴選，具體如下所述：

2.1 緊扣績(jī)效的內(nèi)涵，確立績(jī)效評(píng)價(jià)的一級(jí)指標(biāo)

從語(yǔ)義學(xué)看，績(jī)效指成績(jī)、成效。在管理實(shí)踐上，人們對(duì)績(jī)效內(nèi)涵的理解有單指行為或結(jié)果，也有認(rèn)為是二者的結(jié)合［2］。本文結(jié)合績(jī)效的語(yǔ)義及管理實(shí)踐的內(nèi)涵，認(rèn)為績(jī)效涵蓋投入、產(chǎn)出與效果。投入是一種行為，它是踐行檔案信息化建設(shè)的前提，產(chǎn)出則反映了檔案信息化建設(shè)的內(nèi)容或階段性成果，效果是測(cè)量檔案信息化建設(shè)帶來(lái)的服務(wù)質(zhì)量與效果好壞的標(biāo)尺。因此投入、產(chǎn)出與效果缺一不可，將三者設(shè)為檔案信息化建設(shè)的績(jī)效評(píng)價(jià)維度即一級(jí)指標(biāo)。

2.2 以檔案信息化建設(shè)相關(guān)理論及綱要為基礎(chǔ)，明晰投入與產(chǎn)出所對(duì)應(yīng)的二級(jí)指標(biāo)

通過(guò)研讀檔案信息化建設(shè)的相關(guān)理論及《全國(guó)檔案信息化建設(shè)綱要》，明晰了開(kāi)展檔案信息化建設(shè)需要以資金、人才、制度做保障。檔案信息化建設(shè)包括基礎(chǔ)設(shè)施、檔案信息資源、檔案服務(wù)平臺(tái)及信息安全保障體系的建設(shè)等內(nèi)容［3］［4］，這為設(shè)計(jì)投入、產(chǎn)出所對(duì)應(yīng)的二級(jí)指標(biāo)奠定了堅(jiān)實(shí)的基礎(chǔ)。

2.3 以重要會(huì)議精神為指導(dǎo)，確定評(píng)價(jià)目標(biāo)與導(dǎo)向

為確保構(gòu)建的評(píng)價(jià)模型科學(xué)可行，本文堅(jiān)持以國(guó)家及檔案工作的重要會(huì)議精神為指導(dǎo)。首先以中國(guó)共產(chǎn)黨第十八次全國(guó)人民代表大會(huì)上重要會(huì)議精神及群眾路線為指導(dǎo)。會(huì)上有6處提及要提升服務(wù)效能，以民為本、提升服務(wù)質(zhì)量，從而明晰開(kāi)展檔案信息化建設(shè)績(jī)效測(cè)評(píng)的目的。其次，以國(guó)家檔案局局長(zhǎng)楊冬權(quán)近年來(lái)在全國(guó)檔案局（館）長(zhǎng)會(huì)議上的重要講話為指導(dǎo)。他強(qiáng)調(diào)以檔案信息化建設(shè)充分提升檔案服務(wù)效用，建立三個(gè)體系即覆蓋人民群眾的檔案資源體系、方便人民群眾的檔案利用體系及檔案安全體系，依法滿足人民群眾的查檔需求［5］，依此確定檔案服務(wù)結(jié)果與質(zhì)量為評(píng)價(jià)導(dǎo)向。

2.4 汲取經(jīng)驗(yàn)，彌補(bǔ)不足

現(xiàn)有的檔案信息化評(píng)價(jià)標(biāo)準(zhǔn)如浙江省、常德市等地的檔案信息化評(píng)價(jià)標(biāo)準(zhǔn)及部分檔案學(xué)者提出的檔案信息化建設(shè)評(píng)價(jià)指標(biāo)對(duì)本文有一定的借鑒意義，但同時(shí)認(rèn)識(shí)到上述評(píng)價(jià)指標(biāo)體系存在以下不足：

首先，評(píng)價(jià)指標(biāo)不全。與學(xué)者所構(gòu)建的指標(biāo)相比，檔案部門(mén)制定的指標(biāo)實(shí)踐性強(qiáng)，測(cè)評(píng)指標(biāo)頗為全面、數(shù)據(jù)的采集可行性強(qiáng)，值得本文借鑒；但立足于績(jī)效評(píng)價(jià)角度，無(wú)論是檔案部門(mén)還是學(xué)者構(gòu)建評(píng)價(jià)指標(biāo)均存在偏頗之處，反映建設(shè)的指標(biāo)過(guò)多、投入與服務(wù)效果的指標(biāo)缺乏或過(guò)少，且指標(biāo)間存在重復(fù)和交叉。因此構(gòu)建檔案信息化建設(shè)的績(jī)效評(píng)價(jià)指標(biāo)時(shí)，盡量?jī)?yōu)化之。此外評(píng)價(jià)指標(biāo)的遴選還需與時(shí)俱進(jìn)。信息時(shí)代利用者的遠(yuǎn)程查檔意識(shí)及需求日益增強(qiáng)，故應(yīng)適當(dāng)增加遠(yuǎn)程服務(wù)平臺(tái)的建設(shè)、遠(yuǎn)程利用效果、網(wǎng)站訪問(wèn)量與回應(yīng)的速度等指標(biāo)。

其次，可量化的指標(biāo)過(guò)少，評(píng)價(jià)方法以定性為主。評(píng)價(jià)的科學(xué)性及準(zhǔn)確性可通過(guò)數(shù)字和量化的評(píng)價(jià)指標(biāo)來(lái)體現(xiàn)，雖然并非所有的指標(biāo)均能簡(jiǎn)單量化［6］，尤其對(duì)于具有公共服務(wù)職能的檔案部門(mén)來(lái)講，定性的評(píng)價(jià)指標(biāo)更易制定，但僅有定性指標(biāo)，評(píng)價(jià)結(jié)果的準(zhǔn)確性與可信度必然降低。為此開(kāi)展檔案信息化建設(shè)評(píng)價(jià)時(shí)，盡可能運(yùn)用定量與定性相結(jié)合的分析方法，適當(dāng)提升定量指標(biāo)的比例以彌補(bǔ)定性指標(biāo)評(píng)價(jià)的主觀性過(guò)強(qiáng)等不足。

最后，評(píng)價(jià)主體單一，多為上級(jí)對(duì)下級(jí)的評(píng)價(jià)或檔案部門(mén)自評(píng)，本文則增加了利用者對(duì)檔案服務(wù)滿意度的評(píng)價(jià)指標(biāo)。

3 評(píng)價(jià)指標(biāo)的遴選

構(gòu)建檔案信息化建設(shè)的績(jī)效評(píng)價(jià)指標(biāo)的基本流程如圖1所示。

3.1 首輪評(píng)價(jià)指標(biāo)的設(shè)計(jì)

首輪檔案信息化建設(shè)績(jī)效評(píng)價(jià)指標(biāo)體系在參考如上所述的遴選依據(jù)、檔案專家意見(jiàn)及檔案信息建設(shè)的實(shí)踐基礎(chǔ)上初步設(shè)計(jì)了3個(gè)一級(jí)指標(biāo)（以An標(biāo)識(shí)），9個(gè)二級(jí)指標(biāo)（以Bn 標(biāo)識(shí)），36 個(gè)三級(jí)指標(biāo)（以Cn標(biāo)識(shí)）。初設(shè)的評(píng)級(jí)指標(biāo)具有以下特點(diǎn)：（1）涵蓋了投入、產(chǎn)出與效果三個(gè)維度。（2）正向指標(biāo)和逆向指標(biāo)相結(jié)合。一個(gè)較為全面的評(píng)價(jià)指標(biāo)應(yīng)該既有加分的指標(biāo)，也有扣分的指標(biāo)；（3）定性指標(biāo)與定量指標(biāo)相結(jié)合。

圖1 評(píng)價(jià)指標(biāo)體系構(gòu)建流程

3.2 評(píng)價(jià)指標(biāo)重要程度的評(píng)判與篩選

參照德?tīng)柗品ǖ囊笱?qǐng)13位專家參與各級(jí)評(píng)價(jià)指標(biāo)的篩選及重要程度評(píng)判的問(wèn)卷調(diào)查，其中12 位專家回復(fù)了問(wèn)卷。這12 位專家有主管檔案信息化建設(shè)的領(lǐng)導(dǎo)、負(fù)責(zé)并參與檔案信息化建設(shè)實(shí)踐工作者、高校檔案教學(xué)科研工作者。經(jīng)過(guò)3 輪的專家問(wèn)卷，最終專家們對(duì)各級(jí)評(píng)價(jià)指標(biāo)的意見(jiàn)基本一致。

3.2.1 各級(jí)評(píng)價(jià)指標(biāo)重要程度的評(píng)判情況

本文檔案信息化建設(shè)績(jī)效評(píng)價(jià)的各級(jí)評(píng)價(jià)指標(biāo)重要性及相應(yīng)的量化分值為非常重要（4 分）、重要（3 分）、一般（2 分）、不重要（1分）、極不重要（0分）五個(gè)等級(jí)。

專家對(duì)各級(jí)評(píng)價(jià)指標(biāo)重要程度判斷意見(jiàn)的集中程度可以通過(guò)各指標(biāo)評(píng)分值的算術(shù)平均值、滿分頻率和評(píng)價(jià)等級(jí)和來(lái)進(jìn)行測(cè)量［7-9］。本文選用算術(shù)平均值來(lái)測(cè)量。算術(shù)平均值在此指12 位專家對(duì)各項(xiàng)評(píng)價(jià)指標(biāo)重要程度的分值平均值，計(jì)算公式為mj 為 專家數(shù)，Cij 表示第i（i=1，2…，12）個(gè)專家對(duì)Cj 指標(biāo)的重要程度給分值）。

經(jīng)過(guò)3 輪問(wèn)卷，刪除了隸屬度Ri（Ri=MI/12，其中MI 表示認(rèn)為評(píng)價(jià)指標(biāo)XI是理想的指標(biāo)專家數(shù)［10］，本文將評(píng)價(jià)指標(biāo)的重要程度不小于2定位較為理想）小于0.5的各級(jí)評(píng)價(jià)指標(biāo)，同時(shí)對(duì)二級(jí)及三級(jí)評(píng)價(jià)指標(biāo)作了優(yōu)化和調(diào)整。最終專家們對(duì)各級(jí)評(píng)價(jià)指標(biāo)評(píng)判的重要程度平均值如表1、2、3所示。

從表1、2、3 可看出12 位專家對(duì)各評(píng)價(jià)指標(biāo)的重要程度評(píng)判趨于一致。標(biāo)準(zhǔn)方差反映數(shù)據(jù)的波動(dòng)性，標(biāo)準(zhǔn)方差越大表示數(shù)據(jù)的波動(dòng)性越大。變差系數(shù)則反映評(píng)價(jià)指標(biāo)的鑒別力大小，變差系數(shù)越大，表明該指標(biāo)的鑒別力越大［10］。透過(guò)表3 的數(shù)據(jù)可看出，43 項(xiàng)的評(píng)價(jià)指標(biāo)的標(biāo)準(zhǔn)方差均小于0.8，33項(xiàng)評(píng)價(jià)指標(biāo)的變差系數(shù)不小于0.15，各項(xiàng)評(píng)價(jià)指標(biāo)的隸屬度大于0.5，故可判斷12 位專家對(duì)各級(jí)指標(biāo)的重要程度評(píng)判意見(jiàn)基本趨于一致，9 成以上的評(píng)價(jià)指標(biāo)鑒別力強(qiáng)。

3.2.3 評(píng)價(jià)指標(biāo)的信度及效度檢測(cè)

為進(jìn)一步檢驗(yàn)評(píng)價(jià)指標(biāo)的信度與效度，運(yùn)用SPSS 軟件對(duì)投入、產(chǎn)出、效果三個(gè)評(píng)價(jià)維度所屬的評(píng)價(jià)指標(biāo)及總體的績(jī)效評(píng)價(jià)指標(biāo)進(jìn)行信度檢驗(yàn)，測(cè)得上述3 個(gè)評(píng)價(jià)維度所屬的評(píng)級(jí)指標(biāo)及總體的評(píng)價(jià)指標(biāo)的克勞伯克α系數(shù)分別為0.6、0.891、0.824、0.925，除了投入績(jī)效小于0.7 外，其它都超過(guò)0.7。說(shuō)明該評(píng)價(jià)指標(biāo)體系信度符合要求。與此同時(shí)對(duì)總體績(jī)效評(píng)價(jià)指標(biāo)進(jìn)行效度檢測(cè)所得內(nèi)容效度比（VCR）為0.89，大于0.7，由此可判斷最終構(gòu)建的檔案信息化評(píng)價(jià)指標(biāo)總體上是可靠有效的［10］。

4 運(yùn)用層次分析法（AHP）法確定評(píng)價(jià)指標(biāo)的權(quán)重

評(píng)價(jià)指標(biāo)權(quán)重是衡量單項(xiàng)指標(biāo)在整個(gè)評(píng)價(jià)指標(biāo)體系中的重要性或比重［6］。權(quán)重確定的合理與否，直接影響到評(píng)價(jià)結(jié)果的準(zhǔn)確性。本文運(yùn)用層次分析法（AHP）確定評(píng)價(jià)指標(biāo)的權(quán)重。

層次分析法（AHP）是美國(guó)運(yùn)籌學(xué)家、匹茲堡大學(xué)教授馬斯·塞蒂（T．L．Saaty）提出的一種處理復(fù)雜的評(píng)價(jià)問(wèn)題中，進(jìn)行方案比較排序的方法。這是一種典型的定性和定量相結(jié)合的評(píng)價(jià)分析方法，是系統(tǒng)化、層次化的分析方法。廣泛應(yīng)用于多指標(biāo)的綜合評(píng)價(jià)模型的一種評(píng)價(jià)方法。在構(gòu)建評(píng)估指標(biāo)體系的基礎(chǔ)上，利用一定的方法對(duì)各指標(biāo)進(jìn)行預(yù)處理，然后構(gòu)建綜合評(píng)估模型求得綜合評(píng)價(jià)值，以此對(duì)現(xiàn)象總體進(jìn)行比較、分類和排序的一種統(tǒng)計(jì)方法［1］。

表1 專家對(duì)一級(jí)指標(biāo)重要程度判斷的意見(jiàn)

表2 專家對(duì)二級(jí)指標(biāo)的重要性判斷意見(jiàn)

表3 專家對(duì)三級(jí)指標(biāo)重要程度的判斷意見(jiàn)

表4 檔案信息化建設(shè)績(jī)效評(píng)價(jià)指標(biāo)體系

4.1 評(píng)價(jià)指標(biāo)權(quán)重的確定

按照層次分析法的步驟首先建立遞階結(jié)構(gòu)模型，然后構(gòu)建兩兩比較判斷矩陣。確定受上層指標(biāo)（除底層外）支配的同層次指標(biāo)間的相對(duì)重要性比較，接著進(jìn)行層次單排序及一致性檢驗(yàn)，一致性檢驗(yàn)通過(guò)后再進(jìn)行層次總排序，最后確定檔案信息化建設(shè)評(píng)價(jià)指標(biāo)的權(quán)重，各評(píng)價(jià)指標(biāo)的權(quán)重如表4所示。

4.2 績(jī)效評(píng)價(jià)公式

依據(jù)構(gòu)建的檔案信息化建設(shè)績(jī)效評(píng)價(jià)指標(biāo)體系中各指標(biāo)對(duì)總目標(biāo)的權(quán)重與各級(jí)指標(biāo)的評(píng)價(jià)分值，即可計(jì)算出檔案信息化建設(shè)績(jī)效的最終評(píng)價(jià)值［8］［9］，具體的計(jì)算公式為

公式中G 為檔案信息化建設(shè)績(jī)效綜合評(píng)價(jià)值，Wi 為第i個(gè)評(píng)價(jià)指標(biāo)的權(quán)重，VCi為三級(jí)指標(biāo)中第i個(gè)評(píng)價(jià)指標(biāo)的績(jī)效分值，n 為三級(jí)指標(biāo)的個(gè)數(shù)。

本文中檔案信息化建設(shè)績(jī)效的評(píng)價(jià)最終可用公式表示為：G=0.0553VC1+0.0553VC2+0.0277VC3+0.0093Vc4+0.0012VC5+0.0705VC6+0.0286VC7+ 0.004VC8+ 0.0042VC9+0.0009VC10+0.0019VC11+0.0009VC12+0.0042VC13

+ 0.0155VC14+ 0.0333VC15+0.007VC16+0.0032VC17+0.0015VC18+0.0029VC19

+ 0.0007VC20+ 0.0002VC21+0.0004VC22+0.0024VC23+0.0128VC24+0.0056VC25

+ 0.0056VC26+ 0.0012VC27+0.0183VC28+0.030VC29+0.0493VC30+0.0771VC31

+ 0.0493VC32+ 0.0295VC33+0.0119VC34+0.0082VC35+0.024VC36+0.0118VC37

+ 0.003VC38+ 0.0464VC39+0.0009VC40+0.1739VC41+0.0704VC42+0.0287VC43。

5.評(píng)價(jià)指標(biāo)體系的實(shí)證分析

為檢驗(yàn)評(píng)價(jià)指標(biāo)體系的實(shí)踐應(yīng)用性，在參照浙江省、常德市等地檔案信息評(píng)估標(biāo)準(zhǔn)以及專家的意見(jiàn)基礎(chǔ)上，設(shè)計(jì)了檔案信息化建設(shè)績(jī)效評(píng)分細(xì)則，同時(shí)還設(shè)計(jì)了檔案信息化建設(shè)的績(jī)效數(shù)據(jù)收集問(wèn)卷?；诳杀刃?，選擇了6 個(gè)同源且檔案信息化建設(shè)起步時(shí)間較為接近的樣本檔案館，收集他們2012、2013年檔案信息化建設(shè)的投入、產(chǎn)出與效果等績(jī)效相關(guān)數(shù)據(jù)，共回收了5 個(gè)樣本檔案館2012、2013年的數(shù)據(jù)，其中有效問(wèn)卷4份，分別來(lái)自4個(gè)不同的樣本檔案館。

運(yùn)用spss軟件分別對(duì)4個(gè)樣本檔案館的2012年、2013年檔案信息化建設(shè)績(jī)效評(píng)價(jià)結(jié)果及這2年的績(jī)效評(píng)價(jià)結(jié)果平均值進(jìn)行信度檢驗(yàn)（克勞伯克系數(shù)），結(jié)果分別為0.711、0.707、0.708，均大于0.7。由此說(shuō)明本文所測(cè)得4個(gè)樣本檔案館的績(jī)效評(píng)價(jià)結(jié)果是可接受的信度水平，從而進(jìn)一步驗(yàn)證了本文構(gòu)建的檔案信息化建設(shè)的評(píng)價(jià)指標(biāo)體系的適用性。與此同時(shí)評(píng)價(jià)指標(biāo)體系存在的不足之處還有待于后續(xù)的完善。

［1］李文彬.公共部門(mén)績(jī)效評(píng)價(jià)［M］.武漢：武漢大學(xué)出版社，2010.

［2］范伯乃.政府績(jī)效評(píng)估［M］.北京：中國(guó)人民大學(xué)出版社，2011.

［3］馮惠玲.檔案學(xué)概論［M］.北京：中國(guó)人民大學(xué)出版社，2001.

［4］國(guó)家檔案局.全國(guó)檔案信息化建設(shè)綱要［z］.2002-11-25.

［5］2012年楊冬權(quán)在全國(guó)檔案館（局）會(huì)上的重要講話［EB/OL］http：//www.qldaxxw.gov.cn.

［6］卓越.公共部門(mén)績(jī)效評(píng)估［M］.北京：中國(guó)人民大學(xué)出版社，2011.

［7］査先進(jìn).信息分析與預(yù)測(cè)［M］武漢：武漢大學(xué)出版社，2006.

［8］李麗燕.我國(guó)綜合檔案館效益評(píng)估指標(biāo)體系的構(gòu)建及實(shí)證研究［D］.杭州：浙江大學(xué)，2010.

［9］劉菁.檔案信息化評(píng)價(jià)指標(biāo)體系—基于實(shí)證和定量方法的分析［D］.杭州：浙江大學(xué)，2009.

［10］鄭方輝.廣東省地方政府整體績(jī)效評(píng)價(jià)紅皮書(shū)［M］.廣州：華南理工大學(xué)出版社，2010.