檔案信息系統(tǒng)評價指標體系研究

劉坤

〔摘 要〕科學的評價指標體系是對檔案信息系統(tǒng)進行合理評價的前提，對促進系統(tǒng)設(shè)計目標的實現(xiàn)，提高系統(tǒng)建設(shè)質(zhì)量具有重要意義。本文針對檔案信息化管理的特點，就建立檔案信息系統(tǒng)評價指標體系的原則和依據(jù)進行了初步探討，力求建立一套較為完善、有效的評價指標體系，為全面、客觀評價檔案信息系統(tǒng)奠定基礎(chǔ)。

〔關(guān)鍵詞〕檔案信息系統(tǒng)；綜合評價；評價指標體系

ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００８－０８２１．２０．０１．０３９

〔中圖分類號〕Ｇ２７５.９ 〔文獻標識碼〕Ａ 〔文章編號〕１００８－０８２１（２０）０１－０１５３－０４

Research on Evaluation Index System of Archives Information SystemLiu Kun

（Archives，Shanxi University of Finance and Economics，Taiyuan 030006，China）

〔Ａｂｓｔｒａｃｔ〕It needs a set of scientific index system to evaluate objectively the development degree and status of Archives information system.It was important signification to promote the construction of Archives Information System.Based on the principle of system evaluation,this paper established the structural model of Archives information system evaluation index system.With the help of AHP,the index system and evaluation method were researched.

〔Ｋｅｙｗｏｒｄｓ〕archives information systems;comprehensive evaluation;evaluation index system

１ 建立檔案信息系統(tǒng)評價指標體系的必要性

隨著信息技術(shù)和網(wǎng)絡(luò)技術(shù)的廣泛應(yīng)用，檔案管理模式和工作環(huán)境發(fā)生了根本性轉(zhuǎn)變。基于互聯(lián)網(wǎng)和信息技術(shù)的檔案信息系統(tǒng)，能夠整合檔案信息資源，改造檔案管理業(yè)務(wù)流程，提升檔案管理水平和管理效率，已經(jīng)成為了檔案信息化建設(shè)的重要組成部分。當前，各級檔案部門都在不同程度的開展檔案信息系統(tǒng)建設(shè)。

檔案信息系統(tǒng)建設(shè)是一個復雜的系統(tǒng)工程，它的導入和實施必然會涉及檔案管理的方方面面，需要大量人力、物力、財力的投入。因而，系統(tǒng)的實際應(yīng)用效果受到了用戶和開發(fā)單位的共同關(guān)注。構(gòu)建一套完善、有效的評價指標體系，對檔案信息系統(tǒng)進行科學、合理評價，對于促進系統(tǒng)設(shè)計目標的實現(xiàn)，提高系統(tǒng)建設(shè)質(zhì)量具有重要的現(xiàn)實意義。

２ 評價指標體系設(shè)計原則

科學、合理的評價指標體系是檔案信息系統(tǒng)評價模型建立的基礎(chǔ)，指標體系設(shè)計應(yīng)遵循一定的原則［１－２］：

２.１ 科學性

評價指標體系構(gòu)建要以科學的理論為指導，符合檔案信息化管理的內(nèi)在規(guī)律和發(fā)展要求，有效地反映系統(tǒng)的基本特征和整體狀況，在基本概念和邏輯結(jié)構(gòu)上嚴謹、合理，能抓住評價對象的實質(zhì)。

２.２ 導向性

進行系統(tǒng)評價的目的不僅是為了評價一個系統(tǒng)的優(yōu)劣程度，更重要的是為后續(xù)的系統(tǒng)設(shè)計和改進提供科學的參考依據(jù)，引導系統(tǒng)建設(shè)向正確的方向和目標發(fā)展。因此，指標的選取應(yīng)具有一定的導向性。

２.３ 系統(tǒng)性

評價指標體系應(yīng)是一個有機的整體，能全面、客觀地反映被評價對象的綜合情況。指標間互相聯(lián)系、互相制約，同一層次指標盡可能的界限分明，從中抓住主要因素，既能反映直接效果，又能反映間接效果，以保證綜合評價的全面性和可信度。

２.４ 可操作性

評價指標體系要繁簡適中，指標涵義明確，數(shù)據(jù)資料采集方便、易于獲取。即首先要明確評價目標，不要搞大而全的評價，在能基本保證評價結(jié)果客觀性、全面性的條件下，指標體系盡可能簡化，減少或排除沒有必要考慮的因素，使評價易于實現(xiàn)。

２.５ 定性分析與定量分析相結(jié)合

由于是多目標評價，涉及到各個方面，單純采用定量或定性的方法都很難對系統(tǒng)做出客觀的評價。采用定性與定量相結(jié)合的方式，可以將部分反映系統(tǒng)基本特點的定性指標定量化、規(guī)范化，為采用定量評價方法打下基礎(chǔ)。

２.６ 可比性

在具體指標選擇上，必須是檔案管理共有的指標涵義，統(tǒng)計口徑和范圍盡可能保持一致，以保證指標在各檔案信息系統(tǒng)之間和不同歷史時期具有橫向和縱向的可比性。

３.１ 評價指標體系模型結(jié)構(gòu)

傳統(tǒng)上對檔案信息系統(tǒng)的評價多側(cè)重于系統(tǒng)性能、軟硬件質(zhì)量等技術(shù)層面的因素。而實際上，檔案信息系統(tǒng)是涉及到技術(shù)、組織和管理等多種要素的社會技術(shù)系統(tǒng)，其評價也不是單純的技術(shù)評估問題，而是一個復雜的社會過程。建立一套科學的評價指標體系，將反映檔案信息系統(tǒng)基本特點的定性指標定量化、規(guī)范化，有助于盡可能的減少評價的不確定性，提高精確性。考慮到檔案管理部門應(yīng)用信息系統(tǒng)的主要目的是為了改造業(yè)務(wù)流程，改善管理績效。而檔案信息系統(tǒng)作為一種投資，必須高度重視效益，力求以最少的投入獲得最大產(chǎn)出，否則不利于其長遠發(fā)展。本文在評價指標體系的設(shè)計上，從系統(tǒng)使用者的角度出發(fā)，增加了反映系統(tǒng)應(yīng)用所產(chǎn)生的效益和績效改善的評價指標，以便項目施行者全面了解系統(tǒng)的實際運行狀況，及時發(fā)現(xiàn)存在的問題，提出改進措施，更好地滿足用戶的實際工作需求。綜合考慮這些因素，結(jié)合檔案信息系統(tǒng)的特點，本文建立的檔案信息系統(tǒng)指標評價體系由兩層指標集構(gòu)成，共4個一級評價指標和18個二級評價指標，基本上可以比較全面、客觀地衡量一個檔案信息系統(tǒng)的綜合信息化水平。具體來說，檔案信息系統(tǒng)評價指標體系的第一層為主指標集，評價指標包括：系統(tǒng)的技術(shù)水平U1、系統(tǒng)性能U2、效益U3、管理績效U4等4個一級指標，而每個一級指標又由若干個二級評價指標所決定，相應(yīng)地為第二層指標集，例如反映系統(tǒng)效益U3的二級指標包括：直接經(jīng)濟效益指標U31、間接經(jīng)濟效益指標U32、社會效益指標U33。由此構(gòu)成的檔案信息系統(tǒng)多目標綜合評價指標體系結(jié)構(gòu)模型如圖１所示［１－３］。圖１ 檔案信息系統(tǒng)評價的指標體系結(jié)構(gòu)模型

３.２ 評價指標的內(nèi)涵

以下簡要分析評價指標體系中各一級指標相應(yīng)的二級指標的選擇依據(jù)和具體含義［２］。

３.２.１ 技術(shù)水平U1

（1）目標功能實現(xiàn)度U：表示系統(tǒng)實現(xiàn)其規(guī)劃、分析階段提出的規(guī)劃目標的程度。

（2）先進性U12：系統(tǒng)是否融合了先進的科學管理知識，系統(tǒng)的設(shè)計是否科學以及是否有較強的適應(yīng)性。

（3）標準性U13：系統(tǒng)的建立應(yīng)遵循相關(guān)的國際標準、國家標準和行業(yè)標準，使用標準數(shù)據(jù)庫格式和元數(shù)據(jù)格式，文檔資料應(yīng)齊全而且規(guī)范。

（4）軟件質(zhì)量U14：包括系統(tǒng)軟件的實用性、可操作性和可升級性。

３.２.２ 系統(tǒng)性能U2

（1）功能的完整性U21：系統(tǒng)功能是否涵蓋電子檔案信息的采集、處理、存儲、歸檔、組織、提供利用等功能。包括數(shù)據(jù)管理功能、整理編目功能、檢索功能、輔助實體管理功能等。

（2）可靠性U22：是系統(tǒng)按設(shè)計要求持續(xù)運行的基本保障，系統(tǒng)不僅要保證滿足功能需求、正常運行，當系統(tǒng)出現(xiàn)意外故障時還應(yīng)能夠盡快恢復運行，保證數(shù)據(jù)不受破壞。它是由硬件和軟件系統(tǒng)等因素共同決定的。

（3）安全保密性U23：系統(tǒng)的軟硬件是否可靠，是否符合國家關(guān)于檔案管理軟件保密要求的規(guī)定，包括系統(tǒng)用戶識別、身份認證、防非法侵入、防火墻、數(shù)據(jù)備份等檔案信息資源安全措施的應(yīng)用狀況等。

（4）可維護性U24：表示維護人員對系統(tǒng)進行維護的難易程度。它由系統(tǒng)的模塊化程度、簡明性及規(guī)范性等因素決定。

（5）系統(tǒng)效率U25：是指系統(tǒng)的處理能力、處理速度、響應(yīng)時間等與時間有關(guān)的特性。系統(tǒng)效率主要指標有：數(shù)據(jù)庫打開時間、數(shù)據(jù)檢索時間、數(shù)據(jù)刪除時間，以及完成編目等特定功能所需要的時間。

３.２.３ 效益U3

（1）直接、間接經(jīng)濟效益U31、U32：主要體現(xiàn)在通過應(yīng)用系統(tǒng)改進檔案信息資源利用服務(wù)效率、降低成本而獲得的直接、間接收益。包括合理優(yōu)化資源；節(jié)約勞動力成本、信息服務(wù)成本、管理成本；減少費用支出等。

（2）社會效益U33：體現(xiàn)在為公眾提供檔案信息以及科學利用公共資源，提高社會信息化整體水平、實現(xiàn)決策科學化等方面。該指標主要指為用戶解決實際問題所做出的貢獻，包括檔案信息被引用或向其它文獻信息轉(zhuǎn)化的狀況；用戶在解決問題過程中檔案信息所起作用的比重以及利用檔案信息作為憑證的狀況等。

３.２.４ 管理績效U4

（1）規(guī)劃目標實現(xiàn)程度U41：預定的戰(zhàn)略規(guī)劃的階段性目標、總體目標及各項具體指標的實現(xiàn)程度。

（2）管理效率U42：系統(tǒng)應(yīng)用是否帶來管理模式、組織結(jié)構(gòu)和業(yè)務(wù)流程的改革和創(chuàng)新；檔案信息收集、傳遞、處理速度、作業(yè)效率、對用戶需求的反應(yīng)能力及部門決策水平的提高程度。

（3）檔案信息服務(wù)質(zhì)量U43：體現(xiàn)在檔案信息服務(wù)的快捷度、準確性、方便性、服務(wù)周期等質(zhì)量指標是否提高。其中檢索查全率、查準率和方便快捷程度是衡量檔案信息服務(wù)過程質(zhì)量高低的最基本的指標，即系統(tǒng)是否能夠全面、準確地檢索與用戶真實需求相關(guān)的信息；是否能在實現(xiàn)目錄信息檢索的基礎(chǔ)上，提供全文檢索及多媒體信息檢索等；檢索方式是否多樣化，檢索結(jié)果是否可以按相關(guān)度排序等。

（4）檔案信息利用率U44：系統(tǒng)應(yīng)用是否增強了檔案信息資源的開發(fā)利用程度，可以從信息的收集、深度加工和共享方面以及信息資源挖潛能力進行評估。具體體現(xiàn)在年均查檔數(shù)量及人次、檔案利用頻率、檔案網(wǎng)站用戶訪問量等。

（5）成本節(jié)約量U45：總成本與應(yīng)用系統(tǒng)前相比是否下降，與同類單位相比是否領(lǐng)先。可以從減少人工信息處理的工作量，節(jié)約人工費用、管理費用、辦公開支等方面衡量。

（6）用戶滿意度U46：指用戶對系統(tǒng)的功能、用戶界面、容錯性等的滿意程度；服務(wù)滿足顧客多樣化、個性化需求的提高程度?？梢詮南到y(tǒng)易用性、友好性、交流功能、用戶參與程度等方面衡量。

以上分析了檔案信息系統(tǒng)的評價因素，這18個具體評價指標構(gòu)成了檔案信息系統(tǒng)多目標綜合評價指標體系。

３.３ 評價指標權(quán)重的確定

權(quán)重是一個相對的概念，是針對某一指標而言。某一指標的權(quán)重是指該指標在整體評價中的相對重要程度。權(quán)重系數(shù)確定的合理與否，關(guān)系到綜合評價結(jié)果的可信程度。因而在評價指標體系構(gòu)建中，合理確定指標權(quán)重是一個關(guān)鍵環(huán)節(jié)。

確定指標權(quán)重的方法一般有以下幾種：一是專家直觀判定法，它是最簡單的權(quán)重確定方法，由評價者個人根據(jù)自己以往的經(jīng)驗和對各項評價指標重要程度的認識，對各項評價指標的權(quán)重進行分配。二是權(quán)值因子判斷表法，是指由評價人員組成評價專家組，由專家組制定和填寫權(quán)值因子判斷表，然后根據(jù)各位專家所填寫的權(quán)值因子判斷表，對評價指標的權(quán)數(shù)取平均值并進行統(tǒng)計處理，作為權(quán)重系數(shù)。三是層次分析法（獳nalytic Hierarchy Process，簡稱AHP），是將評價指標分解成多個層次，通過兩兩比較下層元素對于上層元素的相對重要性，將人的主觀判斷用數(shù)量形式表達和處理以求得指標的權(quán)重。前兩種方法比較簡單，但主觀性強，隨意性大，導致指標間相對重要性得不到合理體現(xiàn)，評價精確度不高［４］。層次分析法是美國運籌學家玊.L.Saaty教授于70年代初期提出的一種簡便、靈活而又實用的多準則決策方法，適用于難于完全定量分析的問題，本文以層次分析法為例說明如何確定評價指標權(quán)重。

層次分析法確定權(quán)重的步驟［５－６］：

３.３.１ 構(gòu)造判斷矩陣

同理可構(gòu)造U～U14對U1的判斷矩陣，U21～U25對U2的判斷矩陣，U31～U33對U3的判斷矩陣，U41～U46對U4的判斷矩陣。其中，u﹊j表示對于A(U1)而言，U璱對U璲的相對重要性。其它判斷矩陣可依此類推。

３.３.２ 層次單排序

計算各判斷矩陣的特征值最大值及其所對應(yīng)的特征向量，得出層次單排序，獲得指標層對于目標層的重要性數(shù)據(jù)序列，從而獲得最優(yōu)決策。先解出判斷矩陣A的最大特征值λ┆玬ax，再利用公式：Aω=λ┆玬axω。解出λ┆玬ax所對應(yīng)的特征向量ω。經(jīng)過標準化后即為同一層次中相應(yīng)元素對于上一層次中某個因素相對重要性的排序權(quán)值。

３.３.３ 一致性檢驗

由于問題復雜程度不盡相同，不可能要求所有判斷都完全一致，但卻應(yīng)該使判斷有大體上的一致性。因此需要對判斷矩陣A進行一致性檢驗。首先計算A的一致性指標CI：CI=(λ┆玬ax-n)/(n-1)。前式中，n為判斷矩陣的階數(shù)。當A具有完全一致性時，CI=0。λ┆玬ax-n愈大，矩陣的一致性愈差。當判斷是否具有滿意的一致性，還需將CI與平均隨機一致性指數(shù)RI進行比較。對于1～9階判斷矩陣玊.L.Saaty給出了RI值如表２所示。表２ 均隨機一致性指標R.I.標準值

階數(shù)R.I.階數(shù)R.I.10.0061.2520.0071.3530.5281.4240.8991.4651.12101.49

當CR=CI/RI＜0.1時就認為判斷矩陣A具有滿意的一致性，否則要對A重新調(diào)整，直到具有滿意的一致性為止。

３.３.４ 求得評價指標權(quán)重體系

如果判斷矩陣通過一致性檢驗，將層次單排序的結(jié)果轉(zhuǎn)換即可將得到評價指標的權(quán)重體系。

從上面的分析可以看出，層次分析法原理比較簡單，應(yīng)用靈活，可以將定性因素轉(zhuǎn)化為定量計算，為決策提供定量的依據(jù)，是一種較好的權(quán)重確定方法。

４ 結(jié)束語

檔案信息系統(tǒng)綜合評價是一個系統(tǒng)而復雜的過程，既有定性評價問題，又涉及到定量方法的使用，而且隨著時代發(fā)展和科技進步，評價指標和指標權(quán)重也有必要隨之做出相應(yīng)的調(diào)整，檔案信息系統(tǒng)評價工作是一個不斷變化的動態(tài)過程。檔案信息系統(tǒng)綜合評價體系研究目前在我國尚處于一個初始階段，本文只是初步構(gòu)建了一個評價指標體系，所提出的評價指標體系結(jié)構(gòu)模型在指標設(shè)計方面具有一定代表性，比較適合定性、定量計算，有利于科學、合理地對檔案信息系統(tǒng)進行綜合評價，有一定借鑒意義，但是在許多方面還需要通過實踐的檢驗，進一步改進和完善。

參考文獻

［１］閔文杰，陳建明，張仲義．信息系統(tǒng)評價指標體系及方法研究［Ｊ］．鐵道學報，2000，22（5）：37-38．

［２］鄭麗．檔案信息化建設(shè)測度指標體系探索［Ｊ］．檔案與建設(shè)，2007，（2）：21-22．

［３］郭東強．信息系統(tǒng)評價的定量化模型［Ｊ］．中國管理科學，2000，（8）：96-99．

［４］作者不詳．權(quán)重確定方法［ＥＢ］．MBA智庫百科，http:∥www.mbalib.com

［５］常建娥，蔣太立．層次分析法確定權(quán)重的研究［Ｊ］．武漢理工大學學報，2007，（1）：153．

［６］杜綱．管理數(shù)學基礎(chǔ)［Ｍ］．天津：天津大學出版社，2003：53-55．