金融業(yè)信息化項目績效評價研究
—以金融基礎設施開發(fā)類信息化項目為例

文 · 中國人民銀行金融基礎數(shù)據(jù)中心 郝岸

一、引言

按照中國人民銀行、發(fā)展改革委等六部門聯(lián)合印發(fā)的《統(tǒng)籌監(jiān)管金融基礎設施工作方案》，我國金融基礎設施統(tǒng)籌監(jiān)管范圍包括金融資產(chǎn)登記托管系統(tǒng)、清算結算系統(tǒng)、交易設施、交易報告庫、重要支付系統(tǒng)、基礎征信系統(tǒng)六類設施及其運營機構。金融基礎設施在金融市場運行中居于樞紐地位，信息化建設是推動金融基礎設施高質量發(fā)展的重要力量，擔負著保障金融市場穩(wěn)健高效運行的重要職責。不同于一般的行政單位或企業(yè)，金融基礎設施的信息化建設，特別是開發(fā)類信息化項目，具有社會影響大、建設周期長、資金投入大、建設難度高等突出特點。如何以績效評價為抓手，規(guī)避信息化項目可能存在的進度超預期、投入超預算、開發(fā)質量低下等建設風險，對加強我國金融基礎設施建設管理具有重要意義。本文從立項、實施、產(chǎn)出、發(fā)展4個維度設計了33個績效評價指標，分析了層次分析法、模糊綜合評價法在績效評價中的應用，并將績效評價及其結果應用細化為事前、事中、事后三個階段分別進行闡述。

二、國內(nèi)信息化項目績效評價研究概況

按照John M.Ivancevich給出的定義，績效管理（Performance Management，PM）是企業(yè)的管理者與監(jiān)督者促使員工與企業(yè)戰(zhàn)略目標相一致的過程?？冃гu價（Performance Evaluation，PE）是績效管理的技術手段，通過運用一定的評價方法、評價指標及評價標準，對績效目標的實現(xiàn)程度以及為實現(xiàn)這一目標所安排預算的執(zhí)行結果所進行的綜合評價。

信息化項目績效評價是績效評價在信息化項目中的應用，以增強信息化項目與單位戰(zhàn)略發(fā)展目標的一致性。我國理論界和實務界對信息化項目績效評價進行了初步探索，從研究成果看，信息化項目的行業(yè)差異較大，國內(nèi)學者對信息化項目績效評價研究主要分行業(yè)開展。李文全 等（2021）針對高校信息化項目建設特點，從項目立項、項目過程、項目成效、項目發(fā)展4個維度設計了15個評價指標，提出層次分析法（Analytic Hierarchy Process，AHP)解決定性與定量相結合的問題，模糊綜合評價法（Fuzzy Comprehension Evaluation Method，F(xiàn)CE）解決評價指標難以量化的問題。潘玲（2018）分析了公益類科技情報（信息）機構未建立績效評價制度、簡單套用一般科研機構績效評價指標體系而缺乏適用性的現(xiàn)狀，基于平衡計分卡，從客戶、內(nèi)部業(yè)務流程、財務、學習與成長4個維度設計了30個評價指標，采取專家打分的方式為評價指標賦權。陳莉 等（2012）針對電力信息化項目實施范圍廣、投資巨大、無形資產(chǎn)增值在評價中難以體現(xiàn)等難點，從投入和輸出兩個維度設計了9個評價指標，應用數(shù)據(jù)包絡分析法（Data Envelopment Analysis，DEA）對電力系統(tǒng)信息化項目績效評價體系進行了研究。

三、開發(fā)類信息化項目管理中普遍存在的主要問題

需要說明的是，本文所指開發(fā)類信息化項目，主要包括通過程序設計和開發(fā)語言實現(xiàn)業(yè)務和辦公管理需求等新建或重大升級改造的項目。按照問題導向原則，在探討金融基礎設施開發(fā)類信息化項目績效評價機制前，需要對開發(fā)類信息化項目及其績效管理中普遍存在的問題進行梳理。本文對國內(nèi)實務界的相關研究進行了整理，可發(fā)現(xiàn)，當前我國開發(fā)類信息化項目績效管理主要存在如下問題。

（一）信息化項目建設事前統(tǒng)籌不足

信息化項目開發(fā)建設周期長、投入大，需要以服務于單位發(fā)展戰(zhàn)略目標為導向，做好前期整體設計規(guī)劃。受項目前期準備時間、項目建設部門專業(yè)水平、政策變化等因素影響，信息化項目建設易出現(xiàn)事前統(tǒng)籌不足的問題，主要表現(xiàn)在：進度管理不力導致無法按照項目計劃的時間進度完成，開發(fā)進度落后于工作需要的迭代，甚至出現(xiàn)項目完成時其所使用的技術已經(jīng)過時；系統(tǒng)開發(fā)未預留足夠的整合空間導致系統(tǒng)補丁化、模塊碎片化現(xiàn)象突出；系統(tǒng)開發(fā)大而全導致投入巨大而部分模塊利用率低下。

（二）信息化項目管理重投入、輕績效

信息化項目管理應形成立項管理、過程管理、驗收管理的完整鏈條。實踐中，各單位對立項管理相對比較重視，對過程管理、驗收管理往往缺乏有力舉措，因項目急于上馬、專業(yè)人員儲備不足等原因，易導致以下問題：因本單位專業(yè)人員有限，項目開發(fā)過度依賴外部單位，導致項目實現(xiàn)功能與單位預期存在落差；項目驗收未全面對照采購需求和合同約定，項目存在漏洞風險仍驗收通過，導致后續(xù)補救返工陷入被動；項目正式投產(chǎn)后缺乏跟進評價，系統(tǒng)低效運轉甚至以二期工程“卷土重來”。

（三）績效管理與項目建設存在進度費用脫節(jié)、周期錯配等問題

項目實施部門與財務部門應在“進度—費用—成效”中形成績效管理的聯(lián)動。實務中，項目實施部門往往僅關注項目進度，覺得涉及費用的問題應歸屬于財務部門；財務部門更多關注項目的年度預算執(zhí)行率，忽視項目各階段的費用情況，易導致項目的進度與費用脫節(jié)。另外，信息化項目的周期較長，多為跨預算年度實施，績效管理的普遍做法是按照一套評價指標以預算年度為周期開展績效監(jiān)控和評價，如用戶滿意度等指標，在系統(tǒng)未投產(chǎn)前無法用于評價，上述的周期錯配易導致績效評價失效。

四、金融基礎設施開發(fā)類信息化項目績效評價探究

（一）評價主體

當前我國金融基礎設施分屬不同監(jiān)管部門主管和監(jiān)管，多數(shù)金融基礎設施建設以政府為主導，在治理機制、考核方式等方面具有較濃厚的行政色彩?；诖耍畔⒒椖康目冃гu價更適宜采取自下而上的方式，由建設和運營單位自行開展，并接受上級主管部門的監(jiān)督和管理。

（二）評價指標

1.評價指標設計

結合金融基礎設施建設特點，評價指標設計應遵循以下原則。

一是系統(tǒng)性原則?？冃гu價需覆蓋從立項、實施到產(chǎn)出、發(fā)展的各個階段，且各階段指標應相互銜接又互不牽制，績效評價指標應定量定性相結合，多維度反映績效目標實現(xiàn)程度。

二是相關性原則?？冃гu價指標應當與評價對象直接相關，存在因果關系。

三是可操作性原則?，F(xiàn)階段績效評價主要依賴本單位內(nèi)部人員，績效評價指標應通俗易懂、具體明確，評價所需數(shù)據(jù)與佐證資料的獲得應考慮現(xiàn)實條件，同時應選取最具代表性、最能恰當反映產(chǎn)出和效果的績效指標，確?？冃гu價工作高效推進。

基于上述原則，本文按照公共部門生產(chǎn)鏈框架模型，將金融基礎設施開發(fā)類信息化項目建設劃分為立項、實施、產(chǎn)出、發(fā)展4個階段，共設計了33個績效評價指標（見表1）。對績效評價指標實行動態(tài)調(diào)整管理，不同指標適用于事前績效評價、事中績效監(jiān)控、事后整體績效評價3種情形。

表1 績效評價指標體系

續(xù)表

續(xù)表

（1）項目立項

為避免事前統(tǒng)籌不足，績效評價的首要環(huán)節(jié)是要做實、做細事前績效評價，重點對項目立項的必要性、可行性、預算合理性進行評價。本階段共設7個指標，包括項目必要性、項目可行性、目標明確性、預算合理性、績效目標合理性、實施計劃完備性、立項程序規(guī)范性。7個指標納入事前績效評價和事后整體績效評價。

（2）項目實施

金融基礎設施開發(fā)類信息化項目建設周期長、投資大、建設難度高，持續(xù)做好實施階段的績效管理是規(guī)避進度慢、超預算、質量低等問題的有效手段。項目實施可細化為準備階段和執(zhí)行階段，共設8個指標。

準備階段重點對項目需求和采購執(zhí)行進行評價，共設3個指標，分別是需求的完整性、科學性、合理性，采購程序的規(guī)范性，總體技術方案、工程實施方案的合理性，均納入事后整體績效評價。

執(zhí)行階段通常包括軟硬件平臺搭建、軟件開發(fā)、業(yè)務測試、技術測試、第三方測試、集成部署、業(yè)務培訓、技術培訓、試運行、投產(chǎn)、推廣實施11個步驟。執(zhí)行階段的績效管理重在及時糾偏，共設5個指標，從進度、預算、質量、風險4個維度開展，其中進度、預算、質量和風險控制4個指標納入事中績效監(jiān)控和事后整體績效評價，實施程序規(guī)范性納入事后整體績效評價。

（3）項目產(chǎn)出

產(chǎn)出階段的績效評價重點評價項目的經(jīng)濟效益和社會效益，金融基礎設施建設項目的社會效益更為凸顯?？紤]到開發(fā)類項目的社會效益具有顯著的延遲性，這個階段的績效評價在項目運行一年后開展，共設產(chǎn)出指標13個，包括操作界面友好性滿意度、系統(tǒng)運行平穩(wěn)性滿意度、系統(tǒng)功能滿意度、業(yè)務集成能力、系統(tǒng)集成能力、系統(tǒng)功能實現(xiàn)率、用戶并發(fā)量、系統(tǒng)故障時長、培訓率、系統(tǒng)模塊使用率、系統(tǒng)覆蓋率、數(shù)據(jù)備份完整性、系統(tǒng)安全性。

（4）項目發(fā)展

項目發(fā)展能力是信息化項目績效評價的重要內(nèi)容。本文設計了可維護性、可擴充性、組織保障能力、廠商質量、項目維護經(jīng)濟性5個發(fā)展能力指標，納入事后整體績效評價。

2.評價指標權重

評價指標權重設置的合理性將直接影響評價結果的合理性。層次分析法具有定量與定性相結合、簡便實用等優(yōu)點，可較好地解決評價指標權重設置問題。層次分析法由T.L.Saaty在20世紀70年代初提出，基本原理是將復雜問題中各種因素通過劃分為相互聯(lián)系的有序層次，通過兩兩比較將一層次元素的重要性進行定量描述，利用數(shù)學方法計算反映每一層次元素的相對重要性次序的權值，通過所有層次之間的總排序計算所有元素的相對權重并進行排序。本文以立項環(huán)節(jié)的7個指標舉例，分析層次分析法應用于評價指標權重設置的方法。

（1）建立遞階層次結構

第一步是建立評價指標的有序層級，上層指標支配下層指標，形成遞階層次，同一層中的各個指標相互獨立。金融基礎設施開發(fā)類信息化項目評價指標分為兩個層級：上層是按照項目生命周期設置的項目立項、項目實施、項目產(chǎn)出、項目發(fā)展4個一級指標；下層是歸屬于不同階段的二級指標，如項目立項下的二級指標包括項目必要性、項目可行性、目標明確性、預算合理性、績效目標合理性、實施計劃完備性、立項程序規(guī)范性。

（2）構造判斷矩陣

第二步是對上層的4個一級指標，以及一級指標下各二級指標進行兩兩比較，構造判斷矩陣。結合T.L.Saaty提出的標度方法（見表2），可通過邀請內(nèi)外部專家填寫調(diào)查問卷的方式得出判斷矩陣。在填寫問卷過程中，應注意邏輯一致性，如果A比B重要，B比C重要，在比較A與C時，A應該比C重要。判斷矩陣構建完畢后，每個單元格縱向歸一計算，再橫向求和得出每行行和，將橫向求和結果再次歸一化處理，得出每個特征向量的權重（W）。以項目立項階段的7個二級指標為例，判斷矩陣及列向量歸一化結果見表3。

表2 判斷矩陣標度方法（因素i與因素j比較）

表3 項目立項階段二級指標判斷矩陣

（3）一致性檢驗

在層次分析法應用中，因評價專家存在主觀不確定等因素，特別是當同層級指標較多時，評價容易陷入矛盾和混亂狀態(tài)，從而導致結果可信度降低。因此，有必要進行一致性檢驗，確定判斷矩陣結果是否可以接受。如果一致性檢驗通過，第二步計算的特征向量權重就是每個指標的權重值。一致性檢驗具體步驟如下。

①構建AW矩陣，將判斷矩陣每一行乘以特征向量列，得出AW矩陣值；

③計算一致性指標（Consistency Index，CI），CI=；

④查找相應的平均隨機一致性指標（Random Consistency Index，RI）。對于n＜15的低階判斷矩陣，RI可以直接查找T.L.Saaty(2008)給出的RI值；對于高階判斷矩陣，本文采用洪志國等（2002）的研究成果。隨機一致性指標值見表4。

表4 隨機一致性指標值

⑤計算一致性比率（Consistent Ratio，CR）,。當CR小于0.10時，即認為判斷矩陣具有滿意的一致性，否則需要調(diào)整判斷矩陣。

經(jīng)一致性驗證，項目立項環(huán)節(jié)的判斷矩陣CR為0.05，小于0.10，該判斷矩陣結果可接受，各指標特征向量權重就是每個指標的權重值。

（三）評價模型

本文采用模糊綜合評價法來解決定性評價量化的問題。模糊綜合評價法是一種基于模糊數(shù)學的綜合評價方法，根據(jù)模糊數(shù)學的隸屬度理論把定性評價轉化為定量評價，即用模糊數(shù)學對受到多種因素制約的事物或者對象做出一個總體的評價，具體步驟如下。

1.建立評價指標集

2.建立評價等級集

采用五梯度標準，將各評價指標的績效水平劃分為非常好、好、一般、較差、差，評價等級集表示為=｛非常好,好,一般,較差,差｝,各等級對應的測量標度為=｛5,4,3,2,1｝。對定量指標，得分90分以上判定為非常好，80～90分的判定為好，70～80分判定為一般，60～70分判定為較差，60分以下判定為差。

3.進行單因素評價

單因素評價以專家打分結果為基礎，建立各層指標的模糊隸屬度矩陣R。

4.綜合評價

將各指標層的模糊隸屬度矩陣與指標權重相乘得到綜合評定向量S，S是所有評價指標屬于某個評價等級的加權數(shù)之和，是所有專家綜合評價的結果。以項目立項為例，其綜合評定向量為（0.44,0.32,0.22,0.02,0），綜合評價得分為4.17（見表5）。

表5 項目立項階段綜合評分

（四）評價結果應用

我國理論界和實務界對績效評價結果的應用主要有兩方面的建議：一是完善績效評價結果與干部培養(yǎng)選拔、薪酬待遇和行政問責掛鉤的考核辦法（呂俠，2013）；二是在預算執(zhí)行階段放松投入控制，允許在預算限額內(nèi)圍繞績效目標靈活統(tǒng)籌資金（茍燕楠，2013）。

金融基礎設施建設單位的內(nèi)部管理更接近于行政單位，績效評價作為發(fā)現(xiàn)問題的有效手段和改進問題的重要依據(jù)，其結果更多應用于提供決策支撐，同時有效提升項目管理水平?；诖?，文本將金融基礎設施開發(fā)類信息化項目的績效評價細分為事前、事中、事后3個階段，不同階段應用不同的績效評價指標，評價結果以評價報告、信息化項目儀表盤、打分表等不同形式展現(xiàn)，不同階段的評價結果有著不同的應用。

1.事前績效評價

事前績效評價重點解決項目事前統(tǒng)籌不足的問題，重點圍繞7個評價指標開展，評價結果將作為建設單位決策機構集體審議項目立項和預算安排的重要參考。本階段的績效評價可由第三方機構獨立開展，也可組織績效評價小組進行評價，必要時可邀請外部專家參與。

2.事中績效監(jiān)控

事中績效監(jiān)控重點解決超計劃、超預算、質量低等問題，重在及時發(fā)現(xiàn)問題、解決問題。事中績效監(jiān)控自項目立項后每半年開展一次，從進度、預算、質量和風險控制4個維度開展，以信息化項目儀表盤的方式在單位內(nèi)部展示。信息化項目儀表盤主要包括項目名稱、開始時間、預計完成時間、總投資、建設目標、項目負責人、預算執(zhí)行進度、項目實施進度、風險控制重大事件等內(nèi)容。

為提高管理效率，若項目進度符合計劃安排，信息化項目儀表盤以項目實施部門自評估為基礎，績效評價小組復核后發(fā)布。對預算進度、實施進度未達成預定目標的，績效評價小組提請項目歸口管理部門啟動督辦程序，具體如下：項目進度延遲超過實施計劃50%或項目執(zhí)行預算超過本階段預算50%的，以會議形式討論解決方案，項目負責人（服務商不參與）參會，必要時邀請外部專家參與，形成解決方案，解決方案落實情況納入信息化項目儀表盤；項目超過6個月無任何進展的，項目暫停；項目立項之日起1年內(nèi)未能開始實施的，項目自行撤銷。

3.事后整體績效評價

為全面評價項目績效，項目投產(chǎn)一年后開展事后整體績效評價。事后整體績效評價結果以打分表的形式展現(xiàn)，評價結果將作為項目實施部門績效考核的重要參考，也將作為信息化項目后期投入或二期立項的重要依據(jù)，評價過程發(fā)現(xiàn)的問題要形成信息化項目管理備忘錄。事后整體績效評價由項目實施部門開展自評、績效評價小組開展評價的方式進行，必要時可邀請第三方機構或外部專家參與。

五、總結

本文對金融基礎設施建設單位開展開發(fā)類信息化項目績效評價提供了具體的工作思路和評價方法，設計了33個績效評價指標分別應用于3個評價階段。各金融基礎設施建設單位需結合自身管理實際、項目實際，對績效評價指標體系進行個性化完善。結合金融基礎設施項目建設特點，本文就開發(fā)類信息化項目績效評價工作的要點總結如下。

一是堅持全周期管理。開發(fā)類信息化項目的建設周期較長，如果采用傳統(tǒng)的事后評價為主、事中監(jiān)控為輔的管理方式，往往會陷入管理被動。建設單位應積極將全生命周期管理理念融入績效評價工作中來，在項目立項、實施、產(chǎn)出和發(fā)展全過程，以績效評價為抓手、為引導，有效提升項目管理水平。全周期管理的難點是實現(xiàn)績效管理前移，需要單位領導層、建設部門、需求部門、財務部門形成共識，在立項階段讓績效評價結果有話語權，在實施階段讓績效監(jiān)督發(fā)揮實效。

二是善于劃階段管理。績效評價的指標選取和結果應用最終服務于單位的管理目標。開發(fā)類信息化項目在事前、事中和事后各個階段的管理目標不盡相同，績效評價也應相應細化為事前績效評價、事中績效監(jiān)控和事后整體績效評價。每個階段的評價指標和評價結果應用都應結合實際、突出重點，提高績效評價的針對性和有效性，不能一套指標走到底，更不能將績效評價簡單等同為一張打分表。