基于數(shù)據(jù)倉的監(jiān)報表系統(tǒng)研究

■ 福建 林名濤

編者按：隨著國內(nèi)經(jīng)濟的快速發(fā)展，金融業(yè)改革不斷深入，金融監(jiān)管日趨嚴(yán)格，手段更加多樣化，科技監(jiān)管、自動監(jiān)管將成為新趨勢。因此，為減輕統(tǒng)計負(fù)擔(dān)和提高報送質(zhì)量，規(guī)劃建設(shè)統(tǒng)一的監(jiān)管報表系統(tǒng)已成為金融機構(gòu)信息化進程中一項重要任務(wù)。本文將探討基于數(shù)據(jù)倉的監(jiān)管報表系統(tǒng)，幫助企業(yè)進行數(shù)據(jù)標(biāo)準(zhǔn)化建設(shè)。

下面筆者基于數(shù)據(jù)倉技術(shù)進行深入探討。

系統(tǒng)建設(shè)目標(biāo)

1.存在的問題

財務(wù)公司為一家非銀行金融機構(gòu)，大量的業(yè)務(wù)數(shù)據(jù)零散的分布在各業(yè)務(wù)子系統(tǒng)，數(shù)據(jù)元不足，數(shù)據(jù)內(nèi)容與格式不統(tǒng)一，數(shù)據(jù)質(zhì)量參差不齊，甚至出現(xiàn)重復(fù)相矛盾的數(shù)據(jù)。數(shù)據(jù)的不規(guī)范、不標(biāo)準(zhǔn)，使得難以對業(yè)務(wù)數(shù)據(jù)進行快速有效的分析和利用，無法實現(xiàn)監(jiān)管報表信息化、自動化，無法滿足監(jiān)管的要求。

2.系統(tǒng)建設(shè)目標(biāo)

采用先進的技術(shù)架構(gòu)以及成熟的工具產(chǎn)品建立統(tǒng)一監(jiān)管報表系統(tǒng)，要求報表系統(tǒng)能自動對各業(yè)務(wù)系統(tǒng)數(shù)據(jù)進行有效匯聚，對數(shù)據(jù)進行篩選、抽取、清理轉(zhuǎn)換，并根據(jù)各業(yè)務(wù)主題的需求進行歸類、整理，形成規(guī)范化、標(biāo)準(zhǔn)化的數(shù)據(jù)子集，以滿足監(jiān)管指標(biāo)統(tǒng)計的要求。系統(tǒng)覆蓋各類監(jiān)管報送品種（1104 報表、人行大集中報表、金融基礎(chǔ)數(shù)據(jù)統(tǒng)計、利率報備報表以及各種自定義報表），實現(xiàn)監(jiān)管報表數(shù)據(jù)自動化、管理信息化，極大地提高報表數(shù)據(jù)質(zhì)量和效率，有效減輕統(tǒng)計人員的工作量。

系統(tǒng)規(guī)劃設(shè)計

1.設(shè) 計思路

1991 年比爾·恩門（Bill Inmon）出版的“Building the Data Warehouse”（《建立數(shù)據(jù)倉庫》）一書中首次提出數(shù)據(jù)倉庫的概念。數(shù)據(jù)倉庫就是面向主題的、集成的、不可更新的（穩(wěn)定性）、隨時間不斷變化（不同時間）的數(shù)據(jù)集合，用以支持經(jīng)營管理中的決策制定出過程。數(shù)據(jù)倉庫技術(shù)就是對現(xiàn)有大量存在的數(shù)據(jù)進行整理、清洗、加工、歸類，形成標(biāo)準(zhǔn)化、規(guī)范化、高質(zhì)量的數(shù)據(jù)，供企業(yè)決策分析之用。數(shù)據(jù)倉庫的基本邏輯架構(gòu)如圖1所示。

圖1 數(shù)據(jù)倉的基本邏輯架構(gòu)

ODS 層：是作為數(shù)據(jù)庫到數(shù)據(jù)倉庫的一種過渡，暫存從業(yè)務(wù)系統(tǒng)抽取的源數(shù)據(jù)，這些源數(shù)據(jù)從結(jié)構(gòu)和數(shù)據(jù)上與業(yè)務(wù)系統(tǒng)保持一致，是后續(xù)數(shù)據(jù)倉數(shù)據(jù)加工的基礎(chǔ)。

DW 層：數(shù)據(jù)存儲集合體，按照一定的主題域?qū)DS 層數(shù)據(jù)進行清洗、加工、轉(zhuǎn)換、歸類而生成的數(shù)據(jù)集。數(shù)據(jù)倉庫記錄的是歷史變化數(shù)據(jù)，是分析和決策的數(shù)據(jù)來源地。

DM 層：數(shù)據(jù)集市，為了特定的應(yīng)用目的或應(yīng)用范圍，而從數(shù)據(jù)倉庫中獨立出來的一部分?jǐn)?shù)據(jù)，也可稱為部門數(shù)據(jù)。一個應(yīng)用可以裝配一個自己的數(shù)據(jù)集市。

圖2 數(shù)據(jù)倉的系統(tǒng)設(shè)計架構(gòu)

數(shù)據(jù)倉技術(shù)如CT 掃描一樣，按一定的時間間隔對數(shù)據(jù)源掃描抽數(shù)，形成源數(shù)據(jù)。利用數(shù)據(jù)倉庫技術(shù)建立統(tǒng)一的監(jiān)管報表系統(tǒng)，數(shù)據(jù)來源具有原始性、及時性、準(zhǔn)確性，數(shù)據(jù)倉的數(shù)據(jù)處理方式又保證了數(shù)據(jù)的靈活性、統(tǒng)一性、規(guī)范性，從而為監(jiān)管報表的數(shù)據(jù)生成提供強有力的保障。

2.系統(tǒng)架構(gòu)

（1）邏輯架構(gòu)

系統(tǒng)設(shè)計按照J(rèn)2EE 規(guī)范標(biāo)準(zhǔn)，采用JavaEE 框架以及B/S 架構(gòu)，用戶通過瀏覽器訪問系統(tǒng)，客戶端實現(xiàn)零管理。系統(tǒng)分為數(shù)據(jù)采集層、數(shù)據(jù)處理層和數(shù)據(jù)展示層，采用多層體系架構(gòu)設(shè)計，各層相互獨立、靈活拓展，又緊密聯(lián)系、良好協(xié)同，實現(xiàn)整體效率的最大化，確保系統(tǒng)安全穩(wěn)定運行，如圖2 所示。

①數(shù)據(jù)采集層（ODS+DW）

通過批量采集方式，從業(yè)務(wù)系統(tǒng)（客戶信息系統(tǒng)、結(jié)算系統(tǒng)、信貸系統(tǒng)、票據(jù)系統(tǒng)等）中采集最基礎(chǔ)的業(yè)務(wù)數(shù)據(jù)，并提供系統(tǒng)外數(shù)據(jù)的采集服務(wù)和管理，并按一定的數(shù)據(jù)模型、數(shù)據(jù)規(guī)范對數(shù)據(jù)源進行清洗、加工、轉(zhuǎn)換、歸類，形成規(guī)范的數(shù)據(jù)集。

②數(shù)據(jù)處理層（DM）

按特定的應(yīng)用目的或監(jiān)管范圍，對數(shù)據(jù)集的數(shù)據(jù)進行裝配，形成特定目的的數(shù)據(jù)子集，如1104 報表數(shù)據(jù)子集、存款基礎(chǔ)數(shù)據(jù)子集、貸款基礎(chǔ)數(shù)據(jù)子集等等。

③數(shù)據(jù)展示層（BI）

采用報表展現(xiàn)、圖形展現(xiàn)等方式集中展示各類監(jiān)管數(shù)據(jù)及各類監(jiān)管指標(biāo)。功能包含報表管理、報表設(shè)計、取數(shù)據(jù)公式定義、指標(biāo)分析、報表計算、數(shù)據(jù)補錄、報表的審核、報表上報、報表查詢以及報表的權(quán)限管理等。

（2）物理架構(gòu)

數(shù)據(jù)倉的數(shù)據(jù)都為離線數(shù)據(jù)，通?；诰S度建模理論來構(gòu)建數(shù)據(jù)表，與業(yè)務(wù)系統(tǒng)有較大的區(qū)別，因而數(shù)據(jù)倉一般采用獨立部署模式，建立獨立的數(shù)據(jù)庫服務(wù)器或者獨立的數(shù)據(jù)庫實例，與業(yè)務(wù)系統(tǒng)網(wǎng)絡(luò)可達即可。系統(tǒng)為B/S 架構(gòu)，同時需部署應(yīng)用服務(wù)器和Web 服務(wù)器，應(yīng)用服務(wù)器用于后臺數(shù)據(jù)處理以及按報送要求組裝數(shù)據(jù)；Web 服務(wù)器主要為業(yè)務(wù)人員提供操作頁面服務(wù)，提供圖表展示，如圖3 所示。

圖3 數(shù)據(jù)倉的物理架構(gòu)

3.數(shù)據(jù)治理

系統(tǒng)設(shè)計是否成功，報表取數(shù)是否正確，數(shù)據(jù)質(zhì)量是關(guān)鍵，沒有高質(zhì)量數(shù)據(jù)就如無米之炊、無根之本，要保證數(shù)據(jù)質(zhì)量必須對業(yè)務(wù)數(shù)據(jù)開展數(shù)據(jù)治理。數(shù)據(jù)治理就是制定和實施系統(tǒng)化的制度、流程和方法，確保數(shù)據(jù)統(tǒng)一管理、高效運行，并在經(jīng)營管理中充分發(fā)揮價值的動態(tài)過程。銀監(jiān)會出臺的《銀行業(yè)金融機構(gòu)數(shù)據(jù)治理指引》對數(shù)據(jù)治理也提出了明確要求，數(shù)據(jù)治理包含數(shù)據(jù)模型、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)管理以及數(shù)據(jù)安全等等。數(shù)據(jù)質(zhì)量和數(shù)據(jù)標(biāo)準(zhǔn)是數(shù)據(jù)的靈魂，是建立數(shù)據(jù)倉的基礎(chǔ)和關(guān)鍵。

（1）數(shù)據(jù)質(zhì)量

數(shù)據(jù)的質(zhì)量直接體現(xiàn)數(shù)據(jù)的價值，直接影響系統(tǒng)報表數(shù)據(jù)的準(zhǔn)確性以及數(shù)據(jù)分析的結(jié)果，并直接影響監(jiān)管機構(gòu)對金融市場的研判和管理。質(zhì)量不高的數(shù)據(jù)不僅僅是數(shù)據(jù)本身的問題，關(guān)系到系統(tǒng)建設(shè)的成敗。要保證數(shù)據(jù)質(zhì)量必須公司高層高度重視，將數(shù)據(jù)治理納入公司治理統(tǒng)一范疇，自上而下，統(tǒng)一協(xié)調(diào)行動，明確各業(yè)務(wù)部門的職責(zé)，加強對數(shù)據(jù)源頭的管控，確保數(shù)據(jù)的準(zhǔn)確性、真實性、完整性、及時性。IT 部門輔以正確的技術(shù)和工具，提高數(shù)據(jù)的自取率，加強對數(shù)據(jù)的及時性、完整性以及準(zhǔn)確性的限制，通過對關(guān)聯(lián)性的數(shù)據(jù)進行校驗和審核，盡可能減少數(shù)據(jù)的不一致性。通過對數(shù)據(jù)進行事前防范、事中校驗、事后監(jiān)控三階段的管控，進一步提高業(yè)務(wù)系統(tǒng)的數(shù)據(jù)質(zhì)量。

（2）數(shù)據(jù)標(biāo)準(zhǔn)

財務(wù)公司信息系統(tǒng)基本涵蓋資金結(jié)算、資金預(yù)算、信貸業(yè)務(wù)、票據(jù)業(yè)務(wù)、賬務(wù)處理、客戶信息管理、反洗錢系統(tǒng)、征信系統(tǒng)、銀企互聯(lián)等子系統(tǒng)，各系統(tǒng)之間的信息有重疊及不一致存在，影響了數(shù)據(jù)質(zhì)量及數(shù)據(jù)共享，因此需要建立全司統(tǒng)一標(biāo)準(zhǔn)化數(shù)據(jù)模型，為數(shù)據(jù)倉提供高質(zhì)量的數(shù)據(jù)元。

中國銀監(jiān)會制定了《銀行業(yè)金融機構(gòu)監(jiān)管數(shù)據(jù)標(biāo)準(zhǔn)化規(guī)范》，明確金融數(shù)據(jù)的業(yè)務(wù)屬性和技術(shù)屬性，將相關(guān)業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)映射成統(tǒng)一的監(jiān)管標(biāo)準(zhǔn)化數(shù)據(jù)格式。參照規(guī)范并根據(jù)財務(wù)公司的業(yè)務(wù)特點，可將財務(wù)公司的業(yè)務(wù)分為8 個主題域，分別為基本信息、資產(chǎn)、負(fù)債、損益、授信/擔(dān)保、中間業(yè)務(wù)、支付清算、財務(wù)信息，并將主題域中的數(shù)據(jù)項抽取出來，對數(shù)據(jù)項進行分類、定義，編制統(tǒng)一的數(shù)據(jù)項名稱及數(shù)據(jù)項代碼，建立規(guī)范的數(shù)據(jù)字典，如圖4 所示。

圖4 8 個主題域

數(shù)據(jù)倉以數(shù)據(jù)字典為基礎(chǔ)，構(gòu)建數(shù)據(jù)倉的數(shù)據(jù)集，建立業(yè)務(wù)數(shù)據(jù)源與數(shù)據(jù)倉數(shù)據(jù)項的映射關(guān)系，并在業(yè)務(wù)數(shù)據(jù)抽取過程中，對數(shù)據(jù)進行清洗和轉(zhuǎn)換，剔除錯誤數(shù)據(jù)，保證數(shù)據(jù)倉中數(shù)據(jù)的正確性和一致性，提升數(shù)據(jù)質(zhì)量。

系統(tǒng)實證

2020 年筆者單位上線了基于數(shù)據(jù)倉的統(tǒng)一監(jiān)管報表系統(tǒng)，系統(tǒng)集成了100 多張監(jiān)管報表。系統(tǒng)每日自動從業(yè)務(wù)系統(tǒng)中抽取T-1 的數(shù)據(jù)，并經(jīng)清洗、加工、轉(zhuǎn)換、分類形成了標(biāo)準(zhǔn)、規(guī)范的數(shù)據(jù)元，給各類報表提供了統(tǒng)一的、規(guī)范的數(shù)據(jù)源。上線以來，基本實現(xiàn)了報表數(shù)據(jù)的自動化、報表留痕、上報審批流、報表格式接口嵌入等功能，達到系統(tǒng)設(shè)計的預(yù)期效果。

結(jié)語

隨著金融行業(yè)改革的不斷深入和金融“強監(jiān)管”時代的來臨，需要報送的報表越來越多，監(jiān)管報表涉及的內(nèi)容將更加廣泛、更加精細(xì)，對業(yè)務(wù)數(shù)據(jù)元的質(zhì)量要求越來越高。數(shù)據(jù)倉技術(shù)只是數(shù)據(jù)的一種處理方式，要保證監(jiān)管報表系統(tǒng)的實用性，需進一步推進企業(yè)級數(shù)據(jù)標(biāo)準(zhǔn)化建設(shè)，加強業(yè)務(wù)數(shù)據(jù)元精細(xì)化規(guī)劃，構(gòu)建數(shù)據(jù)治理的長效機制，提升數(shù)據(jù)質(zhì)量，數(shù)據(jù)源才是監(jiān)管報表系統(tǒng)成功的基石。