一種企業(yè)主數(shù)據(jù)管理解決方案

張慶榮 顧薇

摘要：該文通過(guò)對(duì)施工類企業(yè)信息化應(yīng)用及架構(gòu)的分析，得出這類企業(yè)管理的幾種主數(shù)據(jù)管理類型，然后結(jié)合企業(yè)的信息化整體架構(gòu)方案，得出實(shí)現(xiàn)主數(shù)據(jù)管理的一種折中方案，輔助實(shí)現(xiàn)企業(yè)范圍內(nèi)的主數(shù)據(jù)統(tǒng)一管理。

關(guān)鍵字：主數(shù)據(jù);管理方案;企業(yè)信息化;

1簡(jiǎn)介

企業(yè)主數(shù)據(jù)是用來(lái)描述企業(yè)核心業(yè)務(wù)實(shí)體的數(shù)據(jù)，它是具有高業(yè)務(wù)價(jià)值的、在企業(yè)范圍的各個(gè)應(yīng)用系統(tǒng)間跨業(yè)務(wù)系統(tǒng)、跨業(yè)務(wù)部門被重復(fù)使用的數(shù)據(jù)，并且存在于多個(gè)應(yīng)用系統(tǒng)中。施工類企業(yè)的主數(shù)據(jù)類別包括很多方面，例如：公司的組織架構(gòu)數(shù)據(jù)、人員數(shù)據(jù)產(chǎn)生于人力資源系統(tǒng);財(cái)務(wù)科目體系數(shù)據(jù)存在于財(cái)務(wù)系統(tǒng);供應(yīng)商信息存在于供應(yīng)鏈系統(tǒng);客戶信息會(huì)存在于客戶管理系統(tǒng);物料信息會(huì)存在與企業(yè)ERP系統(tǒng)。對(duì)于某一個(gè)具體的業(yè)務(wù)部門，其既可能產(chǎn)生主數(shù)據(jù)，也要利用到很多不同方面的主數(shù)據(jù)。這樣就必須對(duì)主數(shù)據(jù)進(jìn)行適當(dāng)?shù)墓芾恚员Ｕ细鱾€(gè)口徑的數(shù)據(jù)一致。

主數(shù)據(jù)管理要通過(guò)一組規(guī)程、技術(shù)和解決方案，來(lái)實(shí)現(xiàn)創(chuàng)建并維護(hù)業(yè)務(wù)數(shù)據(jù)的一致性、完整性、相關(guān)性和精確性。主數(shù)據(jù)管理平臺(tái)系統(tǒng)提供了一種相對(duì)集中的解決方法，使企業(yè)的各個(gè)系統(tǒng)產(chǎn)生的主數(shù)據(jù)能夠有效地管理，并保證各個(gè)需要利用主數(shù)據(jù)的系統(tǒng)中主數(shù)據(jù)的完整、準(zhǔn)確性、唯一性。

主數(shù)據(jù)管理平臺(tái)要利用企業(yè)當(dāng)前存在的業(yè)務(wù)系統(tǒng)中的主數(shù)據(jù)，并跟蹤其產(chǎn)生、變更過(guò)程，準(zhǔn)確傳遞到需要使用這些主數(shù)據(jù)的其他業(yè)務(wù)系統(tǒng)。

2施工類企業(yè)的數(shù)據(jù)架構(gòu)方案

數(shù)據(jù)架構(gòu)是企業(yè)IT架構(gòu)的核心，信息系統(tǒng)存在的核心價(jià)值也是反映在系統(tǒng)的數(shù)據(jù)和流程中，而本質(zhì)上，流程也是一種數(shù)據(jù)。只有數(shù)據(jù)架構(gòu)對(duì)企業(yè)業(yè)務(wù)的支持正常運(yùn)作，上層的應(yīng)用架構(gòu)才能部署實(shí)施方便快捷。根據(jù)我們?cè)谀呈┕て髽I(yè)的數(shù)據(jù)集成平臺(tái)項(xiàng)目實(shí)施中數(shù)據(jù)架構(gòu)方案的規(guī)劃，通過(guò)完善，得出可以通用的企業(yè)數(shù)據(jù)架構(gòu)方案。

該數(shù)據(jù)架構(gòu)邏輯體現(xiàn)出了數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)流程的管理過(guò)程，即首先根據(jù)企業(yè)的業(yè)務(wù)板塊構(gòu)建業(yè)務(wù)架構(gòu)，之后分析定義數(shù)據(jù)架構(gòu)，其次根據(jù)數(shù)據(jù)架構(gòu)結(jié)合業(yè)務(wù)功能定義應(yīng)用架構(gòu)，再次根據(jù)數(shù)據(jù)架構(gòu)與應(yīng)用架構(gòu)的定義，來(lái)設(shè)計(jì)技術(shù)架構(gòu)。

3主數(shù)據(jù)管理方案

主數(shù)據(jù)管理要解決3個(gè)問(wèn)題，才能真正做好企業(yè)的核心關(guān)鍵數(shù)據(jù)的準(zhǔn)確維護(hù)管理：一是在企業(yè)整體層面上規(guī)劃分析哪些核心實(shí)體數(shù)據(jù)列入主數(shù)據(jù)管理范圍，整合該主數(shù)據(jù)中可能分布在不同業(yè)務(wù)上的主數(shù)據(jù)信息進(jìn)行豐富完善;二是可以通過(guò)主數(shù)據(jù)管理平臺(tái)將主數(shù)據(jù)實(shí)現(xiàn)共享，所有需要利用該數(shù)據(jù)的系統(tǒng)，使之構(gòu)建一系列以主數(shù)據(jù)管理平臺(tái)為中心的業(yè)務(wù)流程和服務(wù);三是實(shí)現(xiàn)主數(shù)據(jù)的源端和使用端有一致的、通用的主數(shù)據(jù)形式，加速數(shù)據(jù)輸入、利用、檢索和分析。

主數(shù)據(jù)從產(chǎn)生到利用的管理方案

由于主數(shù)據(jù)關(guān)聯(lián)的應(yīng)用系統(tǒng)需要使用這些數(shù)據(jù)，這樣在源系統(tǒng)、主數(shù)據(jù)平臺(tái)和目的系統(tǒng)之間就存在一種數(shù)據(jù)的產(chǎn)生和使用的流程，這關(guān)系到主數(shù)據(jù)的使用效率。我們通過(guò)自身的應(yīng)用系統(tǒng)，總結(jié)了3種主數(shù)據(jù)的從產(chǎn)生到應(yīng)用的流程，如圖 1、圖 2、圖 3的方案1到3。

方案1中企業(yè)范圍內(nèi)的所有主數(shù)據(jù)都從主數(shù)據(jù)平臺(tái)產(chǎn)生，保證了主數(shù)據(jù)在所有應(yīng)用系統(tǒng)間的唯一和準(zhǔn)確性，一次產(chǎn)生，永久利用;但是這個(gè)方案帶來(lái)的問(wèn)題就是系統(tǒng)的效率降低，工作量集中到了主數(shù)據(jù)平臺(tái)的數(shù)據(jù)管理員身上，造成單點(diǎn)的系統(tǒng)瓶頸，同時(shí)系統(tǒng)的改造成本增加，特別是已有系統(tǒng)存在多年的情況下比較難實(shí)施。

方案2中企業(yè)的主數(shù)據(jù)仍然在源應(yīng)用系統(tǒng)產(chǎn)生，之后進(jìn)入主數(shù)據(jù)管理平臺(tái)進(jìn)行主數(shù)據(jù)的規(guī)范性審核，完成審核后再分發(fā)回源應(yīng)用系統(tǒng)和其他需要使用這個(gè)數(shù)據(jù)的應(yīng)用系統(tǒng)。其特點(diǎn)是主數(shù)據(jù)平臺(tái)只負(fù)責(zé)主數(shù)據(jù)的規(guī)范性審核，不參與主數(shù)據(jù)的產(chǎn)生，減少了主數(shù)據(jù)管理員的工作，同時(shí)系統(tǒng)效率較高;但是源系統(tǒng)必須等這個(gè)主數(shù)據(jù)經(jīng)過(guò)主數(shù)據(jù)平臺(tái)審核完成后才能進(jìn)行本系統(tǒng)后續(xù)的利用，造成了事務(wù)處理的不連續(xù)性，好處仍然是各系統(tǒng)間主數(shù)據(jù)的唯一性和同步性。

方案3中主數(shù)據(jù)由源應(yīng)用系統(tǒng)產(chǎn)生，之后進(jìn)入主數(shù)據(jù)平臺(tái)進(jìn)行審核，同時(shí)該主數(shù)據(jù)也在本應(yīng)用系統(tǒng)中進(jìn)行后續(xù)的使用工作;在主數(shù)據(jù)平臺(tái)審核完成后分發(fā)到各個(gè)其他需要利用此主數(shù)據(jù)的應(yīng)用系統(tǒng)。該方案的特點(diǎn)是，在源應(yīng)用系統(tǒng)中，不需要等待主數(shù)據(jù)經(jīng)過(guò)主數(shù)據(jù)平臺(tái)的審核完畢就可以進(jìn)行后續(xù)的操作工作，但是帶來(lái)的問(wèn)題就是某些個(gè)別的審核未通過(guò)的主數(shù)據(jù)在源系統(tǒng)已經(jīng)使用，需要源系統(tǒng)的數(shù)據(jù)錄入者重新修改與此主數(shù)據(jù)相關(guān)的記錄;由于其他使用此主數(shù)據(jù)的系統(tǒng)使用的是經(jīng)過(guò)正式審核過(guò)的源系統(tǒng)的主數(shù)據(jù)，不存在此問(wèn)題。這樣在提高源系統(tǒng)端系統(tǒng)流程效率的同時(shí)，將較少發(fā)生的主數(shù)據(jù)不規(guī)范性問(wèn)題封閉在源系統(tǒng)內(nèi)部，不造成關(guān)聯(lián)的影響，提高了源系統(tǒng)端的工作人員處理事務(wù)的連續(xù)性。

主數(shù)據(jù)管理存儲(chǔ)方案

主數(shù)據(jù)的存儲(chǔ)管理分為四個(gè)階段，如圖 4。

外部數(shù)據(jù)區(qū)：主數(shù)據(jù)來(lái)源系統(tǒng)的主數(shù)據(jù)存放在此區(qū)，是來(lái)自于多源數(shù)據(jù)庫(kù)。

接口數(shù)據(jù)區(qū)：接口數(shù)據(jù)區(qū)的存在目的是為了備份外部數(shù)據(jù)區(qū)采集過(guò)來(lái)的貼源數(shù)據(jù)，方便與源系統(tǒng)數(shù)據(jù)的核查與后續(xù)流程的重復(fù)處理。

中間數(shù)據(jù)區(qū)：外部數(shù)據(jù)被獲取后，需要進(jìn)行清洗、匹配及這些過(guò)程的歷史管理，這些數(shù)據(jù)處理過(guò)程都在中間數(shù)據(jù)區(qū)中完成;這個(gè)階段保證數(shù)據(jù)能夠以原有的格式進(jìn)行清洗與匹配，減少與外部數(shù)據(jù)的格式差異帶來(lái)的核查困難。

基礎(chǔ)數(shù)據(jù)區(qū)：基礎(chǔ)數(shù)據(jù)區(qū)用以存儲(chǔ)最終的準(zhǔn)確版本的主數(shù)據(jù)?；A(chǔ)數(shù)據(jù)區(qū)中的數(shù)據(jù)是經(jīng)過(guò)數(shù)據(jù)質(zhì)量管理過(guò)程而獲取到的，并從中間數(shù)據(jù)區(qū)裝載到基礎(chǔ)數(shù)據(jù)區(qū)的。對(duì)外部需要使用主數(shù)據(jù)的應(yīng)用系統(tǒng)提供的最終版本的主數(shù)據(jù)，就是由基礎(chǔ)數(shù)據(jù)區(qū)通過(guò)數(shù)據(jù)集成工具來(lái)實(shí)現(xiàn)的。

在實(shí)際實(shí)施時(shí)，我們通過(guò)在源應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù)服務(wù)器上部署Oracle的Goldengate，實(shí)現(xiàn)數(shù)據(jù)庫(kù)的實(shí)時(shí)同步，將這些同步過(guò)來(lái)的數(shù)據(jù)放入運(yùn)行數(shù)據(jù)存儲(chǔ)庫(kù)，如果是主數(shù)據(jù)則進(jìn)入主數(shù)據(jù)平臺(tái)進(jìn)行相關(guān)的處理;完成清洗、匹配等過(guò)程后，以主數(shù)據(jù)服務(wù)的方式，將其推送到數(shù)據(jù)總線上;需要使用主數(shù)據(jù)的應(yīng)用系統(tǒng)通過(guò)訂閱主數(shù)據(jù)服務(wù)，在總線上檢測(cè)到該事件，則獲取這個(gè)服務(wù)數(shù)據(jù)。比如，人力資源系統(tǒng)的組織架構(gòu)信息主數(shù)據(jù)的產(chǎn)生到利用的過(guò)程在整個(gè)主數(shù)據(jù)管理平臺(tái)上的信息流如圖 5中的黑色粗線條所示。

另外，主數(shù)據(jù)管理平臺(tái)上還要實(shí)現(xiàn)主數(shù)據(jù)的檢索、更新和分發(fā)數(shù)據(jù)服務(wù)，通過(guò)使用經(jīng)過(guò)授權(quán)的流程來(lái)創(chuàng)建、定義和同步主數(shù)據(jù)來(lái)支持協(xié)作用途。

通過(guò)以上介紹的主數(shù)據(jù)管理的解決方案，在滿足當(dāng)前企業(yè)信息化架構(gòu)普遍采用SOA架構(gòu)體系的同時(shí)，保證了各個(gè)主數(shù)據(jù)從產(chǎn)生到利用的流程效率和連續(xù)性，同時(shí)提高了數(shù)據(jù)分發(fā)和利用的及時(shí)性，可以用較少的成本實(shí)現(xiàn)方便的主數(shù)據(jù)管理。