江櫻 王志強 戴波 劉鴻寧
【摘要】 本文從國網(wǎng)浙江省電力公司信息化建設(shè)現(xiàn)狀出發(fā),分析了公司數(shù)據(jù)資源現(xiàn)狀,提出通過統(tǒng)一數(shù)據(jù)模型整合數(shù)據(jù)資源,實現(xiàn)跨業(yè)務(wù)數(shù)據(jù)有效貫通和共享融合,并對電力企業(yè)統(tǒng)一數(shù)據(jù)模型的設(shè)計思路、體系結(jié)構(gòu)和設(shè)計方法進行了詳細(xì)闡述。
【關(guān)鍵字】 數(shù)據(jù)模型 數(shù)據(jù)共享 融合 集成
一、引言
經(jīng)過SG-186、SG-ERP等信息化工程的建設(shè),國網(wǎng)浙江省電力公司業(yè)務(wù)信息化日趨完善,形成了ERP、PMS、營銷、協(xié)同辦公等業(yè)務(wù)大集中的信息化管理系統(tǒng),企業(yè)整體信息化水平獲得極大的提高。然而隨著企業(yè)信息化建設(shè)的深入,原有的信息化建設(shè)模式已逐漸顯現(xiàn)出一些不足之處。
由于缺乏企業(yè)級數(shù)據(jù)和應(yīng)用功能的全局整體規(guī)劃和統(tǒng)籌,傳統(tǒng)“煙囪式”的信息化建設(shè)未能完全遵循數(shù)據(jù)模型標(biāo)準(zhǔn),僅按照業(yè)務(wù)需求設(shè)計、創(chuàng)建較為獨立的數(shù)據(jù)存儲模型,導(dǎo)致同一業(yè)務(wù)主題數(shù)據(jù)標(biāo)準(zhǔn)不一致、數(shù)據(jù)重復(fù)存儲,數(shù)據(jù)共享度低。
如何通過企業(yè)級統(tǒng)一數(shù)據(jù)模型有效存儲、融合、共享海量的數(shù)據(jù)資源,是數(shù)據(jù)中心建設(shè)、運行順暢的關(guān)鍵要素之一,也是消除系統(tǒng)間信息壁壘,共享數(shù)據(jù)資源,促進公司管理水平提升的必備基礎(chǔ)。
二、模型設(shè)計原則
充分理解大型企業(yè)統(tǒng)一數(shù)據(jù)模型的需求和背景,為保證模型的穩(wěn)定性和對業(yè)務(wù)支持的靈活性,在模型設(shè)計時主要遵循以下原則:
繼承性原則: 模型設(shè)計以國家電網(wǎng)公司SG-CIM 2014年基準(zhǔn)版為參考,對IEC繼承、擴展和重新組織的方式而成,并依據(jù)浙江公司實際業(yè)務(wù)需求對模型作個性化擴展或調(diào)整;
完整性原則:模型設(shè)計遵循企業(yè)信息化建設(shè)成果,能跨應(yīng)用、跨業(yè)務(wù)完整的表述公司全業(yè)務(wù)范圍數(shù)據(jù)視圖,并能全面支撐公司大數(shù)據(jù)分析與輔助決策;
一致性原則:模型設(shè)計來源于對業(yè)務(wù)的分析,需要指導(dǎo)數(shù)據(jù)持久化的實現(xiàn),應(yīng)保持業(yè)務(wù)需求、數(shù)據(jù)模型和物理實現(xiàn)的一致,減少數(shù)據(jù)的二義性;
前瞻性原則:為適應(yīng)公司業(yè)務(wù)現(xiàn)狀及發(fā)展需要,模型適當(dāng)超前,保證模型設(shè)計的前瞻性,能夠適用公司業(yè)務(wù)的發(fā)展變化;
適用性原則:為保證模型的適用性,將模型與規(guī)則分離,突出模型的業(yè)務(wù)描述,提出規(guī)則點,對規(guī)則本身不做詳盡限制。
三、模型體系結(jié)構(gòu)
概念模型
概念模型是種高層次、高度抽象的數(shù)據(jù)模型,基于對企業(yè)業(yè)務(wù)的分析,抽象出主要業(yè)務(wù)領(lǐng)域及相互關(guān)系。為了使模型更易于設(shè)計、理解與查看,概念模型使用主題域來表達(dá)業(yè)務(wù)范圍及其關(guān)系,直接面向公司各業(yè)務(wù)領(lǐng)域,與職能部門的業(yè)務(wù)分工無關(guān)。各主題域可按照業(yè)務(wù)具體進一步劃分,形成二級主題域,每個二級主題域下包含多個業(yè)務(wù)對象類。在概念模型層面,對業(yè)務(wù)對象進行高度抽象,列出主要業(yè)務(wù)類清單。
邏輯模型
邏輯模型是對概念模型的進一步分解和細(xì)化,需要明確概念模型中業(yè)務(wù)對象類及屬性,需要準(zhǔn)確清晰描述業(yè)務(wù)對象及屬性的業(yè)務(wù)含義,需要通過繼承、聚合、關(guān)聯(lián)等方式反映業(yè)務(wù)對象類之間的關(guān)系,并描述這些關(guān)系的業(yè)務(wù)含義。
物理模型
物理模型是在邏輯模型的基礎(chǔ)上,結(jié)合具體數(shù)據(jù)庫系統(tǒng)特性,考慮信息系統(tǒng)對數(shù)據(jù)存儲的基本要求,把邏輯模型轉(zhuǎn)化為物理模型,在系統(tǒng)層面落地形成可實際使用的數(shù)據(jù)模型。
四、模型設(shè)計方法
基于企業(yè)級統(tǒng)一數(shù)據(jù)模型的設(shè)計原則和體系結(jié)構(gòu),通過制定統(tǒng)一模型設(shè)計技術(shù)規(guī)范,明確數(shù)據(jù)建模工具,統(tǒng)一數(shù)據(jù)建模模板,摸索出一套行之有效的基于大數(shù)據(jù)平臺的企業(yè)級統(tǒng)一數(shù)據(jù)模型設(shè)計方法,包括概念模型、邏輯模型的以及物理模型的設(shè)計。
4.1概念模型設(shè)計方法
概念模型設(shè)計主要包括一級主題域、二級主題域、類的設(shè)計,從業(yè)務(wù)角度清晰闡述一級主題域、二級主題域、類的業(yè)務(wù)含義,從業(yè)務(wù)角度準(zhǔn)確反映一級主題域間、二級主題域間的內(nèi)在聯(lián)系。
一級主題域的設(shè)計:按照電網(wǎng)企業(yè)的業(yè)務(wù)組織形式,對國際標(biāo)準(zhǔn)IEC61968/IEC61970公共信息模型(CIM)的基本類進行重新組織,以類似“元素周期表”的形式進行表示,劃分為13個一級主題域,包括:客戶、產(chǎn)品、市場、設(shè)備、電網(wǎng)、安全、財務(wù)、資產(chǎn)、人員、物資、項目、綜合和金融。并根據(jù)一級主題域之間的業(yè)務(wù)關(guān)系形成一級主題域關(guān)系視圖。
二級主題域的設(shè)計:按照公司具體業(yè)務(wù)對一級主題域進一步劃分,形成二級主題域(元素)。如在項目主題域下設(shè)置項目組成、項目成本、項目進度、項目質(zhì)量等二級主題域,在物資主題域下設(shè)置物料、供應(yīng)商、采購、庫存、配送等二級主題域,最終形成SG-CIM基本元素的一個集合。并根據(jù)二級主題域之間的業(yè)務(wù)關(guān)系形成二級主題域關(guān)系視圖。
類的設(shè)計:對業(yè)務(wù)應(yīng)用對象進行歸納、抽象,然后針對業(yè)務(wù)本質(zhì)進行準(zhǔn)確、全面的分析,最后在此基礎(chǔ)上進行正確、合理的抽象。類的設(shè)計應(yīng)盡量簡單明了,避免引入過多的元素,對象能作屬性對待時,應(yīng)盡量作為屬性處理,而不抽象成實體。結(jié)合業(yè)務(wù)需求,對“元素周期表”中各二級主題域(元素)所包含的基本類進行直接引用、繼承及弱相關(guān)擴展,如在供應(yīng)商二級主題域下設(shè)置供應(yīng)商主數(shù)據(jù)、供應(yīng)商違約、供應(yīng)商不良行為、供應(yīng)商績效評價等類,最終形成符合電網(wǎng)企業(yè)業(yè)務(wù)需求的類清單。
4.2邏輯模型設(shè)計方法
邏輯模型設(shè)計主要包括對類卡片、類屬性及類關(guān)系的設(shè)計,從業(yè)務(wù)角度清晰定義類的業(yè)務(wù)含義、屬性及類間關(guān)系。
類卡片的設(shè)計:每個業(yè)務(wù)類設(shè)計一張類卡片,卡片內(nèi)容包括類名稱、類代碼、類注釋,其中類注釋使用專業(yè)術(shù)語準(zhǔn)確描述類的業(yè)務(wù)定義、業(yè)務(wù)用途、數(shù)據(jù)范圍。類設(shè)計時,表達(dá)同一業(yè)務(wù)管理對象的類,應(yīng)進行抽象合并;統(tǒng)計、分析、匯總及報表業(yè)務(wù)對象,不在數(shù)模設(shè)計中體現(xiàn);配置、對象狀態(tài)、數(shù)據(jù)加工過程及程序?qū)崿F(xiàn),所涉及的實體不在邏輯模型中設(shè)計體現(xiàn)。
類屬性的設(shè)計:類屬性表包括屬性名、屬性代碼、屬性的業(yè)務(wù)含義、數(shù)據(jù)類型、數(shù)據(jù)來源系統(tǒng)和責(zé)任部門。其中“數(shù)據(jù)類型”主要描述為:字符型、數(shù)值型、日期型;“數(shù)據(jù)來源系統(tǒng)”用來描述屬性數(shù)據(jù)是由那個信息系統(tǒng)生成的;“責(zé)任部門”用來描述屬性數(shù)據(jù)具體負(fù)責(zé)的部門。
類關(guān)系的設(shè)計:描述完整的業(yè)務(wù)含義,描述與其它業(yè)務(wù)類的引用關(guān)系。體現(xiàn)與其它業(yè)務(wù)類的數(shù)據(jù)消費關(guān)系,即B使用A的數(shù)據(jù)開展業(yè)務(wù),則B類關(guān)系視圖中需要體現(xiàn)A的主要業(yè)務(wù)類。
4.3物理模型設(shè)計方法
物理模型設(shè)計是邏輯模型在系統(tǒng)應(yīng)用層的具體實現(xiàn),以系統(tǒng)程序設(shè)計的視角,結(jié)合底層數(shù)據(jù)技術(shù)架構(gòu),基于關(guān)系型數(shù)據(jù)庫,對邏輯模型實用化。物理模型在邏輯上被劃分為4層,包括ODS(緩沖區(qū))、ODS(統(tǒng)一視圖區(qū))、EDW(數(shù)據(jù)倉庫層)及DM(數(shù)據(jù)集市層),邏輯架構(gòu)如下圖所示。
ODS(緩沖區(qū)),用于全量、持久存儲來自各業(yè)務(wù)系統(tǒng)的原始業(yè)務(wù)明細(xì)數(shù)據(jù),該層的數(shù)據(jù)結(jié)構(gòu)與業(yè)務(wù)系統(tǒng)的基本一致,同時考慮數(shù)據(jù)增量與數(shù)據(jù)版本;
ODS(統(tǒng)一視圖區(qū)),用于存儲經(jīng)過編碼統(tǒng)一、數(shù)據(jù)同源、數(shù)據(jù)規(guī)范化后的企業(yè)級業(yè)務(wù)明細(xì)數(shù)據(jù);
EDW(數(shù)據(jù)倉庫層),用于存儲支撐企業(yè)級分析應(yīng)用的業(yè)務(wù)明細(xì)數(shù)據(jù)與輕量匯總數(shù)據(jù),該層業(yè)務(wù)明細(xì)數(shù)據(jù)是由ODS(統(tǒng)一視圖區(qū))的數(shù)據(jù)通過業(yè)務(wù)整合形成,輕量匯總數(shù)據(jù)是根據(jù)業(yè)務(wù)逐步提煉形成;
DM(數(shù)據(jù)集市層),用于存儲面向具體應(yīng)用的加工及匯總數(shù)據(jù),該層數(shù)據(jù)是根據(jù)具體業(yè)務(wù)邏輯進行復(fù)雜數(shù)據(jù)加工形成。
物理模型設(shè)計主要包括對ODS(緩沖區(qū))、ODS(統(tǒng)一視圖區(qū))、EDW(數(shù)據(jù)倉庫層)及DM(數(shù)據(jù)集市層)的數(shù)據(jù)庫表設(shè)計。
所有數(shù)據(jù)庫表設(shè)計時都要能夠反應(yīng)數(shù)據(jù)變更的歷史記錄,包括變更時間、變更前后的內(nèi)容等信息;同時,也要能支撐以增量方式抽取數(shù)據(jù)。
ODS(緩沖區(qū))的數(shù)據(jù)庫表設(shè)計:基于源系統(tǒng)表,開展此層物理模型設(shè)計,該層的數(shù)據(jù)結(jié)構(gòu)與業(yè)務(wù)系統(tǒng)的基本一致,同時考慮數(shù)據(jù)增量與數(shù)據(jù)版本,全量、持久存儲來自各業(yè)務(wù)系統(tǒng)的原始業(yè)務(wù)明細(xì)數(shù)據(jù)。
ODS(統(tǒng)一視圖區(qū))的數(shù)據(jù)庫表設(shè)計:基于邏輯模型OOM及源系統(tǒng)表,梳理設(shè)計實體的物理表結(jié)構(gòu);設(shè)計物理表結(jié)構(gòu)要考慮數(shù)據(jù)同源、編碼規(guī)范;要體現(xiàn)數(shù)據(jù)變更記錄,即在表中增加源系統(tǒng)數(shù)據(jù)更新時間、源系統(tǒng)數(shù)據(jù)是否刪除、模型數(shù)據(jù)更新時間字段;要體現(xiàn)邏輯模型中的關(guān)系,如果該關(guān)系在類中沒有體現(xiàn),則考慮在物理模型中將該關(guān)系建表;設(shè)計邏輯模型與物理模型的對應(yīng)關(guān)系表和編碼映射表;存儲經(jīng)過編碼統(tǒng)一、數(shù)據(jù)同源、數(shù)據(jù)規(guī)范化后的企業(yè)級業(yè)務(wù)明細(xì)數(shù)據(jù)。
EDW(數(shù)據(jù)倉庫層)的數(shù)據(jù)庫表設(shè)計:基于邏輯模型OOM及統(tǒng)一視圖層物理模型,根據(jù)業(yè)務(wù)對象進行表的合并,通過縱向合并、橫向合并、業(yè)務(wù)合并,設(shè)計實體的物理表結(jié)構(gòu)??v向合并,同一個根節(jié)點引出的類可以進行合并,一般基類不考慮建表,子類建表,且將基類的屬性放至子類中;橫向合并,當(dāng)同一個父類下多個子類的屬性重合度較高時,將多個子類進行合并建表;業(yè)務(wù)合并,從業(yè)務(wù)應(yīng)用出發(fā)根據(jù)業(yè)務(wù)應(yīng)用需求將多個表進行合并。存儲支撐企業(yè)級分析應(yīng)用的業(yè)務(wù)明細(xì)數(shù)據(jù)與輕量匯總數(shù)據(jù),該層業(yè)務(wù)明細(xì)數(shù)據(jù)是由ODS(統(tǒng)一視圖區(qū)) 的數(shù)據(jù)通過業(yè)務(wù)整合形成;輕量匯總數(shù)據(jù)是根據(jù)業(yè)務(wù)逐步提煉形成。
DM(數(shù)據(jù)集市層)的數(shù)據(jù)庫表設(shè)計:基于業(yè)務(wù)應(yīng)用需求及數(shù)據(jù)倉庫層物理模型,根據(jù)具體業(yè)務(wù)邏輯進行復(fù)雜數(shù)據(jù)加工,設(shè)計面向具體應(yīng)用的數(shù)據(jù)庫表,存儲面向具體應(yīng)用的加工及匯總數(shù)據(jù)。
五、結(jié)束語
企業(yè)級統(tǒng)一數(shù)據(jù)模型對于整合數(shù)據(jù)資源、深化數(shù)據(jù)治理、提升數(shù)據(jù)價值具有非常重要的意義,是體現(xiàn)公司信息化建設(shè)集約化和標(biāo)準(zhǔn)化的典型實例。國網(wǎng)浙江省電力公司根據(jù)自身業(yè)務(wù)特點并結(jié)合國網(wǎng)SG-CIM設(shè)計成果,設(shè)計一套涵蓋公司各業(yè)務(wù)條線、唯一反應(yīng)業(yè)務(wù)實體、含義清晰、體現(xiàn)業(yè)務(wù)流程、編碼唯一的企業(yè)級統(tǒng)一數(shù)據(jù)模型,打破各專業(yè)橫向共享壁壘和障礙,實現(xiàn)跨業(yè)務(wù)數(shù)據(jù)有效貫通、共享融合,有力支撐了公司大數(shù)據(jù)分析體系的建設(shè),為公司的信息化建設(shè)積累了寶貴的經(jīng)驗。