數(shù)據(jù)中臺建設(shè)對企業(yè)數(shù)據(jù)貫通的技術(shù)探究

張昊

摘要：隨著電網(wǎng)企業(yè)各部門信息化、數(shù)字化的高速發(fā)展，沉淀了豐富的全域數(shù)據(jù)資源，但系統(tǒng)間數(shù)據(jù)未有效貫通、共享公用，企業(yè)在數(shù)據(jù)價值挖掘、數(shù)據(jù)對業(yè)務(wù)支撐、拓展新興業(yè)務(wù)等方面有強(qiáng)烈需求。本文針對提出了基于大數(shù)據(jù)和數(shù)據(jù)湖技術(shù)建立企業(yè)數(shù)據(jù)中臺，統(tǒng)一企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)和存儲處理，并對外提供數(shù)據(jù)高效服務(wù)，最終實現(xiàn)企業(yè)數(shù)據(jù)驅(qū)動決策。

關(guān)鍵詞：數(shù)據(jù)湖;貼源數(shù)據(jù)層;數(shù)據(jù)集市層;數(shù)據(jù)服務(wù)

目前來說，電力企業(yè)在市場營銷、財務(wù)管控、物資管理、工程建設(shè)等業(yè)務(wù)領(lǐng)域都已實現(xiàn)了數(shù)字化管理，企業(yè)內(nèi)部沉淀數(shù)據(jù)日益增多，系統(tǒng)之間的交互與協(xié)同更加復(fù)雜與頻繁[1]。為提高企業(yè)內(nèi)部、外部數(shù)據(jù)打通和業(yè)務(wù)流程協(xié)同，需建立一個高效的企業(yè)集成平臺，為企業(yè)管理數(shù)據(jù)資產(chǎn)并提供數(shù)據(jù)服務(wù)。

1基于數(shù)據(jù)湖的建設(shè)概要

1.1建設(shè)的必要性

企業(yè)要實現(xiàn)產(chǎn)品全生命周期數(shù)據(jù)貫通，必須通過全量數(shù)據(jù)匯聚、治理、數(shù)據(jù)共享業(yè)務(wù)能力沉淀、數(shù)據(jù)服務(wù)構(gòu)建以及數(shù)據(jù)開放，要實現(xiàn)上述功能，企業(yè)可通過數(shù)據(jù)湖技術(shù)完成建立企業(yè)數(shù)據(jù)中臺，并以建立的數(shù)據(jù)中臺構(gòu)建企業(yè)的數(shù)據(jù)共享服務(wù)平臺[2]。

1.2建設(shè)思路

1.2.1建設(shè)原則

（1）統(tǒng)一的數(shù)據(jù)資源與數(shù)據(jù)架構(gòu)。系統(tǒng)設(shè)計采用統(tǒng)一的軟硬件大數(shù)據(jù)基礎(chǔ)架構(gòu)設(shè)計，保障三個統(tǒng)一：統(tǒng)一資源、統(tǒng)一存儲、統(tǒng)一運維;通過統(tǒng)一的架構(gòu)設(shè)計使數(shù)據(jù)應(yīng)用更聚焦于業(yè)務(wù)，提高數(shù)據(jù)利用率，避免重復(fù)的數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)。通過構(gòu)建以服務(wù)為中心的數(shù)據(jù)集成架構(gòu)，提供數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)集成等服務(wù)，以滿足現(xiàn)在及未來的業(yè)務(wù)要求。（2）統(tǒng)一數(shù)據(jù)源的接入與數(shù)據(jù)貼源層的管理。統(tǒng)一連接、統(tǒng)一配置，為ERP、PMS、MDM、SG186、OA等業(yè)務(wù)系統(tǒng)提供統(tǒng)一的接入標(biāo)準(zhǔn)，規(guī)范數(shù)據(jù)接入過程，保障數(shù)據(jù)質(zhì)量。（3）面向業(yè)務(wù)的數(shù)據(jù)開發(fā)與服務(wù)能力。面向業(yè)務(wù)的數(shù)據(jù)開發(fā)模式，給應(yīng)用更大的靈活性，減少業(yè)務(wù)之間的隔離性;在基礎(chǔ)設(shè)施與統(tǒng)一數(shù)據(jù)層的基礎(chǔ)上，加速應(yīng)用開發(fā)過程，提供數(shù)據(jù)服務(wù)能力。

1.3數(shù)據(jù)服務(wù)建設(shè)

1.3.1數(shù)據(jù)集成

基于數(shù)據(jù)湖的數(shù)據(jù)中臺實現(xiàn)數(shù)據(jù)貫通，包括數(shù)據(jù)集成、數(shù)據(jù)治理、數(shù)據(jù)中臺、數(shù)據(jù)服務(wù)平臺等軟件平臺是技術(shù)支撐與承載，而真正要實現(xiàn)數(shù)據(jù)貫通還需要通過對數(shù)據(jù)標(biāo)準(zhǔn)的梳理、數(shù)據(jù)的集成、基于數(shù)據(jù)標(biāo)準(zhǔn)的清洗、數(shù)據(jù)服務(wù)的構(gòu)建以及服務(wù)目錄的開放與管控等一系列的建設(shè)內(nèi)容。

1.3.2數(shù)據(jù)湖建設(shè)

數(shù)據(jù)湖平臺接入數(shù)據(jù)包括業(yè)務(wù)數(shù)據(jù)、采集數(shù)據(jù)、設(shè)備數(shù)據(jù)等，數(shù)據(jù)經(jīng)過數(shù)據(jù)落地區(qū)和操作加工區(qū)，對數(shù)據(jù)進(jìn)行全面的清洗、加工、轉(zhuǎn)換和建模，最終形成組織、人員、財務(wù)、物資等數(shù)據(jù)的整合區(qū)，并對數(shù)據(jù)通過標(biāo)簽計算、關(guān)系計算以及模型構(gòu)建，形成物資、設(shè)備、財務(wù)、人員等的關(guān)聯(lián)模型，形成一個有機(jī)銜接的整體，針對前端業(yè)務(wù)二次細(xì)分構(gòu)建出不同業(yè)務(wù)方向的主題庫，支撐各種業(yè)務(wù)分析業(yè)務(wù)。主要包括以下幾步：（1）確定數(shù)據(jù)源。（2）數(shù)據(jù)接入。（3）貼源數(shù)據(jù)層（ODS）。（4）數(shù)據(jù)明細(xì)層（DWD）。（5）數(shù)據(jù)匯總層（DWS）。（6）數(shù)據(jù)集市層。（7）數(shù)據(jù)模型。（8）數(shù)據(jù)治理。（9）數(shù)據(jù)任務(wù)。

2 基于數(shù)據(jù)湖的數(shù)據(jù)服務(wù)與共享

基于數(shù)據(jù)湖共享平臺的企業(yè)信息數(shù)據(jù)是公司生產(chǎn)、經(jīng)營、運行、管理等數(shù)據(jù)的大集中，具有全面性、完整性，為了保障數(shù)據(jù)在與其他系統(tǒng)流通過程的安全、及時，數(shù)據(jù)共享服務(wù)支撐平臺提供以接口的方式對外進(jìn)行數(shù)據(jù)服務(wù)，根據(jù)業(yè)務(wù)應(yīng)用場景的不同提供不同的服務(wù)方式，可以分為共享服務(wù)、直接服務(wù)和場景服務(wù)。每種服務(wù)的方式對數(shù)據(jù)封裝的要求不同，需要底層平臺具備數(shù)據(jù)開發(fā)能力，如算法挖掘、多類型任務(wù)開發(fā)等，數(shù)據(jù)開發(fā)完成后，需要服務(wù)封裝，如服務(wù)開發(fā)、注冊、管理、統(tǒng)計分析等，具備數(shù)據(jù)開發(fā)及服務(wù)封裝全面、有效的支撐各種數(shù)據(jù)服務(wù)。

3 數(shù)據(jù)中臺建設(shè)后作用

數(shù)據(jù)中臺建立后，企業(yè)將數(shù)據(jù)作為生產(chǎn)資料轉(zhuǎn)化為數(shù)據(jù)生產(chǎn)力[3]。在全球數(shù)據(jù)化時代，企業(yè)只有了解用戶，在數(shù)據(jù)支撐的條件下不斷創(chuàng)新，打破數(shù)據(jù)孤島，才能在日益激烈的競爭中長期保持優(yōu)勢。

3.1 洞察客戶的觀念和行為

在以客戶為中心的時代，客戶的觀念和行為正在從根本上改變企業(yè)的經(jīng)營方式以及企業(yè)與客戶的互動方式。數(shù)據(jù)中臺建設(shè)的核心目標(biāo)就是以客戶為中心的持續(xù)規(guī)?；瘎?chuàng)新，而數(shù)據(jù)中臺的出現(xiàn)，將會極大提升數(shù)據(jù)的應(yīng)用能力，將海量數(shù)據(jù)轉(zhuǎn)化為高質(zhì)量數(shù)據(jù)資產(chǎn)，為企業(yè)提供更深層的客戶洞察，從而為客戶提供更具個性化和智能化的產(chǎn)品和服務(wù)。

3.2 為企業(yè)管理模式的創(chuàng)新提供數(shù)據(jù)基礎(chǔ)

只有依托數(shù)據(jù)和算法，將由海量數(shù)據(jù)提煉的洞察轉(zhuǎn)化為行動，才能推動大規(guī)模的管理創(chuàng)新。數(shù)據(jù)中臺在通過算法將洞察直接轉(zhuǎn)化為行動、實現(xiàn)管理創(chuàng)新方面的能力，令人矚目。同時，在快速構(gòu)建服務(wù)能力、加快管理創(chuàng)新、提升業(yè)務(wù)適配等方面，數(shù)據(jù)中臺也將會發(fā)揮重要的作用。

3.3 打破數(shù)據(jù)孤島

面對紛繁復(fù)雜而又分散割裂的海量數(shù)據(jù)，數(shù)據(jù)中臺的突出作用和意義在于能充分利用內(nèi)外部數(shù)據(jù)，打破數(shù)據(jù)孤島的現(xiàn)狀，打造持續(xù)增值的數(shù)據(jù)資產(chǎn)，在此基礎(chǔ)上，能夠降低使用數(shù)據(jù)服務(wù)的門檻，繁榮數(shù)據(jù)服務(wù)的生態(tài)，實現(xiàn)數(shù)據(jù)“越用越多” 的價值閉環(huán)，確保競爭優(yōu)勢。這些服務(wù)跟企業(yè)的業(yè)務(wù)有較強(qiáng)的關(guān)聯(lián)性，是這個企業(yè)獨有且能復(fù)用的，它是企業(yè)業(yè)務(wù)和數(shù)據(jù)的沉淀，不僅能降低重復(fù)建設(shè)、減少煙囪式協(xié)作的成本，也是差異化競爭優(yōu)勢的所在。

結(jié)束語

數(shù)據(jù)中臺的主要功能是統(tǒng)一標(biāo)準(zhǔn)和口徑后對數(shù)據(jù)進(jìn)行存儲和處理，使企業(yè)能夠提供更高效的服務(wù)?？傊?，建立數(shù)據(jù)中臺的目標(biāo)是節(jié)約企業(yè)成本，實現(xiàn)精細(xì)化運營，最終實現(xiàn)數(shù)據(jù)驅(qū)動決策。

參考文獻(xiàn)

[1]李信鵬， 劉威， 楊智萍，等. 電網(wǎng)企業(yè)數(shù)據(jù)中臺方案研究[J]. 電力信息與通信技術(shù)， 2020（2）：1-8.

[2]李志， 費曉璐， 郭振. 基于數(shù)據(jù)中臺的電力企業(yè)數(shù)據(jù)資產(chǎn)管理方法研究[J]. 電力信息與通信技術(shù)， 2020（7）.