中國電信福建公司泉州分公司 | 陳景文

主數(shù)據(jù)管理：打造大數(shù)據(jù)時代企業(yè)核心競爭力

中國電信福建公司泉州分公司 | 陳景文

現(xiàn)今，隨著大數(shù)據(jù)洪流的迅猛到來，企業(yè)深刻意識到核心數(shù)據(jù)資源的價值。核心數(shù)據(jù)資源具有稀缺性和差異性，勢必成為企業(yè)的一大競爭優(yōu)勢。

如今，數(shù)據(jù)已經(jīng)滲透到每個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預(yù)示著新一波生產(chǎn)率增長和消費者浪潮的到來，整個世界已經(jīng)迎來了大數(shù)據(jù)時代。2012年調(diào)查結(jié)果顯示，到2020年，人類產(chǎn)生的數(shù)據(jù)總量將達(dá)到40ZB，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍。在數(shù)據(jù)驅(qū)動的信息化時代，企業(yè)只有將核心業(yè)務(wù)數(shù)據(jù)更好地掌握在手中，才能從中萃取更大的業(yè)務(wù)價值，進(jìn)而優(yōu)化品牌管理，打開市場新渠道，打造企業(yè)核心競爭力，而主數(shù)據(jù)管理（Master Data Management，簡稱MDM）就是挖掘這些價值的重要手段和工具。

主數(shù)據(jù)管理日趨重要

主數(shù)據(jù)管理其實在很早之前就已經(jīng)存在，但對于國內(nèi)許多企業(yè)用戶來講，它仍然是個比較陌生的名詞，本文將引領(lǐng)大家走近主數(shù)據(jù)管理。

主數(shù)據(jù)用來描述企業(yè)核心業(yè)務(wù)實體，是在整個企業(yè)范圍內(nèi)的各個操作型應(yīng)用系統(tǒng)（OLTP）和分析型應(yīng)用系統(tǒng)(OLAP)間需要共享的數(shù)據(jù)，也是企業(yè)內(nèi)部能夠跨業(yè)務(wù)、跨系統(tǒng)重復(fù)使用的高價值數(shù)據(jù)，其特點是基于業(yè)務(wù)、長生命周期、跨系統(tǒng)使用。需要注意的是，主數(shù)據(jù)并不是企業(yè)內(nèi)所有的業(yè)務(wù)數(shù)據(jù)，而是有必要在各個系統(tǒng)間共享的數(shù)據(jù)才是主數(shù)據(jù)。比如大部分的交易數(shù)據(jù)、賬單數(shù)據(jù)等都不是主數(shù)據(jù)。涵蓋資源、產(chǎn)品、事件、客戶、財務(wù)、賬戶、員工、合作伙伴等，用于描述核心業(yè)務(wù)實體的數(shù)據(jù)才是主數(shù)據(jù)。因此，對主數(shù)據(jù)的識別，要把握主數(shù)據(jù)作為業(yè)務(wù)運作核心的本質(zhì)。這些主數(shù)據(jù)在進(jìn)行主數(shù)據(jù)管理之前經(jīng)常存在于多個異構(gòu)或同構(gòu)系統(tǒng)中。

主數(shù)據(jù)管理是指一組規(guī)程、技術(shù)和解決方案，用來保證業(yè)務(wù)數(shù)據(jù)在企業(yè)范圍內(nèi)的一致性、完整性、相關(guān)性和精確性。簡單地說，主數(shù)據(jù)管理可以幫助企業(yè)從分散的業(yè)務(wù)系統(tǒng)中整合最核心的、最需要共享的數(shù)據(jù)（主數(shù)據(jù)），集中進(jìn)行數(shù)據(jù)的清洗和豐富，然后以服務(wù)的方式把統(tǒng)一的、完整的、準(zhǔn)確的、具有權(quán)威性的主數(shù)據(jù)分發(fā)給全企業(yè)范圍內(nèi)需要使用這些數(shù)據(jù)的系統(tǒng)或應(yīng)用。主數(shù)據(jù)管理也可以作為一個企業(yè)的數(shù)據(jù)標(biāo)準(zhǔn)，強(qiáng)化對各業(yè)務(wù)系統(tǒng)的共性數(shù)據(jù)實體和模型的管理，避免出現(xiàn)大的業(yè)務(wù)概念不一致，降低應(yīng)用孤島、數(shù)據(jù)孤島出現(xiàn)的幾率，從根本上保證系統(tǒng)之間能實現(xiàn)數(shù)據(jù)的較好共享，增強(qiáng)了各系統(tǒng)在企業(yè)層面的互動，從而提高企業(yè)運營效益，提高數(shù)據(jù)質(zhì)量，更好地為企業(yè)信息集成做好鋪墊。

現(xiàn)今，隨著大數(shù)據(jù)洪水的迅猛到來，企業(yè)深刻意識到核心數(shù)據(jù)資源的價值。核心數(shù)據(jù)資源具有稀缺性和差異性，勢必成為企業(yè)的一大競爭優(yōu)勢。

主數(shù)據(jù)管理給企業(yè)所帶來的價值有三大方面。

1.與大數(shù)據(jù)相得益彰

主數(shù)據(jù)和大數(shù)據(jù)的核心都是數(shù)據(jù)，但它們的關(guān)注點有所不同。大數(shù)據(jù)關(guān)注數(shù)據(jù)的體量和類型，而主數(shù)據(jù)則更關(guān)注數(shù)據(jù)的質(zhì)量；大數(shù)據(jù)提供了更多的原材料，而主數(shù)據(jù)側(cè)重于數(shù)據(jù)的組織。企業(yè)應(yīng)以主數(shù)據(jù)為中心，通過主數(shù)據(jù)把各類大數(shù)據(jù)有效串聯(lián)起來，從而獲得更好數(shù)據(jù)應(yīng)用效果和價值。

2.多方面業(yè)務(wù)價值

主數(shù)據(jù)管理讓企業(yè)將擁有統(tǒng)一的主數(shù)據(jù)訪問接口，擁有集中的且內(nèi)容豐富和干凈的數(shù)據(jù)中心，能夠為各業(yè)務(wù)部門提供一致、完整的共享信息平臺，為業(yè)務(wù)流程和經(jīng)營決策提供了一個可靠的支撐載體。

3.增強(qiáng)IT建設(shè)靈活性

主數(shù)據(jù)管理可以增強(qiáng)IT結(jié)構(gòu)的靈活性，構(gòu)建覆蓋整個企業(yè)范圍內(nèi)的數(shù)據(jù)管理基礎(chǔ)和相應(yīng)規(guī)范，并且更靈活地適應(yīng)企業(yè)業(yè)務(wù)需求的變化，同時，降低接口成本、數(shù)據(jù)清洗和維護(hù)成本等，幫助企業(yè)遠(yuǎn)離高成本和高風(fēng)險。

主數(shù)據(jù)管理的規(guī)劃實施

1.構(gòu)建主數(shù)據(jù)管理的解決方案

雖然企業(yè)越來越看到主數(shù)據(jù)的價值，但往往不知從何下手，如何實施。為保證企業(yè)能夠有條不紊地實施項目，建議企業(yè)根據(jù)規(guī)劃方法論，分階段、分步驟開展工作。比如Informatica MDM產(chǎn)品解決方案，它把主數(shù)據(jù)生命周期劃分為9個階段。

● 訪問：了解主數(shù)據(jù)的來源、現(xiàn)狀，實現(xiàn)不同數(shù)據(jù)源和應(yīng)用程序的數(shù)據(jù)集成方案，這是主數(shù)據(jù)獲取的入口。

● 發(fā)現(xiàn)：探查數(shù)據(jù)內(nèi)容、結(jié)構(gòu)和異常，分析數(shù)據(jù)的優(yōu)勢和劣勢，一個關(guān)鍵目標(biāo)就是明確指出數(shù)據(jù)錯誤和問題。

● 建模：建立正確、靈活的MDM業(yè)務(wù)及數(shù)據(jù)模型，可以有效面對未來的變化和挑戰(zhàn)，模型是項目走向成功的一個重要里程碑。

● 清洗：對于各系統(tǒng)數(shù)據(jù)出現(xiàn)不一致的定義及使用方式時，需要解決錯誤和矛盾之處，創(chuàng)建正確、完整的主數(shù)據(jù)。

● 識別：快速匹配，準(zhǔn)確識別重復(fù)數(shù)據(jù)并預(yù)防重復(fù)發(fā)生。

● 解決：合并重復(fù)數(shù)據(jù)，創(chuàng)建可信的唯一真實版本。

● 關(guān)聯(lián)：實現(xiàn)與合作伙伴系統(tǒng)、第三方軟件、外部產(chǎn)品的廣泛數(shù)據(jù)連接。

● 治理：創(chuàng)建、使用、管理和監(jiān)控主數(shù)據(jù)，保證可對數(shù)據(jù)問題進(jìn)行跟蹤，同時保證長期滿足數(shù)據(jù)質(zhì)量預(yù)期。

● 交付：以服務(wù)的方式把統(tǒng)一、完整、準(zhǔn)確的主數(shù)據(jù)分發(fā)給企業(yè)范圍內(nèi)需要使用這些數(shù)據(jù)的業(yè)務(wù)系統(tǒng)、業(yè)務(wù)流程和決策支持系統(tǒng)。

這是一個循環(huán)往復(fù)的過程，當(dāng)有新的主數(shù)據(jù)出現(xiàn)或經(jīng)過幾大階段治理后的主數(shù)據(jù)仍未達(dá)到質(zhì)量要求時，主數(shù)據(jù)管理都會進(jìn)入下一輪循環(huán)。數(shù)據(jù)治理的過程貫穿于整個生命周期，體現(xiàn)了主數(shù)據(jù)對于數(shù)據(jù)質(zhì)量的管控作用。

2.實施過程中應(yīng)注意的問題

1）主數(shù)據(jù)管理不是一個單純的技術(shù)項目

主數(shù)據(jù)管理常常被誤解為一個單純的技術(shù)問題，而實際上企業(yè)采用主數(shù)據(jù)方案最重要的不是技術(shù)準(zhǔn)備，而是業(yè)務(wù)準(zhǔn)備。企業(yè)在上馬項目時，首先要先考慮清楚項目所要達(dá)到的目的、目標(biāo)和愿景。在企業(yè)內(nèi)部貫徹實施統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)化，需要文化、制度、業(yè)務(wù)、流程等全方位的配合和改造，需要業(yè)務(wù)部門之間的溝通和協(xié)調(diào)，需要企業(yè)高層、行業(yè)專家、領(lǐng)域?qū)＜乙约皹I(yè)務(wù)人員的認(rèn)同和參與。也就是說，主數(shù)據(jù)管理實質(zhì)上是個管理問題。

2）主數(shù)據(jù)管理是一個持續(xù)建設(shè)的過程

主數(shù)據(jù)問題很難一次性解決，因而造成項目復(fù)雜度高、工期長、耗費大的問題，建設(shè)前期對于企業(yè)來說感知不明顯，容易遭到質(zhì)疑。因此建議企業(yè)采取漸進(jìn)的方式來建設(shè)，先基礎(chǔ)、后深化，先局部、后覆蓋，這樣讓企業(yè)逐步嘗到主數(shù)據(jù)帶來的甜頭。第一期項目可以從小規(guī)模入手（比如選擇一個業(yè)務(wù)領(lǐng)域），一個業(yè)務(wù)領(lǐng)域成功會帶動更多業(yè)務(wù)領(lǐng)域參與，前期的成功會成為后續(xù)實施的推升動力。

3）模型設(shè)計是基石

企業(yè)的業(yè)務(wù)需求不會是一成不變的，隨著外部因素（如市場環(huán)境的變化、產(chǎn)業(yè)的更新?lián)Q代）、內(nèi)部因素（如經(jīng)營模式的轉(zhuǎn)變、組織架構(gòu)的優(yōu)化）的變化和影響，系統(tǒng)將面對更多適應(yīng)性和可柔性方面的挑戰(zhàn)。因而，對于主數(shù)據(jù)模型的設(shè)計者來說，必須要建立一個靈活的模型，特別是對未來更多類型主數(shù)據(jù)的支持，當(dāng)一些變化發(fā)生時，不能對以后的模型產(chǎn)生較大的沖擊和影響。成功的項目不僅能夠解決現(xiàn)在的業(yè)務(wù)需求，還要能夠滿足未來的需求。

主數(shù)據(jù)管理的發(fā)展趨勢

1.與新技術(shù)發(fā)展趨勢相結(jié)合

云計算、社交計算和移動計算三大技術(shù)趨勢正在驅(qū)動大數(shù)據(jù)不可阻擋的增長態(tài)勢。目前，一些主流MDM軟件可以針對云中數(shù)據(jù)、社交數(shù)據(jù)、移動數(shù)據(jù)等不同類型的數(shù)據(jù)進(jìn)行有效管理。在未來，支持不同移動終端接入，采用云中部署、混合部署等新模式的主數(shù)據(jù)管理多域部署情況將更加普遍。

通過云計算MDM，有效解決云中分散數(shù)據(jù)碎片化現(xiàn)象，保持?jǐn)?shù)據(jù)凈化狀態(tài)；保證跨越云及內(nèi)部應(yīng)用的數(shù)據(jù)整合，無論是在云端還是在本地，都可以帶來完整、可信的客戶交互及主數(shù)據(jù)關(guān)系視角。

通過社交MDM，解決跨越多個社交媒體間客戶識別問題，創(chuàng)建出統(tǒng)一的客戶社交資料，挖掘客戶的社交網(wǎng)絡(luò)以及喜好，從而更有效地進(jìn)行針對性營銷，以及為零售商、生產(chǎn)商、服務(wù)提供商等提供目標(biāo)客戶推薦服務(wù)，以此形成更為緊密、更具盈利性的客戶關(guān)系。

通過移動MDM，提供隨時隨地接入的客戶交易數(shù)據(jù)、社交數(shù)據(jù)及主數(shù)據(jù)。將清晰、完整、可信的客戶資料與移動設(shè)備的位置服務(wù)相結(jié)合，為銷售人員及服務(wù)人員提供指定位置的客戶信息。

2.為大數(shù)據(jù)插上飛翔的翅膀

未來，MDM平臺將逐步實現(xiàn)與大數(shù)據(jù)的無縫集成，為大數(shù)據(jù)提供一系列全面、先進(jìn)、成熟的數(shù)據(jù)管理解決方案，為企業(yè)用戶迎接“集成化的大數(shù)據(jù)時代”做好了準(zhǔn)備。

提升企業(yè)數(shù)據(jù)的集成和管理能力，將數(shù)據(jù)集成擴(kuò)展到社交媒體數(shù)據(jù)、網(wǎng)絡(luò)日志、傳感器設(shè)備數(shù)據(jù)、文檔、電子郵件、其他無編碼格式的多結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，顯著減少浪費在垃圾資料的時間，有效降低大數(shù)據(jù)開發(fā)、維護(hù)成本。

實現(xiàn)從傳統(tǒng)數(shù)據(jù)架構(gòu)平臺擴(kuò)展到Hadoop，把Hadoop技術(shù)通過一種透明的方式呈現(xiàn)給用戶，企業(yè)將不再需要復(fù)雜的手動編碼來實現(xiàn)Hadoop的性能和成本優(yōu)勢。這不僅幫助企業(yè)更輕松地管理和支持多個大數(shù)據(jù)項目，確保最佳的端到端性能和部署，還可以使數(shù)據(jù)便捷地在 Hadoop環(huán)境或傳統(tǒng)網(wǎng)格計算環(huán)境中運行。

引入了內(nèi)存處理的能力，數(shù)據(jù)處理性能更快。所謂“內(nèi)存處理”，就是把主數(shù)據(jù)的處理操作從傳統(tǒng)的數(shù)據(jù)庫遷移到內(nèi)存計算，有望實現(xiàn)最高上達(dá)百倍的能力提升，實現(xiàn)在大數(shù)據(jù)中快速解決個體識別問題，高效完成大批量數(shù)據(jù)清洗。同時大幅降低了客戶的硬件部署成本，以更佳的成本效益方式提升大數(shù)據(jù)項目的投資回報。

結(jié)束語

近幾年來，中國電信在集團(tuán)企業(yè)信息化戰(zhàn)略規(guī)劃（ITSP）的指引下，根據(jù)企業(yè)目標(biāo)和通用業(yè)務(wù)規(guī)律，統(tǒng)一企業(yè)數(shù)據(jù)模型（EDM），建立參與人、產(chǎn)品、賬務(wù)、市場營銷、事件、地域、資源和財務(wù)等八大主數(shù)據(jù)域，從而逐步統(tǒng)一企業(yè)內(nèi)數(shù)據(jù)標(biāo)準(zhǔn)，為從根本上解決企業(yè)數(shù)據(jù)分散重復(fù)、口徑不一致、共享困難造成的信息孤島等問題奠定堅實的基礎(chǔ)，推動企業(yè)內(nèi)各類信息系統(tǒng)的整合和數(shù)據(jù)的共享，全面提升經(jīng)營決策、運營管理、業(yè)務(wù)拓展和客戶服務(wù)等方面的支撐能力。

在全新的數(shù)據(jù)時代，大數(shù)據(jù)的核心問題不是數(shù)量大，而是質(zhì)量高。把主數(shù)據(jù)管理解決方案作為大數(shù)據(jù)背景下的企業(yè)數(shù)據(jù)治理和提升數(shù)據(jù)質(zhì)量的工具，可以確保核心數(shù)據(jù)的質(zhì)量和真實性，企業(yè)可以更好地洞悉業(yè)務(wù)數(shù)據(jù)中所隱藏的價值，真正把大數(shù)據(jù)轉(zhuǎn)化為大機(jī)遇。