利用商業(yè)智能技術(shù)對多系統(tǒng)的數(shù)據(jù)整合研究分析

孫琳

摘 要：“十二五”期間，由于機(jī)構(gòu)整合及業(yè)務(wù)的發(fā)展，業(yè)務(wù)不斷擴(kuò)大，包括固定電話、寬帶、GPS、無線市話、家庭安防、信息服務(wù)、數(shù)字電視、IPTV電視、無線寬帶等業(yè)務(wù)，分布在通信、電視、信息主營業(yè)務(wù)支撐系統(tǒng)中，各系統(tǒng)中都包括客戶基本信息、繳費(fèi)信息、業(yè)務(wù)變化信息等，沉淀下來豐富的歷史數(shù)據(jù)，這些數(shù)據(jù)是巨大的財富。如何能對歷史數(shù)據(jù)進(jìn)行深度的加工提煉，尋找業(yè)務(wù)之間的潛在聯(lián)系，預(yù)測業(yè)務(wù)和收入發(fā)展趨勢，從而輔助支撐領(lǐng)導(dǎo)決策，是此項目所研究的目標(biāo)。

關(guān)鍵詞：商業(yè)智能技術(shù)；多系統(tǒng)數(shù)據(jù)；數(shù)據(jù)整合

本課題通過數(shù)據(jù)倉庫技術(shù)和商業(yè)智能技術(shù)全面了解與應(yīng)用，實現(xiàn)對通信、電視、信息業(yè)務(wù)支撐系統(tǒng)中的營收數(shù)據(jù)進(jìn)行整合，按照全面的營收分析思路，建立統(tǒng)一的數(shù)據(jù)庫，滿足中心營收分析的及時性和準(zhǔn)確性要求。 研究各種分析方法，尋找實現(xiàn)可行性。為今后能夠建立業(yè)務(wù)營收數(shù)據(jù)的主題分析，及時展示營收數(shù)據(jù)變化情況，對中心運(yùn)營狀況進(jìn)行分析和監(jiān)控，輔助支持運(yùn)營管理決策奠定基礎(chǔ)。

1 目前現(xiàn)狀

目前中心的營收業(yè)務(wù)數(shù)據(jù)分散在通信、電視、信息主營業(yè)務(wù)支撐系統(tǒng)中，業(yè)務(wù)數(shù)據(jù)零散，共享困難。而統(tǒng)計、分析只針對某種業(yè)務(wù)進(jìn)行，并沒有從多維度多層次深刻理解數(shù)據(jù)和數(shù)據(jù)背后的信息，從而造成業(yè)務(wù)數(shù)據(jù)的孤立。每月各系統(tǒng)會生成大量營收數(shù)據(jù)，但系統(tǒng)間的數(shù)據(jù)無關(guān)聯(lián)性，不能自動、及時匯總。目前需人工完成報表的統(tǒng)計、分析，工作量大、效率低。數(shù)據(jù)分析工作需人工完成?？剖议g數(shù)據(jù)口徑難以統(tǒng)一；分析結(jié)果靠經(jīng)驗得出，缺乏有效分析方法，不能準(zhǔn)確反映中心整體營收情況和業(yè)務(wù)發(fā)展趨勢。

2 解決方案

2.1 關(guān)鍵技術(shù)介紹

2.1.1 ETL技術(shù)

ETL是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過抽取、清洗轉(zhuǎn)換之后加載到數(shù)據(jù)倉庫的過程，目的是將企業(yè)中的分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起，為企業(yè)的決策提供分析依據(jù)。 ETL是BI項目重要的一個環(huán)節(jié)。 通常情況下，在BI項目中ETL會花掉整個項目至少1/3的時間，ETL設(shè)計的好壞直接關(guān)接到BI項目的成敗。？

2.1.2 商業(yè)智能技術(shù)

商業(yè)智能，又稱商務(wù)智能，英文為Business Intelligence，簡寫為BI。商業(yè)智能通常被理解為將企業(yè)中現(xiàn)有的數(shù)據(jù)轉(zhuǎn)化為知識，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營決策的工具。

商業(yè)智能技術(shù)其實就是數(shù)據(jù)倉庫技術(shù)和OLAP技術(shù)的相結(jié)合，首先它能夠?qū)崿F(xiàn)多個系統(tǒng)的整合；其次它可以對數(shù)據(jù)進(jìn)行多層多維度的分析，尋找數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，挖掘數(shù)據(jù)背后有價值的信息，為領(lǐng)導(dǎo)的經(jīng)營決策提供輔助有效支撐；最后強(qiáng)大的報表功能能實現(xiàn)報表的自動化生成。

2.2 具體實施方案

2.2.1 整體技術(shù)框架

①數(shù)據(jù)整合：對通信、信息、電視三個數(shù)據(jù)庫數(shù)據(jù)和外部數(shù)據(jù)，通過ETL技術(shù)，將這些數(shù)據(jù)通過數(shù)據(jù)源引擎引擎抽取到統(tǒng)一中，形成完整的數(shù)據(jù)集合。

②分析模型：預(yù)置領(lǐng)導(dǎo)所關(guān)注的指標(biāo)模型以及擴(kuò)展應(yīng)用模型以及分析的指標(biāo)模型。

③應(yīng)用展示：通過分析模型，以儀表盤、多維透視表等多種可視化方式進(jìn)行數(shù)據(jù)的查看。

2.2.2 數(shù)據(jù)整合內(nèi)容

2.2.2.1 數(shù)據(jù)采集

根據(jù)具體業(yè)務(wù)需求和數(shù)據(jù)量情況。在三個數(shù)據(jù)庫系統(tǒng)中對數(shù)據(jù)進(jìn)行采集，在數(shù)據(jù)采集階段做了以下工作：

①數(shù)據(jù)的時間差異性問題：

定義數(shù)據(jù)規(guī)則，在抽取舊有數(shù)據(jù)時，對于較早的數(shù)據(jù)不完整或不符合數(shù)據(jù)規(guī)范，一般可以根據(jù)規(guī)則，在存入中轉(zhuǎn)區(qū)的過程中予以更新或補(bǔ)充。同時根據(jù)需要也可以采用全局抽取和增量抽取。

②數(shù)據(jù)的依賴性問題：

業(yè)務(wù)系統(tǒng)的數(shù)據(jù)關(guān)聯(lián)一般已有約束保證，代碼表和參照表等數(shù)據(jù)也比較準(zhǔn)確，但仍有少量數(shù)據(jù)不完整，對這部分?jǐn)?shù)據(jù)，需根據(jù)需求采取清洗策略，保證數(shù)據(jù)庫各事實表和維表之間的關(guān)聯(lián)完整有效。在數(shù)據(jù)整合時，我們通過事實表的建立了6個維度表，其中包括：時間維度、科室維度、完工量維度、業(yè)務(wù)類型維度、繳費(fèi)方式維度、客戶類型維度。

2.2.2.2 數(shù)據(jù)轉(zhuǎn)換清洗

數(shù)據(jù)清洗主要是針對三個數(shù)據(jù)庫中，重復(fù)、空置、邏輯錯誤、日期類型不同、數(shù)據(jù)類型不同、同一事物不同名稱等進(jìn)行統(tǒng)一名稱、格式、類型等操作。

2.2.2.3 數(shù)據(jù)抽取方式和頻率

為了不增加各支撐系統(tǒng)負(fù)擔(dān)，采用每月30日，對數(shù)據(jù)進(jìn)行增量抽取，并對抽取后的數(shù)據(jù)進(jìn)行數(shù)據(jù)校驗，從而保證數(shù)據(jù)準(zhǔn)確和及時。只有數(shù)據(jù)的準(zhǔn)確才能使分析的結(jié)果更有價值，所以數(shù)據(jù)的準(zhǔn)確和及時是非常關(guān)鍵的 。

2.2.3 分析方法

2.2.3.1 結(jié)構(gòu)分析法

是指對經(jīng)濟(jì)系統(tǒng)中各組成部分及其對比關(guān)系變動規(guī)律的分析。在本項目中主要應(yīng)用與收入和欠費(fèi)中各業(yè)務(wù)的比例分析。比如：欠費(fèi)單位類型比較，主要分為上市、未上市、社會單位、礦區(qū)單位在欠費(fèi)單位中的比重其公式是：

結(jié)構(gòu)（%）=（部分/總量）·100%

2.2.3.2 趨勢分析法包括環(huán)比和同比兩種方法。

環(huán)比主要是針對收入和業(yè)務(wù)量變化的分析。通過環(huán)比可以看出收入的增長速度以及業(yè)務(wù)發(fā)展的趨勢。 如：2月與1月收入比較、3月與2月比較、4月與2月比較。 而同比是與上一年同月份的比較。 如：2014年1月與2015年1月比較。通過同比率的數(shù)可以反應(yīng)收入的增長情況。

2.2.3.3 排名比較法：

主要應(yīng)用于各業(yè)務(wù)欠費(fèi)的排名。比如上市公司欠費(fèi)單位的排名。通過排名比較有助于使用者及時了解客戶的繳費(fèi)進(jìn)度和欠費(fèi)情況，從而進(jìn)行催繳工作。

3 結(jié)論

此項目對業(yè)務(wù)數(shù)據(jù)進(jìn)行整合、建立了營收數(shù)據(jù)分析模型，研究數(shù)據(jù)分析方法，為中心大數(shù)據(jù)應(yīng)用和支撐經(jīng)營決策進(jìn)行了有益的嘗試。