企業(yè)數(shù)據(jù)倉庫建立與應(yīng)用

摘要：企業(yè)級數(shù)據(jù)倉庫如今在各個行業(yè)都已經(jīng)廣泛應(yīng)用，國內(nèi)各行業(yè)的大型企業(yè)已經(jīng)開始重視分析性業(yè)務(wù)系統(tǒng)的戰(zhàn)略布局，并將企業(yè)級數(shù)據(jù)倉庫產(chǎn)品的選型列為重中之重。大型企業(yè)的數(shù)據(jù)倉庫系統(tǒng)需求基本上都具有大數(shù)據(jù)量、高性能、高可用性、可擴(kuò)展性、靈活性、易于管理等特點。本文以大慶油田物資公司構(gòu)建數(shù)據(jù)倉庫的案例為基礎(chǔ)，對籌建數(shù)據(jù)倉庫決策支持系統(tǒng)的優(yōu)化解決方案進(jìn)行了初步探討。

關(guān)鍵詞：數(shù)據(jù)倉庫、決策支持、聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘

大慶油田物資公司，是油田唯一的專業(yè)化物資服務(wù)保障單位，主要負(fù)責(zé)油田生產(chǎn)建設(shè)所需的一、二級物資集中采購、倉儲、供應(yīng)和物流服務(wù)。隨著數(shù)據(jù)庫技術(shù)的迅速發(fā)展以及ERP系統(tǒng)、中油合同系統(tǒng)、物采系統(tǒng)等各種業(yè)務(wù)系統(tǒng)的廣泛應(yīng)用，物資公司積累的數(shù)據(jù)越來越多。激增的數(shù)據(jù)背后隱藏著許多重要的信息，管理層希望能夠?qū)ζ溥M(jìn)行更高層次的分析，以便更好的利用這些數(shù)據(jù)。目前的各種應(yīng)用系統(tǒng)可以高效地實現(xiàn)數(shù)據(jù)的錄入、查詢、統(tǒng)計等功能，但無法發(fā)現(xiàn)數(shù)據(jù)之間存在的關(guān)系和規(guī)則，無法根據(jù)現(xiàn)有的數(shù)據(jù)預(yù)測未來的發(fā)展趨勢。正是因為缺乏挖掘數(shù)據(jù)背后隱藏知識的手段，從而導(dǎo)致了“數(shù)據(jù)太多，信息不足”的現(xiàn)象。因此，物資公司數(shù)據(jù)倉庫的建立與應(yīng)用已經(jīng)成為必然。

一、理解物資系統(tǒng)數(shù)據(jù)倉庫

在物資公司單個業(yè)務(wù)單元中，基于ERP系統(tǒng)、物采系統(tǒng)、中油合同等各種操作型系統(tǒng)的數(shù)據(jù)應(yīng)用已經(jīng)存在很多年了。管理人員經(jīng)常會理直氣壯地問為什么現(xiàn)存的系統(tǒng)不夠用呢？要回答這個問題，需要闡明與數(shù)據(jù)倉庫相關(guān)的風(fēng)險和收益。首先，考慮面臨的風(fēng)險，很少有人理解操作型系統(tǒng)與決策支持系統(tǒng)的差別;很難將數(shù)據(jù)集成帶來的收益概念化和具體化;由于靜態(tài)報表已成為標(biāo)準(zhǔn)，用戶很難適應(yīng)交互式的數(shù)據(jù)界面;很難在整個項目周期中都得到普遍的支持。接著，考慮潛在的收益，數(shù)據(jù)倉庫將會提供毫無疑義的數(shù)據(jù)集成，確保整個物資系統(tǒng)的數(shù)據(jù)真實性和一致性;聯(lián)機(jī)分析處理系統(tǒng)（OLAP）將通過一個生動并且易于使用的界面給高層管理者提供新奇的決策支持透視服務(wù);運(yùn)用數(shù)據(jù)分析預(yù)處理能使業(yè)務(wù)分析專家迅速發(fā)現(xiàn)問題并很快建立解決方案;對服務(wù)對象和供應(yīng)商會有更深的了解，利于提高物資管理項目的效率;常規(guī)報表不再需要借助于IT部門的先進(jìn)的技術(shù)服務(wù);用戶能夠獲得元數(shù)據(jù)，即關(guān)于數(shù)據(jù)的來源及數(shù)據(jù)轉(zhuǎn)換方式的信息。

1、操作型系統(tǒng)與決策支持系統(tǒng)

雖然物資管理人員經(jīng)常與操作型系統(tǒng)打交道，但對于在整個企業(yè)范圍內(nèi)提供決策支持的了解還是經(jīng)驗尚淺。一個錯誤的認(rèn)識是，各種業(yè)務(wù)系統(tǒng)已經(jīng)能夠提供企業(yè)范圍的決策支持。操作型系統(tǒng)的設(shè)計目的在于實現(xiàn)數(shù)據(jù)的快速存取，任務(wù)或小數(shù)據(jù)集的快速處理。規(guī)范的關(guān)系數(shù)據(jù)庫在進(jìn)行數(shù)據(jù)的插入、更新和刪除操作時能確保數(shù)據(jù)的完整性，并能優(yōu)化在多表間進(jìn)行數(shù)據(jù)存儲的機(jī)制。用于決策支持的統(tǒng)計分析需要平滑的數(shù)據(jù)以及滿足查詢的最低粒度級。

決策制定者借助于一些軟件工具進(jìn)行決策，這些軟件工具可以劃分為報表、數(shù)據(jù)挖掘、統(tǒng)計和數(shù)據(jù)瀏覽幾個類別。報表可以發(fā)展成為總結(jié)已被充分理解的業(yè)務(wù)進(jìn)程和主題的工具。數(shù)據(jù)挖掘工具和數(shù)據(jù)瀏覽工具使分析人員能夠從海量的數(shù)據(jù)集中察覺業(yè)務(wù)趨勢和發(fā)現(xiàn)商機(jī)。數(shù)據(jù)挖掘工具如同一個巨大的鉆取機(jī)器，它將運(yùn)用成千上萬的公式法則對數(shù)據(jù)進(jìn)行匯總、建模和聚合。被稱為OLAP的數(shù)據(jù)瀏覽工具能為分析人員提供聚合的數(shù)據(jù)和高效的界面，使分析人員能夠快速地操縱數(shù)據(jù)視圖和聚合層次。當(dāng)你真正地建立了一個包含真實的物資業(yè)務(wù)主題數(shù)據(jù)的OLAP數(shù)據(jù)立方體并獲得成功時，你會明白這種強(qiáng)大的數(shù)據(jù)處理工具意味著什么。從提出問題到解答問題的間隔時間由數(shù)天或數(shù)月縮減到幾秒鐘或幾分鐘，而且用戶能夠獲得數(shù)據(jù)倉庫各個方面的一切數(shù)據(jù)，用戶參與的熱情會大大提高，企業(yè)就會迅速發(fā)現(xiàn)更多的商機(jī)。

2、OLAP與物資管理

所有業(yè)務(wù)都可以按層次分類，惟獨(dú)物資不可以，因為各種各樣的業(yè)務(wù)相互交叉和重疊。要駕馭這種復(fù)雜的情況，我們需要將物資按主題分組，這樣對于每個供應(yīng)商會有多種解決途徑?？蛻艨赡苄枰榭搓P(guān)于整個物資業(yè)務(wù)信息的數(shù)據(jù)。OLAP工具建立并實施業(yè)務(wù)分層結(jié)構(gòu)模型，然后將它們與交叉表格匯總相結(jié)合。數(shù)據(jù)瀏覽器使用戶可以對任意兩個類別進(jìn)行行列組合，然后選擇一系列度量，在矩陣中匯總。而且，用戶能夠在層次之間進(jìn)行上下鉆取，以獲得擴(kuò)展或聚合的數(shù)據(jù)。這是一個強(qiáng)有力的信息展示器，它能令用戶憑借標(biāo)準(zhǔn)的、基于代碼的統(tǒng)計和查詢工具在所允許的小片時間內(nèi)迅速解決一系列問題。

建立OLAP交叉表格數(shù)據(jù)結(jié)構(gòu)有多種途徑，包括按關(guān)系數(shù)據(jù)表存儲，創(chuàng)建專用的多維數(shù)據(jù)結(jié)構(gòu)，以及建立基于需求的虛擬交叉表格。商業(yè)軟件既有在客戶端處理的應(yīng)用，又有在服務(wù)器端處理的應(yīng)用，目前許多軟件還能提供網(wǎng)絡(luò)接口。擁有網(wǎng)絡(luò)接口的服務(wù)器端執(zhí)行軟件要比多用戶客戶端執(zhí)行的軟件廉價，而且能對服務(wù)器資源起到調(diào)節(jié)作用，獲得更高的執(zhí)行效率。

二、建立數(shù)據(jù)倉庫需求

近年來，國內(nèi)物資行業(yè)發(fā)展很快。物資企業(yè)在發(fā)展到一定規(guī)模時，企業(yè)內(nèi)部的復(fù)雜性增加，客戶、供應(yīng)商資源也在不斷擴(kuò)大。企業(yè)要想在復(fù)雜的環(huán)境中獲得成功，管理者就必須能夠從宏觀上和微觀上控制極其復(fù)雜的商業(yè)結(jié)構(gòu)。數(shù)據(jù)倉庫的建立，能使管理者獲得有關(guān)決策的信息，形成了完整的物資服務(wù)供應(yīng)鏈，從整體上降低了運(yùn)營成本，而且提高了工作效率。面對快速更新的物資行業(yè)的挑戰(zhàn)，數(shù)據(jù)倉庫為大型物資企業(yè)提供了一種具有戰(zhàn)略優(yōu)勢的解決方案。

1、確定核心業(yè)務(wù)

進(jìn)行數(shù)據(jù)倉庫可行性分析，首先要確立核心業(yè)務(wù)。需要主要業(yè)務(wù)負(fù)責(zé)人參與需求調(diào)查，主題是關(guān)于決策支持所需的高層信息。在此次調(diào)查過程中，調(diào)查小組將確立幾個關(guān)鍵性的領(lǐng)域，如業(yè)務(wù)實際利益、數(shù)據(jù)獲取、企業(yè)文化、領(lǐng)導(dǎo)等。主要問題通常包括：

列出3個你最需要作出的決策？

作出這些決策你需要哪些報表和工具？

獲取新系統(tǒng)信息的最關(guān)鍵的益處在哪里？

什么樣的信息、計算、聚合可能提高你制定決策的水平？

你運(yùn)用業(yè)務(wù)系統(tǒng)進(jìn)行信息分析的可能性有多大？

2、數(shù)據(jù)源分析

在對管理人員進(jìn)行調(diào)研的同時，要開展數(shù)據(jù)源分析，包括定義數(shù)據(jù)目錄和數(shù)據(jù)清單。數(shù)據(jù)目錄用于確定哪些數(shù)據(jù)適合進(jìn)入數(shù)據(jù)倉庫，應(yīng)包括各個信息系統(tǒng)的詳細(xì)內(nèi)容及結(jié)構(gòu)信息。數(shù)據(jù)清單的主要目的是將當(dāng)前數(shù)據(jù)源與預(yù)期信息需求進(jìn)行對比?，F(xiàn)存信息系統(tǒng)數(shù)據(jù)加載數(shù)據(jù)倉庫的主要問題有：

在多個應(yīng)用中使用同一個主題的數(shù)據(jù)

一些應(yīng)用包括空的數(shù)據(jù)結(jié)構(gòu)

系統(tǒng)沒有集成，無法自動進(jìn)行數(shù)據(jù)的更新、轉(zhuǎn)移和載入，產(chǎn)生數(shù)據(jù)碎片和數(shù)據(jù)不一致的現(xiàn)象

多種多樣的和不兼容的數(shù)據(jù)結(jié)構(gòu)使相似的數(shù)據(jù)結(jié)合起來很困難，有時甚至不可能結(jié)合起來

3、選擇主題領(lǐng)域

基于如下因素，可以開發(fā)并優(yōu)化一組潛在主題領(lǐng)域：

期望利潤——通過實施一個主題領(lǐng)域，在客戶滿意度、企業(yè)收益和運(yùn)營效率方面，系統(tǒng)取得的定量的和定性的利潤

數(shù)據(jù)裂縫——實施一個主題領(lǐng)域所需數(shù)據(jù)與可支配數(shù)據(jù)之間的差異

復(fù)雜程度——為一個特定的主題創(chuàng)建一個有效的設(shè)計方案所需的努力

實施風(fēng)險——當(dāng)組織準(zhǔn)備充分并具備運(yùn)營能力，而且所需的系統(tǒng)界面齊全，時間安排得當(dāng)，廣度和深度比例適當(dāng)時，實施一個特定的主題領(lǐng)域會相對容易一些

通常，最好的主題領(lǐng)域具有最大的潛在利潤和最少的風(fēng)險因素。對業(yè)務(wù)的深思熟慮會讓我們放棄一個顯而易見的決策。另外，你必須時刻牢記在心的還有，如果不存在業(yè)務(wù)對數(shù)據(jù)的強(qiáng)烈需求，那么數(shù)據(jù)就毫無價值。企業(yè)高層管理者們通常指定一個部門，這個部門將擔(dān)負(fù)起選擇第一個主題領(lǐng)域的任務(wù)。為了確定最佳的選擇，他們列出了潛在主題領(lǐng)域的主要維度的清單，按照期望利潤、數(shù)據(jù)裂縫、復(fù)雜程度和實施風(fēng)險四個類別進(jìn)行評分，最后計算總分?；谶@個分?jǐn)?shù)卡，再對各個主題領(lǐng)域進(jìn)行分析和定級。通常選出得分最高的三個主題領(lǐng)域進(jìn)行深層次的分析，從中確定主題領(lǐng)域。主題領(lǐng)域可以設(shè)定為采購人員行為報表，因為采購人員最終對物資質(zhì)量負(fù)責(zé)，并對采購成本有巨大的影響作用，于是采購人員業(yè)務(wù)行為方式自然而然地成為了一個邏輯控制點。按照一致贊同的規(guī)則，再進(jìn)一步論證將采購人員行為報表作為第一個主題領(lǐng)域的合理性。然而，這項決定可能沒有引起人們充滿激情的或持久的支持。可見，要想成功，對這個初始決策的支持必須來自于最高層管理者。

三、組建開發(fā)小組

給數(shù)據(jù)倉庫項目配備人員最重要的一個方面是為項目建立一個堅實的業(yè)務(wù)核心。有調(diào)查顯示，數(shù)據(jù)倉庫由IT部門運(yùn)作比那些由商務(wù)引導(dǎo)的部門運(yùn)作失敗的幾率要大的多。IT人員是必須參與的，但決不是項目的主要驅(qū)動力。應(yīng)當(dāng)清楚小組的真正靈魂在于那些既掌握數(shù)據(jù)倉庫技術(shù)，又透析物資管理進(jìn)程的人。

四、結(jié)語

數(shù)據(jù)倉庫項目開發(fā)的一個最基本的目標(biāo)是：建立一種機(jī)制來擴(kuò)大項目支持者的隊伍，同時投資又不能大幅度增加。如果你已經(jīng)將前期努力凝聚在一個選定的主題領(lǐng)域上，并期望它能成為在后續(xù)的生命周期中前進(jìn)的穩(wěn)固的基石，那么你的方向是正確的。然而，即使你進(jìn)行了謹(jǐn)慎的規(guī)劃，采用了并行的時間表，而且有可以參考的文檔和方法，數(shù)據(jù)倉庫項目開發(fā)仍是一項極具挑戰(zhàn)性的任務(wù)。

如果你的數(shù)據(jù)倉庫不是由一個重大而且合理的需求驅(qū)動的，那么就不值得去投資?！敖⑺?，你所需要的信息就會來”的途徑是一種缺乏解決方案的技術(shù)，它對70%的數(shù)據(jù)倉庫項目失敗負(fù)有直接的責(zé)任。數(shù)據(jù)倉庫是一種業(yè)務(wù)工具，它的真正價值只能由業(yè)務(wù)來決定。過去人們曾進(jìn)行過許多將決策支持技術(shù)轉(zhuǎn)向用戶的嘗試，然而成功的情況很少，因為那些努力是基于傳送的數(shù)據(jù)能夠應(yīng)用的這個假設(shè)之上的。雖然這個意圖是無可挑剔的，但它作出了兩個假定，假定一個給定的業(yè)務(wù)領(lǐng)域能從一個系統(tǒng)的角度充分地理解了自身的目標(biāo)、需求和進(jìn)程，進(jìn)而定義出有用的規(guī)則方法;它還假定這個主題領(lǐng)域能像組織一樣接受信息、分析信息、交流信息和對信息采取行動?？梢钥闯?，數(shù)據(jù)倉庫要想成功，組織必須放開眼光，從一個文化的角度去斟酌機(jī)遇，去發(fā)展有創(chuàng)造性的解決方案，并隨時準(zhǔn)備采取行動以推動所需的變革。

參考文獻(xiàn)

[1]中國物流與采購聯(lián)合會 ?中國物流平臺發(fā)展報告（2018-2019） ?中國財富出版社.

[2]W.H.Inmon著 王志海譯 ?數(shù)據(jù)倉庫 機(jī)械工業(yè)出版社

[3]Pang-NingTan等著 范明、范宏建等譯 ?數(shù)據(jù)挖掘?qū)д??人民郵電出版社

作者簡介：姜濤，1976.11 ，男，漢，山東省萊州市 ，工學(xué)學(xué)士，大慶油田物資公司信息中心軟件室項目長、高級工程師，研究方向：軟件設(shè)計、開發(fā)