基于大數(shù)據(jù)的決策支持系統(tǒng)建設(shè)概論

摘 要 隨著大數(shù)據(jù)相關(guān)的技術(shù)日益成熟，越來越多的企業(yè)利用大數(shù)據(jù)優(yōu)化經(jīng)營管理過程。Z研究所為解決經(jīng)營決策中面臨的信息孤島和繁重的報(bào)表制作問題，構(gòu)建了完整的經(jīng)營決策指標(biāo)體系結(jié)構(gòu)，并采用基于Hadoop大數(shù)據(jù)的相關(guān)技術(shù)實(shí)現(xiàn)了數(shù)據(jù)的匯集、分析和展現(xiàn)，為決策層提供了強(qiáng)有力的數(shù)據(jù)支撐，促進(jìn)了研究所更快更好的發(fā)展。

關(guān)鍵詞 大數(shù)據(jù);經(jīng)營管理;決策支持系統(tǒng)

Abstract With the growing maturity of big data technologies，more and more enterprises are using big data to optimize their operation and management processes.In order to solve the management decision problem of information island and onerous reporting，Z institute builds a complete index system structure of business decisions，and uses the related technologies based on Hadoop big data to realize the data collection，analysis and display，which provides decision makers a strong support and promotes the development of the institute for better and faster.

Key words big data;? operation and management; decision support system

引言

隨著發(fā)展規(guī)模和業(yè)務(wù)范圍的不斷擴(kuò)大，Z研究所陸續(xù)建設(shè)完善了多個(gè)種類的業(yè)務(wù)信息系統(tǒng)以支撐各業(yè)務(wù)部門日常工作的順利開展，然而這些業(yè)務(wù)管理系統(tǒng)在建設(shè)過程中，相對獨(dú)立、自成體系，導(dǎo)致業(yè)務(wù)信息形成信息孤島，管理決策者在決策過程中只能參考具體業(yè)務(wù)系統(tǒng)中相對分散且獨(dú)立的數(shù)據(jù)及報(bào)表信息，難以獲取企業(yè)各個(gè)業(yè)務(wù)領(lǐng)域指標(biāo)的全景視圖信息。因此，在企業(yè)信息化水平高速發(fā)展的背景下，Z研究所對海量業(yè)務(wù)數(shù)據(jù)進(jìn)行集成化、共享化、規(guī)范化管理的需求日益迫切。

1系統(tǒng)建設(shè)

大數(shù)據(jù)背景下的決策支持系統(tǒng)，采用基于Hadoop分布式管理體系架構(gòu)及技術(shù)[1]，將多源異構(gòu)、分布存儲的各類業(yè)務(wù)數(shù)據(jù)通過標(biāo)準(zhǔn)化接口進(jìn)行集中管理，實(shí)現(xiàn)對海量數(shù)據(jù)資源的在線聯(lián)機(jī)分析過程，建立完善的指標(biāo)體系和統(tǒng)一指標(biāo)表達(dá)模型，為z研究所高層進(jìn)行快速決策與管理提供數(shù)據(jù)和技術(shù)支持。在此基礎(chǔ)上，建立了如圖1所示的決策支持系統(tǒng)體系架構(gòu)，該架構(gòu)由數(shù)據(jù)資源層、數(shù)據(jù)總線層、數(shù)據(jù)整合層、核心構(gòu)件層、用戶界面層構(gòu)成。

數(shù)據(jù)資源層，該層主要指z研究所內(nèi)部接入的各類業(yè)務(wù)系統(tǒng)數(shù)據(jù)資源，包括：人力資源系統(tǒng)、項(xiàng)目管理系統(tǒng)、財(cái)務(wù)管理系統(tǒng)、資產(chǎn)管理系統(tǒng)、質(zhì)量管理系統(tǒng)等;此外，還要集成用戶手工錄入的各類數(shù)據(jù)資源。

數(shù)據(jù)總線層，該層為數(shù)據(jù)資源層接入的各類業(yè)務(wù)數(shù)據(jù)庫提供一系列的標(biāo)準(zhǔn)接口，可實(shí)現(xiàn)不同業(yè)務(wù)數(shù)據(jù)庫的快速接入以及業(yè)務(wù)數(shù)據(jù)的安全傳遞，有效提高系統(tǒng)的可擴(kuò)展性能，其主要包括：接入規(guī)范、容錯(cuò)處理、數(shù)據(jù)維護(hù)、事務(wù)管理、協(xié)議轉(zhuǎn)換等模塊。

數(shù)據(jù)整合層，該層主要是對數(shù)據(jù)總線中存儲的海量數(shù)據(jù)資源進(jìn)行抽取、轉(zhuǎn)換和裝載，并統(tǒng)一集成到數(shù)據(jù)倉庫中，實(shí)現(xiàn)對大容量多維異構(gòu)數(shù)據(jù)的快速存儲過程，為上層的決策分析提供底層數(shù)據(jù)支持。

核心構(gòu)件層，該層主要為系統(tǒng)進(jìn)行數(shù)據(jù)分析與展示提供具體的計(jì)算支持，具體包括：在線處理模塊、統(tǒng)計(jì)分析與預(yù)測算法模塊[2]、信息展示模塊等。

用戶界面層，該層主要是為數(shù)據(jù)上報(bào)人員、部門領(lǐng)導(dǎo)、所級領(lǐng)導(dǎo)和系統(tǒng)管理人員提供與系統(tǒng)進(jìn)行友好交互的人機(jī)界面;展示界面主要包括總體監(jiān)控全景展示和面向重要會議的信息展示兩種形式[3]。

2系統(tǒng)組成及功能

決策支持系統(tǒng)，是一個(gè)為z研究所決策與管理層提供企業(yè)經(jīng)營管理全景信息的業(yè)務(wù)指標(biāo)可視化平臺，主要功能模塊包括：ETL模塊、數(shù)據(jù)維護(hù)模塊、數(shù)據(jù)倉庫模塊、在線分析模塊、信息展現(xiàn)模塊和系統(tǒng)安全管理模塊，如圖2所示。

2.1 ETL模塊

ETL模塊，對各業(yè)務(wù)信息系統(tǒng)相關(guān)數(shù)據(jù)完成抽取，并參照相關(guān)要求進(jìn)行轉(zhuǎn)換，最終統(tǒng)一集成至數(shù)據(jù)倉庫。ETL模塊主要包括結(jié)構(gòu)化數(shù)據(jù)采集和非結(jié)構(gòu)化數(shù)據(jù)采集。結(jié)構(gòu)化數(shù)據(jù)采集：ETL是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過抽取、清洗轉(zhuǎn)換之后加載到數(shù)據(jù)倉庫的過程，目的是將企業(yè)中的分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起，為企業(yè)的決策提供分析依據(jù)。數(shù)據(jù)的抽取是從各個(gè)不同的數(shù)據(jù)源抽取到ODS（Operational Data Store，操作型數(shù)據(jù)存儲）中，在此過程完成數(shù)據(jù)的清洗和轉(zhuǎn)換。非結(jié)構(gòu)化數(shù)據(jù)采集：ETL讀取文件名稱、文件類型、文件大小、創(chuàng)建時(shí)間、修改時(shí)間、上傳時(shí)間、文件內(nèi)容的基本的信息，并將其存入HIVE中。

2.2 數(shù)據(jù)維護(hù)模塊

操作數(shù)據(jù)存儲（ODS）是用于支持企業(yè)日常的全局應(yīng)用的數(shù)據(jù)集合，滿足企業(yè)對于即時(shí)性的、操作性的、集成的全體信息的需求，常常被作為數(shù)據(jù)倉庫的數(shù)據(jù)源。Z研究所將ODS根據(jù)DW（數(shù)據(jù)倉庫）的特征分為SBA（業(yè)務(wù)特征區(qū)）層和LAM（輕度匯總層）層設(shè)計(jì)，進(jìn)行維度標(biāo)準(zhǔn)化和簡單匯總處理。根據(jù)設(shè)計(jì)需要，ODS只存放當(dāng)前或接近當(dāng)前的數(shù)據(jù)，如果需要的話還可以對ODS中的數(shù)據(jù)進(jìn)行增、刪和更新等操作。

2.3 數(shù)據(jù)倉庫模塊

數(shù)據(jù)倉庫是一個(gè)面向主題的、集成的、非易失的，用來支持管理人員決策的數(shù)據(jù)集合，數(shù)據(jù)倉庫中包含了粒度化的企業(yè)數(shù)據(jù)。數(shù)據(jù)倉庫不同于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，傳統(tǒng)的數(shù)據(jù)庫中的數(shù)據(jù)是圍繞功能進(jìn)行組織的，而數(shù)據(jù)倉庫是針對某一個(gè)主題進(jìn)行數(shù)據(jù)分析，z研究所建立了項(xiàng)目管理主題、人力資源主題、產(chǎn)品主題、財(cái)務(wù)主題等等，因此決策支持系統(tǒng)的數(shù)據(jù)倉庫采用“雪花模型”設(shè)計(jì)[4]。數(shù)據(jù)一旦進(jìn)入數(shù)據(jù)倉庫，就不能再被改變了，當(dāng)ODS中的數(shù)據(jù)改變后，再進(jìn)入數(shù)據(jù)倉庫就會產(chǎn)生新的記錄，保證了數(shù)據(jù)的可追溯。

2.4 在線分析處理模塊

為了充分利用計(jì)算機(jī)群集的存儲和計(jì)算能力，z研究所通過采用列式數(shù)據(jù)庫架構(gòu)最大限度地減少I/O爭用和使用大規(guī)模并行處理技術(shù)，確保大數(shù)據(jù)分析平臺不僅可在數(shù)秒鐘內(nèi)準(zhǔn)備并加載數(shù)據(jù)，還支持利用高級算法建立預(yù)測模型，輕松部署模型以提取、準(zhǔn)備和混合數(shù)據(jù)，為業(yè)務(wù)提供分析。

2.5 信息展現(xiàn)模塊

采用數(shù)據(jù)清洗、篩選、降維、聚類等操作將描述可視化任務(wù)的數(shù)據(jù)與視覺編碼進(jìn)行映射，在輸入查詢的維度以及條件之后，根據(jù)業(yè)務(wù)邏輯進(jìn)行相應(yīng)計(jì)算。結(jié)合當(dāng)前業(yè)務(wù)域指標(biāo)的分析和具體業(yè)務(wù)，選擇圖形或者表格來更好的展示具體的視圖。

2.6 系統(tǒng)安全管理模塊

本系統(tǒng)的安全設(shè)計(jì)主要采用三員管理思想，對應(yīng)用系統(tǒng)的安全性和數(shù)據(jù)的安全進(jìn)行安全管理。通過在決策支持系統(tǒng)中前置部署應(yīng)用服務(wù)安全網(wǎng)關(guān)設(shè)備，對所有進(jìn)出數(shù)據(jù)平臺系統(tǒng)的網(wǎng)絡(luò)訪問請求以及請求內(nèi)容按照可預(yù)定義的配置規(guī)則進(jìn)行規(guī)則匹配校驗(yàn)，阻止非法用戶請求以及一些基本的網(wǎng)絡(luò)攻擊形式。

3系統(tǒng)應(yīng)用效果

決策支持系統(tǒng)上線提供使用后，按天或者實(shí)時(shí)的抽取各業(yè)務(wù)部門應(yīng)用系統(tǒng)數(shù)據(jù)和錄入到采集軟件中的手工數(shù)據(jù)，數(shù)據(jù)的歸并和整合由系統(tǒng)自動完成，大大減少了每個(gè)月的各業(yè)務(wù)部門生成報(bào)表的工作量?；诟鲬?yīng)用系統(tǒng)的數(shù)據(jù)，決策支持系統(tǒng)實(shí)現(xiàn)了數(shù)據(jù)的指標(biāo)化，并統(tǒng)一了維度，全面的構(gòu)建了目前所內(nèi)的數(shù)據(jù)結(jié)構(gòu)，成功地將各應(yīng)用系統(tǒng)數(shù)據(jù)串通，并提供相應(yīng)的接口數(shù)據(jù)供其他應(yīng)用系統(tǒng)訪問，解決了各部門間的信息孤島問題。

決策支持系統(tǒng)建設(shè)使用后漸漸的成為所領(lǐng)導(dǎo)班子常用應(yīng)用系統(tǒng)之一，它有效地讓所領(lǐng)導(dǎo)實(shí)時(shí)了解自己分管業(yè)務(wù)的發(fā)展運(yùn)行情況，快速的根據(jù)業(yè)務(wù)狀態(tài)調(diào)整策略，提高z研究所的經(jīng)營管理能力。

4結(jié)束語

通過決策支持系統(tǒng)的建設(shè)，z研究所初步形成了統(tǒng)一的信息化規(guī)范數(shù)據(jù)，通過對日常經(jīng)營管理數(shù)據(jù)的提煉并用可視化的方式反應(yīng)研究所的運(yùn)營情況及走勢，為領(lǐng)導(dǎo)層決策提供了支持和管理工具，促進(jìn)研究所更快更好的發(fā)展。

參考文獻(xiàn)

[1] 崔曼，薛惠鋒.基于云計(jì)算的智能決策支持系統(tǒng)研究[J].信息管理，2014（2）：72-74.

[2] 徐婧，劉伊生，李欣桐.基于大數(shù)據(jù)的重大工程智能群體決策支持系統(tǒng)研究[J].河南科學(xué)，2019（6）：1014-1019.

[3] 王偉杰，黃建隆，郭勝杰.基于大數(shù)據(jù)的醫(yī)院運(yùn)營決策支持系統(tǒng)建設(shè)[J].中國數(shù)字醫(yī)學(xué)，2019（2）：49-51.

[4] 唐秀忠，陳洪磊，陸玉發(fā).基于OLAP的高校數(shù)據(jù)分析與決策支持系統(tǒng)研究[J].現(xiàn)代電子技術(shù)，2019（2）：155-158.

作者簡介

吳飛（1990-），男，江西景德鎮(zhèn)人;學(xué)歷：碩士，職稱：工程師，現(xiàn)就職單位：中國直升機(jī)設(shè)計(jì)研究所，研究方向：大數(shù)據(jù)技術(shù)與應(yīng)用軟件工程。