錢晨 　王健生　李歡歡　曹光

摘 要：針對數(shù)據(jù)分析在投資管理中的效率問題，提出并設(shè)計了一套完整高效的數(shù)據(jù)分析方法及系統(tǒng)。該系統(tǒng)采用數(shù)據(jù)中臺的思想并結(jié)合BI前端工具進行數(shù)據(jù)處理和展示，不僅提取了主數(shù)據(jù)系統(tǒng)中的關(guān)鍵指標(biāo)，還將多個原子指標(biāo)轉(zhuǎn)化為復(fù)雜度且綜合性更高的衍生指標(biāo)，挖掘數(shù)據(jù)背后的商機，讓用戶直觀地看到不同維度下投資情況的對比結(jié)果，為企業(yè)制定投資藍(lán)圖提供參考。系統(tǒng)經(jīng)過在線測試和試運行階段后，已正式投入使用，并取得了良好的效果。

關(guān)鍵詞：數(shù)據(jù)分析；投資管理；數(shù)據(jù)中臺；BI前端工具；衍生指標(biāo)

中圖分類號： TP311.5文獻標(biāo)志碼： A文章編號：1001-2443（2023）02-0126-05

隨著國家能源結(jié)構(gòu)和產(chǎn)業(yè)結(jié)構(gòu)的調(diào)整，環(huán)保能源行業(yè)依靠政策的導(dǎo)向快速發(fā)展。那么如何在這波浪潮中把握投資機遇是當(dāng)今環(huán)保能源型企業(yè)發(fā)展面臨的主要困難和挑戰(zhàn)。目前有一些學(xué)者開展了投資管理方面的研究，并取得了實質(zhì)性的進展。張鐘學(xué)等人分析了中國各省的面板數(shù)據(jù)資料，發(fā)現(xiàn)投資環(huán)境在人力資源、開放化和產(chǎn)業(yè)化方面的發(fā)展迅速，隨著政策與法律環(huán)境的逐步完善，東部與中西部的投資環(huán)境差異逐漸縮?。?］。衛(wèi)翔充分利用大數(shù)據(jù)分析的優(yōu)勢，對證券投資業(yè)務(wù)管理過程中存在的問題進行有效控制并找到解決策略，從而更好地提升證券投資業(yè)務(wù)的管理水平［2］。劉艷介紹了移動大數(shù)據(jù)的概念、發(fā)展歷程，分析了數(shù)據(jù)挖掘和數(shù)據(jù)分析技術(shù)在金融投資領(lǐng)域的應(yīng)用［3］。由上述研究現(xiàn)狀總結(jié)可見，對投資管理的研究主要偏向于對數(shù)據(jù)分析系統(tǒng)的應(yīng)用，而對投資分析系統(tǒng)的設(shè)計方法鮮有涉足。在此背景下，本文提供了一套投資管理數(shù)據(jù)分析方法及系統(tǒng)，該系統(tǒng)基于數(shù)據(jù)中臺的思想，從源頭抽取數(shù)據(jù)進行轉(zhuǎn)換、匯總、統(tǒng)計計算和存儲等操作，形成標(biāo)準(zhǔn)的、統(tǒng)一的、有價值的數(shù)據(jù)，定時推送給前端BI工具進行可視化展示，從而讓用戶直觀地看到不同維度下投資數(shù)據(jù)的對比結(jié)果，為公司高層投資決策提供全方位多角度的數(shù)據(jù)支撐。

1 技術(shù)概述

在本系統(tǒng)設(shè)計過程中，主要用到以下兩種關(guān)鍵技術(shù)：

1.1 中臺架構(gòu)

所謂中臺是協(xié)調(diào)前臺和后臺矛盾的中間結(jié)構(gòu)。它提供了數(shù)據(jù)采集、數(shù)據(jù)共享和數(shù)據(jù)分析等全鏈路一體化的服務(wù)，提供面向企業(yè)業(yè)務(wù)應(yīng)用的數(shù)據(jù)智能平臺［4］。由于各行各業(yè)的業(yè)務(wù)范圍不同，所以應(yīng)根據(jù)自身信息系統(tǒng)建設(shè)水平制定適合企業(yè)發(fā)展的數(shù)據(jù)中臺方案。

本文嚴(yán)格按照企業(yè)內(nèi)部統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)模型，利用主流的數(shù)據(jù)開發(fā)工具，以業(yè)務(wù)需求為導(dǎo)向進行數(shù)據(jù)采集、整合和分析，形成數(shù)據(jù)中臺的三層服務(wù)架構(gòu)［5］，如圖1所示，自上而下分別為數(shù)據(jù)貼源層（ODS，Operation Data Store）、數(shù)據(jù)公共層（CDM，Common Data Model）和數(shù)據(jù)應(yīng)用層（ADS，Application Data Service）［7-8］，其中ODS層是把數(shù)據(jù)直接導(dǎo)入數(shù)倉的接入層；CDM層主要是完成對ODS層數(shù)據(jù)的加工、處理和整合，建立統(tǒng)一的維度，構(gòu)建可復(fù)用的面向分析和統(tǒng)計的明細(xì)事實表；ADS層是從CDM層獲取所需的明細(xì)數(shù)據(jù)按業(yè)務(wù)需求進行定制化開發(fā)，為前端專題頁面提供分析數(shù)據(jù)。

1.2 商業(yè)智能工具（BI）

BI作為一套完整的企業(yè)解決方案在大數(shù)據(jù)應(yīng)用領(lǐng)域受到人們的廣泛關(guān)注。它是一種對大量信息進行采集和重新組裝的過程，這個過程與知識創(chuàng)造和知識共享緊密結(jié)合，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營決策［6］。

由于常規(guī)的BI工具都具有強大的數(shù)據(jù)采集、 數(shù)據(jù)清洗與轉(zhuǎn)換、 數(shù)據(jù)分析和可視化等功能，所以使用BI工具工具進行數(shù)據(jù)分析和挖掘只需掌握基礎(chǔ)的SQL語句和JS腳本語言就能夠方便地進行企業(yè)經(jīng)營數(shù)據(jù)分析和可視化展示。

本文利用BI工具將分析處理后的數(shù)據(jù)進一步清洗和轉(zhuǎn)化，加載到配置好的前端頁面模板中，最后以WEB形式展示給客戶。

2 業(yè)務(wù)場景設(shè)計

通過與投資管理部業(yè)務(wù)人員溝通收集需求，并進行需求分析后發(fā)現(xiàn)投資管理過程中存在大量的指標(biāo)數(shù)據(jù)，如果沒有對場景進行清晰的劃分，用戶很難從中找到自己需要的數(shù)據(jù)，從而無法進行指標(biāo)間的對比分析。因此，本文將投資管理數(shù)據(jù)劃分為兩大場景，如圖2所示，分別是投資項目地圖和項目公司投資地圖。通過對場景的劃分，將數(shù)據(jù)指標(biāo)分配在不同場景中，一方面梳理了指標(biāo)邏輯，另一方面強化了用戶對各場景的理解和把控。

2.1 投資項目地圖

投資項目地圖的主要功能是通過簽約年度、項目類型和區(qū)域篩選查詢出不同年度、項目類型以及地區(qū)項目的投資情況，在此基礎(chǔ)上通過Axure軟件設(shè)計出投資項目地圖原型，所涉及到的關(guān)鍵指標(biāo)如表1所示。

2.2 項目公司投資地圖

項目公司投資地圖的主要功能是通過篩選日期、項目狀態(tài)、區(qū)域、項目類型以及省份等查看分析特定時間，狀態(tài)和區(qū)域的項目公司投資情況，并通過Axure軟件繪制出項目公司地圖原型，通過條件篩選可以在地圖中查看項目公司的投資分布、項目數(shù)量以及業(yè)務(wù)類型，所涉及到的關(guān)鍵指標(biāo)如表2所示。

3 系統(tǒng)總體設(shè)計

業(yè)務(wù)場景數(shù)據(jù)域劃分完成后根據(jù)系統(tǒng)需求，設(shè)計出系統(tǒng)總體架構(gòu)，如圖3所示。該系統(tǒng)架構(gòu)由數(shù)據(jù)接入、中臺系統(tǒng)（數(shù)據(jù)存儲與管理、數(shù)據(jù)分析處理、結(jié)果數(shù)據(jù)存儲）和前端工具構(gòu)成，并通過日志功能記錄系統(tǒng)全流程運行情況。

圖4給出了具體設(shè)計方案，從圖中可以看出中臺系統(tǒng)從數(shù)據(jù)源獲取數(shù)據(jù)，經(jīng)數(shù)據(jù)清洗和轉(zhuǎn)換后，把數(shù)據(jù)按分區(qū)加載到數(shù)據(jù)倉庫的ODS層中，完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉庫的轉(zhuǎn)移過程［9］，然后按業(yè)務(wù)上的關(guān)聯(lián)關(guān)系將數(shù)據(jù)表匯總合并生成明細(xì)表，按分區(qū)存儲到數(shù)據(jù)倉庫的CDM層中，進一步對明細(xì)表增加業(yè)務(wù)限定條件再進行分類統(tǒng)計生成統(tǒng)計表，按分區(qū)存儲到數(shù)據(jù)倉庫的CDM層中，最后將CDM層的明細(xì)數(shù)據(jù)和統(tǒng)計數(shù)據(jù)整合成一個主題域的寬表，按分區(qū)存儲到數(shù)據(jù)倉庫的ADS層中等待管道定時將數(shù)據(jù)寫入到BI工具的后臺數(shù)據(jù)庫中［10］，如此在調(diào)度模塊的作用下循環(huán)往復(fù)執(zhí)行上述步驟，便可在BI前端展示出面向主題的、集成的、非易失的、隨時間變化［11］的投資數(shù)據(jù)分析結(jié)果。

4 系統(tǒng)關(guān)鍵功能實現(xiàn)

根據(jù)圖3中的系統(tǒng)架構(gòu)模型，按功能進一步把系統(tǒng)自下而上拆分成抽取轉(zhuǎn)化裝載模塊（ETL模塊）、分析處理模塊以及BI應(yīng)用模塊，除此之外還包括輔助功能模塊（任務(wù)配置和調(diào)度配置），如圖5所示，下面將對這些功能塊分別加以說明。

4.1 ETL模塊

根據(jù)環(huán)保能源項目投資數(shù)據(jù)分析，設(shè)計出符合業(yè)務(wù)需求的ETL模塊［12］。圖6給出了設(shè)計方案，首先是抽取數(shù)據(jù)，該模塊定時向RESTFUL API接口［13］發(fā)起請求獲取主數(shù)據(jù)系統(tǒng)中的相應(yīng)數(shù)據(jù)。其次是轉(zhuǎn)化，經(jīng)過一系列自定義的業(yè)務(wù)規(guī)則、轉(zhuǎn)換規(guī)則和變化規(guī)則等規(guī)則庫串聯(lián)處理后轉(zhuǎn)化成統(tǒng)一、一致和高度集成的標(biāo)準(zhǔn)化數(shù)據(jù)；最后是裝載，將轉(zhuǎn)換完成的數(shù)據(jù)按分區(qū)以增量或全量的方式加載到數(shù)據(jù)倉庫的ODS層中，實現(xiàn)從數(shù)據(jù)源到數(shù)據(jù)倉庫的轉(zhuǎn)移過程。

4.2 分析處理模塊

原數(shù)據(jù)經(jīng)過ETL處理后存儲在數(shù)據(jù)倉庫的ODS層以便數(shù)據(jù)處理模塊隨時調(diào)用。數(shù)據(jù)處理模塊的主要功能是對ODS層的數(shù)據(jù)進行加工處理最終通過不同維度展示企業(yè)投資布局，為企業(yè)戰(zhàn)略制定提供依據(jù)。同時，數(shù)據(jù)處理模塊還具備分區(qū)功能，本文以時間分區(qū)為例，將當(dāng)天提取、計算、整合的數(shù)據(jù)劃分至同一分區(qū)，該分區(qū)功能不僅能為全量和增量兩種數(shù)據(jù)更新方式提供合理的存儲空間［14］，還能夠起到歷史數(shù)據(jù)追蹤的功能，一旦某個分區(qū)出現(xiàn)問題，可以通過回溯歷史分區(qū)的方式進行缺陷修復(fù)。

由于投資管理過程中需要分析的指標(biāo)數(shù)據(jù)很多，所以僅對原子指標(biāo)的統(tǒng)計分析已經(jīng)無法滿足需求，還需要對多個原子指標(biāo)匯總計算得出的衍生指標(biāo)［15］進行分析，通過對衍生指標(biāo)的統(tǒng)計和分析，能夠挖掘更深層次的業(yè)務(wù)關(guān)聯(lián)性。本系統(tǒng)的數(shù)據(jù)處理模塊能夠根據(jù)用戶需求，靈活處理和計算衍生指標(biāo)，例如以年平均垃圾處理服務(wù)費為例，首先分別對兩個度量值處理單價和處理重量按項目編碼分組求平均生成對應(yīng)的原子指標(biāo)，然后通過統(tǒng)計周期和業(yè)務(wù)限定等對這兩個指標(biāo)進行約束，生成衍生指標(biāo)，如圖7所示。

4.3 BI應(yīng)用模塊

通過充分共享將分析統(tǒng)計的結(jié)果轉(zhuǎn)化為知識，進一步把知識應(yīng)用到投資管理領(lǐng)域形成智慧，幫助企業(yè)投資團隊做出更明智的決策。把BI應(yīng)用模塊自下而上分解成數(shù)據(jù)持久層、基于BI的WEB服務(wù)層以及WEB客戶端層［16］，如圖8所示。其中數(shù)據(jù)持久層是用于存儲從數(shù)據(jù)倉庫ADS層導(dǎo)出的統(tǒng)計分析結(jié)果表；基于BI的WEB服務(wù)層是通過添加數(shù)據(jù)源和創(chuàng)建數(shù)據(jù)集將指定持久層中的結(jié)果集讀取到BI工具的數(shù)據(jù)集中，為WEB客戶端提供數(shù)據(jù)服務(wù)；WEB客戶端層是通過拉取和配置各種組件制作戰(zhàn)略駕駛艙、分析頁面和報表展示頁面等，同時關(guān)聯(lián)數(shù)據(jù)集中的字段做相應(yīng)的統(tǒng)計分析工作，這樣業(yè)務(wù)人員和上級管理層就可以在瀏覽器上看到不同維度下分析的結(jié)果，從而挖掘出數(shù)據(jù)背后的投資商機。

4.4 輔助功能模塊

為了增強本系統(tǒng)的性能，避免人工誤操作帶來的風(fēng)險，特地引入輔助功能模塊作為支撐，該模塊主要由調(diào)度模塊和任務(wù)模塊組成［17］。其中任務(wù)模塊的主要功能是配置數(shù)據(jù)處理任務(wù)的層級和執(zhí)行順序，使得整個系統(tǒng)的數(shù)據(jù)處理過程遵循嚴(yán)格的邏輯順序和前后關(guān)聯(lián)性。任務(wù)配置可以按照業(yè)務(wù)需求自定義任務(wù)的名稱，動態(tài)調(diào)整上下游節(jié)點以及依賴關(guān)系，實現(xiàn)按需彈性快速的配置任務(wù)流，同時配合調(diào)度模塊一起使用，達到定時自動運行的效果。

以項目公司地圖場景為例，統(tǒng)計分析不同維度下項目公司的投資情況，如圖9所示，當(dāng)主程序按照調(diào)度時間運行后，整個任務(wù)流將從【start】節(jié)點開始按照層級順序依次執(zhí)行，首先從主數(shù)據(jù)系統(tǒng)獲取原始數(shù)據(jù)作為任務(wù)流的第一層，然后經(jīng)過ETL處理后將各表按主外鍵關(guān)聯(lián)性匯總合并生成事實明細(xì)表作為任務(wù)流的第二層，再將明細(xì)數(shù)據(jù)進一步分類統(tǒng)計生成統(tǒng)計表作為任務(wù)流的第三層，最后將明細(xì)數(shù)據(jù)和統(tǒng)計數(shù)據(jù)加以整合形成供前端場景頁面調(diào)用的寬表作為任務(wù)流的第四層，并通過任務(wù)節(jié)點exp_ads_pub_mgt_company_cm以管道的方式輸出到后臺持久層數(shù)據(jù)庫存儲，等待前端BI工具進一步分析處理后進行頁面展示。

5 系統(tǒng)應(yīng)用

系統(tǒng)在環(huán)保能源總部部署以來運行效果良好。圖10給出了項目公司地圖，最上方以總覽的方式概括了項目公司的地理分布和投資概況，緊接著下方通過菜單篩選的方式，統(tǒng)計分析各項目公司在特定時間，不同項目類型和多個區(qū)域上的投資情況，并通過地圖、柱狀圖和明細(xì)表分類展示統(tǒng)計結(jié)果。隨后點擊結(jié)果集上的項目公司名稱會進一步下轉(zhuǎn)到項目公司投資項目信息，如圖11所示，通過可視化圖表從多個維度呈現(xiàn)出不同年度、項目類型以及地區(qū)項目的投資情況。

通過上述圖表結(jié)合，不同維度由點及面的數(shù)據(jù)分析，可以全面掌控整個公司的投資布局，有利于挖掘數(shù)據(jù)中的潛在價值，發(fā)現(xiàn)投資管理中存在的問題，便于管理層做進一步行動的決策部署。

6 結(jié)語

基于中臺思想的投資管理數(shù)據(jù)分析系統(tǒng)由數(shù)據(jù)接入、數(shù)據(jù)存儲與管理、數(shù)據(jù)分析處理、結(jié)果數(shù)據(jù)存儲和前端BI工具組成。通過對業(yè)務(wù)場景的劃分實現(xiàn)了以不同維度展示投資項目地圖和項目公司投資地圖的功能，幫助企業(yè)在投資管理中從事數(shù)據(jù)分析和挖掘工作提供思路和建議。

參考文獻

［1］張鐘學(xué)，卞愛蓮.中國各省投資環(huán)境的空間動態(tài)的面板數(shù)據(jù)分析［J］.四川大學(xué)學(xué)報（哲學(xué)社會科學(xué)版），2011（2）：75-83.

［2］衛(wèi)翔.大數(shù)據(jù)背景下商業(yè)銀行證券投資業(yè)務(wù)管理策略分析［J］.經(jīng)濟研究導(dǎo)刊，2022（12）：68-70.

［3］劉艷.移動大數(shù)據(jù)在金融投資領(lǐng)域中的應(yīng)用研究［J］.現(xiàn)代商業(yè)，2022（2）：35-37.

［4］翟雪松，楚肖燕，張紫徽，等.基于中臺架構(gòu)的教育信息化數(shù)字治理研究［J］.電化教育研究，2021，42（6）：40-46.

［5］李信鵬，劉威，楊智萍，等.電網(wǎng)企業(yè)數(shù)據(jù)中臺方案研究［J］.電力信息與通信技術(shù)，2020，18（2）：1-8.

［6］喬冰琴，段全虎，高翠蓮.企業(yè)大數(shù)據(jù)分析挖掘及大數(shù)據(jù)BI工具應(yīng)用實踐［J］.會計之友，2021（24）：131-137.

［7］王婷婷.數(shù)據(jù)倉庫和數(shù)據(jù)挖掘在學(xué)生成績分析中的應(yīng)用研究［D］.武漢：武漢科技大學(xué)，2007.

［8］李學(xué)鋒.礦山企業(yè)數(shù)據(jù)倉庫的應(yīng)用研究［D］.昆明：昆明理工大學(xué)，2005.

［9］鄭耀東，李旭峰，陳和平.工業(yè)企業(yè)數(shù)據(jù)中臺構(gòu)建方法探索［J］. 現(xiàn)代信息科技， 2020，4（21）：130-133.

［10］劉夢蘇. 基于 BI 的數(shù)據(jù)中心報表系統(tǒng)的設(shè)計研究［J］. 信息通信， 2018 （7）： 132-133.

［11］蔡莉， 梁宇， 朱揚勇， 等. 數(shù)據(jù)質(zhì)量的歷史沿革和發(fā)展趨勢［J］. 計算機科學(xué)， 2018， 45（4）： 1-10.

［12］張建興. 中國郵政速遞數(shù)據(jù)倉庫系統(tǒng) ETL 的設(shè)計與實現(xiàn)［D］. 北京：北京交通大學(xué)， 2014.

［13］馬青霞，王智鋼， 李廣水. 基于 RESTFUL 的面向服務(wù)數(shù)據(jù)挖掘原型系統(tǒng)的設(shè)計與實現(xiàn)［J］. 計算機應(yīng)用與軟件，2014， 31（2）： 41-43.

［14］趙宏博.實時數(shù)據(jù)倉庫環(huán)境中分區(qū)技術(shù)的研究與應(yīng)用［D］. 沈陽：東北大學(xué)， 2008.

［15］張青.面向?qū)ο罅鞒舔?qū)動的大數(shù)據(jù)集中管控模式［J］. 電信科學(xué)， 2015， 31（11）： 159-165.

［16］劉廣堂.商業(yè)智能BI系統(tǒng)在企業(yè)中的應(yīng)用［J］.能源技術(shù)與管理，2009（3）：146-148.

［17］鄭鵬.數(shù)據(jù)倉庫任務(wù)調(diào)度管理平臺的設(shè)計與實現(xiàn)［D］. 濟南：山東大學(xué)， 2018.

Design and Implementation of Investment Management Data Analysis System based on Middle Platform Architecture

QIAN Chen，WANG Jian-sheng，LI Huan-huan，CAO Guang

（Everbright Environmental Technology （China） Co.， Ltd.， Nanjing 210003，China）

Abstract： Aiming at the efficiency problem of data analysis in investment management， a complete and efficient data analysis method and system is put forward and designed. The system adopts the idea of data middle platform and BI front-end tools for data processing and display， and not only extracts the key indexes in the main data system， it also transforms the atomic index into a more complex and comprehensive derivative index， mining the business opportunities behind the data， allowing users to directly see the results of the comparison of investment in different dimensions， and providing a basis for enterprise strategic planning. After on-line test and trial run， the system has been put into use and achieved good results.

Key words： data analysis; investment management; data middle platform; BI front-end tools; derivative index

（責(zé)任編輯：馬乃玉）