譚宇翔，陳誠

（阿里云計算有限公司，江蘇 南京 210000）

0 引言

南水北調(diào)工程調(diào)度運行管理系統(tǒng)承擔工程運行管理主要核心業(yè)務，實時監(jiān)測工情、水情、水質(zhì)、圖像視頻等，為應對長距離輸水、多形態(tài)工程設施、工程管理業(yè)務關(guān)聯(lián)復雜導致系統(tǒng)建設更迭速度快的問題[1]，并進一步貫徹落實水利部“智慧水利”的決策部署，推進數(shù)據(jù)驅(qū)動發(fā)展的數(shù)字化轉(zhuǎn)型戰(zhàn)略規(guī)劃，促進調(diào)度管理理念和治水模式進步，實現(xiàn)南水北調(diào)工程數(shù)據(jù)資源目錄管理，提供統(tǒng)一的數(shù)據(jù)服務、分析能力，以數(shù)據(jù)流驅(qū)動業(yè)務，夯實智慧調(diào)水數(shù)據(jù)基礎，本文在專有云服務平臺基礎上，協(xié)同業(yè)務中臺微服務架構(gòu)構(gòu)建標準化、規(guī)范化數(shù)據(jù)中臺，對接數(shù)據(jù)采集系統(tǒng)，應對業(yè)務應用系統(tǒng)信息孤島問題，實現(xiàn)數(shù)據(jù)資源共享，沉淀數(shù)據(jù)價值，為有效挖掘數(shù)據(jù)價值及智能化應用提供支撐[2]。

1 數(shù)據(jù)分析

南水北調(diào)工程調(diào)度運行管理系統(tǒng)涉及工程監(jiān)控、水量調(diào)度、工程管理等業(yè)務，業(yè)務數(shù)據(jù)采集來源包括以下內(nèi)容。水情數(shù)據(jù)：以站點為基本單位，存放站名、站碼、站類型等基本信息及水位、流量實時水情信息；水質(zhì)數(shù)據(jù)：包含測點名稱、采樣日期、水溫、PH值、溶解度、高錳酸鉀指數(shù)、氨氮等內(nèi)容；泵站工程屬性：包括泵站名稱、設計揚程、設計流量、最高站上水位、最低站上水位、最高站下水位、最低站下水位、站上防洪水位、站下防洪水位、裝機臺數(shù)、裝機容量、建成日期；閘站工程屬性：包括名稱、編號、設計上游水位、設計下游水位、閘孔數(shù)；機電設備：包括泵閘站所管理的設備名稱、編號、型號、數(shù)量、購價、生產(chǎn)廠家、購買日期、使用部門等及關(guān)聯(lián)相應的文字、圖片、視頻資料；湖泊、河道、渠道等基礎數(shù)據(jù)；統(tǒng)一用戶數(shù)據(jù)；調(diào)度方案；合同；調(diào)水計劃；政策法規(guī)；空間地理數(shù)據(jù)；視頻采集數(shù)據(jù)；工程管理和監(jiān)控數(shù)據(jù)。鑒于分批建設等歷史原因，上述數(shù)據(jù)采集在數(shù)據(jù)存儲及使用上存在以下問題：第一，標準化運維問題。數(shù)據(jù)分散存儲在各個系統(tǒng)中，需要業(yè)務人員配合才能定位數(shù)據(jù)；數(shù)據(jù)多源匯聚，維護工作量大；同義數(shù)據(jù)存在多源多表現(xiàn)形式的問題；隨著應用系統(tǒng)開發(fā)上線，數(shù)據(jù)運維能力需求將越來越迫切；第二，缺少統(tǒng)一管控平臺。無論是存量或者增量數(shù)據(jù)都缺少統(tǒng)一的管控平臺，數(shù)據(jù)隨業(yè)務系統(tǒng)新建而新增，當系統(tǒng)廢棄不用后，歷史數(shù)據(jù)存在無法被讀取使用的風險；第三，數(shù)據(jù)割裂共享難。辦公、財務、檔案、調(diào)度、工程管理、工程監(jiān)控等業(yè)務因涉及不同部門，各個系統(tǒng)呈現(xiàn)“煙囪式”數(shù)據(jù)庫，系統(tǒng)間數(shù)據(jù)互通難。與水利、國土、氣象等外部數(shù)據(jù)交換、共享不夠。缺少數(shù)據(jù)共享的全生命周期的數(shù)據(jù)統(tǒng)一管理；第四，數(shù)據(jù)價值無法體現(xiàn)?？鐦I(yè)務領域的數(shù)據(jù)挖掘及關(guān)聯(lián)分析因數(shù)據(jù)共享難，無法有效挖掘數(shù)據(jù)價值并將數(shù)據(jù)價值化反作用于生產(chǎn)而提升運營管理和企業(yè)戰(zhàn)略決策。

綜上所述，需在技術(shù)層面上構(gòu)建統(tǒng)一的數(shù)據(jù)平臺來落實數(shù)據(jù)標準，實現(xiàn)數(shù)據(jù)共享，挖掘數(shù)據(jù)價值，幫助調(diào)水業(yè)務轉(zhuǎn)型升級，從業(yè)務驅(qū)動走向數(shù)據(jù)驅(qū)動，體現(xiàn)數(shù)據(jù)的價值[3]。

2 數(shù)據(jù)中臺設計

數(shù)據(jù)中臺是指通過數(shù)據(jù)技術(shù)，對海量數(shù)據(jù)進行采集、處理、加工，統(tǒng)一標準和口徑，再進行存儲，形成數(shù)據(jù)中臺資源層，進而提供全域高效服務，實現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務。數(shù)據(jù)中臺通過數(shù)字化轉(zhuǎn)型管理思路建設一套全新的、科學的中臺架構(gòu)驅(qū)動管理提升，從局部規(guī)劃設計向全局規(guī)劃和頂層設計轉(zhuǎn)變，逐步實現(xiàn)業(yè)務數(shù)字化。

本論文根據(jù)數(shù)據(jù)中臺建設的最佳實踐與企業(yè)數(shù)字化轉(zhuǎn)型的成功經(jīng)驗設計南水北調(diào)工程江蘇段調(diào)度運行管理系統(tǒng)數(shù)據(jù)中臺，設計遵循全面建設“智慧調(diào)度、智能控制”的智慧水利建設思路，以業(yè)務服務為主線，在信息安全基礎上，進一步打破“信息孤島”，盤活融通數(shù)據(jù)資產(chǎn)、激活數(shù)據(jù)服務能力，促進“業(yè)務數(shù)據(jù)化、數(shù)據(jù)業(yè)務化”的正循環(huán)效應，解決不同系統(tǒng)間“信息孤島”，實現(xiàn)數(shù)據(jù)共享，以數(shù)據(jù)驅(qū)動工程監(jiān)控、工程管理、水量調(diào)度等業(yè)務，實現(xiàn)數(shù)據(jù)采集、治理、倉儲、挖掘以及應用的功能，集中分析和展示監(jiān)控安全運營管理，實現(xiàn)優(yōu)化、經(jīng)濟運行，滿足水源地、輸水區(qū)、調(diào)水沿線供水、防洪、排澇、航運等業(yè)務需求。設計方案具體由四個方面構(gòu)成：第一，數(shù)據(jù)中臺基礎平臺。數(shù)據(jù)中臺是構(gòu)建數(shù)據(jù)中心的底座，通過基礎云環(huán)境構(gòu)建，形成包含存儲組件、計算組件、分析組件的技術(shù)底盤，滿足企業(yè)對數(shù)據(jù)全域融合存儲、復合計算、實時響應等需求；第二，數(shù)據(jù)標準、數(shù)據(jù)模型架構(gòu)。定義數(shù)據(jù)中臺的標準體系，含數(shù)據(jù)標準規(guī)范、數(shù)據(jù)集成標準規(guī)范、數(shù)據(jù)分析指標規(guī)范、數(shù)據(jù)交換與共享規(guī)范，確定數(shù)據(jù)資產(chǎn)目錄和數(shù)據(jù)模型清單；第三，數(shù)據(jù)資產(chǎn)中心。搭建數(shù)據(jù)中臺匯聚與共享平臺，采集并整合部門及泵站相關(guān)數(shù)據(jù)，建立綜合數(shù)據(jù)庫和共享交換數(shù)據(jù)庫，并且建立對數(shù)據(jù)資產(chǎn)的管理、維護、更新和使用的長效管理機制，實現(xiàn)企業(yè)各部門之間的互聯(lián)互通、資源共享，促進跨部門的業(yè)務協(xié)同，實現(xiàn)數(shù)據(jù)資源的全面匯聚和高效利用；第四，支撐多形態(tài)應用。通過數(shù)據(jù)資產(chǎn)中心，支撐全面洞察決策和智能應用。一方面，利用數(shù)據(jù)中臺技術(shù)，構(gòu)建調(diào)水運行分析指標，實現(xiàn)調(diào)度系統(tǒng)全過程、全要素分析。形成對系統(tǒng)內(nèi)數(shù)據(jù)和外部環(huán)境等數(shù)據(jù)的深度挖掘與融合分析能力，實現(xiàn)數(shù)據(jù)中臺服務支撐體系科學化運作，圍繞智慧調(diào)水系統(tǒng)開展應用示范，有效提升企業(yè)運營質(zhì)量與效益。實現(xiàn)生產(chǎn)運營精細化監(jiān)管，實現(xiàn)防范安全風險，進一步提升管控水平及決策能力[4]。

3 數(shù)據(jù)中臺搭建

數(shù)據(jù)中臺實踐依循頂層設計、方案設計、開發(fā)治理、交付驗證和運維運營流程規(guī)范，配備相應的使能技術(shù)工具。數(shù)據(jù)中臺實踐融合全量數(shù)據(jù)，將分散的數(shù)據(jù)通過OneData、OneID、OneService的架構(gòu)模式進行梳理和組織，挖掘數(shù)據(jù)價值。數(shù)據(jù)中臺整體架構(gòu)參考先進的互聯(lián)網(wǎng)雙中臺的架構(gòu)設計模式，實現(xiàn)敏捷響應、服務復用、業(yè)務創(chuàng)新以及數(shù)據(jù)化運營的需求。在架構(gòu)落地層面，提供分布式的互聯(lián)網(wǎng)級中間件開發(fā)組件，確保技術(shù)落地的先進性、可管理性，強力支撐業(yè)務的動態(tài)變化調(diào)整基于數(shù)據(jù)，實現(xiàn)“物在線、人在線、服務在線”的數(shù)字化目標?；跀?shù)據(jù)治理工具，通過梳理當前的數(shù)據(jù)資源，建立包含數(shù)據(jù)資源管理、數(shù)據(jù)標準化、數(shù)據(jù)治理、數(shù)倉建設、數(shù)據(jù)服務、數(shù)據(jù)可視化為中心的數(shù)據(jù)中臺。具體內(nèi)容如下：第一，數(shù)據(jù)資源管理。過開發(fā)數(shù)據(jù)庫管理、應用資源管理、數(shù)據(jù)資源管理、數(shù)據(jù)質(zhì)量管理模塊，將數(shù)據(jù)統(tǒng)一納入數(shù)據(jù)中臺，對數(shù)據(jù)進行監(jiān)控，做到“心中有數(shù)”，能夠?qū)?shù)據(jù)資源進行統(tǒng)一調(diào)度管理；第二，數(shù)據(jù)標準化。構(gòu)建資源標準化，依托現(xiàn)有業(yè)務系統(tǒng)，梳理現(xiàn)有業(yè)務系統(tǒng)數(shù)據(jù)庫，升級完善標準規(guī)范體系，完善目錄注冊、發(fā)布、查詢、節(jié)點管理功能模塊，構(gòu)建完整的調(diào)水信息目錄服務體系。同時開發(fā)公共屬性管理模塊及元數(shù)據(jù)管理功能模塊形成各類標準化數(shù)據(jù)集，用于發(fā)布或共享的數(shù)據(jù)，提供標準化數(shù)據(jù)查閱、共享；第三，數(shù)據(jù)治理。設置數(shù)據(jù)通道，實現(xiàn)元數(shù)據(jù)、關(guān)系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、MPP數(shù)據(jù)庫、非結(jié)構(gòu)化存儲全量、增量匯聚，管控各種數(shù)據(jù)類型的轉(zhuǎn)換、過濾、采集，提供全鏈路的流量、數(shù)據(jù)量、臟數(shù)據(jù)探測和運行時匯報。設置業(yè)務流程設計器，可以實現(xiàn)將不同類型業(yè)務節(jié)點組織在一起的開發(fā)方式，讓用戶能以業(yè)務流程為中心組織數(shù)據(jù)開發(fā)邏輯。設置數(shù)據(jù)清洗表達式，支持多種數(shù)據(jù)清洗轉(zhuǎn)換方法，包括數(shù)據(jù)篩選、表達式、連接、聯(lián)合、匯總、排序、自定義代碼片段、函數(shù)等；第四，數(shù)倉構(gòu)建。提供固化數(shù)據(jù)的處理邏輯和處理過程的功能，引用預置算子并配置算子的參數(shù)，以智能化數(shù)據(jù)處理方式來降低人工參與程度，提高數(shù)據(jù)清洗策略的準確性，保證數(shù)據(jù)按數(shù)據(jù)標準的要求被正確處理。利用現(xiàn)有的數(shù)據(jù)存儲工具及能力，構(gòu)建主題數(shù)據(jù)域，梳理各業(yè)務系統(tǒng)對數(shù)據(jù)需求，形成各類數(shù)據(jù)集市；根據(jù)業(yè)務類型，形成多類主題數(shù)據(jù)域；構(gòu)建領導視圖，形成“智慧大腦”，為調(diào)水綜合決策科學化提供支撐；第五，數(shù)據(jù)服務。按照數(shù)據(jù)中臺建設目標，構(gòu)建數(shù)據(jù)共享服務平臺，開發(fā)標準表管理模塊、通過對數(shù)據(jù)資源中心的數(shù)據(jù)資源進行封裝，形成標準的數(shù)據(jù)服務，實現(xiàn)服務共享網(wǎng)關(guān)、數(shù)據(jù)集市等功能，為各個業(yè)務應用提供數(shù)據(jù)開放與共享能力[5]。

4 結(jié)語

南水北調(diào)工程調(diào)度運行管理系統(tǒng)承擔工程運行管理主要核心業(yè)務，數(shù)據(jù)中臺向上支撐各類應用業(yè)務系統(tǒng)，向下提供各類數(shù)據(jù)采集、存儲、交換、共享的統(tǒng)一標準規(guī)范，能節(jié)省人力成本，有效匯聚全網(wǎng)絡數(shù)據(jù)，有效落實工程管理規(guī)范化、標準化、精細化，提高工程調(diào)度運行管理的整體水平，有助于構(gòu)建更加科學、規(guī)范、先進、高效的現(xiàn)代化工程管理體系，做到“組織系統(tǒng)化，權(quán)責明晰化，業(yè)務流程化，措施具體化，行為標準化，控制過程化，考核定量化，獎懲有據(jù)化”。