柳躍，秦少星

（國能和利時信息技術(shù)有限公司，北京 100011）

1 前言

1.1 研究背景

物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)等新的信息技術(shù)的出現(xiàn)，標(biāo)志著智能制造時代的到來。當(dāng)前能源行業(yè)大型企業(yè)倡導(dǎo)煤電化路港航油一條龍、產(chǎn)運(yùn)銷縱向一體化的運(yùn)營模式。即上下游產(chǎn)業(yè)高度關(guān)聯(lián)，通過一體化運(yùn)營鏈條緊密銜接，實(shí)現(xiàn)煤炭從煤礦到港口、到電廠、到煤化工廠的產(chǎn)業(yè)鏈供應(yīng)運(yùn)營模式。生產(chǎn)運(yùn)營調(diào)度系統(tǒng)對實(shí)現(xiàn)一體化智能化有著強(qiáng)烈的需求，為實(shí)現(xiàn)煤炭、運(yùn)輸、電力、化工多產(chǎn)業(yè)生產(chǎn)經(jīng)營全流程貫通、全產(chǎn)業(yè)鏈銜接和全場景監(jiān)控，信息自動感知、計(jì)劃模型驅(qū)動、_調(diào)度智能協(xié)同、應(yīng)急快速精準(zhǔn)，打造“一體化集中管控、智能化高效協(xié)同、可視化高度融合”獨(dú)具特色的核心運(yùn)營平臺，為支撐業(yè)務(wù)快速的協(xié)同發(fā)展，支撐調(diào)度系統(tǒng)數(shù)據(jù)展示、運(yùn)營分析提供數(shù)據(jù)，對煤礦、電力、化工、港口等領(lǐng)域的實(shí)時數(shù)據(jù)采集的實(shí)時性、可靠性、安全性等要求越來越高。

數(shù)據(jù)是一切智慧化工作的基礎(chǔ)與起點(diǎn)，企業(yè)信息化的核心就是“業(yè)務(wù)數(shù)據(jù)化，數(shù)據(jù)價值化”。沒有高質(zhì)量的數(shù)據(jù)管理，就沒有系統(tǒng)應(yīng)用的互聯(lián)互通，就沒有持續(xù)價值創(chuàng)造的大數(shù)據(jù)應(yīng)用；沒有大量數(shù)據(jù)應(yīng)用也就沒有企業(yè)的智能化、智慧化，數(shù)據(jù)的采集是建設(shè)信息化的基石。針對工業(yè)過程中生產(chǎn)實(shí)時數(shù)據(jù)的特點(diǎn)，要求采集系統(tǒng)能針對數(shù)據(jù)源廣泛的分布性能，可靠的進(jìn)行數(shù)據(jù)采集；采集系統(tǒng)在進(jìn)行數(shù)據(jù)采集時需要具有很好的可擴(kuò)展性；能夠滿足對數(shù)據(jù)進(jìn)行實(shí)時分析，即對數(shù)據(jù)流需要按照設(shè)定好的邏輯進(jìn)行流水線式的處理。

1.2 研究現(xiàn)狀

當(dāng)前工業(yè)過程采集的數(shù)據(jù)來源廣，包含結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化，各種類型數(shù)據(jù)庫、文檔文件、傳感器、智能設(shè)備、互聯(lián)網(wǎng)、外部數(shù)據(jù)等。數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一，源數(shù)據(jù)管理能力缺失，導(dǎo)致數(shù)據(jù)很多，但雜亂無序。主要體現(xiàn)在以下幾方面：（1）數(shù)據(jù)覆蓋面有限。一體化運(yùn)營產(chǎn)業(yè)的上下游的數(shù)據(jù)資源仍然覆蓋不全，緊密銜接度不高，沒有覆蓋全業(yè)務(wù)板塊數(shù)據(jù)。（2）數(shù)據(jù)取用復(fù)雜。目前數(shù)據(jù)采集量雖然較多，形成了具有規(guī)模的大數(shù)據(jù)，但數(shù)據(jù)分布比較分散，存在信息孤島情況，各業(yè)務(wù)板塊之間的數(shù)據(jù)沒有形成有機(jī)結(jié)合體，不能統(tǒng)一協(xié)調(diào)和相互配合，全產(chǎn)業(yè)鏈數(shù)據(jù)沒有完全實(shí)現(xiàn)互聯(lián)互通。例如發(fā)電量隨季節(jié)波動較大，對煤炭的需求量也隨之發(fā)生變化。那么發(fā)電量和煤炭產(chǎn)量數(shù)據(jù)必須有機(jī)結(jié)合、調(diào)配后才能為生產(chǎn)運(yùn)營管理創(chuàng)造更大的價值。（3）數(shù)據(jù)質(zhì)量不可靠。高質(zhì)量數(shù)據(jù)是進(jìn)行數(shù)據(jù)分析的基礎(chǔ)，目前數(shù)據(jù)質(zhì)量低下，對于數(shù)據(jù)變化率過大的數(shù)據(jù)、長時間不刷新的數(shù)據(jù)沒有進(jìn)行充分檢測。其次，數(shù)據(jù)類型多而雜，包含結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化，以及各種類型數(shù)據(jù)庫、外部數(shù)據(jù)等，沒有形成統(tǒng)一的標(biāo)準(zhǔn)，導(dǎo)致數(shù)據(jù)質(zhì)量不高。（4）數(shù)據(jù)管理無規(guī)劃。當(dāng)數(shù)據(jù)的質(zhì)量出現(xiàn)問題后才能發(fā)現(xiàn)問題，沒有對數(shù)據(jù)的異常進(jìn)行診斷和預(yù)判。

2 數(shù)據(jù)采集系統(tǒng)架構(gòu)及功能

數(shù)據(jù)湖是存儲的各種各樣原始數(shù)據(jù)的獨(dú)立的、統(tǒng)一的“數(shù)據(jù)資源池”。數(shù)據(jù)湖可以容納各類必要的數(shù)據(jù)，全面覆蓋存量數(shù)據(jù)和增量數(shù)據(jù)，作為統(tǒng)一的數(shù)據(jù)存儲、處理、展現(xiàn)的邏輯區(qū)域，提供數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載、數(shù)據(jù)標(biāo)簽處理等基礎(chǔ)數(shù)據(jù)處理服務(wù)；提供對不同類型數(shù)據(jù)的一致性管理、實(shí)現(xiàn)數(shù)據(jù)匯聚及數(shù)據(jù)的標(biāo)準(zhǔn)化存儲，并作為數(shù)據(jù)標(biāo)準(zhǔn)落地的“承載容器”；向數(shù)據(jù)中臺提供對多源異構(gòu)數(shù)據(jù)的統(tǒng)一訪問能力。邊緣側(cè)實(shí)時數(shù)據(jù)采集作為數(shù)據(jù)湖及數(shù)據(jù)資源化平臺工具建設(shè)的一部分，邊緣側(cè)實(shí)時數(shù)據(jù)采集提供針對性工具集和整體解決方案服務(wù)，涉及內(nèi)容廣泛、牽涉角色眾多，邊緣側(cè)實(shí)時數(shù)據(jù)采集系統(tǒng)建設(shè)內(nèi)容主要包括：實(shí)時數(shù)據(jù)采集服務(wù)和配置管理系統(tǒng)，結(jié)合已有生產(chǎn)實(shí)時數(shù)據(jù)，在系統(tǒng)中進(jìn)行邊緣側(cè)實(shí)時數(shù)據(jù)采集工作驗(yàn)證，保證實(shí)時采集數(shù)據(jù)的質(zhì)量，以滿足數(shù)據(jù)建設(shè)中數(shù)據(jù)采集需求。

2.1 應(yīng)用架構(gòu)

工業(yè)過程數(shù)據(jù)采集和傳輸系統(tǒng)的應(yīng)用架構(gòu)總體業(yè)務(wù)描述如下：（1）邊緣側(cè)實(shí)時數(shù)據(jù)采集系統(tǒng)為能源行業(yè)全產(chǎn)業(yè)鏈實(shí)時數(shù)據(jù)提供管理功能，既能支持在生產(chǎn)單位的數(shù)據(jù)采集，也能支持基建單位的數(shù)據(jù)采集。同時也支持不同系統(tǒng)數(shù)據(jù)，以及不同格式數(shù)據(jù)采集，并提供數(shù)據(jù)管理系統(tǒng)，同時提供數(shù)據(jù)監(jiān)測和系統(tǒng)管理功能，便于用戶查看數(shù)據(jù)和管理。（2）采用模塊化設(shè)計(jì)，具備開放性和易擴(kuò)展性，以適應(yīng)各種協(xié)議類型外部系統(tǒng)的接入，系統(tǒng)功能和控制范圍的不斷擴(kuò)展，保證添加新組件和軟件升級不影響運(yùn)行的應(yīng)用程序，對系統(tǒng)的可用性和性能不會產(chǎn)生不利的影響，具備二次開發(fā)的能力，以適應(yīng)不同工程的需求。（3）具備容錯性，提供自診斷和自恢復(fù)功能，一旦診斷功能發(fā)現(xiàn)進(jìn)程非正常退出時，自動啟動此程序。（4）具備可維護(hù)性，提供初始化配置和系統(tǒng)自動升級功能，使得維護(hù)人員能快速完成初始化配置，以及升級過程無人員干預(yù)。（5）具備模塊獨(dú)立性，以保障單一軟件功能的故障不會引起其他功能的故障。該系統(tǒng)主要用于能源行業(yè)各產(chǎn)業(yè)鏈生產(chǎn)實(shí)時數(shù)據(jù)采集，并將數(shù)據(jù)傳送至數(shù)據(jù)湖中，實(shí)現(xiàn)不同系統(tǒng)的互聯(lián)互通、數(shù)據(jù)共享，為各業(yè)務(wù)應(yīng)用提供數(shù)據(jù)支撐。邊緣側(cè)實(shí)時數(shù)據(jù)采集裝置管理系統(tǒng)主要負(fù)責(zé)提供采集裝置的配置管理功能，主要包括數(shù)據(jù)采集驅(qū)動管理、權(quán)限管理、初始化配置、升級管理、測點(diǎn)管理、以及數(shù)據(jù)監(jiān)測等。其中，通過數(shù)據(jù)采集驅(qū)動管理實(shí)現(xiàn)各產(chǎn)業(yè)鏈實(shí)時數(shù)據(jù)的接入設(shè)備及采集接口的管理。最終通過數(shù)據(jù)監(jiān)測工具，以圖形界面的形式提供數(shù)據(jù)查詢、管理窗口。系統(tǒng)支持標(biāo)準(zhǔn)通信協(xié)議，對于基建單位，需要從各子系統(tǒng)接入數(shù)據(jù)，可采集Modbus、OPC-DA 采集驅(qū)動。對于在生產(chǎn)單位，邊緣側(cè)采集裝置需要從各數(shù)據(jù)庫中取數(shù)，開發(fā)了多個數(shù)據(jù)庫驅(qū)動接口，可采集多樣源的數(shù)據(jù)庫，如麥杰數(shù)據(jù)庫采集驅(qū)動、PI數(shù)據(jù)庫采集驅(qū)動、eDNA采集驅(qū)動、VeStore數(shù)據(jù)庫采集驅(qū)動。

通過提供OPC-UA通訊協(xié)議，支持邊緣側(cè)采集裝置中實(shí)時數(shù)據(jù)能夠被第三方系統(tǒng)取數(shù)。并且系統(tǒng)具備良好的開放性和擴(kuò)展性，其它通信協(xié)議驅(qū)動可繼續(xù)擴(kuò)展開發(fā)。

2.2 部署架構(gòu)

邊緣側(cè)實(shí)時數(shù)據(jù)采集系統(tǒng)體現(xiàn)“安全可靠、功能完善、實(shí)用經(jīng)濟(jì)和結(jié)構(gòu)簡單”，在硬件設(shè)計(jì)上，采取“集中管理、分散部署”的形式，在軟件設(shè)計(jì)上采用積木式模塊化結(jié)構(gòu)，從結(jié)構(gòu)上面保證其安全可靠完善，系統(tǒng)為分層分布的開放式結(jié)構(gòu)，系統(tǒng)分為3層，即邊緣側(cè)數(shù)據(jù)采集層（廠礦現(xiàn)場層）、云端中間管理層（邊云中心）、云端集中管理層（數(shù)據(jù)湖）。系統(tǒng)既可以完成對各基建廠子系統(tǒng)運(yùn)行數(shù)據(jù)的實(shí)時采集，也可以完成對已投產(chǎn)廠數(shù)據(jù)庫數(shù)據(jù)的采集。邊緣側(cè)和云端之間的數(shù)據(jù)采用隔離網(wǎng)閘進(jìn)行隔離，保障邊緣側(cè)監(jiān)測監(jiān)控系統(tǒng)的安全性；邊緣側(cè)生產(chǎn)實(shí)時數(shù)據(jù)的采集同時可為數(shù)據(jù)湖的大數(shù)據(jù)分析、生產(chǎn)運(yùn)營提供有效的數(shù)據(jù)支撐。

2.3 在大屏可視化的應(yīng)用

數(shù)據(jù)作為各產(chǎn)業(yè)各業(yè)務(wù)信息化發(fā)展的核心，利用可視化展示可以實(shí)現(xiàn)對全業(yè)務(wù)的數(shù)據(jù)管理，使各業(yè)務(wù)貫通，是實(shí)現(xiàn)大數(shù)據(jù)分析的重要途徑，對助推企業(yè)信息化建設(shè)產(chǎn)生積極意義?？梢暬故臼请娏ζ髽I(yè)全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心管理的重要內(nèi)容與要求，將大數(shù)據(jù)應(yīng)用于各企業(yè)發(fā)展建設(shè)可視化展示系統(tǒng)，可以建設(shè)信息化水平比較高的系統(tǒng)，并促進(jìn)源端的全業(yè)務(wù)結(jié)合，對后端大數(shù)據(jù)整理產(chǎn)生積極意義。通過對可視化的呈現(xiàn)可以幫助企業(yè)分析當(dāng)前的技術(shù)和產(chǎn)品發(fā)展情況，為企業(yè)的技術(shù)與產(chǎn)品創(chuàng)新提供重要條件。

邊緣側(cè)實(shí)時數(shù)據(jù)采集后經(jīng)過數(shù)據(jù)湖的數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換等操作，在數(shù)據(jù)轉(zhuǎn)換中可以實(shí)現(xiàn)統(tǒng)一字段命名、統(tǒng)一數(shù)據(jù)類型、統(tǒng)一編碼類型以及統(tǒng)一時間格式等功能。數(shù)據(jù)開發(fā)中可以進(jìn)行模型建立，在大屏上實(shí)現(xiàn)數(shù)據(jù)的可視化的展示，利用數(shù)據(jù)可視化呈現(xiàn)企業(yè)相關(guān)業(yè)務(wù)狀況。

3 結(jié)語

綜上所述，本文設(shè)計(jì)開發(fā)的邊緣側(cè)實(shí)時數(shù)據(jù)采集系統(tǒng)能實(shí)現(xiàn)大規(guī)模邊緣側(cè)實(shí)時數(shù)據(jù)的采集和匯聚功能，同時也滿足了數(shù)據(jù)采集的實(shí)時性、開放性和擴(kuò)展性、容錯性、易維護(hù)性、獨(dú)立性等性能。本文結(jié)合現(xiàn)有工業(yè)生產(chǎn)現(xiàn)場數(shù)據(jù)量大且繁雜特點(diǎn)，設(shè)計(jì)出邊緣側(cè)與云端的部署結(jié)構(gòu)，邊緣側(cè)實(shí)時數(shù)據(jù)采集系統(tǒng)實(shí)現(xiàn)了工業(yè)邊緣側(cè)現(xiàn)場數(shù)據(jù)的采集需求，并且系統(tǒng)運(yùn)行穩(wěn)定、人機(jī)交互友好、使用人員能夠快速上手。系統(tǒng)不僅實(shí)現(xiàn)工業(yè)邊緣側(cè)現(xiàn)場數(shù)據(jù)的采集需求，還實(shí)現(xiàn)了對采集裝置和采集傳輸通道的監(jiān)測與管理，實(shí)現(xiàn)了智能化數(shù)據(jù)采集和傳輸。

邊緣側(cè)采集的實(shí)時數(shù)據(jù)經(jīng)過云端數(shù)據(jù)湖的統(tǒng)一數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換等操作，在大屏上實(shí)現(xiàn)數(shù)據(jù)的可視化展示，通過對數(shù)據(jù)的整體性和統(tǒng)一性規(guī)劃，形成了一個健全的可視化展示平臺。