基于大數(shù)據(jù)技術(shù)的石油數(shù)字化平臺(tái)設(shè)計(jì)

吳 巍

(中海油能源發(fā)展裝備技術(shù)有限公司，天津 300452)

0 引言

近年來(lái)，大數(shù)據(jù)技術(shù)快速發(fā)展，企業(yè)越來(lái)越重視數(shù)據(jù)價(jià)值，數(shù)據(jù)的發(fā)掘與應(yīng)用對(duì)企業(yè)發(fā)展起到正向引導(dǎo)作用。當(dāng)前企業(yè)數(shù)字化轉(zhuǎn)型，以基于大數(shù)據(jù)平臺(tái)建設(shè)的業(yè)務(wù)融合為主要形式，以數(shù)據(jù)指導(dǎo)業(yè)務(wù)為主要模式。用數(shù)據(jù)串聯(lián)企業(yè)多個(gè)業(yè)務(wù)板塊，發(fā)掘數(shù)據(jù)價(jià)值，提升營(yíng)銷(xiāo)成功率，提高運(yùn)營(yíng)效率，改善管理決策成為新一輪企業(yè)數(shù)字化轉(zhuǎn)型的主要導(dǎo)向[1]。如何以整體市場(chǎng)需求布局，將零碎化產(chǎn)業(yè)板塊串聯(lián)形成產(chǎn)業(yè)鏈，綜合挖掘各業(yè)務(wù)板塊的數(shù)據(jù)價(jià)值，提高已有信息系統(tǒng)之間的關(guān)聯(lián)性，提升管理及工作效率，指導(dǎo)營(yíng)銷(xiāo)、生產(chǎn)、經(jīng)營(yíng)相關(guān)決策，實(shí)現(xiàn)數(shù)據(jù)互聯(lián)互通、管理融合共享，提升企業(yè)競(jìng)爭(zhēng)力及業(yè)務(wù)附加值，是石油化工服務(wù)類(lèi)企業(yè)由信息化向數(shù)字化乃至智慧化轉(zhuǎn)型的建設(shè)痛點(diǎn)[2]。

大數(shù)據(jù)技術(shù)的發(fā)展戳中了石油化工服務(wù)類(lèi)企業(yè)的痛點(diǎn)，如何應(yīng)用大數(shù)據(jù)手段整合各業(yè)務(wù)板塊、發(fā)掘數(shù)據(jù)價(jià)值、提升運(yùn)營(yíng)效率、改善管理決策，是石油化工服務(wù)類(lèi)企業(yè)的數(shù)字化工作重點(diǎn)。文獻(xiàn)[1]雖然利用了大數(shù)據(jù)技術(shù)，但是僅僅是針對(duì)某些問(wèn)題的解決，但是未提交到石油全壽命周期管理時(shí)平臺(tái)建構(gòu)和數(shù)據(jù)挖掘，技術(shù)方案略顯抽閑。文獻(xiàn)[2]雖然也通過(guò)數(shù)據(jù)挖掘技術(shù)來(lái)解決一些技術(shù)問(wèn)題，但是技術(shù)公開(kāi)地比較籠統(tǒng)，沒(méi)有針對(duì)性地介紹。針對(duì)上述技術(shù)問(wèn)題的不足，本研究結(jié)合我國(guó)大數(shù)據(jù)技術(shù)發(fā)展現(xiàn)狀提出了“基于大數(shù)據(jù)技術(shù)的石油化工服務(wù)類(lèi)企業(yè)石油數(shù)字化工作平臺(tái)建設(shè)”理念。下面將詳細(xì)描述。

1 基于大數(shù)據(jù)的石油數(shù)字化工作平臺(tái)設(shè)計(jì)

在本研究設(shè)計(jì)中，設(shè)計(jì)解決的關(guān)鍵技術(shù)是石油數(shù)字化工作平臺(tái)工作效率的問(wèn)題，采用的方法是：充分結(jié)合實(shí)際情況，融合石油化工服務(wù)類(lèi)企業(yè)產(chǎn)業(yè)一體化、管控流程一體化、數(shù)據(jù)一體化為目標(biāo)，提高和石油數(shù)字化工作平臺(tái)為研究目標(biāo)，滿(mǎn)足企業(yè)整個(gè)數(shù)字化轉(zhuǎn)型為根據(jù)要點(diǎn)，采用數(shù)字化平臺(tái)為技術(shù)手段，實(shí)現(xiàn)石油全壽命經(jīng)營(yíng)管理和生產(chǎn)管理，將各產(chǎn)業(yè)板塊有機(jī)串連，形成一體化服務(wù)模式[3]。其整體架構(gòu)如圖1所示。

圖1 大數(shù)據(jù)的石油數(shù)字化工作平臺(tái)

本研究的石油數(shù)字化工作平臺(tái)在功能設(shè)計(jì)上滿(mǎn)足了石油化工服務(wù)類(lèi)企業(yè)的數(shù)字化轉(zhuǎn)型戰(zhàn)略要求，能夠按照系統(tǒng)性、可擴(kuò)展性、成熟性、可靠性、開(kāi)放性、先進(jìn)性、安全性、兼容性的原則進(jìn)行建設(shè)，結(jié)合實(shí)際管理需求，充分利用現(xiàn)有信息系統(tǒng)，以數(shù)字化頂層設(shè)計(jì)為先導(dǎo)，統(tǒng)籌規(guī)劃基礎(chǔ)設(shè)施建設(shè)，搭建統(tǒng)一的石油數(shù)字化工作平臺(tái)。平臺(tái)建設(shè)完成后，能夠?qū)崿F(xiàn)"數(shù)據(jù)互聯(lián)互通，業(yè)務(wù)協(xié)同貫通，管理融合共享"，實(shí)現(xiàn)石油化工服務(wù)類(lèi)企業(yè)的管維、分析和決策數(shù)字化轉(zhuǎn)型[4]。在本研究設(shè)計(jì)中，從邏輯架構(gòu)上可以將本研究的石油數(shù)字化工作平臺(tái)劃分為大數(shù)據(jù)平臺(tái)層和大數(shù)據(jù)平臺(tái)管理等，下面進(jìn)行詳細(xì)說(shuō)明。

在數(shù)據(jù)源層中，該層包括各種RDBMS、No-SQL數(shù)據(jù)庫(kù)，Hyper Text Transfer Protocol或Remote Procedure Call Protocol等接口的數(shù)據(jù)源[5]。

在大數(shù)據(jù)平臺(tái)層中，該層包括數(shù)據(jù)采集層、存儲(chǔ)層、管理層和查詢(xún)層。其中微服務(wù)層包括各種業(yè)務(wù)系統(tǒng)的基于Web API的微服務(wù)。門(mén)戶(hù)層包括企業(yè)在信息化階段建成的已有業(yè)務(wù)系統(tǒng)的單點(diǎn)登錄、交互式商業(yè)智能報(bào)表工具及相關(guān)數(shù)據(jù)的多樣化展示功能[6]。

在硬件結(jié)構(gòu)上，其設(shè)置了集群管理服務(wù)器、群可視化服務(wù)器、Zookeeper集群、資源調(diào)度服務(wù)器、數(shù)據(jù)存儲(chǔ)計(jì)算集群、分布式緩存及流處理集群和Web服務(wù)器，其中集群管理服務(wù)器包括Ambari-Server，HiveServer2，Hue，Oozie-Server，Maria DB，Kibana，Apache Ranger等產(chǎn)品或組件，為集群提供管理、部署等服務(wù)。集群可視化服務(wù)器包括Superset交互式商業(yè)智能報(bào)表工具，數(shù)據(jù)資產(chǎn)管理系統(tǒng)，以及石油數(shù)字化工作平臺(tái)的數(shù)據(jù)門(mén)戶(hù)[7]。Zookeeper集群主要為整個(gè)集群的組件提供高可用服務(wù)(HA)。資源調(diào)度服務(wù)器包括NameNode，ResourceManager，HBaseMaster等多種角色，主要用于集群的資源調(diào)度，實(shí)現(xiàn)服務(wù)器熱切換。數(shù)據(jù)存儲(chǔ)計(jì)算集群包括用于集群數(shù)據(jù)存儲(chǔ)、分析與計(jì)算的DataNode，JournalNode，NodeManager，RegionServer，WorkerNode等角色。分布式緩存及流處理集群包括實(shí)時(shí)數(shù)據(jù)量處理及數(shù)據(jù)采集的Kafka，F(xiàn)link，Redis，Logstash等組件，能夠?qū)崿F(xiàn)海量數(shù)據(jù)的緩存。Web服務(wù)器由Nginx組件提供網(wǎng)絡(luò)代理功能，用于高并發(fā)網(wǎng)絡(luò)的負(fù)載均衡，可對(duì)其進(jìn)行橫向擴(kuò)展[8]。

其中大數(shù)據(jù)技術(shù)的石油數(shù)字化工作平臺(tái)物理架構(gòu)如圖2所示。

圖2 石油數(shù)字化工作平臺(tái)物理架構(gòu)示意圖

在本研究中的大數(shù)據(jù)技術(shù)設(shè)計(jì)中，目前的石化行業(yè)大石油全生命周期大數(shù)據(jù)分析應(yīng)用多分布于供應(yīng)鏈優(yōu)化、庫(kù)存管理、資金統(tǒng)一管理和生產(chǎn)監(jiān)管優(yōu)化、營(yíng)銷(xiāo)決策輔助幾個(gè)模塊。基于大數(shù)據(jù)技術(shù)的石油化工服務(wù)類(lèi)企業(yè)石油數(shù)字化工作平臺(tái)建設(shè)完成后，可圍繞生產(chǎn)管理、經(jīng)營(yíng)管理、裝備制造、油田建設(shè)等主題構(gòu)建多業(yè)務(wù)板塊一體化協(xié)同應(yīng)用場(chǎng)景石油化工服務(wù)類(lèi)企業(yè)原有信息化系統(tǒng)中的大量數(shù)據(jù)經(jīng)過(guò)ETL數(shù)據(jù)抽取清洗轉(zhuǎn)換接入石油數(shù)字化工作平臺(tái)后，按照財(cái)務(wù)、人力、采辦、營(yíng)銷(xiāo)、生產(chǎn)、運(yùn)維、施工、物料等大類(lèi)進(jìn)行數(shù)據(jù)存儲(chǔ)[9]；經(jīng)工業(yè)大石油全生命周期大數(shù)據(jù)分析過(guò)程形成生產(chǎn)管理、經(jīng)營(yíng)管理、裝備制造、油田建設(shè)等主題；結(jié)合用戶(hù)可視化與數(shù)據(jù)應(yīng)用需求，按照經(jīng)營(yíng)狀態(tài)、運(yùn)維能力、庫(kù)存成本等業(yè)務(wù)大類(lèi)形成可視化指標(biāo)；在數(shù)據(jù)流轉(zhuǎn)的全生命周期內(nèi)串聯(lián)各業(yè)務(wù)板塊，實(shí)現(xiàn)監(jiān)管、預(yù)警、追蹤、分析、管理改善、決策輔助各層面的數(shù)據(jù)展現(xiàn)，最終滿(mǎn)足企業(yè)整體的生產(chǎn)經(jīng)營(yíng)目標(biāo)[10]。

2 大數(shù)據(jù)算法

2.1 大數(shù)據(jù)特征信息采取

(1)

在上述關(guān)系中，α表示正常數(shù)據(jù)與故障數(shù)據(jù)之間的關(guān)系系數(shù)，WT表示正常大數(shù)據(jù)的特征矩陣，wi表示正常大數(shù)據(jù)的特征。石油全生命周期故障大數(shù)據(jù)特征用字母y表示，則在提取石油全生命周期故障大數(shù)據(jù)特征時(shí)，可通過(guò)以下公式實(shí)現(xiàn)：

(2)

為了提高石油全生命周期故障大數(shù)據(jù)計(jì)算的精度，通過(guò)以下公式對(duì)大數(shù)據(jù)的特征實(shí)施加權(quán)計(jì)算處理：

(3)

對(duì)石油數(shù)字化工作平臺(tái)[13]中的大數(shù)據(jù)特征進(jìn)行提取后的誤差可以用以下公式表示：

(4)

(5)

式(5)中，φ為石油數(shù)字化工作平臺(tái)大數(shù)據(jù)特征提取結(jié)果。

在石油數(shù)字化工作平臺(tái)中，確定了正常石油數(shù)字化工作平臺(tái)大數(shù)據(jù)與故障數(shù)據(jù)之間的關(guān)系，通過(guò)對(duì)石油數(shù)字化工作平臺(tái)大數(shù)據(jù)石油全生命周期故障特征進(jìn)行加權(quán)處理[15]，直到數(shù)據(jù)特征提取誤差最小為止，就實(shí)現(xiàn)了石油數(shù)字化工作平臺(tái)大數(shù)據(jù)特征提取。下面采用一種形式的大石油全生命周期故障大數(shù)據(jù)計(jì)算方法進(jìn)行計(jì)算。

2.2 DBN大數(shù)據(jù)學(xué)習(xí)算法模型

在進(jìn)行石油全生命周期故障特征計(jì)算時(shí)，本研究應(yīng)用了DBN大數(shù)據(jù)學(xué)習(xí)算法模型實(shí)現(xiàn)石油全生命周期故障信息的識(shí)別和處理，DBN大數(shù)據(jù)學(xué)習(xí)算法模型構(gòu)建了雙層RBM結(jié)構(gòu)，將石油數(shù)字化工作平臺(tái)內(nèi)包含的不易為用戶(hù)識(shí)別的高緯度數(shù)轉(zhuǎn)換為低緯度數(shù)據(jù)，在該技術(shù)能力的基礎(chǔ)上[16]，再次應(yīng)用BP神經(jīng)網(wǎng)絡(luò)算法模型進(jìn)行反向微調(diào)結(jié)構(gòu)參數(shù)，使得輸入的復(fù)雜石油全壽命周期內(nèi)的數(shù)據(jù)簡(jiǎn)易化處理，本研究借助于DBN逐層貪婪訓(xùn)練算法，將模型從上至下地分為輸入層、處理層和輸出層[17]，其模型算法如圖3所示。

圖3 DBN大數(shù)據(jù)學(xué)習(xí)算法模型構(gòu)建

計(jì)算過(guò)程通過(guò)多層數(shù)據(jù)的訓(xùn)練共同完成，其中在訓(xùn)練第一層數(shù)據(jù)信息時(shí)，可以采用CD-1算法，使得第一層RBM中的數(shù)據(jù)信息按照財(cái)務(wù)、人力、采辦、營(yíng)銷(xiāo)、生產(chǎn)、運(yùn)維、施工、物料等不同的類(lèi)別進(jìn)行訓(xùn)練，將石油全生命周期不同類(lèi)別大數(shù)據(jù)特征向量進(jìn)行分類(lèi)，將多個(gè)石油全生命周期大數(shù)據(jù)特征信息進(jìn)行保存[13]。在計(jì)算過(guò)程中，如果輸入石油全生命周期大數(shù)據(jù)樣本為x，將第一層中的RBM可視層通過(guò)字母X來(lái)表示，則在DBN大數(shù)據(jù)學(xué)習(xí)算法模型中的第一個(gè)隱層h1中，這些參數(shù)信息可以記作為{W1；α1}。通過(guò)上述方式進(jìn)行數(shù)據(jù)訓(xùn)練，能夠?qū)⑸弦徊街蠨BN大數(shù)據(jù)學(xué)習(xí)算法模型內(nèi)第一層RBM內(nèi)設(shè)置的權(quán)重和偏移量作為參考量穩(wěn)定下來(lái)，完整上述步驟后，將第二層RBM的向量數(shù)據(jù)輸入上文提到的DBN大數(shù)據(jù)學(xué)習(xí)算法模型。在該步驟過(guò)程中，也要考慮到用戶(hù)設(shè)置隱性神經(jīng)元的數(shù)量和狀態(tài)情況[18]。上述步驟完成后，然后進(jìn)行下一層的RBM訓(xùn)練，這需要在第一層RBM的基礎(chǔ)上進(jìn)行疊加。以此類(lèi)推，將不同層的RBM呈階梯狀排布，直到應(yīng)用到最后一RBM層，然后應(yīng)用以下邏輯函數(shù)進(jìn)行數(shù)據(jù)計(jì)算：

(6)

通過(guò)上述公式，構(gòu)成新的層次數(shù)據(jù)向量tl={tl1,tl2,tl3,…,tlj}T。構(gòu)成的新的上一層hl+1作為下一層的特征向量，此時(shí)開(kāi)，存在數(shù)據(jù)集合l∈{1,2,…,c-1}。

在經(jīng)過(guò)上次的迭代計(jì)算后，在DBN大數(shù)據(jù)學(xué)習(xí)算法模型的最后一層設(shè)置BP神經(jīng)網(wǎng)絡(luò)模型，以實(shí)現(xiàn)石油行業(yè)中財(cái)務(wù)、人力、采辦、營(yíng)銷(xiāo)、生產(chǎn)、運(yùn)維、施工、物料等大類(lèi)進(jìn)行數(shù)據(jù)等全壽命周期內(nèi)的故障數(shù)據(jù)診斷[19]，用戶(hù)根據(jù)DBN大數(shù)據(jù)學(xué)習(xí)算法模型不同層內(nèi)設(shè)置的權(quán)值對(duì)故障信息進(jìn)行診斷，如果需要將最后的結(jié)果達(dá)到最優(yōu)，需要反復(fù)迭代計(jì)算[20]，使得各層的權(quán)值能夠達(dá)到最優(yōu)。

3 試運(yùn)行結(jié)果與分析

本研究技術(shù)方案在中海油能源發(fā)展裝備技術(shù)有限公司內(nèi)進(jìn)行試運(yùn)行，大石油全生命周期大數(shù)據(jù)分析應(yīng)用多分布于供應(yīng)鏈優(yōu)化、庫(kù)存管理、資金統(tǒng)一管理和生產(chǎn)監(jiān)管優(yōu)化、營(yíng)銷(xiāo)決策輔助幾個(gè)模塊[21]。應(yīng)用到計(jì)算機(jī)硬件環(huán)境為：P430G CPU，8 GB RAM，軟件環(huán)境采用的Windows 7，并在該系統(tǒng)上裝上 Matlab 2015，在必要時(shí)，進(jìn)行數(shù)據(jù)模擬仿真。

本研究中的基于大數(shù)據(jù)技術(shù)的石油化工服務(wù)類(lèi)企業(yè)石油數(shù)字化工作平臺(tái)登錄界面如圖4所示。

圖4 應(yīng)用界面示意圖

通過(guò)圖4的界面，可以將石油化工服務(wù)類(lèi)企業(yè)原有信息化系統(tǒng)中的大量數(shù)據(jù)經(jīng)過(guò)ETL數(shù)據(jù)抽取清洗轉(zhuǎn)換接入石油數(shù)字化工作平臺(tái)后，按照財(cái)務(wù)、人力、采辦、營(yíng)銷(xiāo)、生產(chǎn)、運(yùn)維、施工、物料等大類(lèi)進(jìn)行數(shù)據(jù)存儲(chǔ)[22]；經(jīng)工業(yè)大石油全生命周期大數(shù)據(jù)分析過(guò)程形成生產(chǎn)管理、經(jīng)營(yíng)管理、裝備制造、油田建設(shè)；結(jié)合用戶(hù)可視化與數(shù)據(jù)應(yīng)用需求，按照經(jīng)營(yíng)狀態(tài)、運(yùn)維能力、庫(kù)存成本等業(yè)務(wù)大類(lèi)形成可視化指標(biāo)；在數(shù)據(jù)流轉(zhuǎn)的全生命周期內(nèi)串聯(lián)各業(yè)務(wù)板塊，實(shí)現(xiàn)監(jiān)管、預(yù)警、追蹤、分析、管理改善、決策輔助各層面的數(shù)據(jù)展現(xiàn)，最終滿(mǎn)足企業(yè)整體的生產(chǎn)經(jīng)營(yíng)目標(biāo)[23]。

在驗(yàn)證時(shí)，DBN大數(shù)據(jù)學(xué)習(xí)算法模型中各項(xiàng)參數(shù)信息如表1所示。

表1 參數(shù)設(shè)置示意圖

在上述參數(shù)模型中，DBN大數(shù)據(jù)學(xué)習(xí)算法模型的學(xué)習(xí)效率為0.13，將運(yùn)行模型進(jìn)行189次迭代，下面通過(guò)單一的BP神經(jīng)網(wǎng)絡(luò)算法(下文稱(chēng)為方案1)、 K-means聚類(lèi)算法(下文稱(chēng)為方案2)進(jìn)行對(duì)比分析，輸出的試驗(yàn)樣本數(shù)據(jù)如表2所示。

表2 試驗(yàn)樣本示意圖

在上述試驗(yàn)過(guò)程中，在石油全生命周期大數(shù)據(jù)平臺(tái)內(nèi)的數(shù)據(jù)庫(kù)中選擇了4組石油全壽命數(shù)據(jù)樣本，1～3組的數(shù)據(jù)庫(kù)樣本數(shù)量分別為50萬(wàn)、80萬(wàn)、120萬(wàn)和180萬(wàn)個(gè)。通過(guò)對(duì)比分析，發(fā)現(xiàn)本研究方案效率高。

下面通過(guò)繪制誤差曲線圖進(jìn)行描述，如圖5所示。

圖5 準(zhǔn)確率對(duì)比曲線圖

通過(guò)圖5看出，在相同的時(shí)間內(nèi)，3種方案的準(zhǔn)確度都呈上升趨勢(shì)，采用本研究的DBN大數(shù)據(jù)學(xué)習(xí)算法模型準(zhǔn)確率最高。下面再?gòu)臄?shù)據(jù)的速度上進(jìn)行分析。輸出的曲線對(duì)比如圖6所示。

圖6 數(shù)據(jù)處理效率對(duì)比曲線圖

在圖6中的對(duì)比曲線中，假設(shè)選擇不同的數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)量分別從100～1 000 GB不等，本研究的方法在2分鐘左右能夠處理上百GB的數(shù)據(jù)信息，而采用方案1時(shí)，當(dāng)處理100 GB的數(shù)據(jù)信息就需要遠(yuǎn)遠(yuǎn)多于本研究的技術(shù)方案的時(shí)間處理量。隨著石油大數(shù)據(jù)量的增多，方案1和方案2需要采用更多的時(shí)間，而本研究方案在不到3分鐘的時(shí)間內(nèi)能夠處理上百億GB的數(shù)據(jù)信息。數(shù)據(jù)處理大，用時(shí)少。

4 結(jié)束語(yǔ)

以大數(shù)據(jù)技術(shù)為代表的新一代信息技術(shù)在智慧油田、智能工廠、智能管道、智慧加油站等石化行業(yè)雖然已經(jīng)廣泛應(yīng)用。但是仍舊存在一些技術(shù)弊端。本研究從石油化工服務(wù)類(lèi)企業(yè)數(shù)字化轉(zhuǎn)型的角度考慮，面對(duì)復(fù)雜多樣的業(yè)務(wù)需求，基于大數(shù)據(jù)技術(shù)的石油數(shù)字化工作平臺(tái)研究出一種數(shù)據(jù)存儲(chǔ)、管理、分析、共享和服務(wù)的有效載體，本研究集合數(shù)據(jù)可視化分析與數(shù)據(jù)挖掘功能為一體，提高了各類(lèi)型數(shù)據(jù)組織和處理能力，能夠與現(xiàn)有業(yè)務(wù)系統(tǒng)無(wú)縫融合，進(jìn)一步改進(jìn)數(shù)據(jù)操作服務(wù)性能，研發(fā)出操作簡(jiǎn)單的石油全生命周期大數(shù)據(jù)分析平臺(tái)，提升整體石油化工服務(wù)類(lèi)企業(yè)數(shù)字化水平和價(jià)值創(chuàng)造能力。

本研究的方案雖然具有一定程度的技術(shù)進(jìn)步性，仍舊存在一些不足，這需要進(jìn)一步的研究。