賈世宇+郭根旺+張曉燕

[摘 要]數(shù)據(jù)集成是勘探開(kāi)發(fā)數(shù)據(jù)整合的重要環(huán)節(jié)，如何根據(jù)實(shí)際情況設(shè)計(jì)適用的數(shù)據(jù)集成模式，是數(shù)據(jù)集成工作順利開(kāi)展的前提。本文介紹了油田勘探開(kāi)發(fā)數(shù)據(jù)的發(fā)展和數(shù)據(jù)集成的必要性，重點(diǎn)論述了油田勘探開(kāi)發(fā)數(shù)據(jù)集成的建設(shè)思路，闡述了當(dāng)前流行的集成模式，描述了適用華北油田的勘探開(kāi)發(fā)數(shù)據(jù)集成模式、集成步驟、集成規(guī)則與需要使用的集成工具。

[關(guān)鍵詞]數(shù)據(jù)集成；油田；集成模式

doi：10.3969/j.issn.1673 - 0194.2017.08.033

[中圖分類(lèi)號(hào)]TP391 [文獻(xiàn)標(biāo)識(shí)碼]A [文章編號(hào)]1673-0194（2017）08-00-02

0 引 言

隨著油田的數(shù)據(jù)建設(shè)，越來(lái)越多的系統(tǒng)應(yīng)運(yùn)而生，但隨之也帶來(lái)了越來(lái)越突出的“數(shù)據(jù)孤島”問(wèn)題。隨著各油田信息化應(yīng)用的不斷深入和“數(shù)字油田”“智能油田”的建設(shè)，數(shù)據(jù)交互的需求日益強(qiáng)烈，急切需要對(duì)已有的數(shù)據(jù)進(jìn)行整合，解決“數(shù)據(jù)孤島”問(wèn)題，共享數(shù)據(jù)。

因此，通過(guò)數(shù)據(jù)集成技術(shù)實(shí)現(xiàn)油田勘探開(kāi)發(fā)數(shù)據(jù)的整合，達(dá)到勘探開(kāi)發(fā)數(shù)據(jù)的相互關(guān)聯(lián)，對(duì)油田開(kāi)發(fā)過(guò)程數(shù)據(jù)資產(chǎn)的利用具有重要意義。

1 油田勘探開(kāi)發(fā)數(shù)據(jù)的發(fā)展

伴隨著信息技術(shù)的日新月異，華北油田勘探開(kāi)發(fā)數(shù)據(jù)的發(fā)展也經(jīng)歷了從無(wú)到有、從紙質(zhì)資料到電子化資料、從數(shù)據(jù)表到數(shù)據(jù)庫(kù)、再?gòu)臄?shù)據(jù)庫(kù)到“資源池”的過(guò)程。

1.1 數(shù)據(jù)標(biāo)準(zhǔn)及模型的發(fā)展

華北油田信息建設(shè)初期，勘探開(kāi)發(fā)數(shù)據(jù)沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)及模型，各油田科研、生產(chǎn)單位按照自己的工作與使用習(xí)慣設(shè)計(jì)表格或數(shù)據(jù)庫(kù)存儲(chǔ)所需數(shù)據(jù)，導(dǎo)致油田數(shù)據(jù)標(biāo)準(zhǔn)不一致與不規(guī)范、數(shù)據(jù)模型差異大；中石油1991版勘探開(kāi)發(fā)數(shù)據(jù)標(biāo)準(zhǔn)及模型的發(fā)布，在勘探開(kāi)發(fā)專(zhuān)業(yè)范圍內(nèi)規(guī)范了數(shù)據(jù)標(biāo)準(zhǔn)，初步根據(jù)業(yè)務(wù)對(duì)數(shù)據(jù)進(jìn)行了分類(lèi)，初步認(rèn)識(shí)到數(shù)據(jù)之間存在一定的邏輯關(guān)系，為油田各單位提供了權(quán)威的、可操作的數(shù)據(jù)標(biāo)準(zhǔn)及模型；隨著應(yīng)用的深入，之后又發(fā)布中石油1997版及2002版勘探開(kāi)發(fā)數(shù)據(jù)標(biāo)準(zhǔn)及模型，數(shù)據(jù)模型在業(yè)務(wù)流程分析的基礎(chǔ)上進(jìn)行設(shè)計(jì)，且注重源頭數(shù)據(jù)，實(shí)現(xiàn)了勘探開(kāi)發(fā)一體化，數(shù)據(jù)之間的邏輯關(guān)系更加準(zhǔn)確完善，使油田各單位的數(shù)據(jù)標(biāo)準(zhǔn)及模型逐漸統(tǒng)一；但隨著石油技術(shù)的迅猛發(fā)展，新數(shù)據(jù)類(lèi)型的出現(xiàn)、舊數(shù)據(jù)類(lèi)型的變更，導(dǎo)致各單位不得不在標(biāo)準(zhǔn)上進(jìn)行擴(kuò)充和修改，數(shù)據(jù)標(biāo)準(zhǔn)及模型又呈現(xiàn)出多樣化；隨著中石油A1系統(tǒng)、A2系統(tǒng)的推廣實(shí)施，華北油田通過(guò)對(duì)業(yè)務(wù)流程的分析，參照POSC業(yè)務(wù)流程進(jìn)行設(shè)計(jì)，發(fā)布了EPDM 1.0數(shù)據(jù)模型標(biāo)準(zhǔn)，數(shù)據(jù)的完整性得到了加強(qiáng)，更加準(zhǔn)確地描述了油氣勘探開(kāi)發(fā)的實(shí)體和相互關(guān)系，更加易于擴(kuò)展和維護(hù)。

目前，華北油田數(shù)據(jù)庫(kù)使用的標(biāo)準(zhǔn)及模型主要有中石油1997版勘探開(kāi)發(fā)數(shù)據(jù)標(biāo)準(zhǔn)及模型、EPDM標(biāo)準(zhǔn)及模型。

1.2 數(shù)據(jù)庫(kù)的升級(jí)及其歷史數(shù)據(jù)的遷移

華北油田存儲(chǔ)勘探開(kāi)發(fā)數(shù)據(jù)的一系列數(shù)據(jù)庫(kù)從最初建設(shè)的DBF數(shù)據(jù)庫(kù)，發(fā)展到目前使用的Oracle數(shù)據(jù)庫(kù)。

華北油田勘探開(kāi)發(fā)歷史數(shù)據(jù)的主要遷移過(guò)程是專(zhuān)業(yè)庫(kù)數(shù)據(jù)、電子文檔等遷移至A1數(shù)據(jù)庫(kù)，各廠(chǎng)開(kāi)發(fā)數(shù)據(jù)庫(kù)數(shù)據(jù)遷移至A2數(shù)據(jù)庫(kù)。

1.3 成果數(shù)據(jù)的產(chǎn)生與存儲(chǔ)

科研人員通過(guò)對(duì)勘探開(kāi)發(fā)數(shù)據(jù)的使用與分析，會(huì)產(chǎn)生個(gè)人或集體的研究成果數(shù)據(jù)。這些數(shù)據(jù)往往存儲(chǔ)在個(gè)人的硬盤(pán)中，無(wú)法分享。成果數(shù)據(jù)的分享可有效降低研究中的重復(fù)工作量，科研人員繼承前人成果，可提高研究效率。因此，成果數(shù)據(jù)的集成也是勘探開(kāi)發(fā)數(shù)據(jù)集成的重要組成部分。

2 數(shù)據(jù)集成的建設(shè)思路

2.1 數(shù)據(jù)集成的范圍

在數(shù)據(jù)集成的過(guò)程中，需要根據(jù)需求和數(shù)據(jù)管理現(xiàn)狀，采取最合適的辦法。

華北油田勘探開(kāi)發(fā)數(shù)據(jù)主要是為了滿(mǎn)足各種應(yīng)用系統(tǒng)的需要，目前針對(duì)勘探開(kāi)發(fā)數(shù)據(jù)的主要應(yīng)用系統(tǒng)有中國(guó)石油天然氣集團(tuán)公司統(tǒng)建的油氣水井生產(chǎn)數(shù)據(jù)管理系統(tǒng)（A2）、勘探與生產(chǎn)技術(shù)數(shù)據(jù)管理系統(tǒng)（A1）等以及華北油田自建的相關(guān)應(yīng)用系統(tǒng)，涉及的專(zhuān)業(yè)包括物化探、鉆井、錄井、測(cè)井、試油測(cè)試、分析化驗(yàn)以及油氣生產(chǎn)數(shù)據(jù)等，相關(guān)的數(shù)據(jù)標(biāo)準(zhǔn)及模型主要有中石油1997版勘探開(kāi)發(fā)數(shù)據(jù)標(biāo)準(zhǔn)及模型、EPDM標(biāo)準(zhǔn)及模型以及少量特殊應(yīng)用自建的數(shù)據(jù)標(biāo)準(zhǔn)，結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)主要是以O(shè)racle數(shù)據(jù)庫(kù)為主，非結(jié)構(gòu)化數(shù)據(jù)主要以文件形式保存，其格式多種多樣，如Word、Excel、txt等。

2.2 數(shù)據(jù)集成的模式及選取

2.2.1 數(shù)據(jù)集成的模式

在企業(yè)數(shù)據(jù)集成領(lǐng)域，已經(jīng)有了很多成熟的框架可以利用。目前，華北油田通常采用聯(lián)邦式、基于中間件模型和數(shù)據(jù)倉(cāng)庫(kù)等方法來(lái)構(gòu)造集成的系統(tǒng)，這些技術(shù)在不同的側(cè)重點(diǎn)和應(yīng)用上解決數(shù)據(jù)共享和為企業(yè)提供決策支持。

2.2.2 數(shù)據(jù)集成模式的選取

數(shù)據(jù)集成模式的選取，需要根據(jù)數(shù)據(jù)應(yīng)用的需求和現(xiàn)有的管理情況而確定。目前，華北油田勘探開(kāi)發(fā)數(shù)據(jù)絕大部分?jǐn)?shù)據(jù)是集中存放的，數(shù)據(jù)標(biāo)準(zhǔn)主要是中石油1997版勘探開(kāi)發(fā)數(shù)據(jù)標(biāo)準(zhǔn)、EPDM標(biāo)準(zhǔn)，同時(shí)考慮本油田的特色應(yīng)用需求，暫不采取全部數(shù)據(jù)整合到一套標(biāo)準(zhǔn)中，又考慮到勘探開(kāi)發(fā)數(shù)據(jù)的特殊性，因此采用聯(lián)邦數(shù)據(jù)庫(kù)系統(tǒng)和中間件的混合模式?；谀Ｊ降倪x擇，確定實(shí)現(xiàn)集成的步驟。

（1）核心庫(kù)的建立：建立基本實(shí)體（井、井筒、地質(zhì)單元等）數(shù)據(jù)庫(kù)，作為所有數(shù)據(jù)庫(kù)基本實(shí)體的唯一來(lái)源，保證數(shù)據(jù)庫(kù)體系數(shù)據(jù)中基本實(shí)體的一致。

（2）數(shù)據(jù)模型管理：對(duì)華北油田97模型、EPDM模型及自建系統(tǒng)特殊模型的管理。

（3）數(shù)據(jù)同步：實(shí)現(xiàn)基本實(shí)體數(shù)據(jù)和專(zhuān)業(yè)數(shù)據(jù)在不同數(shù)據(jù)庫(kù)之間的及時(shí)更新和一致。

（4）數(shù)據(jù)遷移：把應(yīng)用可移植或可被替代的數(shù)據(jù)庫(kù)數(shù)據(jù)，遷移到相同標(biāo)準(zhǔn)的、數(shù)據(jù)范圍更大的數(shù)據(jù)庫(kù)中。

2.3 制定數(shù)據(jù)集成規(guī)則

設(shè)計(jì)數(shù)據(jù)集成邏輯就是為了確定數(shù)據(jù)是怎樣實(shí)現(xiàn)集成的，這是實(shí)現(xiàn)數(shù)據(jù)集成的核心工作，需要從以下幾個(gè)方面進(jìn)行。

2.3.1 進(jìn)行數(shù)據(jù)模型比對(duì)

對(duì)于標(biāo)準(zhǔn)化的數(shù)據(jù)項(xiàng)，進(jìn)行比較。這種比較需要依據(jù)數(shù)據(jù)表設(shè)計(jì)的原則和專(zhuān)業(yè)劃分的不同，可能存在一對(duì)一數(shù)據(jù)表進(jìn)行對(duì)比，也可能會(huì)是多對(duì)一、一對(duì)多或者多對(duì)多的對(duì)比。

2.3.2 基本實(shí)體的統(tǒng)一

對(duì)不同標(biāo)準(zhǔn)、不同數(shù)據(jù)庫(kù)中的基本實(shí)體數(shù)據(jù)進(jìn)行統(tǒng)一的規(guī)范，包括井號(hào)簡(jiǎn)寫(xiě)字的規(guī)范，如：【莫】修改為【鄚】，【壩】修改為【霸】等；名稱(chēng)統(tǒng)一，地名、單位名稱(chēng)，有時(shí)是簡(jiǎn)稱(chēng)；井號(hào)標(biāo)志的統(tǒng)一，如：【新】【老】【原】【加深】等標(biāo)志；數(shù)據(jù)項(xiàng)單位的統(tǒng)一等。

2.3.3 進(jìn)行數(shù)據(jù)轉(zhuǎn)換

在將業(yè)務(wù)數(shù)據(jù)抽取到數(shù)據(jù)中心時(shí)，基本的數(shù)據(jù)轉(zhuǎn)換包括以下幾種類(lèi)型。

（1）數(shù)據(jù)清洗。例如專(zhuān)業(yè)數(shù)據(jù)中字符型數(shù)據(jù)取值中包含有空格，需要將空格去掉；如果專(zhuān)業(yè)數(shù)據(jù)中含有無(wú)意義的數(shù)據(jù)，例如測(cè)試數(shù)據(jù)或者空行數(shù)據(jù)，也需要將這樣的記錄刪除。

（2）數(shù)據(jù)格式轉(zhuǎn)換。例如專(zhuān)業(yè)數(shù)據(jù)中有關(guān)時(shí)間的數(shù)據(jù)項(xiàng)為字符型，需要根據(jù)數(shù)據(jù)字典要求將其轉(zhuǎn)換為日期型。

（3）代碼轉(zhuǎn)換。專(zhuān)業(yè)數(shù)據(jù)中的代碼可能并不滿(mǎn)足信息標(biāo)準(zhǔn)要求，在與其他數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)交換時(shí)在與其他數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)交換時(shí)，需要將專(zhuān)業(yè)數(shù)據(jù)中的代碼轉(zhuǎn)換為滿(mǎn)足其信息標(biāo)準(zhǔn)的代碼。

（4）數(shù)據(jù)項(xiàng)匹對(duì)。要在不同數(shù)據(jù)庫(kù)的專(zhuān)業(yè)數(shù)據(jù)中的數(shù)據(jù)項(xiàng)間建立起對(duì)應(yīng)關(guān)系，有時(shí)兩者并非一一對(duì)應(yīng)，需要進(jìn)行拼接與拆分。

（5）其他轉(zhuǎn)換。根據(jù)實(shí)際的數(shù)據(jù)狀態(tài)和要求，制定更多的細(xì)節(jié)轉(zhuǎn)換規(guī)則，例如大小寫(xiě)轉(zhuǎn)換、字符轉(zhuǎn)換、取值域轉(zhuǎn)換等。

2.4 數(shù)據(jù)集成工具的使用

數(shù)據(jù)集成中工具主要用到模型管理工具和ETL工具。

2.4.1 模型管理工具

模型管理工具通過(guò)模型表，直觀的描述某個(gè)項(xiàng)目的數(shù)據(jù)庫(kù)結(jié)構(gòu)。它通過(guò)管理多組不同性質(zhì)的軟件模型，可以實(shí)現(xiàn)對(duì)公司內(nèi)部軟件模型的集中管理，也可以將各個(gè)模型快速創(chuàng)建成數(shù)據(jù)庫(kù)相應(yīng)的結(jié)構(gòu)。

2.4.2 ETL工具

ETL是BI/BW（商務(wù)智能/數(shù)據(jù)倉(cāng)庫(kù)）的核心和靈魂。ETL工具可按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價(jià)值，是實(shí)現(xiàn)數(shù)據(jù)集成的重要工具。

隨著中石油勘探與生產(chǎn)技術(shù)數(shù)據(jù)管理系統(tǒng)（A1）2.0版的推廣實(shí)施，中油瑞飛的ETL工具DSB逐漸被各油田使用。DSB（Data Service Bus，數(shù)據(jù)服務(wù)總線(xiàn)）是一款靈活易用的數(shù)據(jù)集成產(chǎn)品，具有高效的數(shù)據(jù)處理引擎和靈活的可擴(kuò)展性；在數(shù)據(jù)集成領(lǐng)域提供了良好的技術(shù)支持，支持多種數(shù)據(jù)處理的應(yīng)用場(chǎng)景。其包括的功能有數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)交換、數(shù)據(jù)遷移、數(shù)據(jù)對(duì)比Oracle日志同步、數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、石油專(zhuān)業(yè)文件適配、數(shù)據(jù)即時(shí)訪(fǎng)問(wèn)以及EPDM建模等功能。

3 結(jié) 語(yǔ)

數(shù)據(jù)資源是油田的基礎(chǔ)資源，合理利用數(shù)據(jù)資源能夠?yàn)橛吞锝ㄔO(shè)帶來(lái)多方面的效益。數(shù)據(jù)集成是數(shù)據(jù)資源建設(shè)的重要步驟，只有從實(shí)際出發(fā)，靈活運(yùn)用多種手段，才能達(dá)到較好的效果，從而推動(dòng)油田勘探開(kāi)發(fā)應(yīng)用的發(fā)展，為“智慧油田”的建設(shè)保駕護(hù)航。

主要參考文獻(xiàn)

[1]韓明.油田開(kāi)發(fā)數(shù)據(jù)綜合集成的研究[J].數(shù)字石油和化工，2009

（7）.

[2]楊宏英，林長(zhǎng)松.異構(gòu)數(shù)據(jù)集成系統(tǒng)的應(yīng)用模式與技術(shù)實(shí)現(xiàn)[J].微電子學(xué)與計(jì)算，2006（8）.

[3]劉丹陽(yáng).高校數(shù)據(jù)中心數(shù)據(jù)集成方案設(shè)計(jì)的方法研究[J].實(shí)驗(yàn)技術(shù)與管理，2011（4）.

[4]劉芳，盧國(guó)強(qiáng)，劉賓娜，等.大數(shù)據(jù)時(shí)代的數(shù)字圖書(shū)館異構(gòu)數(shù)據(jù)集成分析[J].電子技術(shù)與軟件工程，2015（22）.