王海軍 丁劍明 白明亮 馬 濤
(1.神華神東煤炭集團有限責(zé)任公司,陜西省榆林市,719315;2.中國神華能源股份有限公司神東煤炭分公司信息管理中心,陜西省榆林市,719315)
隨著互聯(lián)網(wǎng)、云計算、物聯(lián)網(wǎng)等為代表的信息技術(shù)的不斷發(fā)展和應(yīng)用,當(dāng)前已經(jīng)步入大數(shù)據(jù)時代。數(shù)據(jù)將成為或已經(jīng)成為企業(yè)獨立于人、財、物、技術(shù)以外的重要資產(chǎn),數(shù)據(jù)獲取及分析應(yīng)用能力將成為或已經(jīng)成為企業(yè)的生產(chǎn)力及核心競爭力。在工業(yè)領(lǐng)域,工業(yè)大數(shù)據(jù)技術(shù)及應(yīng)用將成為未來提升企業(yè)生產(chǎn)力、競爭力、創(chuàng)新力的關(guān)鍵要素。
神東通過《數(shù)字礦山關(guān)鍵技術(shù)及應(yīng)用研究》(863計劃)項目和《區(qū)域中央集中自動控制》項目的實施,初步建成了兩種數(shù)字礦山平臺框架,數(shù)字礦山已具雛形。但是,還存在數(shù)據(jù)多標(biāo)準(zhǔn)、多源頭、不準(zhǔn)確等問題,要建成真正意義上的數(shù)字化礦山,還需要實施數(shù)據(jù)標(biāo)準(zhǔn)化建設(shè)。
數(shù)據(jù)標(biāo)準(zhǔn)化建設(shè)是煤炭企業(yè)做工業(yè)大數(shù)據(jù)分析應(yīng)用的基礎(chǔ),要實現(xiàn)物聯(lián)網(wǎng)、大數(shù)據(jù)、云計算及人工智能技術(shù)在煤礦安全生產(chǎn)等場景中充分發(fā)揮出應(yīng)有的作用,就必須先在“硬件”和“軟件”兩個方面的基礎(chǔ)設(shè)施領(lǐng)域開始做好準(zhǔn)備工作,而數(shù)據(jù)標(biāo)準(zhǔn)化就是“軟件”方面的基礎(chǔ)實施建設(shè),因此具有重要意義。
由于神東早期的信息化建設(shè)缺乏信息化總體規(guī)劃的指導(dǎo),因此積累了一些問題,比較突出的是信息系統(tǒng)主要依據(jù)各部門和各業(yè)務(wù)模塊需求獨立建設(shè),信息孤島現(xiàn)象嚴(yán)重,具體體現(xiàn)在以下幾個方面:
(1)數(shù)據(jù)分散。神東煤礦生產(chǎn)數(shù)據(jù)信息分散,同一物理對象在不同部門、不同系統(tǒng)中的描述不同,無法貫通生產(chǎn)管理調(diào)度管理等業(yè)務(wù),數(shù)據(jù)分散設(shè)計導(dǎo)致數(shù)據(jù)的準(zhǔn)確性和完整性降低,必須花費大量精力對數(shù)據(jù)進行重新整合才能分析運用。
(2)數(shù)據(jù)共享程度低。生產(chǎn)數(shù)據(jù)涉及多個部門和多個系統(tǒng),但系統(tǒng)間往往缺乏映射,部分?jǐn)?shù)據(jù)還存在無系統(tǒng)支撐的情況,一旦出現(xiàn)數(shù)據(jù)不一致的情況,多依靠手工核對,工作量大且容易出錯。同時,由于數(shù)據(jù)共享程度低,針對業(yè)務(wù)要求需對每個業(yè)務(wù)系統(tǒng)進行數(shù)據(jù)提取并進行匹配,然而卻很可能出現(xiàn)信息不一致的情況。部門之間往往需要共享信息,數(shù)據(jù)共享程度低,最終將導(dǎo)致需求部門為了獲得所需信息不得不進行重復(fù)的投資建設(shè)。
(3)數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一。早期的信息化建設(shè)缺乏宏觀層面的總體規(guī)劃,大部分應(yīng)用系統(tǒng)的數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一。目前,神東的管理類數(shù)據(jù)標(biāo)準(zhǔn)已由集團統(tǒng)一制定,但生產(chǎn)類數(shù)據(jù)標(biāo)準(zhǔn)尚未制定,沒有形成企業(yè)級的統(tǒng)一數(shù)據(jù)信息視圖,難以保證數(shù)據(jù)的唯一性和準(zhǔn)確性。數(shù)據(jù)收集、系統(tǒng)處理、報表編制缺乏規(guī)范和統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)體系。
基于以上現(xiàn)狀,神東迫切需要將各類數(shù)據(jù)進行標(biāo)準(zhǔn)化,把數(shù)據(jù)整合起來,建立共享交換平臺和綜合分析平臺,提升整體業(yè)務(wù)效率,提高信息共享程度,改善各種數(shù)據(jù)在跨部門間的運用和分享,為安全高效生產(chǎn)提供堅實的基礎(chǔ)。
在企業(yè)數(shù)據(jù)治理過程中,宏觀層面上要有統(tǒng)一的標(biāo)準(zhǔn)和原則。在神東數(shù)據(jù)標(biāo)準(zhǔn)化實施過程中,整體按照統(tǒng)一規(guī)劃、整體部署、分步實施的大原則進行,除了遵循國內(nèi)外相關(guān)標(biāo)準(zhǔn)外,為了確保生產(chǎn)數(shù)據(jù)標(biāo)準(zhǔn)體系與神東業(yè)務(wù)發(fā)展方向的一致性,主要遵循以下幾點原則:
(1)全面性。從數(shù)據(jù)標(biāo)準(zhǔn)體系內(nèi)容來看,規(guī)劃制定對礦井生產(chǎn)業(yè)務(wù)數(shù)據(jù)管理的各個領(lǐng)域進行了全面的梳理和描述,力爭促使神東生產(chǎn)管理的基礎(chǔ)數(shù)據(jù)管理和應(yīng)用服務(wù)能力上一個新臺階。
(2)前瞻性。結(jié)合神東的戰(zhàn)略發(fā)展需要,并充分借鑒國內(nèi)外同行業(yè)的先進實踐經(jīng)驗,向國內(nèi)外領(lǐng)先水平看齊,使生產(chǎn)數(shù)據(jù)標(biāo)準(zhǔn)體系建設(shè)具備一定的前瞻性。同時,生產(chǎn)數(shù)據(jù)標(biāo)準(zhǔn)化要瞄準(zhǔn)建設(shè)企業(yè)數(shù)據(jù)倉庫以及神東大數(shù)據(jù)平臺的目標(biāo),確保數(shù)據(jù)標(biāo)準(zhǔn)化相關(guān)內(nèi)容將能夠服務(wù)于未來神東生產(chǎn)管理業(yè)務(wù)的發(fā)展。
(3)可執(zhí)行性。生產(chǎn)數(shù)據(jù)標(biāo)準(zhǔn)體系建設(shè)基于對神東生產(chǎn)業(yè)務(wù)及數(shù)據(jù)管理現(xiàn)狀的深入調(diào)研和分析,優(yōu)先考慮神東在生產(chǎn)管理領(lǐng)域以及相關(guān)系統(tǒng)建設(shè)上面臨的難題,確保數(shù)據(jù)標(biāo)準(zhǔn)體系切實可行。
數(shù)據(jù)架構(gòu)描述了技術(shù)和應(yīng)用視角下的核心組件,以及這些組件之間的分層關(guān)系和應(yīng)用邏輯。企業(yè)數(shù)據(jù)參考架構(gòu)以業(yè)務(wù)需求為導(dǎo)向,基于業(yè)務(wù)架構(gòu)和企業(yè)流程來規(guī)劃數(shù)據(jù)架構(gòu),架構(gòu)設(shè)計以業(yè)務(wù)應(yīng)用需求為先導(dǎo),將數(shù)據(jù)作為企業(yè)核心數(shù)據(jù)資產(chǎn)之一,與業(yè)務(wù)流程相互融合,多視圖對業(yè)務(wù)、數(shù)據(jù)、技術(shù)和平臺進行建模,實現(xiàn)企業(yè)人流、物流、資金流和信息流等各業(yè)務(wù)線的貫通。
中國電子技術(shù)標(biāo)準(zhǔn)化研究院和全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會大數(shù)據(jù)工作組聯(lián)合發(fā)布的《工業(yè)大數(shù)據(jù)白皮書(2017版)》中,給出的大數(shù)據(jù)架構(gòu)參考模型和工業(yè)大數(shù)據(jù)架構(gòu)參考模型如圖1和圖2所示。參考上述模型,遵循神華集團的數(shù)據(jù)架構(gòu)模型框架,結(jié)合神東業(yè)務(wù)和IT架構(gòu),設(shè)計規(guī)劃的神東大數(shù)據(jù)架構(gòu)參考模型如圖3所示。
在神東大數(shù)據(jù)架構(gòu)參考模型中,從下至上共分為七層,分別是數(shù)據(jù)標(biāo)準(zhǔn)化層、數(shù)據(jù)源層、數(shù)據(jù)采集層、數(shù)據(jù)治理層、數(shù)據(jù)管控層、數(shù)據(jù)存儲層、數(shù)據(jù)展示及應(yīng)用層,其中本期工程主要完成最下層的數(shù)據(jù)標(biāo)準(zhǔn)化層。
從業(yè)務(wù)系統(tǒng)、數(shù)據(jù)共享和業(yè)務(wù)主題3個數(shù)據(jù)管理層次建立數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)標(biāo)準(zhǔn)管理和數(shù)據(jù)質(zhì)量管理,明確數(shù)據(jù)的定義,規(guī)范數(shù)據(jù)的質(zhì)量。從神東整個企業(yè)的角度出發(fā),建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn),結(jié)合數(shù)據(jù)治理工作成立技術(shù)標(biāo)準(zhǔn)工作組,制定工作計劃,組織完成各類標(biāo)準(zhǔn)制定,主要包括技術(shù)標(biāo)準(zhǔn)、業(yè)務(wù)標(biāo)準(zhǔn)、管理標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)等內(nèi)容。
圖1 大數(shù)據(jù)架構(gòu)參考模型
圖2 工業(yè)大數(shù)據(jù)架構(gòu)參考模型
圖3 神東大數(shù)據(jù)架構(gòu)參考模型
目前的生產(chǎn)數(shù)據(jù)運作流程為產(chǎn)生→轉(zhuǎn)碼→傳輸→儲存→分析處理→展現(xiàn),對煤炭生產(chǎn)過程進行全流程、多維度的調(diào)研,了解煤炭生產(chǎn)過程中涉及到的業(yè)務(wù)實體,從數(shù)據(jù)生命周期的視角來了解和分析生產(chǎn)數(shù)據(jù)在生產(chǎn)業(yè)務(wù)過程中如何產(chǎn)生和如何終結(jié)。熟悉煤炭生產(chǎn)業(yè)務(wù)流程,再進一步分析信息化現(xiàn)狀,總結(jié)出各個業(yè)務(wù)實體在哪些信息系統(tǒng)中存在,各個信息系統(tǒng)在使用這些業(yè)務(wù)實體參照數(shù)據(jù)過程中使用了哪些屬性值,哪些屬性值是在哪些信息系統(tǒng)中進行維護和更新。 從長遠發(fā)展的角度來看,還要了解下一步生產(chǎn)相關(guān)業(yè)務(wù)的信息規(guī)劃,了解哪些基礎(chǔ)數(shù)據(jù)目前可能沒有共享的需求,但在未來有可能需要共享,需要系統(tǒng)分析和管理。數(shù)據(jù)的分類、數(shù)據(jù)的標(biāo)準(zhǔn)化是一項立足長遠的工作,必須保證標(biāo)準(zhǔn)體系的易擴展性和易維護性。
需求調(diào)研結(jié)束后,列出重要的數(shù)據(jù)管理清單。有些生產(chǎn)數(shù)據(jù)被一個系統(tǒng)多次引用,或者被多個系統(tǒng)同時引用,則這個數(shù)據(jù)項必須作為主數(shù)據(jù)優(yōu)先標(biāo)準(zhǔn)化。把這些主數(shù)據(jù)在各個系統(tǒng)中使用到的所有屬性匯在一起就初步形成一個生產(chǎn)主數(shù)據(jù)完整的指標(biāo)體系。生產(chǎn)主數(shù)據(jù)梳理完畢形成完整的指標(biāo)體系后,還必須將生產(chǎn)主數(shù)據(jù)劃分層級,這些主數(shù)據(jù)并不是每一個業(yè)務(wù)系統(tǒng)都要使用,按照決策層、管理層、執(zhí)行層分配權(quán)限,主數(shù)據(jù)運用范圍越廣,越貼近具體業(yè)務(wù)的數(shù)據(jù)項越具有專業(yè)性。
定義好每一個生產(chǎn)數(shù)據(jù)需要哪些屬性值以及每個屬性值的域,只有這樣才能避免各個信息系統(tǒng)中數(shù)據(jù)口徑不一致或者數(shù)據(jù)定義不一致的情況。 定義好每一個生產(chǎn)數(shù)據(jù)的所有屬性值的約束性規(guī)則、完整性規(guī)則以及數(shù)據(jù)質(zhì)量審核流程,生產(chǎn)數(shù)據(jù)的使用必須進行規(guī)范化,特別是對煤種、產(chǎn)量、產(chǎn)率和效率等敏感數(shù)據(jù),定義好哪些部門可以看生產(chǎn)數(shù)據(jù)的哪些屬性值,以及各個系統(tǒng)之間的數(shù)據(jù)使用接口。 所有的數(shù)據(jù)統(tǒng)一用一套編碼規(guī)則,方便后續(xù)儲存、轉(zhuǎn)換和分析。
通過數(shù)據(jù)標(biāo)準(zhǔn)化項目建立神東煤礦生產(chǎn)數(shù)據(jù)的分類體系,制定神東煤礦生產(chǎn)相關(guān)的主數(shù)據(jù)及共享數(shù)據(jù)標(biāo)準(zhǔn),實現(xiàn)數(shù)據(jù)定義和使用的唯一性與一致性,改善數(shù)據(jù)質(zhì)量,減少數(shù)據(jù)冗余,保障信息化建設(shè)成效。
(1)建立數(shù)據(jù)共享交換平臺?;跀?shù)據(jù)必須作為一種資產(chǎn)進行管理的理念,為了充分管理和應(yīng)用數(shù)據(jù),進一步發(fā)揮數(shù)據(jù)的價值,僅有標(biāo)準(zhǔn)化的數(shù)據(jù)還遠遠不夠,還需要建立數(shù)據(jù)共享交換平臺,以扭轉(zhuǎn)目前神東信息化建設(shè)過程中各個信息系統(tǒng)間網(wǎng)狀關(guān)聯(lián)關(guān)系不斷增長的局面,逐步構(gòu)建信息系統(tǒng)間星形關(guān)聯(lián)關(guān)系,實現(xiàn)共享數(shù)據(jù)資源的集中共享和有序分發(fā),從而實現(xiàn)企業(yè)內(nèi)部數(shù)據(jù)橫向貫通。
(2)建立大數(shù)據(jù)平臺。建立企業(yè)大數(shù)據(jù)平臺也是解決企業(yè)數(shù)據(jù)全面充分開發(fā)利用的有效途徑。神東現(xiàn)有約100 TB的生產(chǎn)數(shù)據(jù),隨著神東礦井?dāng)?shù)字化建設(shè)、井下3G和4G移動網(wǎng)絡(luò)的投入以及物聯(lián)網(wǎng)技術(shù)的應(yīng)用,采集到的生產(chǎn)數(shù)據(jù)正以幾何級數(shù)增長。但是這些數(shù)據(jù)本身混雜,難以輔助生產(chǎn)活動分析和決策,只有將這些數(shù)據(jù)進行挖掘和分析,并將結(jié)果以友好的形式展現(xiàn),才會被用戶接受并加以利用。所以可以通過建立神東大數(shù)據(jù)平臺來實現(xiàn)對這些數(shù)據(jù)的開發(fā)利用,最大程度地挖掘數(shù)據(jù)資產(chǎn)的價值。
煤炭生產(chǎn)數(shù)據(jù)標(biāo)準(zhǔn)化建設(shè)是煤炭生產(chǎn)領(lǐng)域?qū)崿F(xiàn)信息化的先驅(qū)工程,是建設(shè)數(shù)字礦山、智慧礦山、數(shù)據(jù)驅(qū)動型企業(yè)的基石。神東在數(shù)據(jù)標(biāo)準(zhǔn)化建設(shè)過程中以信息工程方法論為指導(dǎo),以神華集團信息化總體規(guī)劃和神東信息化總體方案設(shè)計為基礎(chǔ),以企業(yè)戰(zhàn)略為導(dǎo)向,業(yè)務(wù)、應(yīng)用、數(shù)據(jù)、集成和基礎(chǔ)設(shè)施架構(gòu)相互支持,成為一個有機整體。遵循業(yè)界主流標(biāo)準(zhǔn)和神華集團信息化標(biāo)準(zhǔn),各系統(tǒng)相互集成,確保流程銜接和數(shù)據(jù)共享。
數(shù)據(jù)共享交換平臺和大數(shù)據(jù)平臺作為數(shù)據(jù)標(biāo)準(zhǔn)化項目的兩個后續(xù)建設(shè)項目,可以檢驗數(shù)據(jù)標(biāo)準(zhǔn)化的成效,是數(shù)據(jù)標(biāo)準(zhǔn)化項目的落腳點,可以實現(xiàn)其成果的有效落地。數(shù)據(jù)標(biāo)準(zhǔn)化是企業(yè)數(shù)據(jù)治理的開始,隨著業(yè)務(wù)和數(shù)據(jù)的梳理,可能會發(fā)現(xiàn)一些問題,同時提出改進,涉及業(yè)務(wù)變革以及組織架構(gòu)調(diào)整等復(fù)雜因素,需要企業(yè)高層統(tǒng)籌協(xié)調(diào)推進,是一把手工程,需要結(jié)合企業(yè)自身實際深入研究。
[1] 劉海濱,劉浩,劉曦萌.煤礦安全數(shù)據(jù)分析與輔助決策云平臺研究[J].中國煤炭,2017(4)
[2] 張紹華,潘蓉,宗宇偉.大數(shù)據(jù)治理與服務(wù)[M].上海:上??茖W(xué)技術(shù)出版社,2016
[3] 張明英,潘蓉.《數(shù)據(jù)治理白皮書》國際標(biāo)準(zhǔn)研究報告要點解讀[J].信息技術(shù)與標(biāo)準(zhǔn)化,2015(6)
[4] 中國電子技術(shù)標(biāo)準(zhǔn)化研究院,全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會大數(shù)據(jù)工作組. 工業(yè)大數(shù)據(jù)白皮書(2017版)[EB/OL],2017
[5] 張一鳴.數(shù)據(jù)治理過程淺析[J].中國信息界,2012(9)
[6] 王海軍,武先利. “互聯(lián)網(wǎng)+”時代煤礦大數(shù)據(jù)應(yīng)用分析[J]. 煤炭科學(xué)技術(shù),2016(2)
[7] 馬小平,胡延軍,繆燕子. 物聯(lián)網(wǎng)、大數(shù)據(jù)及云計算技術(shù)在煤礦安全生產(chǎn)中的應(yīng)用研究[J]. 工礦自動化,2014(4)
[8] 申琢,譚章祿.基于數(shù)據(jù)挖掘的煤礦大數(shù)據(jù)可視化管理平臺研究[J].中國煤炭,2016(12)
[9] 常朝娣,陳敏. 大數(shù)據(jù)時代醫(yī)療健康數(shù)據(jù)治理方法研究[J]. 中國數(shù)字醫(yī)學(xué),2016(9)
[10] 李鳴,郝守勤,何震. 數(shù)據(jù)治理國際標(biāo)準(zhǔn)研究[J]. 信息技術(shù)與標(biāo)準(zhǔn)化,2017(Z1)
[11] 孫金鳳. 中國石油企業(yè)源頭數(shù)據(jù)資源建設(shè)架構(gòu)及對策[J]. 大慶石油學(xué)院學(xué)報,2010(8)
[12] 劉嬋,譚章祿. 大數(shù)據(jù)條件下企業(yè)數(shù)據(jù)共享實現(xiàn)方式及選擇[J]. 情報雜志,2016(8)
[13] 巨克真,魏珍珍. 電力企業(yè)級數(shù)據(jù)治理體系的研究[J].電力信息與通信技術(shù),2014(1)
[14] 張科利,王建文,曹豪. 互聯(lián)網(wǎng)+煤礦開采大數(shù)據(jù)技術(shù)研究與實踐[J]. 煤炭科學(xué)技術(shù),2016 (7)