任友誼（中國(guó)石油寧夏石化公司， 寧夏 銀川 750026）

大數(shù)據(jù)技術(shù)在石油石化行業(yè)的應(yīng)用

任友誼（中國(guó)石油寧夏石化公司， 寧夏 銀川 750026）

隨著科學(xué)技術(shù)和石油石化行業(yè)的迅速發(fā)展，大數(shù)據(jù)技術(shù)已經(jīng)是石油石化行業(yè)必不可少的發(fā)展重點(diǎn)，這項(xiàng)技術(shù)應(yīng)用成果在我們的日常生活中已經(jīng)隨處可見(jiàn)?，F(xiàn)在的當(dāng)務(wù)之急是要合理有效的運(yùn)用這項(xiàng)技術(shù)，在石油石化信息化建設(shè)的優(yōu)化當(dāng)中，建立企業(yè)自己的數(shù)據(jù)標(biāo)準(zhǔn)及資源池，隨后才可根據(jù)業(yè)務(wù)的實(shí)際需求進(jìn)行數(shù)據(jù)的抽取和展示，徹底杜絕信息孤島的存在。本文主要根據(jù)筆者在石化公司信息部門(mén)的所見(jiàn)所聞及其工作的相關(guān)經(jīng)驗(yàn)對(duì)這個(gè)問(wèn)題進(jìn)行探討。

大數(shù)據(jù)；石油石化行業(yè)；應(yīng)用

企業(yè)平常運(yùn)作時(shí)產(chǎn)生的飛速增長(zhǎng)的數(shù)據(jù)中，雖然有超過(guò)80%的數(shù)據(jù)是沒(méi)有什么作用的，但是這些數(shù)據(jù)卻非常的真實(shí)。如果能分類(lèi)整理并加以合理利用，對(duì)企業(yè)的生產(chǎn)經(jīng)營(yíng)可以起到至關(guān)重要的支持作用。隨著大數(shù)據(jù)時(shí)代的到來(lái)，各個(gè)行業(yè)都對(duì)其帶來(lái)的成果十分重視。但是這個(gè)時(shí)代卻給人類(lèi)對(duì)于數(shù)據(jù)的操控能力發(fā)出了全新的挑戰(zhàn)，當(dāng)然也為人們的潛力發(fā)掘開(kāi)拓了新的空間。

1 信息化的現(xiàn)狀

隨著我國(guó)經(jīng)濟(jì)實(shí)力的不斷增強(qiáng)，石油石化行業(yè)也得到了迅速的發(fā)展，各企業(yè)也逐漸認(rèn)識(shí)到信息化建設(shè)對(duì)企業(yè)持續(xù)發(fā)展的重要性，在過(guò)去近十年的信息化建設(shè)過(guò)程中主要以建設(shè)各業(yè)務(wù)的獨(dú)立信息系統(tǒng)為主，即使有數(shù)據(jù)交互也是在各個(gè)獨(dú)立的數(shù)據(jù)庫(kù)之間進(jìn)行，基本實(shí)現(xiàn)了業(yè)務(wù)信息的電子化，但是沒(méi)有實(shí)現(xiàn)真正意義上的系統(tǒng)整合。對(duì)于企業(yè)在運(yùn)作時(shí)產(chǎn)生的龐大數(shù)據(jù)，怎樣將這些數(shù)據(jù)整合并合理的利用，成了各個(gè)企業(yè)信息化發(fā)展的瓶頸。

2 大數(shù)據(jù)技術(shù)的發(fā)展

從大數(shù)據(jù)技術(shù)出現(xiàn)以來(lái)，隨著技術(shù)的不斷成熟，部分企業(yè)也開(kāi)始將這項(xiàng)技術(shù)應(yīng)用到石油石化的生產(chǎn)中，以便讓企業(yè)獲得更多的經(jīng)濟(jì)收益。當(dāng)然，大數(shù)據(jù)技術(shù)在石油石化行業(yè)的發(fā)展、主要體現(xiàn)在了管理數(shù)據(jù)上面，當(dāng)前很多石油石化行業(yè)的數(shù)據(jù)已經(jīng)轉(zhuǎn)變成了超大規(guī)模的電腦管理模式，儲(chǔ)存的空間提高了千TB。這項(xiàng)技術(shù)的挖掘也解決了在石油石化開(kāi)采中出現(xiàn)的大規(guī)模數(shù)據(jù)結(jié)構(gòu)非常復(fù)雜的問(wèn)題，將這個(gè)技術(shù)運(yùn)用到實(shí)踐中，既能夠描述生產(chǎn)的過(guò)程記錄，又能在出現(xiàn)問(wèn)題的時(shí)候及時(shí)發(fā)現(xiàn)，起到預(yù)測(cè)的功效，還可以時(shí)刻觀察設(shè)備的磨損并進(jìn)行及時(shí)的修理，可以減少失誤率，降低不必要的維修成本。

3 大數(shù)據(jù)技術(shù)的應(yīng)用

近年來(lái)，石化企業(yè)的信息化發(fā)展策略的重點(diǎn)是數(shù)據(jù)的采集，數(shù)據(jù)分析追求高質(zhì)量和高效率，在建設(shè)智能化工廠時(shí)，需要合理的利用信息感知、“云計(jì)算”、大數(shù)據(jù)處理等技術(shù)。

①NoSQL數(shù)據(jù)庫(kù)技術(shù)。NoSQL（Not only SQL）數(shù)據(jù)庫(kù)，是指不同于傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的非關(guān)系型數(shù)據(jù)庫(kù)。它的數(shù)據(jù)類(lèi)型是非結(jié)構(gòu)化的，數(shù)據(jù)庫(kù)結(jié)構(gòu)不需要事先定義就可以靈活改變。相較于傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)以行模式進(jìn)行數(shù)據(jù)存儲(chǔ)，NoSQL數(shù)據(jù)庫(kù)則是以列模式存儲(chǔ)，數(shù)據(jù)只要保持結(jié)果的匹配，不需要保持嚴(yán)密的一致性即可。它可以在數(shù)臺(tái)服務(wù)器上采用部分協(xié)作的方式來(lái)進(jìn)行工作，支持多種非SQL語(yǔ)言，它處理數(shù)據(jù)的能力要比RDBMS大得多。對(duì)于那些廣泛使用Oracle數(shù)據(jù)庫(kù)的石化企業(yè)來(lái)說(shuō)，Oracle NoSQL Database11g商用數(shù)據(jù)庫(kù)使得在今后使用NoSQL數(shù)據(jù)庫(kù)來(lái)處理工作中產(chǎn)生的大量非結(jié)構(gòu)化數(shù)據(jù)的成本大大降低。像信息平臺(tái)采集到的MES系統(tǒng)、ERP系統(tǒng)以及指紋門(mén)禁等各類(lèi)與生產(chǎn)管理相關(guān)的數(shù)據(jù)都可以利用NoSQL數(shù)據(jù)庫(kù)來(lái)處理。

②大數(shù)據(jù)中的MapReduce技術(shù)。MapReduce是一種編程模型，它主要用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算。它的主要思想是可以將需要執(zhí)行的問(wèn)題，如查詢(xún)、分析任務(wù)等進(jìn)行自動(dòng)分割，并拆解成映射（map）和化簡(jiǎn)（reduce）的方式，然后再通過(guò)Map函數(shù)程序?qū)?shù)據(jù)映射成不同的區(qū)塊，并將它們分配給機(jī)群中的不同處理節(jié)點(diǎn)來(lái)解決，從而達(dá)到分布式計(jì)算的目的，最后再通過(guò)Reduce函數(shù)程序?qū)⒔Y(jié)果匯整之后得出最終結(jié)果。MapReduce技術(shù)可以通過(guò)大量廉價(jià)的服務(wù)器來(lái)實(shí)現(xiàn)大數(shù)據(jù)的并行處理，以提高運(yùn)算速度。石化企業(yè)在以往傳統(tǒng)的信息化建設(shè)中，擁有大量的廉價(jià)服務(wù)器，采用該技術(shù)后，可以大大降低進(jìn)行數(shù)據(jù)處理的成本。

③大數(shù)據(jù)的ETL預(yù)處理技術(shù)。為了提高大數(shù)據(jù)的處理速度，要將采集到的數(shù)據(jù)進(jìn)行填補(bǔ)、合并、規(guī)范化等預(yù)處理，而分散在各個(gè)應(yīng)用系統(tǒng)里的不同數(shù)據(jù)庫(kù)中的數(shù)據(jù)，也要進(jìn)行提取、轉(zhuǎn)換、加載等多維度預(yù)處理。ETL預(yù)處理技術(shù)，可以把多個(gè)數(shù)據(jù)庫(kù)包含的結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)提取到臨時(shí)中間層，然后進(jìn)行清理、轉(zhuǎn)換、集成，最終加載到目標(biāo)數(shù)據(jù)庫(kù)或者文件存儲(chǔ)系統(tǒng)中，以便運(yùn)用到日后的數(shù)據(jù)挖掘中去。

4 結(jié)語(yǔ)

大數(shù)據(jù)技術(shù)讓數(shù)據(jù)的統(tǒng)一性和信息的利用率達(dá)到了一個(gè)更高的領(lǐng)域，伴隨著這個(gè)新時(shí)代的到來(lái)，曾經(jīng)的石油石化行業(yè)中的不同企業(yè)已經(jīng)深深地明白了這個(gè)時(shí)代將帶來(lái)非常大的機(jī)會(huì)和挑戰(zhàn)，將來(lái)的石油石化行業(yè)馬上就會(huì)進(jìn)入一個(gè)全新的管理模式，所以，在以后的石油石化行業(yè)中，大數(shù)據(jù)技術(shù)是必不可少的，也是一個(gè)企業(yè)想要更好發(fā)展的唯一道路，筆者通過(guò)對(duì)于大數(shù)據(jù)技術(shù)引領(lǐng)時(shí)代的介紹，分析了目前的狀況及相應(yīng)的特點(diǎn)，全面的講述了這項(xiàng)技術(shù)之后在石油石化行業(yè)中的運(yùn)用，所以，在這個(gè)新的時(shí)代，我們這些石油石化行業(yè)的信息工作人員，一定要熟悉大數(shù)據(jù)的相關(guān)技術(shù)，并探索這項(xiàng)技術(shù)的運(yùn)用對(duì)于以后的石油石化行業(yè)的發(fā)展走向，把最新、最先進(jìn)的技術(shù)應(yīng)用于現(xiàn)在的石油石化行業(yè)中去，使其產(chǎn)生更好的經(jīng)濟(jì)效益。

［1］厲彥柏.石油石化行業(yè)工業(yè)生產(chǎn)企業(yè)事故統(tǒng)計(jì)分析工作中的幾個(gè)問(wèn)題［J］.安全與健康（上半月版），2011，（9）:41-43.

［2］陸治榮.石化行業(yè):迎接大數(shù)據(jù)時(shí)代［J］.自動(dòng)化博覽，2015，（2）:32-33.

［3］郭江波，許云鳳，張冰，等.石化行業(yè)圖紙明細(xì)欄的數(shù)據(jù)VC#.NET提取研究［J］.內(nèi)蒙古石油化工，2013，39（16）:15-17.