崔曉優(yōu)　耿戰(zhàn)霞　陳大鵬

摘 要：分布式技術(shù)是一種新型的科學(xué)技術(shù)，是在網(wǎng)絡(luò)平臺(tái)之上研發(fā)的高新技術(shù)，可提供非常良好的應(yīng)用開發(fā)效果。并且，隨著網(wǎng)絡(luò)技術(shù)的不斷提升，人們對(duì)網(wǎng)絡(luò)平臺(tái)應(yīng)用技術(shù)的要求也逐步提升。文章針對(duì)分布式技術(shù)在電力大數(shù)據(jù)高性能處理中的應(yīng)用做出了進(jìn)一步探究，對(duì)電力大數(shù)據(jù)的概念、分布式計(jì)算比較分析、電力大數(shù)據(jù)儲(chǔ)存以及計(jì)算的解決措施給出了指導(dǎo)與建議。

關(guān)鍵詞：分布式技術(shù)；電力大數(shù)據(jù)；高性能處理

分布式技術(shù)在我國已經(jīng)得到了廣泛的應(yīng)用，從最開始的兩層模式發(fā)展到三層模式。三層模式包括業(yè)務(wù)層，數(shù)據(jù)層、邏輯層，該技術(shù)目前的發(fā)展，已經(jīng)達(dá)到了擁有多層的體系結(jié)構(gòu)。為了更好地應(yīng)對(duì)該技術(shù)在電力大數(shù)據(jù)高性能處理中出現(xiàn)的各種問題，要對(duì)生產(chǎn)當(dāng)中的各個(gè)方面以及銷售系統(tǒng)的要求相適用，立足于云計(jì)算科技帶來的各種優(yōu)勢，將分布式技術(shù)在大數(shù)據(jù)高性能處理中不斷的做出深層次探究。

1 電力大數(shù)據(jù)的概念

1.1 大數(shù)據(jù)的應(yīng)用

目前，信息化、科技化技術(shù)正在不斷的進(jìn)行高速發(fā)展，各種各樣的信息資源呈持續(xù)上漲趨勢。人們?cè)诟惺芸萍冀o生活帶來的變化同時(shí)，也造成了數(shù)字信息全球化資源快速增加。[1]根據(jù)國際上對(duì)該項(xiàng)數(shù)據(jù)的統(tǒng)計(jì)結(jié)果顯示，在2015年，全球的數(shù)據(jù)總量已經(jīng)達(dá)到了2.3ZB，并且預(yù)計(jì)，還會(huì)以平均每年50%的速度進(jìn)行增漲。大量數(shù)據(jù)的增添，社會(huì)的各個(gè)層面皆開啟了數(shù)據(jù)化時(shí)代。我國的電力企業(yè)是全世界排在前列的能源經(jīng)濟(jì)體系支撐，無疑大數(shù)據(jù)的時(shí)代早已在電力企業(yè)中開啟。

1.2 大數(shù)據(jù)的定義

對(duì)于大數(shù)據(jù)的概念并沒有統(tǒng)一的定義，通常對(duì)大數(shù)據(jù)的定義為：大數(shù)據(jù)可稱之為巨量資料，是指在新的處理模式中才能擁有更加強(qiáng)大的決策力，觀察力以及對(duì)流程進(jìn)行優(yōu)化能力的巨量、大增長率和多樣化的資產(chǎn)信息。[2]大數(shù)據(jù)是不可在一定的時(shí)間范圍內(nèi)，應(yīng)用以往的數(shù)據(jù)庫軟件對(duì)內(nèi)容進(jìn)行收集以及管理與大數(shù)據(jù)處理的集合。

1.3 電力大數(shù)據(jù)的應(yīng)用改革

針對(duì)電力大數(shù)據(jù)而言，在變革能源的過程中，電力工業(yè)技術(shù)是進(jìn)行改革的重點(diǎn)內(nèi)容。電力大數(shù)據(jù)不僅要在技術(shù)上尋求發(fā)展和變革，更要在管理的思想觀念上進(jìn)行變革。這也是電力行業(yè)在大數(shù)據(jù)發(fā)展的時(shí)代背景下適應(yīng)社會(huì)發(fā)展潮流的表現(xiàn)。

2 分布式計(jì)算比較分析

2.1 分布式計(jì)算的分類

針對(duì)比較有代表性的云計(jì)算、網(wǎng)絡(luò)計(jì)算、志愿計(jì)算進(jìn)行比較與分析。其中進(jìn)行網(wǎng)絡(luò)計(jì)算的方式是聚合分布的重要資源，可對(duì)虛擬的組織進(jìn)行支持，全面對(duì)服務(wù)的質(zhì)量進(jìn)行提升，擁有比較穩(wěn)定的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，參與人員在相關(guān)任務(wù)確認(rèn)完成之后，便可從系統(tǒng)中退出；志愿計(jì)算節(jié)點(diǎn)在進(jìn)行登錄系統(tǒng)時(shí)的隨意性會(huì)比較強(qiáng)，雖然，會(huì)出現(xiàn)任務(wù)沒有完成的提示之后便沒有音信的狀況，但在沒有將任務(wù)完成時(shí)，會(huì)涉及到榮譽(yù)度問題，在之后進(jìn)行任務(wù)分配時(shí)，系統(tǒng)會(huì)自動(dòng)將榮譽(yù)度進(jìn)行降低，減少對(duì)任務(wù)的具體分配。

2.2 分布式計(jì)算的分析

三種分布式計(jì)算皆可對(duì)異構(gòu)資源實(shí)行支持，但從理念觀念上而言又各不一樣。網(wǎng)絡(luò)的關(guān)鍵部分是路過中間件時(shí)，對(duì)異構(gòu)系統(tǒng)進(jìn)行屏蔽，對(duì)使用的用戶信息透明化，將實(shí)際執(zhí)行的過程通過中間件來進(jìn)行操作。[3]對(duì)云計(jì)算的使用，可實(shí)現(xiàn)用戶按照實(shí)際需求進(jìn)行分配，并且有一定的保障作用，其實(shí)質(zhì)同日常生活中使用的水與電是一樣的。但是在異構(gòu)方面使用的則是鏡像執(zhí)行。志愿計(jì)算對(duì)異構(gòu)性的影響比較小，也就是能夠返回至結(jié)構(gòu)就可以，通過機(jī)器類型以及各系統(tǒng)等方面的差別沒有特殊的要求。

云計(jì)算和網(wǎng)絡(luò)計(jì)算，同志愿計(jì)算進(jìn)行比較，該技術(shù)可被深層次進(jìn)行應(yīng)用，極大的降低了工作人員的工作量，只要將類型進(jìn)行選用，剩下的兩種計(jì)算方式都是對(duì)總部體系運(yùn)行進(jìn)行設(shè)定。此外，云計(jì)算將資源的集中化進(jìn)行分散使用，而其它兩種計(jì)算則需要對(duì)資源實(shí)施整合，之后才可在大型應(yīng)用中進(jìn)行執(zhí)行。志愿計(jì)算只是利用該計(jì)算方式的靈活性質(zhì)，將空閑中的資源把分割完畢的任務(wù)交付于志愿者進(jìn)行執(zhí)行，之后在進(jìn)行整合把任務(wù)提交上去，整個(gè)實(shí)現(xiàn)的過程并不需要計(jì)算機(jī)中心的數(shù)據(jù)庫系統(tǒng)，也無需云計(jì)算的各種終端，僅僅需要HOST便可實(shí)行調(diào)度。

3 基于分布式技術(shù)的電力大數(shù)據(jù)儲(chǔ)存以及計(jì)算的解決措施

3.1 分布式文件系統(tǒng)

對(duì)于規(guī)模龐大的數(shù)據(jù)儲(chǔ)存，分布式文件的可拓展性是使儲(chǔ)存的系統(tǒng)功能實(shí)現(xiàn)的重要因素。Key-Value文件通常會(huì)在硬件系統(tǒng)上進(jìn)行設(shè)計(jì)，有可用性以及高容錯(cuò)行的特征，該系統(tǒng)可提供具有容量非常高的訪問數(shù)據(jù)吞吐量，極其適合在規(guī)模龐大的數(shù)據(jù)上進(jìn)行使用。在該系統(tǒng)中，通常會(huì)采用一個(gè)master和許多的slave架構(gòu)，其中master的作用是元數(shù)據(jù)的保管，slave的作用是對(duì)信息數(shù)據(jù)進(jìn)行保存。這種結(jié)構(gòu)可以使系統(tǒng)安置在非常多的集群當(dāng)中，將擴(kuò)展性得到提升。利用文本的副本，使該系統(tǒng)在有故障發(fā)生時(shí)，可自行進(jìn)行恢復(fù)數(shù)據(jù)。該系統(tǒng)應(yīng)用的模型對(duì)復(fù)雜的系統(tǒng)進(jìn)行了簡化，又提高了吞吐量。

3.2 并行計(jì)算

MapReduce是谷歌提出的架構(gòu)軟件以及模型計(jì)算，應(yīng)用在非常大規(guī)模的數(shù)據(jù)集的運(yùn)算當(dāng)中。分布式平臺(tái)在此結(jié)構(gòu)基礎(chǔ)之上，在體系內(nèi)部的結(jié)構(gòu)當(dāng)中，MapReduce是非常好用的軟件架構(gòu)，可將任務(wù)分配發(fā)送至成千臺(tái)集群中，以高容錯(cuò)的方法對(duì)數(shù)據(jù)集進(jìn)行并行處理。將任務(wù)的并行處理功能得以實(shí)現(xiàn)，并且，將SQL至MapReduce實(shí)現(xiàn)了轉(zhuǎn)換平滑，將原有的繁雜SQL實(shí)行解析處理，優(yōu)化過后形成任務(wù)處理。在平臺(tái)中，MapReduce可調(diào)度優(yōu)化任務(wù)，把數(shù)據(jù)業(yè)務(wù)處理成不同的任務(wù)運(yùn)行，盡量應(yīng)用計(jì)算資源，將分析數(shù)據(jù)的時(shí)間整體進(jìn)行縮短。

3.3 多為索引

（1）為了確保多為數(shù)據(jù)更好的實(shí)現(xiàn)查詢功能，需利用數(shù)據(jù)集中的多為索引。多為索引中的過濾器以及refinement階段構(gòu)成了該查詢分析。過濾器階段是候選集選擇，實(shí)行初級(jí)的過濾。過濾之后再利用refinement階段，實(shí)現(xiàn)仔細(xì)的查找，獲取最后的結(jié)果集。該數(shù)據(jù)索引建立在數(shù)據(jù)集的基礎(chǔ)上，完成高質(zhì)量的查詢作業(yè)以及數(shù)據(jù)分析。經(jīng)常使用的二級(jí)索而言，是建立在具體的維度上，在頻率非常高查詢時(shí)，可在維度上進(jìn)行二級(jí)索引的建立。例如：建立B+樹。進(jìn)行查詢的過程中，可直接利用一次二級(jí)將索引過渡，之后對(duì)需要的數(shù)據(jù)進(jìn)行定位，極大的提升了查找的效率。

（2）該平臺(tái)突破了Hadoop只對(duì)單項(xiàng)索引進(jìn)行執(zhí)行的問題，實(shí)現(xiàn)了所列索引的應(yīng)用，將系統(tǒng)的查詢速度全面提升。為了加強(qiáng)不同應(yīng)用系統(tǒng)的支持，平臺(tái)能夠支持Secondary、CCINDEX、IMP Secondary Index三種索引。在此基礎(chǔ)之上，利用服務(wù)端的技術(shù)，通過服務(wù)器對(duì)數(shù)據(jù)結(jié)果實(shí)行計(jì)算，之后返還給查詢方，提高了對(duì)于復(fù)雜查詢的運(yùn)算效率。

4 結(jié)束語

曾經(jīng)的計(jì)算機(jī)應(yīng)用程序皆是在傳輸層上進(jìn)行直接編輯，該方式十分不方便并且比較復(fù)雜，在大規(guī)模的系統(tǒng)中應(yīng)用較為不便，并且不能對(duì)系統(tǒng)進(jìn)行拓展，對(duì)于該現(xiàn)象的有效解決方式便是應(yīng)用分布式技術(shù)。該技術(shù)在電力大數(shù)據(jù)中，在高性能處理方面實(shí)行了具體的分析，利用比較分布式計(jì)算，總結(jié)大數(shù)據(jù)的基本特征和云計(jì)算的應(yīng)用發(fā)展，以便切實(shí)的提高分布式技術(shù)在電力大數(shù)據(jù)高性能中的處理水準(zhǔn)。

參考文獻(xiàn)

[1]鄧賢添.基于分布式技術(shù)的電力大數(shù)據(jù)高性能處理中的應(yīng)用研究[J].中國新技術(shù)新產(chǎn)品，2015，24：22-23.

[2]段春梅.云計(jì)算分布式緩存技術(shù)在海量數(shù)據(jù)處理平臺(tái)中的應(yīng)用[J]. 智能計(jì)算機(jī)與應(yīng)用，2016，1：13-15+20.

[3]崔陽，呂志平，陳正生.分布式計(jì)算技術(shù)在大地測量數(shù)據(jù)處理中的應(yīng)用[J].測繪科學(xué)，2014，5：146-149+42.

作者簡介：崔曉優(yōu)（1975-），男，河南許昌人，本科，工程師，研究方向：特高壓直流輸電控制保護(hù)監(jiān)控系統(tǒng)。