電力系統(tǒng)多源異構(gòu)數(shù)據(jù)的存儲管理技術(shù)研究

馬翔 方璇 呂磊炎

摘 要：隨著海量數(shù)據(jù)的不斷增加，除了給公司帶來系統(tǒng)運(yùn)行和數(shù)據(jù)交換上的壓力外，還在無形中增加了公司成本，導(dǎo)致電力公司不得不在海量數(shù)據(jù)存儲、交換以及監(jiān)測分析壓力中尋找新的解壓物質(zhì)。所以，我們以海量數(shù)據(jù)為研究對象，促進(jìn)了多源異構(gòu)數(shù)據(jù)優(yōu)化管理系統(tǒng)的提出，其系統(tǒng)不僅能對多源異構(gòu)數(shù)據(jù)進(jìn)行存儲和交換操作，而且也能完成歷史數(shù)據(jù)的有效累積，進(jìn)一步促進(jìn)電力公司信息系統(tǒng)的優(yōu)化，導(dǎo)致公司信息系統(tǒng)運(yùn)行效率的顯著上升，從而最大化的減小公司支出的運(yùn)營成本。

關(guān)鍵詞：電力系統(tǒng);多源異構(gòu)數(shù)據(jù);存儲管理技術(shù)

DOI：10.16640/j.cnki.37-1222/t.2019.04.167

1 多源異構(gòu)數(shù)據(jù)的存儲特點

該技術(shù)主要出發(fā)點和落腳點就是促進(jìn)海量數(shù)據(jù)存儲目標(biāo)的實現(xiàn)，可以不斷迎合電力公司與日俱增的相關(guān)數(shù)據(jù)，進(jìn)一步促進(jìn)數(shù)據(jù)分類和存儲目標(biāo)的實現(xiàn)。

對多源異構(gòu)數(shù)據(jù)存儲技術(shù)來說，分布式數(shù)據(jù)存儲在其存儲技術(shù)中占據(jù)較高比例，使得電網(wǎng)數(shù)據(jù)的分類存儲技術(shù)得以最終完成。存儲技術(shù)可擴(kuò)展性極強(qiáng)，存儲能力的增加和服務(wù)器的添加可以同步實現(xiàn)，減輕進(jìn)一步促進(jìn)存儲結(jié)果設(shè)計的繁瑣操作;而且，其存儲性能依舊保持不變。電力公司能夠以具體業(yè)務(wù)需求為導(dǎo)向，促進(jìn)對數(shù)據(jù)存儲系統(tǒng)的靈活性運(yùn)用，保持系統(tǒng)的正常運(yùn)行。

數(shù)據(jù)存儲形態(tài)必須將關(guān)注的目光放在多管理者并發(fā)讀寫數(shù)據(jù)上，要全面保證存儲服務(wù)器給不同管理者的數(shù)據(jù)都是統(tǒng)一的，所以，虛擬機(jī)集群存儲以數(shù)據(jù)管理中心為導(dǎo)向，促進(jìn)整體數(shù)據(jù)的分類整理，使其能夠分類在數(shù)據(jù)庫存儲服務(wù)器中進(jìn)行存儲，從而保證能夠有效對電力數(shù)據(jù)進(jìn)行管理。

非結(jié)構(gòu)化數(shù)據(jù)的存儲特點：數(shù)據(jù)存儲容量大;媒體形式多樣化;信息系統(tǒng)快速增長。

結(jié)構(gòu)化數(shù)據(jù)的存儲特點：對結(jié)構(gòu)化數(shù)據(jù)而言，其以行存儲為常規(guī)存儲方式，以記錄為主促進(jìn)其能合理放置在盤頁中;而以列存儲一系列存儲為主要表現(xiàn)形態(tài)的存儲模式，主要以列為主體面向?qū)ο?，存儲的?shù)據(jù)表一直以數(shù)據(jù)列的形式而單獨(dú)存在。

2 多源異構(gòu)數(shù)據(jù)的分離

（1）非結(jié)構(gòu)化數(shù)據(jù)的分離。虛擬機(jī)集群里面主要包含的是非結(jié)構(gòu)化數(shù)據(jù)存儲，而非結(jié)構(gòu)化數(shù)據(jù)經(jīng)過數(shù)據(jù)管理中心的分離操作后，逐漸演變?yōu)榱硗鈨煞N數(shù)據(jù)形式，第一種為元數(shù)據(jù)形式，第二種為二進(jìn)制數(shù)據(jù)形式。

所謂二進(jìn)制數(shù)據(jù)，其主要以關(guān)系表中有數(shù)據(jù)存在的形式而存在，其最終的展現(xiàn)模式以流數(shù)據(jù)形式為主。二進(jìn)制數(shù)據(jù)統(tǒng)一存儲在磁盤數(shù)據(jù)文件中。由于對于主要的磁盤數(shù)據(jù)文件來說，其存儲于冗余磁盤陣列里面，而且主要以連續(xù)性方式為主，因此即使管理者數(shù)據(jù)庫表里面的二進(jìn)制數(shù)據(jù)會對數(shù)據(jù)存取效率產(chǎn)生影響，但是要想快速讀取其文件，也可以通過對數(shù)據(jù)文件索引的進(jìn)一步建立而實現(xiàn)，通過對二進(jìn)制存儲方式的運(yùn)用，其里面的文件碎片管理有助于保證文件管理的高效運(yùn)行。

促進(jìn)不同形式數(shù)據(jù)的不同管理，更有助于存儲資源優(yōu)化配置目標(biāo)的圓滿實現(xiàn)。在資源分配上，二進(jìn)制數(shù)據(jù)存儲區(qū)可以接收一些存儲容量顯著以及在計算能力上有優(yōu)勢的計算機(jī)資源，通過快速響應(yīng)使主要的計算機(jī)資源都能最終固定在元數(shù)據(jù)存儲區(qū)。

（2）結(jié)構(gòu)化數(shù)據(jù)的分離。分離結(jié)構(gòu)化數(shù)據(jù)要經(jīng)過以下過程：

①數(shù)據(jù)預(yù)處理過程。其主要清洗數(shù)據(jù)，促進(jìn)數(shù)據(jù)中噪聲的過濾，從而使數(shù)據(jù)能夠得到更好的保存;然后開始促進(jìn)數(shù)據(jù)的轉(zhuǎn)換，促使連續(xù)數(shù)據(jù)不斷拆分，表現(xiàn)出離散集分析等基本性能。

②準(zhǔn)備訓(xùn)練集和測試集過程。以不同分類器提供的信息為導(dǎo)向，對聚類函數(shù)進(jìn)行準(zhǔn)確無誤的評估，然后促進(jìn)離散數(shù)據(jù)的進(jìn)一步集合，使其最終以訓(xùn)練集和測試集的表現(xiàn)形式而存在。

③構(gòu)造分類器過程。綜合前面步驟中成形的數(shù)據(jù)訓(xùn)練集，通過對特定分類算法的運(yùn)用，促進(jìn)特殊分類器的進(jìn)一步形成。

④評價分類器過程。綜合上述步驟最終形成的測試集，通過對準(zhǔn)確性評估方法的運(yùn)用，使不同分類器都能得到具體準(zhǔn)確的評估，只要其和準(zhǔn)確度相符就可以繼續(xù)使用，否則，必須進(jìn)一步修改分類器，直到其達(dá)到一定準(zhǔn)確性為主。

3 多源異構(gòu)數(shù)據(jù)的存儲管理技術(shù)

存儲陣列為了確保數(shù)據(jù)存取業(yè)務(wù)高可靠性、擴(kuò)展性顯著、高性能、高可用性等，促進(jìn)了相應(yīng)技術(shù)的開發(fā)和運(yùn)用。

所謂高可靠性，其主要需要包含以下職能：無論是器件冗余（多控）還是硬盤壞道檢測/修復(fù)， 無論是磁盤健康分析還是多路徑技術(shù)，還包括BBU 掉電保護(hù)以及RAID 重構(gòu)，除此之外，緩存鏡像技術(shù)和磁盤保險箱技術(shù)也包含在內(nèi)，最后，無論是磁盤預(yù)拷貝技術(shù)還是快照/克隆技術(shù)，亦或是LUN 拷貝和遠(yuǎn)程復(fù)制都是其中不可缺少的主體。

可擴(kuò)展性主要包含 Scale-out以及iSCSI，除此之外，F(xiàn)C 技術(shù)和SAS 技術(shù)也在其中，最后，PCI-e和Fc OE也在其中扮演著重要作用。

而高性能主要以塊虛擬化技術(shù) cache 回寫以及cache 預(yù)取技術(shù)為主，除此之外，12Gb SAS和16Gb FC也在其中作用顯著。

最后，對于高可用性而言，其中不僅含有 Smart Tier 技術(shù)和Smart Qos 技術(shù)，而且Smart Thin 技術(shù)也是其中不可忽視的存在。

分析上面提出的諸多存儲技術(shù)可知，其有助于系統(tǒng)的全方位存儲。然而本文研究的重點是多源異構(gòu)數(shù)據(jù)優(yōu)化管理系統(tǒng)，所以將Smart Thin技術(shù)作為主要存儲技術(shù)，其不僅可用性強(qiáng)，具有極高的空間利用率，而且可靠性強(qiáng)，數(shù)據(jù)讀寫操作性能強(qiáng)悍。Smart Thin，屬于存儲容量的虛擬化特性中的一種。然而存儲系統(tǒng)僅需要Thin LUN能夠以存儲池為出發(fā)點，最終往實際使用到的空間轉(zhuǎn)變即可。這是一種以按需分配為主的主要技術(shù)，其主要優(yōu)點是能以較少的投入獲得較高的回報。其可以通過在線擴(kuò)容的方式完成數(shù)據(jù)需求，減少由于數(shù)據(jù)遷移帶來的風(fēng)險，更有助于數(shù)據(jù)備份成本的節(jié)約?？梢源龠M(jìn)自動化容量管理功能的提供，為用戶提供諸多便利。其主要是容量競爭機(jī)制是促進(jìn)各業(yè)務(wù)的競爭，使其通過努力促進(jìn)存儲容量最優(yōu)化配置目標(biāo)的實現(xiàn)。除此之外，我們還能將Thin LUN 所在的存儲池作為要點，促進(jìn)告警閾值的設(shè)置，一旦應(yīng)用程序?qū)嶋H使用的存儲池的容量和該閾值越來越近時，系統(tǒng)就會發(fā)出警示，我們就能進(jìn)一步存儲擴(kuò)充其容量。

參考文獻(xiàn)：

[1]張曉勇.基于多源異構(gòu)數(shù)據(jù)融合的概念層次體系構(gòu)建及其應(yīng)用研究[D].南京理工大學(xué)，2017.

[2]郭馨蔚.多源異構(gòu)數(shù)據(jù)的跨域關(guān)聯(lián)方法研究及應(yīng)用[D].電子科技大學(xué)，2016.

[3]陳淘，劉利兵.大數(shù)據(jù)技術(shù)在智能電網(wǎng)中應(yīng)用[J].物聯(lián)網(wǎng)技術(shù)， 2016（04）.

作者簡介：馬翔（1972-），男，浙江海寧人，本科，高工，從事電力系統(tǒng)自動化方面的研究及管理工作。