基于Tokyo Tyrant的智能電網(wǎng)數(shù)據(jù)處理與應(yīng)用研究

福建工程學(xué)院軟件學(xué)院 楊真華

?

基于Tokyo Tyrant的智能電網(wǎng)數(shù)據(jù)處理與應(yīng)用研究

福建工程學(xué)院軟件學(xué)院 楊真華

該文著重研究智能電網(wǎng)電力用戶用電數(shù)據(jù)采集處理領(lǐng)域中性能大幅提高的問(wèn)題，主要利用Java技術(shù)和數(shù)據(jù)庫(kù)技術(shù)研究電力用戶用電數(shù)據(jù)智能控制采集系統(tǒng)，采用基于DBM和Tokyo Tyrant技術(shù)構(gòu)建高并發(fā)的分布式持久存儲(chǔ)系統(tǒng)，實(shí)現(xiàn)對(duì)海量電力用戶用電數(shù)據(jù)的高效處理，進(jìn)而實(shí)現(xiàn)整個(gè)電力系統(tǒng)的優(yōu)化運(yùn)行與管理，實(shí)現(xiàn)智能電網(wǎng)的初步發(fā)展目標(biāo)。

智能電網(wǎng) 數(shù)據(jù)采集 數(shù)據(jù)處理 Tokyo Tyrant

新一代智能電網(wǎng)的建設(shè)和改造雖然已經(jīng)開展了一段時(shí)間，但電網(wǎng)智能化的發(fā)展還是相對(duì)落后的，海量用電數(shù)據(jù)采集處理很大程度上制約了電力系統(tǒng)信息化和智能化的發(fā)展。因此，海量數(shù)據(jù)的采集處理技術(shù)在智能電網(wǎng)方面的研究意義重大。

本文主要介紹智能電網(wǎng)用電信息采集系統(tǒng)的數(shù)據(jù)處理子系統(tǒng)應(yīng)用的相關(guān)理論與關(guān)鍵技術(shù)，如SOA框架、J2EE開發(fā)平臺(tái)、Tokyo Tyrant數(shù)據(jù)庫(kù)高速緩存技術(shù)等；然后提出了智能電網(wǎng)數(shù)據(jù)處理子系統(tǒng)的整體設(shè)計(jì)方案；利用成熟的軟件開發(fā)技術(shù)，進(jìn)行智能電網(wǎng)數(shù)據(jù)處理子系統(tǒng)的初步開發(fā)。

1 關(guān)鍵技術(shù)說(shuō)明

為了構(gòu)建高可用性、安全性、可靠性、可伸縮性和擴(kuò)展性的用電信息采集系統(tǒng)，系統(tǒng)采用J2EE企業(yè)平臺(tái)架構(gòu)搭建，采用多層的分布式應(yīng)用模型及靈活的事務(wù)控制，使系統(tǒng)具有更好的移植性，以適應(yīng)用電信息采集系統(tǒng)應(yīng)用環(huán)境復(fù)雜、業(yè)務(wù)規(guī)則多變、信息發(fā)布的需要，以及系統(tǒng)將來(lái)的擴(kuò)展的需要；采用基于Tokyo Trant緩存結(jié)構(gòu)的數(shù)據(jù)庫(kù)設(shè)計(jì)，實(shí)現(xiàn)對(duì)Oracle數(shù)據(jù)庫(kù)表的海量數(shù)據(jù)的高速寫入、讀取、查詢與分析，進(jìn)而優(yōu)化智能電網(wǎng)電力數(shù)據(jù)采集系統(tǒng)的運(yùn)行與管理。

1.1 以SOA框架為基礎(chǔ)的J2EE實(shí)現(xiàn)

面向服務(wù)的體系結(jié)構(gòu)是一個(gè)組件模型，它將應(yīng)用程序的不同功能單元通過(guò)這些服務(wù)之間定義良好的接口和契約聯(lián)系起來(lái)。接口是采用中立的方式進(jìn)行定義的，它應(yīng)該獨(dú)立于實(shí)現(xiàn)服務(wù)的硬件平臺(tái)、操作系統(tǒng)和編程語(yǔ)言[1]。

J2EE是一套全然不同于傳統(tǒng)應(yīng)用開發(fā)的技術(shù)架構(gòu)，包含許多組件，主要可簡(jiǎn)化且規(guī)范應(yīng)用系統(tǒng)的開發(fā)與部署，進(jìn)而提高可移植性、安全與再用價(jià)值[2]。J2EE技術(shù)的基礎(chǔ)就是核心Java平臺(tái)或Java 2平臺(tái)的標(biāo)準(zhǔn)版，J2EE不僅鞏固了標(biāo)準(zhǔn)版中的許多優(yōu)點(diǎn)，同時(shí)還提供了對(duì) EJB、Java Servlets API、JSP以及XML技術(shù)的全面支持[3]。

1.2 緩存、DBM和數(shù)據(jù)庫(kù)技術(shù)

緩存主要用來(lái)解決IO速度不同的接口間數(shù)據(jù)傳輸瓶頸的問(wèn)題。將經(jīng)常讀取的數(shù)據(jù)存儲(chǔ)在緩存系統(tǒng)中，由于其存儲(chǔ)于服務(wù)器的內(nèi)存中，讀取速度會(huì)十分快，同時(shí)也減輕了數(shù)據(jù)庫(kù)的訪問(wèn)壓力。

1.2.1 DBM

DBM即動(dòng)態(tài)緩沖管理，在庫(kù)存管理中又叫動(dòng)態(tài)緩沖庫(kù)存管理[4]。DBM數(shù)據(jù)庫(kù)是一種具有動(dòng)態(tài)緩存管理特征的數(shù)據(jù)，它能把數(shù)據(jù)緩存在內(nèi)存中實(shí)現(xiàn)高速訪問(wèn)。尤其在配送系統(tǒng)和補(bǔ)給系統(tǒng)變動(dòng)頻繁的情況之下，它在對(duì)大數(shù)據(jù)量的數(shù)據(jù)訪問(wèn)方面有著非常不錯(cuò)的表現(xiàn)。

1.2.2Tokyo Tyrant緩存

天空變得更亮了，白色云朵多了起來(lái)，一大團(tuán)一大團(tuán)地簇?fù)碓谝黄稹Ｑ┌椎脑茍F(tuán)上有許多黑洞似的暗斑，遠(yuǎn)遠(yuǎn)望去，像極了一個(gè)個(gè)不規(guī)則的蜂巢。

Tokyo Cabinet 是一款DBM數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)讀寫非?？?。寫入100萬(wàn)數(shù)據(jù)只需要0.4秒，讀取100萬(wàn)數(shù)據(jù)只需要0.33秒。Tokyo Tyrant 提供dbm數(shù)據(jù)庫(kù)Tokyo Cabinet的網(wǎng)絡(luò)接口。它使用簡(jiǎn)單的基于TCP/IP的簡(jiǎn)單二進(jìn)制協(xié)議進(jìn)行通信，實(shí)現(xiàn)了跨平臺(tái)、跨語(yǔ)言使用Tokyo Tyrant。采用熱備份，更新日志記錄，復(fù)制來(lái)實(shí)現(xiàn)高可用性和高可靠性[5]。

1.2.3 Oracle數(shù)據(jù)庫(kù)

Oracle數(shù)據(jù)庫(kù)是一種大型數(shù)據(jù)庫(kù)系統(tǒng)，能夠處理大批量的數(shù)據(jù)，Oracle數(shù)據(jù)庫(kù)管理系統(tǒng)是一個(gè)以關(guān)系型和面向?qū)ο鬄橹行墓芾頂?shù)據(jù)的數(shù)據(jù)庫(kù)管理軟件系統(tǒng)，因其在數(shù)據(jù)安全性與數(shù)據(jù)完整性控制方面的優(yōu)越性能，以及跨操作系統(tǒng)、跨硬件平臺(tái)的數(shù)據(jù)互操作能力[6]，在管理信息系統(tǒng)、企業(yè)數(shù)據(jù)處理、因特網(wǎng)及電子商務(wù)等領(lǐng)域有著非常廣泛的應(yīng)用。

2 系統(tǒng)架構(gòu)設(shè)計(jì)

對(duì)本系統(tǒng)的架構(gòu)設(shè)計(jì)主要從物理架構(gòu)、數(shù)據(jù)架構(gòu)和軟件技術(shù)架構(gòu)實(shí)現(xiàn)等方面展開討論分析。

2.1 物理架構(gòu)設(shè)計(jì)

智能電網(wǎng)用電數(shù)據(jù)采集系統(tǒng)主要包括基本應(yīng)用、高級(jí)應(yīng)用、運(yùn)行管理、統(tǒng)計(jì)查詢、系統(tǒng)管理，為營(yíng)銷業(yè)務(wù)應(yīng)用中的其他業(yè)務(wù)提供用電信息數(shù)據(jù)源和用電控制手段。同時(shí)還可以提供營(yíng)銷業(yè)務(wù)應(yīng)用之外的綜合應(yīng)用分析功能，如配電業(yè)務(wù)管理、電量統(tǒng)計(jì)、決策分析、增值服務(wù)等功能，并為其他專業(yè)系統(tǒng)提供基礎(chǔ)數(shù)據(jù)和決策支持。

2.2 數(shù)據(jù)架構(gòu)

該系統(tǒng)數(shù)據(jù)架構(gòu)的規(guī)劃能滿足海量用電信息的實(shí)時(shí)數(shù)據(jù)存儲(chǔ)，為了保障日常業(yè)務(wù)系統(tǒng)的運(yùn)行效率，通過(guò)數(shù)據(jù)復(fù)制技術(shù)建立統(tǒng)計(jì)分析數(shù)據(jù)庫(kù)，在該庫(kù)上進(jìn)行統(tǒng)計(jì)查詢和歷史信息處理業(yè)務(wù)，不影響業(yè)務(wù)數(shù)據(jù)庫(kù)的處理性能。可以在分析歷史庫(kù)上通過(guò)ETL方式將數(shù)據(jù)發(fā)布到數(shù)據(jù)中心，營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)從數(shù)據(jù)中心獲取采集數(shù)據(jù)，實(shí)現(xiàn)對(duì)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)支持。

2.3 技術(shù)架構(gòu)

2.3.1表現(xiàn)層。提供統(tǒng)一的業(yè)務(wù)應(yīng)用操作界面和信息展示窗口，是系統(tǒng)直接面向操作用戶的部分。

2.3.2業(yè)務(wù)層。實(shí)現(xiàn)具體業(yè)務(wù)邏輯，是系統(tǒng)主站的核心層，根據(jù)系統(tǒng)的應(yīng)用特點(diǎn)，業(yè)務(wù)層可分為采集子層、業(yè)務(wù)子層、對(duì)外接口等。

2.3.3服務(wù)層。提供全局通用的業(yè)務(wù)服務(wù)、安全服務(wù)等組件服務(wù)支持，并實(shí)現(xiàn)本系統(tǒng)專用的業(yè)務(wù)邏輯服務(wù)，為業(yè)務(wù)層提供通用的技術(shù)支撐。

2.3.4數(shù)據(jù)層。實(shí)現(xiàn)海量信息的存儲(chǔ)、訪問(wèn)、整理，為系統(tǒng)提供數(shù)據(jù)的管理支持。數(shù)據(jù)層通過(guò)大型關(guān)系型數(shù)據(jù)庫(kù)實(shí)現(xiàn)。

3 系統(tǒng)實(shí)現(xiàn)

作為本系統(tǒng)的一個(gè)核心處理子系統(tǒng)——數(shù)據(jù)處理，下面對(duì)該子系統(tǒng)的實(shí)現(xiàn)進(jìn)行闡述。通過(guò)對(duì)傳統(tǒng)的用電數(shù)據(jù)采集方式和智能電網(wǎng)用電數(shù)據(jù)智能采集處理的實(shí)現(xiàn)方式進(jìn)行分析說(shuō)明。對(duì)于早期的數(shù)據(jù)處理方法，采集主站首先下發(fā)數(shù)據(jù)到各個(gè)采集終端，然后由各采集終端把數(shù)據(jù)上報(bào)到前置機(jī)，再由前置機(jī)直接把數(shù)據(jù)提交給Oracle數(shù)據(jù)庫(kù)表，這種對(duì)數(shù)據(jù)的操作方式的不足就是給庫(kù)表增加了很大的負(fù)擔(dān)，影響了數(shù)據(jù)庫(kù)的性能；而新的電力采集系統(tǒng)作了改進(jìn)，在前置機(jī)和Oracle數(shù)據(jù)庫(kù)表之前加入了TT緩存服務(wù)器，TT技術(shù)是采用Key/ Value結(jié)構(gòu)實(shí)現(xiàn)，Key值唯一，根據(jù)Key值建立索引，能夠?qū)崟r(shí)快速地寫入到Oracle數(shù)據(jù)庫(kù)表。采用此技術(shù)后，大大減輕了庫(kù)表的壓力，提高了數(shù)據(jù)庫(kù)的執(zhí)行性能，也使得整個(gè)電力系統(tǒng)的運(yùn)行效率大大提高，優(yōu)化了系統(tǒng)的管理。在模擬測(cè)試過(guò)程中，采集主站下發(fā)的數(shù)據(jù)源采用模擬終端的方式進(jìn)行，采集前置機(jī)也是使用模擬方式實(shí)現(xiàn)，而對(duì)于TT緩存數(shù)據(jù)庫(kù)服務(wù)器和Oracle數(shù)據(jù)庫(kù)服務(wù)器，則用2臺(tái)PC機(jī)模擬，通過(guò)增加模擬終端提高壓力的壓力測(cè)試法來(lái)獲取一些測(cè)試值（比如隨著終端數(shù)量的大幅遞增，觀察對(duì)比服務(wù)器的響應(yīng)時(shí)間、CPU曲線、內(nèi)存曲線等的變化），進(jìn)而分析出服務(wù)器的最優(yōu)負(fù)荷，從而驗(yàn)證采用新技術(shù)后系統(tǒng)的性能明顯提高的事實(shí)。

4 結(jié)論

本文提出了基于DBM和Tokyo Tyrant技術(shù)的智能電網(wǎng)用電數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)方案，描述該系統(tǒng)實(shí)現(xiàn)使用的關(guān)鍵技術(shù)和系統(tǒng)架構(gòu)設(shè)計(jì)，討論了系統(tǒng)中關(guān)鍵的功能模塊之一即海量數(shù)據(jù)查詢處理的方式，進(jìn)行了相應(yīng)的代碼設(shè)計(jì)；通過(guò)在傳統(tǒng)的數(shù)據(jù)采集處理過(guò)程中引入TT技術(shù)，極大地提高了大型數(shù)據(jù)庫(kù)的讀寫速度，減輕了Oracle數(shù)據(jù)庫(kù)表的壓力，提高了數(shù)據(jù)庫(kù)的性能，優(yōu)化了整個(gè)系統(tǒng)的運(yùn)行與管理。

[1] http://baike.baidu.com/view/21305.htm360seURL/Shell/Open/Command

[2] Sun Microsystems.Java 2 Platform,Enterprise Edition(JWEE) Specification v1.4 [EB/OL].2003

[3] [美]Jim Keogh.J2EE參考大全[M].北京: 電子工業(yè)出版社,2003.

[4] http://baike.baidu.com/view/413258.htm#sub413258

[5] http://baike.baidu.com/view/3548503.htm#sub3548503

[6] 姚世軍.Oracle9i數(shù)據(jù)庫(kù)原理與應(yīng)用教程[M].北京: 國(guó)防工業(yè)出版社,2004.

[7] Richard J.Niemiec.Oracle Database 10g Performance Tuning Tips & Techniques. 北京: 清華大學(xué)出版社, 2009.

[8] 余貽鑫,欒文鵬.智能電網(wǎng)[J].電網(wǎng)與清潔能源, 2009,25(1):1-5.