莊連英 房紅記
摘要:通過(guò)分析云計(jì)算的數(shù)據(jù)處理和存儲(chǔ)特點(diǎn),作者提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的云計(jì)算空間數(shù)據(jù)存儲(chǔ)模型。此模型根據(jù)云計(jì)算分布式空間數(shù)據(jù)存儲(chǔ)的特點(diǎn),通過(guò)構(gòu)建BP神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)訓(xùn)練算法,能夠根據(jù)數(shù)據(jù)的不同屬性選擇不同的服務(wù)器集群進(jìn)行存儲(chǔ),完成了具有負(fù)載均衡功能的空間數(shù)據(jù)存儲(chǔ)模型。實(shí)驗(yàn)表明,該文設(shè)計(jì)的基于BP神經(jīng)網(wǎng)絡(luò)的云計(jì)算空間數(shù)據(jù)存儲(chǔ)模型具備一定的優(yōu)勢(shì)和可行性。
關(guān)鍵詞:云計(jì)算;BP 神經(jīng)網(wǎng)絡(luò);學(xué)習(xí)訓(xùn)練;數(shù)據(jù)存儲(chǔ)
中圖分類號(hào):TP18 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1009-3044(2017)14-0147-02
通常意義上的存儲(chǔ)系統(tǒng)并不具備權(quán)衡空間數(shù)據(jù)關(guān)聯(lián)性和分布式存儲(chǔ)的特點(diǎn),無(wú)法根據(jù)空間數(shù)據(jù)的類別對(duì)數(shù)據(jù)進(jìn)行合理地分化。在數(shù)據(jù)量比較多時(shí),集群式的存儲(chǔ)模式不能夠?qū)?shù)據(jù)信息進(jìn)行有效地管理,從而引起數(shù)據(jù)讀寫(xiě)的瓶頸,在這種情況下,智能化的云計(jì)算存儲(chǔ)系統(tǒng)應(yīng)運(yùn)而生。具備自適應(yīng)特性的云計(jì)算數(shù)據(jù)存儲(chǔ)系統(tǒng)具備以下優(yōu)勢(shì):
1)能夠?qū)崿F(xiàn)智能化和自適應(yīng)化的數(shù)據(jù)存儲(chǔ)調(diào)配,所有數(shù)據(jù)信息資源統(tǒng)一協(xié)同管理;
2)很大程度地提高了讀寫(xiě)和存儲(chǔ)效率,虛擬化的算法能夠更合理高效地利用存儲(chǔ)空間,能夠重新對(duì)數(shù)據(jù)進(jìn)行分配,提升物理存儲(chǔ)空間的使用率,而且具備相應(yīng)的負(fù)載均衡和故障冗余功能;
3)云計(jì)算存儲(chǔ)系統(tǒng)可以實(shí)現(xiàn)大規(guī)模效應(yīng)和彈性擴(kuò)展功能,有效減少運(yùn)營(yíng)維護(hù)成本,避免造成資源的浪費(fèi)。
基于云計(jì)算的空間數(shù)據(jù)存儲(chǔ)管理模型不僅僅是對(duì)容量簡(jiǎn)單的拓展增加,更多需要的是存儲(chǔ)性能的實(shí)質(zhì)性改變,不同于以往數(shù)據(jù)量較少的情況,在云計(jì)算時(shí)代,數(shù)據(jù)存儲(chǔ)系統(tǒng)目前可能會(huì)涉及到所有的互聯(lián)網(wǎng)使用者,用戶數(shù)量的迅速增長(zhǎng)對(duì)存儲(chǔ)性能的吞吐量有了進(jìn)一步嚴(yán)格的要求,吞吐量的增加意味著服務(wù)器相應(yīng)速度的增加,因此需要確保存儲(chǔ)系統(tǒng)可以在容量的擴(kuò)展的同時(shí),吞吐性能也獲得相應(yīng)的增長(zhǎng),這在傳統(tǒng)的存儲(chǔ)架構(gòu)中是無(wú)法實(shí)現(xiàn)的。云計(jì)算數(shù)據(jù)存儲(chǔ)系統(tǒng)的主要挑戰(zhàn)在于數(shù)據(jù)存儲(chǔ)的持久性,同時(shí)要求其能夠在數(shù)據(jù)遷移、數(shù)據(jù)容錯(cuò)以及多線程讀寫(xiě)的過(guò)程中確保數(shù)據(jù)的完整性和一致性。
1云計(jì)算空間數(shù)據(jù)存儲(chǔ)模型
1.1云存儲(chǔ)的結(jié)構(gòu)模型
與傳統(tǒng)的空間數(shù)據(jù)存儲(chǔ)設(shè)備相比,云存儲(chǔ)不單單是一個(gè)硬件,其是由多種不同設(shè)備構(gòu)成的系統(tǒng),組件包括硬盤(pán)存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備、應(yīng)用軟件、服務(wù)器、數(shù)據(jù)訪問(wèn)接口、接入網(wǎng)和客戶端程序等。它以硬盤(pán)存儲(chǔ)設(shè)備為核心,通過(guò)應(yīng)用軟件對(duì)外部數(shù)據(jù)進(jìn)行存儲(chǔ)和訪問(wèn)。云計(jì)算存儲(chǔ)模塊自下而上可分為存儲(chǔ)層、管理層、應(yīng)用接口層和數(shù)據(jù)訪問(wèn)層。
1)存儲(chǔ)層。存儲(chǔ)層作為云存儲(chǔ)系統(tǒng)最核心和最基礎(chǔ)部分。各個(gè)分布式存儲(chǔ)設(shè)備通過(guò)網(wǎng)絡(luò)連接設(shè)備融合在一起,存儲(chǔ)設(shè)備可以是光纖通道存儲(chǔ)設(shè)備,也可以是NAS等云儲(chǔ)存系統(tǒng)的IP硬件存儲(chǔ)設(shè)備。在存儲(chǔ)設(shè)備層之上需要一個(gè)整體的存儲(chǔ)設(shè)備管理系統(tǒng)對(duì)存儲(chǔ)設(shè)備進(jìn)行管理維護(hù),能夠?qū)Υ鎯?chǔ)設(shè)備進(jìn)行邏輯虛擬化管理以及多鏈路冗余管理,同時(shí)能夠?qū)τ布O(shè)備的狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控和故障維修。
2)管理層。管理層相當(dāng)于云存儲(chǔ)系統(tǒng)的控制決策部分,也是云存儲(chǔ)中實(shí)現(xiàn)難度最大的部分。管理層通過(guò)利用集群系統(tǒng)、分布式文件管理系統(tǒng)以及網(wǎng)格計(jì)算等技術(shù),控制云存儲(chǔ)系統(tǒng)中不同存儲(chǔ)設(shè)備間的協(xié)同運(yùn)行工作,從而使存儲(chǔ)設(shè)備對(duì)外具備穩(wěn)定可靠的數(shù)據(jù)訪問(wèn)功能。
3)應(yīng)用接口層。云存儲(chǔ)系統(tǒng)管理部門(mén)可以根據(jù)實(shí)際不同的業(yè)務(wù)需要,為系統(tǒng)定制開(kāi)發(fā)不同的應(yīng)用服務(wù)接口,部分接口甚至可以收費(fèi)。比如直播平臺(tái)接口、視頻監(jiān)控應(yīng)用服務(wù)接口、IPTV服務(wù)和視頻點(diǎn)播應(yīng)用服務(wù),甚至可以實(shí)現(xiàn)云盤(pán)的功能,為用戶提供遠(yuǎn)程數(shù)據(jù)備份應(yīng)服務(wù)等。
4)數(shù)據(jù)訪問(wèn)層。為授權(quán)用戶提供登錄云計(jì)算公共應(yīng)用接口的賬號(hào)、密碼和接口,享受云存儲(chǔ)系統(tǒng)提供的數(shù)據(jù)服務(wù)。不同的云存儲(chǔ)系統(tǒng)運(yùn)營(yíng)部門(mén)能夠提供不同的訪問(wèn)類型和訪問(wèn)手段。
1.2云計(jì)算空間數(shù)據(jù)存儲(chǔ)模型設(shè)計(jì)
本文設(shè)計(jì)的云計(jì)算空間數(shù)據(jù)存儲(chǔ)模型是在BP神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上完成的,該系統(tǒng)的基本架構(gòu)如圖1所示,主要由數(shù)據(jù)服務(wù)器集群(主要負(fù)責(zé)數(shù)據(jù)的存儲(chǔ))、數(shù)據(jù)管理控制中心、數(shù)據(jù)采集中心三部分組成。本文設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法主要應(yīng)用于數(shù)據(jù)管理控制中心模塊。
基于BP神經(jīng)網(wǎng)絡(luò)的云計(jì)算空間數(shù)據(jù)存儲(chǔ)模型的執(zhí)行流程如下:
Step1:模型通過(guò)傳感器采集周圍環(huán)境數(shù)據(jù),或者通信節(jié)點(diǎn)間產(chǎn)生或者產(chǎn)生數(shù)據(jù),這是云計(jì)算數(shù)據(jù)的主要來(lái)源。需要說(shuō)明的是,采集的數(shù)據(jù)具有一定屬性,屬性主要通過(guò)以下五個(gè)字段進(jìn)行描述,分別是產(chǎn)生時(shí)間Creattime、應(yīng)用領(lǐng)域Application、實(shí)時(shí)性要求Timely、所屬區(qū)域Area以及數(shù)據(jù)類型Type。此五個(gè)字段即作為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的輸入。
Step2:學(xué)習(xí)訓(xùn)練樣本的構(gòu)建和學(xué)習(xí)曲線的生產(chǎn)。通過(guò)一段時(shí)間的數(shù)據(jù)產(chǎn)生和訓(xùn)練過(guò)程,調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)模型的相關(guān)參數(shù),最優(yōu)化的存儲(chǔ)結(jié)果通過(guò)負(fù)責(zé)負(fù)載均衡策略產(chǎn)生。訓(xùn)練完成后,模型投入使用。
Step3:數(shù)據(jù)學(xué)習(xí)處理中心。根據(jù)數(shù)據(jù)的不同屬性進(jìn)行分類,然后針對(duì)輸入數(shù)據(jù)的五個(gè)描述屬性經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)模型完成學(xué)習(xí)處理過(guò)程,輸出的結(jié)果是目標(biāo)服務(wù)器集群的,ID。
Step4:數(shù)據(jù)的存儲(chǔ)。根據(jù)數(shù)據(jù)處理中心的結(jié)果,將數(shù)據(jù)存入到制定的數(shù)據(jù)集群中,中間的運(yùn)營(yíng)商網(wǎng)關(guān)協(xié)調(diào)以及網(wǎng)絡(luò)資源調(diào)配通過(guò)云計(jì)算數(shù)據(jù)存儲(chǔ)中心完成。
2仿真分析
為了驗(yàn)證本文設(shè)計(jì)的基于BP神經(jīng)網(wǎng)絡(luò)的云計(jì)算空間數(shù)據(jù)存儲(chǔ)系統(tǒng)模型應(yīng)用效果,本文通過(guò)OPNET Modeler完成仿真驗(yàn)證,OPNET Modeler提供了完整的通信協(xié)議、存儲(chǔ)器模型以及連接線路。
在OPNETModeler仿真實(shí)驗(yàn)中,設(shè)計(jì)兩臺(tái)服務(wù)器節(jié)點(diǎn),每臺(tái)服務(wù)器分別連接5個(gè)存儲(chǔ)單元,服務(wù)器之間能通過(guò)有線網(wǎng)絡(luò)進(jìn)行通信,10個(gè)無(wú)線通信感知器通過(guò)用戶服務(wù)器對(duì)存儲(chǔ)單元進(jìn)行讀操作和寫(xiě)操作。讀操作即定時(shí)從存儲(chǔ)單元獲得信息,寫(xiě)操作為定時(shí)將物聯(lián)網(wǎng)感知器采集的信息發(fā)送給存儲(chǔ)器進(jìn)行保存,發(fā)送及接收頻率為10M/ms,且根據(jù)設(shè)定的BP神經(jīng)網(wǎng)絡(luò)規(guī)則選取目標(biāo)存儲(chǔ)器,仿真時(shí)間為20min,然后統(tǒng)計(jì)仿真結(jié)果進(jìn)行對(duì)比分析。
本文將神經(jīng)網(wǎng)絡(luò)模型的誤差界限s設(shè)置為10-2,當(dāng)?shù)螖?shù)到達(dá)300次時(shí),網(wǎng)絡(luò)達(dá)到穩(wěn)定。
圖2描述了10臺(tái)存儲(chǔ)單元所存儲(chǔ)的數(shù)據(jù)容量,由結(jié)果可知,各存儲(chǔ)器所存儲(chǔ)的信息含量基本相等,基本維持在11718M左右,體現(xiàn)了本文設(shè)計(jì)的存儲(chǔ)模型具有較好的公平性和一致性,不會(huì)對(duì)某一個(gè)存儲(chǔ)單元或者服務(wù)器造成應(yīng)用壓力。
3結(jié)論
通過(guò)分析云計(jì)算的空間數(shù)據(jù)處理和存儲(chǔ)特點(diǎn),作者提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的云計(jì)算空間數(shù)據(jù)存儲(chǔ)系統(tǒng)模型。此模型根據(jù)云計(jì)算分布式數(shù)據(jù)存儲(chǔ)的特點(diǎn),通過(guò)構(gòu)建BP神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)訓(xùn)練算法,能夠根據(jù)數(shù)據(jù)的不同屬性選擇不同的服務(wù)器集群進(jìn)行存儲(chǔ),完成了具有負(fù)載均衡功能的空間數(shù)據(jù)存儲(chǔ)模型。實(shí)驗(yàn)表明,本文設(shè)計(jì)的基于BP神經(jīng)網(wǎng)絡(luò)的云計(jì)算空間數(shù)據(jù)存儲(chǔ)模型具備一定的優(yōu)勢(shì)和可行性。