云計(jì)算和云數(shù)據(jù)管理技術(shù)探討

王 猛，陳國棟

山西省科學(xué)技術(shù)廳信息中心，山西太原 030001

云計(jì)算和云數(shù)據(jù)管理技術(shù)探討

王 猛，陳國棟

山西省科學(xué)技術(shù)廳信息中心，山西太原 030001

計(jì)算機(jī)與網(wǎng)絡(luò)技術(shù)是20世紀(jì)人類最偉大的發(fā)明，極大的改變了人們的生活與生產(chǎn)方式，與此同時(shí)，人們對(duì)于計(jì)算機(jī)與網(wǎng)絡(luò)的有關(guān)功能也提出了更高的要求。正是在這種背景之下，云計(jì)算和云數(shù)據(jù)管理技術(shù)產(chǎn)生并得到了快速的發(fā)展。本文系統(tǒng)分析了云計(jì)算和云數(shù)據(jù)技術(shù)相關(guān)理論，希望本文的論述可以對(duì)云計(jì)算和云數(shù)據(jù)管理技術(shù)的進(jìn)一步發(fā)展帶來一定的啟發(fā)。

云計(jì)算；云數(shù)據(jù)；管理技術(shù)

近些年來，隨著經(jīng)濟(jì)社會(huì)的不斷發(fā)展，人們對(duì)于計(jì)算機(jī)和網(wǎng)絡(luò)的要求逐步提升，進(jìn)一步推動(dòng)了數(shù)據(jù)信息技術(shù)的發(fā)展與進(jìn)步?！拔锫?lián)網(wǎng)”、“三網(wǎng)融合”、“智能電網(wǎng)”等應(yīng)用成為了現(xiàn)代計(jì)算機(jī)發(fā)展的前沿產(chǎn)物，這些應(yīng)用的出現(xiàn)對(duì)數(shù)據(jù)管理以及系統(tǒng)都提出了更高的要求。云計(jì)算和云數(shù)據(jù)管理是一種先進(jìn)的信息管理技術(shù)，可以改變傳統(tǒng)的信息計(jì)算能力和服務(wù)能力，讓用戶在使用之中獲得更多的方便，提升用戶的滿意度。云計(jì)算采用分布式系統(tǒng)，可以有效的提升系統(tǒng)對(duì)數(shù)據(jù)的存儲(chǔ)能力和計(jì)算能力。筆者通過查閱相關(guān)文獻(xiàn)并結(jié)合自身工作經(jīng)驗(yàn)對(duì)云計(jì)算和云數(shù)據(jù)處理技術(shù)研究如下。

1 云計(jì)算技術(shù)

1.1 基本含義

云計(jì)算是一種新興的計(jì)算方式，這種技術(shù)是在網(wǎng)格計(jì)算、效用計(jì)算、網(wǎng)絡(luò)存儲(chǔ)等技術(shù)的基礎(chǔ)上發(fā)展而來的產(chǎn)物，是當(dāng)下較為流行的技術(shù)方式。云計(jì)算的傳輸媒介是互聯(lián)網(wǎng)，經(jīng)過國內(nèi)外技術(shù)人員的不斷攻關(guān)，現(xiàn)階段云計(jì)算技術(shù)已經(jīng)逐步走向成熟，例如google推出goole apps服務(wù)、亞馬遜推出的彈性計(jì)算云EC2服務(wù)，以及IBM公司推出的“藍(lán)云”計(jì)劃等等，這些應(yīng)用程序可以有效應(yīng)對(duì)超大規(guī)模的分布式環(huán)境，其核心功能就是處理海量數(shù)據(jù)，并對(duì)這些數(shù)據(jù)進(jìn)行高效計(jì)算，這些服務(wù)的推出極大的方便了人們的生活。但是，現(xiàn)階段，云計(jì)算相關(guān)的配套技術(shù)與產(chǎn)品仍然不夠成熟，還有待進(jìn)一步的發(fā)展。

1.2 運(yùn)行模式

云計(jì)算技術(shù)是以分布式處理（Distributed Computing）、并行處理（Parallel Computing）和網(wǎng)格計(jì)算（Grid Computing）為基礎(chǔ)的，并在此基礎(chǔ)上進(jìn)行了進(jìn)一步的發(fā)展，從而實(shí)現(xiàn)了計(jì)算機(jī)概念的商業(yè)實(shí)現(xiàn)。云計(jì)算工作原理如下：在沒有本地計(jì)算機(jī)或者遠(yuǎn)程服務(wù)器的幫助下，便可以將計(jì)算合理的分布在一系列的分布式計(jì)算機(jī)上，將相應(yīng)的信息資源對(duì)接到相應(yīng)的分布網(wǎng)絡(luò)系統(tǒng)，并能進(jìn)行及時(shí)的數(shù)據(jù)更新。云計(jì)算通過這種方式實(shí)現(xiàn)對(duì)數(shù)據(jù)中心運(yùn)行的優(yōu)化和互聯(lián)網(wǎng)的精準(zhǔn)對(duì)接。

利用云計(jì)算，企業(yè)便可以將資源及時(shí)的更新到相關(guān)網(wǎng)站或者應(yīng)用程序上，并結(jié)合實(shí)際要求對(duì)計(jì)算機(jī)以及相關(guān)存儲(chǔ)系統(tǒng)進(jìn)行及時(shí)的訪問，在給企業(yè)帶來方便的同時(shí)，也為人們提供了更為及時(shí)的信息需求。由此可見，云計(jì)算是一項(xiàng)實(shí)用價(jià)值極強(qiáng)的現(xiàn)代計(jì)算基數(shù)，其功能本身帶有商品性質(zhì)，通過這種方式可以有效的降低網(wǎng)絡(luò)營銷成本，并使?fàn)I銷過程方便快捷。

1.3 體系結(jié)構(gòu)

云計(jì)算體系自身結(jié)構(gòu)較為復(fù)雜，并且十分的龐大，其技術(shù)核心是“云”網(wǎng)絡(luò)中樞，與一系列的網(wǎng)絡(luò)計(jì)算相連接，借助虛擬化技術(shù)，對(duì)各個(gè)服務(wù)器的能力進(jìn)行相應(yīng)的擴(kuò)展，在此基礎(chǔ)上，將目標(biāo)資源整合在一起，為云計(jì)算用戶提供強(qiáng)大的存儲(chǔ)能力和計(jì)算能力。一般而言，一個(gè)完整的云計(jì)算體系包括四個(gè)方面：一是云端用戶，二是服務(wù)目錄，三是管理系統(tǒng)，四是部署工具、監(jiān)控、服務(wù)器集群。

2 云數(shù)據(jù)管理技術(shù)

云計(jì)算技術(shù)是在計(jì)算機(jī)信息大量出現(xiàn)之后針對(duì)海量信息處理的一個(gè)技術(shù)。隨著云計(jì)算技術(shù)的不斷發(fā)展，一種新興的衍生技術(shù)也應(yīng)運(yùn)而生，這就是我們所說的云數(shù)據(jù)管理技術(shù)。云數(shù)據(jù)管理技術(shù)的出現(xiàn)和發(fā)展極大的提升了數(shù)據(jù)信息管理的能力，促使數(shù)據(jù)信息得到有效的整理和分別，并方便了數(shù)據(jù)的調(diào)用與獲取，極大的提升了數(shù)據(jù)的存儲(chǔ)能力與應(yīng)用能力，促使數(shù)據(jù)信息利用率得到明顯的提高。云數(shù)據(jù)管理技術(shù)處于高速發(fā)展的階段，現(xiàn)階段主要的技術(shù)管理類型包括以下三種：GFS技術(shù)、BigTable技術(shù)、Dynamo 技術(shù)

2.1 GFS技術(shù)

GFS技術(shù)是一種分布式文件系統(tǒng)，該系統(tǒng)十分龐大，可以滿足海量信息處理，Google云計(jì)算的海量數(shù)據(jù)存儲(chǔ)就是由GFS技術(shù)提供的，除此之外，GFS技術(shù)還與Chubby，MapReduce以及BigTab1e等技術(shù)進(jìn)行了有效的結(jié)合，從而有效提升了Google的云計(jì)算的數(shù)據(jù)處理能力。GFS技術(shù)系統(tǒng)的節(jié)點(diǎn)分為3種角色：Client，Master和Chunk Server?？蛻舳嗽谶M(jìn)行訪問的過程之中首先需要訪問Master節(jié)點(diǎn)，獲取Chunk Server信息，之后對(duì)Chunk Server進(jìn)行訪問，從而完成數(shù)據(jù)存儲(chǔ)過程。

2.2 BigTable技術(shù)

BigTable是Google在GFS基礎(chǔ)上開發(fā)出來一種分布式存儲(chǔ)系統(tǒng)，在Google上有眾多的應(yīng)用數(shù)據(jù)，這些應(yīng)用數(shù)據(jù)中包含了大量的存儲(chǔ)數(shù)據(jù)，這些存儲(chǔ)數(shù)據(jù)都存儲(chǔ)在BigTable上。BigTable采用的存儲(chǔ)方式是列序存儲(chǔ)，這種存儲(chǔ)方式可以大大提高數(shù)據(jù)讀取的效率，其基本元素主要包括行、列族和時(shí)間戳等。

2.3 Dynamo 技術(shù)

在Dynamo技術(shù)環(huán)境之中，需要構(gòu)建特殊的鍵值結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)，實(shí)現(xiàn)HASH 表格和分布式數(shù)據(jù)庫進(jìn)行有效的結(jié)合，Dynamo技術(shù)的底層支持是想對(duì)于AWS 而言的，一般情況這下不會(huì)直接暴露于外網(wǎng)之上。Dynamo 技術(shù)的存儲(chǔ)架構(gòu)為DHT，可以實(shí)現(xiàn)數(shù)據(jù)的均勻存儲(chǔ)，也可以結(jié)合用戶的要求進(jìn)行環(huán)內(nèi)轉(zhuǎn)發(fā)，各個(gè)存儲(chǔ)點(diǎn)之間可以相互感知，并完成相互故障檢測，提升了系統(tǒng)自我管理的能力。

3 云計(jì)算和云數(shù)據(jù)管理技術(shù)的展望

云計(jì)算和云數(shù)據(jù)管理技術(shù)是一項(xiàng)新興的技術(shù)，現(xiàn)階段，國內(nèi)外學(xué)者和技術(shù)人員仍然在對(duì)其進(jìn)行著更為深刻的研究。物聯(lián)網(wǎng)、三網(wǎng)融合等技術(shù)的快速發(fā)展給云計(jì)算和云數(shù)據(jù)管理技術(shù)的發(fā)展帶來了全新的契機(jī)，同時(shí)，也給其發(fā)展帶來了全新的挑戰(zhàn)。隨著海量數(shù)據(jù)信息的不斷涌現(xiàn)，例如氣象信息、網(wǎng)絡(luò)檢索信息、股票信息等，這些信息數(shù)據(jù)十分龐大，普通的管理方式無法對(duì)其進(jìn)行科學(xué)有效管理，這是云計(jì)算與云數(shù)據(jù)管理技術(shù)未來發(fā)展的必然方向。

未來社會(huì)中會(huì)出現(xiàn)更多的數(shù)據(jù)集，數(shù)據(jù)信息量必然越來越大，云計(jì)算和云數(shù)據(jù)管理技術(shù)必須不斷發(fā)展，向著更為先進(jìn)的行列邁進(jìn)，尤其是海量信息、動(dòng)態(tài)信息數(shù)據(jù)信息處理方面，在未來發(fā)展之中，云計(jì)算和云數(shù)據(jù)管理技術(shù)采用各項(xiàng)分布式數(shù)據(jù)庫技術(shù)集約化管理龐大的數(shù)據(jù)，同時(shí)把任務(wù)劃分為若干個(gè)子任務(wù)，先行化簡，隨后映射，合理調(diào)度分配計(jì)算節(jié)點(diǎn)。

4 結(jié)論

云計(jì)算和云數(shù)據(jù)管理技術(shù)是現(xiàn)代計(jì)算機(jī)與網(wǎng)絡(luò)發(fā)展的前沿產(chǎn)物，處于發(fā)展的初級(jí)階段，技術(shù)仍然不甚成熟，很多方面仍然有待進(jìn)一步的提高。云計(jì)算與云數(shù)據(jù)管理技術(shù)掙處在不斷的發(fā)展之中，國內(nèi)外的眾多科研技術(shù)人員正在對(duì)其進(jìn)行技術(shù)攻關(guān)，對(duì)其計(jì)算方式與存儲(chǔ)方式正在逐步改進(jìn)，期待更大的技術(shù)突破。筆者結(jié)合自身的工作經(jīng)驗(yàn)，對(duì)云計(jì)算和云數(shù)據(jù)管理技術(shù)進(jìn)行了相關(guān)的分析，希望本文的論述可以對(duì)該技術(shù)的進(jìn)一步發(fā)展產(chǎn)生積極的影響。

[1]王晟，趙壁芳.面向云計(jì)算的數(shù)據(jù)管理技術(shù)研究[J].電腦知識(shí)與技術(shù)，2012，13：3209-3211.

[2]謝新文.論大數(shù)據(jù)和云計(jì)算技術(shù)在企業(yè)財(cái)務(wù)管理中的應(yīng)用[J].金融經(jīng)濟(jì)，2015，14：204-205.

[3]葉可江，吳朝暉，姜曉紅，何欽銘.虛擬化云計(jì)算平臺(tái)的能耗管理[J].計(jì)算機(jī)學(xué)報(bào)，2012，6：1262-1285.

[4]王明宇，楊吉江，陳昊，等.基于體域網(wǎng)和云平臺(tái)的遠(yuǎn)程數(shù)字健康系統(tǒng)發(fā)展的研究[J].計(jì)算機(jī)科學(xué)，2012，S1：195-200.

TP3

A

1674-6708（2015）143-0069-02