文/青云團(tuán)隊(duì)
VMware云計(jì)算創(chuàng)意大賽作品選登基于Web的云環(huán)境管理系統(tǒng)
文/青云團(tuán)隊(duì)
這是一款基于Web的面向校園的云環(huán)境管理系統(tǒng)。要實(shí)現(xiàn)的主要目標(biāo)是:用戶(hù)通過(guò)Web訪問(wèn)系統(tǒng),系統(tǒng)中能夠?qū)崿F(xiàn)虛擬機(jī)的操作,同時(shí)還能在云存儲(chǔ)系統(tǒng)中進(jìn)行文件操作。青云實(shí)驗(yàn)平臺(tái)建立在分布式集群的基礎(chǔ)上,通過(guò)采用VMware、Hadoop作為底層支撐技術(shù),從而實(shí)現(xiàn)云存儲(chǔ)和虛擬機(jī)管理。青云實(shí)驗(yàn)平臺(tái)的地址:http://202.117.10.253:8080/cloud。
獎(jiǎng)項(xiàng)團(tuán)隊(duì) 西安交通大學(xué)青云團(tuán)隊(duì)(三等獎(jiǎng))作品 基于Web的面向校園實(shí)驗(yàn)室級(jí)云環(huán)境的管理系統(tǒng)指導(dǎo)教師 桂小林——教授、博士生導(dǎo)師,陜西省計(jì)算機(jī)網(wǎng)絡(luò)重點(diǎn)實(shí)驗(yàn)室主任成員 黃汝維,余思,莊威——西安交通大學(xué)電信學(xué)院計(jì)算機(jī)系
在高校中,實(shí)驗(yàn)室的工作人員往往要對(duì)上百臺(tái)計(jì)算機(jī)的軟硬件進(jìn)行維護(hù),這是一項(xiàng)艱巨的工作;同時(shí)學(xué)校希望能給每個(gè)同學(xué)都配備一臺(tái)電腦,可是沒(méi)有這樣的資金;但是,即使每個(gè)同學(xué)都配備了電腦,卻不是時(shí)時(shí)刻刻在用,這樣就造成了資源的浪費(fèi);學(xué)生希望能在別的地方訪問(wèn)自己的數(shù)據(jù),目前只能通過(guò)把數(shù)據(jù)拷貝到光盤(pán)或U盤(pán)上隨身攜帶,這樣很不方便;老師和學(xué)生在進(jìn)行科研實(shí)驗(yàn)時(shí),往往會(huì)同時(shí)需要多臺(tái)計(jì)算機(jī)或者功能比PC機(jī)強(qiáng)大的計(jì)算機(jī),但這樣的環(huán)境不易構(gòu)建,而且實(shí)驗(yàn)完畢后,可能就要將這樣一個(gè)費(fèi)勁搭起來(lái)的環(huán)境拆除,而下次需要的時(shí)候又要重建搭建,這是極其浪費(fèi)時(shí)間和精力的。與此同時(shí),學(xué)校的一些實(shí)驗(yàn)室中往往有一些功能強(qiáng)大的、閑置的服務(wù)器,如何提高這些服務(wù)器的利用率也是一個(gè)亟待解決的問(wèn)題。
云計(jì)算能夠很好地解決以上的問(wèn)題。本設(shè)計(jì)的目標(biāo)是要構(gòu)建校園級(jí)的實(shí)驗(yàn)云環(huán)境。通過(guò)分析,我們歸納出了構(gòu)建面向校園級(jí)實(shí)驗(yàn)云環(huán)境要滿(mǎn)足的要求:
1.虛擬機(jī)的管理:可以根據(jù)用戶(hù)的需要和服務(wù)器的情況創(chuàng)建、修改、刪除、遷移虛擬機(jī),其中要解決的關(guān)鍵問(wèn)題是虛擬機(jī)資源的動(dòng)態(tài)調(diào)度。
2.數(shù)據(jù)的存儲(chǔ)管理:為用戶(hù)提供存儲(chǔ)資源,用戶(hù)可以使用上網(wǎng)設(shè)備在任何時(shí)候、任何地點(diǎn)訪問(wèn)其數(shù)據(jù),并可以對(duì)數(shù)據(jù)進(jìn)行上傳、下載、刪除等操作。
3.基于Web的訪問(wèn):為了支持易用性和兼容性,系統(tǒng)要提供Web接口,讓用戶(hù)通過(guò)瀏覽器訪問(wèn)云環(huán)境,從而可以方便地使用虛擬機(jī)和存儲(chǔ)資源。
根據(jù)以上需求,我們?cè)O(shè)計(jì)并實(shí)現(xiàn)了青云實(shí)驗(yàn)平臺(tái)。該平臺(tái)以VMware和Hadoop的HDFS為底層支撐技術(shù),通過(guò)SpringSource Tool Suite建立了基于Java、JSP和MySQL的上層管理系統(tǒng),并部署在Ubuntu9.04上,如圖1所示。
Vmware作為虛擬機(jī)管理程序,實(shí)現(xiàn)了對(duì)虛擬機(jī)的創(chuàng)建、部署、刪除操作,可以在一臺(tái)物理機(jī)器上同時(shí)運(yùn)行多個(gè)Windows、DOS、Linux系統(tǒng);多個(gè)操作系統(tǒng)可以像Windows應(yīng)用程序那樣進(jìn)行自由切換,無(wú)論在 Windows 還是 Linux 操作系統(tǒng)上。
Hadoop是Apache開(kāi)源組織的一個(gè)分布式計(jì)算開(kāi)源框架,在很多大型網(wǎng)站上都得到了應(yīng)用,如亞馬遜、Facebook和Yahoo等。H a d o o p框架中最核心的設(shè)計(jì)就是:MapReduce和HDFS。HDFS(Hadoop Distributed File System , Hadoop分布式文件系統(tǒng))是Hadoop的分布式文件管理系統(tǒng),它具有高容錯(cuò)性,并且可以被部署在低價(jià)的硬件設(shè)備之上。HDFS很適合那些有大數(shù)據(jù)集的應(yīng)用,并且提供了對(duì)數(shù)據(jù)讀寫(xiě)的高吞吐率。H D F S是一個(gè)master/slave的結(jié)構(gòu),就通常的部署來(lái)說(shuō),在master上只運(yùn)行一個(gè)Namenode,而在每一個(gè)slave上運(yùn)行一個(gè)Datanode。HDFS 支持傳統(tǒng)的層次文件組織結(jié)構(gòu),同現(xiàn)有的一些文件系統(tǒng)在操作上很類(lèi)似,例如創(chuàng)建和刪除一個(gè)文件,把一個(gè)文件從一個(gè)目錄移到另一個(gè)目錄,重命名等等操作。Namenode管理著整個(gè)分布式文件系統(tǒng),對(duì)文件系統(tǒng)的操作(如建立、刪除文件和文件夾)都是通過(guò)Namenode來(lái)控制。Namenode將整個(gè)文件分為若干個(gè)數(shù)據(jù)塊,將這些數(shù)據(jù)塊(block)分布到各個(gè)Datanode節(jié)點(diǎn)上。
青云實(shí)驗(yàn)平臺(tái)包括基于VMware的虛擬機(jī)管理子系統(tǒng)和基于HDFS的分布式文件子系統(tǒng)。虛擬機(jī)管理子系統(tǒng)實(shí)現(xiàn)了虛擬機(jī)的自動(dòng)分配、關(guān)閉、啟動(dòng)以及撤銷(xiāo),而且實(shí)現(xiàn)了虛擬機(jī)的分用戶(hù)管理,有效地將各個(gè)用戶(hù)進(jìn)行隔離,增強(qiáng)安全性。同時(shí)本系統(tǒng)實(shí)現(xiàn)了虛擬機(jī)資源的自動(dòng)調(diào)整,在啟動(dòng)虛擬機(jī)前先判斷虛擬機(jī)最近一次操作所消耗的CPU、內(nèi)存資源,若返回動(dòng)態(tài)信息中存在一半以上的項(xiàng)值超過(guò)75%,則增加相應(yīng)的靜態(tài)信息,增強(qiáng)靈活性,減少資源的浪費(fèi)。分布式文件子系統(tǒng)能夠按照用戶(hù)的習(xí)慣保存用戶(hù)的數(shù)據(jù),并提供上傳、下載、刪除、創(chuàng)建文件夾等功能,方便用戶(hù)對(duì)自己數(shù)據(jù)的管理。為了保障用戶(hù)數(shù)據(jù)的安全,本系統(tǒng)還提供了數(shù)據(jù)備份功能。
用戶(hù)只需要具有基本的操作系統(tǒng)和瀏覽器,就能夠登錄青云實(shí)驗(yàn)平臺(tái),然后通過(guò)平臺(tái)提供的接口使用存儲(chǔ)資源和虛擬機(jī)資源。
但青云實(shí)驗(yàn)平臺(tái)還有許多需要完善的地方,例如實(shí)現(xiàn)數(shù)據(jù)的批量上傳、下載、平臺(tái)的安全性,虛擬機(jī)的動(dòng)態(tài)調(diào)整算法的改進(jìn),具有簡(jiǎn)單上網(wǎng)功能的硬件設(shè)備的設(shè)計(jì)等,這些將是下一步工作目標(biāo)。
圖2 青云系統(tǒng)功能模塊
圖3 青云實(shí)驗(yàn)平臺(tái)網(wǎng)絡(luò)拓?fù)?/p>
系統(tǒng)主要要實(shí)現(xiàn)的功能模塊如圖2所示。
虛擬機(jī)管理模塊:實(shí)現(xiàn)虛擬機(jī)的創(chuàng)建、啟動(dòng)、關(guān)閉等功能。
存儲(chǔ)管理模塊:部署云存儲(chǔ)管理系統(tǒng),并且用戶(hù)在系統(tǒng)中能夠?qū)崿F(xiàn)創(chuàng)建自己的目錄、上傳、下載、刪除文件(夾)等操作。
系統(tǒng)管理模塊:管理員對(duì)系統(tǒng)的相關(guān)信息進(jìn)行管理,包括對(duì)用戶(hù)的管理、對(duì)物理機(jī)和虛擬機(jī)的管理、對(duì)文件系統(tǒng)的管理等。
系統(tǒng)輔助功能模塊:包括用戶(hù)的注冊(cè)、登錄、注銷(xiāo)等,以及用戶(hù)個(gè)人信息更新等。
系統(tǒng)設(shè)計(jì)采用Web模式設(shè)計(jì),客戶(hù)端只需要安裝基本的操作系統(tǒng)和互聯(lián)網(wǎng)瀏覽器就可以使用本系統(tǒng)。系統(tǒng)的網(wǎng)絡(luò)拓?fù)淙鐖D3所示。
惠普發(fā)布ProLiant BL 600系列刀片服務(wù)器
本刊訊 日前,惠普最新發(fā)布了ProLiant BL620c G7與BL680c G7刀片服務(wù)器。前者是當(dāng)前擴(kuò)展能力最高的雙插槽刀片服務(wù)器,而后者則率先在刀片服務(wù)器中提供了1TB的內(nèi)存容量。
據(jù)了解,在對(duì)性能影響明顯的I/O與網(wǎng)絡(luò)帶寬方面,ProLiant BL680c G7提供了20倍的嵌入式網(wǎng)絡(luò)帶寬以及7個(gè)支持PCI-E 2.0的Mezzanine擴(kuò)展插槽,總I/O帶寬達(dá)到了驚人的192GB/s,同時(shí)通過(guò)10Gb級(jí)虛擬網(wǎng)絡(luò)連接技術(shù)將傳統(tǒng)的存儲(chǔ)網(wǎng)絡(luò)與以太網(wǎng)絡(luò)徹底融合。而新一代的iLO 3集成管理方案為用戶(hù)提供了強(qiáng)大的遠(yuǎn)程全局硬件管理的手段。
據(jù)悉,根據(jù)最新的IDC數(shù)據(jù),在2010年第二季度,刀片服務(wù)器的出貨量同比增長(zhǎng)13.6%,工廠收入同比增長(zhǎng)30.9%,而服務(wù)器市場(chǎng)總收入同比增長(zhǎng)率只有11%。這其中惠普刀片服務(wù)器占到了55.8%的市場(chǎng)份額。