高真真

（中移（蘇州）軟件技術(shù)有限公司/中國(guó)移動(dòng)蘇州研發(fā)中心，蘇州 215163）

私有云異構(gòu)資源池整合管理的研究及實(shí)踐＊

高真真

（中移（蘇州）軟件技術(shù)有限公司/中國(guó)移動(dòng)蘇州研發(fā)中心，蘇州 215163）

針對(duì)中國(guó)移動(dòng)各省私有云資源池分散、異構(gòu)、無(wú)法統(tǒng)一管理的現(xiàn)狀，闡述了基于OpenStack開(kāi)放架構(gòu)的私有云管理平臺(tái)如何對(duì)分散資源池、多虛擬化（VMware、KVM、Citrix等）實(shí)現(xiàn)統(tǒng)一管理，解決了多個(gè)分散異構(gòu)資源池?zé)o法統(tǒng)一接入、運(yùn)營(yíng)和運(yùn)維的難題，以更好的規(guī)劃資源提升資源利用率。

OpenStack；私有云；虛擬化；異構(gòu)管理

1 引言

伴隨私有云資源池?zé)焽枋健⒎蛛A段多廠商參與建設(shè)，導(dǎo)致當(dāng)前階段分散、異構(gòu)的多資源池普遍存在。不同地理位置，多種虛擬化軟件（VMware、KVM、Citrix及hyper-V等）并存，物理資源池和虛擬資源池共存，資源池之間分散隔離，無(wú)法實(shí)現(xiàn)資源池的充分共享和統(tǒng)一管理，資源池整體資源利用率偏低?；贠penStack的私有云異構(gòu)資源池管理平臺(tái)應(yīng)運(yùn)而生，并快速發(fā)展。

目前業(yè)界還沒(méi)有成熟完整的產(chǎn)品及解決方案可以實(shí)現(xiàn)多種分散異構(gòu)資源池整合，而中國(guó)移動(dòng)自主研發(fā)的統(tǒng)一管理平臺(tái)率先實(shí)現(xiàn)了對(duì)多廠商如VMware、Citrix及KVM異構(gòu)資源池的整合納管，達(dá)到資源統(tǒng)一調(diào)度、集中運(yùn)維的目標(biāo)，最終將多朵云整合為一朵云。提升云資源統(tǒng)一調(diào)度的能力，形成集約化、規(guī)?；芾硇?yīng)，達(dá)到降本增效的目標(biāo)。

2 異構(gòu)虛擬化資源池管理(VMware、KVM、Citrix)

2.1 OpenStack管理VMware虛擬化

中國(guó)移動(dòng)基于OpenStack開(kāi)源云計(jì)算架構(gòu)實(shí)現(xiàn)了與VMware VSphere 5.5/6.0系列的對(duì)接，實(shí)現(xiàn)對(duì)VMware資源池納管。

（1）擴(kuò)展改進(jìn)社區(qū)原生VMware驅(qū)動(dòng)：增加了如查詢ESXi主機(jī)狀態(tài)信息、DataStore狀態(tài)信息、指定ESXi主機(jī)和DataStore熱遷移與冷遷移、指定ESXi主機(jī)和DataStore創(chuàng)建虛擬機(jī)等功能，滿足了VMware用戶的使用習(xí)慣。

(2）改變社區(qū)驅(qū)動(dòng)全量快照的模式：轉(zhuǎn)而使用增量快照，增加了數(shù)據(jù)庫(kù)記錄增量快照直接關(guān)系，使得OpenStack對(duì)VMware做快照速度從小時(shí)級(jí)別降低到了秒級(jí)，大大提升了用戶體驗(yàn)。

(3）OpenStack開(kāi)源版本對(duì)VMware網(wǎng)絡(luò)管理的驅(qū)動(dòng)功能較弱，本項(xiàng)目自主開(kāi)發(fā)了管理VMware的網(wǎng)絡(luò)功能，實(shí)現(xiàn)了VMware資源池中網(wǎng)絡(luò)資源增刪改查，支持虛擬路由器、虛擬防火墻、浮動(dòng)IP等高級(jí)網(wǎng)絡(luò)功能，VMware集群支持， 以及原VMware資源池批量導(dǎo)入，并由Plugin統(tǒng)一納管，可對(duì)外提供Rest API接口。

(4） OpenStack的運(yùn)營(yíng)平臺(tái)底層對(duì)接的是OpenStack API，而非VMware Web Sevice API。為此需要將VMware資源池中存量的虛擬機(jī)與網(wǎng)絡(luò)數(shù)據(jù)導(dǎo)入到OpenStack平臺(tái)中，供用戶通過(guò)運(yùn)營(yíng)平臺(tái)進(jìn)行統(tǒng)一納管。中國(guó)移動(dòng)自主開(kāi)發(fā)了VMware存量虛擬機(jī)、硬盤(pán)、網(wǎng)絡(luò)的導(dǎo)入程序，使VMware中存量資源能夠被OpenStack納管。 通用的解決方式是使用導(dǎo)入工具，該工具調(diào)用vCenter 提供的的API獲取網(wǎng)絡(luò)、虛擬機(jī)等配置信息。然后將此類(lèi)信息寫(xiě)入到OpenStack平臺(tái)中。由于VMware vSphere 與OpenStack在架構(gòu)和實(shí)現(xiàn)上存在不小的差異，在通常的做法基礎(chǔ)上，引入了自動(dòng)判斷機(jī)制與人工干預(yù)相結(jié)合的方法，來(lái)解決以下存量數(shù)據(jù)納管的兩個(gè)問(wèn)題。

網(wǎng)絡(luò)配置層面，VMware中同一個(gè)虛擬交換機(jī)下的多個(gè)端口組，name不能相同，但是VLAN ID可以相同。而OpenStack中，Network的name可以相同，但是VLAN ID不能相同。

虛擬機(jī)層面，VMware中創(chuàng)建的虛擬機(jī)，其各個(gè)網(wǎng)卡的IP配置信息是由用戶自定義。而OpenStack中，虛擬機(jī)各個(gè)網(wǎng)卡的IP配置是由系統(tǒng)自動(dòng)分配。

2.2 OpenStack管理KVM虛擬化

大云彈性計(jì)算系統(tǒng)BC-EC （KVM）版本是基于OpenStack開(kāi)源架構(gòu)進(jìn)行了產(chǎn)品化設(shè)計(jì)優(yōu)化，BC-EC采用松耦合架構(gòu)設(shè)計(jì)，各模塊間通過(guò)REST接口交互，模塊內(nèi)部通過(guò)高級(jí)消息隊(duì)列進(jìn)行通信。計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)模塊都抽象出統(tǒng)一接口，底層系統(tǒng)只需提供符合接口定義的驅(qū)動(dòng)即可完成對(duì)接。系統(tǒng)具備優(yōu)秀的擴(kuò)展和兼容能力，既適用于上千節(jié)點(diǎn)的公有云大規(guī)模部署也適用于小規(guī)模私有云部署。BC-EC （KVM）與社區(qū)原生版本相比，具備更高的穩(wěn)定性；更豐富的功能（彈性伸縮、彈性容器等高級(jí)功能）；且具備大規(guī)模部署能力（單集群支持500節(jié)點(diǎn)）。

2.3 OpenStack管理Citrix 虛擬化

由于OpenStack社區(qū)的XenServer驅(qū)動(dòng)成熟度較低，無(wú)法達(dá)到商業(yè)使用要求。私有云統(tǒng)一管理平臺(tái)通過(guò)軟件代理模式開(kāi)發(fā)了XenProxy模塊直接調(diào)用XenServer接口，實(shí)現(xiàn)Citrix虛擬機(jī)管理，包括批量創(chuàng)建云主機(jī)、云主機(jī)開(kāi)關(guān)機(jī)與重啟刪除、創(chuàng)建虛擬機(jī)備份、虛擬網(wǎng)絡(luò)管理、創(chuàng)建與掛載附加卷等。XenProxy模塊總計(jì)代碼行15000左右，包含了操作XenCenter的接口數(shù)達(dá)40余種，通過(guò)系列封裝集成屏蔽底層差異，豐富了統(tǒng)一管理資源的種類(lèi)。

3 統(tǒng)一運(yùn)營(yíng)運(yùn)維管理（VMware、KVM、Citrix）

由于各底層廠商所能提供的功能，操作條件各異，為了保障統(tǒng)一管理，大量定制化開(kāi)發(fā)實(shí)現(xiàn)了支持多地理位置機(jī)房的統(tǒng)一接入和管理的能力。整合多資源池后，可以實(shí)現(xiàn)對(duì)各資源池的資源開(kāi)通和回收、資源管理、性能監(jiān)控、告警設(shè)置等。

3.1 資源統(tǒng)一管理

云管理平臺(tái)具備對(duì)接多個(gè)分散資源池的能力，能夠納管多個(gè)資源池，對(duì)多個(gè)私有云資源池提供統(tǒng)一運(yùn)營(yíng)服務(wù)。提供統(tǒng)一的賬號(hào)管理、資源管理（云主機(jī)、云主機(jī)備份、云存儲(chǔ)、安全等資源服務(wù)），滿足企業(yè)對(duì)私有云資源池管理的需要?？梢源蟠蠼档头稚①Y源池運(yùn)維成本。

3.2 性能統(tǒng)一監(jiān)控

3.2.1 物理機(jī)&虛擬機(jī)性能管理

性能數(shù)據(jù)管理支持多種類(lèi)物理和虛擬資源，可圖像化展示不同指標(biāo)的性能數(shù)據(jù)變化，自定義報(bào)表輸出資源使用情況。Citrix物理機(jī)和虛擬機(jī)性能數(shù)據(jù)由ganglia gmod作為客戶端，VMware虛擬機(jī)的性能數(shù)據(jù)的采集客戶端則基于VSphere API實(shí)現(xiàn)，KVM虛擬化資源由Ceilometer收集，所有性能數(shù)據(jù)上報(bào)到的性能采集子系統(tǒng)，并解析存儲(chǔ)和管理。

3.2.2 網(wǎng)絡(luò)設(shè)備性能監(jiān)控

統(tǒng)一云管理平臺(tái)通過(guò)SNMP協(xié)議采集網(wǎng)絡(luò)設(shè)備性能數(shù)據(jù)，可靈活適配SNMP V2 V3版本；所監(jiān)控的設(shè)備指標(biāo)包含當(dāng)前工作狀態(tài)、接收發(fā)送字節(jié)數(shù)、接口流量、分組丟失率等，并且可靈活配置；接入華為、H3C、邁普、飛塔等廠家10余種設(shè)備，設(shè)備數(shù)量達(dá)25臺(tái)； 用戶通過(guò)設(shè)置的閥值可動(dòng)態(tài)觸發(fā)告警，實(shí)時(shí)監(jiān)控設(shè)備運(yùn)行情況。

3.3 告警管理

以圖形化的方式，實(shí)現(xiàn)了告警集中管理和高效便捷的故障處理；包括告警實(shí)時(shí)瀏覽、歷史瀏覽、告警配置、用戶可查看告警、配置告警閥值、配置告警策略等。

4 應(yīng)用實(shí)踐

基于OpenStack的統(tǒng)一云管理平臺(tái)已經(jīng)應(yīng)用于多個(gè)省移動(dòng)的私有云資源池，應(yīng)用規(guī)模達(dá)幾千臺(tái)服務(wù)器，已納管VMware、Citrix及KVM 3種虛擬化，并實(shí)現(xiàn)了多機(jī)房跨域的資源池整合。

南部某公司現(xiàn)有的私有云資源池存在VMware、Citrix及KVM多種異構(gòu)虛擬化，2015年至今通過(guò)蘇研的統(tǒng)一云管理平臺(tái)整合現(xiàn)有資源池近千臺(tái)x86服務(wù)器，實(shí)現(xiàn)主流虛擬化VMware、Citrix、KVM等統(tǒng)一管理，資源統(tǒng)一調(diào)度和集中運(yùn)維服務(wù)。未來(lái)幾年統(tǒng)一云管理平臺(tái)會(huì)接入現(xiàn)有資源池和新建資源池總規(guī)模達(dá)幾千臺(tái)x86服務(wù)器。該公司部署統(tǒng)一云管理平臺(tái)后運(yùn)維私有云資源池的維護(hù)人員從15個(gè)縮減到10人，降低了30%人工成本。資源池利用率提升了40%。

西部某公司網(wǎng)絡(luò)管理和業(yè)務(wù)支撐系統(tǒng)采用OpenStack架構(gòu)的統(tǒng)一云管理平臺(tái)實(shí)現(xiàn)對(duì)VMware虛擬化服務(wù)器資源池的異構(gòu)兼容管理，并基于KVM虛擬化軟件新建了高性能虛擬化資源池。2017年統(tǒng)一運(yùn)維管理平臺(tái)將繼續(xù)納管現(xiàn)有和新建物理服務(wù)器。

私有云異構(gòu)資源池整合項(xiàng)目中所使用的統(tǒng)一云管理平臺(tái)方案和技術(shù)，適用于目前全國(guó)各企事業(yè)單位私有云資源池的異構(gòu)整合，從而解決資源池分散難以管理的難題，提高資源利用率，適應(yīng)業(yè)務(wù)快速發(fā)展。

[1] Stephen R Smoot，N.私有云計(jì)算：整合、虛擬化和面向服務(wù)的基礎(chǔ)設(shè)施[D]. 潘怡,譯.北京：機(jī)械工業(yè)出版社, 2013.

[2] 陳熹，Ricky Sun. 軟件定義數(shù)據(jù)中心技術(shù)與實(shí)踐[D]. 北京：機(jī)械工業(yè)出版社, 2015.

Research and practice on integrated management of private cloud heterogeneous resource pool

GAO Zhen-zhen
(China Mobile (Suzhou) Software Technology Co., Ltd./China Mobile Suzhou R & D Center, Suzhou 215163, China)

According to the status quo of decentralized, heterogeneous and unmanageable management of China's mobile provinces, this paper expounds how the private cloud management platform based on OpenStack's open architecture implements unified management of decentralized resource pools, multi-virtualization (VMware, KVM, Citrix, etc.), to solve a number of decentralized heterogeneous resource pool can not be unified access, operation and operation and maintenance problems, to better plan resources to enhance resource utilization.

OpenStack; private cloud; virtualization; heterogeneous management

TP393

A

1008-5599（2017）07-0002-03

2017-06-21

* 中國(guó)移動(dòng)集團(tuán)級(jí)一類(lèi)科技創(chuàng)新成果，原成果名稱為《私有云異構(gòu)資源池整合》。