楊 飛，朱志祥，梁小江

(1.西安郵電大學(xué) 計(jì)算機(jī)學(xué)院，陜西 西安710061;2.陜西省信息化工程研究院，陜西 西安710061;3.未來國(guó)際信息股份有限公司 研發(fā)部，陜西 西安710065)

隨著云計(jì)算和大數(shù)據(jù)應(yīng)用的快速增長(zhǎng)，網(wǎng)絡(luò)數(shù)據(jù)呈海量的增長(zhǎng)方式，人們對(duì)數(shù)據(jù)存儲(chǔ)能力、計(jì)算能力的需求呈爆炸式增長(zhǎng)，這對(duì)存儲(chǔ)系統(tǒng)的容量、可擴(kuò)展性、數(shù)據(jù)可靠性以及安全性提出更高的要求，這種需求正在影響著數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施的發(fā)展。

傳統(tǒng)的NAS存儲(chǔ)系統(tǒng)，存在著存儲(chǔ)性能的局限性、可靠性低、擴(kuò)容成本高、易形成單點(diǎn)故障等問題，而Ceph分布式存儲(chǔ)系統(tǒng)是集高性能、高可靠性和可擴(kuò)展性為一身的存儲(chǔ)系統(tǒng)，能有效避免傳統(tǒng)存儲(chǔ)系統(tǒng)的缺點(diǎn)［1］。

本文以Ceph分布式系統(tǒng)為研究對(duì)象，設(shè)計(jì)基于Ceph對(duì)象存儲(chǔ)的健康集群，通過設(shè)計(jì)多個(gè)對(duì)象網(wǎng)關(guān)實(shí)現(xiàn)對(duì)應(yīng)用請(qǐng)求數(shù)據(jù)的存儲(chǔ)和管理，使用負(fù)載均衡提高云網(wǎng)盤的請(qǐng)求、響應(yīng)和吞吐能力，然后設(shè)計(jì)統(tǒng)一的Token認(rèn)證系統(tǒng)，實(shí)現(xiàn)對(duì)象存儲(chǔ)集群的數(shù)據(jù)安全性和隔離性，最終設(shè)計(jì)和實(shí)現(xiàn)了基于Ceph對(duì)象存儲(chǔ)集群的云網(wǎng)盤。

1 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

Ceph是一種具有高性能、高擴(kuò)展性、高可靠性的分布式存儲(chǔ)系統(tǒng)。Ceph可為一套存儲(chǔ)系統(tǒng)同時(shí)提供對(duì)象存儲(chǔ)、塊存儲(chǔ)和文件系統(tǒng)存儲(chǔ)3種功能，以便在滿足不同應(yīng)用需求的前提下簡(jiǎn)化部署和運(yùn)維。在實(shí)踐當(dāng)中，Ceph可被部署于上千臺(tái)服務(wù)器上［2］。

首先設(shè)計(jì)基于Ceph對(duì)象集群的簡(jiǎn)單集群系統(tǒng)，保證整個(gè)Ceph對(duì)象存儲(chǔ)集群的可用性，同時(shí)Ceph存儲(chǔ)集群也是整個(gè)云網(wǎng)盤的存儲(chǔ)系統(tǒng)。

整個(gè)Ceph存儲(chǔ)集群擁有4個(gè)Gateway節(jié)點(diǎn)，分別為EAST、WEST、SOUTH、NORTH。這些節(jié)點(diǎn)能對(duì)外提供和發(fā)布對(duì)象存儲(chǔ)服務(wù)，實(shí)現(xiàn)基于Ceph對(duì)象存儲(chǔ)的多區(qū)域網(wǎng)絡(luò)訪問，所有的應(yīng)用請(qǐng)求必須通過這4個(gè)Gateway節(jié)點(diǎn)實(shí)現(xiàn)。根據(jù)實(shí)際網(wǎng)絡(luò)用戶的數(shù)量和分布情況，動(dòng)態(tài)的調(diào)整Ceph對(duì)象存儲(chǔ)集群的架構(gòu)，滿足不同區(qū)域用戶的動(dòng)態(tài)請(qǐng)求服務(wù)［3］。

基于Token的統(tǒng)一認(rèn)證系統(tǒng)，保證整個(gè)Ceph云存儲(chǔ)集群的安全性，同時(shí)對(duì)不同用戶進(jìn)行隔離，保證整個(gè)Ceph對(duì)象存儲(chǔ)集群的高可靠性。

最后設(shè)計(jì)和實(shí)現(xiàn)基于Ceph對(duì)象存儲(chǔ)集群的云網(wǎng)盤。通過大量網(wǎng)絡(luò)應(yīng)用測(cè)試和分析，本系統(tǒng)實(shí)現(xiàn)了基于Ceph對(duì)象存儲(chǔ)集群的云網(wǎng)盤基礎(chǔ)功能［3］。

1.1 總體設(shè)計(jì)框架

用戶通過網(wǎng)絡(luò)進(jìn)行存儲(chǔ)應(yīng)用訪問，首先要通過統(tǒng)一的Token認(rèn)證系統(tǒng)，區(qū)分不同用戶的權(quán)限和工作區(qū)域，實(shí)現(xiàn)數(shù)據(jù)管理和數(shù)據(jù)操作的安全性和隔離性［4］。

根據(jù)用戶的分布和數(shù)量，設(shè)計(jì)合理的Gateway區(qū)域，實(shí)現(xiàn)對(duì)不同用戶請(qǐng)求的對(duì)象存儲(chǔ)服務(wù)，滿足用戶訪問請(qǐng)求的實(shí)時(shí)性和可用性。

本系統(tǒng)設(shè)計(jì)出4個(gè)不同的區(qū)域，分別為EAST區(qū)、WEST區(qū)、SOUTH區(qū)、NORTH區(qū)，其能提供不同區(qū)域的對(duì)象存儲(chǔ)服務(wù)。整體設(shè)計(jì)框架如圖1所示。

圖1 整體設(shè)計(jì)框架

1.2 多區(qū)域的統(tǒng)一認(rèn)證

在整個(gè)Ceph存儲(chǔ)集群中，大量網(wǎng)絡(luò)用戶通過用戶訪問節(jié)點(diǎn)進(jìn)行統(tǒng)一的認(rèn)證，在統(tǒng)一認(rèn)證系統(tǒng)中安裝和配置Keystone服務(wù)，產(chǎn)生統(tǒng)一的Token認(rèn)證碼，在4個(gè)Gateway節(jié)點(diǎn)上均使用這一Token認(rèn)證碼，這樣保證了用戶請(qǐng)求能在4個(gè)不同的節(jié)點(diǎn)上對(duì)Ceph存儲(chǔ)集群進(jìn)行合法訪問［5］。

在基于Ceph對(duì)象存儲(chǔ)集群中的4個(gè)不同區(qū)域節(jié)點(diǎn)，均需要安裝配置MySQL和Keystone，首先在MySQL中創(chuàng)建Keystone數(shù)據(jù)庫(kù)，然后在Keystone的配置文件中，將數(shù)據(jù)庫(kù)修改為MySQL并設(shè)置用戶名和密碼，這樣就完成了Keystone的單點(diǎn)認(rèn)證服務(wù)。

在Ceph集群的配置文件中，分別修改4個(gè)不同區(qū)域節(jié)點(diǎn)的Gateway配置文件，將其中keystone_url選項(xiàng)中的IP修改為用戶訪問節(jié)點(diǎn)的IP，這樣用戶訪問節(jié)點(diǎn)每產(chǎn)生一個(gè)Token。在Ceph對(duì)象存儲(chǔ)集群中的4個(gè)不同Gateway區(qū)域節(jié)點(diǎn)中，當(dāng)有對(duì)象存儲(chǔ)服務(wù)請(qǐng)求時(shí)，不同的區(qū)域節(jié)點(diǎn)能使用統(tǒng)一的Token驗(yàn)證碼對(duì)用戶訪問節(jié)點(diǎn)進(jìn)行數(shù)據(jù)的操作和數(shù)據(jù)的管理［6］。如圖2為統(tǒng)一認(rèn)證框架。

在整個(gè)Ceph對(duì)象存儲(chǔ)集群中，通過Token統(tǒng)一認(rèn)證系統(tǒng)，能保證用戶請(qǐng)求服務(wù)的安全性和隔離性，因?yàn)橹挥蝎@取到Token才能實(shí)現(xiàn)對(duì)云網(wǎng)盤的訪問和控制。

圖2 統(tǒng)一認(rèn)證框架

1.3 多區(qū)域數(shù)據(jù)操作

在整個(gè)Ceph對(duì)象存儲(chǔ)集群中有4個(gè)不同的區(qū)域節(jié)點(diǎn)對(duì)外提供服務(wù)接口，通過Token統(tǒng)一認(rèn)證系統(tǒng)，只有合法用戶才能對(duì)云網(wǎng)盤進(jìn)行基本操作。從而實(shí)現(xiàn)不同區(qū)域用戶對(duì)整個(gè)Ceph對(duì)象存儲(chǔ)集群的數(shù)據(jù)訪問和數(shù)據(jù)操作。對(duì)多區(qū)域的數(shù)據(jù)操作包括文件上傳、下載、復(fù)制、刪除、共享、權(quán)限修改等操作。

通過使用軟均衡負(fù)載設(shè)置，實(shí)現(xiàn)4個(gè)不同的Gateway節(jié)點(diǎn)對(duì)數(shù)據(jù)的輪詢?cè)L問，由此便提高了云網(wǎng)盤的請(qǐng)求、響應(yīng)和吞吐能力，有效降低了用戶訪問節(jié)點(diǎn)的壓力，從而提高整個(gè)Ceph對(duì)象存儲(chǔ)集群的可靠性［7］。

2 系統(tǒng)測(cè)試

2.1 Keystone統(tǒng)一認(rèn)證

在用戶訪問節(jié)點(diǎn)上安裝和配置Keystone，并初始化Keystone數(shù)據(jù)庫(kù)，重新啟動(dòng)Keystone服務(wù)，通過設(shè)置和添加環(huán)境變量，最后執(zhí)行Keystone的初始化腳本。這樣在用戶訪問節(jié)點(diǎn)上就能夠產(chǎn)生統(tǒng)一的Token認(rèn)證碼，實(shí)現(xiàn)云網(wǎng)盤的統(tǒng)一化的認(rèn)證和管理。

在EAST、WEST、SOUTH、NORTH這4個(gè)不同的區(qū)域節(jié)點(diǎn)，均配置和安裝Keystone和MySQL服務(wù)，首先設(shè)置MySQL的用戶名和密碼，允許客戶端進(jìn)行訪問，在MySQL中創(chuàng)建Keystone數(shù)據(jù)庫(kù)，然后在Keystone配置文件中修改數(shù)據(jù)庫(kù)指定為MySQL，并初始化數(shù)據(jù)庫(kù)，然后重啟。這樣在4個(gè)不同的區(qū)域節(jié)點(diǎn)上就能產(chǎn)生Token認(rèn)證碼［8］。

在4個(gè)區(qū)域節(jié)點(diǎn)的Ceph配置文件中，分別修改Keystone的地址為用戶訪問節(jié)點(diǎn)的地址，則當(dāng)用戶訪問節(jié)點(diǎn)產(chǎn)生統(tǒng)一的Token認(rèn)證碼后，在4個(gè)區(qū)域節(jié)點(diǎn)上，可使用該Token認(rèn)證碼對(duì)云網(wǎng)盤進(jìn)行數(shù)據(jù)操作和數(shù)據(jù)管理。

2.2 云網(wǎng)盤數(shù)據(jù)操作

在用戶訪問節(jié)點(diǎn)上設(shè)置軟均衡負(fù)載，所有的網(wǎng)絡(luò)訪問用戶通過該節(jié)點(diǎn)實(shí)現(xiàn)對(duì)整個(gè)Ceph對(duì)象存儲(chǔ)集群的輪詢?cè)L問。

在用戶訪問節(jié)點(diǎn)的均衡負(fù)載配置文件中添加4個(gè)不同區(qū)域的監(jiān)控節(jié)點(diǎn)信息。當(dāng)有用戶請(qǐng)求服務(wù)時(shí)，通過數(shù)據(jù)監(jiān)控界面可查看當(dāng)前的數(shù)據(jù)操作記錄［9］。

通過網(wǎng)絡(luò)對(duì)Ceph對(duì)象存儲(chǔ)進(jìn)行監(jiān)控，查看不同區(qū)域的數(shù)據(jù)的監(jiān)控界面，如圖3所示。

圖3 數(shù)據(jù)監(jiān)控界面

基于Ceph對(duì)象存儲(chǔ)集群的云網(wǎng)盤可實(shí)現(xiàn)基本的數(shù)據(jù)操作和管理功能，如圖5所示。

圖4 云網(wǎng)盤界面

2.3 云網(wǎng)盤性能測(cè)試

云網(wǎng)盤的服務(wù)請(qǐng)求入口的IP為http://10.10.10.5:8090/yunpan，使用該IP作為測(cè)試的URL，使用Apache Bench軟件設(shè)置并行連接數(shù)和請(qǐng)求數(shù)，通過實(shí)驗(yàn)測(cè)試云網(wǎng)盤的性能。

如表1所示，請(qǐng)求數(shù)為1 000，并行連接數(shù)分別為10、100、1 000。

表1 并行請(qǐng)求數(shù)為1 000

如表2所示，請(qǐng)求數(shù)為10 000，并行連接數(shù)分別為10、100、1 000。

表2 并行請(qǐng)求數(shù)為10 000

如表3所示，請(qǐng)求數(shù)為100 000，并行連接數(shù)分別為10、100、1 000。

表3 并行請(qǐng)求數(shù)為100 000

如表4所示，請(qǐng)求數(shù)為1 000 000，并行連接數(shù)分別為10、100、1 000。

表4 并行請(qǐng)求數(shù)為1 000 000

經(jīng)過對(duì)上述測(cè)試結(jié)果的對(duì)比分析，得出總體的測(cè)試對(duì)比圖，如圖5所示。

圖5 測(cè)試對(duì)比圖

3 結(jié)束語

設(shè)計(jì)和部署Ceph存儲(chǔ)集群，根據(jù)實(shí)際生產(chǎn)需求設(shè)計(jì)多對(duì)象區(qū)域架構(gòu)，實(shí)現(xiàn)多對(duì)象存儲(chǔ)服務(wù)。采用軟負(fù)載均衡，提升云網(wǎng)盤請(qǐng)求、響應(yīng)吞吐能力，并集成基于Token認(rèn)證系統(tǒng)實(shí)現(xiàn)對(duì)象數(shù)據(jù)的隔離與安全。通過測(cè)試，本系統(tǒng)能實(shí)現(xiàn)基于Ceph對(duì)象存儲(chǔ)集群的云網(wǎng)盤數(shù)據(jù)操作和數(shù)據(jù)管理功能，同時(shí)保證了整個(gè)云網(wǎng)盤的良好性能。

［1］ 李翔.Ceph分布式文件系統(tǒng)的研究及性能測(cè)試［D］.西安:西安電子科技大學(xué)，2014.

［2］ 段劍弓.存儲(chǔ)系統(tǒng)NAS和SAN的差異和統(tǒng)一［J］.計(jì)算機(jī)應(yīng)用研究，2004，21(12):94－97.

［3］Weil S A，Brandt S A，Miller E L，et al.Ceph:A scalable，high－performance distributed file system［C］.Berlin:Proceedings of the 7th Symposium on Operating Systems Design and Implementation(OSDI)，2006:307－320.

［4］ 肖培棕.分布式文件系統(tǒng)元數(shù)據(jù)負(fù)載均衡技術(shù)研究與實(shí)現(xiàn)［D］.合肥:中國(guó)科學(xué)技術(shù)大學(xué)，2009.

［5］Gritzalis S，Katsikas S K，Lekkas D，et al.Securing the electronic market:the KEYSTONE public key infrastructure architecture［J］.Computers＆Security，2000(19):731－746.

［6］ 蔡官明.開放式云存儲(chǔ)服務(wù)平臺(tái)設(shè)計(jì)及移動(dòng)云盤應(yīng)用開發(fā)［D］.廣州:華南理工大學(xué)，2013.

［7］Cheswick B.The design of a secure internet gateway In Proc［C］.Salt Lake:Summer USENIX Conference，1990:233－237.

［8］ 覃靈軍，馮丹，曾令仿，等.基于對(duì)象存儲(chǔ)系統(tǒng)的動(dòng)態(tài)負(fù)載均衡算法［J］.計(jì)算機(jī)科學(xué)，2006，33(5):88－91.

［9］Holmquist L E，Redstr?m J，Ljungstrand P.Token－based access to digital information proceeding［M］.Berlin:Springer－Verlag，2000.

［10］王芳，陳亮.對(duì)象存儲(chǔ)系統(tǒng)中基于負(fù)載均衡的設(shè)備選擇算法［J］.華中科技大學(xué)學(xué)報(bào):自然科學(xué)版，2007，35(10):46－49.