一種校園混合云存儲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)*

季益龍， 楊傳斌

(浙江師范大學(xué) 網(wǎng)絡(luò)安全與信息化建設(shè)辦公室,浙江 金華 321004)

0 引 言

云存儲是在云計(jì)算概念的基礎(chǔ)上發(fā)展起來的一種新的存儲方式，它是將大量不同類型的存儲設(shè)備通過軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲服務(wù)[1].隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)應(yīng)用的快速發(fā)展，校園師生學(xué)習(xí)、工作所產(chǎn)生的數(shù)據(jù)正以幾何級數(shù)的方式增長.數(shù)字資源存儲的目的是為了用戶保存、獲取和分析數(shù)據(jù)，校園數(shù)字資源管理是實(shí)現(xiàn)智慧校園戰(zhàn)略的第一步，而數(shù)字教育資源的存儲與管理已成為一個(gè)亟待解決的難題.傳統(tǒng)校園數(shù)字存儲方式主要有2種：一種是自建式存儲系統(tǒng)，常見的平臺有師生ftp、網(wǎng)絡(luò)存儲平臺、自動備份系統(tǒng)等，但存在可獲取性差、動態(tài)擴(kuò)展能力差、兼容與管理不便和安全可靠性不高等問題；另一種是公共服務(wù)網(wǎng)盤，常見的有百度云、360云盤、騰訊微云等，與傳統(tǒng)的存儲模式相比，在文件管理、移動訪問、多端同步和存儲容量等方面具有優(yōu)勢，但也存在服務(wù)質(zhì)量不可控、數(shù)據(jù)私密性弱、個(gè)性化定制差等問題.筆者分析了傳統(tǒng)存儲中實(shí)際存在的問題與需求，比較3種云存儲模式的性能優(yōu)缺點(diǎn)，設(shè)計(jì)并實(shí)現(xiàn)一個(gè)基于混合云模式的校園云存儲系統(tǒng).

1 3種云存儲服務(wù)模式的對比

云存儲目前在學(xué)術(shù)界還沒有一個(gè)權(quán)威的定義，但基本的共識是，云存儲不僅是一種存儲設(shè)備或技術(shù)，也是一種全新的服務(wù)[2].從服務(wù)對象和范圍來講,云存儲模式可以分為3種：公有云、私有云和混合云.不同的云存儲模式均有利弊，需要分析其優(yōu)缺點(diǎn)，學(xué)校可根據(jù)自身的實(shí)際情況選擇最優(yōu)方案.

1.1 公有云模式

公有云建立在校園局域網(wǎng)外部，放在一個(gè)共享的基礎(chǔ)存儲平臺，并且保障每個(gè)用戶的存儲、數(shù)據(jù)和應(yīng)用都是邏輯分區(qū)、互不干擾.簡單地說，公有云就是云計(jì)算服務(wù)提供商為用戶提供服務(wù)的云存儲平臺.公有云模式具有建設(shè)成本低、數(shù)據(jù)共享、擴(kuò)展性高等優(yōu)勢，但在安全性、可靠性和版權(quán)等問題上存在問題.在云計(jì)算、移動互聯(lián)、CDN分發(fā)等技術(shù)迅速發(fā)展的背景下，公有云存儲發(fā)展迅猛，國外有亞馬遜提供的公有云服務(wù)Amazon Web Services、微軟發(fā)布的公有云計(jì)算平臺Widows Azure和谷歌推出的在線云存儲服務(wù)Google Drive[3]，國內(nèi)有阿里云、百度云、360云盤、華為網(wǎng)盤等，這些公有云存儲系統(tǒng)簡單易用，可以實(shí)現(xiàn)隨時(shí)隨地多種形式互聯(lián)，成為校園師生個(gè)人網(wǎng)絡(luò)存儲的工具.

1.2 私有云模式

私有云建立在校園局域網(wǎng)內(nèi)部，通過局域網(wǎng)協(xié)議建立在機(jī)構(gòu)內(nèi)部提供云存儲服務(wù)，是一個(gè)可擴(kuò)展的云環(huán)境.它建立在用戶專用的基礎(chǔ)構(gòu)架之上,不同于公有云的開放生態(tài)圈，私有云運(yùn)行在機(jī)構(gòu)數(shù)據(jù)中心防火墻內(nèi)，也可以部署在一個(gè)安全可靠的主機(jī)托管場所.私有云模式具有數(shù)據(jù)安全性高、服務(wù)質(zhì)量可管控、統(tǒng)一管理和資源利用率高等優(yōu)勢，但在建設(shè)成本、可擴(kuò)展性和社會共享性等方面存在劣勢.私有云有2種形式：其一是軟硬件合體類型，云儲存運(yùn)營商會提供專業(yè)的硬件和集成軟件，主要有IBM公司的XIV網(wǎng)格存儲系統(tǒng)，聯(lián)想公司的私有云存儲系統(tǒng)，愛數(shù)公司的Anyshare Cloud系統(tǒng)等；其二是純軟件安裝包，機(jī)構(gòu)需要自身提供服務(wù)器和存儲設(shè)備，比較成熟的平臺有基于Hadoop的HDFS分布式系統(tǒng)[4],基于對象存儲的Swift[5]和由國內(nèi)技術(shù)團(tuán)隊(duì)開發(fā)的Seafile開源云存儲平臺[6].

1.3 混合云模式

混合云是建立在私有云和公有云服務(wù)之上的，是為特定用戶提供和管理一些內(nèi)部資源和外部資源的云存儲環(huán)境[7].這種模式最大的優(yōu)勢在于利用了公有云成本低的優(yōu)勢，同時(shí)確保了高度敏感信息的保護(hù).用戶根據(jù)不同業(yè)務(wù)性質(zhì)來區(qū)分存儲對象，一些重要、核心或機(jī)密的數(shù)字資源放到機(jī)構(gòu)建立的私有云存儲，而通知公告、公共業(yè)務(wù)和公開信息等則放在公有云存儲.混合云的概念不可能是一個(gè)簡單的混合服務(wù)的提供，如何正確有效地對公有云和私有云服務(wù)進(jìn)行切換、融合是一個(gè)非常復(fù)雜的過程[8].這種模式也存在一些挑戰(zhàn)，如內(nèi)部數(shù)據(jù)中心與公有云之間的連接問題、系統(tǒng)監(jiān)測和管理方面的間接費(fèi)用較高、多個(gè)單一故障點(diǎn)增加安全風(fēng)險(xiǎn)[9].

通過對上述3種存儲模式的分析，得出了公共云、私有云和混合云的異同點(diǎn)，并分別指出其適應(yīng)范圍,如表1所示.

表1 3種存儲模式的不同特點(diǎn)及區(qū)別

2 校園混合云存儲系統(tǒng)的設(shè)計(jì)

圖1 一種校園混合云存儲系統(tǒng)的整體架構(gòu)

2.1 系統(tǒng)整體構(gòu)架

混合云存儲系統(tǒng)本身的服務(wù)是將公有云和私有云存儲構(gòu)成一個(gè)有機(jī)的整體[10].混合云存儲系統(tǒng)整體結(jié)構(gòu)包括校園網(wǎng)和互聯(lián)網(wǎng)兩部分，將校園內(nèi)部的私有云存儲服務(wù)和互聯(lián)網(wǎng)上的公有云存儲服務(wù)結(jié)合起來，為校園師生提供數(shù)字資源存儲服務(wù).系統(tǒng)的整體架構(gòu)如圖1所示.

私有云存儲服務(wù)部署在校園網(wǎng)上，包括用戶接口、文件服務(wù)器、數(shù)據(jù)業(yè)務(wù)服務(wù)器、WEB服務(wù)器、數(shù)據(jù)庫服務(wù)器等.用戶接口通常以3種方式為用戶提供云存儲服務(wù)：移動端、網(wǎng)頁端和客戶端.文件服務(wù)器提供底層用戶文件的存儲與訪問服務(wù)，私有的文件服務(wù)器不提供外網(wǎng)訪問接口，以保證數(shù)據(jù)安全；數(shù)據(jù)業(yè)務(wù)服務(wù)器、WEB服務(wù)器、數(shù)據(jù)庫服務(wù)器共同承擔(dān)核心業(yè)務(wù)服務(wù)，包括文件的上傳、下載、預(yù)覽等.公有云存儲服務(wù)將選擇主流的亞馬遜S3、微軟Azure、阿里云、百度云等云存儲服務(wù)商，實(shí)現(xiàn)各種服務(wù)調(diào)用功能.若用戶在校園網(wǎng)內(nèi)，則數(shù)據(jù)操作通過校園網(wǎng)調(diào)用互聯(lián)網(wǎng)云存儲服務(wù)；若用戶在公網(wǎng)上，則數(shù)據(jù)操作直接在互聯(lián)網(wǎng)調(diào)用服務(wù).云存儲服務(wù)商決定了整個(gè)系統(tǒng)的可擴(kuò)展性和服務(wù)質(zhì)量，需要根據(jù)服務(wù)模式、運(yùn)行環(huán)境和費(fèi)用等多種因素，選擇最適合的云存儲服務(wù)商.

圖2 一種校園混合云存儲系統(tǒng)的功能設(shè)計(jì)圖

2.2 系統(tǒng)功能設(shè)計(jì)

系統(tǒng)通過單點(diǎn)登錄的方式從統(tǒng)一身份認(rèn)證平臺中獲取所需的人員信息、部門信息、崗位信息和角色信息，并將存儲信息、操作信息及日志信息返回給統(tǒng)一身份認(rèn)證平臺.如圖2所示，系統(tǒng)主要模塊包括：文件管理、文件夾管理、權(quán)限控制、作業(yè)收集、實(shí)時(shí)同步、系統(tǒng)管理和個(gè)性工具等配套子模塊.

2.2.1 文件管理模塊

文件管理是云盤系統(tǒng)的基礎(chǔ)業(yè)務(wù)，遵循文件存在本地、服務(wù)部署云端的原則.可以對文件實(shí)現(xiàn)上傳、下載、刪除、在線預(yù)覽、審閱、評論和分享等多種操作，擁有移動端、網(wǎng)頁端和客戶端等多種入口方式，實(shí)現(xiàn)文件管理共享、協(xié)作交流的場景.

2.2.2 文件夾管理模塊

通過文件的邊界屬性對文件夾進(jìn)行分類(用不同的顏色表示不同屬性的文件夾)：黃色代表個(gè)人文件夾，除本人外其他任何人都無法查看編輯；藍(lán)色代表協(xié)作文件夾，用于學(xué)校用戶之間的文件共享和交互；紫色代表部門文件夾，根據(jù)部門信息自動創(chuàng)建，用于部門之間的文件共享和交互；綠色代表外部文件夾，當(dāng)需要外部協(xié)作時(shí)，可創(chuàng)建外部文件夾，用于與外部用戶的文件共享和交互.文件夾管理通過不同顏色，輕松實(shí)現(xiàn)文件安全管理.

2.2.3 權(quán)限控制模塊

當(dāng)邀請成員加入共享文件夾時(shí)，可以進(jìn)行權(quán)限設(shè)置.同專業(yè)教師之間可以設(shè)置為“編輯者”權(quán)限，課件共享給學(xué)生可以設(shè)置為“查看者”權(quán)限.根據(jù)文件訪問屬性可劃分為五級權(quán)限設(shè)置，分別為“所有者”“編輯者”“查看者”“預(yù)覽者”和“上傳者”.每種角色代表對文件的不同訪問權(quán)限，通過嚴(yán)密的權(quán)限控制，保障數(shù)字資源的安全可控.

2.2.4 作業(yè)收集模塊

作業(yè)收集是云盤系統(tǒng)根據(jù)學(xué)校自身特點(diǎn)設(shè)計(jì)的自定義功能，利用文件夾收集功能，可以實(shí)現(xiàn)指定文件夾作為作業(yè)收集目錄，創(chuàng)建任務(wù)并邀請班級的學(xué)生，學(xué)生在規(guī)定的時(shí)間內(nèi)向老師上傳并提交作業(yè)相關(guān)的電子文檔，方便教師收集管理作業(yè)，學(xué)生之間作業(yè)也可設(shè)為互相不可見.

2.2.5 實(shí)時(shí)同步模塊

實(shí)時(shí)同步既可以進(jìn)行大量文件的快速上傳下載，也可以通過同步端與云端文件保持實(shí)時(shí)同步.其中，移動端、網(wǎng)頁端或客戶端的本地文件一旦被修改，云端就實(shí)時(shí)更新，可以實(shí)現(xiàn)便捷、實(shí)時(shí)和快速的文件同步，文件的修改也無需頻繁地上傳下載.

2.2.6 系統(tǒng)管理模塊

主要包括用戶管理、使用統(tǒng)計(jì)、個(gè)性化設(shè)置和日志查詢等.用戶管理主要實(shí)現(xiàn)對云盤系統(tǒng)中用戶的增加、修改、刪除等操作.使用統(tǒng)計(jì)是對系統(tǒng)中的用戶數(shù)量、存儲情況、文件總數(shù)等使用情況進(jìn)行統(tǒng)計(jì).個(gè)性化設(shè)置是對系統(tǒng)的名稱、形象、安全等自定義設(shè)置.日志查詢是對時(shí)間、操作者、操作對象、客戶端詳情等內(nèi)容的查詢.

2.2.7 個(gè)性工具模塊

個(gè)性工具是用戶根據(jù)學(xué)校特點(diǎn)提供的特色服務(wù).全文搜索支持標(biāo)題搜索、文件內(nèi)容搜索、關(guān)鍵詞搜索、消息搜索等.在線編輯支持網(wǎng)頁端在無需下載文件的情況下直接實(shí)現(xiàn)在線編輯，編輯完成后自動保存到平臺.隨時(shí)消息可直接將文件分享到對方QQ、微信、郵箱、短信等各種溝通工具上，實(shí)現(xiàn)隨時(shí)隨地的文件分享.設(shè)備管理是指用戶對自身賬號的登陸設(shè)備進(jìn)行管理，可禁止其他相關(guān)設(shè)備非法登錄系統(tǒng)，確保賬號安全.

3 校園混合云存儲系統(tǒng)的實(shí)現(xiàn)

依據(jù)設(shè)計(jì)的框架來部署系統(tǒng)，混合云存儲系統(tǒng)體系結(jié)構(gòu)按層次可以劃分為4層：資源層、平臺層、應(yīng)用層和用戶訪問層[11].資源層用于構(gòu)建混合云系統(tǒng)的底層硬件，包括底層的服務(wù)器、存儲介質(zhì)、網(wǎng)絡(luò)和云服務(wù)商等.筆者采用專用機(jī)架式服務(wù)器、高速多協(xié)議存儲方式和萬兆核心交換機(jī)，并根據(jù)學(xué)校自身特點(diǎn)及公有云的存儲大小、數(shù)據(jù)請求、數(shù)據(jù)傳輸流量、可用性、網(wǎng)絡(luò)傳輸速率等[12]相關(guān)參數(shù)選擇合適的云服務(wù)商.平臺層通過軟件集群對資源層進(jìn)行整合封裝，實(shí)現(xiàn)用戶權(quán)限控制、數(shù)據(jù)存儲、數(shù)據(jù)安全等業(yè)務(wù)，為應(yīng)用層提供平臺接口，軟件集群由物理服務(wù)器和虛擬機(jī)構(gòu)成，3～5臺物理服務(wù)器分別部署混合云系統(tǒng)的業(yè)務(wù)服務(wù)、Web服務(wù)和數(shù)據(jù)庫服務(wù)，4～6臺虛擬機(jī)搭建Hadoop分布式文件服務(wù)器集群，完成對資源池的管理.應(yīng)用層通過終端軟件為用戶提供云存儲終端接口，實(shí)現(xiàn)用戶的定制業(yè)務(wù)，該系統(tǒng)終端的后臺開發(fā)利用Java、Spring MVC、Hibernate、Jerasure等關(guān)鍵開發(fā)技術(shù)實(shí)現(xiàn)系統(tǒng)的功能，前端設(shè)計(jì)采用HTML5、jQuery、Ajax等主流技術(shù)，數(shù)據(jù)儲存技術(shù)包括Hibernate、HDFS、Redis等存儲數(shù)據(jù)表和教育業(yè)務(wù)的結(jié)構(gòu)化數(shù)據(jù).用戶訪問層是實(shí)現(xiàn)任何一個(gè)授權(quán)用戶都可以在任何時(shí)間、任何地點(diǎn)，使用不同的終端設(shè)備，按照標(biāo)準(zhǔn)的公有應(yīng)用接口登錄云存儲平臺，享受云存儲服務(wù)，通常以3種方式為用戶提供云存儲服務(wù)：移動端、網(wǎng)頁端和客戶端.

通過對該系統(tǒng)的功能、性能、安全性、可擴(kuò)展性等方面近一年時(shí)間的全面測試與使用，發(fā)現(xiàn)該系統(tǒng)應(yīng)用功能完善，能實(shí)現(xiàn)高達(dá)百T級別的海量教學(xué)和科研資料安全統(tǒng)一的管理.性能上表現(xiàn)穩(wěn)定，局域網(wǎng)內(nèi)存儲數(shù)據(jù)的上傳、下載速度≥5 Mb/s，對系統(tǒng)訪問的響應(yīng)性很高;系統(tǒng)采用碎片化存儲、3份加密保存、用戶數(shù)據(jù)隔離,確保系統(tǒng)的安全性;用戶數(shù)量可在后臺增加，存儲空間可實(shí)現(xiàn)動態(tài)擴(kuò)容，功能基于云端統(tǒng)一升級,確保系統(tǒng)具有良好的可擴(kuò)展性.

4 結(jié) 語

面對數(shù)字化環(huán)境和信息技術(shù)變化帶來的挑戰(zhàn)和機(jī)遇，混合云存儲系統(tǒng)的建設(shè)符合“互聯(lián)網(wǎng)+”時(shí)代要求，它可以更新管理理念、打造數(shù)字化存儲空間、改變傳統(tǒng)服務(wù)方式.存儲系統(tǒng)采用混合云模式部署，是“互聯(lián)網(wǎng)+校園”新發(fā)展階段的新思路，既可以打破傳統(tǒng)私有云開發(fā)周期長、更新困難、部署成本高的缺陷，又能滿足文件存儲、校園數(shù)據(jù)安全、動態(tài)擴(kuò)展容量、移動應(yīng)用、實(shí)時(shí)同步及作業(yè)收集各項(xiàng)功能的需求，讓其享受到更多的云端服務(wù)價(jià)值.