◆袁 園 吳 昆 顧 今
?
桌面云存儲擴容項目中數(shù)據(jù)遷移方法研究
◆袁 園 吳 昆 顧 今
(京東方科技集團股份有限公司CIO組織 北京 100016)
隨著高性能計算機的發(fā)展,終端用戶對計算機性能及數(shù)據(jù)安全有了更高的要求,許多企業(yè)及高校采用桌面云終端技術(shù),但隨著桌面云規(guī)模的增大,也面臨著云存儲擴容及數(shù)據(jù)遷移的問題。本文從企業(yè)實際的擴容項目出發(fā)對云存儲的數(shù)據(jù)遷移方法進行研究,在實際項目執(zhí)行中,該方法大大提高了遷移效率,降低了IT人員的工作量。
桌面云;數(shù)據(jù)遷移;異構(gòu)存儲
云計算(Cloud computing)是一種基于互聯(lián)網(wǎng)的新的資源利用方法,其底層采用虛擬化技術(shù),資源動態(tài)易擴展,可為用戶依托互聯(lián)網(wǎng)上異構(gòu)、自治的服務(wù)進行按需即取的計算。桌面云(Desktop Cloud Service)是云計算的一種應(yīng)用,用戶通過桌面云終端來訪問用戶的虛擬桌面,即“通過瘦客戶端或者其他與網(wǎng)絡(luò)相連的設(shè)備來訪問跨平臺的應(yīng)用程序,以及整個客戶桌面”,桌面云技術(shù)目前在許多企業(yè)中有著廣泛的應(yīng)用,其技術(shù)較為成熟。
但在桌面云使用或擴容中,我們會碰到這種情況:由傳統(tǒng)PC轉(zhuǎn)入桌面云或桌面云存儲面臨更新?lián)Q代/擴容時,大量的用戶數(shù)據(jù)需進行遷移,同品牌存儲往往會提供一些較為便利的拷貝方法,如HDS存儲的File Replication,可快速并帶權(quán)限的拷貝完用戶數(shù)據(jù),且無數(shù)據(jù)泄露風(fēng)險,但異構(gòu)的存儲并沒有便利的方法完成用戶數(shù)據(jù)的遷移,基于這種情況,本文提供了一種可供異構(gòu)存儲使用的數(shù)據(jù)遷移方法。
云存儲其優(yōu)勢是非常顯著的,用戶數(shù)據(jù)保存在核心存儲設(shè)備上,位于中心機房,其硬件環(huán)境較好,底層存儲通過RAID或雙活技術(shù)保證了數(shù)據(jù)的安全性,克服了傳統(tǒng)臺式機的存儲單點故障問題;另一方面,終端用戶可根據(jù)數(shù)據(jù)量大小動態(tài)申請個人文件夾的大小,無需進行電腦硬盤拆卸或數(shù)據(jù)拷貝。但隨著使用年限的增加,其不足也逐漸暴露出來:由于用戶數(shù)據(jù)量增長及新用戶擴展需求,前期規(guī)劃的容量不足,或用戶數(shù)量增長,導(dǎo)致存儲控制器負載過重,終端用戶使用存儲性能明顯下降,在此時便需對存儲進行擴容或更換。
在實際環(huán)境中,許多企業(yè)考慮品牌綁定后續(xù)帶來的不便或?qū)η捌诖鎯Ξa(chǎn)品體驗較差,在擴容或更換存儲時采用異構(gòu)品牌的存儲,這樣就面臨著數(shù)據(jù)遷移的問題。同品牌存儲可以通過鏡像、底層文件復(fù)制等方法進行數(shù)據(jù)的快速遷移,而在異構(gòu)存儲方面,則沒有什么便捷的拷貝方法。
傳統(tǒng)數(shù)據(jù)遷移方法主要有:windows自帶的復(fù)制粘貼功能、第三方拷貝軟件以及由存儲廠商提供的鏡像拷貝功能,但在本項目中,這幾種方法并不是非常適用:
在拷貝前需人工找到用戶的源數(shù)據(jù)和目標拷貝位置,且傳輸速度較慢,不支持增量拷貝。
第三方軟件如fastcopy,拷貝速度非常明顯,但其多是通過網(wǎng)絡(luò)路徑進行拷貝,需提前獲取用戶數(shù)據(jù)的網(wǎng)絡(luò)路徑,且拷貝任務(wù)占用網(wǎng)絡(luò)帶寬,用戶體驗較差。
如Netapp的snapmirror、HDS的File/Object Replication,其基于存儲底層拷貝,拷貝帶權(quán)限、速度快,也是存儲災(zāi)備的拷貝形式。但其存儲平臺受限制,只能用于同品牌的存儲間數(shù)據(jù)拷貝,對于異構(gòu)存儲無能為力。
基于傳統(tǒng)數(shù)據(jù)遷移方法的不足,結(jié)合桌面云存儲運維經(jīng)驗,我們提出了一種新的云存儲數(shù)據(jù)遷移方法,該方法對于異構(gòu)存儲數(shù)據(jù)遷移的優(yōu)勢更加明顯。
本文提出了一種基于Xcopy腳本的桌面云數(shù)據(jù)遷移方法,整體架構(gòu)如圖1所示,主要包含以下兩個功能模塊:用戶數(shù)據(jù)查找及映射、實現(xiàn)數(shù)據(jù)自動拷貝,其中功能模塊一主要是使用VBS腳本,實現(xiàn)用戶數(shù)據(jù)查找并以指定的盤符掛載在用戶本地,功能模塊二是基于xcopy的腳本實現(xiàn)用戶數(shù)據(jù)的自動化遷移。
圖1 桌面云異構(gòu)存儲數(shù)據(jù)遷移方法的整體架構(gòu)
(1)用戶數(shù)據(jù)查找及映射
在桌面云中,用戶數(shù)據(jù)主要分布在桌面、我的文檔、收藏夾、Links、AppData及HomeData中,功能模塊一的執(zhí)行流程如圖2所示,通過掃描各文件系統(tǒng),找到對應(yīng)的用戶數(shù)據(jù)文件夾,并以指定的盤符映射到用戶本地,在用戶計算機目錄下可見源數(shù)據(jù)文件夾及目標數(shù)據(jù)文件夾,并且各文件夾以指定的盤符命名。
圖2 用戶數(shù)據(jù)查找及映射流程圖
(2)用戶數(shù)據(jù)的自動拷貝
Xcopy是較為簡單的微軟自帶的拷貝命令,可實現(xiàn)源盤符與目的盤符間數(shù)據(jù)的拷貝,通過添加參數(shù)/e實現(xiàn)空文件夾拷貝,/d實現(xiàn)增量拷貝,/h實現(xiàn)隱藏文件及系統(tǒng)文件的拷貝,使用簡單,操作方便。
因在實際項目中,需整體考慮后期運維難度及文件系統(tǒng)規(guī)劃,我們只是對文件系統(tǒng)中的部分用戶數(shù)據(jù)進行遷移,不是對整個文件系統(tǒng)進行遷移,這極大地增大了我們數(shù)據(jù)遷移的難度,但使用本文所提出的基于Xcopy的腳本遷移方法承擔了大部分的數(shù)據(jù)遷移工作,其遷移效率對比如表1所示。因腳本的自動化執(zhí)行,從而大大降低了IT運維人員的工作量,縮短了項目周期,在后續(xù)項目中也持續(xù)對此遷移方法進行研究,提出更優(yōu)的解決方案。
數(shù)據(jù)遷移是個枯燥且繁雜的工作事項,在遷移中應(yīng)盡可能的實現(xiàn)自動化的拷貝,這不僅能降低工作復(fù)雜度,也能夠保證數(shù)據(jù)的完整性安全性。在實際應(yīng)用中,無論是異構(gòu)存儲的數(shù)據(jù)遷移還是由傳統(tǒng)的PC終端轉(zhuǎn)向桌面云終端,該方法都大大提升了遷移效率,且自動化遷移腳本可由終端用戶自行拷貝,降低了數(shù)據(jù)泄露的風(fēng)險,對于企業(yè)級應(yīng)用是非常有利的。
表1 項目中遷移效果對比圖
[1]吳瑞.關(guān)于計算機云存儲中的數(shù)據(jù)遷移分析[J].計算機教學(xué),2014.
[2]宿培成.關(guān)于計算機云存儲中數(shù)據(jù)遷移的分析[J].信息安全與技術(shù),2012.
[3]肖迪.計算機云存儲的數(shù)據(jù)遷移研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用,2013.