王 麗,林恩愛,王 欣
(1.北京中醫(yī)藥大學(xué)信息中心,北京 100029;2.中國民航信息集團公司運行中心,北京 100010)
自動精簡配置(Thin Provisioning)存儲技術(shù),是一種按需分配存儲技術(shù)。長期以來,存儲系統(tǒng)空間被分配出去以后,不管最終用戶用了多少,其剩余的部分都無法再重新分配給別人。往往一開始為了往后的可能需求而設(shè)計很大的空間,但是最終的使用率卻是很低,企業(yè)的管理者往往為了這些低使用率的存儲花費大量的存儲管理成本和使用成本。存儲劃分多了造成浪費,劃分少了在實際生產(chǎn)系統(tǒng)中需要多次停機維護來增加存儲,造成生產(chǎn)系統(tǒng)的無謂的停機時間,所以缺乏彈性一直是個困擾。自動精簡配置存儲技術(shù)就是為了解決這樣的困境而產(chǎn)生的。這種技術(shù)在開始時,一次性給定用戶足夠空間,使用戶看起來好像是劃分了足夠的空間給他,但是實際使用時存儲系統(tǒng)是按需分配的,只有真正使用了才會在物理上占用存儲陣列系統(tǒng)的空間,不使用就不實際占用,這樣就解決了存儲使用時的低效率問題,做到了物盡其用而不浪費。
目前,主流的存儲廠商的存儲產(chǎn)品基本都有自動精簡配置功能。比如EMC VNX系列、NetApp的FAS系列、3PAR、HDS等。另外,VMware也提供了自動精簡配置功能。
中國民航信息集團(簡稱“中國航信”)是國資委直屬的大型民航保障企業(yè),主要從事中國民航數(shù)據(jù)、訂座、分銷、離港、貨運、結(jié)算等信息系統(tǒng)的開發(fā)和運營,民眾每天的機票預(yù)訂和民航的信息服務(wù)均由中國航信提供。使用超過了兩千臺硬件設(shè)備以及超過兩個PB的存儲。在民航信息系統(tǒng)“云計算”戰(zhàn)略大規(guī)模推進的進程中,如此大規(guī)模的存儲平臺,在運維管理上勢必需要更加合理高效的存儲技術(shù)予以支撐,自動精簡配置存儲技術(shù)的出現(xiàn),為簡化民航信息系統(tǒng)的存儲管理以及提高存儲系統(tǒng)的使用率提供了高效的技術(shù)支撐。
本文以NetApp FAS系列存儲的自動精簡配置功能和VMware的存儲自動精簡配置功能為例,結(jié)合民航信息存儲系統(tǒng)的特點,通過實驗,分別介紹NAS自動精簡配置存儲技術(shù)、存儲系統(tǒng)與VMware的自動精簡配置功能的融合。
網(wǎng)絡(luò)連接式存儲(Network Attached Storage,NAS),是一種通過IP以太網(wǎng)絡(luò)互相連接的基于文件級別的存儲訪問方式。NetApp的NAS的文件稱為volume。volume的劃分基于物理磁盤組(RAID組的集合)之上,這個RAID組的集合稱為aggregate。因此NetApp的存儲系統(tǒng)自下而上的組織方式為:物理磁盤、RAID 組、aggregate、volume。
本實驗創(chuàng)建一個名為aggr1的aggregate,然后在aggr1上創(chuàng)建一個名為thin_nas的具有自動精簡配置屬性的volume,將這個volume通過NAS的方式映射給一臺Windows主機的Z盤,然后在這個Windows主機上的Z盤寫入2G的民航旅客數(shù)據(jù)。通過觀察NetApp磁盤陣列上存儲剩余空間的變化,來驗證自動精簡配置存儲與普通存儲的區(qū)別。
第一步,觀察創(chuàng)建volume之前的aggr1的狀態(tài),初始狀態(tài)時aggr1的剩余空間是848G。
第二步,創(chuàng)建一個名為thin_nas的具有自動精簡配置屬性的volume,并觀察aggr1的剩余空間變化情況,發(fā)現(xiàn)剩余空間仍然是848G。也就是說,雖然被劃分出去了2G的空間,但是由于還未被使用,所以從存儲陣列上看,剩余空間沒有任何變化。
第三步,通過NAS將該volume映射到Windows主機的Z盤下,并寫入2G的民航旅客數(shù)據(jù)。重新觀察aggr1的狀態(tài),發(fā)現(xiàn)aggr1的剩余空間的大小由之前的848G減少到了846G,正是所被占用的空間大小。
第四步,將這2G的數(shù)據(jù)刪除,重新觀察aggr1的剩余空間變化情況,發(fā)現(xiàn)剩余空間恢復(fù)到了848G。
以上4步的實驗結(jié)果如表1所示。
表1 NAS自動精簡配置實驗記錄
可以看出,在NAS自動精簡配置存儲技術(shù)中,劃分了存儲空間并且映射給主機之后,并不會馬上占用存儲陣列的空間。只有當(dāng)主機端真正寫入數(shù)據(jù)之后,才會實際占用存儲陣列的大小,并且是寫多少占用多少。待數(shù)據(jù)刪除之后,馬上恢復(fù)存儲空間大小。這與傳統(tǒng)的即分即占的存儲管理方式有著巨大的優(yōu)越性。在傳統(tǒng)的存儲管理方式中,不管用戶實際占有多少數(shù)據(jù),只要劃分出去多少,則該存儲就被永久占有。在實際應(yīng)用過程中,完全可以按照用戶的需求一次性劃分足夠的存儲給用戶,在未真正使用之前,雖然用戶看到了足夠大的存儲空間,但是由于還未使用,因此存儲陣列端并沒有真正占用,而是用多少占多少,從根本上杜絕了由于用戶對存儲空間預(yù)估不準而導(dǎo)致的存儲浪費問題。
虛擬化是“云計算”的重要特征,為“云計算”提供主要的技術(shù)支撐。隨著民航信息系統(tǒng)“云計算”平臺建設(shè)的逐步推進,目前絕大部分的應(yīng)用平臺已經(jīng)實現(xiàn)了虛擬化。VMware作為服務(wù)器虛擬化領(lǐng)域的領(lǐng)頭產(chǎn)品,是中國航信服務(wù)器虛擬化的主力產(chǎn)品。
與存儲陣列的自動精簡配置類似,VMware啟用自動精簡配置功能后,創(chuàng)建虛擬磁盤時,不預(yù)先占用存儲空間,而是隨已占用的空間大小來增長,而達到按需分配的目的。
VMware的虛擬磁盤有3種格式,分別是 Thin Provisioning、Thick(也叫 Zeroedthick)和 Eagerzeroedthick。其中,Thin Provisioning與本文提到的概念一樣,就是一種按需分配的格式,創(chuàng)建時虛擬磁盤不會占用所有需要的空間,而是根據(jù)實際使用逐步占用空間;Zeroedthick格式在創(chuàng)建虛擬磁盤時會分配給所有空間,但空閑空間只有在使用時才會被初始化;而Eagerzeroedthick在創(chuàng)建虛擬磁盤時會分配給所有空間并且進行初始化。
本實驗通過VMware分別創(chuàng)建一個不啟用自動精簡配置功能的虛擬機以及啟用自動精簡配置功能的虛擬機,通過觀察NetApp存儲陣列的剩余空間的變化,來驗證兩者的區(qū)別。
第一步,觀察NetApp存儲的初始剩余空間aggre1的狀態(tài),初始狀態(tài)時aggr1的剩余空間是846G。
第二步,選擇普通模式,創(chuàng)建一個8G大小的虛擬機,如圖1所示。
圖1 創(chuàng)建普通模式虛擬機
此時,觀察存儲陣列aggr1的狀態(tài),aggr1的剩余空間的大小由之前的846G減少到了838G,正是所被占用的空間大小。
第三步,恢復(fù)原樣,選擇自動精簡配置模式,重新創(chuàng)建一個8G的虛擬機,如圖2所示。
圖2 創(chuàng)建自動精簡配置模式虛擬機
此時,重新觀察存儲陣列aggr1的狀態(tài),可以發(fā)現(xiàn),雖然創(chuàng)建了一個8G的虛擬機,但是由于選擇了自動精簡配置模式,因此沒有真正地創(chuàng)建虛擬磁盤,只有使用時才會真正地占有空間,因此并沒有實際占用空間。
以上三步的實驗結(jié)果如表2所示。
表2 VMware自動精簡配置實驗記錄
存儲陣列和VMware都提供了自動精簡配置的功能,但是兩者的角度不同。兩者是否開啟該功能的組合會導(dǎo)致不同的實際空間占用情況。仍以上面的場景為實驗,在1個40GB的LUN存儲中創(chuàng)建8GB的虛擬磁盤(vmdk),假設(shè)這個8GB的虛擬磁盤在初始狀態(tài)時只占用2G的磁盤空間。那么,在分別啟用和關(guān)閉存儲陣列和VMware的自動精簡配置的狀態(tài)下,會有如表3的空間占用情況。
表3 存儲和虛機精簡配置組合實驗
從表3可以看出,只有當(dāng)存儲陣列和VMware都開啟自動精簡配置時(這種情況也叫thin in thin方式),才會最大限度地節(jié)省存儲的使用空間(只占用2G);只開啟存儲陣列的自動精簡配置功能時,存儲陣列將占用虛擬磁盤的空間(占用8G);如果不開啟存儲陣列的自動精簡配置功能,則無論是否開啟VM-ware的自動精簡配置功能,存儲陣列都將占用全部的LUN空間的大小(占用40G)。而虛擬磁盤的大小則完全取決于VMware是否開啟自動精簡配置功能。
VMware虛擬化的自動精簡配置技術(shù)使得在民航信息系統(tǒng)“云計算”時代,大規(guī)模推進服務(wù)器虛擬化的進程中,存儲的利用率和使用效率得以大大提高,存儲管理者無需再為超大規(guī)模的虛擬數(shù)據(jù)中心的精確存儲容量預(yù)估而擔(dān)心,利用VMware虛擬化的自動精簡配置技術(shù),可以實現(xiàn)真正的按需分配,使得存儲的利用率得到最大的提高。存儲陣列的自動精簡配置功能和VMware的自動精簡配置功能的結(jié)合,將會使得存儲的利用率得到進一步的提高。
自動精簡配置技術(shù)是一種按需分配的存儲技術(shù),這種新的存儲技術(shù)使得在超大規(guī)模的民航信息系統(tǒng)中,極大提升了存儲的利用率,使得對存儲的管理變得更加高效,從而節(jié)約了大量的投資成本和管理成本。自動精簡配置存儲在民航信息系統(tǒng)中的應(yīng)用,使得存儲的呈現(xiàn)和存儲的實際占用相分離,可以一次性為業(yè)務(wù)系統(tǒng)劃分足夠的存儲空間,甚至大大超過實際的物理存儲空間,而實際上卻是真正使用時才會占用空間,從根本上解決了需要經(jīng)常停機進行存儲擴充的問題,使民航信息系統(tǒng)的業(yè)務(wù)連續(xù)性得以極大的提升,為民航信息系統(tǒng)的“云計算”戰(zhàn)略的大規(guī)模推進提供了強大的技術(shù)支撐。
但是,需要注意的是,正是自動精簡配置的極大的彈性機制,對傳統(tǒng)的存儲管理提出了另一個挑戰(zhàn)。如果大部分用戶的存儲需求都不可控,以至于多個用戶的存儲需求在短時間內(nèi)均達到了預(yù)分配時的承諾值,超出了實際的物理存儲空間,則將導(dǎo)致存儲系統(tǒng)不可用,這是個危險的情況。不過這種情況可以通過設(shè)置物理存儲使用率的報警閾值并加強監(jiān)控來予以避免。
[1]邱紅飛.存儲的自動精簡配置技術(shù)應(yīng)用研究[J].電信科學(xué),2010(11):12-17.
[2]張硯波,劉正偉,文中領(lǐng),等.一種高效存儲解決方案的分析與研究[J].計算機研究與發(fā)展,2012,49(z1):180-184.
[3]彭明田.中國民航信息系統(tǒng)現(xiàn)狀及發(fā)展展望[J].計算機工程,2005,31(z1):61-63.
[4]戴元順.云計算技術(shù)簡述[J].信息通信技術(shù),2010,4(2):29-35.
[5]宋振華.虛擬化技術(shù)中的存儲管理問題研究[D].合肥:中國科學(xué)技術(shù)大學(xué),2010.
[6]Qian Kai,Yi Letian,Shu Jiwu.ThinStore:Out-of-band virtualization with thin provisioning[C]//6th IEEE International Conference on Networking,Architecture and Storage(NAS 2011).2011:1-10.
[7]林秦穎,桂小林,史德琴,等.面向云存儲的安全存儲策略研究[J].計算機研究與發(fā)展,2011,48(z1):240-243.
[8]朱平,朱建濤,高劍剛,等.高性能計算存儲關(guān)鍵技術(shù)研究[J].計算機研究與發(fā)展,2011,48(z1):354-364.
[9]陳康,鄭緯民.云計算:系統(tǒng)實例與研究現(xiàn)狀[J].軟件學(xué)報,2009,20(5):1337-1348.
[10]劉正偉,文中領(lǐng),張海濤.云計算和云數(shù)據(jù)管理技術(shù)[J].計算機研究與發(fā)展,2012,49(z1):26-31.
[11]吳吉義,沈千里,章劍林,等.云計算:從云安全到可信云[J].計算機研究與發(fā)展,2011,48(z1):229-233.
[12]王意潔,孫偉東,周松,等.云計算環(huán)境下的分布存儲關(guān)鍵技術(shù)[J].軟件學(xué)報,2012,23(4):962-986.
[13]陳蘭香,許力.云存儲服務(wù)中可證明數(shù)據(jù)持有及恢復(fù)技術(shù)研究[J].計算機研究與發(fā)展,2012,49(z1):19-25.
[14]馬飛,劉峰,李竹伊.云計算環(huán)境下虛擬機快速實時遷移方法[J].北京郵電大學(xué)學(xué)報,2012,35(1):103-106.
[15]陳全,鄧倩妮.云計算及其關(guān)鍵技術(shù)[J].計算機應(yīng)用,2009,29(9):2562-2567.