葉毓睿
(VMware公司 北京 100190)
?
云計(jì)算時(shí)代的企業(yè)級(jí)存儲(chǔ)之特性
葉毓睿
(VMware公司 北京 100190)
云計(jì)算勢(shì)不可擋,在未來(lái)較長(zhǎng)的時(shí)間段內(nèi),私有云和混合云是主流。作為數(shù)據(jù)中心的基礎(chǔ)部件之一,企業(yè)級(jí)存儲(chǔ)面臨了新的挑戰(zhàn),云計(jì)算要求存儲(chǔ)具有如下特性:自助服務(wù)、存儲(chǔ)池化、彈性擴(kuò)展、快速部署、按量計(jì)費(fèi)等。軟件定義存儲(chǔ)是解決這一挑戰(zhàn)的最佳選擇。
企業(yè)級(jí)存儲(chǔ);云計(jì)算;軟件定義數(shù)據(jù)中心;軟件定義存儲(chǔ)
企業(yè)對(duì)數(shù)據(jù)存儲(chǔ)有著額外的需求,它的高標(biāo)準(zhǔn)體現(xiàn)在:高可靠性、高可用性、可維護(hù)性、高性能、大容量、可擴(kuò)展性和高級(jí)的數(shù)據(jù)保護(hù)(備份和容災(zāi))。
有別于個(gè)人用戶(hù)使用的移動(dòng)硬盤(pán)、U盤(pán)等消費(fèi)級(jí)存儲(chǔ),企業(yè)級(jí)存儲(chǔ)因?yàn)槭瞧髽I(yè)信息資產(chǎn)存放的地方,需要極高的可靠性、穩(wěn)定性。而且,在當(dāng)今信息化逐漸深入的時(shí)代背景下,大多數(shù)行業(yè)都需要借助信息技術(shù)(簡(jiǎn)稱(chēng)IT)去提高管理效率,維護(hù)客戶(hù)關(guān)系,快速響應(yīng)訊息萬(wàn)變的商業(yè)環(huán)境,并給領(lǐng)導(dǎo)者提供值得信賴(lài)的決策信息。這使得IT數(shù)據(jù)的產(chǎn)生、存放、傳輸、保護(hù)變得日益重要,對(duì)于重要的關(guān)鍵業(yè)務(wù)應(yīng)用,還需要通過(guò)備份、容災(zāi)等手段,更好地將數(shù)據(jù)保護(hù)起來(lái),以應(yīng)對(duì)可能突如其來(lái)的災(zāi)難事件。例如:15年前,也就是2001年的911事件中,許多金融機(jī)構(gòu)聚集的世貿(mào)大廈里的大量數(shù)據(jù)化為烏有。其中,紐約銀行的數(shù)據(jù)中心遭到嚴(yán)重破壞,由于缺乏可靠的災(zāi)備系統(tǒng),在30天后關(guān)閉一些分支機(jī)構(gòu),幾月后只能破產(chǎn)清盤(pán)。而摩根士丹利(Morgan Stanley)在世貿(mào)大廈租用了高達(dá)25層的辦公室,許多人以為它的運(yùn)營(yíng)將受到重創(chuàng)。然而,摩根士丹利宣布,全球營(yíng)業(yè)部第二天可以照常工作。因?yàn)橄惹敖⒌臄?shù)據(jù)備份和遠(yuǎn)程容災(zāi)系統(tǒng),保護(hù)了重要的數(shù)據(jù)。不得不承認(rèn),數(shù)據(jù)備份和遠(yuǎn)程容災(zāi)系統(tǒng)在這時(shí)挽救了Morgan Stanley。
據(jù)統(tǒng)計(jì),金融業(yè)在信息系統(tǒng)遭到破壞的兩天內(nèi),遭受的損失為日營(yíng)業(yè)額的一半,如果14天內(nèi)無(wú)法恢復(fù)信息系統(tǒng),3/4的公司業(yè)務(wù)不得不停頓,43%的公司將永久停業(yè),沒(méi)有實(shí)施災(zāi)備措施的公司3/5將在災(zāi)難發(fā)生后的兩到三年間破產(chǎn)。這里提到的災(zāi)難備份,都是企業(yè)級(jí)存儲(chǔ)技術(shù)中的重要一環(huán)。
此外,數(shù)據(jù)7x24小時(shí)可以被持續(xù)訪(fǎng)問(wèn),也越來(lái)越重要。有些企業(yè),停機(jī)1分鐘,甚至都會(huì)導(dǎo)致數(shù)十萬(wàn),甚至數(shù)百萬(wàn)美元的損失;丟失數(shù)據(jù)則被視為更嚴(yán)重的事故。
云計(jì)算發(fā)端于十年前,至今已經(jīng)推動(dòng)著IT洪流,滾滾向前,極大地影響了整個(gè)IT產(chǎn)業(yè)的格局。云計(jì)算其實(shí)并不特指一種或幾種技術(shù),實(shí)際上是使用IT資源的模式的創(chuàng)新。雖然一萬(wàn)個(gè)人的眼里,就有一萬(wàn)個(gè)不同的云計(jì)算的定義,不過(guò)被大家公認(rèn)的,接受度比較高的是NIST(美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)委員會(huì))對(duì)于云計(jì)算的定義[1],如圖1所示[2]。
圖1美國(guó)NIST關(guān)于云計(jì)算的定義
NIST認(rèn)為,云計(jì)算有如下五個(gè)核心本質(zhì)特征:
1.按需提供的自助服務(wù)
消費(fèi)者可以單方面地按需自動(dòng)獲取計(jì)算能力,如服務(wù)器時(shí)間和網(wǎng)絡(luò)存儲(chǔ),從而免去了與每個(gè)服務(wù)提供者進(jìn)行交互的過(guò)程。
2.通過(guò)網(wǎng)絡(luò)廣泛訪(fǎng)問(wèn)
網(wǎng)絡(luò)中提供許多可用功能,可通過(guò)各種統(tǒng)一的標(biāo)準(zhǔn)機(jī)制從多樣化的瘦客戶(hù)端或者胖客戶(hù)端平臺(tái)獲取(例如,手機(jī)、筆記本電腦、或臺(tái)式機(jī))。
3.資源的池化整合
服務(wù)提供者將計(jì)算資源匯集到資源池中,通過(guò)多租戶(hù)模式共享給多個(gè)消費(fèi)者,根據(jù)消費(fèi)者的需求對(duì)不同的物理資源和虛擬資源進(jìn)行動(dòng)態(tài)分配或重分配。資源的所在地具有保密性,消費(fèi)者通常不知道資源的確切位置,也無(wú)力控制資源的分配,但是可以指定較精確的概要位置(如,國(guó)家、省或數(shù)據(jù)中心)。資源類(lèi)型包括存儲(chǔ)、處理、內(nèi)存、帶寬和虛擬機(jī)等。
4.快速而彈性的部署
能夠快速而靈活地提供各種功能以實(shí)現(xiàn)擴(kuò)展,并且可以快速釋放資源來(lái)實(shí)現(xiàn)收縮。對(duì)消費(fèi)者來(lái)說(shuō),可取用的功能是應(yīng)有盡有的,并且可以在任何時(shí)間進(jìn)行任意數(shù)量的購(gòu)買(mǎi)。
5.可量化的服務(wù)
云系統(tǒng)利用一種計(jì)量功能(通常是通過(guò)一個(gè)付費(fèi)使用的業(yè)務(wù)模式)來(lái)自動(dòng)調(diào)控和優(yōu)化資源利用,根據(jù)不同的服務(wù)類(lèi)型按照合適的度量指標(biāo)進(jìn)行計(jì)量(如存儲(chǔ)、處理、帶寬和活躍用戶(hù)賬戶(hù))。監(jiān)控、控制和報(bào)告資源使用情況,提升服務(wù)提供者和服務(wù)消費(fèi)者的透明度。
從業(yè)務(wù)交付模式來(lái)看,包括如下三種:
1.軟件即服務(wù)(SaaS)
該模式的云服務(wù),是在云基礎(chǔ)設(shè)施上運(yùn)行的,由提供者提供的應(yīng)用程序。這些應(yīng)用程序可以被各種不同的客戶(hù)端設(shè)備,通過(guò)像Web瀏覽器(例如:基于Web的電子郵件)這樣的瘦客戶(hù)端界面所訪(fǎng)問(wèn)。消費(fèi)者不直接管理或控制底層云基礎(chǔ)設(shè)施,包括網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、存儲(chǔ),甚至單個(gè)應(yīng)用的功能,但有限的特定于用戶(hù)的應(yīng)用程序配置設(shè)置則可能是個(gè)例外。
2.平臺(tái)即服務(wù)(PaaS)
該模式的云服務(wù),是將消費(fèi)者創(chuàng)建或獲取的應(yīng)用程序,利用資源提供者指定的編程語(yǔ)言和工具部署到云的基礎(chǔ)設(shè)施上。消費(fèi)者不直接管理或控制包括網(wǎng)絡(luò)、服務(wù)器、運(yùn)行系統(tǒng)、存儲(chǔ),甚至單個(gè)應(yīng)用的功能在內(nèi)的底層云基礎(chǔ)設(shè)施,但可以控制部署的應(yīng)用程序,也有可能配置應(yīng)用的托管環(huán)境。
3.基礎(chǔ)設(shè)施即服務(wù)(IaaS)
該模式的云服務(wù),是租用處理、存儲(chǔ)、網(wǎng)絡(luò)和其它基本的計(jì)算資源,消費(fèi)者能夠在上面部署和運(yùn)行任意軟件,包括操作系統(tǒng)和應(yīng)用程序。消費(fèi)者不管理或控制底層的云計(jì)算基礎(chǔ)設(shè)施,但可以控制操作系統(tǒng)、存儲(chǔ)、部署的應(yīng)用,也有可能選擇網(wǎng)絡(luò)構(gòu)件(例如:主機(jī)防火墻)。
在筆者看來(lái),這三種交付模式的不同,其實(shí)對(duì)應(yīng)的就是三類(lèi)不同的使用者的角色。SAAS對(duì)應(yīng)業(yè)務(wù)應(yīng)用的用戶(hù),例如著名的Salesforce,許多外企都在使用其云端的客戶(hù)關(guān)系管理軟件,通過(guò)瀏覽器即可使用;PAAS對(duì)應(yīng)開(kāi)發(fā)部署人員,例如開(kāi)源PAAS平臺(tái)提供商Cloud Foundry;而IAAS對(duì)應(yīng)運(yùn)維管理人員,公有云領(lǐng)域中,最著名的有亞馬遜AWS、微軟Azure,另外還有谷歌GCE、IBM Softlayer、VMware vCloud Air等。
從架構(gòu)部署模型來(lái)看,包括如下四種:
1.公共云(Public cloud)
公共云對(duì)一般公眾或一個(gè)大型的行業(yè)組織公開(kāi)可用,由銷(xiāo)售云服務(wù)的組織機(jī)構(gòu)所有。
2.私有云(Private cloud)
私有云是為一個(gè)用戶(hù)/機(jī)構(gòu)單獨(dú)使用而構(gòu)建的,可以由該用戶(hù)/機(jī)構(gòu)或第三方管理,存在預(yù)置(on premise)和外置(off premise)兩個(gè)狀態(tài)。
3.團(tuán)體云,也叫社區(qū)云(Community cloud)
社區(qū)云是指一些由有著共同利益(如任務(wù)、安全需求、政策、遵約考慮等)并打算共享基礎(chǔ)設(shè)施的組織共同創(chuàng)立的云,可以由該用戶(hù)/機(jī)構(gòu)或第三方管理,存在on premise或off premise兩個(gè)狀態(tài)。
4.混合云(Hybrid cloud)
混合云由兩個(gè)或兩個(gè)以上的云(私有云、社區(qū)云或公共云)組成,它們各自獨(dú)立,但通過(guò)標(biāo)準(zhǔn)化技術(shù)或?qū)S屑夹g(shù)綁定在一起,云之間實(shí)現(xiàn)了數(shù)據(jù)和應(yīng)用程序的可移植性(例如,解決云之間負(fù)載均衡的云爆發(fā)(cloud bursting))。
在筆者看來(lái),公有云意味著用戶(hù)的所有權(quán)和使用權(quán)相分離;私有云意味著用戶(hù)不僅有使用權(quán)還有所有權(quán)。團(tuán)體云通常專(zhuān)注在具體行業(yè)或地域?;旌显疲櫭剂x,業(yè)務(wù)可以在不同于以上三種不同部署模型云之間漂移。例如,鐵路系統(tǒng)的購(gòu)票網(wǎng)站12306,平時(shí)運(yùn)行在鐵道部自己的私有云上;春運(yùn)高峰時(shí)期,12306會(huì)將車(chē)票查詢(xún)業(yè)務(wù)放到阿里云(公有云)計(jì)算平臺(tái)上。從長(zhǎng)遠(yuǎn)來(lái)看,公有云的份額或越來(lái)越大,但在中期、近期的時(shí)間段內(nèi),考慮到安全性、政府合規(guī)、管理、兼容性、慣性、遷移成本等因素,許多用戶(hù)仍然會(huì)選擇將業(yè)務(wù)繼續(xù)存放在私有云上,而一些非關(guān)鍵業(yè)務(wù)或許可能考慮放在公有云上,這意味著掌握混合云的技術(shù)越來(lái)越重要。
由于云計(jì)算涉及的范圍過(guò)于廣泛,難以在一篇文章中面面俱到。本篇文章里所提到的云計(jì)算主要指私有云,是當(dāng)前絕大多數(shù)企事業(yè)單位主流的部署模型。圖2為傳統(tǒng)數(shù)據(jù)中心的典型的拓補(bǔ)圖,可以看到傳統(tǒng)數(shù)據(jù)中心中,包含了幾個(gè)基礎(chǔ)組件:服務(wù)器、網(wǎng)絡(luò)和存儲(chǔ)。存儲(chǔ)實(shí)際上應(yīng)對(duì)場(chǎng)景的不同,包含了NAS(提供文件共享空間,存放非結(jié)構(gòu)化數(shù)據(jù))和SAN(提供塊數(shù)據(jù)的訪(fǎng)問(wèn),通常用于存放結(jié)構(gòu)化數(shù)據(jù),例如數(shù)據(jù)庫(kù)、郵件等業(yè)務(wù)應(yīng)用的數(shù)據(jù))。企業(yè)級(jí)存儲(chǔ)通常還包含了備份或容災(zāi)體系,例如圖2所示,其中還有專(zhuān)門(mén)的備份存儲(chǔ)[3]。
云計(jì)算出現(xiàn)以后,對(duì)數(shù)據(jù)中心提出了新的挑戰(zhàn)和要求,不過(guò)仍然包含服務(wù)器、網(wǎng)絡(luò)和存儲(chǔ)這三大基礎(chǔ)組件,但是對(duì)于組件的呈現(xiàn)形態(tài),以及控制方式有了很大的變化,即軟件定義的數(shù)據(jù)中心(Software Defined Data Center,簡(jiǎn)稱(chēng)SDDC)。SDDC可以視為私有云的云計(jì)算平臺(tái)的最佳落地方式,而軟件定義的存儲(chǔ)(Software Defined Storage,簡(jiǎn)稱(chēng)SDS)是其中的重要組成部分。實(shí)際上可以說(shuō):軟件定義,為云而生。
圖2傳統(tǒng)數(shù)據(jù)中心拓補(bǔ)圖
結(jié)合NIST對(duì)云計(jì)算的定義可知,云計(jì)算對(duì)于新一代存儲(chǔ)提出了如下要求:存儲(chǔ)即服務(wù)(Storage as a Service),存儲(chǔ)資源池化,能夠快速而彈性地部署存儲(chǔ)資源,存儲(chǔ)資源可以按量計(jì)費(fèi)。而這些要求,剛好與軟件定義存儲(chǔ)的特征十分吻合。云計(jì)算時(shí)代所需要的企業(yè)級(jí)存儲(chǔ),即軟件定義存儲(chǔ),當(dāng)今IT正在逐漸踏入軟件定義的世界。
2011年8月21日,Netscape創(chuàng)始人馬克·安德森在華爾街日?qǐng)?bào)上發(fā)表《軟件正在吞噬整個(gè)世界》,認(rèn)為當(dāng)今的軟件應(yīng)用無(wú)所不在,并且正在吞噬整個(gè)世界: “越來(lái)越多的大型企業(yè)及行業(yè)將離不開(kāi)軟件,網(wǎng)絡(luò)服務(wù)將無(wú)所不在,從電影、農(nóng)業(yè)到國(guó)防。許多贏(yíng)家將是硅谷式的創(chuàng)新科技公司,它們侵入并推翻了已經(jīng)建立起來(lái)的行業(yè)結(jié)構(gòu)。未來(lái)十年,我預(yù)計(jì)將有更多的行業(yè)被軟件所瓦解”。安德森以亞馬遜顛覆圖書(shū)零售巨頭Borders(已于2011年2月破產(chǎn))、Netflix顛覆視頻行業(yè)、蘋(píng)果顛覆音樂(lè)行業(yè)、Skype顛覆電信行業(yè)、LinkedIn顛覆招聘、PayPal顛覆支付等為例,指出基于互聯(lián)網(wǎng)的服務(wù)將讓新創(chuàng)建全球性軟件初創(chuàng)公司變得容易。時(shí)至今日,新的顛覆仍然不斷出現(xiàn),例如Uber顛覆出租車(chē)行業(yè),Airbnb顛覆住宿業(yè)。
中國(guó)也是如此,包括BAT(百度阿里騰訊)、京東、滴滴、美團(tuán)、大眾點(diǎn)評(píng)、小米、去哪兒、餓了嗎等互聯(lián)網(wǎng)公司在內(nèi)的軟件公司,深刻地影響了我們每一個(gè)人的生活,也已經(jīng)或正在逐步地顛覆著教育、零售、金融、通信、交通、物流、醫(yī)療等行業(yè)。
2013年10月Gartner發(fā)布的2014年十大戰(zhàn)略技術(shù)中,重要的組成部分就有:軟件定義一切。Gartner認(rèn)為:軟件定義一切囊括了在基礎(chǔ)設(shè)施可編程性標(biāo)準(zhǔn)提升下不斷增長(zhǎng)的市場(chǎng)勢(shì)頭,由云計(jì)算內(nèi)在自動(dòng)化驅(qū)動(dòng)的數(shù)據(jù)中心互通性,DevOps和快速的基礎(chǔ)設(shè)施提供等。軟件定義一切還包括各種舉措,如OpenStack、Open Flow、Open Compute Project和Open Rack,共享相同的愿景。開(kāi)放性將成為供應(yīng)商的目標(biāo),SDN(網(wǎng)絡(luò))、SDDC(數(shù)據(jù)中心)、SDS(存儲(chǔ))和SDI(基礎(chǔ)架構(gòu))技術(shù)的供應(yīng)商都力圖成為所在領(lǐng)域的領(lǐng)導(dǎo)。
2012年8月,VMware在其VMworld 2012大會(huì)上首次提出軟件定義數(shù)據(jù)中心(SDDC)的概念[4]。
圖3VMware首次提出軟件定義的數(shù)據(jù)中心
如圖3所示,VMware認(rèn)為,軟件定義的數(shù)據(jù)中心,是 IT 演變的下一個(gè)階段,是迄今為止最有效、恢復(fù)能力最強(qiáng)和最經(jīng)濟(jì)高效的云計(jì)算基礎(chǔ)架構(gòu)方法。SDDC方法論將對(duì)存儲(chǔ)、網(wǎng)絡(luò)連接、安全和可用性應(yīng)用抽象、池化和自動(dòng)化,整個(gè)數(shù)據(jù)中心由軟件自動(dòng)控制?;A(chǔ)架構(gòu)提供的服務(wù)將聚合起來(lái),并與基于策略的智能調(diào)配、自動(dòng)化和監(jiān)控功能結(jié)合在一起使用。應(yīng)用編程接口和其它連接器支持無(wú)縫延展到私有云、混合云和公有云平臺(tái)。SDDC概念的核心包括:1)軟件定義的數(shù)據(jù)中心由軟件自動(dòng)控制;2)軟件定義包括三個(gè)階段:抽象、池化和自動(dòng)化;3)軟件定義的數(shù)據(jù)中心包括五大組成部分:計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、管理和安全。
它與傳統(tǒng)的數(shù)據(jù)中心的最大的不同在于:SDDC旗幟鮮明地提出了數(shù)據(jù)中心由軟件自動(dòng)控制。在傳統(tǒng)的數(shù)據(jù)中心里,用戶(hù)的IT基礎(chǔ)架構(gòu)是“煙囪式”的,或稱(chēng)“豎井式"的,如圖4所示。傳統(tǒng)的數(shù)據(jù)中心里,通常一個(gè)業(yè)務(wù)應(yīng)用需要配備一套系統(tǒng),包含計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等IT基礎(chǔ)架構(gòu)的各個(gè)組件。這種模式普遍存在如下問(wèn)題:
(一)初次采購(gòu)浪費(fèi)較嚴(yán)重
一般需要考慮新應(yīng)用未來(lái)3~5年,甚至更長(zhǎng)時(shí)間,以及最高負(fù)載時(shí)對(duì)系統(tǒng)資源的需求,往往會(huì)在初次采購(gòu)時(shí),選擇高出實(shí)際需求許多的硬件規(guī)格。而實(shí)際上新應(yīng)用上線(xiàn)后的很長(zhǎng)時(shí)間,負(fù)載需求都遠(yuǎn)低于初次采購(gòu)的硬件規(guī)格,硬件利用率低,造成了很大的浪費(fèi)。并且,硬件的發(fā)展速度日新月異,相同的硬件配置幾年后成本會(huì)降低不少,很難做到按需購(gòu)買(mǎi)。
(二)難以共享使用
傳統(tǒng)模式下,每一個(gè)業(yè)務(wù)應(yīng)用有自己專(zhuān)屬的IT系統(tǒng),即使某些應(yīng)用在某一時(shí)段,所需資源遠(yuǎn)低于其硬件配置能提供的,也無(wú)法共享給其它應(yīng)用使用。這樣,整體資源利用率都比較低下,而且占用過(guò)多的空間和能源。隨著應(yīng)用系統(tǒng)的增多或者應(yīng)用的規(guī)模迅速增大,擴(kuò)展性和可管理性都面臨巨大的挑戰(zhàn)。
(三)難以即刻交付
新上線(xiàn)的業(yè)務(wù)應(yīng)用,經(jīng)過(guò)調(diào)查需求、申請(qǐng)購(gòu)買(mǎi)軟硬件設(shè)備、批復(fù)、采購(gòu)、安裝、部署等多個(gè)環(huán)節(jié),通常需要幾個(gè)星期、幾個(gè)月、甚至半年以上的時(shí)間周期。
圖4傳統(tǒng)的數(shù)據(jù)中心 - 煙囪式或豎井式
然而,軟件定義的數(shù)據(jù)中心(SDDC),通過(guò)抽象、池化,將計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)都聚合成資源池,能夠按需分配,靈活擴(kuò)展,也能在資源使用停止后進(jìn)行回收。再通過(guò)自動(dòng)化,即可實(shí)現(xiàn)按照用戶(hù)對(duì)服務(wù)水平的要求(類(lèi)似QoS),動(dòng)態(tài)地,即刻地交付新上線(xiàn)業(yè)務(wù)的資源。將資源的分配和部署從原來(lái)幾十天,縮短到幾十分鐘,甚至幾分鐘。
軟件定義的存儲(chǔ)(SDS)是一個(gè)不斷進(jìn)化的概念,在現(xiàn)階段看來(lái),SDS是指存儲(chǔ)資源由軟件自動(dòng)控制,通過(guò)抽象、池化和自動(dòng)化,將標(biāo)準(zhǔn)服務(wù)器內(nèi)置存儲(chǔ)、外置存儲(chǔ)甚至云存儲(chǔ)等存儲(chǔ)資源整合起來(lái),實(shí)現(xiàn)基于策略驅(qū)動(dòng)的部署、變更、管理和監(jiān)控,最終達(dá)到存儲(chǔ)即服務(wù)的目標(biāo)。不過(guò),截止目前為止,對(duì)于SDS尚未出現(xiàn)一個(gè)被大多數(shù)人員或機(jī)構(gòu)所認(rèn)可的定義。
(1)VMware對(duì)SDS的定義
作為VMware軟件定義數(shù)據(jù)中心五大組成部分之一,軟件定義存儲(chǔ)(Software Defined Storage,簡(jiǎn)稱(chēng)SDS)的概念在2012年8月,也在全球范圍內(nèi),首次被提出。VMware認(rèn)為:軟件定義的存儲(chǔ)是將工業(yè)標(biāo)準(zhǔn)服務(wù)器的存儲(chǔ)提供出來(lái)并通過(guò)軟件控制層面實(shí)現(xiàn)存儲(chǔ)的自動(dòng)化和池化。它將存儲(chǔ)的置備和管理的方法簡(jiǎn)化到了極致,并利用工業(yè)標(biāo)準(zhǔn)服務(wù)器的存儲(chǔ)大大降低了成本[5]。
VMware的軟件定義存儲(chǔ)主要分為兩大部分,如圖5所示。
圖5VMware 的SDS 定義
1) 控制平面,即Storage Policy Based Management(基于存儲(chǔ)策略的管理),簡(jiǎn)稱(chēng)SPBM。
2) 數(shù)據(jù)平面,即Virtual Data Services。分別有三個(gè)子類(lèi)構(gòu)成:Virtual SAN,Virtual Volumes和Cloud/Object Storage。
(2)SNIA對(duì)SDS的定義
全球網(wǎng)絡(luò)存儲(chǔ)工業(yè)協(xié)會(huì)SNIA(Storage Networking Industry Association)在SDS的定義中提到,SDS允許異構(gòu)的或者專(zhuān)有的平臺(tái)。必須滿(mǎn)足的是,這個(gè)平臺(tái)能夠提供部署和管理其虛擬存儲(chǔ)空間的自助服務(wù)接口。除此之外,SDS應(yīng)該包括:
·自動(dòng)化-簡(jiǎn)化管理,降低維護(hù)存儲(chǔ)架構(gòu)的成本;
·標(biāo)準(zhǔn)接口-提供應(yīng)用編程接口,用于管理、部署和維護(hù)存儲(chǔ)設(shè)備和存儲(chǔ)服務(wù);
·虛擬數(shù)據(jù)路徑-提供塊、文件和對(duì)象的接口,支持應(yīng)用通過(guò)這些接口寫(xiě)入數(shù)據(jù);
·擴(kuò)展性-無(wú)需中斷應(yīng)用,也能提供可靠性和性能的無(wú)縫擴(kuò)展;
·透明性-提供存儲(chǔ)消費(fèi)者對(duì)存儲(chǔ)使用狀況及成本的監(jiān)控和管理。
SNIA認(rèn)為,存儲(chǔ)服務(wù)的接口需要允許數(shù)據(jù)擁有者(存儲(chǔ)用戶(hù))同時(shí)表達(dá)對(duì)于數(shù)據(jù)和所需服務(wù)水準(zhǔn)的需求。數(shù)據(jù)的需求,就是SDS建立在數(shù)據(jù)路徑(Data Path)的虛擬化,而控制路徑(Control Path)也需要被抽象化成為存儲(chǔ)服務(wù)。云數(shù)據(jù)中心和存儲(chǔ)系統(tǒng),或者數(shù)據(jù)管理員能夠被用于部署這個(gè)服務(wù)(指Control Path)。
在SNIA對(duì)SDS的定義中,貢獻(xiàn)最大,也是最有價(jià)值的部分,應(yīng)該是SNIA關(guān)于Data Path(數(shù)據(jù)路徑)和Control Path(控制路徑),以及手動(dòng)傳送數(shù)據(jù)請(qǐng)求和應(yīng)用通過(guò)元數(shù)據(jù)來(lái)傳送請(qǐng)求的對(duì)比描述。這有助于清晰地了解兩者的區(qū)別,并描繪了未來(lái)理想的SDS的藍(lán)圖,為如何發(fā)展SDS指明了方向。
SDS包括數(shù)據(jù)路徑和控制路徑。數(shù)據(jù)路徑由以往的標(biāo)準(zhǔn)接口(塊、文件和對(duì)象)組成??刂坡窂皆趥鹘y(tǒng)存儲(chǔ)中,是指存儲(chǔ)管理員為數(shù)據(jù)提供部署數(shù)據(jù)的服務(wù)。在使用傳統(tǒng)存儲(chǔ)的大多數(shù)情況下,每一個(gè)數(shù)據(jù)服務(wù)有著各自的管理接口。變更數(shù)據(jù)服務(wù),會(huì)導(dǎo)致所有存放在相應(yīng)虛擬存儲(chǔ)空間的數(shù)據(jù)都受到影響。
i)傳統(tǒng)方式下傳遞數(shù)據(jù)請(qǐng)求的方式
圖6SNIA 傳統(tǒng)方式下傳遞數(shù)據(jù)請(qǐng)求
如圖6所示,存儲(chǔ)用戶(hù)的控制路徑是在帶外,通過(guò)傳統(tǒng)、人工的方式將數(shù)據(jù)請(qǐng)求傳遞給存儲(chǔ)管理員,例如對(duì)于數(shù)據(jù)保護(hù)、可用性、性能、安全性的要求。存儲(chǔ)管理員進(jìn)入存儲(chǔ)管理界面,按存儲(chǔ)用戶(hù)的請(qǐng)求分配存儲(chǔ)資源。這種情況是當(dāng)前普遍存在的主流方式。其實(shí)是:存儲(chǔ)管理員定義。這種存儲(chǔ)部署方式存在一個(gè)最大的問(wèn)題,擴(kuò)容或升級(jí)非常艱難。由于剛性架構(gòu)限制系統(tǒng)資源只能靜態(tài)分配,這就意味著后續(xù)新部署的資源難以歸入原先存儲(chǔ)體系。
ii)理想方式下傳遞數(shù)據(jù)請(qǐng)求的方式
圖7SNIA 理想方式下傳遞數(shù)據(jù)請(qǐng)求
如圖7所示,理想的SDS,其傳遞數(shù)據(jù)請(qǐng)求的方式是:讓?xiě)?yīng)用通過(guò)元數(shù)據(jù)來(lái)請(qǐng)求相應(yīng)的數(shù)據(jù)服務(wù)。如:空間部署,數(shù)據(jù)保護(hù)(快照、克隆),數(shù)據(jù)高可用(容災(zāi)、雙活),性能,安全等。理想的SDS實(shí)現(xiàn)了存儲(chǔ)基礎(chǔ)架構(gòu)的自動(dòng)化機(jī)制,極大地降低了人工管理運(yùn)維成本,數(shù)據(jù)請(qǐng)求需直接傳達(dá)至自動(dòng)化軟件。它能夠直接應(yīng)對(duì)請(qǐng)求,分配應(yīng)用人員所需的存儲(chǔ)資源,而無(wú)需人工干預(yù)。存儲(chǔ)管理員可以從枯燥重復(fù)的建卷、映射卷等工作中,從疲于修補(bǔ)那些導(dǎo)致存儲(chǔ)服務(wù)水準(zhǔn)降低的突發(fā)故障中脫身出來(lái),轉(zhuǎn)向更高級(jí)的任務(wù),例如定義存儲(chǔ)策略。
iii)SNIA之SDS全局示意圖
圖8為SNIA關(guān)于理想的SDS的全局示意圖,很好的概括了未來(lái)理想的SDS所涵蓋的各個(gè)方面。(1)存儲(chǔ)管理。將來(lái)自服務(wù)器本地的閃存盤(pán)、機(jī)械盤(pán)、存儲(chǔ)陣列、JBOD等存儲(chǔ)資源,通過(guò)存儲(chǔ)管理協(xié)議(如SMI-S等),進(jìn)行特性描述和虛擬化,構(gòu)建出存儲(chǔ)資源池。(2)數(shù)據(jù)服務(wù)。存儲(chǔ)資源池化后,數(shù)據(jù)服務(wù)即可按照用戶(hù)對(duì)存儲(chǔ)服務(wù)級(jí)別(如金銀銅)的要求提供。數(shù)據(jù)服務(wù)包含:空間部署、數(shù)據(jù)保護(hù)、數(shù)據(jù)可用性、性能、數(shù)據(jù)安全性。(3)數(shù)據(jù)請(qǐng)求。存儲(chǔ)資源的使用者,如軟件開(kāi)發(fā)人員通過(guò)數(shù)據(jù)管理接口(如CDMI),向SDS發(fā)起數(shù)據(jù)請(qǐng)求。由于SDS開(kāi)放了豐富的API供調(diào)用,因此SDS能夠滿(mǎn)足用戶(hù)的數(shù)據(jù)請(qǐng)求,按照服務(wù)級(jí)別,提供相應(yīng)的存儲(chǔ)資源。
圖8SNIA之SDS全局示意圖
除了VMware、SNIA之外,Gartner、IDC,以及EMC、IBM、HP、DELL等,都提出了各自對(duì)SDS的定義或闡述。雖然對(duì)SDS的定義各有不同,但易于擴(kuò)展(主要指在線(xiàn)橫向擴(kuò)展)、自動(dòng)化、基于策略或者應(yīng)用的驅(qū)動(dòng)都幾乎成為大家定義中的必備特征。而這也是軟件定義數(shù)據(jù)中心的重要特征,只有具備自動(dòng)化的能力,才能實(shí)現(xiàn)敏捷交付,簡(jiǎn)單管理,節(jié)省部署和運(yùn)維成本。自動(dòng)化也成為各家SDS方案是否愿意走向更高階段的試金石。
(3)筆者對(duì)SDS的定義
筆者不揣淺陋,嘗試著作出了如下定義[7]:軟件定義的存儲(chǔ)(SDS),是指存儲(chǔ)資源由軟件自動(dòng)控制,通過(guò)抽象、池化和自動(dòng)化,將標(biāo)準(zhǔn)服務(wù)器內(nèi)置存儲(chǔ)、直連存儲(chǔ)、外置存儲(chǔ)或云存儲(chǔ)等存儲(chǔ)資源整合起來(lái),實(shí)現(xiàn)應(yīng)用感知,或者基于策略驅(qū)動(dòng)的部署、變更和管理,最終達(dá)到存儲(chǔ)即服務(wù)的目標(biāo)。
軟件定義存儲(chǔ)的概念很大,筆者試著將SDS分兩大類(lèi):控制平面和數(shù)據(jù)平面,如圖9。
圖9SDS的分類(lèi)
i)Control Plane (控制平面)
SDS的Control Plane(控制平面)所做的事情,就是將以往通過(guò)存儲(chǔ)管理員傳送的數(shù)據(jù)請(qǐng)求,轉(zhuǎn)為由軟件來(lái)處理。簡(jiǎn)而言之,控制平面負(fù)責(zé)存儲(chǔ)資源的部署和管理,它包括分發(fā)數(shù)據(jù)請(qǐng)求(也即存儲(chǔ)策略驅(qū)動(dòng)),控制數(shù)據(jù)流向,完成數(shù)據(jù)的部署、管理和保護(hù),從而增加了存儲(chǔ)的靈活性、擴(kuò)展性和自動(dòng)化能力。
在SDS Control Plane這一層,比較著名的有:
1.VMware SPBM (Storage Policy Base Management, 基于存儲(chǔ)策略的管理);
2.OpenStack Cinder。Cinder是OpenStack云平臺(tái)的一個(gè)組件,用來(lái)提供塊存儲(chǔ)服務(wù);
3.EMC ViPR。目標(biāo)是實(shí)現(xiàn)EMC存儲(chǔ)、異構(gòu)存儲(chǔ)、商用硬件本地存儲(chǔ)資源的存儲(chǔ)虛擬化(包括互操作性);
4.先智數(shù)據(jù)(ProphetStor)的Federator;
5.還有其它一些產(chǎn)品。
衡量產(chǎn)品是否屬于控制平面這個(gè)分類(lèi),關(guān)鍵在于它是否能驅(qū)動(dòng)底層存儲(chǔ)資源的部署,并調(diào)用底層存儲(chǔ)的數(shù)據(jù)服務(wù)(也即存儲(chǔ)功能)。VMware SPBM、OpenStack Cinder、EMC ViPR和ProphetStor的Federator都能做到。
ii)Data Plane (數(shù)據(jù)平面)
SDS的Data Plane(控制平面)所做的事情,就是所謂的Data Service(數(shù)據(jù)服務(wù))之類(lèi)的存儲(chǔ)功能,由它來(lái)完成數(shù)據(jù)的處理和優(yōu)化。這里面包含了很多的內(nèi)容,包括分級(jí)、快照、去重、壓縮等。需要注意的是,控制平面和數(shù)據(jù)平面并不是涇渭分明的,隨著技術(shù)的發(fā)展,控制平面的功能會(huì)逐漸從數(shù)據(jù)平面中逐漸解耦、抽取出來(lái),進(jìn)一步增強(qiáng)它的功能。
在SDS數(shù)據(jù)平面這一層,老牌存儲(chǔ)廠(chǎng)商和初創(chuàng)存儲(chǔ)廠(chǎng)商的類(lèi)型和數(shù)量非常多,構(gòu)成也比較復(fù)雜。筆者試著將數(shù)據(jù)平面分為:
1) Based on Commodity Hardware (基于商用的硬件)
基于商用的硬件(Based on Commodity Hardware)是最難分類(lèi)的,種類(lèi)繁多,命名還不容易。首先,它包括了IDC分類(lèi)中Virtual Storage Appliance(簡(jiǎn)稱(chēng)VSA,存儲(chǔ)控制器運(yùn)行在虛機(jī)上)和Physical Storage Appliance兩類(lèi)。筆者認(rèn)為,控制平面與數(shù)據(jù)平面的分離之意義大于硬件與軟件的分離,部署方式的這兩種不同,并沒(méi)有帶來(lái)本質(zhì)的差異。舉例來(lái)說(shuō),分布式文件系統(tǒng)VSAN FS(VSAN File System)之于EVO:RAIL或EMC VxRail,或NDFS(Nutanix Distributed File System)之于Nutanix一體機(jī),差別主要在于是否與硬件捆綁。
Server SAN屬于這個(gè)子類(lèi)。Server SAN在它的原始定義里,是一個(gè)Hyperscale(橫向擴(kuò)展)的分布式存儲(chǔ)。筆者認(rèn)為Server SAN既然是SAN的一種,它還需要支持Block(塊)的訪(fǎng)問(wèn)方式,或者對(duì)外(如iSCSI),或者對(duì)內(nèi)。Server SAN在它的原始定義里,應(yīng)該是一個(gè)橫向擴(kuò)展的分布式存儲(chǔ),它至少需要支持3個(gè)以上節(jié)點(diǎn)。這樣,對(duì)于那些僅支持兩個(gè)控制器做為集群的存儲(chǔ),就不在Server SAN這個(gè)分類(lèi)里了。需要注意的是,有些Server SAN 支持融合模式和分離模式兩種部署方式,例如EMC ScaleIO和華為Fusion Storage。后面提到的超融合架構(gòu)僅指該存儲(chǔ)在融合模式下。下面以EMC ScaleIO為例,簡(jiǎn)要介紹融合模式和分離模式。
a)分離模式,計(jì)算資源和存儲(chǔ)資源分開(kāi),存儲(chǔ)服務(wù)器不運(yùn)行應(yīng)用程序。
如圖10的EMC ScaleIO選擇單獨(dú)的存儲(chǔ)服務(wù)器作為存儲(chǔ)集群,運(yùn)行ScaleIO分布式塊存儲(chǔ)軟件[8]。
b)融合模式,計(jì)算資源和存儲(chǔ)資源在一起,存儲(chǔ)服務(wù)器同時(shí)運(yùn)行應(yīng)用程序。
如圖11的EMC ScaleIO集群里,服務(wù)器運(yùn)行應(yīng)用程序,同時(shí)運(yùn)行ScaleIO分布式塊存儲(chǔ)軟件。
圖10 EMC ScaleIO 分離模式
圖11EMC ScaleIO 融合模式
HCI(超融合架構(gòu))屬于Server SAN的一種,它不僅提供存儲(chǔ)資源,還提供計(jì)算資源。HCI比較著名的產(chǎn)品有:Nutanix、VMware VSAN或EVO:RAIL或EMC VxRail、融合模式下的EMC ScaleIO、HP StoreVirtual、思科HyperFlex、聯(lián)想ThinkCloud AIO、SimpliVity、Scale Computing、Pivot3、Maxta;國(guó)內(nèi)有:融合模式下的華為FusionStorage、華三 UIS、青云HCI一體機(jī)、志凌海納SmartX、深信服HCI、愛(ài)數(shù)AnyVM、領(lǐng)航盛輝ZettaKit、杉巖、鵬云網(wǎng)絡(luò)、凱翔;開(kāi)源的有Open vStorage(類(lèi)似Nutanix架構(gòu))。不過(guò),由于HCI(以及應(yīng)用一體機(jī))還提供了計(jì)算資源,把它歸類(lèi)為存儲(chǔ)這個(gè)大類(lèi),并不完全準(zhǔn)確。但為了容易理解,本文在分類(lèi)時(shí),暫且只考慮它的存儲(chǔ)屬性。
而屬于Server SAN,但不屬于HCI的,指的就是節(jié)點(diǎn)只提供存儲(chǔ)資源,不提供計(jì)算資源。這里還包括利用商用的標(biāo)準(zhǔn)硬件實(shí)現(xiàn)存儲(chǔ)虛擬化的產(chǎn)品。這類(lèi)產(chǎn)品有:分離模式下的EMC ScaleIO和華為FusionStorage、Ceph、DELL Fluid Cache、Microsoft Storage Spaces、達(dá)沃時(shí)代YeeStor、華云網(wǎng)際FusionStor等;一些基于分布式文件系統(tǒng)衍生出來(lái)的存儲(chǔ),如基于GlusterFS衍生出來(lái)的存儲(chǔ)。
僅支持兩個(gè)控制器做為集群的存儲(chǔ),雖然不在Server SAN這個(gè)分類(lèi)里,但它支持商用的硬件,如果還支持被控制平面的產(chǎn)品驅(qū)動(dòng)調(diào)用,依然屬于軟件定義存儲(chǔ)這個(gè)大的分類(lèi)里。這類(lèi)存儲(chǔ)有:Nexenta,以及其它由Solaris ZFS衍生出來(lái)的存儲(chǔ),如開(kāi)源的FreeNAS。
另外還有一些存儲(chǔ)虛擬化的專(zhuān)業(yè)產(chǎn)品,主要實(shí)現(xiàn)的是將異構(gòu)存儲(chǔ)統(tǒng)一管理起來(lái),例如飛康Freestor、EMC VPlex、IBM SVC是其中的佼佼者,其他還有DataCore、信核等。
注意在Server SAN這個(gè)分類(lèi)里,不包括傳統(tǒng)的外置磁盤(pán)陣列。此外,商用的硬件,并不只有X86服務(wù)器,也包括ARM等其它架構(gòu)的服務(wù)器。
2) Traditional SAN/NAS(External Storage)
指的是傳統(tǒng)的外置磁盤(pán)陣列,包括SAN存儲(chǔ)或者NAS存儲(chǔ)。例如:EMC VNX,NetApp FAS系列,HDS HUS,DELL SC系列和PS系列,HP 3PAR,IBM V系列和DS系列;國(guó)內(nèi)的有華為OceanStor系列、宏杉存儲(chǔ)等。這些存儲(chǔ)勁旅,不甘人后,也紛紛加入到SDS浪潮里,采取的方式有:
一是與Control Plane更多的API對(duì)接,例如,支持VMware SPBM之下的Virtual Volumes,或者支持OpenStack Cinder(可查詢(xún)https://wiki.openstack.org/wiki/CinderSupportMatrix 獲得)等??紤]到目前VMware SPBM的技術(shù)先進(jìn)性和豐富性,存儲(chǔ)廠(chǎng)商與VMware SPBM對(duì)接,也即支持VMware的Virtual Volumes應(yīng)當(dāng)是首選。
二是通過(guò)收購(gòu)或自己研發(fā),去逐步實(shí)現(xiàn)SDS抽象(解耦)、池化、自動(dòng)化的階段,典型的就有HP將LeftHand與原有硬件解耦,形成VSA版StorVirtual;NetApp推出Data ONTAP的VSA版ONTAP Edge VSA;IBM推出XIV的軟件版Spectrum Accelerate;EMC推出VNX的虛擬化版本,也即vVNX等。另外,DELL的Fluid Cache脫胎于之前收購(gòu)的內(nèi)存虛擬化軟件RNA,本身已經(jīng)具備抽象池化的SDS基因。
相信隨著SDS浪潮的到來(lái),會(huì)有越來(lái)越多的傳統(tǒng)大牌存儲(chǔ)支持與控制平面對(duì)接或者推出類(lèi)似的方案。
3) Cloud/Object Storage
它作為Data Plane的組成部分,實(shí)際上是以后端存儲(chǔ)的身份為VM/App提供存儲(chǔ)資源。VM/App可以通過(guò)RESTful API等接口與對(duì)象存儲(chǔ)進(jìn)行數(shù)據(jù)的輸入輸出,目前有三種RESTful API:亞馬遜S3、SNIA CDMI和OpenStack SWIFT。
從云存儲(chǔ)來(lái)看,隨著混合云的逐漸深入,用戶(hù)自然會(huì)期待在自己的私有云和公有云之間,能夠?qū)崿F(xiàn)除了在VM/App級(jí)別,還能在存儲(chǔ)級(jí)別,也能實(shí)現(xiàn)如同本地?cái)?shù)據(jù)中心之間的同構(gòu)存儲(chǔ)之間的高級(jí)功能,例如備份、歸檔和容災(zāi)。此時(shí),運(yùn)行在公有云之上的VSA,也即虛擬存儲(chǔ)控制器(其實(shí)與在Hypervisor之上的VSA相類(lèi)似),即可與本地存儲(chǔ)建立數(shù)據(jù)連接。
以NetApp的Cloud ONTAP為例。它是在A(yíng)WS EC2的實(shí)例中運(yùn)行Data ONTAP(FAS存儲(chǔ)的操作系統(tǒng))軟件,充當(dāng)虛擬存儲(chǔ)控制器,對(duì)下接管AWS EBS作為自己的存儲(chǔ)空間,對(duì)上給運(yùn)行業(yè)務(wù)應(yīng)用的EC2實(shí)例提供存儲(chǔ)服務(wù),包括塊(iSCSI)和文件(NFS、CIFS)。把NetApp的FAS存儲(chǔ)直接放到AWS或Microsoft Azure里去,是不太現(xiàn)實(shí)的。但NetApp可以通過(guò)軟件定義的方法,把存儲(chǔ)控制器做成虛機(jī),后端磁盤(pán)柜換成塊存儲(chǔ)服務(wù)(AWS EBS),為業(yè)務(wù)虛機(jī)提供專(zhuān)業(yè)的、高級(jí)的存儲(chǔ)服務(wù)。類(lèi)似的還有SoftNAS,也是以虛機(jī)方式運(yùn)行在A(yíng)WS EC2實(shí)例上,可以為運(yùn)行業(yè)務(wù)應(yīng)用的EC2實(shí)例提供包括塊(iSCSI)和文件(NFS、CIFS)的存儲(chǔ)服務(wù)。
4) 其它
被OpenStack Cinder驅(qū)動(dòng)的是塊存儲(chǔ)。實(shí)際上,業(yè)務(wù)或應(yīng)用軟件可以通過(guò)RESTful API驅(qū)動(dòng)Openstack Swift,這個(gè)Swift就是分布式對(duì)象存儲(chǔ),可以把它視為可被應(yīng)用軟件定義的存儲(chǔ)。Swift除了使用X86服務(wù)器之外,還可以采用ARM等架構(gòu)的服務(wù)器。在國(guó)內(nèi),初創(chuàng)公司北京優(yōu)立方就推出了基于A(yíng)RM的服務(wù)器,并基于A(yíng)RM服務(wù)器研制出功耗低、靈活高效的冷存儲(chǔ)。冷存儲(chǔ)的出現(xiàn),也是源于數(shù)據(jù)迅猛增長(zhǎng),據(jù)統(tǒng)計(jì),冷數(shù)據(jù)一般占數(shù)據(jù)總量的80%以上。冷存儲(chǔ)適用于包含備份、存檔、災(zāi)難恢復(fù)和圖片、文檔、音頻、視頻及社交媒體等,這些場(chǎng)景有著類(lèi)似的特征:較低的數(shù)據(jù)訪(fǎng)問(wèn)頻率,而且需要最大限度地降低每一GB存儲(chǔ)數(shù)據(jù)的成本。
人類(lèi)各項(xiàng)發(fā)明、創(chuàng)新,大多都是為了更加的高效、方便、靈活,并且節(jié)省成本。例如,從種植業(yè)、畜牧業(yè)的出現(xiàn),到蒸汽機(jī)的發(fā)明,到自來(lái)水、集中供電的出現(xiàn),再到互聯(lián)網(wǎng)的出現(xiàn)(信息傳遞更快更高效,更省成本),無(wú)一不是如此。IT也不例外,存儲(chǔ)也不例外。伴隨著需求,還有兩大背景:一是隨著個(gè)性化、物聯(lián)網(wǎng)、萬(wàn)聯(lián)網(wǎng)的發(fā)展,數(shù)據(jù)以前所未有的速度迅猛增長(zhǎng);2014年4月,IDC發(fā)現(xiàn)數(shù)據(jù)的增長(zhǎng)超過(guò)其在2012年的預(yù)期,預(yù)計(jì)2020年將達(dá)44ZB的數(shù)據(jù)量。因此,數(shù)據(jù)需要更高效,更省成本的方式存放。二是虛擬化、云計(jì)算和硬件技術(shù)的發(fā)展,使得軟件定義成為可能。隨著虛擬化和云計(jì)算的普及,用戶(hù)的思維方式也發(fā)生了轉(zhuǎn)變,逐漸意識(shí)到,快速、敏捷、靈活地獲取計(jì)算資源已經(jīng)成為可能,并且逐漸要求能按需使用,按需付費(fèi)。因此,做為虛擬化和云計(jì)算里重要的組成部分,存儲(chǔ)也應(yīng)適應(yīng)新的需求而不斷完善,做到存儲(chǔ)即服務(wù),實(shí)現(xiàn)快速交付,動(dòng)態(tài)調(diào)整。
下面剖析一下,是哪些技術(shù)的發(fā)展,使得SDS,尤其是SDS的重要組成部分Server SAN在未來(lái)5年內(nèi)會(huì)成為主流?
二三十年前,CPU的處理能力較弱,內(nèi)存較小,單塊磁盤(pán)的性能和容量都較小。為了不搶占寶貴的CPU和內(nèi)存資源,也為了提高數(shù)據(jù)的性能、可靠性(如RAID保護(hù))、可用性(如快照,容災(zāi),雙活等)、擴(kuò)展性,以及提供方便易用的集中管理,誕生了外置磁盤(pán)陣列(也叫集中存儲(chǔ)),陣列本身自帶智能控制器,能夠組織管理數(shù)據(jù),并提供快照、容災(zāi)等高級(jí)的軟件功能。有些高端存儲(chǔ)甚至能在一個(gè)單一陣列里提供1000乃至數(shù)千塊盤(pán),如EMC VMAX,HDS VSP和華為OceanStor等。
然而,近幾年來(lái),新的技術(shù)顯著地改變了存儲(chǔ)架構(gòu)。包括:
(1)SSD
SSD的延時(shí)從磁盤(pán)的毫秒級(jí)縮短到亞毫秒級(jí)(0.1毫秒),讀寫(xiě)性能從單塊15K(1萬(wàn)5千轉(zhuǎn))磁盤(pán)的180 IOPS,猛增到單塊SSD的8000 IOPS(當(dāng)SSD內(nèi)嵌在外置磁盤(pán)陣列里),甚至到單塊SSD的36000 IOPS(內(nèi)嵌在服務(wù)器里的SAS或SAT接口的SSD,或者PCIe SSD);閃存價(jià)格的下降速度比硬盤(pán)更快,根據(jù)IDC預(yù)測(cè),兩者價(jià)格曲線(xiàn)將于2015至2017年出現(xiàn)交叉,屆時(shí)單位GB的SSD的價(jià)格甚至低于單位GB的15K磁盤(pán)的價(jià)格。
2014年4月,SanDisk發(fā)布世界上第一款4TB SSD,并計(jì)劃2015年發(fā)布8TB,2016年發(fā)布16TB SSD。2015年3月,SanDisk推出的InfiniFlash全閃存陣列里內(nèi)置了64個(gè)單卡容量達(dá)8TB的閃存卡。2015年3月,在美國(guó)2015 OCP峰會(huì)上,來(lái)自中國(guó)的初創(chuàng)公司NetBric全閃存陣列也是內(nèi)置了8TB閃存卡,每個(gè)陣列共64個(gè)。2015年08月,三星在閃存峰會(huì)上公布世界容量最大的2.5英寸SSD盤(pán):16TB SSD PM1633a。相比之下,當(dāng)時(shí)希捷或西部數(shù)據(jù)制造的容量最大的機(jī)械硬盤(pán)只有8TB或10TB。2015年9月,東芝在IFA2015(柏林國(guó)際消費(fèi)電子展)宣布,2018年將推出128TB SSD。如圖12所示[9],東芝計(jì)劃在2016年推出32TB,2017年推出64TB。而HDD硬盤(pán)在2020也只有20-40TB??梢詳喽ǎ琒SD的發(fā)展遠(yuǎn)遠(yuǎn)快于磁盤(pán)的發(fā)展。
圖12東芝在IFA2015宣布,2018年將推出128TB SSD
除了國(guó)外Intel、西部數(shù)據(jù)、Fusion-IO(2014年6月被SanDisk收購(gòu))、Micron、SanDisk(2015年10月被西部數(shù)據(jù)收購(gòu))、SamSung、Seagate、Toshiba、HGST(2011年3月被西部數(shù)據(jù)合并,2015年10月中國(guó)政府放行此次合并)、Greenliant(綠芯)等SSD廠(chǎng)商之外,中國(guó)也涌現(xiàn)出不少SSD廠(chǎng)商,除了華為自研SSD之外,還有MemBlaze(憶恒創(chuàng)源)、Shannon(中文名叫寶存,2015年4月被Silicon Motion公司收購(gòu))、RunCore(源科)、蘇州恒成芯興等SSD廠(chǎng)商。
(2)存儲(chǔ)控制器標(biāo)準(zhǔn)化
實(shí)際上,早在四、五年前甚至更早時(shí)期,各大外置磁盤(pán)陣列的存儲(chǔ)廠(chǎng)商的存儲(chǔ)控制器(包括EMC, IBM, DELL等)都已經(jīng)是X86架構(gòu),各個(gè)部件也都逐漸采用業(yè)界的標(biāo)準(zhǔn)硬件和標(biāo)準(zhǔn)服務(wù)器差別不大。因此硬件已經(jīng)趨于同質(zhì)化,存儲(chǔ)廠(chǎng)商也早已開(kāi)始比拼豐富的軟件功能。不過(guò),值得思考的是,即便是外置磁盤(pán)陣列的控制器,除了X86架構(gòu)之外,未來(lái)是不是會(huì)出現(xiàn)ARM架構(gòu)或者其它呢?
(3)CPU多核技術(shù)
服務(wù)器的CPU多核早已被業(yè)務(wù)應(yīng)用利用起來(lái),尤其在虛擬化環(huán)境里,多核處理器功不可沒(méi),既提高了處理器利用率,也提高了單臺(tái)服務(wù)器上用戶(hù)對(duì)更多I/O的需求,這其實(shí)也驅(qū)動(dòng)著底層存儲(chǔ)的變革。如前所述,絕大多數(shù)存儲(chǔ)控制器采用了X86架構(gòu),但真正利用其多核處理I/O,大約從最近三、四年才逐漸開(kāi)始。例如,DELL Compellent Storage Center 6.3在2012年11月推出多核技術(shù);EMC VNX 2在2013年9月推出MCx多核技術(shù);而作為純軟件方式的存儲(chǔ)Nexenta,也利用多核技術(shù)去實(shí)現(xiàn)其在線(xiàn)的壓縮功能;正是有了CPU多核的利用,分布式存儲(chǔ)才能在處理業(yè)務(wù)應(yīng)用之外,心有余力地去處理I/O,實(shí)現(xiàn)豐富多彩的軟件功能。
(4)高速網(wǎng)絡(luò)技術(shù)
分布式存儲(chǔ)借助于節(jié)點(diǎn)之間的緩存(用SSD存放)的同步復(fù)制來(lái)確保數(shù)據(jù)的冗余性,也得益于近些年來(lái)網(wǎng)絡(luò)的高速發(fā)展。通常推薦采用萬(wàn)兆網(wǎng)絡(luò),甚至有的采用四萬(wàn)兆(40GbE)的網(wǎng)絡(luò)。目前,萬(wàn)兆網(wǎng)絡(luò)的延遲非常小,大約在100 微秒左右,遠(yuǎn)小于PCIe閃存的延遲1毫秒;如果采用RDMA技術(shù),延遲能更小,低至微秒級(jí)。
(5)大容量服務(wù)器和磁盤(pán)
分布式存儲(chǔ)借助于大容量的服務(wù)器和磁盤(pán),也能夠提供以往外置磁盤(pán)陣列才能支持的大存儲(chǔ)容量。例如,DELL PowerEdge R730XD支持高達(dá)16個(gè)3.5寸近線(xiàn)SAS盤(pán),采用6TB的盤(pán),可達(dá)近100TB的裸容量。而且,單塊的機(jī)械磁盤(pán)容量也越來(lái)越大,例如,2015年03月,HGST首次向公眾展示了10TB的機(jī)械硬盤(pán)。不遠(yuǎn)的未來(lái),僅憑服務(wù)器內(nèi)置磁盤(pán),即可支持?jǐn)?shù)百TB的裸容量。如果分布式存儲(chǔ)還支持服務(wù)器連接JBOD、直連存儲(chǔ)來(lái)進(jìn)行Scale Up(縱向擴(kuò)展),容量就更大了。
(6)存儲(chǔ)技術(shù)逐漸成熟
分布式存儲(chǔ)的技術(shù)逐漸成熟,互聯(lián)網(wǎng)巨頭如Google、Facebook、Yahoo和百度阿里騰訊大規(guī)模采用分布式存儲(chǔ)驗(yàn)證了這一技術(shù)的可行性。另外,面向?qū)ο蟠鎯?chǔ)的技術(shù)逐漸成熟。
(7)虛擬化和云計(jì)算逐漸普及
虛擬化和云計(jì)算要求更智能的存儲(chǔ),能夠調(diào)用API,配合上層實(shí)現(xiàn)更靈活敏捷地部署、管理和變更存儲(chǔ)資源。在這些需求和技術(shù)的推動(dòng)下,軟件定義存儲(chǔ)(當(dāng)前以分布式存儲(chǔ)為主流)做為軟件定義數(shù)據(jù)中心不可或缺的一環(huán),已經(jīng)逐漸普及開(kāi)來(lái)。九、SDS的現(xiàn)狀
其實(shí),前面提到的SDS分類(lèi)相當(dāng)于描述了SDS的現(xiàn)狀。目前,存儲(chǔ)市場(chǎng)上絕大多數(shù)都是做數(shù)據(jù)平面的。做控制平面的SDS廠(chǎng)商,尤其是初創(chuàng)廠(chǎng)商,需要巨大的勇氣和魄力。因?yàn)閺?fù)雜度高,而且在短時(shí)間內(nèi)很難看到回報(bào)。大部分做數(shù)據(jù)平面的廠(chǎng)商,絕大部分還在抽象、池化這兩個(gè)階段。其中,抽象做的是軟硬件解耦。池化做的是存儲(chǔ)虛擬化。
池化包括存儲(chǔ)虛擬化和存儲(chǔ)標(biāo)準(zhǔn)化,而存儲(chǔ)虛擬化指所有存儲(chǔ)資源的虛擬化,包括:1)外置磁盤(pán)陣列內(nèi)的虛擬化;2)跨外置磁盤(pán)陣列的虛擬化(也即異構(gòu)存儲(chǔ)的管理);3)分布式存儲(chǔ)服務(wù)器內(nèi)的存儲(chǔ)虛擬化。
抽象是第一步,沒(méi)有解耦,硬件被鎖定,無(wú)法靈活調(diào)用;第二步,池化,這樣才能隨需分配,動(dòng)態(tài)擴(kuò)展;第三步是自動(dòng)化,存儲(chǔ)資源由軟件(Hypervisor,云管理)來(lái)自動(dòng)分配和管理。目前觀(guān)察到的自動(dòng)化其實(shí)是根據(jù)不同的工作負(fù)載來(lái)動(dòng)態(tài)分配或管理存儲(chǔ)資源。
以何來(lái)判斷工作負(fù)載的特點(diǎn)?最好是Hypervisor/OS ,或者云管理軟件,它們具有先天的優(yōu)勢(shì)。所以,存儲(chǔ)通過(guò)和Hypervisor、云管理軟件對(duì)接,是一個(gè)比較現(xiàn)實(shí)可行的方法。這就是前面提到的與VMware SPBM對(duì)接,或者與OpenStack Cinder,EMC ViPR,先智Federator等對(duì)接。
云計(jì)算已然成為不可阻擋的趨勢(shì),在當(dāng)前占絕大多數(shù)用戶(hù)主流的是私有云平臺(tái)的建設(shè),其實(shí)也是從傳統(tǒng)數(shù)據(jù)中心逐步轉(zhuǎn)向軟件定義數(shù)據(jù)中心的過(guò)程。在這一過(guò)程中,信息存放之地——企業(yè)級(jí)存儲(chǔ),也面臨前所未有的挑戰(zhàn)。如何實(shí)現(xiàn)私有云技術(shù)平臺(tái)所需的自助服務(wù),快速部署,彈性擴(kuò)展以及按量計(jì)費(fèi)? 軟件定義存儲(chǔ)是迄今為止最好的方式,也是被IT領(lǐng)袖廠(chǎng)商驗(yàn)證過(guò)的最佳實(shí)踐。總結(jié)為一句話(huà)就是:云計(jì)算時(shí)代,我們需要軟件定義存儲(chǔ)。
[1] NIST云計(jì)算定義[EB/OL].http://blog.csdn.net/seu_lyr/article/details/9169391 ,2013-06-25.
[2] 企業(yè)核心業(yè)務(wù)應(yīng)用系統(tǒng)支撐云平臺(tái)[EB/OL].http://www.zxin.net.cn/product/ProductIntroduce.aspx?pid=7315.
[3] 華為融易存儲(chǔ)共建數(shù)字法院[EB/OL].http://www.doit.com.cn/article/2014-10-30/3824055.shtml,2014-10-30.
[4] VMware軟件定義的數(shù)據(jù)中心[EB/OL].http://www.vmware.com/cn/solutions/software-defined-datacenter.html.
[5] VMware軟件定義的存儲(chǔ)[EB/OL].http://www.vmware.com/cn/products/software-defined-storage.html.
[6] 全球網(wǎng)絡(luò)存儲(chǔ)工業(yè)協(xié)會(huì)(SNIA)對(duì)SDS的闡述[EB/OL]. http://www.snia.org/sds.
[7] 葉毓睿,雷迎春,李炫輝,王豪邁.《軟件定義存儲(chǔ):原理、實(shí)踐與生態(tài)》[M].北京:機(jī)械工業(yè)出版社,2016.
[8] EMC SCALEIO[EB/OL].http://china.emc.com/storage/scaleio/index.htm.
[9] 東芝公布SSD固態(tài)硬盤(pán)路線(xiàn)圖:2018年容量可達(dá)128TB[EB/OL].http://mt.sohu.com/20150826/n419737385.shtml.
(責(zé)任編輯夏侯國(guó)論)
The characteristic of Enterprise Storage during the Cloud Computing Era
YEYu-rui
(VMware, Inc. Beijing 100190, China)
With the growing fast of Cloud Computing, as the important part of data center, Enterprise Storage faced much more challenge from private cloud and hybrid cloud. According to the definition of NIST for cloud, customer need storage have features: self-service, storage pooling, elastic, storage provisioning automatically and quickly, can be charge and billing. Actually, Software Defined Data Center (SDDC) is the best practice for the new data center under cloud time, and Software Defined Storage (SDS) is the best for private and hybrid cloud.
enterprise storage, cloud; SDDC, SDS, control plane, data plane
2016-08-20
葉毓睿,男,VMware存儲(chǔ)架構(gòu)師,曾任職于EMC, Compellent, DELL, "樂(lè)生活與愛(ài)IT" 微信公眾號(hào)的作者。
TP309.2
A
1674-0408(2016)03-0037-11