冷迪
摘 要:近年來,企業(yè)數(shù)據(jù)中心計算與存儲融合的超融合架構相對于傳統(tǒng)計算網(wǎng)絡存儲分離架構發(fā)起了強有力的挑戰(zhàn)。文章通過分析傳統(tǒng)企業(yè)數(shù)據(jù)中心基礎架構面臨的弊端,提出了傳統(tǒng)構架向超融合架構的演進趨勢。并對超融合架構的概念、組成和主要特點進行了詳細分析和介紹,從產(chǎn)品和市場角度分析了超融合架構的發(fā)展和應用趨勢。最后,作者對超融合架構在電力行業(yè)云數(shù)據(jù)中心的應用給出了展望。
關鍵詞:云數(shù)據(jù)中心;超融合架構;分布式存儲;Server SAN
1 企業(yè)數(shù)據(jù)中心基礎設施架構演進趨勢
1.1 云計算趨勢下,企業(yè)數(shù)據(jù)中心建設面臨的挑戰(zhàn)
數(shù)據(jù)中心在不斷進行演進過程中,云計算、大數(shù)據(jù)、移動互聯(lián)的需求日益高漲,基于此需求的近實時或?qū)崟r數(shù)據(jù)分析(OLAP、OLTP)等商業(yè)智能分析應用得到越來越多企業(yè)用戶的關注。不論是私有云、公有云或是混合云,都面臨企業(yè)云數(shù)據(jù)中心建設的關鍵問題,即如何提高數(shù)據(jù)中心的資源利用率、如何降低整體成本、優(yōu)化管理、如何應對業(yè)務的快速變化、如何伸縮自如等,這些都是數(shù)據(jù)中心建設者們需要積極思考的問題。
目前企業(yè)云數(shù)據(jù)中心的建設通常對服務器、存儲、網(wǎng)絡設備、平臺及應用軟件等部件獨立采購,而后再集成的方式。這在一定程度上降低了數(shù)據(jù)中心的初始購置成本。然而,隨著云數(shù)據(jù)中心規(guī)模的不斷擴大,傳統(tǒng)的構架會使企業(yè)將在后續(xù)運維運營上消耗過多的人力物力,進而導致IT效率低下,終將阻礙業(yè)務發(fā)展。企業(yè)需要不斷尋求改善IT環(huán)境的解決方法,來保證業(yè)務能夠穩(wěn)定、敏捷地運行??梢灶A見,未來企業(yè)IT希望購買到的是一個數(shù)據(jù)中心基礎設施整體方案,通過更多聚焦于IT技術對業(yè)務的響應,為公司業(yè)務提供增值輔助,從而將傳統(tǒng)的成本中心轉為“利潤“中心。
1.2 超融合架構是企業(yè)云數(shù)據(jù)中心基礎設施架構的大勢所趨
為應對當下云計算、虛擬化和大數(shù)據(jù)發(fā)展的趨勢,2014年第三方權威調(diào)查機構Wikibon提出Server SAN名詞,自被提出就獲得很多關注和熱烈討論。Server SAN簡單來說是由多個獨立的服務器直連存儲組成的一個存儲資源池。服務器之間實現(xiàn)高速互聯(lián)(如InfiniBand或低延遲萬兆以太網(wǎng)),通過軟件進行統(tǒng)一管理。
Server SAN可以用標準的X86服務器、高速通用網(wǎng)絡來實現(xiàn),省去了專用設備和網(wǎng)絡成本。同時集合了超大規(guī)模、計算與存儲融合和閃存等技術優(yōu)勢,計算和存儲可以共享網(wǎng)絡,在擴展性和易管理上亦有不俗表現(xiàn)。因此,Server SAN是超融合架構的產(chǎn)品化代表。目前超大規(guī)?;ヂ?lián)網(wǎng)公司如Facebook、Google和亞馬遜等已經(jīng)開發(fā)了超融合Server SAN解決方案。目前已經(jīng)商品化的10Gb以太網(wǎng)技術不僅提升了數(shù)據(jù)的傳輸速度,降低延遲,而且傳輸距離更遠?!败浖x”這一新興概念也逐漸被成果化,因此通過軟件作為媒介,將普通服務器內(nèi)部存儲組成一個存儲資源池,既保證了存儲需要的性能,又同時通過硬件加軟件的方式,提供了良好的擴展性。由此看來,Server SAN發(fā)展所需基礎都已經(jīng)逐漸成熟。
2 超融合架構的關鍵特征
2.1 超融合架構基本概念與組成
超融合架構是一種新興的數(shù)據(jù)中心基礎設施解決方案,從根本上將核心計算、存儲和網(wǎng)絡功能集成到單一軟件解決方案或設備中。而傳統(tǒng)集成平臺和系統(tǒng)的自主計算、存儲和網(wǎng)絡系統(tǒng)是在工廠由供應商或代理商進行集成的。超融合系統(tǒng)將存儲和計算功能集成到一個單一節(jié)點(或節(jié)點集群,每個節(jié)點都提供計算和存儲功能),超融合系統(tǒng)都具有以下通用核心組件:
(1)分布式存儲系統(tǒng):構建在虛擬化平臺之上,在服務器虛擬化基礎上,通過部署存儲虛擬設備的方式,對本地存儲資源進行虛擬化,再經(jīng)集群整合成資源池,為應用虛擬機提供存儲服務。
(2)高速網(wǎng)絡:GE/10GE以太網(wǎng)交換機,或者Infiniband光纖交換機為分布式計算和存儲集群提供可擴展和高可用性的網(wǎng)絡通道。
(3)統(tǒng)一管理平臺:其管理程序除了提供硬盤或SSD硬件抽象層之外,還提供工作負載鄰接、冗余、故障遷移、管理和容器化作用。
因此,超融合架構可以基于X86服務器等低單價企業(yè)服務器為基礎,對服務器的內(nèi)置硬盤資源進行虛擬化,提供raid后的存儲空間供服務器使用。服務器采用集群的方式部署在數(shù)據(jù)中心的多個機架內(nèi),通過機架間及機架內(nèi)的高速二層交換網(wǎng)絡提供極高的連接可靠性。整個超融合集群系統(tǒng),以一個2U X86機架服務器提供40TB裸容量為例,一個100個服務器組成的集群可以提供4PB的存儲容量,可滿足90%以上企業(yè)的業(yè)務增長需求。通過批量采購的商用服務器可使基于超融合架構建設的數(shù)據(jù)中心可具有較高的性價比。
2.2 超融合架構主要特點
2.2.1 分布式、無共享架構的分布式存儲系統(tǒng)
超融合架構分布式存儲系統(tǒng)一般采用分布式,無共享(Share Nothing)架構設計理念,通過分布式計算算法,將數(shù)據(jù)分散式存放在集群中的所有節(jié)點上,不僅提升了數(shù)據(jù)可靠性,同時大大提升了系統(tǒng)性能。另外,整個分布式存儲系統(tǒng)也無集中管理和控制節(jié)點,每一個數(shù)據(jù)節(jié)點都有能力承擔另一數(shù)據(jù)節(jié)點的功能,節(jié)點之間通過內(nèi)部高效的分布式協(xié)議完成相互協(xié)作和通信。
2.2.2 計算與存儲融合
超融合架構通過將計算服務器上的存儲設備組成一個高性能、高可靠的分布式存儲池,給服務器或者虛擬機上的應用提供存儲空間。通常虛擬化、數(shù)據(jù)庫等對I/O延遲要求高的應用將數(shù)據(jù)存放在應用所在的物理服務器上,減少傳統(tǒng)外置共享存儲(SAN/NAS)帶來的網(wǎng)絡開銷,提升應用的讀寫性能。
2.2.3 相對低廉的采購成本
然而使用傳統(tǒng)共享存儲設備提供空間,當存儲空間不夠時,需要再次購買昂貴的專業(yè)存儲設備。然而基于服務器的構架可避免購買傳統(tǒng)的外置共享存儲設備(SAN/NAS)和交換機,有效的降低采購成本。當存儲空間不夠時,在現(xiàn)有物理服務器上添加性價比較高的存儲磁盤或者添加物理服務器即可有效擴展存儲空間。
2.2.4 高冗余橫向擴展架構
由于超融合架構采用分布式架構,因此,具備強大的橫向擴展能力,一般都能支持成百上千個節(jié)點的集群,其分布式集群架構消除了傳統(tǒng)計算和存儲分離導致的低性能、不易擴展、單點故障等問題,保證了節(jié)點擴容后無需遷移系統(tǒng)內(nèi)所有數(shù)據(jù),可以快速達到負載均衡狀態(tài);增加節(jié)點的同時,系統(tǒng)的IOPS、吞吐量等性能,以及系統(tǒng)存儲容量能夠?qū)崿F(xiàn)同步線性增長。傳統(tǒng)計算存儲分離架構解決方案中的存儲系統(tǒng)被限制在少量的幾個硬件控制器上(中低端一般是兩個主備控制器),而對于超融合架構系統(tǒng)而言,集群中的每個節(jié)點既是計算節(jié)點,又是存儲控制器,因此,隨著節(jié)點的增加,性能也能線性增長。
與傳統(tǒng)的計算存儲分離架構相比,超融合架構集群具備非常好的彈性擴展能力。在系統(tǒng)運行過程中,管理員可在不中斷業(yè)務的情況下新增和刪除節(jié)點。當一個新節(jié)點或者一個新硬盤加入到集群中時,超融合架構能實現(xiàn)集群內(nèi)數(shù)據(jù)的最優(yōu)化的自動重新分布和均衡。而整個數(shù)據(jù)的遷移和重新均衡的過程不會影響應用對數(shù)據(jù)的訪問。因此,新增節(jié)點和硬盤,不僅提高的系統(tǒng)存儲容量,也同時提升了系統(tǒng)的訪問性能。當管理員刪除節(jié)點或者硬盤時,系統(tǒng)能夠在通過數(shù)據(jù)遷移實現(xiàn)數(shù)據(jù)在其余節(jié)點的重新分布,以保證系統(tǒng)的數(shù)據(jù)均衡性。在所有數(shù)據(jù)的重新分布和均衡過程中,系統(tǒng)能夠保證只需盡可能少的數(shù)據(jù)進行重新分配,而無需對系統(tǒng)內(nèi)所有數(shù)據(jù)進行調(diào)整和遷移,提升了系統(tǒng)穩(wěn)定性和性能。
表1對比了超融合架構與傳統(tǒng)計算、存儲分離架構的主要優(yōu)劣,可見超融合構架相對于傳統(tǒng)構架具有較大優(yōu)勢。
3 超融合架構產(chǎn)品與市場發(fā)展趨勢
3.1 超融合架構產(chǎn)品發(fā)展趨勢
隨著軟件定義數(shù)據(jù)中心概念的興起,軟件定義存儲和計算存儲融合等概念和技術也成為了下一代存儲的熱點。近幾年來,在美國,以色列等IT先進國家,涌現(xiàn)出了一批面向企業(yè)云數(shù)據(jù)中心場景,研發(fā)軟件定義存儲和超融合系統(tǒng)的創(chuàng)新公司,比如Nutanix、ScaleIO、Simplivity、Nexenta、Maxta等。與此同時,傳統(tǒng)虛擬化和存儲大廠商也逐步看到了企業(yè)數(shù)據(jù)中心下一代基礎設施系統(tǒng)的發(fā)展趨勢,紛紛通過收購或自研進軍來布局軟件定義存儲和超融合架構市場,比如EMC收購ScaleIO,HP收購LeftHand,Dell收購Equallogic,Vmware自研VSAN等。這些創(chuàng)新公司和傳統(tǒng)存儲公司,根據(jù)自身的發(fā)展或者產(chǎn)品布局需要,推出不同形態(tài)的超融合架構產(chǎn)品,比如Nutanix、Simplicivity等推出軟硬結合的超融合架構一體機,而EMC、Vmware、Nexenta等則推出純軟件的軟件定義存儲方案總體來說,新型創(chuàng)業(yè)公司走在了超融合架構產(chǎn)品和市場的前列,他們占據(jù)了超融合架構基礎設施市場的大半壁江山。目前Nutanix,Simplivity、Nexenta等創(chuàng)新公司推出的產(chǎn)品最有競爭力,占據(jù)的市場份額也最大。
國內(nèi)的超融合架構基礎設施發(fā)展速度總體上落后國外,但隨著融合存儲系統(tǒng)在國外越來越受到存儲大廠和大客戶的關注和重視,以及云計算、大數(shù)據(jù)、軟件定義存儲等新一代數(shù)據(jù)中心基礎設施技術的發(fā)展,目前國內(nèi)的主流存儲廠商,比如,華為、浪潮、曙光等公司,開始進行新一代大規(guī)模分布式存儲系統(tǒng)的研發(fā),但其主要關注點在面向數(shù)據(jù)中心的海量數(shù)據(jù)存儲場景提供分布式文件或者分布式對象存儲集群。比如,華為公司的UDS對象存儲系統(tǒng),中科院藍鯨大型分布式文件存儲系統(tǒng)等等,這些系統(tǒng)一般都面向公有云應用場景。面向企業(yè)云數(shù)據(jù)中心環(huán)境的超融合軟件定義系統(tǒng),國內(nèi)也出現(xiàn)了一批新型創(chuàng)業(yè)公司,比如深圳杉巖數(shù)據(jù)公司、北京志凌海納公司等推出的超融合架構產(chǎn)品。
3.2 超融合架構市場發(fā)展趨勢
近年來,超融合架構系統(tǒng)市場發(fā)展迅猛,對傳統(tǒng)計算分離架構系統(tǒng)市場沖擊很大,特別是傳統(tǒng)外置存儲設備市場,以至于傳統(tǒng)存儲大廠也紛紛進入超融合架構和軟件定義存儲市場。
據(jù)IDC最新發(fā)布的2014年全球融合存儲系統(tǒng)分析報告,基于軟件定義存儲的融合存儲系統(tǒng)正在強勢領跑全球存儲軟件市場,最近一個季度的收入規(guī)模達到38億美元,同比增幅為39.4%。根據(jù)ReportsnReports的預測,全球軟件定義存儲市場在2015年到2019年之間的年復合增長率預計為35%,覆蓋大中小各種類型的企業(yè)。企業(yè)級融合存儲市場在2013年全球銷售收入達2.7億美元,并且以50%左右的年復合增長率增長。HP、Nutanix、Simplivity占據(jù)了TOP 3的市場份額。另從國內(nèi)整體市場來看,超融合架構系統(tǒng)正在從大型互聯(lián)網(wǎng)公司的數(shù)據(jù)中心逐步向公有云、私有云、以及混合云等企業(yè)云數(shù)據(jù)中心市場延伸和擴散。一方面,UnitedStack,EasyStack等公司利用OpenStack開源產(chǎn)品中的分布式存儲系統(tǒng)構建公有云數(shù)據(jù)中心基礎設施;另一方面,華為推出的FusionStorage分布式存儲產(chǎn)品已經(jīng)在浙江電信云計算虛擬化平臺上得到應用。華為,天璣科技,云和恩墨等公司紛紛推出基于軟件定義存儲的數(shù)據(jù)庫一體機,在運營商,金融,政府等行業(yè)中得到應用。
4 超融合架構在電力行業(yè)數(shù)據(jù)中心的應用展望
目前,電力行業(yè)數(shù)據(jù)中心的IT基礎設施還是以傳統(tǒng)的計算與存儲分離的架構為主建設,以深圳供電局有限公司為例,數(shù)據(jù)中心存儲基礎設備全部都是以傳統(tǒng)外置存儲系統(tǒng)SAN和小型機為主的計算、存儲分離架構。已經(jīng)延續(xù)了20多年的傳統(tǒng)外置存儲架構和產(chǎn)品,在云計算、虛擬化和大數(shù)據(jù)應用面前,暴露出了擴展性差,靈活性低,管理復雜,成本高等致命問題。隨著企業(yè)規(guī)模的壯大和業(yè)務的增多,以及X86服務器虛擬化技術和應用的普及,數(shù)據(jù)量快速增長,基礎硬件設施逐步采用X86服務器替代小型機的轉型。因此,如何為未來基于X86服務器和虛擬化計算平臺的關鍵應用提供與之匹配的高可擴展性、高性能、高可靠性、和可維護性的存儲平臺、同時又能滿足核心業(yè)務按需、靈活的交付特性,是包括電力在內(nèi)的各行業(yè)在向云計算、虛擬化和大數(shù)據(jù)等信息化建設轉型和發(fā)展面臨的重大挑戰(zhàn)。
因此,深圳供電局有限公司目前正結合自身業(yè)務場景,積極開展超融合架構產(chǎn)品和技術在電力行業(yè)應用的探討和研究,計劃摸索出一套適用于電力行業(yè)數(shù)據(jù)中心超融合平臺建設規(guī)范和標準,為不同業(yè)務層級提供不同的超融合架構解決方案提供建議和參考依據(jù),并且適用于云數(shù)據(jù)中心虛擬化、大數(shù)據(jù)業(yè)務應用的運行、管理、擴容等多種多樣的需求。并在未來將項目的研究成果在行業(yè)內(nèi)以行業(yè)標準和規(guī)范進行廣泛共享和推廣,從而為公司創(chuàng)造更大的經(jīng)濟效益。
參考文獻
[1]趙雷霆.運營商級云計算數(shù)據(jù)中心發(fā)展研究[J].信息安全與技術, 2011(8):36-39.
[2]王恩東,張東,亓開元.融合架構云數(shù)據(jù)中心:概念、技術與實踐[J].信息通信技術,2015(2):31-36.
[3]譚章祿,王印紅.企業(yè)數(shù)據(jù)中心存儲架構比較及經(jīng)濟分析[J].統(tǒng)計與決策,2007(23):177-178.