華為云存儲(chǔ)解決方案助CERN為諾貝爾物理學(xué)獎(jiǎng)提供數(shù)據(jù)支撐
2013年10月,比利時(shí)理論物理學(xué)家弗朗索瓦·恩格勒、英國(guó)理論物理學(xué)家彼得·希格斯因成功預(yù)測(cè)希格斯玻色子(Higgs boson)而獲得2013年諾貝爾物理學(xué)獎(jiǎng)。希格斯玻色子,是粒子物理學(xué)標(biāo)準(zhǔn)模型預(yù)言的一種自旋為零的玻色子。在現(xiàn)有量子物理學(xué)的研究中,科學(xué)家們建立了一種稱為“標(biāo)準(zhǔn)模型”的物理學(xué)理論。該模型把構(gòu)成物質(zhì)的亞原子分為夸克、輕子和玻色子三類,根據(jù)這一理論,1964年英國(guó)科學(xué)家希格斯預(yù)言了希格斯玻色子的存在。
標(biāo)準(zhǔn)模型共預(yù)言了62種基本粒子的存在,其中61種粒子已經(jīng)被實(shí)驗(yàn)證實(shí),而希格斯玻色子是最后一種還未被確認(rèn)發(fā)現(xiàn)的基本粒子,它被認(rèn)為是解釋物質(zhì)質(zhì)量之謎的最重要粒子,因此又被稱為“上帝粒子”。
2012年7月4日,歐洲核子研究組織(CERN)宣布,大型強(qiáng)子對(duì)撞機(jī)LHC探測(cè)到兩種新的粒子極像希格斯玻色子,此后科學(xué)家分別以兩個(gè)獨(dú)立的實(shí)驗(yàn)尋找希格斯玻色子,這兩個(gè)實(shí)驗(yàn)分別稱為Atlas和CMS。2013年3月14日,歐洲核子研究中心發(fā)布公告稱,通過(guò)對(duì)更多數(shù)據(jù)的分析顯示,該中心去年發(fā)現(xiàn)的一種新粒子“強(qiáng)有力地表明就是希格斯玻色子”。
對(duì)上帝粒子的探索和發(fā)現(xiàn)是在CERN建立的世界上最大的強(qiáng)子對(duì)撞機(jī)LHC上完成的, LHC可以通過(guò)高速粒子的碰撞來(lái)模擬宇宙大爆炸時(shí)的場(chǎng)景,然后再通過(guò)環(huán)形隧道內(nèi)分布的1.5億個(gè)感應(yīng)器來(lái)收集和傳遞實(shí)驗(yàn)數(shù)據(jù)。據(jù)統(tǒng)計(jì),碰撞實(shí)驗(yàn)產(chǎn)生的海量數(shù)據(jù),經(jīng)過(guò)濾后待存儲(chǔ)的有效數(shù)據(jù)流達(dá)到6GB/s。而隨著實(shí)驗(yàn)規(guī)模和級(jí)別的不斷提升,目前CERN自有的數(shù)據(jù)中心磁盤(pán)存儲(chǔ)已經(jīng)超過(guò)25PB,另有75PB的數(shù)據(jù)存放在帶庫(kù)中,存儲(chǔ)系統(tǒng)可用空間分別為40PB和100PB。CERN將這些海量數(shù)據(jù)通過(guò)其遍布全球的140多個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行分流和存儲(chǔ)。
海量數(shù)據(jù)的存儲(chǔ)需求使CERN的IT系統(tǒng)性能面臨巨大挑戰(zhàn);在短暫的碰撞時(shí)間內(nèi),產(chǎn)生的大量數(shù)據(jù)對(duì)存儲(chǔ)系統(tǒng)的吞吐能力、穩(wěn)定性也提出了較高要求。另外,實(shí)驗(yàn)數(shù)據(jù)能夠靈活地跨地域訪問(wèn)和共享,是支撐CERN遍布全球的研究機(jī)構(gòu)協(xié)同工作的重要基礎(chǔ),而傳統(tǒng)的存儲(chǔ)方式越來(lái)越無(wú)法適應(yīng)CERN在全球140多個(gè)國(guó)家和地區(qū)計(jì)算節(jié)點(diǎn)之間的數(shù)據(jù)流通。
2012年初,CERN與華為合作,嘗試?yán)迷拼鎯?chǔ)架構(gòu)解決大量研究工作所面臨的數(shù)據(jù)存儲(chǔ)瓶頸。據(jù)華為公司企業(yè)業(yè)務(wù)中國(guó)區(qū)政府系統(tǒng)部部長(zhǎng)孫冀平介紹,華為是中國(guó)較早建立面向未來(lái)技術(shù)創(chuàng)新和趨勢(shì)研究實(shí)驗(yàn)室的公司之一,該實(shí)驗(yàn)室以技術(shù)為導(dǎo)向,與國(guó)內(nèi)100多所高校和科研機(jī)構(gòu)在前沿技術(shù)和標(biāo)準(zhǔn)化方面進(jìn)行了合作,目前研發(fā)的項(xiàng)目達(dá)到200個(gè)以上,先后產(chǎn)生了1200多項(xiàng)科研成果和技術(shù)專利。這些研究強(qiáng)調(diào)技術(shù)與客戶的業(yè)務(wù)系統(tǒng)深度融合,針對(duì)科研、教育、政府等用戶對(duì)大數(shù)據(jù)、移動(dòng)互聯(lián)及敏捷網(wǎng)絡(luò)方面的需求提供差異化、定制化的解決方案。此次華為向CERN OpenLAB提供的0.8PB UDS存儲(chǔ)設(shè)備,就是希望與CERN一同探討、測(cè)試和驗(yàn)證UDS在海量數(shù)據(jù)場(chǎng)景下的應(yīng)用能力。
UDS海量存儲(chǔ)分布式架構(gòu)的亮點(diǎn)之一是隨著節(jié)點(diǎn)數(shù)量的增加,系統(tǒng)吞吐性能可以持續(xù)提升。CERN分別對(duì)4K-100M的不同大小的文件進(jìn)行從單一客戶端、20個(gè)、200個(gè)客戶端的長(zhǎng)時(shí)間測(cè)試。UDS系統(tǒng)的吞吐量均達(dá)到了帶寬限制的極限:在5Gb的帶寬限制下,UDS可達(dá)到588.4MB/s的吞吐量;在18Gb的帶寬限制下,UDS達(dá)到2200MB/s的吞吐量。讀寫(xiě)性能均高于用于參考比對(duì)的Open stack和CERN現(xiàn)有的EOS系統(tǒng)。
在可靠性方面,CERN分別通過(guò)多副本和擦除編碼(EC)兩種驗(yàn)證方案,前者更注重性能,后者更注重成本,用戶可以根據(jù)不同業(yè)務(wù)的SLA來(lái)靈活調(diào)整可靠性方案,從而在存儲(chǔ)利用率和數(shù)據(jù)可靠性之間尋求最佳平衡。在長(zhǎng)達(dá)近一年的測(cè)試驗(yàn)證過(guò)程中,UDS系統(tǒng)沒(méi)有丟失任何數(shù)據(jù),CERN對(duì)于UDS可靠性的評(píng)價(jià)為“Outstanding reliability measured: 100%”。
UDS系統(tǒng)具有完善的對(duì)象存儲(chǔ)特性,對(duì)象的創(chuàng)建、寫(xiě)入、讀取、刪除以及MDC(多數(shù)據(jù)中心統(tǒng)一資源池)、一鍵快速部署等特有功能為CERN在遍布全球的140個(gè)計(jì)算節(jié)點(diǎn)之間實(shí)現(xiàn)數(shù)據(jù)自由訪問(wèn)和共享提供了便利。UDS海量存儲(chǔ)系統(tǒng)采用的ARM架構(gòu),在保證高可靠的前提下支持消費(fèi)級(jí)硬盤(pán),大幅降低了CAPEX。而整機(jī)的高集成度設(shè)計(jì)(2.1PB/)和ARM的超低功耗以及UDS的免即時(shí)維護(hù)等特性都較好的幫助CERN大幅降低運(yùn)營(yíng)成本。
CERN OpenLAB的總負(fù)責(zé)人鮑勃·瓊斯認(rèn)為,CERN的系統(tǒng)在執(zhí)行方面正面臨極限,同華為的合作為其展現(xiàn)了一個(gè)新的途徑,云存儲(chǔ)優(yōu)良的架構(gòu)設(shè)計(jì),使得CERN在應(yīng)對(duì)未來(lái)EB級(jí)數(shù)據(jù)量的挑戰(zhàn)時(shí)能夠輕松應(yīng)對(duì)。華為UDS產(chǎn)品的出色表現(xiàn)和ITC整合能力,使CERN決定與華為建立長(zhǎng)期合作的伙伴關(guān)系,在未來(lái)三年里,UDS系統(tǒng)將繼續(xù)為CERN的數(shù)據(jù)密集型模擬和分析應(yīng)用提供支撐,為最終發(fā)現(xiàn)上帝粒子,探索人類未知的世界提供源源動(dòng)力。