云計(jì)算在高校HPC實(shí)驗(yàn)室建設(shè)中的應(yīng)用研究

王 珊

(山西財(cái)經(jīng)大學(xué)實(shí)驗(yàn)中心，山西 太原 03006)

高校作為科學(xué)研究的主力軍之一，承擔(dān)著大量的科研工作，但是由于計(jì)算問(wèn)題的規(guī)模日益增大，教師進(jìn)行科研時(shí)普通的計(jì)算機(jī)已經(jīng)無(wú)法滿足對(duì)計(jì)算作業(yè)的高性能及多元化需求，需使用高性能計(jì)算(High Performance Computing，HPC)資源。但是高性能計(jì)算實(shí)驗(yàn)室建設(shè)成本較高，且各學(xué)院之間資源共享性差，如何充分利用高性能計(jì)算實(shí)驗(yàn)室的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源，如何提高高性能計(jì)算的管理效率成為了目前建設(shè)高性能實(shí)驗(yàn)室需要考慮的問(wèn)題。

云計(jì)算對(duì)資源的管理具有按需分配、安全可靠、可擴(kuò)展性強(qiáng)、資源可控等特點(diǎn)，改變了傳統(tǒng)的實(shí)驗(yàn)室資源管理模式，因此云計(jì)算的出現(xiàn)，為目前高校高性能實(shí)驗(yàn)室的建設(shè)提供了一種新的方案。

1 傳統(tǒng)高校HPC實(shí)驗(yàn)室存在的問(wèn)題

1.1 建設(shè)成本高，操作復(fù)雜

高性能計(jì)算所需的底層基礎(chǔ)設(shè)施、服務(wù)器、應(yīng)用軟件等大都成本高昂，建設(shè)一個(gè)高性能計(jì)算實(shí)驗(yàn)室需要耗費(fèi)大量資金。傳統(tǒng)的高性能計(jì)算實(shí)驗(yàn)室一旦建成便成為學(xué)院獨(dú)立資源，各學(xué)院之間共享性差，如果多個(gè)學(xué)院都需要建設(shè)高性能計(jì)算實(shí)驗(yàn)室，勢(shì)必會(huì)消耗巨大的建設(shè)成本。同時(shí)傳統(tǒng)的高性能計(jì)算應(yīng)用場(chǎng)景復(fù)雜，用戶必須進(jìn)行專門培訓(xùn)才能使用高性能計(jì)算資源進(jìn)行作業(yè)計(jì)算，其操作復(fù)雜性導(dǎo)致用戶使用不便。

1.2 資源利用率低

傳統(tǒng)的高性能實(shí)驗(yàn)室共享性差，各學(xué)院之間無(wú)法相互使用，存在閑置資源浪費(fèi)。同時(shí)傳統(tǒng)的高性能計(jì)算管理軟件在進(jìn)行任務(wù)作業(yè)時(shí)，用戶作業(yè)一旦分配到請(qǐng)求的節(jié)點(diǎn)上，便獨(dú)占該節(jié)點(diǎn)，在用戶作業(yè)未完成的情況下，即使該用戶作業(yè)目前用不到該節(jié)點(diǎn)的全部物理資源，其他的用戶也無(wú)法使用直至該用戶作業(yè)全部完成，這勢(shì)必造成資源利用率低下，使其往往無(wú)法達(dá)到最佳性能[1]。

1.3 可靠性差

傳統(tǒng)的高性能計(jì)算機(jī)在執(zhí)行計(jì)算任務(wù)時(shí)，一旦某臺(tái)物理服務(wù)器出現(xiàn)故障，則該服務(wù)器上的所有作業(yè)將會(huì)被中斷，用戶不得不重新部署計(jì)算作業(yè)，這勢(shì)必會(huì)耽誤實(shí)驗(yàn)進(jìn)程，給用戶造成不便。而且隨著計(jì)算任務(wù)在集群上運(yùn)行的時(shí)間越長(zhǎng)，其作業(yè)被中斷的概率就會(huì)越大，使得用戶進(jìn)行作業(yè)計(jì)算時(shí)的數(shù)據(jù)和服務(wù)安全性無(wú)法保證。

2 云計(jì)算及其優(yōu)勢(shì)

2.1 云計(jì)算概述

云計(jì)算(Cloud Computing)是一種基于互聯(lián)網(wǎng)的計(jì)算方式，利用虛擬化技術(shù)將計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源集成為一種類似于“云”的可配置的虛擬化資源池，使用戶無(wú)需關(guān)心底層構(gòu)造，按需獲取想要的軟硬件資源和服務(wù)。

簡(jiǎn)單來(lái)說(shuō)，云計(jì)算就是把許多計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源集合起來(lái)，通過(guò)虛擬化軟件進(jìn)行自動(dòng)化管理，讓每一個(gè)用戶都可以通過(guò)網(wǎng)絡(luò)使用到龐大的計(jì)算資源和數(shù)據(jù)中心。

2.2 云計(jì)算在高校HPC實(shí)驗(yàn)室中的優(yōu)勢(shì)

利用云計(jì)算技術(shù)建設(shè)高校高性能計(jì)算云實(shí)驗(yàn)室具有如下優(yōu)勢(shì)：

1) 成本優(yōu)勢(shì)。學(xué)校建設(shè)校級(jí)高性能計(jì)算云實(shí)驗(yàn)室，各學(xué)院老師均可以通過(guò)網(wǎng)絡(luò)訪問(wèn)高性能計(jì)算云資源進(jìn)行作業(yè)，避免重復(fù)建設(shè)，有效降低建設(shè)成本。同時(shí)高性能計(jì)算云可以根據(jù)用戶的作業(yè)情況動(dòng)態(tài)調(diào)整計(jì)算資源，在用戶釋放虛擬機(jī)后能動(dòng)態(tài)調(diào)整剩余虛擬機(jī)至同一臺(tái)物理服務(wù)器上，節(jié)約數(shù)據(jù)中心用電，降低運(yùn)行成本。

2) 易用性好。高性能計(jì)算云具有良好的用戶交互界面，底層計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源對(duì)用戶透明，用戶無(wú)須關(guān)心這些資源采取的設(shè)備型號(hào)、復(fù)雜的內(nèi)部結(jié)構(gòu)、實(shí)現(xiàn)的方法和地理位置。支持多用戶、多任務(wù)使用。同時(shí)通過(guò)虛擬機(jī)鏡像的保存可以為用戶提供特定的操作系統(tǒng)和運(yùn)行環(huán)境，用戶無(wú)需重復(fù)搭建便可進(jìn)行作業(yè)計(jì)算，從而使用戶脫離復(fù)雜的環(huán)境配置工作，專注進(jìn)行科學(xué)研究，具有良好的易用性。

3) 可靠性高。高性能計(jì)算云通過(guò)網(wǎng)絡(luò)冗余機(jī)制實(shí)現(xiàn)高可靠性，一旦某臺(tái)物理服務(wù)器發(fā)生故障，系統(tǒng)會(huì)自動(dòng)將該服務(wù)器上的虛擬機(jī)遷移至正常的物理服務(wù)器上，任務(wù)運(yùn)行不會(huì)中斷，具有較高的容錯(cuò)性。同時(shí)系統(tǒng)還會(huì)對(duì)底層的CPU、存儲(chǔ)、網(wǎng)絡(luò)等資源進(jìn)行全方位監(jiān)控，用戶數(shù)據(jù)實(shí)時(shí)存儲(chǔ)云端，用戶也可以使用快照技術(shù)對(duì)虛擬機(jī)進(jìn)行備份，確保數(shù)據(jù)安全。

4) 支持彈性管理。對(duì)實(shí)驗(yàn)室管理人員來(lái)講，資源池可以無(wú)限地增減和更換設(shè)備，統(tǒng)一管理、動(dòng)態(tài)調(diào)度以滿足不同用戶的需求。對(duì)用戶來(lái)講，“云”的規(guī)?？梢詣?dòng)態(tài)伸縮，當(dāng)用戶在進(jìn)行高性能計(jì)算作業(yè)時(shí)，虛擬計(jì)算集群可以隨著計(jì)算量的變化靈活地?cái)U(kuò)大或者縮小集群規(guī)模，支持資源彈性管理。同時(shí)在高性能計(jì)算云中，用戶的虛擬機(jī)具有隔離性，用戶可以對(duì)其虛擬機(jī)上的操作系統(tǒng)和運(yùn)行環(huán)境進(jìn)行任意修改，而不影響底層物理服務(wù)器的參數(shù)配置。

3 云計(jì)算在高校HPC實(shí)驗(yàn)室中的應(yīng)用

云計(jì)算技術(shù)提供三種服務(wù)類型，分別為基礎(chǔ)設(shè)施即服務(wù)(Infrastructure as a Service，IaaS)、平臺(tái)即服務(wù)(Platform as a Service，PaaS)和軟件即服務(wù)(Software as a Service，SaaS)。表1對(duì)這三種服務(wù)類型進(jìn)行了詳細(xì)對(duì)比[2]。

表1 IaaS、PaaS、SaaS比較

可以看出，PaaS是在虛擬的硬件架構(gòu)之上，在軟件之下為不同的開(kāi)發(fā)及應(yīng)用提供服務(wù)，與其他的服務(wù)最根本的區(qū)別是PaaS提供的是一個(gè)基礎(chǔ)平臺(tái)，而不是某種應(yīng)用，它能夠提供定制化研發(fā)的中間件平臺(tái)，同時(shí)涵蓋數(shù)據(jù)庫(kù)和應(yīng)用服務(wù)器等。結(jié)合高校高性能計(jì)算云實(shí)驗(yàn)室將要滿足不同學(xué)院不同專業(yè)教師和學(xué)生多元化需求的特點(diǎn)，因此PaaS服務(wù)類型非常適用于高校高性能計(jì)算云實(shí)驗(yàn)室的建設(shè)。

通過(guò)對(duì)云計(jì)算技術(shù)和高性能計(jì)算的深入研究，結(jié)合高校實(shí)驗(yàn)室的具體情況，基于PaaS服務(wù)類型建立分層次的高性能計(jì)算云平臺(tái)，如圖1所示，高校高性能計(jì)算云平臺(tái)的系統(tǒng)架構(gòu)由下往上分為四層：分別是資源層、數(shù)據(jù)層、服務(wù)管理層和應(yīng)用層[3]。

圖1 系統(tǒng)架構(gòu)圖

資源層：該層為高性能計(jì)算云平臺(tái)的最底層，提供各種軟硬件資源。硬件資源主要包括集群功能節(jié)點(diǎn)、高性能計(jì)算專用節(jié)點(diǎn)、存儲(chǔ)系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)等，形成硬件資源池，可以滿足各類計(jì)算要求。軟件資源除了必須的編譯環(huán)境和并行庫(kù)以外，還包括HPC基礎(chǔ)軟件環(huán)境、集群管理軟件、集群監(jiān)控軟件、并行文件系統(tǒng)、節(jié)點(diǎn)操作系統(tǒng)等，形成軟件資源池。該層通過(guò)虛擬化技術(shù)為上層提供資源服務(wù)。

數(shù)據(jù)層：該層為高性能計(jì)算云平臺(tái)的中間層，對(duì)數(shù)據(jù)的查詢、修改、增加、刪除和存儲(chǔ)等操作提供支持。高性能計(jì)算不僅要處理海量的數(shù)據(jù)，在計(jì)算過(guò)程中也會(huì)產(chǎn)生海量的數(shù)據(jù)，對(duì)這些數(shù)據(jù)的處理和存儲(chǔ)就顯得十分重要，因此該層的海量數(shù)據(jù)存儲(chǔ)與處理技術(shù)對(duì)整個(gè)平臺(tái)起著十分關(guān)鍵的作用[4]。

服務(wù)管理層：該層為高性能計(jì)算云平臺(tái)的核心層，管理資源層的各類軟件和硬件資源，為應(yīng)用層提供計(jì)算服務(wù)。主要包括高性能計(jì)算并行計(jì)算服務(wù)管理、日志服務(wù)管理、高性能計(jì)算調(diào)度管理、安全服務(wù)管理及數(shù)據(jù)傳輸服務(wù)管理等。其中高性能計(jì)算調(diào)度管理包括基于優(yōu)先級(jí)的資源分配策略、多級(jí)別資源分配策略、自適應(yīng)資源分配策略等，合理調(diào)度可以有效提高整體的資源利用效率。

應(yīng)用層：該層是整個(gè)高性能計(jì)算云平臺(tái)與用戶的交互層，為用戶提供人機(jī)交互的圖形化界面，向用戶提供高性能計(jì)算服務(wù)。用戶通過(guò)訪問(wèn)接口登錄高性能計(jì)算云平臺(tái)，提交資源申請(qǐng)，管理員分配虛擬機(jī)，用戶上傳程序代碼和數(shù)據(jù)進(jìn)行計(jì)算，計(jì)算完成后，將結(jié)果輸出到用戶指定的文件夾，用戶可直接進(jìn)行下載[5]。

4 總結(jié)

利用云計(jì)算技術(shù)建設(shè)高校高性能計(jì)算云實(shí)驗(yàn)室可以很好地解決傳統(tǒng)高校高性能計(jì)算操作復(fù)雜、資源利用率低下、可靠性不高等問(wèn)題，改變了傳統(tǒng)的高性能計(jì)算實(shí)驗(yàn)室運(yùn)維方式，極大地方便了教師進(jìn)行科研工作，能很好地推進(jìn)高校的科研事業(yè)發(fā)展。本文重點(diǎn)就高校高性能計(jì)算云平臺(tái)的體系架構(gòu)設(shè)計(jì)進(jìn)行了研究，但是在實(shí)際建設(shè)過(guò)程中虛擬化技術(shù)、海量數(shù)據(jù)處理技術(shù)以及資源調(diào)度策略等關(guān)鍵技術(shù)的應(yīng)用還需要更進(jìn)一步的研究。