陳永剛+宋超+于廣輝

摘 要：面對各學(xué)科日益激增的高性能計算需求，大連理工大學(xué)啟動了校公共計算平臺的建設(shè)。本文在籌建過程中遇到的技術(shù)思路、資源管理和機制創(chuàng)新等方面進行了必要的探索。

關(guān)鍵詞：高性能計算；平臺建設(shè)；資源管理；機制創(chuàng)新

中圖分類號： TP38 文獻標識碼： A 文章編號： 1673-1069（2017）05-142-2

1 高性能計算平臺建設(shè)的籌備

面對學(xué)校各大理工學(xué)科對于科學(xué)計算的龐大需求，大連理工大學(xué)應(yīng)當建一臺全校共享的大型高性能計算機為學(xué)校的科研提供基礎(chǔ)性平臺支持。

從平臺開放共享、全體受益的原則考慮，高性能計算設(shè)備考慮由一個技術(shù)型服務(wù)部門來負責(zé)建設(shè)、運行和管理，該部門應(yīng)當有能力對網(wǎng)絡(luò)和IT設(shè)備提供專業(yè)的技術(shù)支持，能夠為大型計算機的運維提供保障。大連理工大學(xué)網(wǎng)絡(luò)與信息化中心是學(xué)校數(shù)字化校園建設(shè)的核心技術(shù)部門，有校園骨干網(wǎng)等大規(guī)模網(wǎng)絡(luò)架構(gòu)的設(shè)計能力，有完善的運行管理制度和豐富的大型IT設(shè)備運維經(jīng)驗。根據(jù)學(xué)校的具體情況，選擇了網(wǎng)絡(luò)與信息中心作為高性能計算平臺的托管單位。

高性能計算平臺的建設(shè)并不是簡單的設(shè)備采購，需要將購置和研發(fā)相結(jié)合，既要承擔(dān)一定的技術(shù)創(chuàng)新的任務(wù)，也要擔(dān)負起探索開放式公共服務(wù)體系和運營管理機制創(chuàng)新的工作。在項目建設(shè)正式啟動之前，網(wǎng)絡(luò)與信息中心先行建設(shè)了一臺64節(jié)點試驗性計算平臺，包含64個雙路8核刀片節(jié)點，理論峰值為3.2 Tflops，并專門成立了高性能計算運行管理部門，在開放運行的實踐中摸索平臺建設(shè)和管理經(jīng)驗，大膽進行管理制度和運行機制的創(chuàng)新。試驗計算平臺的運行，在科研支持、需求培育和制度建設(shè)等諸多方面獲得了良好成效。通過對試驗平臺運行數(shù)據(jù)進行總結(jié)和分析，為高性能計算平臺的建設(shè)提供了必要的決策依據(jù)。

2 高性能計算平臺的設(shè)計思路

2.1 整體框架設(shè)計

通過深入開展調(diào)研并結(jié)合試驗計算平臺的運行統(tǒng)計，考慮到未來幾年計算需求的增量，根據(jù)“按需建設(shè)、適度超前”的指導(dǎo)思想，推算出學(xué)校需要投建性能不低于300萬億次/秒的集群才能滿足未來3～5年各學(xué)科的計算需求。而各學(xué)科在應(yīng)用層面的多樣性也為集群的架構(gòu)設(shè)計帶來了一定的挑戰(zhàn)。因此從全校角度出發(fā)通盤考慮，既要創(chuàng)建一個通用的計算環(huán)境，又需要照顧到不同用戶和應(yīng)用的特殊需求，最終設(shè)計了一個多層次、相互補充和協(xié)同工作的高性能計算環(huán)境，其布局概念如圖1所示：全校的高性能計算環(huán)境由一個擁有最高端計算能力的校級高性能計算平臺和各院系自建的次級計算平臺或工作站組成，以達到全校計算資源的合理配置和優(yōu)化利用。校級計算平臺提供大規(guī)模并行計算求解和異構(gòu)加速計算服務(wù)，院系自建的計算設(shè)備可用于建模、前后端處理和小規(guī)模開發(fā)試算等應(yīng)用。

圖1 全校高性能計算整體框架

2.2 高性能計算集群的設(shè)計

在前期論證研討過程中，根據(jù)學(xué)校實際應(yīng)用需求情況，可采用技術(shù)較為成熟的大規(guī)模計算機集群，其中第一層設(shè)備兩路計算節(jié)點是大規(guī)模數(shù)值求解和海量數(shù)據(jù)處理的主力，選取高密度刀片式方案；第二層計算設(shè)備為按需配備一定比例的機架式MIC和GPU異構(gòu)加速節(jié)點；計算網(wǎng)絡(luò)為Infiniband FDR 56GB網(wǎng)絡(luò)，管理網(wǎng)絡(luò)為千兆以太網(wǎng)；采用商業(yè)版作業(yè)調(diào)度和資源管理軟件，以滿足復(fù)雜的作業(yè)管理需求；節(jié)能方面考慮，部署水冷系統(tǒng)[1]，根據(jù)北方地區(qū)氣候條件估算，機房電能使用效率（PUE）可控制在1.45左右，年均可節(jié)約電費約50萬元。圖2為集群框架概念圖。

3 高性能計算平臺運行管理機制探討

3.1 組織與建制

①組建超算部。在學(xué)校網(wǎng)絡(luò)與信息中心內(nèi)已成立超算部，當前已借助試驗平臺做了一些前期建制的探索工作，具體包括負責(zé)擬定校高性能計算建設(shè)的總體發(fā)展規(guī)劃；制定合理的運行管理制度；根據(jù)用戶應(yīng)用需求合對平臺資源進行合理分配和管理；培育和開發(fā)校內(nèi)和周邊科研單位的重大應(yīng)用；做好用戶培訓(xùn)和教學(xué)，推動高性能計算的高水平應(yīng)用。②成立高性能計算專家咨詢委員會。將主要由校內(nèi)各學(xué)科應(yīng)用學(xué)者代表組成，負責(zé)高性能計算相關(guān)工作的組織、協(xié)調(diào)和重大問題的決策；對高性能計算平臺建設(shè)的規(guī)劃和方案等重點問題進行指導(dǎo)、評估和論證；協(xié)調(diào)、組織高性能計算領(lǐng)域的學(xué)科交叉與合作、技術(shù)交流和人才培養(yǎng)等工作；對平臺在研項目進行評審，評定重點扶持或獎勵等級[2]。

3.2 服務(wù)與管理

優(yōu)質(zhì)的服務(wù)是高性能計算平臺為科研用戶創(chuàng)造良好科研環(huán)境的重要內(nèi)容，服務(wù)工作主要應(yīng)體現(xiàn)在如下方面：①管理制度嚴明。要滿足用戶長時間、不間斷計算的特點，高性能計算設(shè)備必需保證7X24小時正常運轉(zhuǎn)，因此必須配備嚴格的機房和設(shè)備管理制度，規(guī)定每日2次巡檢，定期對配電、空調(diào)、安防等設(shè)備進行檢查，消除安全隱患。定期出具運行統(tǒng)計報告，讓用戶了解平臺運行情況。②技術(shù)支持專業(yè)。高性能計算平臺技術(shù)支持的專業(yè)性不僅體現(xiàn)在系統(tǒng)日常管理與維護上，更要體現(xiàn)對用戶不同領(lǐng)域和學(xué)科專業(yè)的支持。因此對人員要求相對比較高，不僅要精通計算機網(wǎng)絡(luò)技能，還需要對物理、化學(xué)、力學(xué)等與計算相關(guān)的學(xué)科有深入的背景知識。因為高性能計算平臺服務(wù)對象主要是用到大規(guī)模并行計算的科研人員，具體則涉及各學(xué)科專業(yè)軟件的使用，如果沒有足夠深入的學(xué)科專業(yè)背景知識和科研經(jīng)歷，那么平臺技術(shù)支持人員最多只能是維持系統(tǒng)的運行，而對于提升應(yīng)用水平、發(fā)揮平臺效用則力不從心，因此比較理想的人選是在這些學(xué)科方向有一定研究基礎(chǔ)的博士來擔(dān)任。這也是將HPC的內(nèi)涵從“High Performance Computer”到“High Performance Computing”的理念上的提升。

4 高性能計算應(yīng)用培訓(xùn)與教學(xué)

培養(yǎng)高性能計算人才、提升高性能計算在科研中的高水平應(yīng)用是平臺建設(shè)的另一大任務(wù)。在試驗平臺運行期間，我們就已開展過幾期應(yīng)用培訓(xùn)，最終發(fā)現(xiàn)這類短期的應(yīng)用培訓(xùn)并不能滿足師生的需要。從培養(yǎng)科學(xué)計算用戶的角度出發(fā)，提煉學(xué)校各科研領(lǐng)域中共同關(guān)注的問題，傳授實用的科學(xué)計算技術(shù)，使師生能夠在各自的科研工作中用好高性能計算平臺和工具，提高科研效率和水平，這才是我們在設(shè)計高性能計算應(yīng)用教學(xué)首要考慮的問題。為此，在校研究生院的支持下，我們開設(shè)了《大規(guī)模并行計算與應(yīng)用》的研究生課程，聯(lián)合物理、化工、材料和力學(xué)等學(xué)科長期工作在教學(xué)科研一線的教授，結(jié)合科研實例講授各學(xué)科在高性能計算中的實踐和應(yīng)用，并提供上機環(huán)境供學(xué)生演練，為學(xué)生開辟良好的高性能計算學(xué)習(xí)和實踐環(huán)境。

5 結(jié)束語

高性能計算平臺的建設(shè)與發(fā)展將圍繞該?！吨虚L期發(fā)展戰(zhàn)略規(guī)劃》和《“十二五”發(fā)展規(guī)劃》的總體要求，以數(shù)字化智慧校園建設(shè)為核心，整合學(xué)校各重點學(xué)科的優(yōu)勢資源，打造一個技術(shù)先進、服務(wù)優(yōu)良、成果突出的科技創(chuàng)新支撐平臺。高性能計算平臺的建設(shè)不僅僅是設(shè)備采購、技術(shù)更新的過程，更是公共服務(wù)平臺運行機制、管理模式和制度建設(shè)的全面探索與創(chuàng)新。

參 考 文 獻

[1] 李根國，桂亞東，劉欣.淺談高性能計算的地位及作用[J].計算機應(yīng)用與軟件，2006，23（9）：3.

[2] 鄧寶林.高校校園網(wǎng)改造工程的規(guī)劃與設(shè)計[D].大連理工大學(xué)，2013.