■ 王彬 孫婧

中國氣象部門從1978年建設(shè)第一臺(tái)高性能計(jì)算機(jī)系統(tǒng)以來，逐步建立了支撐數(shù)值模式運(yùn)行的高性能計(jì)算業(yè)務(wù)。高性能計(jì)算技術(shù)的發(fā)展日益呈現(xiàn)多態(tài)、異構(gòu)和極大規(guī)模并行的趨勢。高性能計(jì)算資源管理將逐漸從本地預(yù)先分配為主的方式過渡到本地遠(yuǎn)程統(tǒng)一調(diào)度、共享使用的方式。

基于并行運(yùn)算的思想，高性能計(jì)算實(shí)現(xiàn)了對超級(jí)計(jì)算性能的需求。氣象始終是高性能計(jì)算的重要應(yīng)用領(lǐng)域之一。

1　高性能計(jì)算技術(shù)概述與現(xiàn)狀

高性能計(jì)算（High Performance Computing，HPC）可定義為計(jì)算量巨大且快速高效的運(yùn)算。承載支撐高性能計(jì)算運(yùn)行的計(jì)算機(jī)系統(tǒng)即為高性能計(jì)算機(jī)系統(tǒng)，也被稱作超級(jí)計(jì)算機(jī)。作為計(jì)算機(jī)科學(xué)與技術(shù)的一個(gè)分支學(xué)科，高性能計(jì)算HPC從體系架構(gòu)、并行算法與應(yīng)用開發(fā)等方面研發(fā)高性能計(jì)算機(jī)的技術(shù)。一般認(rèn)為高性能計(jì)算、理論科學(xué)與實(shí)驗(yàn)科學(xué)三者共同構(gòu)成了科學(xué)研究的支柱。

參考Flynn分類方法，HPC系統(tǒng)基本都屬于多指令流多數(shù)據(jù)流類型計(jì)算機(jī)。不同廠商生產(chǎn)的HPC系統(tǒng)硬件組成部件大同小異，體系結(jié)構(gòu)可分為Cluster與MPP，CPU包括RISC與X86等兩類，內(nèi)部互聯(lián)技術(shù)有Infiniband（IB網(wǎng)）、OPA、高速以太網(wǎng)、其他專有網(wǎng)絡(luò)等。作業(yè)調(diào)度管理軟件有LSF、PBSpro、GridView、LoadLeveler及開源社區(qū)軟件定制開發(fā)。并行編譯開發(fā)采用Intel、GNU、PGI編譯器以及MVAPICH、OpenMPI等并行運(yùn)行環(huán)境。

目前HPC系統(tǒng)主要采用集群系統(tǒng)（cluster）架構(gòu)。集群系統(tǒng)是指一組相互獨(dú)立的服務(wù)器，包括計(jì)算、存儲(chǔ)、服務(wù)、前后處理等用途，通過高速通信網(wǎng)絡(luò)結(jié)構(gòu)聯(lián)結(jié)起來，構(gòu)成統(tǒng)一的計(jì)算機(jī)系統(tǒng)，實(shí)現(xiàn)資源管理調(diào)度與高效并行處理，具有高可擴(kuò)充性、可靠性與抗災(zāi)難性。

HPC系統(tǒng)的關(guān)鍵性能技術(shù)指標(biāo)包括體系結(jié)構(gòu)、總體規(guī)模、CPU（核）數(shù)量、峰值速度、Linpack測速、運(yùn)行效率、訪存速度、網(wǎng)絡(luò)互聯(lián)性能、每瓦特性能等。

超級(jí)計(jì)算機(jī)系統(tǒng)TOP500排行榜每年由國際HPC學(xué)術(shù)組織定期對全球高性能計(jì)算機(jī)系統(tǒng)評(píng)測，是業(yè)界普遍認(rèn)可的衡量HPC技術(shù)水平的事實(shí)標(biāo)準(zhǔn)，成為了解HPC發(fā)展現(xiàn)狀和未來趨勢的風(fēng)向標(biāo)。

最新一期世界超級(jí)計(jì)算機(jī)TOP500（2017年6月）數(shù)據(jù)顯示：已經(jīng)有138臺(tái)系統(tǒng)超過千萬億次（PFLOPS），X86+Linux為代表的開放體系技術(shù)占據(jù)上風(fēng)，CPU+加速部件（Accelerator Devices）混合架構(gòu)的數(shù)量和比例不斷增加。體系結(jié)構(gòu)多為Cluster，內(nèi)部互聯(lián)網(wǎng)絡(luò)以Infiniband技術(shù)為主，X86處理器芯片占據(jù)較大優(yōu)勢，Linux操作系統(tǒng)使用比較廣泛。

盡管系統(tǒng)峰值性能有了很大的提升，但是HPC面臨的計(jì)算、數(shù)據(jù)密集型應(yīng)用需求也日益突出。HPC系統(tǒng)仍然面臨著成本、能耗、并行程序支持的可用性以及有效沿用遺留代碼（Legacy Code）等問題。

CPU性能的提升在過去幾十年一直遵循著摩爾定律。利用不斷提高的CPU主頻，應(yīng)用程序能夠獲得更好的性能。與此同時(shí)主頻升高會(huì)加大能耗，導(dǎo)致散熱、漏電等問題。在“后摩爾時(shí)代”，尤其是HPC峰值速度從萬億次發(fā)展到千萬億次量級(jí)過程中，僅依賴CPU芯片時(shí)鐘頻率的提高將無法滿足應(yīng)用要求，為此CPU+加速部件混合架構(gòu)逐漸興起，依托加速部件技術(shù)的快速發(fā)展和更好性價(jià)比加以支撐解決。

目前主流的加速部件技術(shù)包括GPU（Graphic Processing Unit）與眾核。TOP500中混合架構(gòu)構(gòu)建系統(tǒng)的數(shù)量和比例不斷提高，前10名系統(tǒng)已有5臺(tái)采用了加速部件混合架構(gòu)，排名第1的神威·太湖之光系統(tǒng)（Sunway TaihuLight）采用了國產(chǎn)申威眾核技術(shù)，總計(jì)1064萬個(gè)處理器核。

2　氣象高性能計(jì)算業(yè)務(wù)發(fā)展

HPC技術(shù)的發(fā)展進(jìn)步極大地推動(dòng)了數(shù)值天氣預(yù)報(bào)（NWP）的應(yīng)用發(fā)展。從歷史上看，NWP系統(tǒng)幾乎在任一個(gè)時(shí)期都使用了同時(shí)代頂尖的HPC系統(tǒng)，NWP也只有使用最強(qiáng)大快速的HPC系統(tǒng)才能達(dá)到預(yù)報(bào)應(yīng)用時(shí)效性要求。

基于計(jì)算技術(shù)的迅猛發(fā)展，氣象HPC業(yè)務(wù)從無到有地建立起來，有力地推動(dòng)了NWP業(yè)務(wù)的發(fā)展。HPC系統(tǒng)成為中國氣象局IT系統(tǒng)的重要組成部分，其計(jì)算峰值性能已成為氣象部門現(xiàn)代化建設(shè)水平的標(biāo)志之一。1978年11月，成功引進(jìn)了日立M-170計(jì)算機(jī)，其計(jì)算能力每秒百萬次、內(nèi)存4 MB、存儲(chǔ)達(dá)2.1 GB，在當(dāng)時(shí)國內(nèi)綜合性能最強(qiáng)，用于氣象數(shù)據(jù)處理和支撐MOS數(shù)值預(yù)報(bào)模式運(yùn)行，結(jié)束了我國沒有數(shù)值預(yù)報(bào)業(yè)務(wù)的歷史。1980年7月，歐亞區(qū)域模式正式投入業(yè)務(wù)。1983年8月，亞洲區(qū)域模式開始業(yè)務(wù)運(yùn)行，標(biāo)志著我國NWP業(yè)務(wù)進(jìn)入實(shí)用化階段。

20世紀(jì)90年代中期以來，為適應(yīng)氣象NWP業(yè)務(wù)與科研工作的快速發(fā)展，氣象HPC系統(tǒng)不斷升級(jí)、能力顯著增強(qiáng)。中國氣象局國家級(jí)業(yè)務(wù)中心先后引進(jìn)了銀河Ⅱ、克雷J90、克雷EL98、克雷C92、IBM SP2、IBM SP、曙光1000A、銀河Ⅲ、神威Ⅰ、神威48I、神威32I、神威32P、IBM Cluster 1600、SGI Altix4700、神威4000A、IBM Flex P460等HPC系統(tǒng)，支撐了數(shù)值天氣預(yù)報(bào)、數(shù)值氣候預(yù)報(bào)業(yè)務(wù)運(yùn)行與研究開發(fā)及衛(wèi)星數(shù)據(jù)處理業(yè)務(wù)。

從20世紀(jì)90年代初至今，基本上每過5年，氣象部門HPC計(jì)算能力就會(huì)躍升1個(gè)量級(jí)。隨著IBM Flex P460系統(tǒng)在2014年正式業(yè)務(wù)運(yùn)行，計(jì)算能力與“十一五”相比提高了將近30倍，比1978年更是提高了近10億倍。

從機(jī)型架構(gòu)演變來看，最初主要采用了通用巨型計(jì)算機(jī)，20世紀(jì)90年代中期起逐漸轉(zhuǎn)向大規(guī)模并行架構(gòu)計(jì)算機(jī)。從發(fā)展歷程來看，2000年之前以進(jìn)口HPC系統(tǒng)為主；2000年之后國產(chǎn)與進(jìn)口HPC并駕齊驅(qū)，分別引進(jìn)建設(shè)了3套進(jìn)口機(jī)系統(tǒng)與3套國產(chǎn)機(jī)系統(tǒng)。

中國氣象局國家級(jí)業(yè)務(wù)運(yùn)行的主要HPC系統(tǒng)為IBM Flex P460。安裝在國家氣象信息中心二樓高性能計(jì)算機(jī)房，承擔(dān)了國家級(jí)數(shù)值天氣預(yù)報(bào)業(yè)務(wù)與準(zhǔn)業(yè)務(wù)、短期氣候預(yù)測業(yè)務(wù)以及研究開發(fā)等工作。此系統(tǒng)主要由P460服務(wù)器組成，共計(jì)37120個(gè)Power7 CPU核。系統(tǒng)總計(jì)算能力達(dá)1054.2 TFLOPS，內(nèi)存總量163584 GB，存儲(chǔ)物理容量超過4.2 PB。IBM Flex P460高性能計(jì)算機(jī)系統(tǒng)包括兩個(gè)同樣配置的子系統(tǒng)，每個(gè)子系統(tǒng)計(jì)算能力達(dá)527.1 TFLOPS，存儲(chǔ)容量達(dá)2.1 PB。該系統(tǒng)內(nèi)部采用無阻塞胖樹結(jié)構(gòu)的In finiBand網(wǎng)絡(luò)互連，構(gòu)成了內(nèi)部高速數(shù)據(jù)計(jì)算網(wǎng)絡(luò)。該系統(tǒng)采用了冷卻水制冷，所有機(jī)柜均配備了水冷背門，通過冷卻水可以帶走絕大部分的熱能，大大提升制冷效率，節(jié)省能源消耗。

2000年以來，隨著區(qū)域級(jí)氣象數(shù)值預(yù)報(bào)工作的不斷發(fā)展，部分區(qū)域、省級(jí)氣象部門根據(jù)自身業(yè)務(wù)發(fā)展需要，先后建設(shè)了不同規(guī)模的HPC系統(tǒng)，提升了本區(qū)域高性能計(jì)算能力。

HPC資源相對于氣象部門需求來說始終是稀缺資源，由于國家區(qū)域之間，以及區(qū)域之間數(shù)值預(yù)報(bào)發(fā)展的不平衡，再加上計(jì)算資源在部門內(nèi)分布的不均衡，需推進(jìn)分布在國家局及各區(qū)域中心的HPC資源共享使用，統(tǒng)一分配管理、監(jiān)控和資源共享，解決部門內(nèi)國家級(jí)、區(qū)域的超算資源整合協(xié)同與共享管理。

制訂異地HPC資源共享調(diào)度策略，需要考慮不同地點(diǎn)網(wǎng)絡(luò)帶寬、NWP模式輸入數(shù)據(jù)環(huán)境、NWP模式輸出產(chǎn)品的數(shù)據(jù)量和方式、其他系統(tǒng)使用模式產(chǎn)品的方式等因素。根據(jù)現(xiàn)有國內(nèi)網(wǎng)絡(luò)帶寬租用成本、氣象HPC系統(tǒng)互聯(lián)網(wǎng)絡(luò)條件以及模式數(shù)據(jù)環(huán)境現(xiàn)狀，氣象現(xiàn)有HPC資源管理應(yīng)以本地使用優(yōu)先為原則。針對國家級(jí)、區(qū)域級(jí)HPC系統(tǒng)，基于資源預(yù)分配應(yīng)用方案，建立起資源使用統(tǒng)計(jì)、分配審計(jì)技術(shù)手段。結(jié)合每年用戶、單位的資源需求與前一年資源實(shí)際使用情況，計(jì)算相應(yīng)的年度資源分配額，協(xié)同調(diào)配系統(tǒng)資源，實(shí)現(xiàn)國家級(jí)、區(qū)域級(jí)HPC資源的合理使用與規(guī)劃。通過建立氣象HPC監(jiān)控統(tǒng)一平臺(tái)，實(shí)現(xiàn)國家、區(qū)域兩級(jí)HPC系統(tǒng)資源使用與NWP業(yè)務(wù)運(yùn)行狀態(tài)的實(shí)時(shí)監(jiān)控。

由于業(yè)務(wù)型和科研型數(shù)值模式作業(yè)運(yùn)行具有不同的特點(diǎn)，相應(yīng)地采取不同的管理方式。在了解各HPC系統(tǒng)資源負(fù)載狀況的基礎(chǔ)上，優(yōu)先使用用戶本地的計(jì)算資源，在本地資源不足的情況下考慮調(diào)配異地資源。在國家級(jí)中心建立數(shù)值模式統(tǒng)一運(yùn)行管理平臺(tái)，統(tǒng)籌規(guī)劃，實(shí)現(xiàn)國家、區(qū)域兩級(jí)NWP業(yè)務(wù)的運(yùn)維管理和統(tǒng)一調(diào)度。由于業(yè)務(wù)型作業(yè)相對成熟穩(wěn)定，輸入、輸出數(shù)據(jù)流程固定，因此此類作業(yè)將主要在本地運(yùn)行。如區(qū)域中心本地資源無法滿足數(shù)值預(yù)報(bào)業(yè)務(wù)模式，可以通過資源預(yù)分配管理調(diào)配至國家級(jí)資源運(yùn)行。在平常時(shí)段，業(yè)務(wù)備份可采用冷備份的方式進(jìn)行；一旦在重大氣象服務(wù)或重大氣象災(zāi)害應(yīng)急等特殊時(shí)期，通過熱備份的方式同時(shí)運(yùn)行某一業(yè)務(wù)模式，保障業(yè)務(wù)的可靠運(yùn)行。為了保持備份模式與原主業(yè)務(wù)系統(tǒng)的數(shù)據(jù)同步，利用云服務(wù)獲取數(shù)值預(yù)報(bào)模式啟動(dòng)所需的初始場等數(shù)據(jù)并在備份系統(tǒng)啟用后接收異地運(yùn)行生成的模式產(chǎn)品，從而實(shí)現(xiàn)數(shù)據(jù)同步。

由于研發(fā)型模式作業(yè)具有應(yīng)用多樣、資源使用量不定的特點(diǎn)，按照本地優(yōu)先、異地調(diào)配的原則分配使用資源。直接登錄高性能計(jì)算機(jī)的方式使用資源，限于目前的網(wǎng)絡(luò)性能及其他客觀條件，遠(yuǎn)程用戶不通過網(wǎng)絡(luò)傳輸大數(shù)據(jù)，可直接在異地系統(tǒng)完成模式運(yùn)行及后處理，在需要時(shí)將結(jié)果回傳到本地，對必需的大容量數(shù)據(jù)或可采用硬盤拷貝方式。支持科研應(yīng)用異地提交，提供基于命令行登錄和Web門戶的兩種資源訪問方式，通過瀏覽器方式實(shí)現(xiàn)可視化的配置試驗(yàn)運(yùn)行控制和跨集群模式作業(yè)提交。

3　展望

隨著多核與眾核架構(gòu)處理器、超大規(guī)模并行處理、異構(gòu)編程語言、GPU計(jì)算、大數(shù)據(jù)、云計(jì)算等新技術(shù)的出現(xiàn)，科學(xué)計(jì)算將經(jīng)歷思維和技術(shù)兩方面的變革，業(yè)界正處于計(jì)算技術(shù)發(fā)展的轉(zhuǎn)折點(diǎn)，未來的發(fā)展趨勢必定是多方面技術(shù)的融合，HPC技術(shù)發(fā)展呈現(xiàn)出多態(tài)、異構(gòu)和極大規(guī)模并行的趨勢。國內(nèi)外廠商正在加緊研制E級(jí)（百億億次）高性能計(jì)算機(jī)系統(tǒng)，預(yù)計(jì)很可能會(huì)在2018年左右出現(xiàn)?？梢灶A(yù)見異構(gòu)加速架構(gòu)計(jì)算機(jī)將會(huì)迎來更大發(fā)展，輕量核技術(shù)會(huì)推動(dòng)處理器與加速設(shè)備一體化，編程軟件工具鏈日趨成熟。

按照氣象信息化發(fā)展要求，高性能計(jì)算機(jī)系統(tǒng)建設(shè)、資源管理、技術(shù)開發(fā)將會(huì)更好地支撐氣象數(shù)值模式軟件業(yè)務(wù)與科研的發(fā)展。因應(yīng)技術(shù)發(fā)展潮流，加大眾核、GPU計(jì)算等新技術(shù)應(yīng)用力度，注重并行計(jì)算交叉型人才培養(yǎng)，推進(jìn)氣象業(yè)務(wù)模式向新型并行技術(shù)架構(gòu)平臺(tái)的移植優(yōu)化研發(fā)，提高并行可擴(kuò)展性。需要繼續(xù)統(tǒng)籌集約氣象部門內(nèi)高性能計(jì)算資源的分布、建設(shè)與管理，逐漸減少地理上分散的小規(guī)模系統(tǒng)。為了滿足數(shù)值天氣與氣候預(yù)報(bào)模式業(yè)務(wù)運(yùn)行和科研開發(fā)工作的需要，依托工程項(xiàng)目，將在2018年建成新一代曙光國產(chǎn)系統(tǒng)，緩解資源緊張局面，支撐數(shù)值天氣預(yù)報(bào)、氣候預(yù)測與氣候變化等業(yè)務(wù)與研究工作。高性能計(jì)算資源管理未來將逐漸從本地預(yù)先分配為主的方式過渡到本地遠(yuǎn)程統(tǒng)一調(diào)度、共享使用的方式?；趪摇^(qū)域中心統(tǒng)一的全國綜合氣象信息共享平臺(tái)（CIMISS），實(shí)現(xiàn)數(shù)值預(yù)報(bào)業(yè)務(wù)應(yīng)用和模式研發(fā)等應(yīng)用跨系統(tǒng)的動(dòng)態(tài)統(tǒng)一調(diào)度，實(shí)現(xiàn)業(yè)務(wù)應(yīng)用系統(tǒng)可靠運(yùn)行和異地備份。

深入閱讀

李國杰, 2010. 21 世紀(jì)上半葉信息科學(xué)技術(shù)展望. 中國科學(xué)院院刊, 25(1): 78-86.

沈文海, 2012. 從云計(jì)算看氣象部門未來的信息化趨勢. 氣象科技進(jìn)展, 2(2): 49-56.

沈文海, 2013. 對氣象信息化的理解和再認(rèn)識(shí). 氣象科技進(jìn)展,3(5): 56-62.

沈?qū)W順, 蘇勇, 胡江林, 等, 2017．GRAPES_GFS全球中期預(yù)報(bào)系統(tǒng)的研發(fā)和業(yè)務(wù)化．應(yīng)用氣象學(xué)報(bào), 28(1): 1-10.

孫婧, 沈瑜, 2015. 氣象應(yīng)用的高性能計(jì)算機(jī)性能需求推算方法.計(jì)算機(jī)技術(shù)與發(fā)展, 25(6): 206-210.

王彬, 2014. 高性能計(jì)算技術(shù)在氣象部門的應(yīng)用. 計(jì)算機(jī)工程與設(shè)計(jì), 35(4): 1476-1479.

王彬, 肖文名, 李永生, 等, 2011. 華南區(qū)域中心計(jì)算資源管理系統(tǒng)的建立與應(yīng)用. 氣象, 37(6): 764-770.

趙立成, 2011. 氣象信息系統(tǒng). 北京: 氣象出版社.

宗翔, 王彬, 2006. 國家級(jí)氣象高性能計(jì)算機(jī)管理與應(yīng)用網(wǎng)絡(luò)平臺(tái)設(shè)計(jì). 應(yīng)用氣象學(xué)報(bào), 17(5): 629-634.