孫凝暉 譚光明

1 超算發(fā)展的趨勢是既要“頂天”又要“立地”

1964年，有“超算之父”之稱的Seymour Cray研制的CDC 6600問世，并安裝到美國Livermore和Los Alamos國家實驗室，開啟了高性能計算技術(shù)和產(chǎn)業(yè)60年的持續(xù)發(fā)展與繁榮。超算的宏觀發(fā)展趨勢是既要“頂天”，又要“立地”?！绊斕臁钡暮x是性能高、算得快，人類對計算速度的需求是永無止境的，所以追求性能的巔峰是第一動力?！傲⒌亍钡暮x是應(yīng)用廣、臺數(shù)多，超算的本質(zhì)還是一臺高端的計算裝備，是裝備就要被用得越多、越廣，越能體現(xiàn)出它的價值，所以進入各行各業(yè)、形成產(chǎn)業(yè)規(guī)模是超算發(fā)展雙輪驅(qū)動的另一個輪子。

高性能計算60年的演變路線可簡單地分為2個階段：Cray時代和多計算機時代。① Cray時代。從20世紀60—90年代初期的30年被稱為“Cray時代”，以單一內(nèi)存向量機的技術(shù)革新為主導(dǎo)，Cray定義和引領(lǐng)了前30年的高性能計算市場。第一個30年研制以“頂天”為主，僅服務(wù)于國家戰(zhàn)略部門。② 多計算機時代。從 20世紀 90年代迄今的后30年被稱為“多計算機時代”，由于微處理器的出現(xiàn)，以及大量工業(yè)標準硬件的普及，以大規(guī)模互連多個通用乃至商用的計算部件的可擴展系統(tǒng)結(jié)構(gòu)的技術(shù)創(chuàng)新主導(dǎo)了迄今為止的高性能計算發(fā)展。后30年的高性能計算機在滿足國家戰(zhàn)略應(yīng)用對性能巔峰需求的同時，“立地”成為發(fā)展的主要目標，市場驅(qū)動、高性能計算應(yīng)用普及成為第二階段的顯著特點。

美國的Jack Dongrra教授等于1993年發(fā)起了全球超級計算機排名TOP500，其成為高性能計算機發(fā)展的風向標。世界上浮點運算速度最快的機器從1988年的2 Gflops增長到2018年11月份143 Pflops，提高了760億倍。高性能計算機被視為世界各國競相爭奪的科技戰(zhàn)略制高點，是國之重器。西方國家對中國實施了長期的技術(shù)封鎖和市場壟斷，歷史上巴統(tǒng)對中國進口計算機在性能指標上的限制、進口的計算機要關(guān)在玻璃房子里被外國員工監(jiān)管使用，都是曾經(jīng)發(fā)生過的事件。

目前，中國高性能計算機領(lǐng)域存在的沒得用、不適用、用不起的嚴重問題制約著國家的可持續(xù)發(fā)展。① 沒得用。正如李國杰院士當年在給國家科委的報告中指出，“盡管我國也研制了一兩臺上億次的計算機，但從總體來看，我國的計算機水平比國外落后十幾年”。在計算資源嚴重不足的形勢下，國家全力研制的有限的幾臺高性能計算機系統(tǒng)僅能滿足少數(shù)國家重要戰(zhàn)略部門的需求，其他用戶能得到的機器的性能與國外相比差10年以上。② 不適用?？捎玫南到y(tǒng)主要是大型機和大規(guī)模并行計算機（MPP）等“專用”系統(tǒng)。這里的專用并不是說它們只能運行某種應(yīng)用，而是指組成部件是專門設(shè)計的，如CPU板、內(nèi)存板、I/O板和操作系統(tǒng)，都是不能在其他系統(tǒng)中使用的。因而導(dǎo)致用戶群窄小，只應(yīng)用在科學(xué)計算類的“象牙塔”中，對各行各業(yè)的迫切需求的適配性很差，計算效率很差。③ 用不起。由于高性能計算機一直被視為國之重器，國內(nèi)市場被IBM等國外企業(yè)壟斷，價格昂貴，國產(chǎn)品牌的市場基本為零。國內(nèi)科研單位研制的有限的幾臺高性能計算機系統(tǒng)由于技術(shù)架構(gòu)的原因價格性能比很高，沒法大面積推廣，更沒法形成產(chǎn)業(yè)。

作為中國高性能計算機研制的重要力量，中國科學(xué)院計算技術(shù)研究所、國防科技大學(xué)和江南計算所等國內(nèi)企事業(yè)單位從20世紀90年代開始，堅持不懈地開展了追趕與超越美、日等西方國家高性能計算機的研制工作。中國科學(xué)院計算技術(shù)研究所在“863”計劃306主題支持下成立了國家智能計算機研究開發(fā)中心（以下簡稱“智能中心”），著力發(fā)展既要“頂天”更要“立地”的高性能計算機。尤其要攻克應(yīng)用廣、臺數(shù)多，以及形成高性能計算機產(chǎn)業(yè)的難點。重點發(fā)展低費效比的架構(gòu)與并行處理技術(shù)，從共享存儲對稱多處理器結(jié)構(gòu)（SMP）開始，到海量并行處理結(jié)構(gòu)（MPP），最后發(fā)展機群系統(tǒng)（Cluster）架構(gòu)，有效踐行了“863”計劃提出的“頂天立地”戰(zhàn)略。在基礎(chǔ)理論創(chuàng)新、關(guān)鍵技術(shù)突破、應(yīng)用推廣和產(chǎn)業(yè)化推進上作出系統(tǒng)性的貢獻。

2 “曙光”之路的“三叉戟”

智能中心啟動研制“曙光”高性能計算機（以下簡稱“曙光機”）時，正趕上國際高性能計算發(fā)展的技術(shù)轉(zhuǎn)折時期。智能中心經(jīng)過深入反復(fù)調(diào)研確立了2個基本點：① 計算機技術(shù)發(fā)展雖然日新月異，但已經(jīng)形成了一系列的國際工業(yè)標準，要研制滿足市場需要能“頂天立地”的高性能計算機，絕不能脫離工業(yè)標準；② 計算機產(chǎn)業(yè)發(fā)展趨勢是從垂直型到水平型，要在增值鏈上選擇對中國來說最佳的創(chuàng)新增值環(huán)節(jié)，把低費效比、縮短研制周期、機器推出時具有市場競爭力，作為優(yōu)先考慮因素。

在統(tǒng)一認識的基礎(chǔ)上，智能中心明確提出堅定不移地按照“863”計劃“發(fā)展高技術(shù)、實現(xiàn)產(chǎn)業(yè)化”的宗旨來發(fā)展曙光機，其內(nèi)涵是：系統(tǒng)地發(fā)展機群架構(gòu)技術(shù)體系，使得曙光機的計算速度不斷提高、適用的應(yīng)用領(lǐng)域不斷擴大、機器臺數(shù)不斷增多，即“曙光”之路的“三叉戟”——性能、應(yīng)用和產(chǎn)業(yè)?！笆锕狻眻F隊的科研人員，歷經(jīng)30年始終堅持這一發(fā)展戰(zhàn)略，成功研制了一代又一代曙光高性能計算機：計算速度提升了1.2億倍，趕上國際最高水平；應(yīng)用領(lǐng)域覆蓋46個行業(yè)，在石油勘探等國家關(guān)鍵行業(yè)打破國外廠商壟斷；國產(chǎn)品牌高性能計算機由市場占有率為0到實現(xiàn)領(lǐng)先。中國品牌在TOP100排名中，連續(xù)8年份額第1，超過IBM和HP等國際巨頭；中國在TOP500排名中的臺數(shù)份額也超過了美國。曙光機作為大國重器，部署在國家互聯(lián)網(wǎng)應(yīng)急中心，以及上海、深圳、中國科學(xué)院3個國家級超算中心。

曙光機通過突破低費效比的機群架構(gòu)的關(guān)鍵技術(shù)，發(fā)展了機群訪存技術(shù)體系，同時兼顧了計算速度、應(yīng)用廣度和產(chǎn)業(yè)規(guī)模。

（1）速度提升 1.2億倍。曙光機計算速度趕上并超過國際最高水平的道路具有自己的特色。一方面，發(fā)展國際主流技術(shù)，果斷選擇并行處理技術(shù)為基礎(chǔ)研制對稱多處理器結(jié)構(gòu)、海量并行處理結(jié)構(gòu)，再轉(zhuǎn)化到采用通用處理部件的機群，以國際主流技術(shù)趕上世界最高水平。另一方面，在增值鏈上發(fā)展自己的“撒手锏”核心技術(shù)，如高速互連網(wǎng)絡(luò)、機群操作系統(tǒng)等，解決了高性能計算機用低成本的通用部件來構(gòu)建高性能整機的世界難題。支持可擴展設(shè)計的機群訪存技術(shù)體系，成功將機群規(guī)模從數(shù)十臺擴展到千、萬級別。這一體系不斷豐富，沿用至今，為我國高性能計算機研制開辟了機群架構(gòu)這一新的技術(shù)道路。

（2）應(yīng)用覆蓋46個行業(yè)。和歷代國產(chǎn)系統(tǒng)一樣，曙光機的研制過程中也遇到了應(yīng)用推廣上的難關(guān)：國外購買的應(yīng)用軟件不能在曙光機上運行。本著“有所為，有所不為”的原則，曙光機在國際上機群操作系統(tǒng)尚未形成工業(yè)標準的時候，率先實現(xiàn)出微內(nèi)核單一映像機制的機群操作系統(tǒng)，一舉突破在用戶空間實現(xiàn)操作系統(tǒng)核心功能的關(guān)鍵技術(shù)，讓跑在國外高性能機上的行業(yè)應(yīng)用很容易遷移到國產(chǎn)機上，從而成功移植大量石油勘探行業(yè)的核心軟件。同時，以網(wǎng)絡(luò)、生物數(shù)據(jù)為代表的行業(yè)應(yīng)用，大多屬于數(shù)據(jù)密集型，數(shù)據(jù)量大，應(yīng)用之間計算特征差異大，要求算得快且功耗低。因此，光靠擴展系統(tǒng)的規(guī)模效率很低，將遇到功耗天花板。智能中心通過突破基于計算-訪存模式的負載加速技術(shù)，研制的高效能機群加快了曙光機進入眾多行業(yè)的進程，使曙光機成為國家互聯(lián)網(wǎng)應(yīng)急中心等國家戰(zhàn)略部門的核心裝備，并部署到了20多個國內(nèi)和海外的城市云計算中心，成為我國公共計算基礎(chǔ)設(shè)施的主力機型。

（3）中國TOP100排名份額第1。曙光機堅持不盲目攀比計算速度，始終以既要“頂天”更要“立地”。以占領(lǐng)市場為目標，曙光團隊提出了SUMA的系統(tǒng)設(shè)計理念，即可擴展性（scalability）、好用性（usability）、可管理性（manageability）和可用性（availability）；堅持聚焦機群系統(tǒng)中增值最高的技術(shù)，如在不知道節(jié)點操作系統(tǒng)源碼的約束條件下開發(fā)與其密切聯(lián)系的可擴展文件系統(tǒng)、零拷貝用戶空間消息傳遞、單一IP登陸點等關(guān)鍵技術(shù)，實現(xiàn)對整個機群幾百個處理單元的單一映像的系統(tǒng)管理、資源管理、作業(yè)管理和文件管理等。曙光機既能向上擴展規(guī)模，保證性能接近線性增長；同時又保證向下縮小規(guī)模時，成本上有競爭力，將機群的6個主要子系統(tǒng)實現(xiàn)了工作標準化，支撐了規(guī)模產(chǎn)業(yè)化。除了曙光公司成為國內(nèi)第一個以高性能計算機為主業(yè)的上市公司外，通過人員轉(zhuǎn)移、技術(shù)輻射也幫助到聯(lián)想、華為等公司，支撐了中國高性能計算機產(chǎn)業(yè)的形成和壯大。

3 翻越中國高性能計算發(fā)展道路上的“三座大山”

縱觀中國高性能計算的發(fā)展，是中國科研人員艱苦奮斗、開拓進取的歷程，翻越了打破封鎖（1956—1995年）、打破壟斷（1996—2015年）和引領(lǐng)創(chuàng)新（2016年至今）的“三座大山”，逐步縮小了與國外研制水平的差距，并最終在整機系統(tǒng)設(shè)計和關(guān)鍵技術(shù)上取得了世界領(lǐng)先的成就。

3.1 打破封鎖

這一階段，我國在國外封鎖的條件下，研制專門的高性能計算機為“兩彈一星”等國家重大戰(zhàn)略需求提供支撐。研制機器的主要應(yīng)用在國防軍事領(lǐng)域，以及傳統(tǒng)科學(xué)計算領(lǐng)域。代表性的系統(tǒng)包括電子管計算機（如103機、104機、119機）、晶體管計算機（如109乙機、109丙機）、基于中小規(guī)模集成電路的計算機（如DJS系列、757機、“銀河-I”），以及基于超大規(guī)模集成電路的計算機（如“銀河-II”“曙光一號”“曙光1000”）。由于國內(nèi)發(fā)展電子計算機技術(shù)本身起步比國際上晚，再加上西方國家的封鎖和禁運，這些機器的研制只能采取“全部采用國產(chǎn)器材，依靠自己的技術(shù)力量”的技術(shù)路線，大都耗費了較長的研制周期，研制成果也不可能實現(xiàn)商品化、產(chǎn)業(yè)化，但對打破國外的封鎖都具有里程碑式的意義?！笆锕庖惶枴闭Q生后僅3天，西方國家便宣布解除10億次計算機對中國的禁運。

3.2 打破壟斷

隨著國內(nèi)各行各業(yè)對高性能計算的需求急劇增加并呈多樣化，以及改革開放的浪潮，很多國外高性能計算機品牌（如IBM、HP、SGI、SUN等）涌入中國市場，這些國際巨頭在民用市場形成了壟斷地位。根據(jù)國家“863”計劃的部署，智能中心承擔起探索在改革開放條件下研制高性能計算機的新路的重任，做到“既要頂天，又要立地”。曙光機群高性能計算機在市場上的強力競爭，徹底改變了由國際大廠商制定的游戲規(guī)則，迫使國外大公司采取“跳樓價”。曾經(jīng)在一段時間內(nèi)，IBM 服務(wù)器在中國市場上的平均折扣已大到不可思議的 94%，即標價100萬美元的服務(wù)器平均只賣6萬美元。正是因為在技術(shù)和市場兩方面都具備了能與國際巨頭媲美的實力，對很多行業(yè)應(yīng)用性能更高、價格更便宜、功耗更低，中科曙光成為國內(nèi)第一家以高性能計算機為主業(yè)的上市公司?！吧裢薄疤旌印毕盗谐売嬎銠C通過建設(shè)國家超算中心，也服務(wù)了大量的高性能計算的用戶。目前，高性能計算在我國科研單位、大學(xué)基本實現(xiàn)了普及。

3.3 引領(lǐng)創(chuàng)新

由于高性能計算機的“國之重器”的特殊屬性，當中國的高性能計算機技術(shù)和產(chǎn)業(yè)水平發(fā)展起來后，西方國家開始從產(chǎn)業(yè)鏈條和技術(shù)層面進行遏制。一方面，在核心部件上“卡脖子”，如高性能處理器、高性能加速器、高性能互聯(lián)芯片；另一方面，加快發(fā)展顛覆性的架構(gòu)與核心技術(shù)。我國高性能計算的科技人員已經(jīng)意識到這一嚴峻局勢，決心走上引領(lǐng)創(chuàng)新之路?！笆锕狻薄吧裢薄疤旌印倍奸_始自主研制高性能處理器和加速器，用自己的核心部件構(gòu)建世界上最快的計算機。2010年6月，“曙光6000”系統(tǒng)排名世界第2，從此開啟中國高性能計算機持續(xù)占據(jù)超算排名前三甲的序幕。基于Intel MIC異構(gòu)眾核的“天河一”“天河二”系統(tǒng)和申威片內(nèi)異構(gòu)眾核處理器的“神威·太湖之光”系統(tǒng)分別排名世界第1。基于“神威·太湖之光”超算系統(tǒng)上的應(yīng)用獲得了Gordon Bell獎?；诤９馓幚硇酒摹笆锕?000”（Nebula-AI）的多個負載的實測性能也超過了排名世界第1的Summit。

在面向數(shù)據(jù)密集、人工智能、生物基因測序等新型應(yīng)用上，智能中心發(fā)展了突破性的架構(gòu)和關(guān)鍵技術(shù)。智能中心早在研制“曙光 4000”系統(tǒng)的時候就開始把數(shù)據(jù)密集型應(yīng)用作為重要的負載，針對應(yīng)用負載呈現(xiàn)的訪存空間不規(guī)則、訪存時間也不規(guī)則、計算-訪存比低的科學(xué)問題，發(fā)展了高通量計算的基礎(chǔ)理論、關(guān)鍵技術(shù)、核心芯片與整機系統(tǒng)。針對人工智能應(yīng)用，發(fā)展了基于“寒武紀”神經(jīng)網(wǎng)絡(luò)處理器的智能超算系統(tǒng)，性能預(yù)計將沖擊世界最高指標。

4 挑戰(zhàn)

高性能計算機發(fā)展的挑戰(zhàn)可以分為在摩爾定律失效前如何可持續(xù)地構(gòu)建 E級系統(tǒng)，和后摩爾定律時代的革命性技術(shù)。

（1）可持續(xù)地構(gòu)建E級系統(tǒng)。高性能計算正處于向E級（1018）邁進的時代，中美兩國都相繼宣布了 E級超級計算機的研制計劃。盡管突破 E級計算關(guān)口的相關(guān)技術(shù)路線基本明確，但如何構(gòu)建可持續(xù)的E級超算系統(tǒng)，如數(shù)百Eflops系統(tǒng)的技術(shù)路線尚不明確。在未來新型器件真正成熟之前，最大的挑戰(zhàn)是如何在高性能計算機體系結(jié)構(gòu)和系統(tǒng)技術(shù)上的創(chuàng)新，應(yīng)對整個系統(tǒng)的部件復(fù)雜度和能耗難以承受的問題，持續(xù)發(fā)展數(shù)百Eflops的系統(tǒng)。

（2）后摩爾定律時代的超算系統(tǒng)。隨著集成電路的發(fā)展進入后摩爾時代，器件特征尺寸已趨于物理極限，當前器件的原理和結(jié)構(gòu)已經(jīng)難以滿足未來Z級（1021）乃至更高性能Y級（1024）超級計算機的要求。如何利用新型器件是構(gòu)建后 E級時代超算系統(tǒng)的首要挑戰(zhàn)，包括：基于光學(xué)計算原理和超導(dǎo)計算原理的新型器件、基于硅光技術(shù)的新型互連和量子計算機等。

5 政策建議

作為科技戰(zhàn)略的制高點，高性能計算機是“三個面向”的典型代表。因此，以下圍繞“面向世界科技前沿，面向國家重大需求，面向國民經(jīng)濟主戰(zhàn)場”闡述關(guān)于我國高性能計算機發(fā)展的政策建議。

（1）面向世界科技前沿。高性能計算機的研制代表了電子信息技術(shù)的發(fā)展前沿，建議在面向 Z級計算的光學(xué)計算機、超導(dǎo)計算機、硅光集成技術(shù)、存算一體器件等，在面向Y級計算的量子計算機、非圖靈計算模型等方面加強基礎(chǔ)前沿技術(shù)的顛覆性突破。

（2）面向國家重大需求。高性能計算機始終在服務(wù)國家重大需求，如核武器、航空航天、高能物理和氣候模擬等應(yīng)用，高性能計算機已經(jīng)成為這些戰(zhàn)略部門的基礎(chǔ)設(shè)施。除了這些以科學(xué)計算為核心的應(yīng)用，當前，圍繞數(shù)據(jù)科學(xué)和智能計算發(fā)展起來的應(yīng)用已經(jīng)成為新的國家重大需求，對高性能計算提出了更高、更新的挑戰(zhàn)。特別地，急需建設(shè)面向大數(shù)據(jù)科學(xué)和面向人工智能的高性能計算基礎(chǔ)設(shè)施。同時，需要在高性能計算機系統(tǒng)的評價指標上做出相應(yīng)調(diào)整，不能單純以 Linpack指標作為衡量高性能計算機的唯一指標，而是既要算得快又要算得多，要研究出多維度衡量體系，以引導(dǎo)高性能計算機健康、全面發(fā)展。

（3）面向國民經(jīng)濟主戰(zhàn)場。回顧中國高性能計算發(fā)展歷史，相比計算機的研制，高性能計算機推廣應(yīng)用的歷程更加艱辛。20世紀80年代，錢學(xué)森就指出研制巨型機首先要解決并行計算問題，包括機器軟件和算題軟件等。他嚴肅批評過去忙于制造機器，至于怎么用不大重視，他曾在署名文章中大聲疾呼：“這個問題必須提到議事日程上來，這樣才能充分發(fā)揮巨型機的作用?！北疚恼J為，要解決這一嚴峻問題，一方面要充分重視應(yīng)用軟件的攻關(guān)，另一方面要重視促使高性能計算普及的技術(shù)，如云超算、云化并行編程等?！?/p>