陳 煜，王樹偉，林 林，劉 穎

（中國(guó)水利水電科學(xué)研究院 信息中心，北京 100038）

全國(guó)山洪災(zāi)害防治管理平臺(tái)建設(shè)中的若干關(guān)鍵技術(shù)研究與實(shí)踐

陳 煜，王樹偉，林 林，劉 穎

（中國(guó)水利水電科學(xué)研究院 信息中心，北京 100038）

全國(guó)山洪災(zāi)害防治管理平臺(tái)是承載全國(guó)范圍山洪災(zāi)害調(diào)查評(píng)價(jià)數(shù)據(jù)采集、審核、匯集、監(jiān)測(cè)、預(yù)警和信息管理服務(wù)等重要任務(wù)的專業(yè)信息處理平臺(tái)。本文結(jié)合全國(guó)山洪災(zāi)害防治管理平臺(tái)建設(shè)實(shí)踐，論述了高性能計(jì)算、高可靠性存儲(chǔ)、云計(jì)算和氟冷一體化機(jī)柜等關(guān)鍵技術(shù)的研究與應(yīng)用，并結(jié)合IT新技術(shù)和新產(chǎn)品的集成應(yīng)用實(shí)踐，提出了實(shí)用、經(jīng)濟(jì)和環(huán)保的大型水利專業(yè)信息化云端平臺(tái)建設(shè)一體化解決方案。

山洪災(zāi)害；并行計(jì)算；云計(jì)算；氟冷一體化機(jī)柜；管理平臺(tái)

1 研究背景

全國(guó)山洪災(zāi)害防治管理平臺(tái)是承載全國(guó)范圍山洪災(zāi)害調(diào)查評(píng)價(jià)數(shù)據(jù)采集、審核、匯集、監(jiān)測(cè)、預(yù)警和信息管理服務(wù)等重要任務(wù)的專業(yè)信息處理平臺(tái)。該平臺(tái)的建設(shè)在充分利用建設(shè)單位現(xiàn)有信息化資源和技術(shù)優(yōu)勢(shì)的基礎(chǔ)上運(yùn)用了大量計(jì)算機(jī)科學(xué)界的新技術(shù)，以資源整合和信息共享為核心手段，集成建立具有高性能計(jì)算、高可靠性存貯、綜合信息服務(wù)和高速安全信息交換功能的專業(yè)信息處理平臺(tái)，支持匯集全國(guó)各省區(qū)山洪災(zāi)害調(diào)查評(píng)價(jià)成果，形成國(guó)家級(jí)山洪災(zāi)害調(diào)查評(píng)價(jià)數(shù)據(jù)庫(kù)和山洪災(zāi)害監(jiān)測(cè)預(yù)警信息管理服務(wù)系統(tǒng)，建立與水文、氣象、國(guó)土部門信息交換和知識(shí)共享渠道，管理全國(guó)山洪災(zāi)害監(jiān)測(cè)預(yù)警信息，進(jìn)行山洪災(zāi)害風(fēng)險(xiǎn)評(píng)估、趨勢(shì)分析與預(yù)報(bào)，提供山洪災(zāi)害預(yù)警信息宏觀服務(wù)，為國(guó)家防總和其他政府部門防災(zāi)決策提供技術(shù)支撐，為社會(huì)公眾提供山洪災(zāi)害防御信息服務(wù)。

全國(guó)山洪災(zāi)害防治管理平臺(tái)建設(shè)工作包括中央本級(jí)和地方各級(jí)分布式信息管理平臺(tái)的硬件平臺(tái)、信息系統(tǒng)和專業(yè)軟件等建設(shè)內(nèi)容。其中，中央本級(jí)硬件平臺(tái)建設(shè)任務(wù)為全國(guó)山洪災(zāi)害防治提供高效、便捷、安全、可靠的中央級(jí)專業(yè)信息平臺(tái)運(yùn)行環(huán)境。本文僅針對(duì)中央本級(jí)硬件平臺(tái)建設(shè)過(guò)程中涉及的高性能計(jì)算、高可靠性存儲(chǔ)、云計(jì)算、氟冷一體化系統(tǒng)及其整體平臺(tái)架構(gòu)等關(guān)鍵技術(shù)問題的研究與應(yīng)用進(jìn)行討論。

2 平臺(tái)總體架構(gòu)

全國(guó)山洪災(zāi)害防治管理平臺(tái)（中央本級(jí)）主要由高性能科學(xué)計(jì)算集群（HPCC）、高可靠性數(shù)據(jù)存儲(chǔ)集群（HASC）、山洪災(zāi)害防治信息服務(wù)系統(tǒng)（ISCS）、高速光纖信息交換網(wǎng)絡(luò)系統(tǒng)（HFNS）、安全無(wú)線網(wǎng)絡(luò)接入系統(tǒng)（SWLS）、計(jì)算機(jī)機(jī)房改造及其配套設(shè)施完善等內(nèi)容，為全國(guó)山洪災(zāi)害防治提供高效、便捷、安全、可靠的中央級(jí)專業(yè)信息平臺(tái)運(yùn)行環(huán)境。平臺(tái)總體架構(gòu)如圖1所示。

HPCC提供高速度、高精度、大容量并行計(jì)算能力，支持山洪災(zāi)害預(yù)測(cè)、預(yù)報(bào)和預(yù)警處理過(guò)程中的各種計(jì)算密集型應(yīng)用；HASC提供高可靠性快速讀寫大吞吐量存儲(chǔ)能力，支持全國(guó)山洪災(zāi)害調(diào)查評(píng)價(jià)數(shù)據(jù)匯集和存儲(chǔ)管理應(yīng)用；ISCS提供基于云計(jì)算的虛擬化信息服務(wù)能力，支持全國(guó)山洪災(zāi)害調(diào)查評(píng)價(jià)數(shù)據(jù)采集、審核、匯集、監(jiān)測(cè)、預(yù)警等專業(yè)信息服務(wù)應(yīng)用；HFNS和SWLS提供雙信道高速、寬帶、安全網(wǎng)絡(luò)通信傳輸能力，支持全國(guó)山洪災(zāi)害防治管理平臺(tái)的數(shù)據(jù)交換與信息共享；計(jì)算機(jī)機(jī)房改造及其配套設(shè)施完善提供基于第IV代制冷技術(shù)的氟冷一體化機(jī)柜、不間斷電力供應(yīng)和機(jī)房運(yùn)維自動(dòng)監(jiān)控能力，支持全國(guó)山洪災(zāi)害防治管理平臺(tái)的正常運(yùn)行。

圖1 全國(guó)山洪災(zāi)害防治管理平臺(tái)總體架構(gòu)

3 關(guān)鍵技術(shù)研究與應(yīng)用

3.1 高性能計(jì)算 高性能計(jì)算（High performance computing，HPC）是指使用多個(gè)處理器或多臺(tái)計(jì)算機(jī)的計(jì)算系統(tǒng)及其環(huán)境［1］。大多數(shù)基于集群的HPC系統(tǒng)使用高性能網(wǎng)絡(luò)互連（例如InfiniBand、Myrinet等），常用簡(jiǎn)單的總線拓?fù)浣Y(jié)構(gòu)組織高性能網(wǎng)絡(luò)拓?fù)?，網(wǎng)狀網(wǎng)能夠改善高性能網(wǎng)絡(luò)效能及數(shù)據(jù)傳輸速率，實(shí)現(xiàn)更高的網(wǎng)絡(luò)性能。

山洪災(zāi)害防治管理需要實(shí)時(shí)處理大量山洪災(zāi)害調(diào)查評(píng)價(jià)數(shù)據(jù)，進(jìn)行動(dòng)態(tài)建模、精細(xì)計(jì)算和仿真分析。該平臺(tái)采用刀片架構(gòu)建立并行計(jì)算集群，是性價(jià)比較為優(yōu)越的有效解決方案之一，支持山洪災(zāi)害預(yù)測(cè)、預(yù)報(bào)和預(yù)警過(guò)程中各種計(jì)算密集型應(yīng)用業(yè)務(wù)的高性能科學(xué)計(jì)算。

全國(guó)山洪災(zāi)害防治管理平臺(tái)的高性能科學(xué)計(jì)算集群系統(tǒng)架構(gòu)見圖2，集群配置我國(guó)自主知識(shí)產(chǎn)權(quán)的曙光TC6400H刀箱架構(gòu)平臺(tái)，64臺(tái)雙路刀片服務(wù)器作為集群并行計(jì)算節(jié)點(diǎn)，每個(gè)刀片服務(wù)器配置2顆Intel Xeon E5-2620 v2處理器（6核心，主頻2.1GHz），8×8GB DDR3 1600MHz ECC REG四通道內(nèi)存，2個(gè)千兆以太網(wǎng)接口，1個(gè)56Gb FDR InfiniBand網(wǎng)絡(luò)接口，1塊300GB SAS硬盤。集群支持Linux和Windows操作系統(tǒng)，提供Fortran、C、C++語(yǔ)言編程環(huán)境和MPI、OpenMP并行計(jì)算程序庫(kù)。集成后的計(jì)算集群整體為64個(gè)計(jì)算節(jié)點(diǎn)、128個(gè)CPU、768核、4TG內(nèi)存，雙精度浮點(diǎn)計(jì)算峰值能力達(dá)到12.9萬(wàn)億次/s，能夠滿足全國(guó)山洪災(zāi)害防治管理平臺(tái)的計(jì)算密集型應(yīng)用需求。

3.2 高可靠性存儲(chǔ) 全國(guó)山洪災(zāi)害防治管理平臺(tái)需要面向全國(guó)，實(shí)時(shí)處理和存儲(chǔ)管理大量山洪災(zāi)害調(diào)查評(píng)價(jià)數(shù)據(jù)，大容量、快速存取和高可靠性是對(duì)山洪災(zāi)害防治管理數(shù)據(jù)存儲(chǔ)應(yīng)用的關(guān)鍵需求。充分利用傳統(tǒng)網(wǎng)絡(luò)存儲(chǔ)技術(shù)（Network Storage Technologies）和現(xiàn)代并行存儲(chǔ)（PDS：distributed Parallel Da-ta Storage Technology）技術(shù)，建立高可靠性存儲(chǔ)集群，支持山洪災(zāi)害數(shù)據(jù)存儲(chǔ)管理和大數(shù)據(jù)處理應(yīng)用業(yè)務(wù)。

圖2 高性能計(jì)算集群系統(tǒng)架構(gòu)

傳統(tǒng)網(wǎng)絡(luò)存儲(chǔ)大致可分為3種結(jié)構(gòu)：（1）直連式存儲(chǔ)（DAS：Direct Attached Storage）；（2）網(wǎng)絡(luò)存儲(chǔ)設(shè)備（NAS：Network Attached Storage）；（3）存儲(chǔ)網(wǎng)絡(luò)（SAN：Storage Area Network）［2］。隨著信息技術(shù)的發(fā)展及其應(yīng)用普及，數(shù)據(jù)爆炸性增長(zhǎng)，PB規(guī)模的非結(jié)構(gòu)化數(shù)據(jù)越來(lái)越常見，針對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)處理的密集型I/O及海量并發(fā)訪問需求的PDS技術(shù)應(yīng)運(yùn)而生，并逐漸成為代表存儲(chǔ)技術(shù)、網(wǎng)絡(luò)通信技術(shù)以及數(shù)據(jù)管理技術(shù)集成發(fā)展方向的新型存儲(chǔ)體系架構(gòu)。

全國(guó)山洪災(zāi)害防治管理平臺(tái)節(jié)點(diǎn)級(jí)存儲(chǔ)（包括計(jì)算節(jié)點(diǎn)、管理節(jié)點(diǎn)、業(yè)務(wù)邏輯節(jié)點(diǎn)等）采用DAS技術(shù)，結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)采用NAS技術(shù)，數(shù)據(jù)匯總和容錯(cuò)/容災(zāi)處理采用SAN技術(shù)，非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和高性能計(jì)算、流式計(jì)算過(guò)程中的數(shù)據(jù)存儲(chǔ)采用PDS技術(shù)。

全國(guó)山洪災(zāi)害防治管理平臺(tái)的NAS存儲(chǔ)集群系統(tǒng)架構(gòu)見圖3，包括我國(guó)自主知識(shí)產(chǎn)權(quán)的曙光DS900 NAS盤陣列3臺(tái)，配置6個(gè)DS900-G10控制器和72GB一級(jí)Cache，對(duì)外提供12個(gè)10Gb、12個(gè)1Gb IP主機(jī)接口以及12個(gè)4Gb FC主機(jī)接口（其中12個(gè)10Gb以及12個(gè)1Gb IP可分別接入2個(gè)數(shù)據(jù)網(wǎng)絡(luò)的以太網(wǎng)交換機(jī)，組成冗余數(shù)據(jù)訪問鏈路，為上層計(jì)算節(jié)點(diǎn)提供NAS存儲(chǔ)服務(wù)），提供NFS和CIFS兩種NAS存儲(chǔ)訪問協(xié)議，共配置6套滿配24塊7200RPM 4TB SATA硬盤擴(kuò)展柜，可對(duì)外提供504TB裸容量的數(shù)據(jù)存儲(chǔ)空間。

并行存儲(chǔ)系統(tǒng)由索引控制器、數(shù)據(jù)控制器、管理控制器和應(yīng)用服務(wù)器客戶端等組成。其中，索引控制器用于管理存儲(chǔ)系統(tǒng)的所有索引數(shù)據(jù)和命名空間，對(duì)外提供單一的全局映像。數(shù)據(jù)控制器用于提供數(shù)據(jù)存儲(chǔ)空間，并實(shí)現(xiàn)支持多個(gè)副本文件的并行存取。管理控制器提供統(tǒng)一的控制管理界面，管理員通過(guò)該節(jié)點(diǎn)管理整個(gè)存儲(chǔ)系統(tǒng)。應(yīng)用服務(wù)器客戶端向上層應(yīng)用提供數(shù)據(jù)訪問接口。

圖3 NAS存儲(chǔ)集群系統(tǒng)架構(gòu)

圖4 并行存儲(chǔ)系統(tǒng)架構(gòu)

全國(guó)山洪災(zāi)害防治管理平臺(tái)的并行存儲(chǔ)系統(tǒng)（架構(gòu)見圖4）采用固態(tài)硬盤（SSD）+串行連接SCSI（SAS）硬盤分級(jí)存儲(chǔ)結(jié)構(gòu)的ParaStor200存儲(chǔ)系統(tǒng)，設(shè)計(jì)裸容量為56.88TB，聚合帶寬為不低于3GB/s；采用SSD和SAS磁盤相結(jié)合的優(yōu)勢(shì)在于熱點(diǎn)數(shù)據(jù)優(yōu)先存放在SSD分區(qū)，冷數(shù)據(jù)自動(dòng)遷移到SAS分區(qū)，熱數(shù)據(jù)可以回遷（數(shù)據(jù)遷移策略、綜合數(shù)據(jù)訪問頻率、文件大小等遷移策略均可干預(yù)和定制），數(shù)據(jù)遷移過(guò)程在SSD和SAS磁盤之間以數(shù)據(jù)塊級(jí)別并發(fā)實(shí)現(xiàn)，速度快且對(duì)存儲(chǔ)性能影響較小，整個(gè)數(shù)據(jù)遷移過(guò)程自動(dòng)。

3.3 云計(jì)算 云計(jì)算是基于互聯(lián)網(wǎng)的、大眾參與的、以服務(wù)形式提供的計(jì)算模式，其目的是資源分享與整合，其計(jì)算資源是動(dòng)態(tài)、可伸縮、且被虛擬化的［3］。云計(jì)算的技術(shù)特征是：彈性、透明、積木化、通用、動(dòng)態(tài)、多租賃和大用戶、大數(shù)據(jù)、大系統(tǒng)。云計(jì)算既是商業(yè)模式又是技術(shù)模式。云服務(wù)是商業(yè)模式，云計(jì)算平臺(tái)是技術(shù)模式。云服務(wù)也可以通過(guò)傳統(tǒng)技術(shù)提供，云平臺(tái)技術(shù)也可以支持傳統(tǒng)應(yīng)用。云平臺(tái)技術(shù)與云服務(wù)相結(jié)合是最理想的云計(jì)算，也是云計(jì)算的發(fā)展趨勢(shì)。

云計(jì)算采用虛擬化技術(shù)和云服務(wù)理念實(shí)現(xiàn)計(jì)算資源的動(dòng)態(tài)配置和可伸縮，從而能夠有效避免信息化應(yīng)用項(xiàng)目按高標(biāo)準(zhǔn)配置建設(shè)造成投入運(yùn)行初期大量資源閑置而形成的投資浪費(fèi)，以及按低標(biāo)準(zhǔn)配置建設(shè)隨著運(yùn)行周期的延長(zhǎng)和應(yīng)用推廣的深入而需要不斷增加投入擴(kuò)大建設(shè)規(guī)模和提升系統(tǒng)性能，導(dǎo)致反復(fù)重構(gòu)系統(tǒng)而形成的浪費(fèi)和麻煩［4］。

全國(guó)山洪災(zāi)害防治管理平臺(tái)建設(shè)，考慮到隨著山洪災(zāi)害調(diào)查評(píng)價(jià)數(shù)據(jù)的不斷豐富和山洪災(zāi)害監(jiān)測(cè)、預(yù)警和信息服務(wù)應(yīng)用不斷發(fā)展，會(huì)對(duì)平臺(tái)的計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源不斷提出越來(lái)越高的新要求，基于虛擬化技術(shù)搭建全國(guó)山洪災(zāi)害防治管理信息服務(wù)云平臺(tái)，可以為國(guó)家級(jí)山洪災(zāi)害調(diào)查評(píng)價(jià)數(shù)據(jù)審核匯集和山洪災(zāi)害監(jiān)測(cè)預(yù)警信息管理及服務(wù)應(yīng)用提供高效、穩(wěn)定、可靠，并具有可擴(kuò)展、靈活管理和架構(gòu)開放等特點(diǎn)的運(yùn)行環(huán)境。

全國(guó)山洪災(zāi)害防治管理平臺(tái)的應(yīng)用服務(wù)和數(shù)據(jù)服務(wù)區(qū)系統(tǒng)架構(gòu)見圖5，采用虛擬化技術(shù)配置6臺(tái)物理服務(wù)器作為公用計(jì)算資源池，模擬成多臺(tái)邏輯服務(wù)器，分別部署國(guó)家級(jí)山洪災(zāi)害調(diào)查評(píng)價(jià)數(shù)據(jù)審核匯集系統(tǒng)、國(guó)家級(jí)山洪災(zāi)害監(jiān)測(cè)預(yù)警信息管理及服務(wù)系統(tǒng)，并為以后的計(jì)算資源動(dòng)態(tài)擴(kuò)展提供基礎(chǔ)；配置4臺(tái)物理機(jī)搭建數(shù)據(jù)庫(kù)服務(wù)器RAC實(shí)時(shí)應(yīng)用集群，提供數(shù)據(jù)存儲(chǔ)管理功能；配置2臺(tái)服務(wù)器作為ArcGIS應(yīng)用服務(wù)器，提供地圖應(yīng)用服務(wù)；配置2臺(tái)物理服務(wù)器用作虛擬化控制服務(wù)器，確保虛擬化系統(tǒng)的可控性、可靠性和可監(jiān)控性；配置12盤位的存儲(chǔ)設(shè)備和雙控制器，通過(guò)雙光纖交換機(jī)將應(yīng)用物理服務(wù)器、ArcGIS服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器等進(jìn)行連接，實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的集群和冗余，提供負(fù)載均衡及災(zāi)備。

圖5 全國(guó)山洪災(zāi)害防治管理平臺(tái)云計(jì)算系統(tǒng)架構(gòu)

虛擬化系統(tǒng)物理服務(wù)器集群配置我國(guó)自主知識(shí)產(chǎn)權(quán)的浪潮NF8460M 3服務(wù)器產(chǎn)品6臺(tái)，采用Xenserver 6.2進(jìn)行虛擬化管理；數(shù)據(jù)庫(kù)服務(wù)器集群配置我國(guó)自主知識(shí)產(chǎn)權(quán)的浪潮NF8420M3服務(wù)器產(chǎn)品4臺(tái)，數(shù)據(jù)庫(kù)管理系統(tǒng)采用Oracle Database Enterprise Edition 11G附加Oracle Real Application Cluster 11G；地理信息系統(tǒng)服務(wù)器集群配置我國(guó)自主知識(shí)產(chǎn)權(quán)的浪潮NF8420M 3服務(wù)器產(chǎn)品2臺(tái)，地理信息管理系統(tǒng)采用ESRI ArcGIS 10.2 for server、ArcGIS 10.2 for Desktop、ArcGIS 10.2 Engine。虛擬化10臺(tái)虛擬服務(wù)器，分別用于以下運(yùn)行：（1）山洪災(zāi)害分析評(píng)價(jià)軟件；（2）數(shù)據(jù)分析軟件&文檔實(shí)時(shí)協(xié)同編輯系統(tǒng)；（3）山洪災(zāi)害調(diào)查過(guò)程質(zhì)量控制軟件；（4）Java應(yīng)用服務(wù)器軟件&監(jiān)測(cè)預(yù)警系統(tǒng)；（5）審核匯集系統(tǒng)；（6）山洪模擬系統(tǒng)；（7）審核匯集客戶端；（8）數(shù)據(jù)同步軟件；（9）數(shù)據(jù)分析軟件；（10）文檔實(shí)時(shí)協(xié)同編輯系統(tǒng)。

3.4 氟冷一體化機(jī)柜系統(tǒng) 全中山洪災(zāi)害防治管理平臺(tái)采用機(jī)柜排級(jí)（Row Level）技術(shù)特點(diǎn)的氟冷一體化機(jī)柜系統(tǒng)，保障平臺(tái)核心設(shè)備和關(guān)鍵系統(tǒng)的安全運(yùn)行。

氟冷一體化機(jī)柜系統(tǒng)突破傳統(tǒng)空調(diào)開放式送風(fēng)和地板下送風(fēng)的冷池制冷方法，采用密封氣流水平送風(fēng)模式，列間空調(diào)采用水平風(fēng)幕高壓送風(fēng)，以25～27℃定點(diǎn)將冷空氣直接送入機(jī)柜，縮短了空氣的循環(huán)路徑，提高了回風(fēng)溫度，極大地提高了運(yùn)行效率，滿足高密度機(jī)房制冷需求［5］。列間空調(diào)裝配采用數(shù)字化無(wú)刷直流外轉(zhuǎn)子電機(jī)的離心式風(fēng)機(jī)（EC風(fēng)機(jī)），氣流分布均勻，送風(fēng)更精準(zhǔn)。風(fēng)機(jī)可獨(dú)立控制，維修時(shí)不影響其它EC風(fēng)機(jī)工作。在智能化的基礎(chǔ)上，采用靈活的接管方式，上、下兩種方式均可選擇，配備進(jìn)口二通或三通比例水調(diào)節(jié)閥，根據(jù)負(fù)荷需要自動(dòng)調(diào)節(jié)制冷量，溫控精度更高，節(jié)能效果顯著。氟冷一體化機(jī)柜系統(tǒng)以熱通道封閉為基礎(chǔ)，通過(guò)機(jī)柜內(nèi)部服務(wù)器自身風(fēng)機(jī)的循環(huán)，省去了空調(diào)系統(tǒng)的室內(nèi)循環(huán)風(fēng)機(jī)，降低了空調(diào)系統(tǒng)功耗，提高了空調(diào)運(yùn)行效率，可以大幅度降低數(shù)據(jù)中心電源使用效率（PUE：Power Usage Effectiveness）。配置氟泵節(jié)能模塊，在低溫季節(jié)以氟泵運(yùn)行代替壓縮機(jī)制冷運(yùn)行，極大地降低了空調(diào)功耗。鋁鎂合金機(jī)柜帶有制冷、監(jiān)控、布線、配電和防雷等各個(gè)子系統(tǒng)，全封閉式系統(tǒng)節(jié)能、環(huán)保、穩(wěn)定、可靠。

4 結(jié)論

全國(guó)山洪災(zāi)害防治管理平臺(tái)是承載全國(guó)范圍山洪災(zāi)害調(diào)查評(píng)價(jià)數(shù)據(jù)采集、審核、匯集、監(jiān)測(cè)、預(yù)警和信息管理服務(wù)等重要任務(wù)的專業(yè)信息處理平臺(tái)。該平臺(tái)在建設(shè)過(guò)程中深入研究并采用了高性能計(jì)算、高可靠性存儲(chǔ)、云計(jì)算和氟冷一體化機(jī)柜系統(tǒng)等關(guān)鍵技術(shù)，成功實(shí)踐了實(shí)用、經(jīng)濟(jì)、環(huán)保的大型水利專業(yè)信息化云端平臺(tái)建設(shè)一體化解決方案，為全國(guó)山洪災(zāi)害防治提供高效、可靠、安全的信息化運(yùn)行資源環(huán)境。建設(shè)成果具有下列突出優(yōu)點(diǎn)。

（1）高性能計(jì)算集群。采用多并發(fā)鏈接轉(zhuǎn)換線纜技術(shù)（InfiniBand）網(wǎng)絡(luò)集成64個(gè)計(jì)算節(jié)點(diǎn)，共計(jì)128個(gè)CPU、768核、4TB內(nèi)存，實(shí)測(cè)運(yùn)算能力達(dá)到浮點(diǎn)雙精度計(jì)算12.26萬(wàn)億次/s，是目前全國(guó)水利系統(tǒng)計(jì)算速度最快和計(jì)算能力最強(qiáng)的高性能計(jì)算平臺(tái)。

（2）高可靠性存儲(chǔ)集群。利用傳統(tǒng)網(wǎng)絡(luò)存儲(chǔ)技術(shù)（NST）和現(xiàn)代并行存儲(chǔ)技術(shù)（PDST）建立高可靠性存儲(chǔ)集群，配置PDS和NAS分級(jí)存儲(chǔ)器，提供504TB+56.88TB（裸容量）的數(shù)據(jù)存儲(chǔ)空間，并配置后備磁帶庫(kù)和數(shù)據(jù)自動(dòng)備份恢復(fù)系統(tǒng)確保高可靠性。

（3）虛擬化服務(wù)器集群。采用虛擬化技術(shù)建立動(dòng)態(tài)可伸縮的服務(wù)器資源池，為應(yīng)用平臺(tái)提供靈活的虛擬服務(wù)器配置，分別部署國(guó)家級(jí)山洪災(zāi)害調(diào)查評(píng)價(jià)數(shù)據(jù)審核匯集系統(tǒng)、山洪災(zāi)害監(jiān)測(cè)預(yù)警信息管理及服務(wù)系統(tǒng)，并為后續(xù)的計(jì)算資源擴(kuò)展建立技術(shù)基礎(chǔ)和管理基礎(chǔ)。

（4）氟冷一體化機(jī)柜系統(tǒng)。采用新一代機(jī)柜排內(nèi)循環(huán)制冷，有效解決高密度制冷瓶頸，降低機(jī)房PUE值，節(jié)能降耗，降低對(duì)機(jī)房環(huán)境的依賴，具有高制冷能力、高可用性和節(jié)能環(huán)保等特點(diǎn)。

這一系列新技術(shù)及系統(tǒng)集成后構(gòu)成的一體化解決方案，體現(xiàn)了多層次的技術(shù)創(chuàng)新和模式創(chuàng)新，對(duì)于水利專業(yè)大型信息化平臺(tái)及其運(yùn)行環(huán)境建設(shè)，具有重要參考價(jià)值。

［1］ （德）Georg Hager Gerhard Wellein.高性能科學(xué)計(jì)算與工程計(jì)算［M］.北京：機(jī)械工業(yè)出版社，2013.

［2］ 劉鵬，等.中國(guó)云存儲(chǔ)發(fā)展報(bào)告［M］.北京：電子工業(yè)出版社，2013.

［3］ 吳基傳，等.云計(jì)算技術(shù)發(fā)展報(bào)告［M］.第三版.北京：科學(xué)出版社，2013.

［4］ 廣小明，等.虛擬化技術(shù)原理與實(shí)現(xiàn)［M］.北京：電子工業(yè)出版社，2012.

［5］ （美）Douglas Alger.數(shù)據(jù)中心經(jīng)典案例賞析［M］.北京：人民郵電出版社，2014.

The Research and practice of key techniques used in constructing management platform of national mountain torrent disaster prevention

CHEN Yu，WANG Shuwei，LIN Lin，LIU Ying
（Information center of China Institute of Water Resources and Hydropower Research，Beijing 100038，China）

The national mountain torrent disaster prevention management platform is a professional information processing platform.It has many important functions，such as nationwide mountain torrent disaster investigation and evaluation；data collecting，examining and verifying，marshalling，monitoring and early warning；information management service.Based on the practice of building the nationwide mountain torrent disaster prevention platform，this thesis expounds the research and practice of key techniques used in high performance computing；high reliability storage；cloud computing；fluorine cold integrated cabinet.Also on the basis of the new IT techniques，and practice of the integrated application of new products，it proposes a practical，economical and environmental protective eproject which can construct a huge water resource information integrated cloud platform.

mountain torrent disaster；parallel computing；cloud computing；fluorine coldintegrated cabinet；management platfrom

P337

A

10.13244/j.cnki.jiwhr.2016.01.006

1672-3031（2016）01-0036-06

（責(zé)任編輯：王成麗）

2015-10-29

中國(guó)水利水電科學(xué)研究院專項(xiàng)（IT0145C01201500000）

陳煜（1968-），男，北京人，本科，高級(jí)工程師，主要從事計(jì)算機(jī)科學(xué)、軟件開發(fā)、網(wǎng)絡(luò)工程和水利信息化技術(shù)的研究。E-mail：chenyu@iwhr.com