張紅杰 楊德興 尹龍 林輝 趙玉梅 馬迅飛

摘? 要： 高性能計算已成為運行RTM逆時偏移、FWI全波形反演等復雜運算的有效手段。隨著"兩寬一高”等勘探技術(shù)的發(fā)展，野外采集的數(shù)據(jù)量越來越大，先進的勘探方法帶來更為復雜的計算，單套PC集群的軟硬件配置及較低的網(wǎng)絡(luò)帶寬，已不能滿足PB級項目的技術(shù)要求。文章分析了當前IT資源面臨的主要問題，提出PC集群、網(wǎng)絡(luò)架構(gòu)、I/O存儲等優(yōu)化技術(shù)新思路，在整體系統(tǒng)效率、I/O性能改善、交互速度提升等方面取得了好的效果。

關(guān)鍵詞： PC集群; I/O; 網(wǎng)絡(luò); 交換機; MDS

中圖分類號：TP338.6? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2020）11-32-03

Abstract： HPC has become an effective method to run complex operations such as RTM （Renverse Time Migration） and FWI （Full Waveform Inversion）. With the development of exploration technologies such as "two wide and one height"， more and more data are collected in the field. Advanced exploration methods bring more complex calculation. The hardware and software configuration of a single set of PC cluster and the low network bandwidth cannot meet the technical requirements of the PB level projects. This paper analyzes the main problems faced by current IT resources， and proposes new ideas of optimization technologies such as PC cluster， network architecture and I/O storage， which have achieved good results in overall system efficiency， I/O performance improvement and interaction speed improvement.

Key words： PC cluster; I/O; network; switche; MDS

0 引言

計算機技術(shù)的發(fā)展日新月異，無論是服務器的計算性能，存儲的讀寫能力和容量，還是網(wǎng)絡(luò)帶寬和延遲，其技術(shù)指標都在急速增長，為石油勘探處理業(yè)務的快速發(fā)展提供了良好的計算環(huán)境。

近年來，隨著地震勘探精度的不斷提升和“兩寬一高”等勘探技術(shù)的應用，野外采集的數(shù)據(jù)量呈指數(shù)級增長。以前處理的單步數(shù)據(jù)體僅有幾十甚至上百TB，而目前的數(shù)據(jù)量已高達幾百或PB級，且RTM逆時偏移、FWI等新方法在處理業(yè)務上的應用，使其計算量成倍增長。

另外，甲方對數(shù)據(jù)處理周期的要求也將越來越短，因此，落后、低配置的高性能計算機，將不再適應地震數(shù)據(jù)處理的需要，而大規(guī)模購置高端的計算機資源，也會帶來巨大的投資成本。

1 IT資源問題分析

現(xiàn)代計算機是一種基于高速網(wǎng)絡(luò)、具備一定計算能力、圖形處理能力、I/O能力和存儲能力負載均衡的復雜系統(tǒng)，無論是單節(jié)點計算機能力還是網(wǎng)絡(luò)傳輸、I/O讀寫能力，任何一環(huán)出現(xiàn)問題，都將制約著整個系統(tǒng)的性能發(fā)揮。

一套PC集群隨著應用時間的延長，在設(shè)備引進之初時整套系統(tǒng)較為先進，運算性能較高，但在后來的運行中，由于數(shù)據(jù)量的增大和計算量的增多等原因，計算速度將變得緩慢，系統(tǒng)性能也變得落后。

1.1 節(jié)點配置問題

⑴ 內(nèi)置臨時盤容量小、性能低

長期以來，人們習慣于用“峰值運算速度”，作為超級計算能力的評價標準。但PC集群的實際應用性能，與其峰值性能相比，往往相差甚遠，特別是I/O能力嚴重制約了CPU的運算性能。

在處理業(yè)務中，一般將節(jié)點的內(nèi)置硬盤做成臨時盤，給作業(yè)的中間成果提供I/O讀寫，而臨時盤的性能對運行的影響很大。

隨著地震數(shù)據(jù)量增大，原有硬盤的空間小、性能低，硬盤的I/O能力僅為130MB/s，不能滿足目前處理業(yè)務的要求（圖1）。

⑵ 內(nèi)存配置小

大多數(shù)舊的節(jié)點，其內(nèi)存配置一般在64GB以下，在運行大的作業(yè)如深度偏移時，占用較大的交換區(qū)，從而使節(jié)點的運行效率下降。

1.2 網(wǎng)絡(luò)瓶頸問題

⑴ 集群之間的網(wǎng)絡(luò)瓶頸[1]

數(shù)據(jù)中心的計算資源，一般都是由多套相對獨立的PC集群組成，各集群之間通過核心交換機連接。大部分集群與核心交換機的帶寬為1-2*10GB/s，僅可以滿足遠程登錄、交互和小數(shù)據(jù)量的遠程訪問。

隨著應用需求的增長，跨系統(tǒng)遠程訪問存儲增加，原有的小帶寬網(wǎng)絡(luò)，限制了跨系統(tǒng)遠程訪問存儲的能力，使得遠程讀寫文件系統(tǒng)的效率大大降低。

⑵ 終端房與核心交換機間的帶寬瓶頸[1]

終端房與核心交換機的主干網(wǎng)絡(luò)，最大也只有2萬兆（2*10GB/s）帶寬，卻連接了近百臺終端設(shè)備，而每臺終端設(shè)備全部是千兆（1GB/s）網(wǎng)絡(luò)，主干網(wǎng)絡(luò)與多用戶設(shè)備的網(wǎng)絡(luò)需求不匹配。

1.3 文件讀寫問題

有些并行存儲的同一個目錄，是由一個MDS服務器控制和管理[2]。當同一個目錄下有大量的數(shù)據(jù)讀寫時，會導致某一MDS元數(shù)據(jù)服務器的負載較重，而使讀寫變慢。

地震處理項目的同一工區(qū)數(shù)據(jù)，往往都集中存放在某個盤的同一個目錄下，同一目錄下的文件可能達到上萬個或更多，當大量的作業(yè)進行磁盤I/O讀寫操作時，由于MDS服務器的影響，而使數(shù)據(jù)的讀寫速度變得非常慢（圖2）。

2 資源優(yōu)化技術(shù)研究

根據(jù)業(yè)務應用需求，適時對IT資源優(yōu)化重組，提高設(shè)備性能并延長其壽命，這是當前計算機資源優(yōu)化配置、系統(tǒng)集成與升級改造技術(shù)的研究重點與關(guān)鍵。

2.1 節(jié)點優(yōu)化技術(shù)

⑴ 將幾套128節(jié)點分散的小集群，升級為一套512節(jié)點的較大規(guī)模集群，并進行PB級數(shù)據(jù)處理系統(tǒng)的測試和優(yōu)化，形成PB級數(shù)據(jù)處理能力。

⑵ 將單節(jié)點的2塊硬盤，升級擴容到4-5塊硬盤，將多塊硬盤進行捆綁，提升讀寫空間大小。同時，將Ext3格式的文件系統(tǒng)改成Ext4格式，將Raid5改成Raid0[3]，打開Raid卡Cache緩存，優(yōu)化讀寫條帶大小，提升內(nèi)置硬盤的讀寫性能。

⑶ 針對高密度處理要求的大內(nèi)存配置，將64GB的內(nèi)存擴容到128GB，減少內(nèi)存訪問延遲，擴展訪問帶寬，降低對Swap交換區(qū)的占用，提升數(shù)據(jù)傳輸能力。

2.2 網(wǎng)絡(luò)優(yōu)化技術(shù)[4]

⑴ 將單節(jié)點的千兆網(wǎng)絡(luò)改為萬兆，同時部署萬兆集群交換機，提升每個集群節(jié)點的網(wǎng)絡(luò)傳輸能力。

⑵ 核心交換機的帶寬由2*10GB/s改為2*40GB/s，提升跨集群數(shù)據(jù)傳輸和遠程訪問能力;同時，終端房的交換機與核心交換機的級聯(lián)帶寬也升級為2*40GB/s，充分發(fā)揮桌面到萬兆網(wǎng)絡(luò)的帶寬能力，提升終端交互和遠程登錄的速度。

⑶ 對辦公網(wǎng)進行改造，將原有的100MB/s、1000MB/s網(wǎng)絡(luò)改成10GB/s，實現(xiàn)萬兆到桌面的遠程交互能力，解決了所有交互處理時的慢、卡、頓現(xiàn)象。

3 IT資源優(yōu)化效果

3.1 PC集群優(yōu)化效果

⑴ 本地盤優(yōu)化集成

將4塊內(nèi)置機械硬盤或2塊SSD固態(tài)硬盤，捆綁成Raid0并配置為臨時磁盤，并將Raid卡的Cache打開，文件系統(tǒng)做成新的Ext4格式[5]，條帶大小做成512Kb，用于中間成果數(shù)據(jù)的讀寫，極大提高了磁盤的讀寫性能，從而降低作業(yè)運行時間。

⑵ 內(nèi)存與網(wǎng)絡(luò)優(yōu)化

將內(nèi)存由64GB升級擴容到128GB，同時使用萬兆網(wǎng)卡替換現(xiàn)有的千兆網(wǎng)卡，部署萬兆集群交換機，提升集群節(jié)點綜合運算能力（圖3）。

3.2 網(wǎng)絡(luò)優(yōu)化效果

通過增大集群到核心交換機之間的網(wǎng)絡(luò)帶寬，將多套獨立的小集群整合為一套大的PC集群，實現(xiàn)了資源的集中統(tǒng)一，提升了集群間的數(shù)據(jù)傳輸能力，實現(xiàn)了PB級超大數(shù)據(jù)的并行處理能力，從而提高了作業(yè)運行速度，縮短了運行周期。

增大終端機房至主機房的上行網(wǎng)絡(luò)帶寬，提升了終端機房到主機房的訪問速度，尤其提升了用戶遠程交互能力。在終端房同時使用10臺工作站向主機房傳輸數(shù)據(jù)時，其平均速度從148MB/s上升到470MB/s，終端機房到主機房的網(wǎng)絡(luò)聚合帶寬有了明顯提升。

3.3 文件系統(tǒng)優(yōu)化效果

通過在文件系統(tǒng)下創(chuàng)建多個目錄，并將這些目錄設(shè)置為同一個項目的附盤，把地震數(shù)據(jù)和速度文件分散到不同的目錄下，使元數(shù)據(jù)的訪問分散到不同的MDS服務器上，降低單個MDS的負載，從而提高了數(shù)據(jù)的讀寫速度（圖4）。

4 結(jié)束語

通過自主技術(shù)創(chuàng)新、應用技術(shù)研究和開發(fā)技術(shù)創(chuàng)新，在很大程度上解決了PC集群存在的I/O瓶頸、網(wǎng)絡(luò)帶寬低、CPU計算資源與外設(shè)不匹配等諸多技術(shù)難題，提高了設(shè)備效率，同時降低了投資成本;其成果已經(jīng)在生產(chǎn)中得到廣泛應用和推廣，很好的解決了生產(chǎn)實際問題，取得了明顯的經(jīng)濟效益。

對于擁有上萬顆CPU、數(shù)億元計算機軟硬件資產(chǎn)的高性能計算中心而言，針對現(xiàn)有的計算機資源，進行合理配置、優(yōu)化集成、升級改造其軟硬件系統(tǒng)，以達到提高性能和效率的目的，其可挖掘的技術(shù)潛力巨大，非常值得持續(xù)開展一些新課題的研究。

參考文獻（References）：

[1] 高俊峰.高性能Linux服務器構(gòu)建實戰(zhàn)[M].機械工業(yè)出版社，2014.

[2] 宋振龍.面向超級計算的大規(guī)模并行存儲系統(tǒng)關(guān)鍵技術(shù)研究[D].國防科學技術(shù)大學，2014.

[3] 吳晨濤.信息存儲與IT管理[M].人民郵電出版社，2015.

[4] 俞朝暉等.計算機網(wǎng)絡(luò)技術(shù)使用寶典[M].中國鐵道出版社，2014.

[5] 余柏山等.系統(tǒng)管理與網(wǎng)絡(luò)管理[M].清華大學出版社，2016.