國(guó)產(chǎn)電磁高性能數(shù)值軟件在工業(yè)云平臺(tái)的實(shí)現(xiàn)

趙英燕，曹振南，蔣尋涯

(1. 南京航空航天大學(xué)電子信息工程學(xué)院，江蘇 南京 211106；2. 曙光信息產(chǎn)業(yè)股份有限公司，北京 100193 ；3. 上海東峻信息科技有限公司，上海 200000)

1 引言

隨著科學(xué)技術(shù)的快速進(jìn)步，數(shù)值仿真軟件在生物領(lǐng)域中的藥物篩選[1]、大氣科學(xué)領(lǐng)域的大氣環(huán)境模擬[2]、材料科學(xué)領(lǐng)域的新型石墨烯納米材料結(jié)構(gòu)模擬[3]、航空航天領(lǐng)域的電大尺寸的電磁仿真[4]等多個(gè)領(lǐng)域的研究中起到越來(lái)越重要的作用，依托于高性能計(jì)算的數(shù)值模擬應(yīng)用軟件研制已經(jīng)成為高性能計(jì)算(High Performance Computing，HPC)應(yīng)用領(lǐng)域的研究熱點(diǎn)[5，6]。另外，在電磁仿真計(jì)算中，數(shù)值仿真已經(jīng)成為研究和設(shè)計(jì)電磁器件和系統(tǒng)的主流方法。數(shù)值實(shí)驗(yàn)的基礎(chǔ)就是采用先進(jìn)的電磁仿真軟件系統(tǒng)。同時(shí)，隨著新一代信息技術(shù)的飛速發(fā)展，工業(yè)軟件化進(jìn)程已步入快車道。當(dāng)前，我國(guó)工業(yè)軟件市場(chǎng)長(zhǎng)期被國(guó)外企業(yè)占據(jù)，雖然國(guó)內(nèi)已形成了一定數(shù)量的自主工業(yè)軟件研發(fā)企業(yè)，但在工業(yè)設(shè)計(jì)、仿真軟件等研發(fā)方面基礎(chǔ)相對(duì)薄弱、研發(fā)力量和成果分散、工業(yè)仿真設(shè)計(jì)一體化云平臺(tái)短缺，無(wú)法形成工業(yè)軟件產(chǎn)業(yè)聚集和應(yīng)用示范效應(yīng)，嚴(yán)重制約了國(guó)家基礎(chǔ)設(shè)施和科學(xué)創(chuàng)新步伐。通過(guò)匯聚相關(guān)領(lǐng)域的優(yōu)勢(shì)企業(yè)，開展工業(yè)云平臺(tái)建設(shè)及應(yīng)用，推動(dòng)工業(yè)云平臺(tái)應(yīng)用與推廣示范，實(shí)現(xiàn)高端裝備關(guān)鍵領(lǐng)域的創(chuàng)新、研發(fā)、驗(yàn)證及應(yīng)用的全生命周期業(yè)務(wù)可持續(xù)發(fā)展，營(yíng)造工業(yè)云應(yīng)用的良好生態(tài)，持續(xù)洞察工業(yè)領(lǐng)域的產(chǎn)業(yè)發(fā)展趨勢(shì)和行業(yè)發(fā)展趨勢(shì)。

目前，國(guó)內(nèi)通用的高性能電磁仿真軟件主要有來(lái)自于國(guó)外的基于時(shí)域有限差分法(FDTD)的CST軟件、基于有限元算法的Ansys HFSS 軟件和基于矩量法的FEKO軟件[7]。本文通過(guò)基于FDTD和高頻算法的國(guó)產(chǎn)電磁高性能數(shù)值軟件EastWave在工業(yè)云平臺(tái)的實(shí)現(xiàn)，進(jìn)行軟件的功能和系統(tǒng)架構(gòu)調(diào)試，選取某客機(jī)案例，仿真計(jì)算機(jī)載的VHF天線方向圖、內(nèi)部場(chǎng)強(qiáng)以及內(nèi)部線纜的感應(yīng)電壓，從而測(cè)試國(guó)產(chǎn)電磁高性能數(shù)值軟件在工業(yè)云平臺(tái)上的兼容性測(cè)試。此外，結(jié)合高性能數(shù)值軟件研發(fā)過(guò)程中的實(shí)際需求，通過(guò)設(shè)計(jì)實(shí)現(xiàn)了高性能計(jì)算資源與高性能數(shù)值軟件之間的工業(yè)云平臺(tái)(Industrial Cloud Platform，ICP)，整合全國(guó)多個(gè)計(jì)算中心形成互聯(lián)互通，實(shí)現(xiàn)了應(yīng)用軟件開發(fā)、集成、服務(wù)等范式創(chuàng)新的新模式[8，9]。ICP的實(shí)現(xiàn)為國(guó)產(chǎn)工業(yè)軟件聚焦專注領(lǐng)域產(chǎn)品功能豐富、性能提升和用戶解決高端裝備制造典型工況場(chǎng)景問(wèn)題等方面均提供有力的平臺(tái)支撐。

2 ICP的架構(gòu)介紹

2.1 ICP介紹

ICP采用云計(jì)算的方式整合不同時(shí)期、不同地域建設(shè)的多套高性能超算中心資源，面向高校、科研院所、制造企業(yè)等超算工業(yè)領(lǐng)域用戶提出的超算算力需求，搭建統(tǒng)一計(jì)算服務(wù)平臺(tái)，支持跨區(qū)域、多中心的計(jì)算資源、算例數(shù)據(jù)、應(yīng)用軟件等資源協(xié)同，實(shí)現(xiàn)資源一體化高效協(xié)同調(diào)度，以云應(yīng)用的模式提供服務(wù)，建立安全可信的仿真云安全體系，保障數(shù)據(jù)、應(yīng)用、業(yè)務(wù)安全，從傳輸、數(shù)據(jù)等多維度設(shè)置安全機(jī)制確保數(shù)據(jù)安全，并可根據(jù)用戶實(shí)際需求定制化服務(wù)。ICP 主要解決了在異構(gòu)平臺(tái)下多 HPC 機(jī)群間的作業(yè)調(diào)度問(wèn)題，用戶可以通過(guò)計(jì)算服務(wù)平臺(tái)提供的統(tǒng)一界面訪問(wèn)和使用不同平臺(tái)、不同地域的高性能超算中心資源，提供高性能計(jì)算資源的工業(yè)云計(jì)算服務(wù)，有效整合異構(gòu)高性能計(jì)算資源，提高高性能計(jì)算資源的利用率。

2.2 ICP系統(tǒng)架構(gòu)

ICP系統(tǒng)架構(gòu)包括資源層(IaaS)、平臺(tái)層(PaaS)和用戶層(SaaS)。IaaS包含集群軟硬件計(jì)算環(huán)境；PaaS包含平臺(tái)基礎(chǔ)功能、工業(yè)應(yīng)用軟件、集群調(diào)度和運(yùn)維軟件等；SaaS指用戶端工業(yè)制造領(lǐng)域應(yīng)用場(chǎng)景。

技術(shù)層面上ICP采用B/S架構(gòu)設(shè)計(jì)，使用Java語(yǔ)言開發(fā)，支持前后端分離。Tomcat作為Web容器，Mysql作為系統(tǒng)核心數(shù)據(jù)庫(kù)，基于SSO進(jìn)行用戶統(tǒng)一認(rèn)證，基于nginx技術(shù)實(shí)現(xiàn)負(fù)載均衡和高可用。支持Eshell命令行和Efile文件傳輸功能，同時(shí)集成了快傳功能[10]。

平臺(tái)訪問(wèn)層面可以通過(guò)常見主流瀏覽器訪問(wèn)，如Firefox、Chrome、Safari等，支持Windows、Mac操作系統(tǒng)訪問(wèn)，亦支持客戶端形式訪問(wèn)。平臺(tái)底層支持X86等多種異構(gòu)[11]硬件資源調(diào)度，提供工業(yè)計(jì)算服務(wù)。

ICP系統(tǒng)總體架構(gòu)圖如圖1 所示。

圖1 ICP系統(tǒng)架構(gòu)圖

2.3 ICP主要功能

ICP具備調(diào)用多個(gè)異構(gòu)高性能計(jì)算資源的功能，對(duì)計(jì)算資源軟硬件環(huán)境進(jìn)行統(tǒng)一管理、監(jiān)控管理、運(yùn)維管理和運(yùn)營(yíng)管理；基于Web界面在線為電磁仿真用戶提供計(jì)算、數(shù)據(jù)和監(jiān)控服務(wù)等；為確保電磁仿真用戶使用過(guò)程中的數(shù)據(jù)安全性，具備用戶權(quán)限分級(jí)管理功能等，主要功能如下：

1)概覽頁(yè)基礎(chǔ)功能

概覽頁(yè)主要提供賬戶的統(tǒng)計(jì)信息與作業(yè)的統(tǒng)計(jì)信息，賬戶統(tǒng)計(jì)信息包含了賬戶余額、快速查看賬戶可用資源、可訪問(wèn)隊(duì)列、存儲(chǔ)資源的使用狀態(tài)，以及平臺(tái)提供的多樣化服務(wù)。作業(yè)統(tǒng)計(jì)信息包括當(dāng)前作業(yè)狀態(tài)及歷史作業(yè)的機(jī)時(shí)統(tǒng)計(jì)。

2)作業(yè)查看功能

作業(yè)查看功能包括當(dāng)前作業(yè)和歷史作業(yè)查看。當(dāng)前作業(yè)查看包括作業(yè)ID、作業(yè)名、應(yīng)用名、隊(duì)列名、狀態(tài)、開始時(shí)間、運(yùn)行時(shí)長(zhǎng)等；歷史作業(yè)查看包括作業(yè)ID、作業(yè)名、應(yīng)用名、隊(duì)列名、狀態(tài)、節(jié)點(diǎn)數(shù)、入隊(duì)時(shí)間和結(jié)束時(shí)間、運(yùn)行時(shí)長(zhǎng)等。

3) 文件傳輸功能

包括E-file和跨中心文件上傳和下載，其中E-file支持文件快傳，用戶跨中心支持兩個(gè)或兩個(gè)以上計(jì)算中心傳輸文件，點(diǎn)擊傳輸列表可以管理傳輸任務(wù)，當(dāng)前傳輸任務(wù)可以暫停/繼續(xù)/取消，歷史傳輸任務(wù)記錄可以清除。

4)用戶組管理功能

用戶組管理員對(duì)應(yīng)一個(gè)用戶組賬戶，用來(lái)管理族賬戶、組成員等相關(guān)信息。其中包含修改用戶基本信息、為用戶組“添加新用戶”、為用戶組“添加已有用戶”、修改用戶組名額、用戶組管理員為組成員分配存儲(chǔ)和調(diào)整授權(quán)功能。

5)費(fèi)用查詢功能

顯示用戶及關(guān)聯(lián)賬戶在對(duì)應(yīng)的計(jì)算中心的費(fèi)用，賬單查詢，消費(fèi)明細(xì)查詢，充值、退費(fèi)和調(diào)整記錄查詢功能。

3 國(guó)產(chǎn)電磁軟件性能的測(cè)試環(huán)境

國(guó)產(chǎn)電磁高性能數(shù)值軟件之一的EastWave主要包含功能為支持模型導(dǎo)入、模型建模、激勵(lì)源和邊界條件設(shè)置、網(wǎng)格劃分等前處理功能，求解器計(jì)算功能和后處理功能。同時(shí)，EastWave支持Windows/Linux平臺(tái)下的單機(jī)多線程、多機(jī)分布式多進(jìn)程并行求解計(jì)算和CPU的矢量化指令集加速關(guān)鍵技術(shù)等。將EastWave Windows版和Linux版分別部署在ICP上，具體集群軟硬件測(cè)試環(huán)境如下：

1) 集群硬件測(cè)試環(huán)境

硬件測(cè)試環(huán)境采用國(guó)產(chǎn)處理器，包含通用計(jì)算節(jié)點(diǎn)(單節(jié)點(diǎn)配置為32核，128G內(nèi)存和240GB SSD)、圖形節(jié)點(diǎn)、管理節(jié)點(diǎn)、登錄節(jié)點(diǎn)、分布式并行存儲(chǔ)(可用容量超40TB)、200Gb/s IB交換機(jī)等。

2) 集群軟件測(cè)試環(huán)境

操作系統(tǒng)為L(zhǎng)inux Centos7.5 64位企業(yè)版；編譯器為Intel Parallel Studio、Intel編譯器，支持C/C++/Fortran、GNU編譯器，支持C/C++/Fortran；MPI為OpenMP、OpenMPI、MPICH2、MVPAICH2并行環(huán)境；GPU開發(fā)環(huán)境為CUDA驅(qū)動(dòng)、編譯器、調(diào)試器、工具包、SDK等；CUDA FFT、CUDA BLAS等；數(shù)學(xué)庫(kù)為MKL、ACML、BLAS、LAPACK、ScaLAPACK等。

4 典型工程算例

算例測(cè)試的主要目的是完成EastWave部署在ICP上的系統(tǒng)測(cè)試，驗(yàn)證EastWave在ICP上的穩(wěn)定性和兼容性。具體采用EastWave對(duì)空客A380進(jìn)行機(jī)載VHF天線方向圖、內(nèi)部場(chǎng)強(qiáng)以及內(nèi)部線纜的感應(yīng)電壓的仿真計(jì)算。

4.1 計(jì)算模型

圖2為空客A380民航飛機(jī)縮比模型和VHF刀型(切面)天線安裝位置。尺寸為7.3m×8m×2.7m，天線的工作頻率是從100 MHz到200 MHz。圖3為A380飛機(jī)內(nèi)部的線纜分布圖，其中線纜的最小半徑為0.16mm。

圖2 空客A380的三維縮比模型和VHF天線

圖3 空客A380內(nèi)部線纜分布圖

4.2 測(cè)試結(jié)果

使用EastWave前處理功能，選擇時(shí)域有限差分求解器，導(dǎo)入A380全金屬飛機(jī)模型，創(chuàng)建刀型天線，設(shè)置天線的激勵(lì)源，采用集總端口，其中窗口是FR4材料，計(jì)算刀型天線安裝在飛機(jī)腹部后的200MHz方向圖與內(nèi)部線纜的瞬態(tài)感應(yīng)電壓。在ICP上EastWave使用8個(gè)計(jì)算節(jié)點(diǎn)，共計(jì)256核，仿真計(jì)算運(yùn)行消耗時(shí)間見表1。

表1 計(jì)算節(jié)點(diǎn)和運(yùn)行時(shí)間

圖4是機(jī)載天線與自由天線的反射系數(shù)S11，可見飛機(jī)對(duì)回波損耗的影響較小。

圖4 機(jī)載天線與自由天線S11結(jié)果

圖5 機(jī)載天線與自由空間天線的水平面方向圖對(duì)比

圖6 機(jī)載天線與自由空間天線的豎直面方向圖對(duì)比

從圖5可以看出，天線輻射方向圖幾乎在所有方位的電平都大于-5dB。在60°-80°與280°-325°間電平嚴(yán)重降低，原因在于天線安裝在飛機(jī)的腹部和機(jī)翼的后面，機(jī)翼遮擋影響天線的輻射。

從圖6的機(jī)載天線與自由空間天線的豎直面方向圖對(duì)比可以看出，由于機(jī)身的遮擋效應(yīng)，安裝后的天線的0°到80°的方向性系數(shù)整體變差，平均下降了8dB。相比自由天線，80°-180°間的方向性系數(shù)影響較小，能夠盡可能的減小飛機(jī)與地面的通信。

圖7 機(jī)載天線的三維方向圖

圖7為天線安裝在飛機(jī)底部時(shí)的三維方向圖。由于該天線是向四周輻射(頂部與底部是-15dB以下)，四周輻射的強(qiáng)度從-5dB到5dB。

圖8 客機(jī)A380電場(chǎng)分布圖

圖8是當(dāng)天線工作時(shí)整個(gè)空間的電場(chǎng)分布。可以看出，由于天線置于飛機(jī)腹部能夠向下輻射電磁波，其便于飛機(jī)與地面塔臺(tái)間的通信。

圖9 線纜的感應(yīng)電壓

圖9是當(dāng)天線正常工作時(shí)，飛機(jī)內(nèi)部線纜的瞬態(tài)感應(yīng)電壓，其峰值電壓是4.2×10-5V (設(shè)輸入信號(hào)峰值電壓是1V)。在良好的電纜鋪設(shè)下，內(nèi)部線纜的瞬態(tài)感應(yīng)電壓是不會(huì)對(duì)飛機(jī)內(nèi)部其它設(shè)備造成影響。

5 結(jié)論

本文設(shè)計(jì)并實(shí)現(xiàn)了一種基于Web的部署高性能數(shù)值軟件的ICP，并通過(guò)選用國(guó)產(chǎn)電磁數(shù)值軟件EastWave在ICP進(jìn)行空客A380縮比模型性能驗(yàn)證。整個(gè)計(jì)算過(guò)程穩(wěn)定，計(jì)算效率高，驗(yàn)證了該平臺(tái)的穩(wěn)定性和可靠性。同時(shí)，該平臺(tái)還具有相關(guān)的便捷的VNC終端、命令行終端和Web頁(yè)面方便快捷地訪問(wèn)和不同類型的工業(yè)軟件可以為計(jì)算機(jī)編程的數(shù)值軟件研發(fā)和工程應(yīng)用方面的人員使用，為國(guó)產(chǎn)數(shù)值軟件在超算中心上高效使用提供了有力工具。