基于龍格庫塔法的多輸出物理信息神經(jīng)網(wǎng)絡(luò)模型

韋 昌 樊昱晨 周永清 劉 欣, 張超群 王赫陽,1)

* (天津大學機械工程學院,天津 300072)

? (煙臺龍源電力技術(shù)股份有限公司,山東煙臺 264006)

引言

近年來,隨著計算資源和可用數(shù)據(jù)的暴發(fā)式增長,機器學習技術(shù)不僅在計算機視覺[1]、自然語言處理[2]和智能推薦系統(tǒng)[3]等方面取得了革命性成果,在智能計算領(lǐng)域也展現(xiàn)出了巨大潛力[4].目前,機器學習技術(shù)已被廣泛應(yīng)用于各種常見的科學問題[5]和工程問題[6].例如,基于高斯過程[7]求解線性和非線性偏微分方程(partial differential equations,PDE),采用稀疏回歸算法[8]從觀測數(shù)據(jù)中反演物理系統(tǒng)的狀態(tài)和屬性,以及基于深度學習方法對流場進行超分辨重構(gòu)[9]等.但是,上述機器學習技術(shù)屬于基于數(shù)據(jù)驅(qū)動的方法,強大的代理模型需要建立在大量的訓練數(shù)據(jù)之上.而在現(xiàn)實應(yīng)用場景中,數(shù)據(jù)的獲取通常伴隨著昂貴的代價和成本,這導致人們往往要在信息不完備的情況下對復雜系統(tǒng)做出預測和決策.另外,絕大多數(shù)先進的機器學習技術(shù)都是建立在概率統(tǒng)計上的一種黑箱模型[10],缺乏對物理系統(tǒng)內(nèi)部機理的合理解釋.在這種背景下,物理信息神經(jīng)網(wǎng)絡(luò)[11](physics-informed neural networks,PINN)因其訓練數(shù)據(jù)少和內(nèi)嵌了物理先驗知識而受到學術(shù)界的廣泛關(guān)注.

PINN 的基本原理是神經(jīng)網(wǎng)絡(luò)的函數(shù)通用近似定理[12],核心思想是將PDE 的殘差形式嵌入到神經(jīng)網(wǎng)絡(luò)的損失函數(shù)中,約束訓練參數(shù)的求解空間.該思想最早出現(xiàn)于1994 年,Dissanayake 等[13]基于神經(jīng)網(wǎng)絡(luò)強大的非線性近似能力,將求解PDE 的數(shù)值問題轉(zhuǎn)化為無約束優(yōu)化問題,通過最小化損失函數(shù)實現(xiàn)了神經(jīng)網(wǎng)絡(luò)輸出對PDE 解的近似.但是,由于當時反向傳播算法的落后以及計算資源的限制,使用神經(jīng)網(wǎng)絡(luò)求解PDE 的方法并未引起太多的關(guān)注.近年來,隨著機器學習技術(shù)的崛起和自動微分技術(shù)[14]的出現(xiàn),該方法才再次走進科研人員的視野.在2019 年,Raissi 等[11]采用自動微分技術(shù)代替了原始的手動求導方法,極大地提升了神經(jīng)網(wǎng)絡(luò)的計算效率,并正式將嵌入物理知識的神經(jīng)網(wǎng)絡(luò)命名為PINN.并且,為了應(yīng)對不同的使用場景,Raissi 進一步設(shè)計了連續(xù)時間模型和離散時間模型兩種不同的神經(jīng)網(wǎng)絡(luò)模型.

PINN 的概念自從被提出后,迅速成為數(shù)據(jù)科學工程和人工智能領(lǐng)域的研究熱點[15].為了提高PINN求解PDE 問題的精度、加快收斂速度以及增強泛化性能,研究人員從神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)類型和激活函數(shù)形式等方面展開了深入研究,并提出了各種PINN 的變體.Yu 等[16]利用PDE 的梯度信息,將額外的梯度項嵌入到損失函數(shù)中,提出了梯度增強型物理信息神經(jīng)網(wǎng)絡(luò)(gPINN)框架,提高了神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和泛化性.針對PINN 訓練過程中存在梯度反向傳播不平衡的問題,Wang 等[17]提出了一種自適應(yīng)學習率退火算法,可以在PINN 訓練期間動態(tài)調(diào)節(jié)各個損失項的量級,提高模型求解精度.Jagtap 等[18]通過在激活函數(shù)中加入可縮放因子,提出了一種自適應(yīng)激活函數(shù),加快了PINN 求解非線性PDE 的收斂速度.

根據(jù)損失函數(shù)不同的構(gòu)造方式,PINN 可以分為連續(xù)時間模型和離散時間模型,離散時間模型也被稱為基于龍格庫塔法的物理信息神經(jīng)網(wǎng)絡(luò)(physicsinformed neural networks based on the Runge-Kutta method,PINN-RK).為方便起見,文中后續(xù)內(nèi)容中的PINN 將特指物理信息神經(jīng)網(wǎng)絡(luò)連續(xù)時間模型.雖然PINN 具有出色的高效性和靈活性,但是仍存在兩個局限性[19-23].在正問題中,隨著PDE 維度的升高,其施加物理約束所需的采樣點數(shù)量呈指數(shù)級增長,增加了計算負擔.在逆問題中,其前提假設(shè)是采樣數(shù)據(jù)在整個時空域內(nèi)是連續(xù)可用的,采樣點能夠取到求解域內(nèi)的任意時空坐標點.但是,在實際的應(yīng)用場景中,該假設(shè)往往難以得到滿足.數(shù)據(jù)采集過程中,傳感器通常在固定位置上以固定時間間隔對系統(tǒng)進行采樣.并且,對于采樣空間較大的應(yīng)用,采樣數(shù)據(jù)在時空域內(nèi)往往呈現(xiàn)出稀疏離散的特點.與PINN 相比,PINN-RK 的使用并不存在該假設(shè)限制,更加符合實際應(yīng)用場景,約束點數(shù)量也不會隨PDE維度的升高而呈現(xiàn)指數(shù)級增長.但是,迄今為止,針對PINN-RK 的研究少之又少,且主要集中在一維非穩(wěn)態(tài)問題上.另外,由于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的限制,PINNRK 的輸出僅能表征一種物理量,無法同時反映多個物理量的狀態(tài),導致現(xiàn)有的PINN-RK 模型僅適用于求解單個PDE,而無法求解相互耦合的PDE 系統(tǒng).

因此,為了擴展PINN-RK 的應(yīng)用范圍和實現(xiàn)對PDE 系統(tǒng)的求解,本文提出了一種基于龍格庫塔法的多輸出物理信息神經(jīng)網(wǎng)絡(luò)(multi-output physicsinformed neural networks based on the Runge-Kutta method,MO-PINN-RK).MO-PINN-RK 在PINNRK 的基礎(chǔ)上采用了并行輸出的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),通過將神經(jīng)網(wǎng)絡(luò)劃分為多個子網(wǎng)絡(luò),建立了多個神經(jīng)網(wǎng)絡(luò)輸出層,利用不同輸出層近似不同的物理量,并通過輸出層共享的隱藏層捕捉不同物理量之間的耦合關(guān)系,使MO-PINN-RK 不僅可以同時預測多個物理量,還可實現(xiàn)耦合PDE 系統(tǒng)的求解.為驗證MOPINN-RK 的有效性,本文將二維不可壓縮流體的圓柱繞流問題作為測試案例.基于觀測數(shù)據(jù),使用MOPINN-RK 對流場預測和參數(shù)辨識兩種問題展開研究,并將模型預測解與基準解進行對比.本工作采用并行的多輸出神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),構(gòu)建了新型的PDE 求解器,以期為工程和科學領(lǐng)域的問題求解提供準確高效的解決方案.

1 物理信息神經(jīng)網(wǎng)絡(luò)

1.1 PINN

一般情況下,線性和非線性PDE 的通用形式為

其中,u(t,x)表示PDE 的解,下標t表示函數(shù)u(t,x)對時間的偏導數(shù),N [·] 表示線性或非線性微分算子,?為 RD的子集.從神經(jīng)網(wǎng)絡(luò)的通用近似定理可知,一個包含足夠多神經(jīng)元的單層神經(jīng)網(wǎng)絡(luò)模型可以以任意精度近似一個非線性函數(shù).基于該定理,在大量訓練數(shù)據(jù)的基礎(chǔ)上,可以通過神經(jīng)網(wǎng)絡(luò)的輸出近似PDE 的解.然而,很多科學問題和工程系統(tǒng)的數(shù)據(jù)采集較為困難,基于大量數(shù)據(jù)的機器學習技術(shù)并不適用于這些小數(shù)據(jù)系統(tǒng).人們對于科學問題和工程應(yīng)用卻有著大量的先驗知識,這些先驗知識的存在恰好可以彌補數(shù)據(jù)上的不足.一般而言,先驗知識以PDE 守恒方程的形式出現(xiàn),如式(1)所示.與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)不同,PINN 是一種將物理先驗知識嵌入到損失函數(shù)中的神經(jīng)網(wǎng)絡(luò)模型,如圖1 所示.

PINN 通過最小化損失函數(shù)的方式,使用梯度下降算法不斷更新神經(jīng)網(wǎng)絡(luò)的權(quán)重和偏差,以實現(xiàn)近似PDE 解的目的[24].將PDE 的殘差形式以懲罰項的方式加入到神經(jīng)網(wǎng)絡(luò)損失函數(shù)中,可以為神經(jīng)網(wǎng)絡(luò)的優(yōu)化學習指明方向,減少可行解的參數(shù)空間,降低訓練代價.當神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)不滿足約束條件時,懲罰項會導致?lián)p失函數(shù)的增加.因此,在神經(jīng)網(wǎng)絡(luò)優(yōu)化過程中,懲罰項會影響權(quán)重的調(diào)整,以達到在約束條件下降低總損失值的目標.先驗知識的嵌入相當于人為地從數(shù)據(jù)中提取了物理規(guī)律,代替機器學習模型進行了部分特征提取工作,節(jié)省了優(yōu)化算法自身進行數(shù)據(jù)挖掘的時間.另外,相比于優(yōu)化算法主動學習隱藏在數(shù)據(jù)中的物理規(guī)律,顯式地將先驗知識嵌入到神經(jīng)網(wǎng)絡(luò)中的做法可以進一步放大增強數(shù)據(jù)中的信息量[25],更有益于模型朝著最優(yōu)解的方向前進.

1.2 PINN-RK

龍格庫塔法是一種高階精度的數(shù)值方法,常被用于科學計算和工程應(yīng)用中.該方法通過在每個時間步中計算多個中間節(jié)點加權(quán)和的方式逼近數(shù)值解,可以有效地抑制數(shù)值發(fā)散等問題,提高了數(shù)值求解過程的穩(wěn)定性,因此更適用于處理長時間跨度問題.PINN-RK 是神經(jīng)網(wǎng)絡(luò)與龍格庫塔法結(jié)合的產(chǎn)物.將q階龍格庫塔公式[26]應(yīng)用到式(1),可以得到

其中,q為龍格庫塔階數(shù),?t表示時間間隔,aij為龍格庫塔公式中的系數(shù),龍格庫塔公式的顯式格式和隱式格式由這些系數(shù)所決定.由于隱式格式具有非常出色的穩(wěn)定性,本文后續(xù)計算均采用隱式龍格庫塔公式.ci和cj為龍格庫塔節(jié)點,un+ci和un+cj為龍格庫塔采樣值

為了便于書寫表達,式(2)可以被轉(zhuǎn)化為如下形式

在PINN-RK 中,輸出層神經(jīng)元數(shù)量等于龍格庫塔階數(shù)q+1,具體形式如下所示

其中,un(x)表示PDE 當前時刻的解,un+1(x)表示PDE下一時刻的解.

通過整合PINN 框架、龍格庫塔公式(5)和相應(yīng)的PDE,即可得到PINN-RK 模型.相比于PINN,PINN-RK 的輸入量僅為空間坐標x,不含任何時間變量t.時間變量通過龍格庫塔公式被隱式地嵌入到了損失函數(shù)中,能夠顯著提升求解過程中的穩(wěn)定性.PINN-RK 的輸出為q階龍格庫塔采樣值與下一時刻PDE 的解

從式(7)中可以看到,由于龍格庫塔公式的嵌入和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的限制,PINN-RK 的輸出層只能表示單個物理量的龍格庫塔采樣值,無法同時描述多個物理量.這導致PINN-RK 僅適用于求解單個PDE 的問題,無法處理相互耦合的PDE 系統(tǒng).究其原因,主要是因為PINN-RK 中神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)過于簡單,輸出層個數(shù)僅為1,使得神經(jīng)網(wǎng)絡(luò)表達能力較差,難以準確近似多個物理量.為此,本文通過對PINNRK 結(jié)構(gòu)的改進,提出了MO-PINN-RK.

1.3 MO-PINN-RK

為了闡明MO-PINN-RK 的構(gòu)建方法,本文將以N-S 方程為例描述多輸出神經(jīng)網(wǎng)絡(luò)的構(gòu)建過程,并詳細介紹如何將物理先驗知識嵌入到損失函數(shù)中.通常情況下,全連接神經(jīng)網(wǎng)絡(luò)包含一個輸入層、多個隱藏層和一個輸出層,而在MO-PINN-RK 中則采用了多個輸出層的結(jié)構(gòu)設(shè)計,以實現(xiàn)同時求解耦合PDE 的目的.另外,該模型還采用了并行的隱藏層結(jié)構(gòu),能夠捕獲不同物理量之間的差異,增強了神經(jīng)網(wǎng)絡(luò)模型的表達能力.MO-PINN-RK 的輸出層數(shù)量取決于PDE 問題中的未知數(shù)個數(shù).對于二維流動問題N-S 方程,未知的物理量為u,v和p,因此輸出層個數(shù)為3.其次,根據(jù)龍格庫塔階數(shù)確定輸出層神經(jīng)元個數(shù),每個輸出層的神經(jīng)元個數(shù)等于龍格庫塔階數(shù)q+1.最后,以采樣點的二維空間坐標 (x,y)作為神經(jīng)網(wǎng)絡(luò)的輸入,選擇合適的隱藏層層數(shù)和神經(jīng)元個數(shù),建立MO-PINN-RK 模型,如圖2 所示.

MO-PINN-RK 模型隱藏層可以分為兩個部分.一部分為共享隱藏層,另一部分為并行隱藏層.共享隱藏層與神經(jīng)網(wǎng)絡(luò)常規(guī)的隱藏層相同,均為全連接結(jié)構(gòu).共享隱藏層可以學習到多個子任務(wù)之間的特征表示,提取不同物理量之間的共同特征.并行隱藏層則分為3 個并行子網(wǎng)絡(luò),不同子網(wǎng)絡(luò)近似不同的物理量,每個子網(wǎng)絡(luò)中的隱藏層均為全連接結(jié)構(gòu),不同子網(wǎng)絡(luò)的隱藏層互不干擾.并行隱藏層允許每個子網(wǎng)絡(luò)根據(jù)其所要解決的任務(wù)特點,自由設(shè)計隱藏層結(jié)構(gòu)和參數(shù).這樣的靈活性使得每個子網(wǎng)絡(luò)可以更好地適應(yīng)不同任務(wù)的復雜性和數(shù)據(jù)特點,從而提高整體模型的性能.

采用多輸出的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),可以利用不同的輸出層表示不同的物理量,提高了模型的準確性和泛化能力.由于每個輸出層專注于自己的任務(wù),神經(jīng)網(wǎng)絡(luò)可以學習每個物理量的特征,并通過共享的隱藏層捕捉不同物理量之間的耦合關(guān)系,使得MOPINN-RK 可以有效地求解耦合PDE 系統(tǒng),更好地描述復雜的物理過程.

下列式子為本文所采用的N-S 方程表達式

其中,u和v分別表示流向速度分量和橫向速度分量,p表示壓力.下標t,x和y分別表示函數(shù)對時間和空間的一階偏導數(shù),下標xx和yy分別表示對空間的二階偏導數(shù).為了將N-S 方程嵌入MO-PINN-RK 的損失函數(shù)中,使用q階隱式龍格庫塔公式對其進行離散化,可得

其中,下標i表示不同的空間采樣點,取值范圍由采樣點數(shù)量決定,上標j表示龍格庫塔階數(shù),j=1,2,···,q,q+1.式(14)和式(15)分別為式(12)和式(13)的一部分,表示不同采樣點下不同龍格庫塔節(jié)點處N-S方程的殘差形式.兩式的作用是為神經(jīng)網(wǎng)絡(luò)的損失函數(shù)引入物理約束,指導神經(jīng)網(wǎng)絡(luò)的訓練朝著滿足N-S 方程的方向進行.

根據(jù)式(11)～式(13)構(gòu)建用于MO-PINN-RK的損失函數(shù).不同的損失函數(shù)形式會對訓練結(jié)果產(chǎn)生不同的影響,文中采用了平方誤差和(sum of squared errors,SSE)形式.總損失函數(shù)由3 部分組成

其中,SSEm為連續(xù)性方程損失函數(shù),SSEu為x方向動量方程損失函數(shù),SSEv為y方向動量方程損失函數(shù),N為訓練集中采樣點個數(shù),和表示神經(jīng)網(wǎng)絡(luò)輸出,和表示已知的觀測數(shù)據(jù).MO-PINN-RK將以最小化損失函數(shù)SSE 為目標,通過優(yōu)化器不斷更新神經(jīng)網(wǎng)絡(luò)中權(quán)重,直至損失函數(shù)低于設(shè)定的閾值.

為了更加深入地理解MO-PINN-RK 的訓練原理,可以將其與自編碼器中的編碼神經(jīng)網(wǎng)絡(luò)和解碼神經(jīng)網(wǎng)絡(luò)[27]進行類比.在MO-PINN-RK 中,觀測數(shù)據(jù)可視為編碼神經(jīng)網(wǎng)絡(luò)中的輸入特征向量,前向傳播過程則類似于對觀測數(shù)據(jù)進行編碼操作,而輸出層神經(jīng)元所代表的變量則可視為編碼神經(jīng)網(wǎng)絡(luò)所輸出的潛在變量,即解碼神經(jīng)網(wǎng)絡(luò)的輸入特征.MOPINN-RK 輸出層應(yīng)用龍格庫塔公式的過程類似于解碼網(wǎng)絡(luò)中的解碼操作.為了最小化編碼神經(jīng)網(wǎng)絡(luò)輸入特性向量和解碼神經(jīng)網(wǎng)絡(luò)輸出特征之間的差異,自編碼器模型以最小化重構(gòu)誤差為目標進行訓練.在MO-PINN-RK 中,最小化損失函數(shù)的作用與最小化重構(gòu)誤差相同,均用于指導神經(jīng)網(wǎng)絡(luò)的優(yōu)化訓練過程.但是,與之相比,MO-PINN-RK 還嵌入了物理先驗知識,提高了模型的泛化性能.此外,MOPINN-RK 中的解碼過程由龍格庫塔公式和描述物理守恒定律的PDE 充當,使得解碼方式由隱式形式轉(zhuǎn)化為了顯式形式,顯著地增強了模型的可解釋性,提高了模型的魯棒性.同時,這種轉(zhuǎn)變也使MOPINN-RK 可以更加準確地求解復雜的PDE 系統(tǒng).

2 數(shù)值實驗

2.1 問題設(shè)置

圓柱繞流因幾何形狀簡單而流動形態(tài)豐富、機理復雜,一直作為流體力學中的經(jīng)典問題被廣泛研究[28].當流體流經(jīng)圓柱體時會出現(xiàn)剪切流動,產(chǎn)生邊界層分離和渦的非對稱脫落現(xiàn)象.這種繞流現(xiàn)象廣泛地存在于各種工程應(yīng)用中,例如跨海大橋的穩(wěn)定性設(shè)計、熱電廠輸運管道的優(yōu)化以及水利機械的制造等.了解圓柱體周圍的流動模式對這些結(jié)構(gòu)的優(yōu)化設(shè)計和性能提高具有至關(guān)重要的作用.為此,人們從理論、實驗和數(shù)值模擬進行了各種研究.

為了驗證MO-PINN-RK 的有效性,本文使用該模型對二維不可壓縮流體的圓柱繞流問題進行流場推斷預測和參數(shù)辨識研究.在圓柱繞流中,圓柱尾跡的流動狀態(tài)不僅展現(xiàn)出了豐富的流動現(xiàn)象,如圖3(a)和圖3(b)所示,而且還蘊含著深刻的物理規(guī)律,因此本文只對圓柱下游特定的小矩形區(qū)域進行研究,如圖3(c)所示.

圖3 圓柱繞流示意圖Fig.3 Schematic diagram of flow around a cylinder

圓柱繞流現(xiàn)象背后的物理規(guī)律由N-S 方程所控制.為此,根據(jù)前一節(jié)中闡述的方法,建立如圖2 所示的MO-PINN-RK 架構(gòu).考慮到目前已有大量文獻對圓柱繞流問題進行了數(shù)值模擬研究,本文將直接使用文獻[11]中提供的流場數(shù)據(jù)作為MO-PINNRK 的訓練數(shù)據(jù)和測試數(shù)據(jù),以確保結(jié)果的可靠性.對于流場分布預測問題,MO-PINN-RK 以一個時間切片的速度觀測值作為輸入來預測另一個時間切片的速度分布.從數(shù)值模擬數(shù)據(jù)的時空分布中隨機選擇某一時間點作為數(shù)據(jù)采集時刻t,并將該時刻下的流向速度分布u(x,y)和橫向速度分布v(x,y)作為模型的數(shù)據(jù)集,如圖3(a)和圖3(b)所示.在圓柱下游特定矩形區(qū)域內(nèi)進行數(shù)據(jù)集的隨機采樣操作,總計采樣5000 個觀測點,采樣區(qū)域如圖3(c)所示.設(shè)置損失函數(shù)中龍格庫塔公式的時間步長為 ?t.通過迭代訓練和優(yōu)化過程,MO-PINN-RK 能夠根據(jù)觀測數(shù)據(jù)推斷損失函數(shù)中N-S 方程的解,學習流體的時空動態(tài)行為,并準確地提供未來t+?t時刻的速度分布.

對于參數(shù)辨識問題,MO-PINN-RK 以時間間隔為 ?t的N個速度觀測值作為輸入,用于推測PDE 中的未知參數(shù).在參數(shù)辨識中,MO-PINN-RK 中的NS 方程并非完全已知,而是存在部分未知參數(shù) λ1和λ2,如下式所示.參數(shù) λ1和 λ2的真實值由文獻[11]確定

基于部分觀測數(shù)據(jù)和不完備的物理知識,MOPINN-RK 通過最小化損失函數(shù)并采用梯度下降方法來進行優(yōu)化訓練,以獲取最優(yōu)的參數(shù)估計.經(jīng)過充分訓練后,MO-PINN-RK 能夠從觀測數(shù)據(jù)中學習和理解系統(tǒng)的物理規(guī)律,并準確地推斷出未知參數(shù)的值.這使得MO-PINN-RK 成為了一種強大的工具,可在缺乏部分信息的情況下,通過結(jié)合物理先驗知識和觀測數(shù)據(jù),推斷出系統(tǒng)的隱藏特性和未知參數(shù),并生成準確的預測結(jié)果.

2.2 神經(jīng)網(wǎng)絡(luò)配置

神經(jīng)元中的非線性激活函數(shù)是神經(jīng)網(wǎng)絡(luò)能夠具備強大表達能力和擬合性能的關(guān)鍵因素.神經(jīng)網(wǎng)絡(luò)中常見的激活函數(shù)有ReLU,Tanh 和Sigmoid 等[29].在智能科學計算中,由于損失函數(shù)中嵌入了物理約束PDE,通常需要獲得神經(jīng)網(wǎng)絡(luò)輸出關(guān)于輸入的導數(shù)信息.由于Tanh 激活函數(shù)具有無限可導的特點,文中所有的隱藏層均采用Tanh 激活函數(shù).但是,Tanh 函數(shù)的輸出范圍僅為[-1,1]區(qū)間,為了不限制神經(jīng)網(wǎng)絡(luò)的輸出,輸出層不設(shè)置激活函數(shù).設(shè)定神經(jīng)網(wǎng)絡(luò)共享隱藏層數(shù)量為10,并行隱藏層數(shù)量為2,每個隱藏層包含20 個神經(jīng)元.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇全連接神經(jīng)網(wǎng)絡(luò),權(quán)重初始化方式采用Glorot 正態(tài)分布初始化.

MO-PINN-RK 的訓練過程是對PDE 不斷尋優(yōu)求解的過程,訓練算法的好壞對神經(jīng)網(wǎng)絡(luò)的性能起到了決定性的作用.本文將神經(jīng)網(wǎng)絡(luò)訓練過程分為兩個階段,前期使用隨機梯度下降算法的變體Adam 算法,訓練10 000 代,后期則使用L-BFGSB 算法訓練,直至算法迭代收斂.Adam 等[30]結(jié)合AdaGrad 算法和RMSProp 算法的優(yōu)點,并引入了動量的概念,不僅能夠自適應(yīng)地調(diào)整學習率,而且還能借助動量加速收斂,逃離局部極小值.但是,Adam 算法對學習率的選擇非常敏感,過高的學習率會導致優(yōu)化過程的不穩(wěn)定.L-BFGS-B 算法[31]是一種基于擬牛頓方法的優(yōu)化算法,通常比梯度下降等一階優(yōu)化算法更高效,收斂速度更快,且不需要手動調(diào)整學習率.然而,L-BFGS-B 算法在非凸優(yōu)化問題中容易陷入局部極小值.因此,本文訓練過程采用Adam 和L-BFGS-B 結(jié)合的方式,先利用Adam 盡可能地逼近全局最優(yōu)點,再使用L-BFGS-B 加快神經(jīng)網(wǎng)絡(luò)的收斂.文中的所有計算代碼均基于TensorFlow2.9 版本的Python 庫完成,并在GeForce RTX3090 顯卡上進行運算.

3 結(jié)果和討論

3.1 流場預測

本小節(jié)將應(yīng)用MO-PINN-RK 和PINN 兩種模型對二維不可壓縮流體的圓柱繞流問題進行流場預測研究,并對模型預測結(jié)果展開深入討論.當預測時間間隔 ?t為0.1 時,由MO-PINN-RK 和PINN 模型所獲得的速度云圖如圖4 所示.圖中,第1 列對應(yīng)著基準解,第2 列上下圖分別為MO-PINN-RK 和PINN 模型的預測解,第3 列則展示了不同模型與基準解之間的絕對誤差.絕對誤差公式為

綜合來看,兩種模型的預測解與基準解之間具有很好的一致性,都能夠成功地捕獲到圓柱繞流中渦街脫落的形態(tài)和位置.根據(jù)圖4 中的絕對誤差分布圖可以觀察到,PINN 的預測誤差主要集中在圓柱下游的尾跡區(qū)域.造成該現(xiàn)象的原因是尾跡區(qū)域的流動特性比較復雜,常常涉及邊界層分離和旋渦的相互作用.這些因素增大了神經(jīng)網(wǎng)絡(luò)的訓練難度,導致預測結(jié)果與基準解間的誤差增大.然而,相比于PINN,MO-PINN-RK 在整個求解域內(nèi)都表現(xiàn)出更低的絕對誤差,包括尾跡區(qū)域.究其原因,這主要是由于MO-PINN-RK 中不僅嵌入了龍格庫塔方法,而且還使用了多輸出的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),可以同時捕獲系統(tǒng)的不同屬性,因此能夠更好地學習尾跡區(qū)域的流動特性,產(chǎn)生更精確的預測結(jié)果.

在較短的時間跨度內(nèi),流動的演變幅度較小,使得模型能夠獲得較好的預測精度.但是,隨著時間的推移,流動過程中的非線性特性會加劇系統(tǒng)的演變,給模型的預測任務(wù)帶來挑戰(zhàn).為了對MO-PINN-RK的性能進行深入驗證,進一步推進模型預測的時間間隔.圖5 展示了當預測時間間隔 ?t為0.4 時,由MO-PINN-RK 和PINN 所獲得的速度云圖.從圖5(a)可以觀察到,PINN 的預測解已經(jīng)出現(xiàn)了偏離基準解的趨勢,產(chǎn)生了較大的預測誤差.然而,MO-PINNRK 仍能具備精確捕捉圓柱尾跡流動特性的能力,展現(xiàn)出了出色的預測精度.在面對長時間跨度的流體動態(tài)預測任務(wù)時,由于龍格庫塔法的融入,MO-PINNRK 不僅可以實現(xiàn)對流體動態(tài)過程的精確模擬,而且還能根據(jù)初始觀測數(shù)據(jù)優(yōu)化模型的預測能力.這種結(jié)合了數(shù)值方法和物理約束的深度學習框架使得MO-PINN-RK 在預測流體行為和捕捉流場特性方面表現(xiàn)出了更高的準確性.

為了從定量的角度比較MO-PINN-RK 和PINN 的預測準確性,本文采用模型預測解與基準解之間的L2相對誤差作為衡量標準,其計算公式如下所示

表1 MO-PINN-RK 和PINN-RK 流場預測值與基準值之間的L2 相對誤差Table 1 The L2 relative errors between the flow field predictions of MO-PINN-RK and PINN-RK and the benchmark solutions

根據(jù)表1 提供的數(shù)據(jù)可以得出,在各個預測時間間隔下,MO-PINN-RK 的預測誤差均比PINN 低.這一結(jié)果進一步驗證了MO-PINN-RK 在流場預測方面的優(yōu)越性.在預測流向速度分布時,MO-PINNRK 最大L2相對誤差僅為0.026 2.相比之下,PINN的預測誤差約為MO-PINN-RK 的2 倍.在對橫向速度預測時,MO-PINN-RK 的L2相對誤差雖然略有升高,但仍將最大誤差控制在0.038 9.而PINN 的相對誤差則為0.128 7,約為MO-PINN-RK 模型的3 倍.這表明經(jīng)過足夠的迭代次數(shù),MO-PINN-RK 能夠逐漸學習真實系統(tǒng)的物理規(guī)律,更加有效地捕捉流體流動的時間演化和動態(tài)行為,具有較高的預測精度.

3.2 參數(shù)辨識

本小節(jié)將應(yīng)用MO-PINN-RK 和PINN 兩種模型對圓柱繞流問題進行參數(shù)辨識研究,并對模型辨識結(jié)果展開深入討論,以評估不同模型的可行性和有效性.在參數(shù)辨識問題中,未知參數(shù) λ1和 λ2是需要從給定的數(shù)據(jù)中推斷或估計的參數(shù).未知參數(shù) λ1和λ2并非以顯式的形式存在于神經(jīng)網(wǎng)絡(luò)的輸出中,而是借助TensorFlow 庫的功能,以可訓練參數(shù)的形式嵌入到神經(jīng)網(wǎng)絡(luò)中.

在模型的訓練初期,隨機假設(shè)未知參數(shù)的初始值.為了說明MO-PINN-RK 的性能,選擇不同的采樣時間間隔 ?t=0.1,0.2,0.3,0.4.圖6 為MO-PINNRK 與PINN 在不同采樣時間間隔下對N-S 方程中未知參數(shù) λ1和 λ2的辨識結(jié)果.圖中,藍色虛線和紅色虛線分別表示 λ1和 λ2的真實值,藍色實線和紅色實線分別表示MO-PINN-RK 對 λ1和 λ2的辨識結(jié)果,藍色點線和紅色點線分別表示PINN 對 λ1和 λ2的辨識結(jié)果,綠色實點表示Adam 算法的結(jié)束位置和LBFGS 算法的起始位置.

圖6 MO-PINN-RK 和PINN 參數(shù)辨識結(jié)果與真實值對比Fig.6 Comparison between the parameter identification results of the MO-PINN-RK and PINN with the true values

整體上看,在較短時間間隔內(nèi),隨著迭代次數(shù)的不斷增加,不同模型的辨識結(jié)果逐漸趨向于真實值.但是,隨著采樣時間間隔的增加,PINN 的辨識結(jié)果開始逐漸偏離真實值,產(chǎn)生了較大的預測誤差.與之相比,MO-PINN-RK 的辨識結(jié)果一直具有較高的精度,不隨采樣時間間隔的增大而偏離真實值.這主要是因為MO-PINN-RK 具有多個神經(jīng)網(wǎng)絡(luò)輸出層,可同時捕捉相互耦合的多變量信息,具有更強的描述復雜流動形態(tài)的能力.并且,龍格庫塔方法的嵌入使得該模型能夠更好地處理長時間跨度問題.相較于PINN,MO-PINN-RK 可以高效地從稀疏離散的觀測數(shù)據(jù)中學習潛在的物理規(guī)律,具有更好的適應(yīng)性.

為了從定量的角度比較MO-PINN-RK 和PINN的辨識準確性,本文采用模型辨識值與真實值之間的相對誤差進行衡量,其計算公式如下

不同采樣時間間隔下,由不同模型獲得的辨識值與真實值的之間相對誤差如表2 所示.從表中可以看到,PINN 模型的相對誤差隨著采樣時間的增加而增大,且最大誤差達到了19.38%,大幅偏離了真實值.與之相比,MO-PINN-RK 能夠準確地辨識出未知參數(shù) λ1和 λ2,且最大相對誤差保持在低于1.11%的水平.另外,可以觀察到,無論是對參數(shù) λ1還是λ2的辨識,MO-PINN-RK 的相對誤差始終比PINN 的相對誤差低一個數(shù)量級.這一結(jié)果表明,MO-PINNRK 在參數(shù)辨識方面具有更好的性能,能夠從流體復雜的動態(tài)演化過程中推測出數(shù)學模型中的未知參數(shù),對于推斷流體系統(tǒng)的未知屬性具有非常重要的意義.

表2 MO-PINN-RK 和PINN-RK 辨識參數(shù)和真實參數(shù)的相對誤差Table 2 The relative errors between the identified parameters by MO-PINN-RK,PINN-RK and the true values

4 結(jié)論

針對PINN-RK 無法求解耦合PDE 系統(tǒng)的問題,本文提出了一種MO-PINN-RK.MO-PINN-RK 在原始PINN-RK 架構(gòu)的基礎(chǔ)上設(shè)計了并行的神經(jīng)網(wǎng)絡(luò)輸出層,通過采用不同輸出層近似不同物理量、共享隱藏層捕捉不同物理量之間耦合關(guān)系的方式,成功實現(xiàn)了在損失函數(shù)中嵌入多個PDE 并同時求解的目的.與PINN 相比,MO-PINN-RK 中嵌入了龍格庫塔法的數(shù)值求解方法,提高了神經(jīng)網(wǎng)絡(luò)的求解精度和泛化性能.與PINN-RK 相比,MO-PINN-RK 增強了神經(jīng)網(wǎng)絡(luò)的表達能力,實現(xiàn)了對耦合PDE系統(tǒng)的求解,將PINN-RK 的應(yīng)用范圍從一維空間擴展到了多維空間域.

為驗證MO-PINN-RK 的有效性,本文選擇二維不可壓縮流體的圓柱繞流問題作為測試案例,分別進行了流場預測和參數(shù)辨識研究.測試結(jié)果表明,在流場預測問題中,定性上,MO-PINN-RK 的預測解與基準解完全吻合.定量上,MO-PINN-RK 的L2相對誤差保持在低于0.038 9 的水平,具有較高的準確性.在參數(shù)辨識問題中,定性上,MO-PINN-RK 的辨識值會隨著迭代次數(shù)的增加收斂于真實值,且收斂行為不受采樣時間間隔增大的影響.定量上,MO-PINNRK 辨識值與真實值之間的最大相對誤差僅為1.11%,擁有極高的辨識性能.因此,本文所提出的MOPINN-RK 作為一種新型的物理信息神經(jīng)網(wǎng)絡(luò)架構(gòu),無論是在流場預測還是參數(shù)辨識方面都具有非常大的潛力.