面向水文模擬的大規(guī)模多級(jí)并行參數(shù)率定框架

全婷 李強(qiáng) 聶寧明 田在榮

摘要：為了實(shí)現(xiàn)大尺度水文模擬中的參數(shù)率定，提出一種基于優(yōu)化算法的大規(guī)模多級(jí)并行參數(shù)率定框架。首先利用MPI劃分子通信域的技術(shù)，實(shí)現(xiàn)了多級(jí)并行處理框架，其次設(shè)計(jì)了基于對(duì)等模式的整體架構(gòu)，以充分利用處理器資源，最后使用大量非阻塞式通信的方式優(yōu)化了計(jì)算效率，減少了進(jìn)程間等待。將該框架應(yīng)用于HIMS水文模型的參數(shù)率定，試驗(yàn)結(jié)果表明，對(duì)等多級(jí)并行框架相對(duì)于主從并行框架具有更好的尋優(yōu)效果，利用非阻塞式通信，在尋優(yōu)效率上有所提升。該框架能夠高效地利用大規(guī)模處理器且有效地縮短運(yùn)行時(shí)間，提升了參數(shù)優(yōu)化的整體效率，具有良好的擴(kuò)展性。

關(guān)鍵詞：水文模擬;大規(guī)模參數(shù)率定;對(duì)等式多級(jí)并行框架;非阻塞式通信;優(yōu)化算法

中圖分類號(hào)：TP338.6 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1006-1037（2021）03-0014-08

隨著GIS/RS等高新技術(shù)的發(fā)展，分布式水文模型大量出現(xiàn)，如英國(guó)、丹麥和法國(guó)的水文工作者在1986年合作研發(fā)的MIKE-SHE模型[1]。此后，SWAT、IHDM等水文模型的出現(xiàn)，也驗(yàn)證了分布式大規(guī)模水文模擬實(shí)現(xiàn)的可行性。雖然國(guó)內(nèi)水文模擬的發(fā)展起步較晚，但也涌現(xiàn)了HIMS（Hydroinformatic Modeling System）[2]、GBHM（Geomorphology-Based Hydrological Mode）[3]、新安江模型[4]以及EasyDHM（Easy Distributed Hydrological Model）[5]等分布式水文模型，在各流域模擬上展現(xiàn)了出色的模擬效果。分布式水文模型一般包含多個(gè)參數(shù)，其中大部分參數(shù)有明確的物理含義，能夠根據(jù)實(shí)測(cè)的數(shù)據(jù)進(jìn)行確定，但是在實(shí)際中仍然有很多參數(shù)需要通過(guò)率定獲得。由于分布式水文模型需要率定的參數(shù)空間維度通常十幾、二十維，高維參數(shù)空間搜索計(jì)算量巨大，傳統(tǒng)搜索方式已經(jīng)難以實(shí)施。20世紀(jì)80年代初興起的啟發(fā)式算法，包括遺傳算法、模擬退火算法、粒子群算法和人工神經(jīng)網(wǎng)絡(luò)等，極大地推動(dòng)了分布式水文模型中參數(shù)優(yōu)化的發(fā)展。Wang[6]較早的將GA方法應(yīng)用于徑流模型的產(chǎn)流參數(shù)率定;Cheng等[7]將GA與模糊優(yōu)選原理相結(jié)合，將其用于新安江三水源模型的參數(shù)率定;馬海波等[8]將SCE-UA算法應(yīng)用到TOPMODEL模型的參數(shù)率定;Thiemann等[9]以美國(guó)密西西比河Leaf流域（19 944 km2）為例，將貝葉斯回歸參數(shù)估計(jì)算法應(yīng)用于Nash-Cascade模型和Sacramento模型，驗(yàn)證了貝葉斯算法在參數(shù)優(yōu)化方面有很好的效果。但是由于傳統(tǒng)參數(shù)優(yōu)化過(guò)程都是串行執(zhí)行，運(yùn)行時(shí)間較長(zhǎng)。特別在大尺度水文模擬的參數(shù)率定中，運(yùn)行時(shí)間有可能長(zhǎng)達(dá)幾個(gè)小時(shí)到幾個(gè)月不等，率定優(yōu)化效率問(wèn)題成為制約水文模型發(fā)展的重要問(wèn)題。近些年，隨著高性能計(jì)算技術(shù)的飛速發(fā)展，在科學(xué)研究的諸多領(lǐng)域，并行計(jì)算都顯著地提高了大規(guī)模數(shù)據(jù)處理的效率，并且可以通過(guò)算法的設(shè)計(jì)來(lái)提高最終結(jié)果的可行性。因此，越來(lái)越多的科研工作者將此技術(shù)應(yīng)用于水文模擬中。Kollet等[10]證明了將并行計(jì)算用于水文模擬正確性與可行性;Yalew等[11]還探索了將并行計(jì)算用于SWAT中的水文模擬過(guò)程;Li等[12]運(yùn)用分解法和MasterSlave范式開(kāi)發(fā)了動(dòng)態(tài)并行水文模擬模型。通過(guò)水文模擬和高性能計(jì)算的結(jié)合，水文模型的計(jì)算效率有了相應(yīng)的提高。但是這些研究都是針對(duì)水文模擬過(guò)程的加速，而花費(fèi)時(shí)間最長(zhǎng)的參數(shù)率定過(guò)程的求解加速并未直接涉及。當(dāng)前針對(duì)參數(shù)率定優(yōu)化加速方法的研究主要以優(yōu)化算法的改進(jìn)為主，如Huo等[13]將改進(jìn)的多核并行人工蜂群優(yōu)化算法應(yīng)用于水文模擬參數(shù)優(yōu)化過(guò)程中;闞光遠(yuǎn)等[14]對(duì)SCE-UA算法并行化;李強(qiáng)等[15]設(shè)計(jì)的基于克里金插值理論的對(duì)等式并行框架。而以參數(shù)率定并行框架為主的研究并不多見(jiàn)，如李強(qiáng)等[16]設(shè)計(jì)的應(yīng)用于SWAT模型的參數(shù)敏感度分析的主從模式并行框架;申蒙蒙等[17]通過(guò)改進(jìn)優(yōu)化算法中的相關(guān)算子實(shí)現(xiàn)的雙層主-從并行框架等。這些并行框架的加入雖然使得優(yōu)化算法的搜索效率和運(yùn)行效率相對(duì)串行有了很大的提升，但這些率定框架的并行擴(kuò)展性還有待提高。在現(xiàn)有水文模擬參數(shù)率定并行實(shí)現(xiàn)中，參數(shù)率定主從模式并行框架可擴(kuò)展規(guī)模的的數(shù)量級(jí)皆在百核數(shù)左右。這是由于主從模式中的主進(jìn)程和從進(jìn)程的頻繁數(shù)據(jù)交換和大量從進(jìn)程的請(qǐng)求會(huì)導(dǎo)致從進(jìn)程等待，從而影響最終的運(yùn)行效率和并行規(guī)模的擴(kuò)大。如果想要實(shí)現(xiàn)萬(wàn)核數(shù)甚至數(shù)十萬(wàn)核數(shù)的大規(guī)模水文模擬參數(shù)率定，需要突破當(dāng)前已有的率定框架設(shè)計(jì)思路，從應(yīng)用本身所具有的特點(diǎn)出發(fā)，設(shè)計(jì)真正適用于水文模擬參數(shù)率定的大規(guī)模率定方法。針對(duì)以上問(wèn)題，本文提出一套針對(duì)大規(guī)模水文模擬參數(shù)率定的基于非阻塞通信的對(duì)等式多級(jí)并行框架。通過(guò)劃分子通信域的方法，將框架分成多級(jí)并行結(jié)構(gòu)。由于框架的特殊性，在進(jìn)行諸如粒子群優(yōu)化的過(guò)程中，采用異步非阻塞通信技術(shù)，使得群體內(nèi)部的信息能夠得到分享，從而進(jìn)一步提高框架的搜索效率。

1 參數(shù)率定

在采用水文模型進(jìn)行徑流模擬和預(yù)報(bào)時(shí)，關(guān)鍵在于尋求水文模型的最優(yōu)參數(shù)值。水文模型的參數(shù)優(yōu)化過(guò)程主要分為兩部分：模型率定和模型校驗(yàn)，本文主要研究模型率定。在模型率定時(shí)，將實(shí)測(cè)降雨、蒸發(fā)、徑流等資料輸入到水文模型中，以模型的模擬流量和實(shí)測(cè)流量的誤差最小為目標(biāo)函數(shù)，采用優(yōu)化算法來(lái)搜尋模型參數(shù)的最優(yōu)值。選擇NS效率系數(shù)[18]來(lái)驗(yàn)證水文模型模擬徑流的精確度

其中，NS為納什效率系數(shù)，yc為預(yù)報(bào)值，m3/s;yo為實(shí)測(cè)值，m3/s;o為實(shí)測(cè)值的平均值，m3/s;n為系列長(zhǎng)度。NS越接近1，該水文模型的質(zhì)量越好，可信度更高;NS接近0，該水文模型的模擬結(jié)果接近觀測(cè)值的平均值水平，即總體結(jié)果可信，但是誤差還是較大;NS遠(yuǎn)遠(yuǎn)小于0，則該水文模型不可信。

參數(shù)率定的主要計(jì)算過(guò)程是根據(jù)率定優(yōu)化算法選取步長(zhǎng)和方向，得到新的粒子點(diǎn)，每個(gè)粒子代表一組參數(shù);本文中的水文模型寫(xiě)成了一個(gè)函數(shù)接口，通過(guò)一組參數(shù)來(lái)調(diào)用水文模型函數(shù)接口進(jìn)行水循環(huán)模擬，得到徑流量模擬值，最后使用式（1）得到NS效率系數(shù)。整個(gè)率定過(guò)程可以作為一個(gè)子任務(wù)，分配到多個(gè)進(jìn)程中，利用多個(gè)進(jìn)程并行計(jì)算，最終得到最優(yōu)的NS效率系數(shù)?；趨?shù)優(yōu)化算法特點(diǎn)，如若想要更加均衡的使用更多的處理器來(lái)進(jìn)一步提高搜索效率，則可以通過(guò)MPI劃分子通信域的方式來(lái)加大計(jì)算規(guī)模。

2 多級(jí)并行參數(shù)率定框架

2.1 基于子通信域的多級(jí)并行框架

為了更好地提高計(jì)算效率，本文選擇以進(jìn)程級(jí)并行作為主要并行策略。MPI（Message Passing Interface）[19]是一個(gè)性能很好的并行程序接口。具有兩種最基本的并行程序設(shè)計(jì)模式：對(duì)等模式和主從模式[20]。由于對(duì)結(jié)果的收集需要進(jìn)行大量的規(guī)約和廣播操作，同時(shí)參數(shù)率定過(guò)程可以獨(dú)立為一個(gè)模塊，本文并行設(shè)計(jì)模式采用的是對(duì)等模式，更好的適應(yīng)大規(guī)模測(cè)試。對(duì)等模式設(shè)計(jì)如圖1所示。本文程序的基礎(chǔ)并行框架采用對(duì)等模式，但為了率定優(yōu)化需要，邏輯上分為三級(jí)：主管理進(jìn)程、子管理進(jìn)程和計(jì)算進(jìn)程。為了提高框架的并行效率，同時(shí)為了適應(yīng)后續(xù)工作的異構(gòu)結(jié)構(gòu)特征設(shè)計(jì)，本文考慮劃分子通信域。

算法設(shè)計(jì)如下：將整個(gè)通信域MPI_COMM_WORLD中所有進(jìn)程創(chuàng)建進(jìn)程組MPI_GROUP_WORLD;排除主進(jìn)程獲取新的進(jìn)程組newgrp;將新進(jìn)程組newgrp創(chuàng)建為一個(gè)通信域newcomm;獲取通信域newcomm中進(jìn)程的進(jìn)程號(hào)newrank和進(jìn)程數(shù)newnum_procs;將通信域newcomm劃分為subSpace個(gè)子通信域subcomm;將通信域MPI_COMM_WORLD的前subSpace+1個(gè)進(jìn)程劃為組group，將組group創(chuàng)建為通信域comm。其中，通信域comm中的0號(hào)進(jìn)程為主管理進(jìn)程，子通信域subcomm中的0號(hào)進(jìn)程為子管理進(jìn)程，子通信域subcomm中的其他進(jìn)程為計(jì)算進(jìn)程，至此框架的三級(jí)劃分完成，如圖2所示。

2.2 多級(jí)并行框架流程

采用MPI劃分子通信域?qū)崿F(xiàn)的三級(jí)并行框架，其中的主管理進(jìn)程、子管理進(jìn)程和計(jì)算進(jìn)程之間的關(guān)系如圖3所示。主管理進(jìn)程和子管理進(jìn)程劃分在一個(gè)通信域comm中，子管理進(jìn)程和計(jì)算進(jìn)程劃分在多個(gè)子通信域subcomm中。首先主管理進(jìn)程進(jìn)行一個(gè)非阻塞式接收，用于接收來(lái)自子管理進(jìn)程的收斂信號(hào)，子管理進(jìn)程進(jìn)行一個(gè)非阻塞式廣播和非阻塞式接收，用于接收來(lái)自主管理進(jìn)程的退出信號(hào)和計(jì)算進(jìn)程的收斂信號(hào)，計(jì)算進(jìn)程進(jìn)行一個(gè)非阻塞式廣播，用于接收來(lái)自子管理進(jìn)程的退出信號(hào)。然后進(jìn)入?yún)?shù)率定，獲得各自最優(yōu)解，同時(shí)對(duì)得到的最優(yōu)解進(jìn)行收斂性分析。主管理進(jìn)程在進(jìn)行收斂性分析時(shí)，若自身收斂或者子管理進(jìn)程也收斂，則向所有其他子管理進(jìn)程發(fā)送結(jié)束信號(hào);若二者都未收斂，則回到參數(shù)率定過(guò)程，以此迭代，直至找到最優(yōu)解。子管理進(jìn)程在進(jìn)行收斂性分析時(shí)，若自身收斂，則同時(shí)向主管理進(jìn)行非阻塞式發(fā)送以及向計(jì)算進(jìn)程進(jìn)行非阻塞式廣播，通知它們退出;考慮同時(shí)收到主管理進(jìn)程和計(jì)算進(jìn)程的收斂信號(hào)或者只收到其中一個(gè)收斂信號(hào)的可能性，進(jìn)行最優(yōu)解比較和非阻塞式通信，通知對(duì)應(yīng)的進(jìn)程退出;若本進(jìn)程未收斂，同時(shí)也未收到收斂信號(hào)，則回到參數(shù)率定過(guò)程，以此迭代，直至找到最優(yōu)解。計(jì)算進(jìn)程在進(jìn)行收斂性分析時(shí)，若自身收斂，檢查是否收到子管理的收斂信號(hào)，若收到，則比較最優(yōu)解，否則直接向子管理進(jìn)程進(jìn)行發(fā)送結(jié)束信號(hào);若本進(jìn)程未收斂，同時(shí)也未收到收斂信號(hào)，則回到參數(shù)率定過(guò)程，以此迭代，直至找到最優(yōu)解。

2.3 面向并行框架的非阻塞通信優(yōu)化

本文并行框架中采用自定義的規(guī)約操作，調(diào)用MPI_Reduce（ ）函數(shù)接口對(duì)主管理進(jìn)程和子管理進(jìn)程中的最優(yōu)解進(jìn)行收集和比較，使得框架整體所有進(jìn)程搜索得到的最優(yōu)解能夠被迅速規(guī)約并將當(dāng)前全局最優(yōu)解分享到每一個(gè)進(jìn)程。該框架可與率定算法緊密結(jié)合，框架中計(jì)算進(jìn)程可以映射成率定算法的搜索粒子點(diǎn)，框架中子通信域可以映射成率定算法的種群，可以與粒子群算法、遺傳算法等無(wú)縫結(jié)合。本文程序中主管理進(jìn)程采用的率定算法為遺傳算法[21]，子管理進(jìn)程和計(jì)算進(jìn)程采用的率定算法為粒子群算法[22]。結(jié)合該特性，本文在每個(gè)子通信域中的子管理進(jìn)程和計(jì)算進(jìn)程之間加入了非阻塞式通信，計(jì)算進(jìn)程異步地發(fā)送當(dāng)前最優(yōu)值和對(duì)應(yīng)參數(shù)組到子管理進(jìn)程，同時(shí)異步的接收子管理進(jìn)程發(fā)送過(guò)來(lái)的整個(gè)子通信域的最優(yōu)值和對(duì)應(yīng)參數(shù)組，子管理進(jìn)程異步的循環(huán)接收來(lái)自計(jì)算進(jìn)程的最優(yōu)值和對(duì)應(yīng)參數(shù)，比較后，將該子通信域的最優(yōu)值和對(duì)應(yīng)參數(shù)發(fā)送給計(jì)算進(jìn)程。由于非阻塞式通信主要用于計(jì)算和通信的重疊，通信操作全部后臺(tái)運(yùn)行，從而提高整個(gè)程序的執(zhí)行效率。

3 數(shù)值試驗(yàn)

將本文的框架應(yīng)用在HIMS水文模型參數(shù)率定模塊的數(shù)值實(shí)驗(yàn)中，實(shí)驗(yàn)主要采用拉薩河流域數(shù)據(jù)針對(duì)HIMS模型的12個(gè)參數(shù)進(jìn)行參數(shù)率定。通過(guò)比較和分析數(shù)值實(shí)驗(yàn)結(jié)果，來(lái)探討框架效率以及并行性能。測(cè)試計(jì)算環(huán)境為中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心超級(jí)計(jì)算機(jī)“元”和國(guó)產(chǎn)先進(jìn)計(jì)算系統(tǒng)。

3.1 參數(shù)尋優(yōu)效果的驗(yàn)證

首先利用HIMS水文模型對(duì)拉薩河流域進(jìn)行參數(shù)率定優(yōu)化的計(jì)算結(jié)果分析該并行框架的尋優(yōu)效果和率定算法的正確性，尋優(yōu)效果將從以下四個(gè)方面分析。

（1） 普通優(yōu)化算法和并行混合算法框架的尋優(yōu)效果對(duì)比。本次實(shí)驗(yàn)將HIMS水文模型中參數(shù)環(huán)境設(shè)置為粒子數(shù)20個(gè)，模擬500次，結(jié)果如圖4所示。并行混合算法優(yōu)化的NS效率系數(shù)在同樣的迭代次數(shù)下大于其他單獨(dú)的優(yōu)化算法的計(jì)算結(jié)果，說(shuō)明參數(shù)率定并行框架有相對(duì)突出的優(yōu)化效果，達(dá)到了水文模型對(duì)流域進(jìn)行參數(shù)率定優(yōu)化的所需達(dá)到的基本要求。

（2） 主從模式和對(duì)等模式的尋優(yōu)效果對(duì)比。在兩種模式框架對(duì)比中，采用三種規(guī)模進(jìn)行數(shù)值測(cè)試，分別為：小規(guī)模21核，粒子數(shù)200個(gè);中規(guī)模201核，粒子數(shù)2 010個(gè);大規(guī)模801核，粒子數(shù)8 010個(gè)。通過(guò)NS效率系數(shù)和運(yùn)行時(shí)間對(duì)比兩者的尋優(yōu)效果，結(jié)果如圖5所示。每種情況測(cè)試10次取均值。可以看出，在率定精確性方面，對(duì)等模式相對(duì)主從模式略占優(yōu)勢(shì)，對(duì)等模式比主從模式模擬的NS效率系數(shù)高0.01左右。但從計(jì)算效率來(lái)看，對(duì)等模式在大規(guī)模率定過(guò)程中的運(yùn)行時(shí)間相對(duì)主從模式的運(yùn)行時(shí)間要短很多，對(duì)等模式在大規(guī)模參數(shù)率定中發(fā)揮較好的效果。

（3） 加非阻塞通信和不加非阻塞通信的尋優(yōu)效果對(duì)比。對(duì)比加入非阻塞通信和不加入非阻塞通信的兩種情況下的NS效率系數(shù)（圖6），同時(shí)測(cè)試了迭代50次（圖6（a））和迭代500次（圖6（b））的情況。由圖6（a）可知，在固定迭代50次后，加入非阻塞通信的NS效率系數(shù)比未加入非阻塞通信的NS效率系數(shù)高一些，同時(shí)隨著進(jìn)程數(shù)的增加，NS效率系數(shù)變高;由圖6（b）可知，在固定迭代500次后，加入非阻塞通信的NS效率系數(shù)比未加入非阻塞通信的NS效率系數(shù)稍高一點(diǎn)，但總體上相差不大。以上分析說(shuō)明在迭代次數(shù)較少的情況下，加入非阻塞通信的框架尋優(yōu)效果較好，迭代次數(shù)增加后，兩者之間差距縮小，說(shuō)明加入非阻塞通信能夠加快算法收斂，從而整體更快的貼近最優(yōu)值。

（4） 算法正確性驗(yàn)證。通過(guò)對(duì)比率定過(guò)程中的徑流量和實(shí)測(cè)徑流量來(lái)驗(yàn)證算法正確性，結(jié)果如圖7所示。伴隨著迭代次數(shù)的增加，水文模擬出來(lái)的徑流量總體趨勢(shì)上越來(lái)越貼近實(shí)際測(cè)量值，說(shuō)明通過(guò)率定算法的參數(shù)集越來(lái)越靠近最優(yōu)參數(shù)集，通過(guò)這組最優(yōu)參數(shù)集水文模擬得到的徑流量也會(huì)與實(shí)測(cè)值更加貼近吻合。

3.2 多級(jí)并行參數(shù)率定框架的擴(kuò)展性測(cè)試

3.2.1 主從模式和對(duì)等模式可擴(kuò)展性對(duì)比 針對(duì)主從模式框架和對(duì)等模式框架在強(qiáng)擴(kuò)展性方面進(jìn)行測(cè)試。模擬總粒子數(shù)為9 000粒子，隨著進(jìn)程的增加，每個(gè)進(jìn)程中的粒子數(shù)減少。其中，由于主從框架的特性，在數(shù)據(jù)整理時(shí)，總進(jìn)程中去除了前四個(gè)只進(jìn)行優(yōu)化算法的固定進(jìn)程。兩者對(duì)應(yīng)的加速比對(duì)比如圖8所示?？梢钥闯?，隨著進(jìn)程數(shù)的增加，對(duì)等模式框架的加速比呈指數(shù)上漲，呈現(xiàn)較好的擴(kuò)展性，而主從模式框架的加速比在90個(gè)進(jìn)程之后幾乎沒(méi)有變化，甚至在900進(jìn)程處呈下降趨勢(shì)?？梢?jiàn)，對(duì)等模式框架在大規(guī)模率定中的擴(kuò)展性遠(yuǎn)遠(yuǎn)好于主從框架。

3.2.2 對(duì)等模式在大規(guī)模方面的擴(kuò)展性測(cè)試 （1） 弱擴(kuò)展性測(cè)試。在多級(jí)并行參數(shù)率定框架的并行弱擴(kuò)展測(cè)試中，在保持每個(gè)進(jìn)程所分到的計(jì)算量基本一致的情況下，通過(guò)增加進(jìn)程數(shù)來(lái)測(cè)試程序的并行性能。測(cè)試以6 251核為基準(zhǔn)，每種情況測(cè)試10次取均值，迭代次數(shù)為500次。所有算例均設(shè)置每個(gè)子通信域50個(gè)進(jìn)程，每個(gè)進(jìn)程1 600個(gè)粒子，保證每個(gè)進(jìn)程分到的任務(wù)量基本一致。測(cè)試的運(yùn)行時(shí)間和并行效率如圖9所示。從測(cè)試結(jié)果可以看到，以6 251核為基準(zhǔn)，到十萬(wàn)核時(shí)并行效率還保持在86%，整個(gè)框架始終運(yùn)行在較高的效率之上，擴(kuò)展性較好。

（2） 強(qiáng)擴(kuò)展性測(cè)試。參數(shù)率定框架的強(qiáng)擴(kuò)展測(cè)試實(shí)驗(yàn)中，在保證問(wèn)題計(jì)算規(guī)模一定的情況下，測(cè)試程序隨著核數(shù)增多而導(dǎo)致程序性能的變化情況。本文測(cè)試以6 251核為基準(zhǔn)，將核數(shù)翻倍，總粒子數(shù)在1.6億左右，迭代次數(shù)500次。測(cè)試的運(yùn)行時(shí)間和加速比如圖10所示，測(cè)試的并行效率如圖11所示?？梢钥闯觯瑥?qiáng)擴(kuò)展性測(cè)試具有較為理想的加速比與并行效率，在十萬(wàn)核之內(nèi)保持85%的并行效率，說(shuō)明劃分平衡度較好，且非阻塞式通信使得通信與計(jì)算重疊，由于通信產(chǎn)生的核間等待很少。總體擴(kuò)展性良好。

4 結(jié)論

本文采用了MPI中的非阻塞式通信實(shí)現(xiàn)了一個(gè)多級(jí)并行框架，同時(shí)將多種優(yōu)化算法相結(jié)合，用于水文模型中的參數(shù)優(yōu)化模塊。分析HIMS模型的參數(shù)優(yōu)化實(shí)驗(yàn)結(jié)果可知，此框架求出的NS效率系數(shù)有明顯的提高，并較大幅度減少了運(yùn)行時(shí)間。并行框架具有良好的可擴(kuò)展性，在大規(guī)模水文模擬中有較好的發(fā)揮。下一步的工作主要是考慮并行框架在異構(gòu)眾核架構(gòu)上的加速，同時(shí)探討其他的優(yōu)化算法與該并行框架的結(jié)合，使得在參數(shù)率定過(guò)程中進(jìn)一步提高并行度。

參考文獻(xiàn)

[1]ABBOTT M B， BATHURST J C， CUNGE J A， et al. An introduction to the European Hydrological System-Systeme Hydrologique Europeen， “SHE”， 1： History and philosophy of a physically-based， distributed modelling system[J]. Journal of Hydrology， 1986， 87（1）： 45-59.

[2]LIU C M， WANG Z G， ZHENG H X， et al. Development of hydro-informatic modelling system and its application[J]. Science in China Series E： Technological Sciences， 2008， 51（4）： 456-466

[3]ALAM Z， RAHMAN M， ISLAM A. Assessment of climate change impact on the Meghna River Basin using geomorphology based hydrological model （GBHM）[C]// 3rd International Conference on Water and Flood Management （ICWFM-2011）. Dhaka， 2011.

[4]趙人俊， 王佩蘭. 新安江模型參數(shù)的分析[J]. 水文， 1988（6）： 2-9.

[5]雷曉輝， 廖衛(wèi)紅， 蔣云鐘， 等. 分布式水文模型EasyDHM模型[J]. 水利信息化， 2010， （3）： 31-37.

[6]WANG Q. The genetic algorithm and its application to calibrating conceptual rainfall-runoff models[J]. Water Resources Research， 1991， 27（9）： 2467-2471.

[7]CHENG C， OU C， CHAU K. Combining a fuzzy optimal model with a genetic algorithm to solve multi-objective rainfall-runoff model calibration[J]. Journal of Hydrology， 2002， 268（1）： 72-86

[8]馬海波， 董增川， 張文明， 等. SCE-UA算法在TOPMODEL參數(shù)優(yōu)化中的應(yīng)用[J]. 河海大學(xué)學(xué)報(bào)，2006， 34（4）： 361-365.

[9]THIEMANN M， TROSSET M， GUPTA H， et al. Bayesian recursive parameter estimation for hydrologic models[J]. Water Resources Research， 2001， 37（10）： 2521-2535.

[10] KOLLET S J， MAXWELL R M， WOODWARD C S， et al. Proof of concept of regional scale hydrologic simulations at hydrologic resolution utilizing massively parallel computer resources[J]. Water Resources Research， 2010， 46（4）： W04201.1-W04201.7.

[11] YALEW S G， VAN GRIENSVEN A， KOKOSZKIEWICZ L. Parallel computing of a large scale spatially distributed model using the Soil and Water Assessment Tool （SWAT） [C]// 2010 International Congress on Environmental Modelling and Software Modelling for Environment′s Sake， Fifth Biennial Meeting. Ottawa， 2010：1182-1189.

[12] LI T J， WANG G Q， CHEN J， et al. Dynamic parallelization of hydrological model simulations[J]. Environmental Modelling & Software， 2011， 26（12）： 1736-1746.

[13] HUO J Y， LIU L Q， ZHANG Y N. An improved multi-cores parallel artificial Bee colony optimization algorithm for parameters calibration of hydrological model[J]. Future Generation Computer Systems， 2018， 81： 492-504.

[14] 闞光遠(yuǎn)， 洪陽(yáng)， 梁珂， 等. 基于GPU加速的水文模型參數(shù)率定[J]. 人民長(zhǎng)江， 2019， 50（5）： 65-69，75.

[15] 李強(qiáng)， 陸忠華， 王彥棡， 等. 基于克里金插值的SWAT參數(shù)率定大規(guī)模并行方法[J]. 計(jì)算機(jī)應(yīng)用研究， 2016，33（1）： 60-63.

[16] 李強(qiáng)， 陸忠華， 王彥棡， 等. 基于高性能計(jì)算的SWAT參數(shù)敏感度分析并行框架[J]. 計(jì)算機(jī)應(yīng)用研究， 2015， 32（1）： 41-44+70

[17] 申蒙蒙， 陸忠華， 王彥棡. 水文模擬中并行參數(shù)優(yōu)化算法[J]. 計(jì)算機(jī)工程與設(shè)計(jì)， 2017， 38（4）： 1002-1007.

[18] NASH J E， SUTCLIFFE J V. River flow forecasting through conceptual models part I—A discussion of principles[J]. Journal of Hydrology， 1970， 10（3）： 282-290.

[19] GROPP W， LUSK E， DOSS N， et al. A high-performance， portable implementation of the MPI message passing interface standard[J]. Parallel Computing， 1996， 22（6）： 789-828

[20] 王亞茹， 王鵬， 王德志. 基于MPI的多核并行模式的性能測(cè)試與分析[J]. 成都信息工程大學(xué)學(xué)報(bào)， 2018， 33（6）： 617-623.

[21] MAN K F， TANG K S， KWONG S. Genetic algorithms： concepts and designs[M]. Berlin： Springer Science & Business Media， 2012.

[22] 王蓉， 劉遵仁， 高陽(yáng). 基于粒子群優(yōu)化和鄰域粗糙集的快速約簡(jiǎn)算法[J]. 青島大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2017， 30（3）：51-54.