基于SOA體系的水文資料在線整編系統(tǒng)構建及應用

盧靜媛 劉財福 時建國 關興中

摘要：整合現(xiàn)有資源以實現(xiàn)資料整編在線化是水文資料整編工作的重難點，提出了一種基于SOA體系的水文資料在線整編系統(tǒng)，在與南方片水文資料整匯編軟件系統(tǒng)（SHDP系統(tǒng)）、江西省水文監(jiān)測系統(tǒng)兼容的同時，可實現(xiàn)“一處填寫、多處錄入”，減少了不必要的數(shù)據(jù)重復錄入，實現(xiàn)整編工作的效益最大化。該整編系統(tǒng)可拆分為獨立部署的服務單元，與SHDP系統(tǒng)、江西省水文監(jiān)測系統(tǒng)通過數(shù)據(jù)交換服務進行交互，能夠復用這些系統(tǒng)的已有功能;系統(tǒng)還能實時預覽整編結果，對其進行交叉審查，提高了水文整編工作的效率，保證了整編成果的質量。

關鍵詞：水文資料整編;在線整編系統(tǒng);SOA體系;系統(tǒng)兼容;Web應用

中圖法分類號：P337

文獻標志碼：A

DOI：10.15974/j .cnki. slsdkb.2020.10.014

1 研究背景

我國地形復雜，水資源分布時空不均，是世界上人均水資源最為貧乏的國家之一。開展水文資料整編工作有助于充分了解某一地區(qū)的用水、集水情況，以便對后續(xù)發(fā)生的一系列水文事件作出最優(yōu)判斷[1]。2004年，長江水利委員會水文局率先開展了在線水文資料整編系統(tǒng)的平臺開發(fā)工作，主導開發(fā)了“南方片水文資料整匯編軟件系統(tǒng)”客戶端（以下簡稱“南方片系統(tǒng)”），實現(xiàn)了水文資料的整編數(shù)據(jù)錄入、處理、報表生成、整編表項、匯編數(shù)據(jù)輸出等功能，該系統(tǒng)在行業(yè)內(nèi)逐步得到了推廣使用。2019年，江西省響應水利部的工作要求，建立了“江西省水文監(jiān)測系統(tǒng)”（以下簡稱“監(jiān)測系統(tǒng)”），初步實現(xiàn)水文資料在線導人，人工觀測數(shù)據(jù)、各項監(jiān)測成果以及人工錄入數(shù)據(jù)的錄入、校對、復核3道工序流程，達到水文資料監(jiān)測及整編“日清月結”的考核指標要求。

南方片系統(tǒng)和監(jiān)測系統(tǒng)無法完全滿足水文資料整編工作的需求，具體原因有：①南方片系統(tǒng)是資料整編系統(tǒng)，采用的是C/S架構（客戶端/服務器架構），監(jiān)測系統(tǒng)采用B/S架構（瀏覽器/服務器架構），二者難以交互;②監(jiān)測系統(tǒng)只包含簡單的資料整編功能，缺少原始數(shù)據(jù)溯源及成果合理性分析功能，從南方片系統(tǒng)中遷移數(shù)據(jù)到監(jiān)測系統(tǒng)中時，數(shù)據(jù)的重復錄入增加了用戶工作量，且有出錯風險;③監(jiān)測系統(tǒng)中的數(shù)據(jù)審查較為簡單，缺乏流程性和實時性，且尚無法實現(xiàn)全省交叉審查。本文提出了一種基于SOA體系的水文資料在線整編系統(tǒng)（以下簡稱“整編系統(tǒng)”），通過Web應用的形式，實現(xiàn)了與監(jiān)測系統(tǒng)、南方片系統(tǒng)的銜接。

2 系統(tǒng)設計

整編系統(tǒng)中的數(shù)據(jù)可與南方片系統(tǒng)中的數(shù)據(jù)進行雙向導人導出，提高了水文資料整編工作效率，減少了人為誤差[2]。整編系統(tǒng)可運行于內(nèi)網(wǎng)環(huán)境中，保證了數(shù)據(jù)的安全性;采用B/S架構，用戶無需下載專門的客戶端即可在線使用，同時采用SOA體系將系統(tǒng)拆分成數(shù)個子服務單元，熱點服務可以進行負載均衡、冗余部署，提高了系統(tǒng)穩(wěn)定性。系統(tǒng)升級時無需更新整個系統(tǒng)，只需更新對應的服務單元即可，對原有系統(tǒng)進行擴展也十分便捷，不會影響原系統(tǒng)的正常使用。

整編系統(tǒng)設計主要實現(xiàn)以下功能：

（1）對測站原始資料的收集、整理及合理性檢查，解決目前江西省水文測站資料分散整編、整編方法不統(tǒng)一等問題，確保水文監(jiān)測資料的準確性、合理性、標準性，能夠輸出符合水文年鑒圖表要求的格式文件。

（2）實現(xiàn)統(tǒng)一、規(guī)范的水文監(jiān)測資料原始數(shù)據(jù)及成果的提交、審查、匯交及共享功能。提高水文資料整編成果的匯交及審查效率，做到水文監(jiān)測資料標準化管理。

（3）減少測站人員對數(shù)據(jù)的重復錄入，做到“一處填寫、多處錄入”，統(tǒng)一數(shù)據(jù)源，確保與其他業(yè)務系統(tǒng)整編成果數(shù)據(jù)的一致性，提高數(shù)據(jù)準確性。

傳統(tǒng)的軟件開發(fā)已經(jīng)經(jīng)歷了面向過程、面向對象和面向構件幾個階段[3]，現(xiàn)階段SOA體系（基于服務的軟件開發(fā)體系）已較為成熟，具有跨語言、跨平臺、抽象化、透明化、通用化等特點。整編系統(tǒng)可以按照基本功能單元拆分成數(shù)個松耦合緊內(nèi)聚的服務單元，不同服務單元之間通過規(guī)定好的接口進行Web通信[4]，并且各細粒度的服務單元還可以通過組合形成粗粒度的服務單元。系統(tǒng)采用B/S架構，相較于C/S架構具有配置要求低、無需特定客戶端、更新容易、交換數(shù)據(jù)方便快捷等優(yōu)點，用戶只需使用通用瀏覽器訪問網(wǎng)頁即可使用相關功能。整編系統(tǒng)體系結構共分為5層，見圖1。

業(yè)務支撐層是系統(tǒng)的核心，為應用用戶層提供數(shù)據(jù)支撐，系統(tǒng)的主要數(shù)據(jù)處理過程都在該層完成。業(yè)務支撐層包含基本信息管理、數(shù)據(jù)管理、輔助定線、數(shù)據(jù)分析、審查管理、文檔管理和系統(tǒng)管理等服務單元，各服務單元將公共服務組件封裝對外提供實現(xiàn)數(shù)據(jù)共享，對上層提供應用接口便于訪問數(shù)據(jù)，上層以RESTful風格便捷地訪問數(shù)據(jù)，并根據(jù)業(yè)務需求的不同自由組合不同的服務。

2.1 基本信息管理

基本信息管理服務包含一系列預設的信息表[5]，用戶可在線輸入，或將表（模板文件）下載到本地，填寫完畢后再上傳，系統(tǒng)會自動分析并檢測數(shù)據(jù)的正確性和合理性。

2.2 數(shù)據(jù)管理

傳統(tǒng)水文測驗工作需要先將測驗數(shù)據(jù)錄入/導人到監(jiān)測系統(tǒng)中，然后再手工錄入/導人到南方片系統(tǒng)中，重復錄入極易出錯。整編系統(tǒng)中，只需測站人員完成一份人工觀測及測驗記載數(shù)據(jù)，成果數(shù)據(jù)會自動生成，并且通過系統(tǒng)提供的數(shù)據(jù)雙向導人導出功能與南方片系統(tǒng)的數(shù)據(jù)無縫對接，通過RPC遠程調用能夠直接將數(shù)據(jù)錄入到監(jiān)測系統(tǒng)中，統(tǒng)一數(shù)據(jù)源，確保其他業(yè)務系統(tǒng)的整編成果數(shù)據(jù)一致性，提高數(shù)據(jù)準確性。

數(shù)據(jù)是整編系統(tǒng)的基石，只有數(shù)據(jù)準確才能正常開展后續(xù)的計算工作，導人數(shù)據(jù)后，數(shù)據(jù)管理服務會對數(shù)據(jù)進行必要的正確性和合理性檢查，避免后續(xù)計算失敗。通過自動采集數(shù)據(jù)、人工錄入數(shù)據(jù)、離線交換數(shù)據(jù)和在線交換數(shù)據(jù)4種方式向系統(tǒng)輸入數(shù)據(jù)。數(shù)據(jù)處理具體過程見圖2。

（1）數(shù)據(jù)輸入系統(tǒng)。對于遙測數(shù)據(jù)可設定采用自動采集數(shù)據(jù)方式，或將Excel結果文件導人到系統(tǒng)中，其余數(shù)據(jù)采用人工錄入或填寫Excel文件的方式導人到系統(tǒng)中，數(shù)據(jù)通過異常檢測模塊檢測后才可進入下一步處理。由于自動采集數(shù)據(jù)量大（每5 min采集一次），故平臺可以根據(jù)測站特性，在不破壞數(shù)據(jù)特征點的情況下進行精簡摘錄，摘錄成果需反映水位變化的完整過程，并滿足計算日平均水位和推算流量的需求。

（2）在線交換數(shù)據(jù)。指同一系統(tǒng)在運行過程中通過網(wǎng)絡交換數(shù)據(jù)。由于系統(tǒng)已對數(shù)據(jù)進行了處理，故在線交換數(shù)據(jù)可越過數(shù)據(jù)異常檢測環(huán)節(jié)直接進入下一環(huán)節(jié)。

（3）數(shù)據(jù)異常檢測單元。通過預先設定的數(shù)據(jù)規(guī)則對輸入的數(shù)據(jù)進行正確性和合理性檢查，例如數(shù)據(jù)缺失、位數(shù)錯誤、單位錯誤、數(shù)據(jù)超出范圍、數(shù)據(jù)錯位和數(shù)據(jù)明顯不合理等，數(shù)據(jù)管理服務對異常數(shù)據(jù)進行高亮處理后，以可視化形式進一步處理。

（4）人工數(shù)據(jù)審核。操作員可直接修正明顯不合理的數(shù)據(jù)，或將出錯數(shù)據(jù)以最小單位駁回。

（5）存人原始庫。待人工審核通過后存人原始數(shù)據(jù)庫中，對原始數(shù)據(jù)庫中的數(shù)據(jù)不允許直接修改，只允許讀取和插入，每進行一次插入操作都要記錄詳細操作日志，便于后期溯源。

2.3 輔助定線

輔助定線能夠對已有的規(guī)范數(shù)據(jù)進行分析整理，以圖表的形式對水位一流量、水位一流速、水位一面積等關系模型進行符合測站特性的定線工作。該模塊能夠提供可視化操作界面，測站人員可以直接在界面上通過設定檢測參數(shù)、選擇模型、劃分定線時段等定線操作。計算機會根據(jù)用戶的設置進行自主定線，綜合對比不同模型后，計算出水位一流量關系曲線入庫，并將定線數(shù)據(jù)自動導人到南方片系統(tǒng)中;南方片系統(tǒng)中已經(jīng)定線的成果數(shù)據(jù)也可導人到監(jiān)測系統(tǒng)中。

2.4 數(shù)據(jù)分析

根據(jù)系統(tǒng)獲取到的數(shù)據(jù)和計算出的關系模型進行數(shù)據(jù)分析，得到水文站點的一系列過程線和對照圖。系統(tǒng)根據(jù)預先設定的規(guī)則進行檢測，對異常數(shù)據(jù)進行標注并轉交“審查管理”服務單元。水位、流量、沙量、水溫、降水量、蒸發(fā)量等內(nèi)容經(jīng)審查后，可導出為規(guī)范的月報表。

2.5 審查管理

相較于監(jiān)測系統(tǒng)的審查功能，整編系統(tǒng)的審查管理可以做到“隨整編隨檢查”，實現(xiàn)審查資料交匯、專家指派、任務分配、合理性檢查、結果確認等工作一體化;記錄詳細操作日志，使所有審查操作均可溯源，達到對整編過程及整編結果綜合審查的目的;提高了水文資料整編成果匯交和審查的效率，實現(xiàn)了水文監(jiān)測資料標準化管理。

圖3為審查管理的具體流程，由圖3可知：①管理員負責新建審查主題，為有資格的審查人員隨機指定審查項目，進行單站合理性檢查和綜合合理性檢查。②單站合理性檢查主要對單站資料進行檢查，每條欄目旁均有規(guī)范格式和參考示例供審查人員快速核對。若檢查出錯情，會生成錯情登記表交由審查人員登記，并交由管理員進行查復處理;對于確定的錯情，同意處理;對于有爭議的錯情，需要移交給省局進行仲裁，最終生成錯情登記表。③綜合合理性檢查主要對相鄰站點進行檢查，尤其是需要對用到相鄰站點的過程線資料進行檢查;界面會并列顯示相鄰站點，自動高亮相差較大的數(shù)據(jù)，其余同單站合理性檢查相同。

用戶可隨時通過統(tǒng)一的Web GIS界面，在地圖上或以表格方式查詢審查進度及錯情統(tǒng)計等信息。

2.6 文檔管理和系統(tǒng)管理

不同級別的水文管理部門可以向指定單位或指定人員發(fā)送文件，對方下載接收到的文件并永久保存。同時，所有用戶的操作都會記錄在操作日志中，日志提供查詢和篩選功能，不可予以刪除，管理員在系統(tǒng)管理中對用戶進行管理。

3 系統(tǒng)應用效果分析

該整編系統(tǒng)采用SOA體系，易部署、易更新、易擴展，各個服務單元在規(guī)劃階段均實現(xiàn)統(tǒng)一化、規(guī)范化，設有專門與南方片系統(tǒng)數(shù)據(jù)庫或監(jiān)測系統(tǒng)進行交互的服務單元，用戶在整編系統(tǒng)中錄入的數(shù)據(jù)均可通過該服務單元導人到南方片系統(tǒng)數(shù)據(jù)庫或者監(jiān)測系統(tǒng)中。同時，整編系統(tǒng)中的正常數(shù)據(jù)流轉不受該服務單元的影響，對于無需與南方片系統(tǒng)或者監(jiān)測系統(tǒng)進行交互的用戶，可以在部署時直接移除該服務單元。

相較于南方片系統(tǒng)和監(jiān)測系統(tǒng)，整編系統(tǒng)具有以下優(yōu)點：

（1）易部署、易更新、易擴展、易使用。系統(tǒng)各服務單元之間不會形成遞歸依賴，只會依賴最少的必要服務，各服務單元均可獨立部署在不同的服務器中進行通信;用戶只需在統(tǒng)一的前端人口進行數(shù)據(jù)錄入;系統(tǒng)的更新擴展十分便捷，由于系統(tǒng)主要采用接口服務，增加手機APP、微信公眾號人口功能，只需開發(fā)對應的前端界面，無需對后端做較大修改。

（2）整編系統(tǒng)與南方片系統(tǒng)、監(jiān)測系統(tǒng)之間交互方便，不易出錯。系統(tǒng)內(nèi)部采用RESTful接口進行交互，并設有與南方片系統(tǒng)進行交互的功能，用戶在整編系統(tǒng)中錄人數(shù)據(jù)，經(jīng)系統(tǒng)檢查后，可以錄入南方片系統(tǒng)的數(shù)據(jù)庫中;對于南方片系統(tǒng)中已有的整編成果，也可導人整編系統(tǒng)中。該系統(tǒng)還設有與檢測系統(tǒng)進行交互的服務單元，對于以前需要手工錄入的數(shù)據(jù)，該服務單元采用RPC遠程調用的形式，直接調用監(jiān)測系統(tǒng)的接口，將系統(tǒng)中的數(shù)據(jù)返回給監(jiān)測系統(tǒng)。

（3）可實時預覽、導出整編成果。系統(tǒng)擁有圖形化數(shù)據(jù)預覽界面，以圖表的形式展現(xiàn)整編數(shù)據(jù)及成果，也可通過WebGIS界面在地圖上點擊、篩選對應測站詳情。系統(tǒng)可隨時導出整編成果書，以更規(guī)范的形式供用戶查看。

（4）隨整編隨檢查，水文監(jiān)測資料實現(xiàn)標準化管理。系統(tǒng)實現(xiàn)了審查資料交匯、專家指派、任務分配、合理性檢查、結果確認等工作一體化，每一步工作都會記錄詳細操作日志，使所有審查操作均可溯源，達到對整編過程及整編結果綜合審查的目的，提高水文資料整編成果匯交和審查的效率。

4 結語

傳統(tǒng)的水文資料整編過度依賴人工操作，不同單位開發(fā)的水文資料整編系統(tǒng)相互兼容性不強。本文提出了基于SOA體系構建的水文資料整編系統(tǒng)，將系統(tǒng)分解為多個可以獨立部署的服務單元，通過獨立的數(shù)據(jù)交換服務單元與南方片系統(tǒng)、監(jiān)測系統(tǒng)進行交互，不同服務單元之間可以根據(jù)不同的要求進行功能的組合，實現(xiàn)無侵入式開發(fā)部署。該系統(tǒng)可以做到“一處填寫、多處錄入”，避免了因人員手工重復錄入造成的錯誤，也實現(xiàn)了與其他水文系統(tǒng)的兼容，復用了其他水文系統(tǒng)的優(yōu)勢，提高了水文整編工作的效率，保證了整編成果的質量。

參考文獻：

[1] 韋賢彬.水文資料在線整編系統(tǒng)設計與應用[J].水利信息化，2018（3）：61-64.

[2] 張超，徐正坤.如何提高水文資料整編精度的思考[J].河南水利與南水北調，2017，46（12）：45-46.

[3]周曉強.Web服務異步調用模型的研究與實現(xiàn)[D].武漢：武漢理工大學，2009.

[4] 陳文燕.基于SOA軟件體系的研究與設計[D].合肥：合肥工業(yè)大學，2009.

[5]SL 247-2012水文資料整編規(guī)范[S].

（編輯：李曉濛）

作者簡介：盧靜媛，女，碩士，主要從事水文資料及數(shù)據(jù)庫管理方面的工作。E-mail：29955214@qq.com