基于云平臺的氣象數(shù)據(jù)共享系統(tǒng)設(shè)計

陳沖　張鋒　朱潛　王偉　李俊徽

摘要：為了解決浙江省各級氣象部門服務(wù)的數(shù)據(jù)來源不一致、響應(yīng)慢等問題，利用分布式云存儲和云計算框架，構(gòu)建了基于云平臺的氣象數(shù)據(jù)共享系統(tǒng)，無縫對接傳統(tǒng)氣象數(shù)據(jù)源，研發(fā)氣象數(shù)據(jù)從存儲、加工、共享發(fā)布到管理的一體化功能。實踐證明，該系統(tǒng)較好地整合了全省氣象數(shù)據(jù)，產(chǎn)品資源集約度更高，響應(yīng)時間更快，負載能力更強，為各級氣象部門提供了可靠、高效的實時數(shù)據(jù)共享服務(wù)，取得了良好的應(yīng)用效果。

關(guān)鍵詞：氣象；云計算；云平臺；共享；發(fā)布

中圖分類號：TP399? ? ? 文獻標識碼：A

文章編號：1009-3044（2023）01-0067-04

1 引言

隨著浙江省氣象信息化、現(xiàn)代化發(fā)展，全省氣象數(shù)據(jù)更加豐富[1-3]，其在氣象監(jiān)測、預(yù)報預(yù)警中發(fā)揮著越來越多的應(yīng)用。但受制于氣象內(nèi)外網(wǎng)絡(luò)安全等因素影響，各級氣象部門獲取數(shù)據(jù)困難，難以高效統(tǒng)一地共享省級業(yè)務(wù)部門的數(shù)據(jù)產(chǎn)品，出現(xiàn)了本地數(shù)據(jù)來源雜亂、延時性高等問題，對其進一步提升氣象服務(wù)質(zhì)量產(chǎn)生較大影響。

近年來云服務(wù)發(fā)展迅速，云計算服務(wù)平臺[3-6]提供了規(guī)范化的基礎(chǔ)數(shù)據(jù)支撐框架，實現(xiàn)了從網(wǎng)絡(luò)、計算到存儲等資源集約化的功能，有效提升資源利用率及響應(yīng)效率[6-8]?；谠破脚_技術(shù)集中開發(fā)互聯(lián)網(wǎng)氣象數(shù)據(jù)接口服務(wù)，可有效地實現(xiàn)數(shù)據(jù)共享與網(wǎng)絡(luò)壁壘。

本文利用云平臺的技術(shù)框架，建立基于云平臺的數(shù)據(jù)共享系統(tǒng)，通過接口鑒權(quán)的方式，實現(xiàn)全省各級氣象部門的數(shù)據(jù)共享服務(wù)，為各級氣象部門提供氣象實況、預(yù)報預(yù)警、雷達等精細化氣象產(chǎn)品，實現(xiàn)全省氣象數(shù)據(jù)的集約整合、開放共享的建設(shè)模式。

2 系統(tǒng)設(shè)計

2.1 系統(tǒng)三層體系架構(gòu)設(shè)計

氣象數(shù)據(jù)共享系統(tǒng)總體包括“三橫二縱”結(jié)構(gòu)，“三橫”為數(shù)據(jù)采集層、數(shù)據(jù)存儲層及數(shù)據(jù)服務(wù)層，“二縱”為業(yè)務(wù)管理與消息總線，總體系統(tǒng)架構(gòu)圖如圖1。

1） 數(shù)據(jù)采集層：承擔對省級氣象數(shù)據(jù)的收集任務(wù)，數(shù)據(jù)范圍涵蓋氣象網(wǎng)格數(shù)據(jù)、XML、JSON、文檔與圖片等，采用Java語言設(shè)計開發(fā)，利用開源的Jenkins任務(wù)調(diào)度器，通過FTP的方式實現(xiàn)采集和傳輸，并對文件進行規(guī)范化命名處理和分類入庫。

2） 數(shù)據(jù)存儲層：承擔對數(shù)據(jù)的規(guī)范化存儲任務(wù)，將氣象文件類數(shù)據(jù)存儲于OSS（Object Storage Service） ；相關(guān)用戶信息與日志等存儲于RDS（Relational Database Service） ；將氣象網(wǎng)格數(shù)據(jù)以key-value的方式存儲于HBase（Hadoop Database） ，以提升定點經(jīng)緯度數(shù)據(jù)值的讀取速度，所有基于LBS（Location Based Services） 的接口的數(shù)據(jù)都從HBase獲取。

3） 數(shù)據(jù)服務(wù)層：承擔通用的、規(guī)范化的數(shù)據(jù)接口服務(wù)，同時實現(xiàn)對數(shù)據(jù)訪問的權(quán)限控制和相關(guān)日志記錄功能；依托API（Application Programming Interface） 網(wǎng)關(guān)和SLB（Server Load Balancing） 技術(shù)，向全省提供互聯(lián)網(wǎng)基礎(chǔ)數(shù)據(jù)服務(wù)，確保其具有較強的穩(wěn)定性、可靠性和易擴展性。

4） “二縱”主要包括：業(yè)務(wù)管理、消息總線。業(yè)務(wù)管理是對氣象數(shù)據(jù)共享服務(wù)的管理平臺，對數(shù)據(jù)接口申請、氣象數(shù)據(jù)管理與用戶管理提供維護功能；消息總線承擔各子系統(tǒng)、各應(yīng)用和模塊之間的信息交互。

2.2 數(shù)據(jù)處理流程設(shè)計

數(shù)據(jù)處理流程包括任務(wù)調(diào)度、數(shù)據(jù)同步及數(shù)據(jù)存儲，框架如圖2。將浙江省氣象內(nèi)網(wǎng)的監(jiān)測預(yù)報網(wǎng)格產(chǎn)品、雷達、預(yù)警信息與文稿等數(shù)據(jù)進行采集、加工處理和上云。

1） 任務(wù)調(diào)度：使用Jenkins，替代傳統(tǒng)Windows計劃任務(wù)，提供分布式調(diào)度，部署一個Jenkins管理節(jié)點，其他節(jié)點負責具體調(diào)度和運行。

2） 數(shù)據(jù)同步：采用Kettle中間件進行數(shù)據(jù)庫信息采集同步，由Transformation和Job兩種腳本文件實現(xiàn)業(yè)務(wù)，Transformation完成針對數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，Job則完成整個工作流的控制，最終通過Shell腳本或者Batch批處理命令執(zhí)行任務(wù)；研發(fā)FTP文件數(shù)據(jù)采集同步程序，通過Batch批處理命令執(zhí)行任務(wù)，可以基于配置定義每類數(shù)據(jù)的相關(guān)屬性實現(xiàn)文件校驗、同步、解析和上云等。

3） 數(shù)據(jù)存儲：采用阿里云存儲服務(wù)，包括對網(wǎng)格文件、雷達、預(yù)警文件與圖文資料等文件類數(shù)據(jù)，業(yè)務(wù)管理信息、用戶信息、配置信息與訪問信息等結(jié)構(gòu)化數(shù)據(jù)，key-value方式存儲的氣象網(wǎng)格數(shù)據(jù)等三類數(shù)據(jù)的存儲服務(wù)。

2.3 數(shù)據(jù)接口發(fā)布流程設(shè)計

數(shù)據(jù)接口發(fā)布流程設(shè)計是對基于云存儲的氣象數(shù)據(jù)資源開展共享流程架構(gòu)，對氣象數(shù)據(jù)資源進行集約化利用、高效化發(fā)布以及規(guī)范化管理，由數(shù)據(jù)接口規(guī)范與說明與訪問權(quán)限管理組成，用于接口幫助信息展示和接口權(quán)限管理。

1） 數(shù)據(jù)接口規(guī)范與說明：主要由接口地址、請求參數(shù)、返回信息和樣例說明組成。接口地址采用統(tǒng)一域名加不同子地址的方式進行開放，需傳入相關(guān)參數(shù)，包括相關(guān)位置信息、密鑰、時序等；數(shù)據(jù)返回信息和樣例說明是對接口返回內(nèi)容的具體說明，便于開發(fā)者使用，減少中間的溝通成本，整體流程如圖3。

2） 數(shù)據(jù)訪問權(quán)限管理：包括審批與接口鑒權(quán)，接入氣象數(shù)據(jù)共享系統(tǒng)的接口需先進行申請，提交接口類型、訪問氣象要素與注冊用戶信息等資料，審批通過后開放給用戶對應(yīng)的密鑰，后面所有數(shù)據(jù)訪問都基于用戶身份認證模式，密鑰校驗成功后才能獲取到接口返回數(shù)據(jù)，整體流程如圖4。

3） 數(shù)據(jù)接口概述

數(shù)據(jù)接口采用Java語言編寫，依托阿里云微服務(wù)架構(gòu)實現(xiàn)接口部署，通過SLB完成訪問壓力導(dǎo)流，通過阿里云API最終發(fā)布。下面以基于LBS的天氣實況查詢接口為例進行說明：

public List