秦鼎 張帆
摘 要:本文分析了瀾湄六國(guó)水資源數(shù)據(jù)共享現(xiàn)狀及存在問(wèn)題,設(shè)計(jì)了一套基于混合云的水資源數(shù)據(jù)共享體系,為瀾湄六國(guó)水資源數(shù)據(jù)共享提供了一套實(shí)用、完整、安全的信息化解決方案,并在瀾湄水資源合作信息共享平臺(tái)中成功實(shí)施,取得了較好的應(yīng)用成效。
關(guān)鍵詞:瀾湄六國(guó);水資源;數(shù)據(jù)共享;數(shù)據(jù)資源目錄;混合云
中圖法分類號(hào):TV213.4;TP311.1? ? ?文獻(xiàn)標(biāo)志碼:A? ? ? DOI:10.19679/j.cnki.cjjsjj.2021.0621
瀾湄水資源數(shù)據(jù)共享為瀾湄六國(guó)水資源和相關(guān)資源開(kāi)發(fā)利用、管理和保護(hù),以及洪旱災(zāi)害防治決策提供數(shù)據(jù)支撐。數(shù)據(jù)共享不充分、不及時(shí)將對(duì)瀾湄水資源合作造成障礙和干擾,影響目前瀾湄水資源合作的良好發(fā)展勢(shì)頭。通過(guò)信息化手段推動(dòng)瀾湄水資源數(shù)據(jù)共享,有利于瀾湄六國(guó)共同應(yīng)對(duì)區(qū)域水資源挑戰(zhàn),推動(dòng)區(qū)域經(jīng)濟(jì)社會(huì)可持續(xù)發(fā)展,提升流域綜合治理和水資源管理能力。
1? ?瀾湄六國(guó)水資源數(shù)據(jù)共享現(xiàn)狀
1.1? ?中國(guó)與湄公河國(guó)家之間的數(shù)據(jù)共享現(xiàn)狀
2002年,中國(guó)水利部與湄公河委員會(huì)(以下簡(jiǎn)稱“湄委會(huì)”)簽訂了《中國(guó)水利部向湄委會(huì)秘書處提供瀾滄江—湄公河汛期水文資料的協(xié)議》,建立了汛期水文報(bào)汛機(jī)制,自2003年汛期以來(lái)向湄委會(huì)秘書處提供允景洪、曼安兩個(gè)出境水文站汛期實(shí)時(shí)水雨情數(shù)據(jù)。我國(guó)云南省航運(yùn)管理部門與湄公河國(guó)家地方政府也建立了水文信息報(bào)汛制度,定期向湄公河國(guó)家共享水文流量變化信息,為湄公河國(guó)家航運(yùn)管理部門和相關(guān)從業(yè)民眾提供了數(shù)據(jù)服務(wù)。此外,在梯級(jí)水電站檢修、水污染突發(fā)事件等緊急事件發(fā)生時(shí),水位流量發(fā)生較大變化情況下,水利部通過(guò)瀾湄水資源聯(lián)合工作組向湄公河國(guó)家通報(bào)水位流量變化信息。2020年8月24日,國(guó)家總理李克強(qiáng)在瀾湄合作第三次領(lǐng)導(dǎo)人會(huì)議發(fā)言提出,中方將從今年開(kāi)始,與湄公河國(guó)家分享瀾滄江全年水文信息,共建瀾湄水資源合作信息共享平臺(tái),更好應(yīng)對(duì)氣候變化和洪旱災(zāi)害[1]。
1.2? ?湄公河國(guó)家之間的數(shù)據(jù)共享現(xiàn)狀
在湄委會(huì)和湄公河下游倡議等多邊合作組織或機(jī)制支持下,湄公河國(guó)家以項(xiàng)目資助的方式開(kāi)展了信息平臺(tái)建設(shè)、數(shù)據(jù)共享標(biāo)準(zhǔn)制定等信息共享嘗試工作,推動(dòng)了湄公河國(guó)家之間數(shù)據(jù)信息共享工作,取得了一定成效。2000年7月,湄委會(huì)開(kāi)始建設(shè)湄委會(huì)信息平臺(tái)系統(tǒng),簽訂了數(shù)據(jù)共享合作協(xié)議,建設(shè)了部分水文監(jiān)測(cè)站點(diǎn)。依托多年來(lái)開(kāi)展的數(shù)據(jù)采集項(xiàng)目以及與各成員國(guó)之間簽訂的合作備忘錄,湄委會(huì)信息共享平臺(tái)系統(tǒng)積累了16 000多個(gè)數(shù)據(jù)集,數(shù)據(jù)類型涵蓋行政區(qū)劃、農(nóng)業(yè)、環(huán)境生態(tài)、洪水管理、自然資源、經(jīng)濟(jì)社會(huì)以及水資源等十個(gè)大類。2017年在湄公河下游倡議第10次部長(zhǎng)級(jí)會(huì)議上,美國(guó)提出湄公河水?dāng)?shù)據(jù)倡議概念,并在此倡議基礎(chǔ)上,啟動(dòng)了湄公河水?dāng)?shù)據(jù)平臺(tái)(Mekong Water Data Platform,MWDP)的籌劃和建設(shè)工作。該平臺(tái)包括湄公河水文共享(Mekong Hydroshare)以及湄公河伙伴數(shù)據(jù)工具和服務(wù)兩大模塊,于2019年4月發(fā)布并投入試運(yùn)行。由于尚處試運(yùn)行階段,目前僅能檢索到越南共享的89個(gè)數(shù)據(jù)集。湄公河下游倡議MWDP平臺(tái)主要目的是打造湄公河區(qū)域水?dāng)?shù)據(jù)集,建設(shè)重點(diǎn)是針對(duì)科研工作者等注冊(cè)用戶提供數(shù)據(jù)檢索、存儲(chǔ)和管理平臺(tái),增進(jìn)不同用戶和機(jī)構(gòu)間的數(shù)據(jù)共享。MWDP平臺(tái)開(kāi)放和包容建設(shè)理念能夠充分調(diào)動(dòng)機(jī)構(gòu)和個(gè)人的參與度,不受政府間協(xié)議和湄公河下游倡議合作機(jī)制進(jìn)展的影響。但該平臺(tái)數(shù)據(jù)集數(shù)據(jù)標(biāo)準(zhǔn)不一、數(shù)據(jù)關(guān)聯(lián)較弱,數(shù)據(jù)量較少,訪問(wèn)速度比較慢,難以形成系統(tǒng)性數(shù)據(jù)體系,尚未提供模型模擬或者其他分析應(yīng)用工具,不利于后期深入挖掘、分析和應(yīng)用,且現(xiàn)有信息平臺(tái)架構(gòu)難以支撐其在業(yè)務(wù)應(yīng)用中發(fā)揮影響力。
2? ?存在的問(wèn)題
缺乏全流域?qū)用鏀?shù)據(jù)共享和權(quán)威信息發(fā)布平臺(tái),造成涉水信息透明度不高,影響流域各國(guó)合作互信,影響瀾湄合作健康可持續(xù)發(fā)展。
目前瀾湄流域開(kāi)展了一些數(shù)據(jù)共享工作,但仍然存在共享數(shù)據(jù)體系不明確、數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一等問(wèn)題[2]。
中國(guó)向湄公河國(guó)家和湄委會(huì)提供水資源信息發(fā)布機(jī)制和通道,但缺乏雙向水資源數(shù)據(jù)流通與共享的機(jī)制和平臺(tái)。湄委會(huì)四個(gè)成員國(guó)之間也尚未形成全流域?qū)用嬗行У?、充分的信息溝通與共享,難以滿足瀾湄流域信息共享需求和瀾湄合作機(jī)制發(fā)展的需要。
瀾湄各國(guó)水資源管理人員、學(xué)者、公眾無(wú)法全面、系統(tǒng)地了解和利用合作成果,不利于促進(jìn)各方消除分歧、達(dá)成共識(shí)、共同進(jìn)步。亟需強(qiáng)化信息聚合度,提供長(zhǎng)期、穩(wěn)定、及時(shí)、權(quán)威、透明的信息發(fā)布渠道,提升各方深化合作的能力和水平。
3? ?共享體系設(shè)計(jì)
3.1? ?共享體系架構(gòu)
(1)數(shù)據(jù)共享平臺(tái)
數(shù)據(jù)共享平臺(tái)由數(shù)據(jù)資源目錄、數(shù)據(jù)圖表展示、消息發(fā)布3個(gè)部分組成,其中數(shù)據(jù)資源目錄系統(tǒng)為提供以原始數(shù)據(jù)文件為形式的數(shù)據(jù)資源發(fā)布和共享的平臺(tái),實(shí)現(xiàn)數(shù)據(jù)資源的共建共享,主要功能包括數(shù)據(jù)集上傳、掛接、發(fā)布、檢索、下載和資源目錄配置等[3];數(shù)據(jù)圖表展示則以曲線圖、折線圖等圖表形式展現(xiàn)水利數(shù)據(jù)的變化特點(diǎn),如水雨情數(shù)據(jù),便于數(shù)據(jù)使用者更直觀的遴選數(shù)據(jù)資源;消息發(fā)布則文字消息的形式發(fā)布水利水電工程重大調(diào)度信息、檢修信息以及水污染突發(fā)事件。
在功能設(shè)計(jì)上,考慮到水資源數(shù)據(jù)的敏感性,數(shù)據(jù)資源目錄系統(tǒng)除檢索可匿名使用外,其他功能均需注冊(cè)并登錄后方可使用,其中數(shù)據(jù)集的發(fā)布和下載使用申請(qǐng)審批機(jī)制,只有經(jīng)系統(tǒng)管理員審批通過(guò)后方可發(fā)布和下載。
資源目錄分類是用戶檢索數(shù)據(jù)的主要手段之一[4],數(shù)據(jù)資源目錄系統(tǒng)除包含產(chǎn)品形式、發(fā)布機(jī)構(gòu)、位置區(qū)域、文件格式、日期范圍、數(shù)據(jù)標(biāo)簽、關(guān)鍵詞等常見(jiàn)分類外,還根據(jù)水利數(shù)據(jù)的特點(diǎn),新增監(jiān)測(cè)內(nèi)容和主題兩大分類,其中監(jiān)測(cè)內(nèi)容的子分類有地表水監(jiān)測(cè)、地下水監(jiān)測(cè)、水質(zhì)監(jiān)測(cè)、用水監(jiān)測(cè);主題分類則在國(guó)際標(biāo)準(zhǔn)化組織發(fā)布的ISO19115主題類別的基礎(chǔ)上,根據(jù)數(shù)據(jù)資源情況選擇與瀾湄水資源合作相關(guān)的類別,篩選后的類別包括氣候/氣象學(xué)/大氣、經(jīng)濟(jì)、環(huán)境、影像/底圖、內(nèi)陸水域、規(guī)劃/地籍、社會(huì)、公用事業(yè)/通訊。
(2)應(yīng)用支撐平臺(tái)
應(yīng)用支撐平臺(tái)作為共享體系的基礎(chǔ)設(shè)施,為上層數(shù)據(jù)共享平臺(tái)提供應(yīng)用支撐服務(wù),包括用戶注冊(cè)和審核、登錄認(rèn)證、用戶管理、權(quán)限管理、日志管理[5]。
(3)數(shù)據(jù)交換平臺(tái)
數(shù)據(jù)交換平臺(tái)對(duì)數(shù)據(jù)匯集平臺(tái)收集的數(shù)據(jù)按照數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行流程化處理,并作為數(shù)據(jù)資源目錄系統(tǒng)的數(shù)據(jù)來(lái)源之一。數(shù)據(jù)交換平臺(tái)主要實(shí)現(xiàn)圖形界面設(shè)計(jì)ETL轉(zhuǎn)換配置[6],實(shí)現(xiàn)數(shù)據(jù)抽取、質(zhì)量檢測(cè)、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)過(guò)濾,以及數(shù)據(jù)交換異常處理、監(jiān)控管理等[7]。以水雨情數(shù)據(jù)為例,數(shù)據(jù)匯集發(fā)布流程如圖2所示。
由于水資源數(shù)據(jù)種類較多,數(shù)據(jù)交換平臺(tái)需要支持多種格式數(shù)據(jù)的處理,包括庫(kù)表數(shù)據(jù)、圖像、XML、JSON、XLS、CSV等。
(4)數(shù)據(jù)匯集平臺(tái)
數(shù)據(jù)匯集平臺(tái)通過(guò)適配器從目標(biāo)數(shù)據(jù)源或業(yè)務(wù)系統(tǒng)中抽取數(shù)據(jù),提供給數(shù)據(jù)交換平臺(tái)使用。數(shù)據(jù)匯集平臺(tái)主要包括下載任務(wù)配置、數(shù)據(jù)交換過(guò)程監(jiān)控配置、交換異常報(bào)警配置、平臺(tái)數(shù)據(jù)庫(kù)寫入配置等[8]。根據(jù)不同的數(shù)據(jù)來(lái)源,數(shù)據(jù)匯集的對(duì)象可能是數(shù)據(jù)庫(kù)、FTP、數(shù)據(jù)服務(wù)接口、數(shù)據(jù)文件等。
(5)運(yùn)行環(huán)境
運(yùn)行環(huán)境基于私有云和公共云搭建,其中私有云提供數(shù)據(jù)共享平臺(tái)、應(yīng)用支撐平臺(tái)、數(shù)據(jù)交換平臺(tái)、數(shù)據(jù)匯集平臺(tái)運(yùn)行所需的各類計(jì)算資源,包括Web服務(wù)器、應(yīng)用服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、文件服務(wù)器等,公共云提供內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)和對(duì)象存儲(chǔ)(OSS)服務(wù),用于給數(shù)據(jù)共享平臺(tái)提供網(wǎng)頁(yè)加速和數(shù)據(jù)集存儲(chǔ)服務(wù)。另外,通過(guò)公共云的云監(jiān)控技術(shù),對(duì)數(shù)據(jù)共享平臺(tái)的運(yùn)行狀態(tài)進(jìn)行24小時(shí)監(jiān)控,發(fā)生故障時(shí)及時(shí)告警。
(6)制度規(guī)范
包含“三制度兩規(guī)范”,其中“三制度”指共享體系管理辦法、運(yùn)行環(huán)境定期巡檢制度、運(yùn)維報(bào)告制度,“兩規(guī)范”指水資源數(shù)據(jù)格式規(guī)范、水資源數(shù)據(jù)處理規(guī)范。
(7)安全保障
根據(jù)《網(wǎng)絡(luò)安全等級(jí)保護(hù)測(cè)評(píng)要求》,對(duì)運(yùn)行環(huán)境進(jìn)行安全物理環(huán)境、安全通信網(wǎng)絡(luò)、安全區(qū)域邊界、安全計(jì)算環(huán)境、安全管理中心、安全管理制度、安全管理機(jī)構(gòu)、安全管理人員、安全建設(shè)管理、安全運(yùn)維管理等方面的測(cè)評(píng)并進(jìn)行問(wèn)題整改,使安全體系符合等保要求。
3.2? ? 共享體系特點(diǎn)
(1)用戶體驗(yàn)好
由于數(shù)據(jù)共享服務(wù)面向覆蓋瀾湄六國(guó),網(wǎng)絡(luò)環(huán)境復(fù)雜,容易出現(xiàn)系統(tǒng)訪問(wèn)卡頓的現(xiàn)象,影響用戶體驗(yàn)。通過(guò)在共享體系中集成公共云的內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)和對(duì)象存儲(chǔ)(OSS)服務(wù),可以很好的解決此問(wèn)題。具體從兩個(gè)方面入手,一方面數(shù)據(jù)共享平臺(tái)采用前后端分離架構(gòu)開(kāi)發(fā),針對(duì)各國(guó)用戶訪問(wèn)前端靜態(tài)資源的場(chǎng)景,可使用CDN實(shí)現(xiàn)加速訪問(wèn);另一方面對(duì)于數(shù)據(jù)集上傳、下載等對(duì)網(wǎng)絡(luò)帶寬要求比較高的場(chǎng)景,可使用OSS實(shí)現(xiàn)數(shù)據(jù)集的高速上傳、下載,數(shù)據(jù)集通過(guò)高速通道直接上傳至OSS服務(wù)器,不需要經(jīng)過(guò)數(shù)據(jù)共享平臺(tái)。
(2)統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)
由于數(shù)據(jù)共享面對(duì)的是瀾湄六國(guó),必須基于統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)才能使數(shù)據(jù)共享更加暢通。在共享體系中,通過(guò)數(shù)據(jù)交換平臺(tái),可以對(duì)匯集的數(shù)據(jù)按照指定的標(biāo)準(zhǔn)進(jìn)行清洗、轉(zhuǎn)換、檢測(cè)等操作,確保共享的數(shù)據(jù)符合標(biāo)準(zhǔn),從而為數(shù)據(jù)的進(jìn)一步利用創(chuàng)造有利條件。
(3)面向多層級(jí)用戶
數(shù)據(jù)共享平臺(tái)不僅面向?yàn)戜亓鶉?guó)水行政主管部門,還面向科研機(jī)構(gòu)、學(xué)者和社會(huì)公眾,通過(guò)在數(shù)據(jù)資源目錄系統(tǒng)中履行必要的注冊(cè)申請(qǐng)和數(shù)據(jù)資源下載申請(qǐng)手續(xù),科研機(jī)構(gòu)、學(xué)者等用戶也可以下載各類數(shù)據(jù)成果,這有利于各方全面、系統(tǒng)地了解和利用瀾湄水資源合作成果,促進(jìn)各方消除分歧、達(dá)成共識(shí)、共同進(jìn)步。
4? ?共享體系應(yīng)用
瀾湄水資源共享體系已在瀾湄水資源合作信息共享平臺(tái)中應(yīng)用,具體應(yīng)用情況如下。
(1)通過(guò)數(shù)據(jù)交換平臺(tái),定期從云南省水利廳抽取云南允景洪、曼安兩座測(cè)站的水雨情數(shù)據(jù),并在數(shù)據(jù)共享平臺(tái)中使用圖表做數(shù)據(jù)展示,如圖3所示。
(2)通過(guò)數(shù)據(jù)交換平臺(tái),定期匯總允景洪、曼安兩站的水雨情數(shù)據(jù),形成兩站的周期性數(shù)據(jù)集,自動(dòng)發(fā)布到數(shù)據(jù)共享平臺(tái)中的數(shù)據(jù)資源目錄中,供用戶下載。
(3)通過(guò)數(shù)據(jù)共享平臺(tái)中的消息發(fā)布,以文字的形式發(fā)布瀾滄江水電站調(diào)度信息。
參考文獻(xiàn):
[1]黃漢文,李昌文,徐馳.瀾滄江-湄公河水資源合作的現(xiàn)實(shí)、挑戰(zhàn)與方向[J]. 人民長(zhǎng)江.2021,52(07):88-94
[2]王志強(qiáng),王海霞. 瀾湄水利標(biāo)準(zhǔn)體系構(gòu)建探討[J]. 水利規(guī)劃與設(shè)計(jì).2021,(04):1-6
[3]儲(chǔ)昭武,李雪凝. 公共數(shù)據(jù)資源目錄體系研究及應(yīng)用[J]. 信息技術(shù)與標(biāo)準(zhǔn)化. 2019,(05):10-14
[4]司存友,高祥濤,李政道,等.基于元數(shù)據(jù)的江蘇省水利數(shù)據(jù)資源目錄服務(wù)系統(tǒng)[J]. 江蘇水利. 2018,(01):41-45
[5]楊小琴,朱光軍,陶鋒,等. 湖北水利數(shù)據(jù)資源整合共享實(shí)踐及關(guān)鍵技術(shù)研究[J]. 水利信息化. 2018,(05):11-17
[6]朱松挺,胡應(yīng)龍. 江西水利數(shù)據(jù)資源整合共享實(shí)踐[J]. 江西水利科技. 2019,45(01):72-75
[7]??〕?,劉冠華. 河南水利數(shù)據(jù)交換共享服務(wù)平臺(tái)研究[J]. 江西水利科技.治淮. 2019,(01):55-57
[8]陸佳民,馮鈞,唐志賢. 水利大數(shù)據(jù)目錄服務(wù)與資源共享關(guān)鍵技術(shù)研究[J]. 水利信息化.2017,(04):17-20
收稿日期:2021-09-30
作者簡(jiǎn)介:秦鼎,男,主要從事水利信息化工作。E-mail:qindingsky@qq.com
Research and Application of Lancang-Mekong Water Resources Data Sharing System
Qin Ding? Zhang Fan
(Network and Information Center of Changjiang Water Resources Commission,Wuhan 430010,China)
Abstract:This paper analyzes the current situation and existing problems of water resources data sharing in the six Lancang-Mekong countries,and designs a set of water resources data sharing system based on hybrid cloud,which provides a set of practical,complete and safe water resources data sharing in the six Lancang-Mekong countries The informatization solution was successfully implemented in the Lancang-Mekong water resources cooperation information sharing platform,and achieved good application results.
Keywords:the six Lancang-Mekong countries;water resources;data sharing;data resource catalog;hybrid cloud