趙 芳 史利漢 魏 威
?
重慶氣象服務接口系統(tǒng)接入CIMISS的技術方法研究與實現(xiàn)
趙 芳1史利漢2魏 威3
1.重慶市氣象信息與技術保障中心,重慶 401147 2.重慶市氣象局,重慶 401147 3.重慶華云氣象科技開發(fā)有限公司,重慶 401147
從存儲策略、表結構設計、數據格式,接口參數、適用場景等多個方面對重慶本地氣象數據環(huán)境和CIMISS進行比對和分析,找到兩者之間的差異和映射關系,對重慶氣象數據服務接口進行改造,完成重慶氣象服務接口系統(tǒng)接入CIMISS的目標。
CIMISS;CQMISS;數據服務接口;移植
重慶氣象信息中心自2007年開始打造本地的氣象數據支撐平臺——重慶氣象信息共享系統(tǒng)CQMISS(ChongQing Meteorological Information Service System),采用Mysql存儲基礎氣象數據及產品,并遵循SOA標準以統(tǒng)一服務接口方式面向重慶氣象業(yè)務和科研服務。基于目前重慶本地數據環(huán)境的應用情況,如何實現(xiàn)從CQMISS到CIMISS的平滑過渡,對本地數據服務接口進行改造是非常關鍵的一步。本文通過對兩種數據環(huán)境進行詳細的差異分析,最終確定移植方案并實現(xiàn)接入目標。
重慶氣象數據支撐平臺整體架構遵循SOA標準設計,建立數據產品資源池和業(yè)務功能資源池,以服務接口的方式支撐各個業(yè)務系統(tǒng)的建設。其中重慶氣象信息共享系統(tǒng)CQMISS現(xiàn)已開發(fā)webservice基礎接口23個,注冊用戶200多個,粗略統(tǒng)計每天調用次數60萬余次,數據下載量40G左右。
要在用戶和業(yè)務系統(tǒng)不做任何改動的情況下實現(xiàn)接入目標,就必須保證接口的參數輸入和結果輸出不變。對重慶數據接口進行改造,核心代碼優(yōu)先調用MUISC,從CIMISS獲取數據。經過分析,此次主要對日常業(yè)務中使用的最廣泛的五個接口進行改造。
2.1 數據存儲差異
CIMISS數據庫采用ORACLE,本地數據庫采用Mysql。兩種存儲環(huán)境存在多種不同,經過比對得出移植改造造成的影響差異。
2.1.1存儲策略差異
CQMISS和CIMISS均根據數據采集頻率、數據大小制定相應存儲策略。CIMISS數據庫通過ORACLE的表分區(qū)功能實現(xiàn),CQMISS則根據存儲策略制定分表策略,以年分庫,或年或月或旬建表,由入庫程序自動完成。
2.1.2表結構差異
氣象資料存儲結構依據資料傳輸格式、要素關系及應用習慣進行設計?;跉庀筚Y料傳輸傳輸的標準化,大多數CQMISS表結構設計與CIMISS一致;一部分因設計時考慮應用需求方向不同存在差異。
2.1.3數據單位差異
CQMISS環(huán)境下的入庫策略大多將數據文件直接解碼入庫,保留原始的數據單位、占位補齊,不做修改;CIMISS在解碼時會對數據做一定處理,使得存儲的數據更有利于直接應用。
2.1.4特征值差異
CIMISS環(huán)境中對各種特征值有非常規(guī)范和詳細的定義,如缺測用999999表示,不觀測和無數據用999998表示等。而CQMISS中對缺測、不觀測等情況造成的要素缺失,均用相應占位的“/”表示,如溫度缺測,表示為“////”。為保證輸出一致,需要對特征值做相應處理。
2.2 接口差異
2.2.1使用場景差異
此次改造中,CQMISS涉及的幾個接口均為通用接口,為適用于所有資料多種場景的基礎接口。CIMISS提供應用的MUSIC接口,多為定制接口,適用于不同資料、不同場景。需要對多種資料的定制接口進行分析,找到與CQMISS接口應用場景更相近的接口,以確定對接方案。
2.2.2 參數差異
接口的參數差異主要表現(xiàn)在資料類型、時間、要素等方面[1]。
經過前面的差異分析,遵循CIMISS已提供服務的數據從CIMISS獲取,CIMISS未提供服務的數據及本地特色產品仍從CQMISS數據環(huán)境獲取的原則,確定CQMISS改造方案。改造方案根據數據表結構的差異分為結構相似和結構不同兩種情況。代碼修改包括本地服務接口與MUSIC資料代碼、要素參數的映射,提交參數獲取CIMISS數據,對返回輸出的格式化等等。改造后流程如下圖:
3.1 結構相似的數據接入改造
(1)建立CQMISS與MUSIC元數據信息映射表。該表的設計是整個改造過程中最為關鍵的一步,需要在表中詳細體現(xiàn)出兩個數據環(huán)境中的具體差異及映射關系。
(2)根據CQMISS用戶提交的參數,查詢緣數據信息映射表,轉化為MUSIC匹配的參數。
(3)根據參數判斷適用場景,選擇相應的MUSIC接口。提交參數,調用接口從CIMISS獲取數據。
(4)依照映射表中CQMISS的要素單位和長度,對獲得的數據進行格式化轉換,包括特征值的轉換,并返回給用戶。
3.2 結構不同的數據接入改造
結構不同資料的屬個別現(xiàn)象,找不到相似規(guī)律,需具體情況具體處理,找到用戶提交參數與數據表之間的關系及映射算法。以土壤水分逐小時資料為例,getedatatoarray接口在接收到參數后,需要從要素參數中解析出土壤深度和要素。相應的MUSIC接口選擇“按時間、區(qū)站號、土壤深度檢索農氣資料數據要素”,提交參數后需要對返回結果再做多條合并,保證按用戶要素順序返回至客戶端。
改造后從功能上實現(xiàn)了本地數據服務接口到CIMISS的移植。但需對每一個輸出數據點作格式化處理,數據量較大時存在時間損耗,接口性能會下降。因大批量數據需求主要面向科研業(yè)務,對時效性要求不高,可以接受;對日常實時預報預警業(yè)務無影響[2]。
通過對重慶氣象數據服務接口進行改造,實現(xiàn)了在業(yè)務用戶及應用系統(tǒng)不需要做任何改動的情況下,服務接口從本地數據環(huán)境到CIMISS數據環(huán)境的移植,完成重慶氣象服務接口系統(tǒng)接入CIMISS的目標。同時,CQMISS和CIMISS兩個數據環(huán)境互為補充和備份,任意一方發(fā)生故障,管理人員只需要稍作配置上改動,即可完成切換,提高了數據服務系統(tǒng)可靠性。
[1]熊安元,趙芳,王穎,等.全國綜合氣象信息共享系統(tǒng)的設計與實現(xiàn)[J].應用氣象學報,2015,26(4).
[2]孫周軍,肖文名,等.基于SOA的數據訪問通用服務系統(tǒng)研究與應用[C]//第31屆中南六省區(qū),2013.
Research and implementation of Chongqing meteorological service interface system access CIMISS Technology
Zhao Gang1Shi Lihan2Wei Wei3
1 Chongqing Meteorological Information and Technical Support Center, Chongqing 401147, China 2 Meteorological Bureau of Chongqing Municipality, Chongqing 401147 3 Chongqing Huayun Meteorological Science and Technology Development Co., Ltd., Chongqing 401147
This paper from storage strategy,structure design,data format and multiple aspects of interface parameters,the application scenes of Chongqing local meteorological data environment and CIMISS for comparison and analysis,find the difference and mapping relations between the two,the transformation of Chongqing meteorological data service interface,complete Chongqing meteorological service system access interface CIMISS.
CIMISS;CQMISS;data service interface;transplantation
P456.7
A
1009-6434(2016)09-0112-02
趙芳(1980—),女,漢族,湖北宜都人,本科學歷,工程師,重慶市氣象信息與技術保障中心,從事氣象信息共享與數據管理工作。