貴州省GNSS/MET水汽報文自動化處理系統(tǒng)的設(shè)計與實(shí)現(xiàn)

唐維堯，白鐵男，譚海波，金石聲

(貴州省氣象信息中心，貴州 貴陽 550002)

0 引言

水汽是一種溫室氣體，在大氣中的含量較少，但卻是變化最為劇烈的一種成分，極強(qiáng)的活躍性與天氣變化甚至災(zāi)害性天氣的產(chǎn)生、發(fā)展、演變直接相關(guān)。許劍勇等[1]提到水汽條件是影響黃山霧凇形成的關(guān)鍵氣象因子，冉仙果等[2]發(fā)現(xiàn)貴州銅仁2018年12月29日的暴雪過程與水汽輸送關(guān)系緊密。因此，準(zhǔn)確測量大氣中的水汽分布并掌握其時空演變規(guī)律，對于研究天氣變化具有重要意義[3]。全球?qū)Ш叫l(wèi)星系統(tǒng)GNSS(Global Navigation Satellite System)包括全球4大導(dǎo)航系統(tǒng)：美國GPS、俄羅斯GLONASS、中國北斗和歐盟Galileo。1992年，Bevis等[4]提出可利用GNSS信號穿過大氣層時所發(fā)生的折射現(xiàn)象而造成的時間延遲反演大氣水汽含量，從此GNSS和氣象學(xué)(METeorology)建立了聯(lián)系。20多年來，GNSS反演水汽逐漸業(yè)務(wù)化，中國氣象局綜合觀測司在2020年3月發(fā)布的《氣象觀測技術(shù)試驗指南(2020—2025)》中指出：GNSS/MET資料不僅要求觀測精度要高，數(shù)據(jù)服務(wù)保障也相當(dāng)重要。

Zabbix是一個企業(yè)級分布式開源監(jiān)控平臺。該平臺能夠監(jiān)控眾多網(wǎng)絡(luò)參數(shù)和服務(wù)器的健康度、完整性，使用靈活的告警機(jī)制，允許用戶為任何事件配置告警，這樣用戶可以快速響應(yīng)服務(wù)器問題。白鐵男等[5]利用Zabbix對貴州省的某些氣象業(yè)務(wù)進(jìn)行了有效監(jiān)控，并得到推廣應(yīng)用。國內(nèi)也有一些相關(guān)的研究[6-8]。

2012年貴州省氣象信息中心做出了C#開發(fā)的搭載在Windows系統(tǒng)上的水汽中心站系統(tǒng)。

系統(tǒng)需要先通過報文同步程序同步到省級的另一臺存儲機(jī)上，然后再布置2臺報文處理系統(tǒng)服務(wù)器，分別讀取CIMISS-MUISC(China Integrated Meteorological Information Service System-Meteorological Unified Service Interface Community)接口氣象數(shù)據(jù)和不讀取接口氣象數(shù)據(jù)。能讀取氣象數(shù)據(jù)的情況下直接發(fā)送帶氣象數(shù)據(jù)的報文，因為CTS(Communication Transmission Systems)核心數(shù)據(jù)收集與分發(fā)系統(tǒng)中會過濾重復(fù)報文，所以會優(yōu)先發(fā)送帶氣象數(shù)據(jù)的報文。該系統(tǒng)長時間使用中有以下缺點(diǎn)：①常會因為臺站發(fā)送的錯誤報文而崩潰；②該系統(tǒng)由于搭建在Windows系統(tǒng)中，維護(hù)較為困難；③補(bǔ)發(fā)過程需要手動復(fù)制報文，過程較為繁瑣；④使用的物理機(jī)較多，造成資源浪費(fèi)。

為解決上述問題，本研究擬采用Python語言和Shell腳本語言來開發(fā)水汽報文中心站系統(tǒng)，以此來處理GNSS/MET報文，并基于Zabbix-HA(high availability，高可用)搭建報文的監(jiān)控與告警系統(tǒng)，實(shí)現(xiàn)GNSS/MET報文自動化處理與保障。

1 GNSS/MET水汽報文構(gòu)成

《GPS/MET數(shù)據(jù)傳輸規(guī)范(試行)》中提到：需要對不自帶氣象要素觀測的國家氣象臺站的GPS文件進(jìn)行氣象數(shù)據(jù)匹配工作，并按規(guī)定的格式和文件命名要求打包后向國家氣象信息中心傳輸。即省級需要在臺站傳上來的原始報文中添加氣象數(shù)據(jù)報文，才可作為完整的GNSS/MET水汽報文向中國氣象局發(fā)送。GNSS/MET報文的詳細(xì)介紹見下圖：

圖1中可以看出，GNSS/MET報文中有包括實(shí)時氣象數(shù)據(jù)的m文件、N文件(導(dǎo)航文件)、O文件(觀測文件)、G文件(GLONASS衛(wèi)星觀測文件，部分站點(diǎn)有)，后三者都是由臺站上傳到省級，不做處理。

圖1 GNSS/MET 水汽報文構(gòu)成

目前，貴州省有1個GNSS/MET水汽資料國家級考核站：畢節(jié)威寧(站號56691)，2個省級考核站：貴陽站(站號57816)，安順站(站號57806)，3個不考核的站點(diǎn)：晴隆(站號57900)、紫云(站號57910)、赤水(站號57609)。根據(jù)最新發(fā)布的《GPS/MET數(shù)據(jù)傳輸規(guī)范(試行)》，每個時次都有GNSS/MET資料的觀測和收發(fā)，且國家氣象局對該類資料的及時率考核時間為前20 min。GNSS/MET水汽報文處理系統(tǒng)必須滿足上述要求。

2 系統(tǒng)設(shè)計與實(shí)現(xiàn)

GNSS/MET水汽報文自動化處理系統(tǒng)是在Linux系統(tǒng)中基于Zabbix-HA(high availability)開發(fā)的，臺站上傳后數(shù)據(jù)共享不通過程序同步，而是直接在Linux系統(tǒng)上掛載Windows系統(tǒng)的共享盤實(shí)現(xiàn)同步功能，這種方式不需要登陸和認(rèn)證臺站共享服務(wù)器，就可以讀取和復(fù)制GNSS/MET原始報文。GNSS/MET自動化處理系統(tǒng)處理的GNSS/MET報文將發(fā)送到核心數(shù)據(jù)收集與分發(fā)系統(tǒng)CTS中，之后再發(fā)送到國家氣象信息中心并進(jìn)行本地入庫和分發(fā)。此外，該系統(tǒng)還包括了基于Zabbix-HA搭建的GNSS/MET報文監(jiān)控與補(bǔ)發(fā)系統(tǒng)，對報文的缺收及時告警，并實(shí)現(xiàn)報文的自動補(bǔ)發(fā)?？梢钥闯鲈谔幚砹鞒讨?，最關(guān)鍵部分是GNSS/MET報文處理和報文監(jiān)控與補(bǔ)發(fā)系統(tǒng)的建立，下面將分別介紹。

2.1 GNSS/MET水汽中心站系統(tǒng)

GNSS/MET水汽中心站全都布置在Linux系統(tǒng)中，這樣便于與國省氣象信息中心的核心數(shù)據(jù)收集與分發(fā)系統(tǒng)CTS進(jìn)行交互。中心站系統(tǒng)的架構(gòu)如圖2所示：

圖2 GNSS/MET報文處理流程圖

從圖2可以看出，中心站收發(fā)報文的過程如下：

①在中心站系統(tǒng)中，在配置文件中寫入需要處理的臺站簡稱和站號，系統(tǒng)將根據(jù)配置文件對臺站報文進(jìn)行逐個處理；

②通過讀取貴州省氣象大數(shù)據(jù)云平臺“天擎”MUISC接口數(shù)據(jù)，申請中國地面分鐘數(shù)據(jù)集，在匹配站點(diǎn)后獲取每隔10 min的氣壓、溫度、相對濕度數(shù)據(jù)，然后將氣象數(shù)據(jù)插入只有文件頭的文件中合成m文件，之后將m文件插入原始報文中。

③正常情況下，將處理后的報文按要求改名后再通過自動ftp傳到核心數(shù)據(jù)收集與分發(fā)系統(tǒng)CTS，CTS再進(jìn)行正常分發(fā)工作；異常情況下，若沒有取到相應(yīng)的原始報文或者取到的是空報，那么將對該臺站不做處理，直接跳到下一個臺站處理；若沒有獲取到氣象數(shù)據(jù)即沒有生成m文件，那么將對原始報文直接重新打包改名，發(fā)到CTS中進(jìn)行分發(fā)；

④上述的每一個操作都將記錄在結(jié)果日志中，便于日后查詢。

2.2 GNSS/MET報文監(jiān)控與告警系統(tǒng)

根據(jù)《GPS/MET數(shù)據(jù)傳輸規(guī)范(試行)》中對傳輸時效的要求，為了能及時發(fā)現(xiàn)臺站未上傳報文或上傳空報文的情況，對GNSS/MET報文做出監(jiān)控很有必要。因此本研究基于Zabbix-HA搭建了GNSS/MET報文監(jiān)控與告警系統(tǒng)，并通過Zabbix的動作功能，實(shí)現(xiàn)報文的自動補(bǔ)傳，大大減輕了值班人員的業(yè)務(wù)壓力，實(shí)現(xiàn)了資料監(jiān)控到自動處理的全流程(圖3)。

圖3 報文監(jiān)控與告警系統(tǒng)邏輯示意圖

首先需要對原始報文目錄和報文發(fā)送目錄進(jìn)行監(jiān)控，如果在報文發(fā)送目錄里發(fā)現(xiàn)有考核站的報文缺失，將產(chǎn)生報文缺失的告警；如果在上述情況下，同時在原始報文目錄里發(fā)現(xiàn)補(bǔ)傳的原始報文，則產(chǎn)生水汽需要補(bǔ)發(fā)的告警，此告警連接了動作—重啟水汽處理程序，這樣就實(shí)現(xiàn)了報文的自動補(bǔ)傳工作。上述操作和結(jié)果都將記錄在歷史記錄中。

整個GNSS/MET報文自動化處理系統(tǒng)都搭建在Linux系統(tǒng)中，全是源碼方式呈現(xiàn)，無圖形化界面。通過crontab定時任務(wù)實(shí)現(xiàn)每個時次的第6 min對報文進(jìn)行處理，從臺站發(fā)送到處理過程結(jié)束一般在15 s以內(nèi)。水汽報文缺失的告警分別配置在相應(yīng)的主機(jī)群中，告警直接分配到臺站；水汽需要補(bǔ)發(fā)的告警配置在報文處理系統(tǒng)中，不分臺站，觸發(fā)動作后直接重啟水汽處理程序，重復(fù)的報文核心數(shù)據(jù)收集與分發(fā)系統(tǒng)CTS會直接過濾，不做處理。

表1 GNSS/MET報文及時率對比

3 結(jié)果與討論

測試1個月以來，與之前1個月對比，報文及時率有著明顯提升，5月15日—6月11日全省的GNSS/MET報文及時率大概在95%左右，測試的這1個月，6月12日—7月16日全省及時率均在99.5%以上。3個考核站點(diǎn)中威寧站是國家級考核站，可以看出新中心站系統(tǒng)對該站點(diǎn)的及時率提高更加明顯，之前有2周只有約92%，中心站系統(tǒng)測試期間，威寧站GNSS/MET報文及時率已達(dá)到100%。

4 結(jié)論

本研究在Linux系統(tǒng)中基于Zabbix-HA開發(fā)了1套全新GNSS/MET水汽報文自動化處理系統(tǒng)，與舊版系統(tǒng)相比，有效提高了報文傳輸及時率，并節(jié)約了計算資源。此外，該系統(tǒng)還包括了報文的實(shí)時監(jiān)控和自動補(bǔ)發(fā)，實(shí)現(xiàn)了水汽資料的全流程保障，有效減輕了工作人員的值班壓力。