Vantage Pro氣象站實時數(shù)據(jù)采集與在MUSER中的應用研究

衛(wèi)守林，石聰明，高姣姣，王　鋒，鄧　輝，季凱帆

(1. 中國科學院云南天文臺，云南 昆明　650011；2. 昆明理工大學云南省計算機技術應用重點實驗室，云南 昆明　650500)

?

Vantage Pro氣象站實時數(shù)據(jù)采集與在MUSER中的應用研究

衛(wèi)守林1,2，石聰明2，高姣姣2，王鋒1,2，鄧輝2，季凱帆2

(1. 中國科學院云南天文臺，云南 昆明650011；2. 昆明理工大學云南省計算機技術應用重點實驗室，云南 昆明650500)

摘要：我國明安圖射電頻譜日像儀(Mingantu Ultrawide SpEctral Radio Heliograph, MUSER)已經(jīng)完成所有的硬件設備安裝與調試，即將進入常規(guī)觀測。為有效地保證觀測數(shù)據(jù)的可用性，項目組購置了Vantage Pro自動氣象站，用以實時監(jiān)控觀測地的氣象條件變化。首先介紹了MUSER項目的基本情況，論述了在項目中氣象條件的應用場景及在數(shù)據(jù)處理時對數(shù)據(jù)有效性可能造成的影響；詳細介紹了Vantage Pro氣象站的數(shù)據(jù)采集格式、數(shù)據(jù)交換格式以及串行通信協(xié)議；介紹了在氣象數(shù)據(jù)的存儲方式；最后給出了構建氣象數(shù)據(jù)服務、數(shù)據(jù)歸檔和高效查詢的方法。可以應用在望遠鏡自動氣象監(jiān)控和數(shù)據(jù)處理方面，也可以為選址的自動氣象監(jiān)測提供參考。

關鍵詞：Vantage Pro；MUSER；氣象數(shù)據(jù)采集；數(shù)據(jù)合并；鍵值數(shù)據(jù)庫

1研究背景

為了推動太陽射電觀測技術的發(fā)展，我國天文學家提出400 MHz～15 GHz 范圍內的厘米-分米波日像儀(Chinese Spectral Radio Heliograph, CSRH)[1]，現(xiàn)已命名為MUSER，首次在多波段上實現(xiàn)同時以高空間、高時間和高頻率分辨率觀測太陽活動的動力學性質，對太陽從色球層到高日冕的廣大區(qū)域進行高分辨率的三維動態(tài)成像觀測，填補國際科學界在太陽耀斑、日冕物質拋射等爆發(fā)活動的能量初始釋放區(qū)高分辨射電成像觀測的空白，揭示太陽劇烈活動的起源和發(fā)生規(guī)律，并取得一批原創(chuàng)性研究成果，大大提升我國在太陽活動預報方面的能力，為航天航空、衛(wèi)星通訊和國防建設等提供有效保障，對推動學科發(fā)展及相關高技術領域的建設具有重要作用。MUSER最終選址在內蒙古錫林格勒盟正鑲白旗[2]。

數(shù)據(jù)處理過程中，對觀測地點的氣象條件有相應的要求；一方面，在生成UVFITS、FITS-IDI等格式時，有相應天氣的字段需要填入；另一方面，在低溫、暴雨、冰雹等惡劣天氣狀況下，天線等物理情況有可能發(fā)生變化，同時暴雨對觀測信號也有一定的誤差作用，記錄這些狀態(tài)對后續(xù)數(shù)據(jù)處理有較大的幫助。

針對自動氣象數(shù)據(jù)采集與歸檔的需要，項目組購置了美國戴維斯公司的Vantage Pro自動氣象站。該氣象站可以實時采集日像儀所在地的氣象條件，但不能將數(shù)據(jù)存儲到數(shù)據(jù)庫中，也沒有提供接口用于獲取數(shù)據(jù)。而氣象條件如光照、雨量、風速、風向、濕度、溫度、雨量[3-4]等影響觀測數(shù)據(jù)的有效性，因此需要實時采集并存儲這些氣象數(shù)據(jù)，并在數(shù)據(jù)處理過程中加入判定。除了對實時數(shù)據(jù)的處理，還包括對歷史數(shù)據(jù)的處理(如某一個時間的積分)，需要能夠查詢歷史的氣象信息。因此需要實時采集并存儲氣象信息，能提供快速查詢歷史氣象信息。在本文中，自行研發(fā)了一套系統(tǒng)，實現(xiàn)從Vantage Pro自動采集氣象數(shù)據(jù)，并把數(shù)據(jù)存入數(shù)據(jù)庫進行自動歸檔為后續(xù)檢索使用，這是日像儀全自動觀測與后續(xù)全自動數(shù)據(jù)處理的重要組成部分。其中，需要解決Vantage Pro通信協(xié)議分析、數(shù)據(jù)采集、數(shù)據(jù)格式分析與數(shù)據(jù)拆分、構建氣象數(shù)據(jù)服務、數(shù)據(jù)合并歸檔與檢索等相關問題。

2Vantage Pro氣象站

Vantage Pro電子氣象站是美國戴維斯公司(Davis Instruments Corp.)面向氣象服務、移動服務的小型氣象站[5]，體積小，重量輕，功耗小，集成度高，安裝簡單，長期工作穩(wěn)定可靠。氣象站由一體化傳感器單元(Integrated Sensor Suite, ISS)、終端控制器(CONSOLE)和記錄器軟件(Weather Link)組成[6-7]。一體化傳感器單元可使用有線和無線方式傳輸數(shù)據(jù)，其中有線方式的一體化傳感器單元由有線電纜供電，數(shù)據(jù)由有線電纜傳送到終端控制器，電纜線長度可擴展至305 m；無線方式的一體化傳感器單元由太陽能供電，數(shù)據(jù)無線傳送到終端控制器，距離大約200～300 m。Vantage Pro也是目前國內外天文領域應用較廣的全自動氣象站之一，在遠程自主觀測等方面應用較廣，MUSER使用有線電纜方式部署一體化傳感器單元。Vantage Pro可以測量空氣溫度、空氣相對濕度、風向、風速、雨量、氣壓、太陽輻射和紫外輻射，組成8要素電子氣象站。還可擴展對土壤溫度、土壤濕度及葉面濕度等氣象要素進行觀測。

與一般的氣象站不同，Vantage Pro通過一體化傳感器單元接口板接收數(shù)據(jù)并轉發(fā)至終端控制器或連接的計算機中，其中溫濕度傳感器在白色百葉式防輻射罩內，翻斗式雨量計的翻斗在雨量筒內。各傳感器信號線均接入一體化傳感器單元接口板中。無線方式一體化傳感器單元通過外部所帶太陽能板供電，盒內裝有一塊3 V鋰電池，用于夜間及無日照時供電[8]。終端控制器用來在未連接計算機單獨顯示氣象信息時的狀態(tài)。但由于當前日像儀采用計算機實時采集，因此終端控制器并不需要配置。

2.1通信協(xié)議

Vantage Pro中有線電纜的方式使用串行通信協(xié)議進行數(shù)據(jù)傳輸和命令控制，即RS232C串口通訊協(xié)議標準。RS232C串口通信協(xié)議包含8個數(shù)據(jù)位、1個起始位、1個停止位、無奇偶校驗位。通信協(xié)議中的波特率設置為4800比特。用RS232C串口通信協(xié)議中的DB9(9針D型串口)，Vantage Pro串行端口的命令格式表示如下：

<參數(shù)名稱—十進制數(shù)字>

<參數(shù)名稱—十六進制數(shù)字>

<參數(shù)名稱—二進制數(shù)字>

十進制和十六進制數(shù)字可以用ASCII替換，二進制數(shù)字發(fā)送字符值，每個命令之后緊跟一個換行符( )。

2.2數(shù)據(jù)格式

Vantage Pro通過串口獲取氣象數(shù)據(jù)，實際傳送的氣象數(shù)據(jù)為99個字節(jié)的數(shù)據(jù)包，如表1，從1～99對數(shù)據(jù)包編號，提取的數(shù)據(jù)用括號給出注釋，括號中逗號之前的內容表示字段含義，逗號之后的內容表示測量值的單位。數(shù)據(jù)包的具體格式如表1。

3氣象數(shù)據(jù)拆分與歸檔

在應用中，將各個一體化傳感器單元采集的氣象因子數(shù)據(jù)通過RS232C串口通信協(xié)議傳到數(shù)據(jù)接收服務器，通過該接收機上的數(shù)據(jù)請求與拆分程序將RS232C傳送的氣象因子數(shù)據(jù)包實時拆分出需要的氣象因子并歸檔到MySQL數(shù)據(jù)庫和鍵值數(shù)據(jù)庫高速緩存中。同時數(shù)據(jù)合并程序自動合并同價值的數(shù)據(jù)，將最新的數(shù)據(jù)存到鍵值數(shù)據(jù)庫中。系統(tǒng)整體結構如圖1。

3.1初始化

串口數(shù)據(jù)的接收和歸檔以駐留程序方式運行在服務器上，圖2顯示了實時氣象數(shù)據(jù)拆分與處理的初始化流程。氣象因子的記錄器對象主要暫時存儲拆分處理后的氣象數(shù)據(jù)，氣象因子讀取器對象負責讀取數(shù)據(jù)包中記錄的特定氣象因子的測量值。由于Vantage Pro氣象站測量的氣象因子值與要歸檔值的單位不一致，因此也需要氣象因子的修正器對象對測量的原始值進行修正。

圖1氣象站與數(shù)據(jù)庫之間的通信圖

圖2系統(tǒng)初始化流程圖

Fig.2The flowchart of the initialization

3.2數(shù)據(jù)的拆分與處理

系統(tǒng)初始化后，采集程序定時從串口接收數(shù)據(jù)，首先獲得采集時間并轉換為1970年到現(xiàn)在的秒數(shù)，并向Vantage Pro請求一個數(shù)據(jù)包，接著處理收到的氣象數(shù)據(jù)包。采集服務器上實時氣象數(shù)據(jù)的拆分與處理流程如圖3。

圖3數(shù)據(jù)包的拆分處理

Fig.3The procedure of data extracting and processing

圖3中時間秒數(shù)的定義為從1970年1月1日0時0分0秒到此時的秒數(shù)。相鄰的兩個時間秒數(shù)之間相差60 s，即1 min。數(shù)據(jù)的采樣周期也是1 min。時間秒數(shù)用來唯一表示氣象因子的采集時間或采樣時間，同時也作為鍵值數(shù)據(jù)庫存儲中可分類的集合中順序屬性(Score)的值。

3.3氣象數(shù)據(jù)的存儲

在實際應用中，將采集的氣象數(shù)據(jù)保存到MySQL數(shù)據(jù)庫中，同時為了提高查詢速度，使用鍵值數(shù)據(jù)庫作為高速緩存。MySQL數(shù)據(jù)庫中數(shù)據(jù)表的定義如表2。

鍵值數(shù)據(jù)庫是一個Key-Value存儲系統(tǒng)[9]，和Memcached類似，它支持存儲的值(Value)類型相對更多，包括字符串(string)、鏈表(list)、集合(set)和有序集合(zset)。鍵值數(shù)據(jù)庫的功能可以理解為一個Key-Value的數(shù)據(jù)結構操作，數(shù)據(jù)保存在內存中定期刷新到磁盤，以提高讀寫效率。鍵值數(shù)據(jù)庫通過兩種方式實現(xiàn)數(shù)據(jù)持久化：使用快照的方式將內存中的數(shù)據(jù)不斷寫入磁盤，將操作記錄在磁盤文件中。因為需要在鍵值數(shù)據(jù)庫執(zhí)行范圍查詢，使用有序集合Sorted Sets存儲氣象數(shù)據(jù)，集合結構中使用時間秒數(shù)作為順序屬性，氣象數(shù)據(jù)的實際值為其值。而鍵(Key)的值為氣象的統(tǒng)計因子，如溫度、濕度等。比如將2015年1月29日16時26分05秒采集的溫度值17 ℃存儲到鍵值數(shù)據(jù)庫的命令為：redis 127.0.0.1: 6379>zadd iss.temperature 142252110017。

3.4拆分存儲實例

在氣象數(shù)據(jù)拆分與歸檔的例子中，以測量室外溫度的傳感器iss.temperature為例。其它氣象因子數(shù)據(jù)的拆分與歸檔和氣象因子(室外溫度)的處理情況類似。步驟如下：

(1)開始采樣時間為2015年1月29日16時26分05秒，將該時間轉換成1970年以來的時間秒數(shù)，為1422521100。

(2)向Vantage Pro發(fā)送 “LOOP 1” 命令，請求一個99字節(jié)的數(shù)據(jù)包。接收端到氣象站響應的數(shù)據(jù)包，數(shù)據(jù)包的內容如圖4。

圖4數(shù)據(jù)包

Fig.4Entries in the packet

(3)傳感器iss.temperature的讀取器從數(shù)據(jù)包中偏移量為12的位置讀取2個字節(jié)，其十六進制值為00 1d。讀取器對象將00 1d轉換成十進制的29。

(4)傳感器iss.temperature的修正器將傳感器的29F修正為2.900000F，然后再將2.900000F轉換成-16.166 667 ℃。(溫度傳感器記錄的測量值是實際測量值的10倍，其它值的倍數(shù)詳見表1)

(5)傳感器iss.temperature的記錄器將-16.166 667 ℃更新到記錄器對象中。

(6)將傳感器的值歸檔到MySQL和鍵值數(shù)據(jù)庫中。

(7)更新下一次采用時間，循環(huán)步驟(1)～(7)。

4氣象數(shù)據(jù)應用

4.1氣象數(shù)據(jù)服務

數(shù)據(jù)處理過程中，在生成UVFITS、FITS-IDI等格式中，有相應的天氣字段需要填入，同時在如低溫、暴雨、冰雹等惡劣天氣狀況對觀測信號也有一定的誤差影響，因此在數(shù)據(jù)處理過程中需要獲得氣象數(shù)據(jù)。因數(shù)據(jù)量巨大，數(shù)據(jù)處理采用基于分布式的方法，數(shù)據(jù)處理程序分散在集群中的多臺機器上，分布式程序處理會從多臺機器向氣象服務發(fā)送氣象數(shù)據(jù)查詢的請求，所以并發(fā)要求高，因此需要為數(shù)據(jù)處理程序構建高并發(fā)氣象數(shù)據(jù)服務。選擇使用ZeroMQ編寫氣象數(shù)據(jù)服務[10-11]， ZeroMQ不是如其名所示的是一個消息隊列，它更像一個面向消息的中間件或者網(wǎng)絡通信程序庫，提供了多種語言的應用程序編程接口和跨越多種傳輸協(xié)議(甚至包括了進程間和進程內的通信)的套接字。同時為了滿足高并發(fā)高速查詢的要求，使用數(shù)據(jù)合并和緩存方式進一步提高數(shù)據(jù)查詢效率。

4.2數(shù)據(jù)合并

一般情況下將采集的氣象數(shù)據(jù)處理成特定格式后直接追加到數(shù)據(jù)庫中，然而隨著時間的積累，數(shù)據(jù)庫中的記錄數(shù)會急劇增加。相應地檢索某一個時間段的天氣狀態(tài)所需的時間也會增加，不能滿足高效數(shù)據(jù)處理的要求。由于連續(xù)時間段的天氣狀態(tài)可能相同，例如在2014-6-6 10∶00∶00到2014-6-6 10∶00∶59這一分鐘采集的天氣狀態(tài)為晴天，而在接下來的59分鐘的時間內采集的天氣狀態(tài)都為晴天。通常情況下是將這60條記錄全部存儲到數(shù)據(jù)庫中，然而改進的歸檔方法是合并這60條記錄為一條記錄。當檢索落在這一合并后的時間段天氣狀態(tài)時，仍然可以檢索到要檢索時間段的天氣狀態(tài)為晴天，這樣做和從60條記錄中檢索到的天氣狀態(tài)一樣都是晴天，保證了合并后的數(shù)據(jù)仍然是有效的。如果一天要歸檔的所有采集的天氣狀態(tài)都一樣，那么采用合并方法，數(shù)據(jù)庫中存儲一條記錄就可以記錄這一天的天氣狀態(tài)。但是如果采用傳統(tǒng)的數(shù)據(jù)歸檔方式，記錄一天的天氣狀態(tài)就需要24×60條，這樣不僅浪費存儲空間，同時影響檢索效率。

4.3快速檢索

數(shù)據(jù)合并一定程度上可以加快檢索速度，但對于具體值的氣象采集因子，如需要在每個UVFITS文件中存儲的溫度、濕度值，無法采用數(shù)據(jù)合并，數(shù)據(jù)量仍非常大。為了進一步提高查詢速度，使用鍵值數(shù)據(jù)庫作為高速緩存。數(shù)據(jù)查詢時首先訪問鍵值數(shù)據(jù)庫，只有當鍵值數(shù)據(jù)庫訪問失敗時或者在鍵值數(shù)據(jù)庫中找不到數(shù)據(jù)時才訪問MySQL，并將從MySQL獲得的數(shù)據(jù)更新到鍵值數(shù)據(jù)庫中。

最常用的氣象數(shù)據(jù)查詢模式是根據(jù)觀察時間查詢氣象數(shù)據(jù)，因此使用有序集合Sorted Set，Sorted Set是集合的一個升級版本，它在集合的基礎上增加了一個順序屬性，這一屬性在添加修改元素的時候可以指定，每次指定后，有序集合會自動重新按新的值調整順序。可以理解為有兩列的MySQL表，一列存儲具體的值，一列存順序，也就是氣象數(shù)據(jù)的時間。操作中key理解為有序集合的名字。查詢時根據(jù)觀察時間和氣象因子可以獲得該時刻的具體氣象數(shù)據(jù)。比如查詢時間2015年1月29日16時26分05秒的溫度值，首先將該時間轉換成1970年以來的時間秒數(shù)，為1422521100，在鍵值數(shù)據(jù)庫上執(zhí)行如下查詢命令：

redis 127.0.0.1: 6379>zrangebyscore temperature 1422521100+inf LIMIT 0 1

這條命令的意思是在鍵值為temperature的Sorted Sets中查找大于時間點1422521100的第1個值。+inf在鍵值數(shù)據(jù)庫中表示正無窮大。

5結論

本文首先介紹了明安圖射電頻譜日像儀的基本情況，并對項目中氣象條件的可能應用場景和氣象條件對觀測數(shù)據(jù)有效性可能造成的影響進行了論述。簡要介紹了Vantage Pro氣象站的基本工作原理，數(shù)據(jù)交換格式以及串行通信協(xié)議。設計并實現(xiàn)了氣象數(shù)據(jù)的實時采集數(shù)據(jù)歸檔、合并和快速索引方法。本文介紹的Vantage Pro氣象站的氣象數(shù)據(jù)采集、存儲及快速查詢的優(yōu)化方法對觀測數(shù)據(jù)的處理有重要的支撐作用，同時也可應用于望遠鏡選址中氣象條件的自動監(jiān)測。本文雖然提到了氣象數(shù)據(jù)的合并方法，但是具體的氣象條件狀態(tài)值的確定需要統(tǒng)計分析氣象數(shù)據(jù)對觀測數(shù)據(jù)的影響后得出。因此未來將進行大量統(tǒng)計分析以評估氣象數(shù)據(jù)對觀測數(shù)據(jù)的可能影響，完善歸并方法。

參考文獻：

[1]顏毅華, 張堅, 陳志軍, 等. 關于太陽厘米—分米波段頻譜日像儀研究進展[J]. 天文研究與技術——國家天文臺臺刊, 2006, 3(2): 91-98.

Yan Yihua, Zhang Jian, Chen Zhijun, et al. Progress on Chinese radioheliograph in cm-dm wavebands[J]. Astronomical Research & Technology——Publications of National Astronomical Observatories of China, 2006, 3(2): 91-98.

[2]陳志軍, 顏毅華, 劉玉英, 等. 關于中國厘米—分米波頻譜日像儀(CSRH)選址與無線電環(huán)境監(jiān)測[J]. 天文研究與技術——國家天文臺臺刊, 2006, 3(2): 168-175.

Chen Zhijun, Yan Yihua, Liu Yuying, et al. Site survey and RFI test for CSRH[J]. Astronomical Research & Technology——Publications of National Astronomical Observatories of China, 2006, 3(2): 168-175.

[3]王志明, 趙廷寧, 田佳, 等. Vantage Pro2自動氣象站的使用維護研究[J]. 湖南農業(yè)科學, 2012(11): 124-126.

Wang Zhiming, Zhao Tingning, Tian Jia, et al. The maintenance technology of Vantage Pro2 type automatic weather station[J]. Hunan Agricultural Sciences, 2012(11): 124-126.

[4]Renfrew I A, Anderson P S. The surface climatology of an ordinary katabatic wind regime in Coats Land, Antarctica[J]. Tellus Series A-dynamic Meteorology & Oceanography, 2002, 54(5): 463-484.

[5]Warner D C. Stereopair photographs from a surface vantage point[J]. Weather, 2006, 61(5): 135-136.

[6]Maddalena R J. Accurate weather forecasting for radio astronomy[J]. Bulletin of the American Astronomical Society, 2010, 42: 406.

[7]Gibbs S G, Green C F, Tarwater P M, et al. Isolation of antibiotic-resistant bacteria from the air plume downwind of a swine confined or concentrated animal feeding operation[J]. Environmental Health Perspectives, 2006, 114(7): 1032-1037.

[8]Patterson A C, Stark K D. Direct determinations of the fatty acid composition of daily dietary intakes incorporating nutraceuticals and functional food strategies to increase n-3 highly unsaturated fatty acids[J]. Journal of the American College of Nutrition, 2008, 27(5): 538-546.

[9]Ji Z, Ganchev I, O’Droma M, et al. A distributed redis framework for use in the UCWW[C]// 2014 International Conference on Cyber-Enabled Distributed Computing and Knowledge Discovery (CyberC). 2014: 241-244.

[10]Nasir F T, Castiglia C, Buffa F, et al. Weather forecasting and dynamic scheduling for a modern cm/mm wave radio telescope[J]. Experimental Astronomy, 2013, 36(1-2): 407-424.

[11]葉崧, 姚健東. 基于ZeroMQ & JSON的分布式測控系統(tǒng)消息通信架構設計[J]. 現(xiàn)代電子技術, 2014, 37(2): 105-109.Ye Song, Yan Jiandong. Design for message communication architecture of distributed measurment and control system[J]. Modern Electronics Technique, 2014, 37(2): 105-109.

CN 53-1189/PISSN 1672-7673

A Study on the Real-time Collection of the Vantage Pro Weather Station and the Application in the MUSER

Wei Shoulin1,2, Shi Congming2, Gao Jiaojiao2, Wang Feng1,2, Deng Hui2, Ji Kaifan2

(1. Yunnan Observatories, Chinese Academy of Sciences, Kunming 650011, China, Email: wangfeng@cnlab.net;2. Computer Technology Application Key Lab of Yunnan Province, Kunming University of Science and Technology, Kunming 650500, China)

Key words:Vantage Pro; MUSER; Weather data collection; Data merging; Redis

Abstract:MUSER (Mingantu Ultrawide SpEctral Radio Heliograph) is prepared to enter a routine observation phase after completions of the hardware installation and adjustment. So as to improve the availability of the observation data, the project team purchased the Vantage Pro weather stations for the real-time monitoring of meteorological conditions. This paper first introduces the background of MUSER and the basic situation, and discusses application scenarios and the impact on data processing of meteorological conditions. We give the detailed description of the data collection format, data exchange format and serial communication protocol for the Vantage Pro weather station. We also address the meteorological data collection techniques. Finally, we give the methods of building meteorological data service, archiving and efficient querying using the Redis. The work discussed in this paper can be applied to the automatic weather monitoring and data processing for telescopes. It also can provide a valuable reference for the modern astronomical site testing in aspect of the automatic weather monitoring.

基金項目：國家自然科學基金 (U1231205, 11403009) 和云南省應用基礎研究項目 (2013FZ018) 資助.

收稿日期：2015-03-09；

修訂日期：2015-04-21

作者簡介：衛(wèi)守林，男，講師. 研究方向：天文技術與方法. Email: wsl@cnlab.net通訊作者：王鋒，男，教授. 研究方向：天文技術與方法. Email: wangfeng@cnlab.net

中圖分類號：TP274+.2

文獻標識碼：A

文章編號:1672-7673(2016)01-0117-07