自動(dòng)氣象站數(shù)據(jù)預(yù)處理方法

張美玲++陳龍++辛明月++殷紅

摘要 對(duì)自動(dòng)氣象站的數(shù)據(jù)進(jìn)行質(zhì)量檢驗(yàn)，并利用C#語(yǔ)言將文本文件格式的氣象數(shù)據(jù)輸入到SQL Service書庫(kù)中，用SQL語(yǔ)言進(jìn)行修改、查詢、維護(hù)，減輕了數(shù)據(jù)使用者從氣象數(shù)據(jù)源文件中提取各種主要?dú)庀笮畔⒌墓ぷ髁俊?/p>

關(guān)鍵詞 自動(dòng)氣象站；數(shù)據(jù)預(yù)處理；質(zhì)量控制；程序設(shè)計(jì)

中圖分類號(hào) P415.1+2 文獻(xiàn)標(biāo)識(shí)碼 B 文章編號(hào) 1007-5739（2017）01-0203-03

自動(dòng)氣象站是由電子設(shè)備或計(jì)算機(jī)控制的自動(dòng)進(jìn)行氣象觀測(cè)和資料收集傳輸?shù)臍庀笳?，是一種自動(dòng)收集、處理、存儲(chǔ)或傳輸氣象信息的裝置[1]。它每隔一定時(shí)間，就會(huì)自動(dòng)采集一次氣象數(shù)據(jù)，實(shí)現(xiàn)了對(duì)多種氣象數(shù)據(jù)的實(shí)時(shí)觀測(cè)，并將觀測(cè)的數(shù)據(jù)實(shí)時(shí)傳輸?shù)娇刂平K端，減輕了人工觀測(cè)的勞動(dòng)強(qiáng)度，有效提高了工作效率。

自從自動(dòng)氣象站投入使用以來(lái)，很多學(xué)者對(duì)其數(shù)據(jù)能更好地使用進(jìn)行了研究，主要是數(shù)據(jù)的質(zhì)量控制、處理以及維護(hù)等。數(shù)據(jù)的質(zhì)量控制包括2種：一種是對(duì)歷史數(shù)據(jù)的質(zhì)量控制；另一種是實(shí)時(shí)質(zhì)量控制。世界氣象組織認(rèn)為，自動(dòng)氣象站資料實(shí)時(shí)質(zhì)量控制應(yīng)在2個(gè)層面控制：一是在觀測(cè)臺(tái)站進(jìn)行基本質(zhì)量控制，如王建莊等[2]在觀測(cè)臺(tái)站做過(guò)實(shí)時(shí)質(zhì)量控制；二是在數(shù)據(jù)處理中心進(jìn)行，如王海軍等[3]對(duì)數(shù)據(jù)處理中心做過(guò)實(shí)時(shí)質(zhì)量控制。本文是對(duì)歷史數(shù)據(jù)進(jìn)行質(zhì)量控制。

目前，氣象數(shù)據(jù)處理常見(jiàn)的方法是用程序?qū)ψ詣?dòng)氣象站數(shù)據(jù)進(jìn)行處理，從而減輕了數(shù)據(jù)使用者從氣象數(shù)據(jù)源文件中提取各種主要?dú)庀笮畔⒌墓ぷ髁縖4]。高 杰等[5]應(yīng)用C++語(yǔ)言開(kāi)發(fā)研制自動(dòng)氣象站數(shù)據(jù)質(zhì)量檢查系統(tǒng)；冉桂平等[6]應(yīng)用Visual Basic 6.0與SQL Server 2000相結(jié)合，采用SQL結(jié)構(gòu)化數(shù)據(jù)查詢語(yǔ)言，建立起基于C/S方式地自動(dòng)氣象站資料綜合管理應(yīng)用系統(tǒng)；謝 光等[7]基于VB.NET技術(shù)研究了地面自動(dòng)氣象站數(shù)據(jù)庫(kù)；張秀英等[8]應(yīng)用C#語(yǔ)言結(jié)合SQL Server 2000數(shù)據(jù)庫(kù)開(kāi)發(fā)研制烏海兩要素自動(dòng)氣象站數(shù)據(jù)接收系統(tǒng)。

自動(dòng)氣象站采集的數(shù)據(jù)是以.txt的形式保存的，每隔10 min傳輸1次。文本文件格式的數(shù)據(jù)不利于進(jìn)行計(jì)算、統(tǒng)計(jì)等，而氣象要素多、數(shù)據(jù)量大，如何能更好地處理大量數(shù)據(jù)，就成為一個(gè)非常重要的問(wèn)題。鑒于此，本文應(yīng)用C#語(yǔ)言結(jié)合SQL Server 2008數(shù)據(jù)庫(kù)對(duì)沈陽(yáng)市自動(dòng)氣象站的數(shù)據(jù)進(jìn)行處理，旨在為沈陽(yáng)市自動(dòng)氣象站數(shù)據(jù)處理提供一些建議。

1 開(kāi)發(fā)工具及運(yùn)行環(huán)境

1.1 開(kāi)發(fā)工具

本文用的開(kāi)發(fā)工具是C#。C#語(yǔ)言是當(dāng)前使用非常廣泛的一種開(kāi)發(fā)語(yǔ)言，其用途廣泛，既可以開(kāi)發(fā)面向窗口的應(yīng)用程序，也可以開(kāi)發(fā)面向網(wǎng)頁(yè)的B/S系統(tǒng)。對(duì)于現(xiàn)在既需要作應(yīng)用程序又要作網(wǎng)絡(luò)查詢系統(tǒng)來(lái)說(shuō)，用C#來(lái)開(kāi)發(fā)是最合適的。

1.2 運(yùn)行環(huán)境

運(yùn)行環(huán)境是目前使用最廣泛的數(shù)據(jù)庫(kù)系統(tǒng)SQL Server[9]。

2 自動(dòng)氣象站數(shù)據(jù)處理實(shí)現(xiàn)過(guò)程

2.1 自動(dòng)氣象站數(shù)據(jù)質(zhì)量檢驗(yàn)

中國(guó)氣象局在全國(guó)范圍內(nèi)使用的地面測(cè)報(bào)業(yè)務(wù)軟件OSSMO 2004版，其實(shí)時(shí)地面常規(guī)要素?cái)?shù)據(jù)文件簡(jiǎn)稱ZZ文件，保存了自動(dòng)站每分鐘實(shí)時(shí)采集的所有數(shù)據(jù)[10-11]。

自動(dòng)氣象站數(shù)據(jù)質(zhì)量控制貫徹在設(shè)計(jì)、選購(gòu)、測(cè)試、安裝、運(yùn)行全過(guò)程中，現(xiàn)主要對(duì)輸出的數(shù)據(jù)進(jìn)行質(zhì)量檢驗(yàn)，即各氣象要素的檢驗(yàn)。檢驗(yàn)通常遵循以下規(guī)則①各要素是否符合正常的變化規(guī)律；②各要素的測(cè)量值是否符合相互間的關(guān)系；③極值及出現(xiàn)時(shí)間是否有反?，F(xiàn)象；④當(dāng)資料出現(xiàn)反常時(shí)，應(yīng)從相關(guān)情況分析其合理性；⑤當(dāng)月統(tǒng)計(jì)值（平均值、合計(jì)值、極值）出現(xiàn)明顯反常時(shí)，應(yīng)用時(shí)空資料比較[12]。

用氣候極值范圍檢查、內(nèi)部一致性檢查、時(shí)間一致性檢查、空間一致性檢查，對(duì)自動(dòng)氣象站的實(shí)時(shí)資料進(jìn)行自動(dòng)質(zhì)量控制。

2.1.1 日極值與定時(shí)值的比較檢查。日最低氣壓≤定時(shí)氣壓≤日最高氣壓；日最低氣溫≤定時(shí)氣溫≤日最高氣溫；定時(shí)風(fēng)速≤日最大風(fēng)速；日最小相對(duì)濕度≤定時(shí)相對(duì)濕度。

2.1.2 要素的相關(guān)檢查。海平面氣壓≥本站氣壓（海拔高度低于0 m的臺(tái)站除外）；極大風(fēng)速≥最大風(fēng)速。

2.1.3 氣候極值比較檢查。最高本站氣壓<1 050.0 hPa，日最低本站氣壓>600.0 hPa；最高氣溫<50.0 ℃，日最低氣溫 >-55.0 ℃；定時(shí)降水量<200 mm；日最大風(fēng)速<65.0 m/s；日極大風(fēng)速<75.0 m/s。

2.2 自動(dòng)氣象站數(shù)據(jù)入庫(kù)

2.2.1 自動(dòng)氣象站采集的原始數(shù)據(jù)。自動(dòng)氣象站實(shí)時(shí)地面氣象數(shù)據(jù)傳輸文件是指氣象站通過(guò)自動(dòng)氣象站或人工觀測(cè)的地面氣象記錄實(shí)時(shí)形成的數(shù)據(jù)文件，該文件可作為實(shí)時(shí)上傳的地面氣象報(bào)告，其文件組成見(jiàn)表1。

文件名中：“Z_O_AWS_ST_C5、Z_O_SAD_ST_C5、Z_O_ AWS_DAY_C5、Z_R_AWS_C5”為固定編碼；“IIiii”為測(cè)站的區(qū)站號(hào)；“yyyyMMddhhmmss”為文件生成的時(shí)間（國(guó)際時(shí)），“yyyy”為年，4位；“MM”為月，2位；“dd”為日，2位；“hh”為小時(shí)，2位；“mm”表示為分鐘，2位；“ss”為秒，2位[12]。

圖1為L(zhǎng)1003氣象站2009年5月19日16：00的實(shí)時(shí)數(shù)據(jù)文件，數(shù)據(jù)記錄如圖2所示，其中記事本內(nèi)各數(shù)據(jù)記錄包含的內(nèi)容如圖3所示。

2.2.2 數(shù)據(jù)導(dǎo)入和數(shù)據(jù)入庫(kù)。本文利用C#語(yǔ)言編程，將自動(dòng)氣象站輸出的文件導(dǎo)入到SQL數(shù)據(jù)庫(kù)中的表文件。在沈陽(yáng)市自動(dòng)氣象站大約有82個(gè)，因此采集的數(shù)據(jù)量很龐大，其中每個(gè)自動(dòng)氣象站10 min記錄1次數(shù)據(jù)，1 d的數(shù)據(jù)作為一個(gè)文件夾儲(chǔ)存起來(lái)。如此龐大的數(shù)據(jù)用Excel來(lái)處理很不方便，可通過(guò)編程將這些數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫(kù)中進(jìn)行處理。數(shù)據(jù)文件的導(dǎo)入過(guò)程如圖4所示，導(dǎo)入后的數(shù)據(jù)在數(shù)據(jù)庫(kù)中存在的形式如圖5所示，每個(gè)自動(dòng)氣象站1年的數(shù)據(jù)為1個(gè)表。

在數(shù)據(jù)庫(kù)中打開(kāi)L1005（站名兩家子）自動(dòng)氣象站2008年的監(jiān)測(cè)信息，部分結(jié)果如圖6所示。

2.2.3 數(shù)據(jù)修改。修改輸入到SQL Server數(shù)據(jù)庫(kù)中的自動(dòng)氣象站數(shù)據(jù)明顯的錯(cuò)誤。如L1003區(qū)站監(jiān)測(cè)信息表中觀測(cè)時(shí)間“20080501142000”被錯(cuò)誤地寫成了“20080101142000”。修改的具體操作步驟如下：①鼠標(biāo)右鍵單擊數(shù)據(jù)表L1003區(qū)站2008年監(jiān)測(cè)信息，在彈出的快捷菜單中選擇“編輯前200行”命令（圖7）；②在彈出的對(duì)話框中將觀測(cè)時(shí)間內(nèi)的錯(cuò)誤記錄“20080101142000”改成“20080501142000”即可（圖8），最后單擊保存按鈕。其他字段如有錯(cuò)誤，修改步驟同上。

2.2.4 數(shù)據(jù)查詢。在SQL Server數(shù)據(jù)庫(kù)中，對(duì)其數(shù)據(jù)進(jìn)行查詢比較方便，簡(jiǎn)單的SQL語(yǔ)言即可實(shí)現(xiàn)。例如：查找沈陽(yáng)市L1003站2008年5月的數(shù)據(jù)，查詢界面及結(jié)果分別見(jiàn)圖9、10，過(guò)程如下：

USE [MR-KFGL]

SELECT 氣溫，觀測(cè)時(shí)間

from [dbo].[L1003區(qū)站監(jiān)測(cè)信息]

where 觀測(cè)時(shí)間 between 20080501001000 and 2008053 1235000

2.2.5 自動(dòng)氣象站數(shù)據(jù)維護(hù)。數(shù)據(jù)庫(kù)在使用的過(guò)程中必須進(jìn)行定期的維護(hù)，如更新數(shù)據(jù)庫(kù)統(tǒng)計(jì)信息、執(zhí)行數(shù)據(jù)庫(kù)備份等，以確保數(shù)據(jù)庫(kù)一直處于最佳的運(yùn)行狀態(tài)。SQL Server提供了維護(hù)計(jì)劃向?qū)?，用戶可以?chuàng)建一個(gè)維護(hù)計(jì)劃，對(duì)從列表中選擇的數(shù)據(jù)庫(kù)按計(jì)劃的間隔定期運(yùn)行維護(hù)計(jì)劃[13-14]。對(duì)自動(dòng)氣象站的數(shù)據(jù)要及時(shí)備份。

3 結(jié)語(yǔ)

運(yùn)用C#語(yǔ)言編寫的程序和SQL Server數(shù)據(jù)庫(kù)系統(tǒng)實(shí)現(xiàn)自動(dòng)氣象站數(shù)據(jù)處理的過(guò)程，該系統(tǒng)能進(jìn)行自動(dòng)氣象站的數(shù)據(jù)入庫(kù)、數(shù)據(jù)修改、數(shù)據(jù)查詢和數(shù)據(jù)庫(kù)維護(hù)等功能，減輕了數(shù)據(jù)使用者從氣象數(shù)據(jù)源文件中提取各種主要?dú)庀笮畔⒌墓ぷ髁?。程序處理氣象?shù)據(jù)方法利于使用者更好地應(yīng)用數(shù)據(jù)，查詢便宜、靈活，方便進(jìn)行一些簡(jiǎn)單修改，維護(hù)起來(lái)也比較簡(jiǎn)單。

4 參考文獻(xiàn)

[1] 李黃.自動(dòng)氣象站實(shí)用手冊(cè)[M].北京：氣象出版社，2007.

[2] 王建莊，許沛林.Ⅱ型自動(dòng)氣象站數(shù)據(jù)采集的實(shí)時(shí)質(zhì)量控制[J].廣東氣象，2009，31（5）：57-58.

[3] 王海軍，楊志彪，楊代才，等.自動(dòng)氣象站實(shí)時(shí)資料自動(dòng)質(zhì)量控制方法及其應(yīng)用[J].氣象，2007，33（10）：102-109.

[4] 竇以文，屈玉貴，陶士偉，等.北京自動(dòng)氣象站實(shí)時(shí)數(shù)據(jù)質(zhì)量控制應(yīng)用[J].氣象，2008，34（8）：77-81.

[5] 高杰，張海娜.地面自動(dòng)氣象站數(shù)據(jù)質(zhì)量檢查系統(tǒng)[J].遼寧氣象，2004（2）：39-40.

[6] 冉桂平，胡學(xué)敏，付晉.自動(dòng)氣象站資料綜合管理應(yīng)用系統(tǒng)[J].電腦知識(shí)與技術(shù)，2007，1（6）：1658-1687.

[7] 謝光，賈保先.基于.NET技術(shù)的數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用[J].數(shù)字技術(shù)與應(yīng)用，2016（8）：120.

[8] 張秀英，王繼東.烏海兩要素自動(dòng)氣象站數(shù)據(jù)接收系統(tǒng)軟件的設(shè)計(jì)與實(shí)現(xiàn)[J].內(nèi)蒙古氣象，2009（1）：40-41.

[9] 孫明麗.SQL Service 2005數(shù)據(jù)庫(kù)系統(tǒng)開(kāi)發(fā)完全手冊(cè)[M].北京：人民郵電出版社，2007：98.

[10] 中國(guó)氣象局監(jiān)測(cè)網(wǎng)絡(luò)司.地面氣象測(cè)報(bào)業(yè)務(wù)系統(tǒng)軟件操作手冊(cè)[M].北京：氣象出版社，2004：1-192.

[11] 中國(guó)氣象局.地面氣象觀測(cè)數(shù)據(jù)文件和記錄薄表格式[M].北京：氣象出版社，2005：l-173.

[12] 胡玉峰.自動(dòng)氣象站原理與測(cè)量方法[M].北京：氣象出版社，2004：124-126.

[13] 張孝峰，李剛，李來(lái)民.自動(dòng)氣象站信息數(shù)據(jù)庫(kù)業(yè)務(wù)系統(tǒng)開(kāi)發(fā)與應(yīng)用[J].山東氣象，2004，24（3）：25.

[14] 莊子明.基于XML的數(shù)據(jù)庫(kù)技術(shù)及應(yīng)用[J].計(jì)算機(jī)工程，2002，28（1）：119-121.