任燕 謝永德 任萍
摘 要:在實際的氣象服務(wù)實踐中用戶的需求是千變?nèi)f化的,經(jīng)常會需要非常規(guī)的統(tǒng)計資料,氣象部門沒辦法面面俱到地事先建立起包含各種統(tǒng)計數(shù)據(jù)的數(shù)據(jù)庫供使用者查詢,為了能滿足用戶的各種需要,需要構(gòu)建出一個數(shù)據(jù)加工平臺。該平臺實現(xiàn)的手段:一是針對不同要素的物理意義及特點盡可能多地增加統(tǒng)計數(shù)據(jù)的品種,豐富數(shù)據(jù)庫內(nèi)容;二是設(shè)計出復(fù)雜的豐富的邏輯查詢方法從數(shù)據(jù)庫中提取數(shù)據(jù);三是設(shè)計出針對數(shù)據(jù)庫中基本數(shù)據(jù)的自由選擇時間段的向?qū)降慕y(tǒng)計查詢的方法;四是設(shè)計出一個可交互的數(shù)據(jù)工作表以及二次加工算法工具,對通過各種方式查詢顯示在工作表中的數(shù)據(jù)進行二次加工,由使用者根據(jù)需要自行設(shè)計統(tǒng)計方法,得出較復(fù)雜的統(tǒng)計序列。
關(guān)鍵詞:氣象觀測 信息服務(wù) 數(shù)據(jù)處理 加工平臺
中圖分類號:P413 文獻標(biāo)識碼:A 文章編號:1674-098X(2015)08(a)-0092-02
在實際的氣象服務(wù)實踐中服務(wù)對象的需求是千變?nèi)f化的,經(jīng)常會需要非常規(guī)的統(tǒng)計資料,氣象部門沒辦法面面俱到地事先建立起包含各種統(tǒng)計數(shù)據(jù)的數(shù)據(jù)庫供服務(wù)人員查詢,通過采取以下四種措施構(gòu)建了一個數(shù)據(jù)加工平臺:一是針對不同要素的物理意義及特點盡可能多地增加統(tǒng)計數(shù)據(jù)的品種,豐富數(shù)據(jù)庫內(nèi)容;二是設(shè)計出復(fù)雜的邏輯查詢方法從數(shù)據(jù)庫中提取數(shù)據(jù);三是設(shè)計出針對數(shù)據(jù)庫中基本數(shù)據(jù)的自由選擇時間段的向?qū)降慕y(tǒng)計查詢的方法;四是設(shè)計出一個可交互的數(shù)據(jù)工作表以及二次加工算法工具,由服務(wù)人員根據(jù)需要自行設(shè)計統(tǒng)計方法,得出較復(fù)雜的統(tǒng)計序列。
1 數(shù)據(jù)加工平臺框架
數(shù)據(jù)加工平臺由數(shù)據(jù)源、數(shù)據(jù)集、數(shù)據(jù)庫服務(wù)器和軟件系統(tǒng)四部分組成。數(shù)據(jù)源由信息化數(shù)據(jù)文件組成;數(shù)據(jù)集是由信息化數(shù)據(jù)文件經(jīng)過統(tǒng)計加工形成的數(shù)據(jù)文件;數(shù)據(jù)庫內(nèi)的數(shù)據(jù)來源于數(shù)據(jù)集;軟件系統(tǒng)由若干程序模塊組成,是整個系統(tǒng)的核心。
2 數(shù)據(jù)集的設(shè)計與制作
數(shù)據(jù)集的設(shè)計與制作是構(gòu)建數(shù)據(jù)加工平臺的一個重要環(huán)節(jié),其質(zhì)量的高低將直接影響數(shù)據(jù)加工平臺的性能。在數(shù)據(jù)加工與統(tǒng)計產(chǎn)品研究的基礎(chǔ)上,根據(jù)數(shù)據(jù)庫內(nèi)容及結(jié)構(gòu)的需要設(shè)計制作,利用經(jīng)過質(zhì)量控制的信息化數(shù)據(jù)文件進行統(tǒng)計加工形成16個文本文件。
2.1 源數(shù)據(jù)的質(zhì)量控制
數(shù)據(jù)集制作用到的是地面氣象觀測數(shù)據(jù)文件(A、A0、A1、A6、A7文件),在進行數(shù)據(jù)集加工之前,必須對所使用的資料進行質(zhì)量控制。對原始觀測資料的質(zhì)量控制方法有:要素允許值范圍檢查、氣候?qū)W界限值檢查、極值檢查、內(nèi)部一致性檢查、時間一致性檢查、空間一致性檢查等。數(shù)據(jù)集加工用到的數(shù)據(jù)應(yīng)是具有質(zhì)量控制標(biāo)識的數(shù)據(jù),其中標(biāo)識為正確和可疑的數(shù)據(jù)參加統(tǒng)計,對標(biāo)識為錯誤的數(shù)據(jù)進行訂正,無法訂正時,按缺測處理。
2.2 數(shù)據(jù)集的結(jié)構(gòu)組成及內(nèi)容設(shè)計
日數(shù)據(jù)集內(nèi)含定時觀測數(shù)據(jù)及日統(tǒng)計數(shù)據(jù),利用這些數(shù)據(jù)可以進行千變?nèi)f化的統(tǒng)計加工;旬?dāng)?shù)據(jù)集內(nèi)含定時及日統(tǒng)計值的旬統(tǒng)計值;月數(shù)據(jù)集包含定時及日平均、日極值等的月統(tǒng)計值以及有關(guān)要素的回數(shù)、次數(shù)、日數(shù)、頻率、極值、日期等的月統(tǒng)計值;年數(shù)據(jù)集包括常規(guī)氣象要素的年統(tǒng)計值以及有關(guān)要素的回數(shù)、次數(shù)、日數(shù)、頻率、極值、日期等的年統(tǒng)計值。
3 數(shù)據(jù)庫構(gòu)建
3.1 數(shù)據(jù)庫設(shè)計的方法原則
數(shù)據(jù)加工平臺的數(shù)據(jù)庫設(shè)計主要是靜態(tài)的數(shù)據(jù)庫模型設(shè)計,一旦設(shè)計完成,在實際的應(yīng)用當(dāng)中數(shù)據(jù)庫的結(jié)構(gòu)基本是固定的,而變化的只是氣象資料的續(xù)加。數(shù)據(jù)庫的設(shè)計和應(yīng)用程序的設(shè)計緊密相連,以保證實現(xiàn)應(yīng)用程序的全部功能。
3.2 數(shù)據(jù)庫的安全訪問策略
數(shù)據(jù)加工平臺數(shù)據(jù)庫的安全策略由四層安全驗證體系組成。
(1)客戶端軟件級別。數(shù)據(jù)加工平臺采用公共用戶和公共密鑰的方式進行訪問,公共用戶和公共密鑰由系統(tǒng)管理員提供給用戶,真實的登錄密碼隱含在密鑰當(dāng)中,由客戶端應(yīng)用程序軟件系統(tǒng)負責(zé)解釋,這樣就保證了數(shù)據(jù)庫服務(wù)器的安全。
(2)數(shù)據(jù)庫服務(wù)器級別。由數(shù)據(jù)庫服務(wù)器SQLServer2000進行身份的認證,確保非法用戶無法登錄。
(3)數(shù)據(jù)庫級別。訪問數(shù)據(jù)庫的用戶必須是在指定的數(shù)據(jù)庫上已經(jīng)注冊的合法用戶,否則無法訪問。
(4)數(shù)據(jù)對象級別。數(shù)據(jù)庫的合法用戶并不能訪問所有數(shù)據(jù),而只能訪問獲得訪問許可的以單站劃分的數(shù)據(jù)對象。
4 軟件系統(tǒng)應(yīng)用環(huán)境構(gòu)建及應(yīng)用
數(shù)據(jù)加工平臺的所有功能都是通過軟件系統(tǒng)來實現(xiàn)的,軟件系統(tǒng)提供了一個集成的系統(tǒng)應(yīng)用環(huán)境,其承載著數(shù)據(jù)查詢和數(shù)據(jù)加工的責(zé)任,同時又是一個開放的系統(tǒng),允許使用者利用自身的想象力進行統(tǒng)計方法的設(shè)計與開發(fā),從而滿足用戶的不同需求。
4.1 軟件系統(tǒng)的結(jié)構(gòu)模型
軟件系統(tǒng)是一個多功能模塊的組合體。其組成見圖1。
4.2 軟件模塊功能設(shè)計及應(yīng)用
4.2.1 參數(shù)設(shè)置
參數(shù)設(shè)置模塊用于設(shè)置客戶端軟件運行時所需要的參數(shù)數(shù)據(jù)。
4.2.2 連接數(shù)據(jù)庫服務(wù)器
該模塊負責(zé)打開遠程的數(shù)據(jù)庫,并建立連接。
4.2.3 數(shù)據(jù)庫維護模塊
主要包括:
(1)管理員入口,該模塊是專門提供給數(shù)據(jù)加工平臺的管理員使用的。
(2)預(yù)處理A0文件,為了保證數(shù)據(jù)統(tǒng)計的一致性和正確性,在進行數(shù)據(jù)集加工之前需要對A0文件進行必要的處理,統(tǒng)一A0文件的格式。
(3)建數(shù)據(jù)集,利用原始數(shù)據(jù)文件統(tǒng)計加工形成建數(shù)據(jù)庫的數(shù)據(jù)文件。
(4)數(shù)據(jù)集入庫,將16個數(shù)據(jù)集內(nèi)的數(shù)據(jù)寫入數(shù)據(jù)庫服務(wù)器。
4.2.4 數(shù)據(jù)庫應(yīng)用模塊
(1)工作簿操作。
一個客戶端軟件實例可以新建或打開多個工作簿,每一個工作簿包含多個工作表,在形式和功能上很像Microsoft office Excel工作簿。工作表是查詢結(jié)果的載體,也是對查詢結(jié)果進行進一步加工的平臺。工作表由若干行若干列交叉形成單元格,查詢出的數(shù)據(jù)最終顯示在單元格內(nèi),每一個單元格內(nèi)的數(shù)據(jù)都是可以交互的,單元格可以被選中、多重選中,單元格里的內(nèi)容可以刪除、修改、移動等。
客戶端軟件的工作簿很好的兼容了Excel工作簿,這樣查詢結(jié)果就很容易被傳播和共享。
(2)常規(guī)查詢。
常規(guī)查詢的功能:
①分別指定被查詢資料的起止日期,被查詢出的資料是不同年份的同一時間段。
②一次可以查詢多個要素,在列表中任意選擇。多要素查詢時每個要素在工作表內(nèi)占一列,按時間順序從上到下顯示;單要素查詢時可以按列顯示,也可以按行顯示,即查詢出的同一年的數(shù)據(jù)顯示在一行內(nèi),從左到右日期由先到后,這種方式為在工作表上對資料進行二次加工,比如累年統(tǒng)計,提供了極大的方便。
③對每一個被查詢的要素都可以同時指定查詢條件,查詢條件用邏輯表達式表示。在查詢同一時間不同要素時,每個要素都可以指定查詢條件,要素之間的查詢條件可以是與的關(guān)系也可以是或的關(guān)系,通過這些查詢條件的設(shè)定可以做出非常復(fù)雜的查詢結(jié)果。
(3)統(tǒng)計查詢。
統(tǒng)計查詢和一般查詢不同的是它更具靈活性,它輸出的數(shù)據(jù)不是數(shù)據(jù)庫中事先統(tǒng)計好的數(shù)據(jù),而是根據(jù)用戶需求對數(shù)據(jù)庫中日數(shù)據(jù)表中的日數(shù)據(jù)進行進一步統(tǒng)計加工的結(jié)果,該模塊提供了豐富的統(tǒng)計項目列表,針對不同的氣象要素的物理意義設(shè)計出豐富多彩的統(tǒng)計項目,并且各統(tǒng)計項目中加進了大量的可由用戶定制的參數(shù),使統(tǒng)計計算出的結(jié)果千變?nèi)f化。
①任意時間段要素統(tǒng)計。
任意時間段要素統(tǒng)計是對日數(shù)據(jù)表中某一時間段的四次定時數(shù)據(jù)或日統(tǒng)計數(shù)據(jù)的進一步加工,統(tǒng)計時間跨度是任意的,可以跨年跨月,也可以將時間段設(shè)成逐月的方式,從而直接統(tǒng)計出一年當(dāng)中逐月的統(tǒng)計值,是對常規(guī)查詢的重要補充。
②初終日期統(tǒng)計。
該統(tǒng)計模塊允許用戶任意設(shè)定要素的界限值,從而可以統(tǒng)計出滿足用戶需求的各種統(tǒng)計數(shù)據(jù)。初終日期統(tǒng)計包括天氣現(xiàn)象出現(xiàn)的初終日期和氣象要素值達到某一標(biāo)準(zhǔn)的初終日期。
③初終日(初日固定日期)間要素統(tǒng)計。
初終日(初日固定日期)間要素統(tǒng)計就是先統(tǒng)計出歷年某種現(xiàn)象出現(xiàn)或某要素達到標(biāo)準(zhǔn)的初終日期(方法見5.2.4.3.2),然后再統(tǒng)計該初終日期間(或初日到某一固定日期間)某氣象要素的統(tǒng)計值,例如:日平均氣溫穩(wěn)定通過10 ℃期間的積溫、降水量合計、日照時數(shù)等等。
(4)工作表函數(shù)計算。
工作表的函數(shù)計算功能是本系統(tǒng)最為突出的特點,它是利用嵌入在表內(nèi)的統(tǒng)計函數(shù)和運算符號對表內(nèi)的數(shù)據(jù)進行二次統(tǒng)計加工,可以滿足復(fù)雜統(tǒng)計的需求。它使得客戶端軟件加工出的數(shù)據(jù)千變?nèi)f化。
統(tǒng)計工具能識別數(shù)據(jù)系列(日期的統(tǒng)計只對日期格式的單元格有效),當(dāng)焦點單元格在數(shù)據(jù)行尾或數(shù)據(jù)列尾時可以自動選擇需要統(tǒng)計的數(shù)據(jù)行或數(shù)據(jù)列并將統(tǒng)計值顯示在焦點單元格內(nèi)。
5 結(jié)論
通過對地面氣象資料產(chǎn)品的即時加工技術(shù)研究,得到以下結(jié)論:
(1)突破以往的數(shù)據(jù)查詢系統(tǒng)局限,即構(gòu)造一個地面氣象數(shù)據(jù)加工平臺,而不是一個簡單的查詢系統(tǒng),滿足用戶千變?nèi)f化的特殊需求。
(2)除了常規(guī)的統(tǒng)計值,針對不同的要素設(shè)計出不同的統(tǒng)計產(chǎn)品,比如:氣溫最強連續(xù)升高數(shù)值、氣溫最強連續(xù)降低數(shù)值、最多連續(xù)降水量、取暖度日數(shù)、土壤解凍(凍結(jié))初終日期等等。
(3)在地面氣象資料數(shù)據(jù)共享方面提出了具體的做法。通過構(gòu)建數(shù)據(jù)庫,搭建數(shù)據(jù)庫服務(wù)器,開發(fā)基于網(wǎng)絡(luò)的軟件系統(tǒng)實現(xiàn)了數(shù)據(jù)的共享。
參考文獻
[1] 李集明,沈文海,王國復(fù).氣象信息共享平臺及其關(guān)鍵技術(shù)研究[J].應(yīng)用氣象學(xué)報,2006,17(5):621-628.
[2]李集明.基于Internet面向社會公益性共享的氣象科學(xué)數(shù)據(jù)存儲檢索策略研究[J].氣象科技,2007,35(4):589-592.
[3]劉昊鈺,馬強,常飆,等.國家級氣象資料存儲檢索系統(tǒng)監(jiān)視分系統(tǒng)的設(shè)計和實現(xiàn)[J].應(yīng)用氣象學(xué)報,2007,18(2):251-256.