張少鋒
摘要:河南省的延津,林州,三門(mén)峽,方城和新縣建立了五個(gè)測(cè)風(fēng)塔站,測(cè)風(fēng)塔觀測(cè)資料分為風(fēng)能每分鐘數(shù)據(jù)文件,狀態(tài)監(jiān)控文件和十分鐘數(shù)據(jù)文件,其中風(fēng)能每分鐘數(shù)據(jù)文件和狀態(tài)監(jiān)控文件一天傳輸四次,十分鐘數(shù)據(jù)文件一天傳輸一次,這三類(lèi)資料都屬于實(shí)時(shí)資料。為了方便預(yù)報(bào)預(yù)測(cè)部門(mén)和決策部門(mén)調(diào)閱資料,需要構(gòu)建河南省風(fēng)能數(shù)據(jù)庫(kù)系統(tǒng),將測(cè)風(fēng)塔觀測(cè)的實(shí)時(shí)資料進(jìn)行質(zhì)量控制并入庫(kù)。
關(guān)鍵詞:測(cè)風(fēng)塔;風(fēng)能數(shù)據(jù)庫(kù);元數(shù)據(jù);質(zhì)量控制
中圖分類(lèi)號(hào):TP311 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1009-3044(2014)14-3236-04
Abstract: Five observing-wind stations were built in Yanjin, Linzhou,Sanmenxia,F(xiàn)angcheng and Xinxian in Henan province. Wind resources observation data is divided into wind data per minute file,status monitoring file and wind data per ten minutes file.Wind data per minute file and status monitoring file are transmited four times one day, wind data per ten minutes file are transmited three times one day.These files are belonged to real-time data.In order to forecasts prediction departments and decision-making departments accessing to information,Henan province wind database system is constructed and wind real-time data are quality controlled and into database.
Key words: observing-wind station; wind database; metadata; quality control
1 系統(tǒng)概述
為了節(jié)約能源,建立可持續(xù)開(kāi)發(fā)的風(fēng)電項(xiàng)目,在現(xiàn)有風(fēng)能資源普查工作的基礎(chǔ)上,進(jìn)一步展開(kāi)河南省風(fēng)能資源詳查和評(píng)價(jià)工作,在河南省的延津,林州,三門(mén)峽,方城和新縣共建立了5個(gè)測(cè)風(fēng)塔站。
依據(jù)《測(cè)風(fēng)塔風(fēng)能觀測(cè)系統(tǒng)技術(shù)要求》,河南省測(cè)風(fēng)塔觀測(cè)資料屬于實(shí)時(shí)傳輸資料,基本上每天傳輸一次(分鐘統(tǒng)計(jì)項(xiàng)目文件和狀態(tài)文件每天四次,分鐘統(tǒng)計(jì)項(xiàng)目文件根據(jù)需要可以加密,而狀態(tài)文件不進(jìn)行處理)。對(duì)測(cè)風(fēng)塔觀測(cè)發(fā)送的各項(xiàng)數(shù)據(jù)進(jìn)行質(zhì)量控制、處理是構(gòu)建風(fēng)能數(shù)據(jù)庫(kù)系統(tǒng)的目的。
風(fēng)能數(shù)據(jù)庫(kù)系統(tǒng)系統(tǒng)的構(gòu)建不僅為風(fēng)能資源的詳查和評(píng)估提供了數(shù)據(jù)支持,而且還建立了數(shù)據(jù)共享平臺(tái),給用戶使用提供了統(tǒng)一的接口。
2 系統(tǒng)結(jié)構(gòu)
河南省風(fēng)能數(shù)據(jù)庫(kù)系統(tǒng)由通信系統(tǒng)分發(fā)資料,數(shù)據(jù)處理系統(tǒng)預(yù)處理和數(shù)據(jù)入庫(kù)3個(gè)功能模塊組成。
2.1 通信系統(tǒng)分發(fā)資料
河南的5個(gè)測(cè)風(fēng)塔:延津測(cè)風(fēng)塔,林州測(cè)風(fēng)塔,三門(mén)峽測(cè)風(fēng)塔,方城測(cè)風(fēng)塔和新縣測(cè)風(fēng)塔通過(guò)移動(dòng)的GPRS線路將風(fēng)能分鐘數(shù)據(jù)文件,風(fēng)能狀態(tài)監(jiān)控文件和風(fēng)能十分鐘數(shù)據(jù)文件發(fā)到河南省信息中心風(fēng)能服務(wù)器172.18.152.34上。通信節(jié)點(diǎn)機(jī)172.18.152.13以FTP方式從風(fēng)能服務(wù)器上獲取文件,一方面將文件傳到省新一代服務(wù)器10.69.72.30上,后上傳主站;一方面將文件分發(fā)到風(fēng)能數(shù)據(jù)庫(kù)服器10.69.3.7的/workspace/workspace_DB/input/L11_swap目錄下,進(jìn)行質(zhì)量控制后入風(fēng)能省級(jí)數(shù)據(jù)庫(kù)。
2.2 數(shù)據(jù)處理系統(tǒng)預(yù)處理
數(shù)據(jù)處理系統(tǒng)對(duì)風(fēng)能數(shù)據(jù)進(jìn)行質(zhì)量控制或者進(jìn)行統(tǒng)計(jì)加工。以風(fēng)能實(shí)時(shí)數(shù)據(jù)為例 :運(yùn)行在風(fēng)能數(shù)據(jù)庫(kù)服務(wù)器10.69.3.7的腳本,將風(fēng)能十分鐘數(shù)據(jù)文件復(fù)制到/workspace/workspace_DB/input/L12_swap目錄下。測(cè)風(fēng)塔質(zhì)量控制程序讀取/workspace/workspace_DB/input/L11_swap目錄下的風(fēng)能分鐘數(shù)據(jù)文件,進(jìn)行質(zhì)量控制,質(zhì)量控制后的文件放到/workspace/workspace_DB/input/processed/SURF_BOU_CHN_MUL_FTM_WER_L11目錄下;質(zhì)量控制程序讀取/workspace/workspace_DB/input/L11_swap目錄下的風(fēng)能十分鐘數(shù)據(jù)文件,進(jìn)行質(zhì)量控制,質(zhì)量控制后的文件放在/workspace/workspace_DB/input/processesd/SURF_BOU_ CHN_MUL_FTM_WER_L12目錄下。
2.3 數(shù)據(jù)入庫(kù)
2.3.1 實(shí)時(shí)觀測(cè)資料入庫(kù)
測(cè)風(fēng)塔觀測(cè)資料分為風(fēng)能每分鐘數(shù)據(jù)文件,狀態(tài)監(jiān)控文件和十分鐘數(shù)據(jù)文件,其中風(fēng)能每分鐘數(shù)據(jù)文件和狀態(tài)監(jiān)控文件一天傳輸四次,十分鐘數(shù)據(jù)文件一天傳輸一次,這三類(lèi)資料都屬于實(shí)時(shí)資料。風(fēng)能數(shù)據(jù)庫(kù)系統(tǒng)對(duì)十分鐘數(shù)據(jù)文件和每分鐘數(shù)據(jù)文件進(jìn)行入庫(kù)。
以風(fēng)能的實(shí)時(shí)數(shù)據(jù)為例:測(cè)風(fēng)塔質(zhì)量控制程序讀取讀/workspace/workspace_DB/input/ L12_swap目錄下的風(fēng)能十分鐘數(shù)據(jù)文件,進(jìn)行質(zhì)量控制,質(zhì)量控制后的文件放到/workspace/workspace_DB/input/processed/SURF_BOU_CHN_MUL_FTM_WER_L12目錄下。入庫(kù)程序讀取該目錄下的文件,入到風(fēng)觀測(cè)十分鐘觀測(cè)數(shù)據(jù)數(shù)據(jù)庫(kù)的WSUL12_2表中。入庫(kù)的資料供用戶通過(guò)網(wǎng)站等方式進(jìn)行調(diào)閱,也可以進(jìn)行歸檔生成歸檔文件。
2.3.2 氣候背景資料入庫(kù)
氣候背景資料主要包含歷年逐月常用的氣象要素、歷年逐月天氣日數(shù)、歷年逐月最多風(fēng)向及頻率、歷年逐月各風(fēng)向及頻率、常用氣象要素標(biāo)準(zhǔn)氣候值、天氣日數(shù)標(biāo)準(zhǔn)氣候值、最多風(fēng)向及頻率標(biāo)準(zhǔn)氣候值、歷年逐月各風(fēng)向頻率標(biāo)準(zhǔn)氣候值、地面觀測(cè)逐小時(shí)風(fēng)數(shù)據(jù)和地面觀測(cè)風(fēng)日極值數(shù)據(jù)。以歷年逐月常用的氣象要素為例。
2.3.3 其他風(fēng)資源資料入庫(kù)
其它風(fēng)資源資料包括數(shù)值模擬產(chǎn)品和風(fēng)能資源評(píng)估信息兩大類(lèi)。其中數(shù)值模擬產(chǎn)品包括數(shù)值模擬月平均數(shù)據(jù)文件、數(shù)值模擬年平均數(shù)據(jù)文件、數(shù)值模擬全年風(fēng)向頻率、數(shù)值模擬全年風(fēng)速頻率分布、數(shù)值模擬全年風(fēng)能頻率分布、數(shù)值模擬全年風(fēng)能密度方向頻率、數(shù)值模擬范圍表;風(fēng)能資源評(píng)估信息子庫(kù)包括觀測(cè)年度平均風(fēng)速年變化表、觀測(cè)年度平均風(fēng)功率密度年變化表、各月(年)平均空氣密度表、觀測(cè)年度平均風(fēng)速日變化表、觀測(cè)年度平均風(fēng)功率密度日變化表、年各風(fēng)速等級(jí)頻率表、年各風(fēng)速等級(jí)小時(shí)數(shù)表、長(zhǎng)年代平均風(fēng)能參數(shù)估算結(jié)果表、參證站50年一遇10分鐘平均風(fēng)速表、測(cè)風(fēng)塔50年一遇10分鐘平均風(fēng)速及風(fēng)資源等級(jí)表、月(年)各風(fēng)向頻率分布表、月(年)各風(fēng)向風(fēng)功率密度百分率表、湍流強(qiáng)度年變化表、湍流強(qiáng)度日變化表、風(fēng)速垂直切變指數(shù)表、年度風(fēng)能參數(shù)表、Weibull分布曲線參數(shù)表、詳查區(qū)域風(fēng)能資源儲(chǔ)量、參證站觀察年度風(fēng)速年景表、風(fēng)能評(píng)估報(bào)告中的圖。
3 系統(tǒng)安裝及配置
3.1 安裝環(huán)境需求
要求數(shù)據(jù)庫(kù)服務(wù)器的CPU:2顆Xeon5270(3.5GHz);內(nèi)存為: 16GB DDR2;內(nèi)置磁盤(pán): SATA Ⅱ 2.0TB;集成雙千兆以太網(wǎng)。操作系統(tǒng)為T(mén)urbolinux,系統(tǒng)上應(yīng)沒(méi)有安裝過(guò)Mysql和Tomcat應(yīng)用服務(wù),保證系統(tǒng)無(wú)其它應(yīng)用占用3306端口和8090端口。
3.2 安裝步驟
按上圖步驟安裝完成后,Tomcat 服務(wù)和Mysql會(huì)自動(dòng)嵌入系統(tǒng)“服務(wù)”中,系統(tǒng)會(huì)自動(dòng)啟動(dòng)Mysql和Tomcat服務(wù)進(jìn)程。
建立用戶sysadmin,用于管理數(shù)據(jù)庫(kù)及風(fēng)能數(shù)據(jù)庫(kù)的管理。加載管理數(shù)據(jù)庫(kù);然后用feng用戶創(chuàng)建風(fēng)觀測(cè)數(shù)據(jù)子庫(kù),建立數(shù)據(jù)庫(kù)表如下:
建立用戶qxj,該用戶用于風(fēng)能數(shù)據(jù)庫(kù)的管理。
3.3 系統(tǒng)配置
風(fēng)能資源數(shù)據(jù)庫(kù)主要由配置文件Project.xml,Meta.xml,Task.xml和元數(shù)據(jù).xml完成系統(tǒng)的配置工作。下面介紹這幾類(lèi)文件的配置:
1) Project.xml的配置
Project.xml的配置文件存放在/workspace/tomcat/webapps/qxj/WEB-INF/conf目錄下,是整個(gè)系統(tǒng)的基礎(chǔ)配置,如系統(tǒng)安裝路徑、數(shù)據(jù)庫(kù)安裝路徑等。河南省風(fēng)能數(shù)據(jù)庫(kù)系統(tǒng)的安裝路徑為/workspace/workspace_DB/,采用mysql數(shù)據(jù)庫(kù),建立了數(shù)據(jù)庫(kù)管理員用戶root,風(fēng)能資源數(shù)據(jù)庫(kù)用戶feng.
2) Meta.xml的配置
Meta.xml是對(duì)風(fēng)能資源數(shù)據(jù)庫(kù)系統(tǒng)的元數(shù)據(jù)進(jìn)行配置,每一個(gè)元數(shù)據(jù)的配置文件均須通過(guò)該文件進(jìn)入配置。該配置文件位于/workspace/tomcat/webapps/qxj/WEB-INF/meta 下。
3) 元數(shù)據(jù).xml的配置
元數(shù)據(jù).xml是一個(gè)元數(shù)據(jù)一個(gè)配置文件,當(dāng)前的文件名標(biāo)準(zhǔn)是數(shù)據(jù)集ID.xml;該配置文件描述了元數(shù)據(jù)的入庫(kù)流程、歸檔流程、表、字段等信息 。元數(shù)據(jù)的配置文件包括以下要素:
(1) metadata元素(元數(shù)據(jù)基本信息)
描述元數(shù)據(jù)的基本信息,包括元數(shù)據(jù)的數(shù)據(jù)集ID,數(shù)據(jù)集中文名稱和英文名稱,元數(shù)據(jù)的存放類(lèi)型和元數(shù)據(jù)分組信息。
(2) Metabatch元素(元數(shù)據(jù)入庫(kù)流程)
描述元數(shù)據(jù)的數(shù)據(jù)入庫(kù)處理過(guò)程 ,該元素配置入庫(kù)的數(shù)據(jù)流程,讀指定格式的文件名、目錄。寫(xiě)入指定格式文件名、目錄。入庫(kù)流程包含一個(gè)metajob,而一個(gè)metajob可以包含多個(gè)入庫(kù)步驟metastep。一個(gè)入庫(kù)步驟metastep包含一個(gè)任務(wù)節(jié)點(diǎn)metatasklet、,而一個(gè)任務(wù)節(jié)點(diǎn)包含閱讀器(metareader)、處理器(metaprocessor ) 、寫(xiě)入器(metawriter)。任務(wù)節(jié)點(diǎn)包含引用的任務(wù)類(lèi)的名稱。閱讀器說(shuō)明了引用的任務(wù)類(lèi)的名稱,讀取文件的路徑和讀取文件的名稱。處理器是數(shù)據(jù)入庫(kù)過(guò)程中讀取和寫(xiě)入中間,進(jìn)行質(zhì)量控制碼統(tǒng)計(jì)的過(guò)程。處理器包含引用的處理器的實(shí)現(xiàn)類(lèi)和處理器的規(guī)則例如使用腳本實(shí)現(xiàn)。寫(xiě)入器是將經(jīng)過(guò)閱讀器或處理器處理的記錄,寫(xiě)入到目的地中。它包含引用的寫(xiě)入器的實(shí)現(xiàn)類(lèi),寫(xiě)入的路徑、文件名稱,寫(xiě)入器的規(guī)則例如使用腳本實(shí)現(xiàn)。
(3) meta-archive(元數(shù)據(jù)歸檔流程)
描述元數(shù)據(jù)歸檔的處理過(guò)程;歸檔的流程的屬性同元數(shù)據(jù)入庫(kù)流程。
(4) table(表)
一個(gè)元數(shù)據(jù)可以有多個(gè)表元素,表元素包括:表名稱,中文表名稱,說(shuō)明等。一個(gè)表可以包含多個(gè)字段,包括字段名,中英文名稱,別名,單位,字段值,順序,字段長(zhǎng)度,是否為空,數(shù)據(jù)類(lèi)型等 ??梢酝ㄟ^(guò)table的table-pk屬性設(shè)定主鍵,通過(guò)table-index屬性設(shè)定索引。
4 系統(tǒng)質(zhì)量控制
依據(jù)《測(cè)風(fēng)塔風(fēng)能觀測(cè)系統(tǒng)技術(shù)要求》,我省測(cè)風(fēng)塔觀測(cè)資料屬于實(shí)時(shí)傳輸資料(L11每天四次,L12每天一次),相應(yīng)的各項(xiàng)數(shù)據(jù)質(zhì)量控制、處理工作也為每天啟動(dòng)四次和一次。但因不同測(cè)風(fēng)塔資料可能存在補(bǔ)報(bào)、累計(jì)多日資料集中上報(bào)等情況,仍屬于非實(shí)時(shí)傳輸資料。同時(shí)測(cè)風(fēng)塔各時(shí)次資料并不按觀測(cè)時(shí)點(diǎn)實(shí)時(shí)上傳,其相應(yīng)實(shí)時(shí)質(zhì)量控制僅在測(cè)風(fēng)塔內(nèi)資料收集過(guò)程中進(jìn)行過(guò),故質(zhì)量控制過(guò)程需要同時(shí)進(jìn)行實(shí)時(shí)和非實(shí)時(shí)的質(zhì)量控制處理。
測(cè)風(fēng)塔觀測(cè)資料質(zhì)量控制采用模塊化結(jié)構(gòu)設(shè)計(jì),測(cè)風(fēng)塔列表、參考站定義、處理任務(wù)配置、工作目錄和數(shù)據(jù)文件路徑等參數(shù)統(tǒng)一保存在參數(shù)文件中,模塊部分實(shí)現(xiàn)所支持功能的檢查和處理方法,參數(shù)部分另外設(shè)置所有的具體參數(shù)和控制要求。其中測(cè)風(fēng)塔列表文件stations.txt定義了我省測(cè)風(fēng)塔的編號(hào),塔名,塔經(jīng)緯度,海拔高度等信息。
所有模塊均從指定文件路徑獲取所需要處理的數(shù)據(jù),并將處理結(jié)果保存到指定路徑。測(cè)風(fēng)塔觀測(cè)資料質(zhì)量控制及處理功能自行管理內(nèi)部數(shù)據(jù)文件保存區(qū)以優(yōu)化運(yùn)行效率。其中配置文件為working_paths.ini,該配置文件位于/workspace/workspace_DB/input/目錄下。該配置文件設(shè)定了質(zhì)量控制程序讀取原始文件的目錄L11_swap、L12_swap,質(zhì)量控制后輸出文件的目錄L11_write、L12_write。
測(cè)風(fēng)塔資料數(shù)據(jù)集的生成和統(tǒng)計(jì)加工工作在相應(yīng)質(zhì)量控制任務(wù)完成后進(jìn)行,統(tǒng)計(jì)加工軟件同樣由任務(wù)調(diào)度軟件定時(shí)啟動(dòng),并需要根據(jù)前期資料到達(dá)和處理情況,自動(dòng)進(jìn)行補(bǔ)報(bào)資料的處理和統(tǒng)計(jì)。
5 結(jié)束語(yǔ)
河南省風(fēng)能數(shù)據(jù)庫(kù)系統(tǒng)投入業(yè)務(wù)運(yùn)行至今,用戶可以通過(guò)訪問(wèn)本系統(tǒng),獲取風(fēng)能數(shù)據(jù).對(duì)我省風(fēng)能數(shù)據(jù)的共享服務(wù)提供了后臺(tái)技術(shù)支撐,為風(fēng)能數(shù)值模擬、資源評(píng)估等業(yè)務(wù)和服務(wù)提供良好的數(shù)據(jù)存儲(chǔ)和共享支持,具有重要的意義。
參考文獻(xiàn):
[1] 艾艷.風(fēng)能資源觀測(cè)數(shù)據(jù)省級(jí)傳輸系統(tǒng)[J].氣象與環(huán)境科學(xué),2010(4):74-79.
[2] 王國(guó)復(fù),徐楓,吳增詳.氣象元數(shù)據(jù)標(biāo)準(zhǔn)與信息發(fā)布技術(shù)研究[J].應(yīng)用氣象學(xué)報(bào),2005(16):114-121.
[3] 吳增祥,臧海佳,王國(guó)復(fù).氣象科學(xué)數(shù)據(jù)與氣象數(shù)據(jù)集元數(shù)據(jù).科學(xué)數(shù)據(jù)管理與共享[M].北京:中國(guó)科學(xué)技術(shù)出版社,2002.186-189.
[4] 李澤椿,朱蓉,等.風(fēng)能資源評(píng)估拘束方法研究[J].氣象學(xué)報(bào),2007,65(5):708-717.
[5] 張鴻雁,丁裕國(guó),等.湖北省風(fēng)能資源分布的數(shù)值模擬[J].氣象與環(huán)境學(xué)報(bào),2008,24(3):33-37.
2.3.2 氣候背景資料入庫(kù)
氣候背景資料主要包含歷年逐月常用的氣象要素、歷年逐月天氣日數(shù)、歷年逐月最多風(fēng)向及頻率、歷年逐月各風(fēng)向及頻率、常用氣象要素標(biāo)準(zhǔn)氣候值、天氣日數(shù)標(biāo)準(zhǔn)氣候值、最多風(fēng)向及頻率標(biāo)準(zhǔn)氣候值、歷年逐月各風(fēng)向頻率標(biāo)準(zhǔn)氣候值、地面觀測(cè)逐小時(shí)風(fēng)數(shù)據(jù)和地面觀測(cè)風(fēng)日極值數(shù)據(jù)。以歷年逐月常用的氣象要素為例。
2.3.3 其他風(fēng)資源資料入庫(kù)
其它風(fēng)資源資料包括數(shù)值模擬產(chǎn)品和風(fēng)能資源評(píng)估信息兩大類(lèi)。其中數(shù)值模擬產(chǎn)品包括數(shù)值模擬月平均數(shù)據(jù)文件、數(shù)值模擬年平均數(shù)據(jù)文件、數(shù)值模擬全年風(fēng)向頻率、數(shù)值模擬全年風(fēng)速頻率分布、數(shù)值模擬全年風(fēng)能頻率分布、數(shù)值模擬全年風(fēng)能密度方向頻率、數(shù)值模擬范圍表;風(fēng)能資源評(píng)估信息子庫(kù)包括觀測(cè)年度平均風(fēng)速年變化表、觀測(cè)年度平均風(fēng)功率密度年變化表、各月(年)平均空氣密度表、觀測(cè)年度平均風(fēng)速日變化表、觀測(cè)年度平均風(fēng)功率密度日變化表、年各風(fēng)速等級(jí)頻率表、年各風(fēng)速等級(jí)小時(shí)數(shù)表、長(zhǎng)年代平均風(fēng)能參數(shù)估算結(jié)果表、參證站50年一遇10分鐘平均風(fēng)速表、測(cè)風(fēng)塔50年一遇10分鐘平均風(fēng)速及風(fēng)資源等級(jí)表、月(年)各風(fēng)向頻率分布表、月(年)各風(fēng)向風(fēng)功率密度百分率表、湍流強(qiáng)度年變化表、湍流強(qiáng)度日變化表、風(fēng)速垂直切變指數(shù)表、年度風(fēng)能參數(shù)表、Weibull分布曲線參數(shù)表、詳查區(qū)域風(fēng)能資源儲(chǔ)量、參證站觀察年度風(fēng)速年景表、風(fēng)能評(píng)估報(bào)告中的圖。
3 系統(tǒng)安裝及配置
3.1 安裝環(huán)境需求
要求數(shù)據(jù)庫(kù)服務(wù)器的CPU:2顆Xeon5270(3.5GHz);內(nèi)存為: 16GB DDR2;內(nèi)置磁盤(pán): SATA Ⅱ 2.0TB;集成雙千兆以太網(wǎng)。操作系統(tǒng)為T(mén)urbolinux,系統(tǒng)上應(yīng)沒(méi)有安裝過(guò)Mysql和Tomcat應(yīng)用服務(wù),保證系統(tǒng)無(wú)其它應(yīng)用占用3306端口和8090端口。
3.2 安裝步驟
按上圖步驟安裝完成后,Tomcat 服務(wù)和Mysql會(huì)自動(dòng)嵌入系統(tǒng)“服務(wù)”中,系統(tǒng)會(huì)自動(dòng)啟動(dòng)Mysql和Tomcat服務(wù)進(jìn)程。
建立用戶sysadmin,用于管理數(shù)據(jù)庫(kù)及風(fēng)能數(shù)據(jù)庫(kù)的管理。加載管理數(shù)據(jù)庫(kù);然后用feng用戶創(chuàng)建風(fēng)觀測(cè)數(shù)據(jù)子庫(kù),建立數(shù)據(jù)庫(kù)表如下:
建立用戶qxj,該用戶用于風(fēng)能數(shù)據(jù)庫(kù)的管理。
3.3 系統(tǒng)配置
風(fēng)能資源數(shù)據(jù)庫(kù)主要由配置文件Project.xml,Meta.xml,Task.xml和元數(shù)據(jù).xml完成系統(tǒng)的配置工作。下面介紹這幾類(lèi)文件的配置:
1) Project.xml的配置
Project.xml的配置文件存放在/workspace/tomcat/webapps/qxj/WEB-INF/conf目錄下,是整個(gè)系統(tǒng)的基礎(chǔ)配置,如系統(tǒng)安裝路徑、數(shù)據(jù)庫(kù)安裝路徑等。河南省風(fēng)能數(shù)據(jù)庫(kù)系統(tǒng)的安裝路徑為/workspace/workspace_DB/,采用mysql數(shù)據(jù)庫(kù),建立了數(shù)據(jù)庫(kù)管理員用戶root,風(fēng)能資源數(shù)據(jù)庫(kù)用戶feng.
2) Meta.xml的配置
Meta.xml是對(duì)風(fēng)能資源數(shù)據(jù)庫(kù)系統(tǒng)的元數(shù)據(jù)進(jìn)行配置,每一個(gè)元數(shù)據(jù)的配置文件均須通過(guò)該文件進(jìn)入配置。該配置文件位于/workspace/tomcat/webapps/qxj/WEB-INF/meta 下。
3) 元數(shù)據(jù).xml的配置
元數(shù)據(jù).xml是一個(gè)元數(shù)據(jù)一個(gè)配置文件,當(dāng)前的文件名標(biāo)準(zhǔn)是數(shù)據(jù)集ID.xml;該配置文件描述了元數(shù)據(jù)的入庫(kù)流程、歸檔流程、表、字段等信息 。元數(shù)據(jù)的配置文件包括以下要素:
(1) metadata元素(元數(shù)據(jù)基本信息)
描述元數(shù)據(jù)的基本信息,包括元數(shù)據(jù)的數(shù)據(jù)集ID,數(shù)據(jù)集中文名稱和英文名稱,元數(shù)據(jù)的存放類(lèi)型和元數(shù)據(jù)分組信息。
(2) Metabatch元素(元數(shù)據(jù)入庫(kù)流程)
描述元數(shù)據(jù)的數(shù)據(jù)入庫(kù)處理過(guò)程 ,該元素配置入庫(kù)的數(shù)據(jù)流程,讀指定格式的文件名、目錄。寫(xiě)入指定格式文件名、目錄。入庫(kù)流程包含一個(gè)metajob,而一個(gè)metajob可以包含多個(gè)入庫(kù)步驟metastep。一個(gè)入庫(kù)步驟metastep包含一個(gè)任務(wù)節(jié)點(diǎn)metatasklet、,而一個(gè)任務(wù)節(jié)點(diǎn)包含閱讀器(metareader)、處理器(metaprocessor ) 、寫(xiě)入器(metawriter)。任務(wù)節(jié)點(diǎn)包含引用的任務(wù)類(lèi)的名稱。閱讀器說(shuō)明了引用的任務(wù)類(lèi)的名稱,讀取文件的路徑和讀取文件的名稱。處理器是數(shù)據(jù)入庫(kù)過(guò)程中讀取和寫(xiě)入中間,進(jìn)行質(zhì)量控制碼統(tǒng)計(jì)的過(guò)程。處理器包含引用的處理器的實(shí)現(xiàn)類(lèi)和處理器的規(guī)則例如使用腳本實(shí)現(xiàn)。寫(xiě)入器是將經(jīng)過(guò)閱讀器或處理器處理的記錄,寫(xiě)入到目的地中。它包含引用的寫(xiě)入器的實(shí)現(xiàn)類(lèi),寫(xiě)入的路徑、文件名稱,寫(xiě)入器的規(guī)則例如使用腳本實(shí)現(xiàn)。
(3) meta-archive(元數(shù)據(jù)歸檔流程)
描述元數(shù)據(jù)歸檔的處理過(guò)程;歸檔的流程的屬性同元數(shù)據(jù)入庫(kù)流程。
(4) table(表)
一個(gè)元數(shù)據(jù)可以有多個(gè)表元素,表元素包括:表名稱,中文表名稱,說(shuō)明等。一個(gè)表可以包含多個(gè)字段,包括字段名,中英文名稱,別名,單位,字段值,順序,字段長(zhǎng)度,是否為空,數(shù)據(jù)類(lèi)型等 ??梢酝ㄟ^(guò)table的table-pk屬性設(shè)定主鍵,通過(guò)table-index屬性設(shè)定索引。
4 系統(tǒng)質(zhì)量控制
依據(jù)《測(cè)風(fēng)塔風(fēng)能觀測(cè)系統(tǒng)技術(shù)要求》,我省測(cè)風(fēng)塔觀測(cè)資料屬于實(shí)時(shí)傳輸資料(L11每天四次,L12每天一次),相應(yīng)的各項(xiàng)數(shù)據(jù)質(zhì)量控制、處理工作也為每天啟動(dòng)四次和一次。但因不同測(cè)風(fēng)塔資料可能存在補(bǔ)報(bào)、累計(jì)多日資料集中上報(bào)等情況,仍屬于非實(shí)時(shí)傳輸資料。同時(shí)測(cè)風(fēng)塔各時(shí)次資料并不按觀測(cè)時(shí)點(diǎn)實(shí)時(shí)上傳,其相應(yīng)實(shí)時(shí)質(zhì)量控制僅在測(cè)風(fēng)塔內(nèi)資料收集過(guò)程中進(jìn)行過(guò),故質(zhì)量控制過(guò)程需要同時(shí)進(jìn)行實(shí)時(shí)和非實(shí)時(shí)的質(zhì)量控制處理。
測(cè)風(fēng)塔觀測(cè)資料質(zhì)量控制采用模塊化結(jié)構(gòu)設(shè)計(jì),測(cè)風(fēng)塔列表、參考站定義、處理任務(wù)配置、工作目錄和數(shù)據(jù)文件路徑等參數(shù)統(tǒng)一保存在參數(shù)文件中,模塊部分實(shí)現(xiàn)所支持功能的檢查和處理方法,參數(shù)部分另外設(shè)置所有的具體參數(shù)和控制要求。其中測(cè)風(fēng)塔列表文件stations.txt定義了我省測(cè)風(fēng)塔的編號(hào),塔名,塔經(jīng)緯度,海拔高度等信息。
所有模塊均從指定文件路徑獲取所需要處理的數(shù)據(jù),并將處理結(jié)果保存到指定路徑。測(cè)風(fēng)塔觀測(cè)資料質(zhì)量控制及處理功能自行管理內(nèi)部數(shù)據(jù)文件保存區(qū)以優(yōu)化運(yùn)行效率。其中配置文件為working_paths.ini,該配置文件位于/workspace/workspace_DB/input/目錄下。該配置文件設(shè)定了質(zhì)量控制程序讀取原始文件的目錄L11_swap、L12_swap,質(zhì)量控制后輸出文件的目錄L11_write、L12_write。
測(cè)風(fēng)塔資料數(shù)據(jù)集的生成和統(tǒng)計(jì)加工工作在相應(yīng)質(zhì)量控制任務(wù)完成后進(jìn)行,統(tǒng)計(jì)加工軟件同樣由任務(wù)調(diào)度軟件定時(shí)啟動(dòng),并需要根據(jù)前期資料到達(dá)和處理情況,自動(dòng)進(jìn)行補(bǔ)報(bào)資料的處理和統(tǒng)計(jì)。
5 結(jié)束語(yǔ)
河南省風(fēng)能數(shù)據(jù)庫(kù)系統(tǒng)投入業(yè)務(wù)運(yùn)行至今,用戶可以通過(guò)訪問(wèn)本系統(tǒng),獲取風(fēng)能數(shù)據(jù).對(duì)我省風(fēng)能數(shù)據(jù)的共享服務(wù)提供了后臺(tái)技術(shù)支撐,為風(fēng)能數(shù)值模擬、資源評(píng)估等業(yè)務(wù)和服務(wù)提供良好的數(shù)據(jù)存儲(chǔ)和共享支持,具有重要的意義。
參考文獻(xiàn):
[1] 艾艷.風(fēng)能資源觀測(cè)數(shù)據(jù)省級(jí)傳輸系統(tǒng)[J].氣象與環(huán)境科學(xué),2010(4):74-79.
[2] 王國(guó)復(fù),徐楓,吳增詳.氣象元數(shù)據(jù)標(biāo)準(zhǔn)與信息發(fā)布技術(shù)研究[J].應(yīng)用氣象學(xué)報(bào),2005(16):114-121.
[3] 吳增祥,臧海佳,王國(guó)復(fù).氣象科學(xué)數(shù)據(jù)與氣象數(shù)據(jù)集元數(shù)據(jù).科學(xué)數(shù)據(jù)管理與共享[M].北京:中國(guó)科學(xué)技術(shù)出版社,2002.186-189.
[4] 李澤椿,朱蓉,等.風(fēng)能資源評(píng)估拘束方法研究[J].氣象學(xué)報(bào),2007,65(5):708-717.
[5] 張鴻雁,丁裕國(guó),等.湖北省風(fēng)能資源分布的數(shù)值模擬[J].氣象與環(huán)境學(xué)報(bào),2008,24(3):33-37.
2.3.2 氣候背景資料入庫(kù)
氣候背景資料主要包含歷年逐月常用的氣象要素、歷年逐月天氣日數(shù)、歷年逐月最多風(fēng)向及頻率、歷年逐月各風(fēng)向及頻率、常用氣象要素標(biāo)準(zhǔn)氣候值、天氣日數(shù)標(biāo)準(zhǔn)氣候值、最多風(fēng)向及頻率標(biāo)準(zhǔn)氣候值、歷年逐月各風(fēng)向頻率標(biāo)準(zhǔn)氣候值、地面觀測(cè)逐小時(shí)風(fēng)數(shù)據(jù)和地面觀測(cè)風(fēng)日極值數(shù)據(jù)。以歷年逐月常用的氣象要素為例。
2.3.3 其他風(fēng)資源資料入庫(kù)
其它風(fēng)資源資料包括數(shù)值模擬產(chǎn)品和風(fēng)能資源評(píng)估信息兩大類(lèi)。其中數(shù)值模擬產(chǎn)品包括數(shù)值模擬月平均數(shù)據(jù)文件、數(shù)值模擬年平均數(shù)據(jù)文件、數(shù)值模擬全年風(fēng)向頻率、數(shù)值模擬全年風(fēng)速頻率分布、數(shù)值模擬全年風(fēng)能頻率分布、數(shù)值模擬全年風(fēng)能密度方向頻率、數(shù)值模擬范圍表;風(fēng)能資源評(píng)估信息子庫(kù)包括觀測(cè)年度平均風(fēng)速年變化表、觀測(cè)年度平均風(fēng)功率密度年變化表、各月(年)平均空氣密度表、觀測(cè)年度平均風(fēng)速日變化表、觀測(cè)年度平均風(fēng)功率密度日變化表、年各風(fēng)速等級(jí)頻率表、年各風(fēng)速等級(jí)小時(shí)數(shù)表、長(zhǎng)年代平均風(fēng)能參數(shù)估算結(jié)果表、參證站50年一遇10分鐘平均風(fēng)速表、測(cè)風(fēng)塔50年一遇10分鐘平均風(fēng)速及風(fēng)資源等級(jí)表、月(年)各風(fēng)向頻率分布表、月(年)各風(fēng)向風(fēng)功率密度百分率表、湍流強(qiáng)度年變化表、湍流強(qiáng)度日變化表、風(fēng)速垂直切變指數(shù)表、年度風(fēng)能參數(shù)表、Weibull分布曲線參數(shù)表、詳查區(qū)域風(fēng)能資源儲(chǔ)量、參證站觀察年度風(fēng)速年景表、風(fēng)能評(píng)估報(bào)告中的圖。
3 系統(tǒng)安裝及配置
3.1 安裝環(huán)境需求
要求數(shù)據(jù)庫(kù)服務(wù)器的CPU:2顆Xeon5270(3.5GHz);內(nèi)存為: 16GB DDR2;內(nèi)置磁盤(pán): SATA Ⅱ 2.0TB;集成雙千兆以太網(wǎng)。操作系統(tǒng)為T(mén)urbolinux,系統(tǒng)上應(yīng)沒(méi)有安裝過(guò)Mysql和Tomcat應(yīng)用服務(wù),保證系統(tǒng)無(wú)其它應(yīng)用占用3306端口和8090端口。
3.2 安裝步驟
按上圖步驟安裝完成后,Tomcat 服務(wù)和Mysql會(huì)自動(dòng)嵌入系統(tǒng)“服務(wù)”中,系統(tǒng)會(huì)自動(dòng)啟動(dòng)Mysql和Tomcat服務(wù)進(jìn)程。
建立用戶sysadmin,用于管理數(shù)據(jù)庫(kù)及風(fēng)能數(shù)據(jù)庫(kù)的管理。加載管理數(shù)據(jù)庫(kù);然后用feng用戶創(chuàng)建風(fēng)觀測(cè)數(shù)據(jù)子庫(kù),建立數(shù)據(jù)庫(kù)表如下:
建立用戶qxj,該用戶用于風(fēng)能數(shù)據(jù)庫(kù)的管理。
3.3 系統(tǒng)配置
風(fēng)能資源數(shù)據(jù)庫(kù)主要由配置文件Project.xml,Meta.xml,Task.xml和元數(shù)據(jù).xml完成系統(tǒng)的配置工作。下面介紹這幾類(lèi)文件的配置:
1) Project.xml的配置
Project.xml的配置文件存放在/workspace/tomcat/webapps/qxj/WEB-INF/conf目錄下,是整個(gè)系統(tǒng)的基礎(chǔ)配置,如系統(tǒng)安裝路徑、數(shù)據(jù)庫(kù)安裝路徑等。河南省風(fēng)能數(shù)據(jù)庫(kù)系統(tǒng)的安裝路徑為/workspace/workspace_DB/,采用mysql數(shù)據(jù)庫(kù),建立了數(shù)據(jù)庫(kù)管理員用戶root,風(fēng)能資源數(shù)據(jù)庫(kù)用戶feng.
2) Meta.xml的配置
Meta.xml是對(duì)風(fēng)能資源數(shù)據(jù)庫(kù)系統(tǒng)的元數(shù)據(jù)進(jìn)行配置,每一個(gè)元數(shù)據(jù)的配置文件均須通過(guò)該文件進(jìn)入配置。該配置文件位于/workspace/tomcat/webapps/qxj/WEB-INF/meta 下。
3) 元數(shù)據(jù).xml的配置
元數(shù)據(jù).xml是一個(gè)元數(shù)據(jù)一個(gè)配置文件,當(dāng)前的文件名標(biāo)準(zhǔn)是數(shù)據(jù)集ID.xml;該配置文件描述了元數(shù)據(jù)的入庫(kù)流程、歸檔流程、表、字段等信息 。元數(shù)據(jù)的配置文件包括以下要素:
(1) metadata元素(元數(shù)據(jù)基本信息)
描述元數(shù)據(jù)的基本信息,包括元數(shù)據(jù)的數(shù)據(jù)集ID,數(shù)據(jù)集中文名稱和英文名稱,元數(shù)據(jù)的存放類(lèi)型和元數(shù)據(jù)分組信息。
(2) Metabatch元素(元數(shù)據(jù)入庫(kù)流程)
描述元數(shù)據(jù)的數(shù)據(jù)入庫(kù)處理過(guò)程 ,該元素配置入庫(kù)的數(shù)據(jù)流程,讀指定格式的文件名、目錄。寫(xiě)入指定格式文件名、目錄。入庫(kù)流程包含一個(gè)metajob,而一個(gè)metajob可以包含多個(gè)入庫(kù)步驟metastep。一個(gè)入庫(kù)步驟metastep包含一個(gè)任務(wù)節(jié)點(diǎn)metatasklet、,而一個(gè)任務(wù)節(jié)點(diǎn)包含閱讀器(metareader)、處理器(metaprocessor ) 、寫(xiě)入器(metawriter)。任務(wù)節(jié)點(diǎn)包含引用的任務(wù)類(lèi)的名稱。閱讀器說(shuō)明了引用的任務(wù)類(lèi)的名稱,讀取文件的路徑和讀取文件的名稱。處理器是數(shù)據(jù)入庫(kù)過(guò)程中讀取和寫(xiě)入中間,進(jìn)行質(zhì)量控制碼統(tǒng)計(jì)的過(guò)程。處理器包含引用的處理器的實(shí)現(xiàn)類(lèi)和處理器的規(guī)則例如使用腳本實(shí)現(xiàn)。寫(xiě)入器是將經(jīng)過(guò)閱讀器或處理器處理的記錄,寫(xiě)入到目的地中。它包含引用的寫(xiě)入器的實(shí)現(xiàn)類(lèi),寫(xiě)入的路徑、文件名稱,寫(xiě)入器的規(guī)則例如使用腳本實(shí)現(xiàn)。
(3) meta-archive(元數(shù)據(jù)歸檔流程)
描述元數(shù)據(jù)歸檔的處理過(guò)程;歸檔的流程的屬性同元數(shù)據(jù)入庫(kù)流程。
(4) table(表)
一個(gè)元數(shù)據(jù)可以有多個(gè)表元素,表元素包括:表名稱,中文表名稱,說(shuō)明等。一個(gè)表可以包含多個(gè)字段,包括字段名,中英文名稱,別名,單位,字段值,順序,字段長(zhǎng)度,是否為空,數(shù)據(jù)類(lèi)型等 。可以通過(guò)table的table-pk屬性設(shè)定主鍵,通過(guò)table-index屬性設(shè)定索引。
4 系統(tǒng)質(zhì)量控制
依據(jù)《測(cè)風(fēng)塔風(fēng)能觀測(cè)系統(tǒng)技術(shù)要求》,我省測(cè)風(fēng)塔觀測(cè)資料屬于實(shí)時(shí)傳輸資料(L11每天四次,L12每天一次),相應(yīng)的各項(xiàng)數(shù)據(jù)質(zhì)量控制、處理工作也為每天啟動(dòng)四次和一次。但因不同測(cè)風(fēng)塔資料可能存在補(bǔ)報(bào)、累計(jì)多日資料集中上報(bào)等情況,仍屬于非實(shí)時(shí)傳輸資料。同時(shí)測(cè)風(fēng)塔各時(shí)次資料并不按觀測(cè)時(shí)點(diǎn)實(shí)時(shí)上傳,其相應(yīng)實(shí)時(shí)質(zhì)量控制僅在測(cè)風(fēng)塔內(nèi)資料收集過(guò)程中進(jìn)行過(guò),故質(zhì)量控制過(guò)程需要同時(shí)進(jìn)行實(shí)時(shí)和非實(shí)時(shí)的質(zhì)量控制處理。
測(cè)風(fēng)塔觀測(cè)資料質(zhì)量控制采用模塊化結(jié)構(gòu)設(shè)計(jì),測(cè)風(fēng)塔列表、參考站定義、處理任務(wù)配置、工作目錄和數(shù)據(jù)文件路徑等參數(shù)統(tǒng)一保存在參數(shù)文件中,模塊部分實(shí)現(xiàn)所支持功能的檢查和處理方法,參數(shù)部分另外設(shè)置所有的具體參數(shù)和控制要求。其中測(cè)風(fēng)塔列表文件stations.txt定義了我省測(cè)風(fēng)塔的編號(hào),塔名,塔經(jīng)緯度,海拔高度等信息。
所有模塊均從指定文件路徑獲取所需要處理的數(shù)據(jù),并將處理結(jié)果保存到指定路徑。測(cè)風(fēng)塔觀測(cè)資料質(zhì)量控制及處理功能自行管理內(nèi)部數(shù)據(jù)文件保存區(qū)以優(yōu)化運(yùn)行效率。其中配置文件為working_paths.ini,該配置文件位于/workspace/workspace_DB/input/目錄下。該配置文件設(shè)定了質(zhì)量控制程序讀取原始文件的目錄L11_swap、L12_swap,質(zhì)量控制后輸出文件的目錄L11_write、L12_write。
測(cè)風(fēng)塔資料數(shù)據(jù)集的生成和統(tǒng)計(jì)加工工作在相應(yīng)質(zhì)量控制任務(wù)完成后進(jìn)行,統(tǒng)計(jì)加工軟件同樣由任務(wù)調(diào)度軟件定時(shí)啟動(dòng),并需要根據(jù)前期資料到達(dá)和處理情況,自動(dòng)進(jìn)行補(bǔ)報(bào)資料的處理和統(tǒng)計(jì)。
5 結(jié)束語(yǔ)
河南省風(fēng)能數(shù)據(jù)庫(kù)系統(tǒng)投入業(yè)務(wù)運(yùn)行至今,用戶可以通過(guò)訪問(wèn)本系統(tǒng),獲取風(fēng)能數(shù)據(jù).對(duì)我省風(fēng)能數(shù)據(jù)的共享服務(wù)提供了后臺(tái)技術(shù)支撐,為風(fēng)能數(shù)值模擬、資源評(píng)估等業(yè)務(wù)和服務(wù)提供良好的數(shù)據(jù)存儲(chǔ)和共享支持,具有重要的意義。
參考文獻(xiàn):
[1] 艾艷.風(fēng)能資源觀測(cè)數(shù)據(jù)省級(jí)傳輸系統(tǒng)[J].氣象與環(huán)境科學(xué),2010(4):74-79.
[2] 王國(guó)復(fù),徐楓,吳增詳.氣象元數(shù)據(jù)標(biāo)準(zhǔn)與信息發(fā)布技術(shù)研究[J].應(yīng)用氣象學(xué)報(bào),2005(16):114-121.
[3] 吳增祥,臧海佳,王國(guó)復(fù).氣象科學(xué)數(shù)據(jù)與氣象數(shù)據(jù)集元數(shù)據(jù).科學(xué)數(shù)據(jù)管理與共享[M].北京:中國(guó)科學(xué)技術(shù)出版社,2002.186-189.
[4] 李澤椿,朱蓉,等.風(fēng)能資源評(píng)估拘束方法研究[J].氣象學(xué)報(bào),2007,65(5):708-717.
[5] 張鴻雁,丁裕國(guó),等.湖北省風(fēng)能資源分布的數(shù)值模擬[J].氣象與環(huán)境學(xué)報(bào),2008,24(3):33-37.