文 | 包文峰,郭慧斌,張志俊,臧艷艷
現(xiàn)階段,在風(fēng)能資源的開發(fā)和利用中,測風(fēng)塔處于十分重要的地位,通過測風(fēng)塔獲得風(fēng)能資源數(shù)據(jù)是前期風(fēng)能資源選址的重要途徑。但是,隨著風(fēng)電場測風(fēng)數(shù)據(jù)量增多,測風(fēng)塔基本地理信息,不同高度通道的風(fēng)向、風(fēng)速、風(fēng)頻、氣溫、氣壓等基礎(chǔ)數(shù)據(jù)的管理都遇到了重大挑戰(zhàn),存在因測風(fēng)塔廠家數(shù)據(jù)格式多樣性、通信信號中斷、設(shè)備損壞以及人工處理分析效率低下引起的數(shù)據(jù)缺失、管理困難、質(zhì)量偏差等問題。
目前全國已設(shè)立了數(shù)以萬計的風(fēng)電場測風(fēng)塔,但通過測風(fēng)塔實測值計算出的產(chǎn)能與運行值偏差較大,造成極大資源浪費。測風(fēng)數(shù)據(jù)缺失或異常會為后期數(shù)據(jù)質(zhì)量篩選、數(shù)據(jù)修正、數(shù)據(jù)插補、長期訂正等過程引入很大的不確定性,通常1%風(fēng)速的不確定性會帶來超過3%發(fā)電量的上下浮動,而對于某些對投資效益進行嚴(yán)控的大型風(fēng)電企業(yè),資本金回報收益率通常在8%至10%。那么,由于測風(fēng)數(shù)據(jù)造成的3%發(fā)電量不確定度可能就決定了風(fēng)電場能否盈利。在市場的競爭中,風(fēng)能資源選擇的優(yōu)劣程度直接影響著業(yè)主的投資效益。所以,測風(fēng)塔數(shù)據(jù)對整機企業(yè)和業(yè)主都具備重要的意義。
針對測風(fēng)塔數(shù)據(jù)管理的問題,本文詳細(xì)介紹了基于微服務(wù)架構(gòu)開發(fā)的測風(fēng)塔管理系統(tǒng)。該系統(tǒng)可以實現(xiàn)測風(fēng)塔高效管理,具備數(shù)據(jù)自動采集、處理及分析功能,并能獲得高質(zhì)量的分析報告。
測風(fēng)塔管理系統(tǒng)要求對數(shù)據(jù)進行秒級處理、不間斷存儲分析和處理,數(shù)據(jù)庫只有具備上述基本功能特性才能滿足使用要求。時序型數(shù)據(jù)庫OpenTSDB是通過HBase存儲所有的時序以構(gòu)建一個分布式、可伸縮的時間序列數(shù)據(jù)庫。它支持秒級數(shù)據(jù)采集、永久存儲,可以做容量規(guī)劃,可以從大規(guī)模的集群(包括集群中的網(wǎng)絡(luò)設(shè)備、操作系統(tǒng)、應(yīng)用程序)中獲取相應(yīng)的metrics并進行存儲、索引以及服務(wù),從而使這些數(shù)據(jù)更容易讓人理解,如網(wǎng)格化、圖形化等。
基于以上特性,本系統(tǒng)采用OpenTSDB作為業(yè)務(wù)數(shù)據(jù)存儲方案,系統(tǒng)架構(gòu)如圖1所示。采集層通過郵箱對測風(fēng)塔數(shù)據(jù)進行采集;數(shù)據(jù)存儲/處理/分析層通過Spark Streaming、Impala、Spark等將復(fù)雜算法最終推送到文件系統(tǒng)、數(shù)據(jù)庫,實現(xiàn)數(shù)據(jù)的存儲、處理和分析功能;服務(wù)層通過多維分析將結(jié)果在展示層進行數(shù)據(jù)可視化。
根據(jù)現(xiàn)場實際情況,測風(fēng)塔一般需要采集1~2年的數(shù)據(jù)方可為工程實際場景提供分析結(jié)論。測風(fēng)塔數(shù)據(jù)按不同種類分為風(fēng)速、風(fēng)向、氣溫、氣壓、空氣密度等,這些數(shù)據(jù)種類分別通過不同的數(shù)據(jù)通道進行記錄,風(fēng)速、溫度和濕度、氣壓每個通道又細(xì)分為均值、最大值、最小值、標(biāo)準(zhǔn)差四個基礎(chǔ)統(tǒng)計指標(biāo),風(fēng)向每個通道分為均值和標(biāo)準(zhǔn)差統(tǒng)計指標(biāo)。假設(shè)某一測風(fēng)塔有風(fēng)速、風(fēng)向、溫度和濕度、大氣壓四類傳感器,三個高度層。通常情況下,一個測風(fēng)塔設(shè)立1個溫度和濕度傳感器,1個大氣壓傳感器,每層各1個風(fēng)速、風(fēng)向傳感器。測風(fēng)塔每10分鐘存儲一次采樣數(shù)據(jù)點,一天共存儲144次。計算可知,每個測風(fēng)塔每年將產(chǎn) 生 144×(3×4+3×2+1×4+1×4)×365=136萬個數(shù)據(jù)點。以歷史與現(xiàn)存測風(fēng)塔作為管理對象,假定總測風(fēng)塔數(shù)為500臺,則需要管理的總數(shù)據(jù)點量將近6.8億。隨著對測風(fēng)數(shù)據(jù)采集精度、頻次的提高,此數(shù)據(jù)量將繼續(xù)呈爆炸式增長,例如將測風(fēng)數(shù)據(jù)的采集頻次提高至工業(yè)SCADA級,或者將測風(fēng)數(shù)據(jù)用于工業(yè)控制策略輔助,則每年產(chǎn)生的數(shù)據(jù)點量將達(dá)到0.4萬億,即每秒寫入量將達(dá)到1.29萬。面對如此龐大的數(shù)據(jù)量,傳統(tǒng)的數(shù)據(jù)存儲及分析工具無法提供有效的秒級讀寫支撐,而采用OpenTSDB時序數(shù)據(jù)庫的系統(tǒng),可以支持秒級存儲,并且具有可擴展、高吞吐量、容錯的特點,所以從根本上規(guī)避了該問題。
測風(fēng)塔數(shù)據(jù)一般需要經(jīng)過數(shù)據(jù)產(chǎn)生、收集、處理等幾個階段后方可為數(shù)據(jù)分析提供支撐,傳統(tǒng)模式下的業(yè)務(wù)流程如圖2 所示,數(shù)據(jù)收集和處理均采用人工方式,隨著測風(fēng)塔數(shù)量的增加,不僅處理效率低下,而且增加人力成本。
圖1 系統(tǒng)整體架構(gòu)
圖2 傳統(tǒng)模式下的測風(fēng)業(yè)務(wù)流程
圖3 測風(fēng)塔管理系統(tǒng)業(yè)務(wù)流程
圖4 傳統(tǒng)模式與測風(fēng)塔管理平臺對比
測風(fēng)塔管理系統(tǒng)業(yè)務(wù)流程見圖3,測風(fēng)塔管理系統(tǒng)自動定時(用戶可自由選擇定時周期)接收測風(fēng)塔數(shù)據(jù)郵件,自動統(tǒng)計郵件缺失情況,自動解析測風(fēng)數(shù)據(jù),自動統(tǒng)計數(shù)據(jù)完整性,根據(jù)預(yù)定義數(shù)據(jù)評估策略自動識別異常數(shù)據(jù),當(dāng)數(shù)據(jù)缺失或異常率超過預(yù)定義基準(zhǔn)線時自動向用戶報警提示,并對原始數(shù)據(jù)進行自動化數(shù)據(jù)標(biāo)記及數(shù)據(jù)插補前完整性與相關(guān)性測算,提高數(shù)據(jù)準(zhǔn)確度,并減小插補造成的失真;自動完成對原始數(shù)據(jù)的多維度預(yù)處理及預(yù)統(tǒng)計,大幅度縮短統(tǒng)計分析的時間周期。
圖5 測風(fēng)塔郵箱綁定
傳統(tǒng)方式的弊端主要表現(xiàn)為,一方面,測風(fēng)塔原始數(shù)據(jù)及中間過程數(shù)據(jù)均散落在處理人員的單機中,最終轉(zhuǎn)入服務(wù)器的只有處理后的結(jié)果,中間過程數(shù)據(jù)大多未能進行有效留存;另一方面,測風(fēng)塔數(shù)據(jù)的單機處理及分析模式并不利于團隊協(xié)同作業(yè)。由兩種業(yè)務(wù)流程的對比(圖4)可知,系統(tǒng)化的方案從數(shù)據(jù)源頭上以系統(tǒng)本身作為接收方,用戶團隊成員均在同一平臺上進行數(shù)據(jù)處理及分析,為中間過程數(shù)據(jù)留存及協(xié)同一體化工作流程提供了天然的基礎(chǔ),實現(xiàn)了測風(fēng)塔數(shù)據(jù)的精細(xì)化管理。
測風(fēng)塔管理系統(tǒng)支持多種郵箱和通道配置及附件上傳功能。在平臺中,測風(fēng)塔管理功能與全國地圖頁面測風(fēng)塔庫相互聯(lián)動,統(tǒng)一調(diào)配;快捷便利實現(xiàn)項目的增、刪、改、查等功能;可滿足使用者對精細(xì)管理的要求。
如圖5所示,系統(tǒng)可以錄入新建測風(fēng)塔基本信息,包括測風(fēng)塔編號、名稱、標(biāo)識、所屬項目、經(jīng)緯度等。系統(tǒng)支持csv文件和手動添加兩種通道上傳方式。系統(tǒng)能夠自動解析csv文件,提供文件存儲功能,管理者可將測風(fēng)塔文件、安裝報告、驗收報告和標(biāo)準(zhǔn)報告等上傳至系統(tǒng)存儲,避免文件的亂放亂傳。
測風(fēng)塔管理系統(tǒng)支持將txt、csv等格式文件統(tǒng)一轉(zhuǎn)入時序數(shù)據(jù)庫進行解析存儲。平臺嚴(yán)格遵循《風(fēng)電場風(fēng)能資源測量方法》(GB/T18709―2002)等有關(guān)規(guī)范、標(biāo)準(zhǔn)及規(guī)定,保證了數(shù)據(jù)處理結(jié)果的可靠性。用戶通過選擇項目、測風(fēng)塔編號及不同高度通道等,可以查看該測風(fēng)塔原始數(shù)據(jù)。在原始數(shù)據(jù)圖上,通過操作鼠標(biāo)可查看任意時間點的風(fēng)速以及縮放數(shù)據(jù)事件范圍,如圖6所示。通過點擊不同功能按鈕,可以進行原始數(shù)據(jù)查看、磁偏角修正、數(shù)據(jù)篩選、塔影修正、剪切推算和代表年訂正功能操作。此外,還能提供管理者對修正后數(shù)據(jù)的查看功能。例如:界面完整性功能按鈕以彈框形式展示完整性內(nèi)容(圖7),通過數(shù)據(jù)自定義及處理,界面展現(xiàn)該列數(shù)據(jù)完整性狀態(tài)細(xì)節(jié),并支持管理者對該條數(shù)據(jù)信息的下載。
圖6 原始數(shù)據(jù)查看
圖7 數(shù)據(jù)處理功能完整性展示
測風(fēng)塔管理系統(tǒng)基于風(fēng)能資源處理規(guī)范,在數(shù)據(jù)分析模塊中根據(jù)管理者需求,對測風(fēng)塔采集到的數(shù)據(jù)進行定制化分析、計算,并予以直觀顯示,包含風(fēng)速、風(fēng)向、空氣密度、風(fēng)功率密度、風(fēng)切變、湍流等風(fēng)能資源指標(biāo)。管理者對多項目同步管理時,通過選擇項目、測風(fēng)塔編號,設(shè)定時間范圍,可以查看風(fēng)速、風(fēng)向、空氣密度、風(fēng)功率密度、風(fēng)切變、湍流等風(fēng)能資源指標(biāo)。例如:風(fēng)速曲線分析模塊,支持管理者對選定時間范圍內(nèi)風(fēng)速曲線、日變化、月變化、年變化和韋布爾分布的查看,如圖8所示;風(fēng)向曲線分析模塊,支持管理者對風(fēng)向曲線、風(fēng)向玫瑰圖、月變化和年變化的查看,如圖9所示。
科學(xué)高效的測風(fēng)塔管理系統(tǒng)在風(fēng)能資源開發(fā)利用中有著重要的意義。根據(jù)目前測風(fēng)塔管理系統(tǒng)對已有數(shù)千臺測風(fēng)塔的實際管理能力可以看出,采用時序型數(shù)據(jù)庫OpenTSDB數(shù)據(jù)存儲方案的測風(fēng)塔管理系統(tǒng)表現(xiàn)出了強大的管理能力,實現(xiàn)了自動化業(yè)務(wù)流程,完成了數(shù)據(jù)自動采集、篩選、分析、存儲和提醒,提高了管理效率,為數(shù)據(jù)的安全提供了保障。
圖8 風(fēng)速曲線分析
圖9 風(fēng)向曲線分析
但是,該系統(tǒng)目前主要應(yīng)用在前期風(fēng)能資源選址中,缺乏與其他平臺的聯(lián)動。下一步的研究工作可以圍繞將該系統(tǒng)擴展至整個風(fēng)能資源前、中、后三個周期的整體平臺開展。例如,將分散式管理平臺和項目管理平臺等與該系統(tǒng)進行集成,搭建風(fēng)能資源一站式整體解決方案;在平臺架構(gòu)的基礎(chǔ)上開發(fā)新的功能,例如增加平準(zhǔn)化度電成本(LCOE)、氣象信息等。