鄭建文，彭宇，楊東，白雪峰，劉晨明

[摘? ? 要]針對(duì)光伏行業(yè)快速發(fā)展而帶來(lái)的數(shù)據(jù)劇增及數(shù)據(jù)實(shí)時(shí)處理的現(xiàn)實(shí)要求，提出基于Hadoop的大數(shù)據(jù)光伏電站數(shù)據(jù)處理體系架構(gòu)。采用Kafka作為數(shù)據(jù)接收端、Redis作為實(shí)時(shí)數(shù)據(jù)庫(kù)、Spark及Elasticsearch實(shí)現(xiàn)基于分布式OpenTSDB歷史數(shù)據(jù)的分析及檢索功能。解決了大規(guī)模光伏電站面臨的百萬(wàn)級(jí)以上數(shù)據(jù)的實(shí)時(shí)處理及分析要求。在實(shí)踐中，基于此架構(gòu)開(kāi)發(fā)出光伏電站空地一體智慧運(yùn)維管理平臺(tái)，在性能及擴(kuò)展能力方面得到了有效驗(yàn)證。

[關(guān)鍵詞]大數(shù)據(jù);Hadoop;分布式;Kafka

[中圖分類號(hào)]TM615 [文獻(xiàn)標(biāo)志碼]A [文章編號(hào)]2095–6487（2021）12–00–02

Research on Application Architecture and Key Technologies of a Photovoltaic

Power Station Management Platform Based on Big Data

Zheng Jian-wen，Peng Yu，Yang Dong，Bai Xue-feng，Liu Chen-ming

[Abstract]In response to the rapid development of the photovoltaic industry and the actual requirements of real-time data processing， this paper proposes a big data photovoltaic power plant data processing system architecture based on Hadoop. It solves the real-time processing and analysis requirements of large-scale photovoltaic power plants with data above one million levels. In practice， based on this architecture， a photovoltaic power station air-ground integrated intelligent operation and maintenance management platform has been developed， which has been effectively verified in terms of performance and expansion capabilities.

[Keywords]big data;Hadoop;distributed;Kafka

近年來(lái)，隨著新能源電站建設(shè)規(guī)模的不斷擴(kuò)大，光伏行業(yè)出現(xiàn)了數(shù)據(jù)增速快、類型多等現(xiàn)象，即監(jiān)測(cè)數(shù)據(jù)具有數(shù)量“多”、類型“廣”的特點(diǎn)。其不僅擁有電站實(shí)時(shí)采集的發(fā)電數(shù)據(jù)以及環(huán)境氣象數(shù)據(jù)，且包括光伏電站全生命周期（建設(shè)期、生產(chǎn)運(yùn)維期）的所有數(shù)據(jù)。傳統(tǒng)光伏電站監(jiān)控平臺(tái)雖可有效監(jiān)測(cè)電站運(yùn)行的實(shí)時(shí)數(shù)據(jù)，并在設(shè)備發(fā)生故障及某些監(jiān)測(cè)指標(biāo)出現(xiàn)異常時(shí)進(jìn)行告警，但往往在監(jiān)測(cè)規(guī)模擴(kuò)展、實(shí)時(shí)性及數(shù)據(jù)智能分析領(lǐng)域有著一定的局限性。隨著近幾年計(jì)算機(jī)技術(shù)及信息技術(shù)的突破發(fā)展，大數(shù)據(jù)及人工智能技術(shù)在各行領(lǐng)域得到了充分應(yīng)用，其大規(guī)模數(shù)據(jù)秒級(jí)實(shí)時(shí)處理能力、分布式部署及存儲(chǔ)技術(shù)、線性擴(kuò)容的特點(diǎn)非常適合規(guī)模化后的光伏行業(yè)進(jìn)行應(yīng)用。

針對(duì)上述情況，本文提出了基于大數(shù)據(jù)技術(shù)架構(gòu)的光伏電站空地一體智慧運(yùn)維平臺(tái)的設(shè)計(jì)思路，并設(shè)計(jì)了1 GW規(guī)模的光伏電站實(shí)時(shí)數(shù)據(jù)及歷史數(shù)據(jù)的分布式集群解決方案，可解決光伏電站規(guī)?；髷?shù)據(jù)劇增帶來(lái)的數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)實(shí)時(shí)智能分析處理、分布式集群部署等現(xiàn)實(shí)技術(shù)問(wèn)題。

1 系統(tǒng)應(yīng)用架構(gòu)

采用大數(shù)據(jù)技術(shù)體系框架、基于Hadoop集群技術(shù)，將基于大數(shù)據(jù)的光伏電站空地一體智慧運(yùn)維管理平臺(tái)從技術(shù)架構(gòu)上設(shè)計(jì)為5個(gè)層次：數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)應(yīng)用和數(shù)據(jù)展示（圖1）。

（1）數(shù)據(jù)采集層。數(shù)據(jù)采集層采用面向服務(wù)和組件化設(shè)計(jì)理念。針對(duì)光伏電站各類設(shè)備（逆變器、智能匯流箱、升壓站設(shè)備、環(huán)境氣象監(jiān)測(cè)設(shè)備）數(shù)據(jù)及生產(chǎn)運(yùn)維數(shù)據(jù)（巡檢、兩票等）接口，定義一套開(kāi)放的數(shù)據(jù)接口開(kāi)發(fā)標(biāo)準(zhǔn)和配置標(biāo)準(zhǔn)。基于數(shù)據(jù)接口標(biāo)準(zhǔn)，定制化開(kāi)發(fā)獨(dú)立的解析適配器，實(shí)現(xiàn)了不同廠家設(shè)備及系統(tǒng)之間的數(shù)據(jù)交換。各解析適配器作為分布式消息中間件（Kafka）的生產(chǎn)者，統(tǒng)一將采集數(shù)據(jù)推送至Kafka隊(duì)列中進(jìn)行緩存，提供給流式處理服務(wù)使用。消息中間件Kafka作為生產(chǎn)者和消費(fèi)者的消息通信媒介，實(shí)現(xiàn)了投遞消息和接收消息程序之間的匹配和解耦，以及各程序之間的相互獨(dú)立。

（2）數(shù)據(jù)處理層。提供在線實(shí)時(shí)處理和離線批量處理兩種應(yīng)用模式。在線實(shí)時(shí)處理采用Apache Storm流式處理技術(shù)，Spouts作為Kafka消費(fèi)者，通過(guò)Bolts和Streams Groupings對(duì)實(shí)時(shí)采集的站內(nèi)遙測(cè)、遙信、遙脈和告警等消息進(jìn)行過(guò)濾、合并、保存等處理，處理結(jié)果保存至內(nèi)存數(shù)據(jù)庫(kù)Redis中。離線批量處理采用Apache Spark技術(shù)，實(shí)現(xiàn)對(duì)分布式大規(guī)模歷史數(shù)據(jù)的進(jìn)行分析計(jì)算處理，處理結(jié)果直接存儲(chǔ)在分布式時(shí)序數(shù)據(jù)庫(kù)OpenTSDB中。

（3）數(shù)據(jù)存儲(chǔ)層。提供3種數(shù)據(jù)存儲(chǔ)方式：內(nèi)存數(shù)據(jù)庫(kù)Redis、分布式時(shí)序數(shù)據(jù)庫(kù)OpenTSDB和關(guān)系型數(shù)據(jù)庫(kù)MySQL。

（4）數(shù)據(jù)應(yīng)用層。數(shù)據(jù)應(yīng)用層提供統(tǒng)計(jì)報(bào)表、工作流、搜索引

擎、API接口應(yīng)用。搜索引擎 Elasticsearch 基于Redis和OpenTSDB構(gòu)建反向索引并存儲(chǔ)，提供搜索應(yīng)用功能。RESTful提供系統(tǒng)內(nèi)部和第三方數(shù)據(jù)訪問(wèn)接口;WebSocket提供數(shù)據(jù)推送方式，實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè)、狀態(tài)和告警數(shù)據(jù)即時(shí)在網(wǎng)頁(yè)顯示。

（5）數(shù)據(jù)展示層。提供Web應(yīng)用、圖表應(yīng)用、移動(dòng)應(yīng)用、大屏系統(tǒng)展示等。通過(guò)HTTP、SOA、WebSocket等模式為客戶端的請(qǐng)求提供查詢、實(shí)時(shí)監(jiān)視、告警管理、運(yùn)維管理等服務(wù)，通過(guò)離線同步模式為移動(dòng)巡檢客戶端提供服務(wù)。系統(tǒng)通過(guò)標(biāo)準(zhǔn)的接口訪問(wèn)內(nèi)存數(shù)據(jù)庫(kù)、ES搜索引擎和歷史數(shù)據(jù)庫(kù)。

2 關(guān)鍵技術(shù)應(yīng)用

2.1 實(shí)時(shí)數(shù)據(jù)服務(wù)集群設(shè)計(jì)

以1 GW光伏電站為例，實(shí)時(shí)數(shù)據(jù)服務(wù)集群設(shè)計(jì)如圖2所示。

實(shí)時(shí)數(shù)據(jù)服務(wù)集群通過(guò)Zookeeper實(shí)現(xiàn)5臺(tái)服務(wù)器的集群管理。所有服務(wù)器均部署解析適配器，接入系統(tǒng)與服務(wù)器上的解析適配器相對(duì)應(yīng)。通過(guò)對(duì)Zookeeper集群接口API定制開(kāi)發(fā)，實(shí)現(xiàn)對(duì)解析適配器的集群化管理，任何一個(gè)解析適配器宕機(jī)，都會(huì)在負(fù)載最小的服務(wù)器上啟動(dòng)新的解析器，從而實(shí)現(xiàn)接入數(shù)據(jù)無(wú)單點(diǎn)故障。

通過(guò)Zookeeper對(duì)服務(wù)器上分布式消息隊(duì)列Kafka構(gòu)建集群，各Kafka作為消息代理，其中運(yùn)行著若干個(gè)Partition，由Zookeeper決定Partition對(duì)數(shù)據(jù)的接收，實(shí)現(xiàn)負(fù)載均衡。當(dāng)任何接收服務(wù)出現(xiàn)故障時(shí)，數(shù)據(jù)流會(huì)立即切換到其他負(fù)載最小的服務(wù)上。

實(shí)時(shí)數(shù)據(jù)處理采用流式數(shù)據(jù)處理服務(wù)Storm完成。通過(guò)Zookeeper對(duì)各服務(wù)器上Storm構(gòu)建集群，通過(guò)選舉機(jī)制實(shí)現(xiàn)負(fù)載均衡，集群控制單元會(huì)選擇最適合的Storm服務(wù)處理數(shù)據(jù)流。Storm中的Spouts作為Kafka消費(fèi)者，通過(guò)Bolts和Streams Groupings對(duì)實(shí)時(shí)采集的消息數(shù)據(jù)進(jìn)行過(guò)濾、合并、保存等處理，處理結(jié)果保存至內(nèi)存數(shù)據(jù)庫(kù)Redis中。

實(shí)時(shí)數(shù)據(jù)存儲(chǔ)采用內(nèi)存數(shù)據(jù)庫(kù)Redis實(shí)現(xiàn)，通過(guò)Zookeeper集群進(jìn)行管理，主從節(jié)點(diǎn)讀寫(xiě)分離，高效運(yùn)行。Storm處理完的數(shù)據(jù)發(fā)送到Redis進(jìn)行內(nèi)存方式實(shí)時(shí)存儲(chǔ)，Redis之間通過(guò)集群同步數(shù)據(jù)。

2.2 歷史數(shù)據(jù)服務(wù)集群設(shè)計(jì)

歷史數(shù)據(jù)服務(wù)集群設(shè)計(jì)圖如圖3所示。

采用3臺(tái)服務(wù)器搭建歷史數(shù)據(jù)服務(wù)集群。采用Zookeeper集群管理技術(shù)，基于OpenTSDB+Elasticsearch存儲(chǔ)檢索模式，通過(guò)特征值預(yù)定義及聚合技術(shù)，利用Spark離線計(jì)算處理服務(wù)，構(gòu)建新的ES反向索引，實(shí)現(xiàn)歷史數(shù)據(jù)的高效存儲(chǔ)及高效檢索。

3 結(jié)束語(yǔ)

本文基于Hadoop的分布式基礎(chǔ)計(jì)算架構(gòu)，采用Kafka作為數(shù)據(jù)接收端，Redis作為實(shí)時(shí)數(shù)據(jù)庫(kù)，Spark及Elasticsearch實(shí)現(xiàn)基于分布式OpenTSDB歷史數(shù)據(jù)的分析及檢索功能。解決了大規(guī)模光伏電站面臨的百萬(wàn)級(jí)以上數(shù)據(jù)的實(shí)時(shí)處理及分析的要求。經(jīng)過(guò)在光伏電站實(shí)際應(yīng)用過(guò)程中，基于本體系架構(gòu)開(kāi)發(fā)的光伏電站設(shè)備缺陷診斷系統(tǒng)及采用無(wú)人機(jī)巡檢光伏組件查找熱斑隱裂等缺陷系統(tǒng)可滿足單一電站及多電站的統(tǒng)一管理，在系統(tǒng)性能及擴(kuò)展能力方面得到了較好的預(yù)期效果。

參考文獻(xiàn)

[1] 孟偉君， 張文華， 朱占利，等. 光伏電站綜合監(jiān)控系統(tǒng)的設(shè)計(jì)[J]. 太陽(yáng)能， 2013（17）：29-34.

[2] 付華崢， 陳翀， 向勇，等. 分布式大數(shù)據(jù)采集關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[J]. 廣東通信技術(shù)， 2015， 35（10）：7-10.

[3] 金雯婷， 張松. 互聯(lián)網(wǎng)大數(shù)據(jù)采集與處理的關(guān)鍵技術(shù)研究[J]. 中國(guó)金融電腦， 2014（11）：70-73.

[4] 王建民. 工業(yè)大數(shù)據(jù)技術(shù)[J]. 電信網(wǎng)技術(shù)， 2016（8）：1-5.

[5] 趙云山， 劉煥煥. 大數(shù)據(jù)技術(shù)在電力行業(yè)的應(yīng)用研究[J]. 電信科學(xué)， 2014，30（1）：57-62.

[6] 吳亞坤，郭海旭，王曉明. 大數(shù)據(jù)技術(shù)研究綜述[J]. 遼寧大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2015（42）：236-242.

[7] 楊巨龍. 大數(shù)據(jù)技術(shù)全解：基礎(chǔ)、設(shè)計(jì)、開(kāi)發(fā)與實(shí)踐[M]. 電子工業(yè)出版社， 2014.

[8] 張東霞， 苗新， 劉麗平，等. 智能電網(wǎng)大數(shù)據(jù)技術(shù)發(fā)展研究[J]. 中國(guó)電機(jī)工程學(xué)報(bào)， 2015（1）：2-12.

[9] 張鋒軍. 大數(shù)據(jù)技術(shù)研究綜述[J]. 通信技術(shù)， 2014（11）：1240-1248.