周文輝，鐘偉鋒，余 榮

(1. 電子科技大學中山學院 廣東 中山 528402; 2. 廣東工業(yè)大學自動化學院 廣州 510006)

智能電網(wǎng)中電動汽車充電的自適應電價控制方法

周文輝1,2，鐘偉鋒2，余 榮2

(1. 電子科技大學中山學院 廣東 中山 528402; 2. 廣東工業(yè)大學自動化學院 廣州 510006)

針對電動汽車的充電提出一種電價控制策略。聚合管理者集中管理電動汽車的電池，并且考慮用電高峰時電網(wǎng)的電能供給有限，通過電價控制調(diào)整充電的需求量。采用自適應動態(tài)規(guī)劃，通過在線網(wǎng)絡訓練，得到最優(yōu)的電價策略。仿真結果表明，該自適應電價控制方法能夠通過學習電動汽車的移動性和充電過程，從而調(diào)整實際充電需求量至期望水平，保證智能電網(wǎng)的穩(wěn)定運行。

自適應動態(tài)規(guī)劃; 電動汽車; 電價控制; 智能電網(wǎng)

智能電網(wǎng)促進綠色低碳經(jīng)濟，是電網(wǎng)發(fā)展的大勢所趨。各國政府已認識到智能電網(wǎng)在促進開發(fā)低碳技術方面的重要意義，智能電網(wǎng)的建設逐漸成為一項戰(zhàn)略性基礎設施投資[1-2]。電動汽車作為零排放的環(huán)保節(jié)能交通方式，符合智能電網(wǎng)低碳低能耗的要求，而且電動汽車接入電網(wǎng)作為智能電網(wǎng)用電管理技術的一部分，對智能電網(wǎng)的發(fā)展起到了重要的支持和推動作用[3]。

然而，隨著電動汽車大范圍的普及，大量電動汽車同時充電會給電網(wǎng)帶來巨大的充電負荷，影響電網(wǎng)的用電安全，導致過載、壓降、功率損耗等負面影響[4-5]。

電價控制能有效地控制電動汽車的充電負荷。電價控制是通過實時調(diào)整電力價格，改變電動汽車用戶的充電電量和時間，以達到“消峰填谷”的效果。文獻[6]采用基于使用時間的電價，最小化電動汽車的充電成本，實現(xiàn)消鋒用電。文獻[7]采用實時電價動態(tài)地調(diào)整用戶的用電需求量；再根據(jù)總用電量重新計算電價，實現(xiàn)自動的需求響應。然而，上述文獻并未考慮電網(wǎng)電能供給的有限性，以及電動汽車移動性所帶來的影響。實際上在用電高峰期，電網(wǎng)的電能供給總量通常是有限的，同時電動汽車的移動性難以被準確預測，對電價控制造成影響。

基于上述分析，本文提出一種適合于智能電網(wǎng)中電動汽車充電的電價控制策略。在雙向通信網(wǎng)絡的支持下，智能電網(wǎng)中的聚合管理者(aggregator)集中管理電動汽車的電池，并且優(yōu)化計算電力價格控制電動汽車在不同時間段的充電的需求量[8-9]。采用自適應動態(tài)規(guī)劃，聯(lián)合考慮電網(wǎng)電能供給的有限性和電動汽車的移動性，通過在線網(wǎng)絡訓練，從而得到最優(yōu)的電價策略。仿真結果表明，本文提出的電價控制策略能通過動態(tài)學習電動汽車的移動性和充電過程，從而調(diào)整實際充電需求量至期望水平，保證智能電網(wǎng)的穩(wěn)定運行。

1 系統(tǒng)模型

智能電網(wǎng)中，電動汽車的充電場景如圖1所示。聚合管理者是電動汽車與電網(wǎng)之間的接口，提供電池管理和充電服務。在智能電網(wǎng)中，一個聚合管理者為一個商業(yè)區(qū)或一個城市內(nèi)的車輛提供服務。該區(qū)域內(nèi)的每一個停車位置都有一個充電樁。充電樁是電動汽車與聚合管理者之間的接口，提供雙向通信和充電電能。圖1并不表示車輛必須在同一個充電站充電。車輛在各自的車位進行充電，而聚合管理者通過雙向通信來控制充電。聚合管理者把區(qū)域內(nèi)所有連接的車輛的電池聚合起來，形成一個聚合電池。聚合電池的充電需求量表示其覆蓋區(qū)域內(nèi)連接車輛的總充電需求量。

圖1 智能電網(wǎng)中電動汽車充電場景

在不同的時間段，區(qū)域內(nèi)的電力需求是不一樣的。在白天，電力供給要滿足商業(yè)、工業(yè)、生活用電負荷等，此時電動車充電需求可能無法完全得到滿足。在某個時間段，當聚合電池充電需求量大于期望值時，就需要實施電價控制，以此減低電動汽車在該時間段的充電需求量。白天未充滿電的電動汽車可以在夜間電能充裕的時候再進行充電。

實施電價控制時，聚合電池會根據(jù)自身的電量(state of charging, SOC)和電價來調(diào)節(jié)充電需求量。然而，車輛的到達和離開會造成聚合電池的容量和電量的動態(tài)變化。電動汽車的移動性使聚合管理者難以預測聚合電池的狀態(tài)，從而影響電價控制的效果。本文采用自適應動態(tài)規(guī)劃，通過在線學習電動汽車的移動性和充電過程，得到最優(yōu)的電價策略。

2 問題描述

2.1 電動汽車充電需求

電動汽車用戶會根據(jù)自身狀態(tài)和實時電價，動態(tài)地調(diào)整充電的需求量，從而最大化自身的效益[7]。本文中，聚合電池的充電需求量表示所有連接的電動汽車的總充電需求量。聚合電池的充電需求量為：

式中，d(t)表示在t時隙聚合電池的充電需求量；p(t)表示電價；γ表示用戶對電價的敏感程度；ω(t)表示支付意愿度。支付意愿度與電池電量的關系如下[10]：

式中，SOC(t)是聚合電池的剩余電量。對于單用戶，β為常數(shù)；對于多用戶的聚合電池，β與用戶數(shù)量成正比，β(t)∝S(t)。當電池剩余電量越低時，支付意愿度就越高，電動汽車充電需求也會越高。然而，聚合電池的電量會受到電動汽車的移動性所影響。聚合電池電量為：

式中，Q(t)表示聚合電池的電能存儲量；S(t)表示聚合電池的總容量；Sm(t)表示由車的移動性所造成的聚合電池總容量的變化量；Qm(t)表示由車的電能轉移所造成的聚合電池存儲電能的變化量。Sm(t)和Qm(t)的表達式分別如下：

式中，Si(t)和So(t)分別表示到達車輛和離開車輛的總電池容量，且Si(t)≥0，So(t)≤0；SOCi(t)為到達車輛的平均電量，而離開車輛的平均電量等于聚合電池的電量。

在整個充電過程中，電動汽車的移動性使Sm(t)和Qm(t)持續(xù)變化。聚合電池的電量SOC(t)也隨之變化。聚合管理者難以預測SOC(t)在未來時隙中的變化情況，影響電價控制的性能。

2.2 代價函數(shù)

由式(1)可知，當ω(t)?d(t)p(t)=0時，充電需求將會穩(wěn)定，所以管理者將電價控制為：

式中，dE(t)是期望的充電需求量，由電網(wǎng)供給所決定。通過對電動汽車的剩余電量的實時監(jiān)測，管理者可以知道SOC(t)。β值可以通過歷史數(shù)據(jù)計算或者用戶設定得到，從而得到ω(t)。設在t時隙中的系統(tǒng)狀態(tài)為x(t)={d(t),SOC(t),β(t),dE(t )}，每個時隙的代價為：

式中，e為實際需求量與期望值之間的允許誤差值。給定系統(tǒng)狀態(tài)x(t)和電價p(t)，就可以計算出時隙t結束時(或者時隙t+1開始時)的實際需求量d[x(t),p(t)]。為了電網(wǎng)的長期穩(wěn)定運行，應該最小化整個充電過程的系統(tǒng)代價。長期系統(tǒng)代價為：

電價控制的目標就是計算出整個充電過程在不同時隙的最優(yōu)電價策略{p?(1),p?(2),,p?(N )}，以獲得最小的電網(wǎng)的長期系統(tǒng)代價J?。

3 自適應動態(tài)規(guī)劃

根據(jù)Bellman方程，t時隙的最優(yōu)電價為：

對于無限時隙的系統(tǒng)，J?(t +1)+無法用逆向遞推方法得到。而且，即使系統(tǒng)時隙數(shù)量有限，但系統(tǒng)狀態(tài)空間龐大，造成維數(shù)災難，計算機無法負擔如此大的計算量和存儲量。因此，本文采用自適應動態(tài)規(guī)劃(adaptive dynamic programming, ADP)理論，通過網(wǎng)絡訓練以獲得J?(t +1)+的近似值。為了獲得近似值，長期系統(tǒng)代價函數(shù)改寫為：

式中，σ是折扣因子，0≤σ ≤1。當0σ=時，只考慮當前時隙的代價；當σ=1時，所有未來時隙的代價都被認為同等重要；只有當0≤σ<1時，才能夠估計出長期系統(tǒng)代價。

3.1 啟發(fā)式動態(tài)規(guī)劃結構

本文采用自適應動態(tài)規(guī)劃中啟發(fā)式動態(tài)規(guī)劃結構(heuristic dynamic programming, HDP)[11-13]，如圖2所示。

圖2 啟發(fā)式動態(tài)規(guī)劃結構

該結構包含電價控制器，聚合系統(tǒng)和評價網(wǎng)絡。對于電價控制器，其輸入是系統(tǒng)狀態(tài)x(t)和評價網(wǎng)絡的輸出部分，然后輸出電價p(t)。電價控制器的運作表示為：

聚合系統(tǒng)描述的是系統(tǒng)狀態(tài)的變化，其輸入為電價p(t)和狀態(tài)x(t)，輸出為下一個時隙中系統(tǒng)狀態(tài)的估計值(t +1)。系統(tǒng)狀態(tài)包括4個分量，其中聚合電池的需求量d(t)的變化由式(1)表示，電量SOC(t)的變化由式(3)表示，dE(t)的變化由電網(wǎng)決定，β(t)的變化為：

式中，c為常數(shù)。

評價網(wǎng)絡采用BP神經(jīng)網(wǎng)絡。其輸入是系統(tǒng)狀態(tài)，輸出是近似系統(tǒng)代價。通過在線網(wǎng)絡訓練，其輸出量會趨向于最優(yōu)系統(tǒng)代價。

3.2 評價網(wǎng)絡的在線訓練

評價網(wǎng)絡的訓練采用梯度下降法，目標就是最小化如下誤差函數(shù)，即：

以上推導得到的正是系統(tǒng)代價函數(shù)式(10)。因此，訓練網(wǎng)絡時，最小化誤差式(13)可以在下一個時隙得到近似的系統(tǒng)代價。評價網(wǎng)絡的權重更新為：

式中，lc是學習率，lc>0。上述的啟發(fā)式動態(tài)規(guī)劃結構通過在線的神經(jīng)網(wǎng)絡訓練，能估計出長期的系統(tǒng)代價。同時進行電價控制，最小化長期系統(tǒng)代價，從而得到最優(yōu)的電價策略。

4 仿真結果

4.1 仿真設定

本文采用家庭出行調(diào)查數(shù)據(jù)庫[14]所提供的信息來描述車的移動性。選定美國舊金山的某個商業(yè)區(qū)，并記錄該區(qū)域的到達和離開車輛的數(shù)量隨時間的變化，如圖3所示。圖3只截取了需要進行電價控制的時間段(白天)。對電動汽車的電量進行歸一化處理，假設到達的電動汽車的初始電量在[30%,50%]區(qū)間內(nèi)。而離開的電動汽車的平均電量等于聚合電池的電量。每個時隙對應一個小時。

圖3 某商業(yè)區(qū)白天時段的車流量(只包含參與調(diào)查的車輛)

啟發(fā)式動態(tài)規(guī)劃結構的評價網(wǎng)絡采用4-8-1結構的BP神經(jīng)網(wǎng)絡，有4個狀態(tài)輸入神經(jīng)元，8個隱藏層神經(jīng)元，1個輸出神經(jīng)元。輸出層采用線性函數(shù)purelin，隱藏層采用雙極性函數(shù)sigmoidal。

4.2 收斂性能

評價網(wǎng)絡的學習率設為lc=0.1。圖4給出了評價網(wǎng)絡的輸出曲線。由圖可見，系統(tǒng)代價能夠收斂至最小值，說明本文提出的啟發(fā)式動態(tài)規(guī)劃結構可以得到最優(yōu)的電價策略。圖4a和圖4b分別設置了不同的折扣因子σ。由圖可見，減小折扣因子可以提高系統(tǒng)代價的收斂速度，但是只考慮未來短期的代價。提高折扣因子可以考慮未來長期的代價，但犧牲了收斂速度。

圖4 評價網(wǎng)絡輸出

4.3 電價控制性能

評價網(wǎng)絡的輸出量是近似的最優(yōu)系統(tǒng)代價。由于未來時隙內(nèi)的電動車信息是未知的，電價控制難免會有誤差。一個地區(qū)內(nèi)的車流量的大小會影響電價控制的效果，如圖5所示。圖中縱坐標表示實際充電需求量與期望值之間誤差的絕對值的累計量。對圖3的車流量設置了不同倍數(shù)。由圖可見，車流量越大，控制誤差越大。用戶對電價的敏感程度γ也會影響電價控制的效果，如圖6所示。由圖可見，用戶對電價越敏感，控制誤差越大。

圖5 不同車流量造成的需求量累計誤差

圖6 不同電價敏感度造成的需求量累計誤差

5 結 論

聯(lián)合考慮用電高峰時電網(wǎng)的電能供給有限，以及電動汽車移動性的難預測特征，本文提出一種電價控制策略，通過電價控制調(diào)整不同時隙的電動汽車充電的需求量。采用自適應動態(tài)規(guī)劃，通過在線網(wǎng)絡訓練，從而得到最優(yōu)的電價策略。仿真結果表明，本文的自適應電價控制方法能通過學習電動汽車的移動性和充電過程，從而調(diào)整實際充電需求量至期望水平，保證智能電網(wǎng)的穩(wěn)定運行。

[1] YU Y, YANG J, CHEN B. The smart grids in China—a review[J]. Energies, 2012, 5(5): 1321-1338.

[2] 王益民. 堅強智能電網(wǎng)技術標準體系研究框架[J]. 電力系統(tǒng)自動化, 2010, 34(22): 1-6. WANG Yi-ming. Research framework of technical standard system of strong & smart grid[J]. Automation of Electric Power Systems, 2010, 34(22): 1-6.

[3] 韓鵬. 智能電網(wǎng)中電動汽車充電的優(yōu)化調(diào)度研究[D]. 沈陽: 東北大學, 2012. HAN Peng. Research on the optimized scheduling of plug-in electric vehicle charging in the smart grid[D]. Shenyang: Northeastern University, 2012.

[4] SHAFIEE S, FOTUHI-FIRUZABAD M, RASTEGAR M. Investigating the impacts of plug-in hybrid electric vehicles on power distribution systems[J]. IEEE Transactions on Smart Grid, 2013, 4(3): 1351-1360.

[5] HADLEY S W, TSVETKOVA A A. Potential impacts of plug-in hybrid electric vehicles on regional power generation[J]. The Electricity Journal, 2009, 22(10): 56-68.

[6] CAO Y, TANG S, LI C, et al. An optimized EV charging model considering TOU price and SOC curve[J]. IEEE Transactions on Smart Grid, 2012, 3(1): 388-393.

[7] FAN Z. A distributed demand response algorithm and its application to PHEV charging in smart grids[J]. IEEE Transactions on Smart Grid, 2012, 3(3): 1280-1290.

[8] MWASILU F, JUSTO J J, KIM E K, et al. Electric vehicles and smart grid interaction: a review on vehicle to grid and renewable energy sources integration[J]. Renewable and Sustainable Energy Reviews, 2014, 34: 501-516.

[9] SIANO P. Demand response and smart grids—a survey[J]. Renewable and Sustainable Energy Reviews, 2014, 30: 461-478.

[10] YU R, DING J, ZHONG W, et al. PHEV charging and discharging cooperation in v2g networks: a coalition game approach[J]. IEEE Internet of Things Journal, 2012, 1(6): 578-589.

[11] WANG F Y, ZHANG H, LIU D. Adaptive dynamic programming: an introduction[J]. IEEE Computational Intelligence Magazine, 2009, 4(2): 39-47.

[12] LIU D. Approximate dynamic programming for self-learning control[J]. Acta Automatica Sinica, 2005, 31(1): 13-18.

[13] WERBOS P J. Approximate dynamic programming for real-time control and neural modeling[J]. Handbook of Intelligent Control: Neural, Fuzzy, and Adaptive Approaches, 1992, 15: 493-525.

[14] National renewable energy laboratory. Transportation secure data center[DB/OL]. [2015-01-15]. http://www. nrel.gov/tsdc.

編輯黃 莘

Price Control for Electric Vehicle Charging in Smart Grid: Adaptive Dynamic Programming Approach

ZHOU Wen-hui1,2, ZHONG Wei-feng2, and YU Rong2
(1. Zhongshan Institute, University of Electronic Science and Technology of China Zhongshan Guangdong 528402; 2. Faculty of Automation, Guangdong University of Technology Guangzhou 510006)

With the rapid growing of electric vehicles (EVs), it is necessary to implement the charging control for huge number of EVs to ensure the reliability of smart grid. In this paper, a strategy of price control is proposed for EV charging. The aggregator manages EV batteries centrally and controls the EV charging demand through price. EV users change their charging demand based on the price information. However, the EV mobility is unknown in advance, which causes the inaccurate prediction of EV state and impacts the performance of price control. Thus, adaptive dynamic programming (ADP) is leveraged to achieve the optimal price policy by using online network training. Simulation results show that the proposed method is able to tune the EV charging demand close to the expected level by learning from the EV charging process and the EV mobility, which ensures the smart grid runs steadily.

adaptive dynamic programming; electric vehicle; price control; smart grid

TP273

A doi:10.3969/j.issn.1001-0548.2015.04.028

2015 ? 01 ? 30；

2015 ? 05 ? 29

國家自然科學基金(61422201, 61370159, U1201253)；廣東省優(yōu)秀青年教師培養(yǎng)計劃(YQ2013057)

周文輝(1972 ?)，男，副教授，主要從事智能電網(wǎng)方面的研究.