基于NFV的分布式SDN控制器節(jié)能機(jī)制

孫莉莉 王興偉 張闖闖 李婕

1 引言

美國(guó)斯坦福大學(xué)提出的SDN面向于校園網(wǎng)，目前在互聯(lián)網(wǎng)和網(wǎng)絡(luò)核心層面被廣泛研究[1]。其特點(diǎn)是分離控制平面和底層交換機(jī)的功能，可在控制平面形成網(wǎng)絡(luò)的全局視圖[2]，并支持通過(guò)南向接口對(duì)網(wǎng)絡(luò)資源進(jìn)行分配，通過(guò)北向接口對(duì)控制平面進(jìn)行編程以實(shí)現(xiàn)可編程網(wǎng)絡(luò)[3]?？梢?，SDN的核心部分為控制器，直接決定了網(wǎng)絡(luò)的性能和SDN架構(gòu)實(shí)現(xiàn)的效果[4]。

SDN（Software Defined Network）集中式控制器存在單點(diǎn)失效問(wèn)題，其安全性和擴(kuò)展性都面臨挑戰(zhàn)。分布式控制器有效地解決了集中式控制器單點(diǎn)瓶頸及可擴(kuò)展性問(wèn)題[5]，但分布式控制器之間需要不斷通信以維護(hù)全局視圖。隨著網(wǎng)絡(luò)擴(kuò)大，本地網(wǎng)絡(luò)視圖策略或者把全局網(wǎng)絡(luò)視圖策略實(shí)現(xiàn)的分布式控制平面的通信開銷導(dǎo)致的能耗均在不斷增大。為了滿足最大峰值時(shí)的網(wǎng)絡(luò)流量，需要部署大量的SDN控制器以保證網(wǎng)絡(luò)性能。在非峰值期，大量控制器處于空閑狀態(tài)。控制器開啟后，無(wú)論處于空閑狀態(tài)還是負(fù)載狀態(tài)，均消耗同樣的能源[6]。目前，SDN可有效地管理數(shù)據(jù)中心網(wǎng)絡(luò)，但在大規(guī)模多控制器數(shù)據(jù)中心網(wǎng)絡(luò)中，降低能耗方面并未充分發(fā)揮其功能[7]。因此，SDN控制器能耗問(wèn)題有待研究。

NFV（Network Function Virtualization）通過(guò)虛擬化使得虛擬網(wǎng)絡(luò)功能按需接入資源共享池[8]。相對(duì)于傳統(tǒng)網(wǎng)絡(luò)基礎(chǔ)設(shè)置，NFV架構(gòu)可節(jié)省50%的能源[9]。

目前，國(guó)內(nèi)外學(xué)者在合理部署分布式控制器以最小化開銷[10]、SDN靈活休眠模型[11]、基于能量感知對(duì)控制器進(jìn)行布局以提高SDN節(jié)能可能性[12]、NFV在大規(guī)模網(wǎng)絡(luò)中減少能源[13]、5G網(wǎng)絡(luò)中NFV能量效率[14]等方面的研究已經(jīng)取得了一定的成果。目前，已有研究多專注于SDN分布式控制器的部署問(wèn)題，對(duì)于休眠算法只考慮當(dāng)前控制器負(fù)載，未考慮長(zhǎng)期效能。NFV架構(gòu)可以減輕能耗，為SDN控制器節(jié)能帶來(lái)了新的可能性。在SDN中通過(guò)NFV思想引入虛擬層，不僅可以解決網(wǎng)絡(luò)流量過(guò)大時(shí)控制器處理能力不足的問(wèn)題，還可以有效地降低SDN控制器能耗。

本文架構(gòu)主要針對(duì)教育網(wǎng)，采用分級(jí)管理進(jìn)行邏輯集中控制，對(duì)物理設(shè)備進(jìn)行集群管理。根據(jù)網(wǎng)絡(luò)狀態(tài)需求動(dòng)態(tài)虛擬化控制器，虛擬化的控制器只需要滿足網(wǎng)絡(luò)當(dāng)前所需功能不必實(shí)現(xiàn)物理控制器所有功能。本文主要工作：1）建立控制器數(shù)學(xué)模型并設(shè)置節(jié)能優(yōu)化目標(biāo);2）提出虛擬控制器數(shù)量自適應(yīng)調(diào)整算法，根據(jù)網(wǎng)絡(luò)流量變化動(dòng)態(tài)虛擬控制器;3）提出控制器負(fù)載自適應(yīng)調(diào)整算法，調(diào)整虛擬控制器負(fù)載;4）結(jié)合物理控制器頻率縮放策略以減少能耗;5）當(dāng)網(wǎng)絡(luò)負(fù)載過(guò)小時(shí)，提出基于節(jié)能和時(shí)延優(yōu)化的控制器休眠算法，在網(wǎng)絡(luò)流量過(guò)小時(shí)可休眠部分控制器以節(jié)約能耗。

2 相關(guān)工作

在SDN節(jié)能方面，文獻(xiàn)[10]提出MIP線性方法及基于貪婪算法的啟發(fā)式算法來(lái)找到近似最優(yōu)的控制器布局，解決分布式控制平面中的通信開銷問(wèn)題。文獻(xiàn)[11]提出了基于排隊(duì)理論和遺傳算法的SDN靈活休眠模型。該模型在流量較少時(shí)，利用包含平均時(shí)延、分組丟失率和隊(duì)列長(zhǎng)度等信息的成本函數(shù)，計(jì)算預(yù)期總成本。通過(guò)遺傳算法找到?jīng)Q策的最優(yōu)值以休眠部分空閑的控制器。文獻(xiàn)[12]研究如何合理放置分布式控制器，以最大限度地提高SDN節(jié)能的可能性，提出二進(jìn)制整數(shù)程序（BIP）模型，在路徑延遲和控制器負(fù)載約束下，控制網(wǎng)絡(luò)能量消耗最小化。文獻(xiàn)[7]提出了E3MC能量感知模型，在流量較小時(shí)關(guān)閉部分冗余設(shè)備，將相關(guān)流量整合到其他設(shè)備。在數(shù)據(jù)平面，主要考慮流量匯聚和流量分割;在控制平面，主要考慮多控制器的SDN大規(guī)模網(wǎng)絡(luò)的節(jié)能。文獻(xiàn)[15]提出了基于Hybrid Flow架構(gòu)關(guān)閉集群控制器來(lái)提高效能的方法，并介紹了M-N休眠策略。但是，對(duì)SDN控制平面能耗研究中，多關(guān)注于SDN分布式控制器部署，且已有的休眠算法中只考慮當(dāng)前控制器的負(fù)載，未考慮長(zhǎng)期效能和休眠后消息處理的優(yōu)先級(jí)問(wèn)題。

在NFV節(jié)能方面，文獻(xiàn)[13]介紹了NFV在大規(guī)模網(wǎng)絡(luò)中以虛擬功能替代傳統(tǒng)網(wǎng)絡(luò)中間件的模式，該模式可減少大量能源的消耗。文獻(xiàn)[14]研究了5G網(wǎng)絡(luò)中引入NFV可能帶來(lái)的能耗效益。貝爾實(shí)驗(yàn)室提出GWATT來(lái)解決NFV中的能耗問(wèn)題，文獻(xiàn)[16]利用GWATT，證明了在虛擬化情況下，網(wǎng)絡(luò)流量增加甚至更能節(jié)約能耗?？梢钥闯觯琋FV架構(gòu)可切實(shí)有效地降低網(wǎng)絡(luò)能耗，為進(jìn)一步解決SDN控制器節(jié)能問(wèn)題提供了可能性。

3 系統(tǒng)架構(gòu)

系統(tǒng)架構(gòu)主要包含六個(gè)模塊：模塊1為控制器負(fù)載檢測(cè)，用于實(shí)時(shí)監(jiān)測(cè)網(wǎng)絡(luò)負(fù)載情況;模塊2為控制器CPU頻率縮放策略，在網(wǎng)絡(luò)負(fù)載較小時(shí)對(duì)物理控制器進(jìn)行降頻;模塊3為虛擬控制器數(shù)量自適應(yīng)調(diào)整算法，根據(jù)網(wǎng)絡(luò)狀態(tài)自動(dòng)調(diào)整虛擬控制器數(shù)量;模塊4為控制器負(fù)載自適應(yīng)調(diào)整算法，實(shí)時(shí)監(jiān)測(cè)控制器的負(fù)載情況以對(duì)各個(gè)控制器的負(fù)載情況進(jìn)行調(diào)整;模塊5為基于節(jié)能和時(shí)延優(yōu)化的控制器休眠算法，對(duì)空閑的控制器進(jìn)行休眠;模塊6為控制器和交換機(jī)消息映射模塊。根據(jù)模塊3、模塊4和模塊5的輸出結(jié)果調(diào)整控制器與交換機(jī)之間的映射關(guān)系，系統(tǒng)架構(gòu)如圖1所示。

控制器負(fù)載檢測(cè)模塊實(shí)時(shí)檢測(cè)網(wǎng)絡(luò)中控制器負(fù)載，根據(jù)負(fù)載情況觸發(fā)不同模塊。虛擬控制器數(shù)量自適應(yīng)模塊在物理控制器流量負(fù)載過(guò)大、處理時(shí)延增加時(shí)被觸發(fā)。根據(jù)網(wǎng)絡(luò)當(dāng)前狀態(tài)虛擬部分控制器以協(xié)助物理控制器完成相應(yīng)功能，降低物理控制器負(fù)載，同時(shí)避免物理控制器冗余而造成資源浪費(fèi)。為了保障虛擬控制器的處理能力，同時(shí)設(shè)計(jì)控制器負(fù)載自適應(yīng)調(diào)整模塊，實(shí)時(shí)監(jiān)控物理控制器和虛擬控制器的負(fù)載情況，以進(jìn)行負(fù)載調(diào)整。當(dāng)物理控制器負(fù)載較小時(shí)，為保證平均時(shí)延同時(shí)減少能耗，啟動(dòng)控制器頻率縮放策略縮放物理控制器CPU的頻率以降低能耗。當(dāng)物理控制器負(fù)載過(guò)小時(shí)，在確保相應(yīng)的物理控制器被休眠后，全網(wǎng)仍能正常工作的情況下，啟動(dòng)基于節(jié)能和時(shí)延優(yōu)化的控制器休眠模塊，將相應(yīng)的物理控制器進(jìn)行休眠，并將傳輸給被休眠的物理控制器的相應(yīng)包，轉(zhuǎn)發(fā)給其他物理控制器進(jìn)行處理。

4 控制器節(jié)能問(wèn)題數(shù)學(xué)模型

4.1 物理控制器模型

本文利用一個(gè)三元組來(lái)表示物理控制器：

其中，控制器標(biāo)識(shí)為。表示物理控制器狀態(tài)，代表物理控制器被休眠，代表物理控制器開啟。表示控制器CPU頻率。

控制器能耗主要與CPU的負(fù)載相關(guān)[11]，修改控制器能耗公式。休眠狀態(tài)能耗和開啟狀態(tài)下能耗計(jì)算公式分別如（1）和（2）所示。

其中，休眠能耗為固定常數(shù)。開啟狀態(tài)能耗為。 表示域控制器在CPU狀態(tài)為且負(fù)載的情況下產(chǎn)生的能耗，其中中的表示CPU支持的頻率狀態(tài)集合。是控制器在CPU頻率為狀態(tài)且空閑狀態(tài)下的能耗。是控制器在CPU頻率為狀態(tài)下滿載的能耗。是控制器在狀態(tài)下CPU的利用率。是一個(gè)實(shí)驗(yàn)測(cè)量的值。

4.2 虛擬控制器模型

本文利用NFV概念在SDN控制平面引入虛擬控制器以減少物理控制器能耗，可根據(jù)需求開啟或關(guān)閉虛擬控制器。利用二元組表示虛擬控制器：

其中，虛擬控制器標(biāo)識(shí)為。表示虛擬控制器的狀態(tài)，當(dāng)時(shí)，虛擬控制器處于關(guān)閉狀態(tài)，當(dāng)時(shí)，節(jié)點(diǎn)處于休眠狀態(tài)，否則虛擬控制器處于開啟狀態(tài)。

虛擬控制器處于關(guān)閉狀態(tài)時(shí)能耗為0，虛擬控制器能耗計(jì)算公式如（4）和（5）所示。

其中，虛擬控制器休眠時(shí)能耗為固定常數(shù)。為虛擬控制器開啟狀態(tài)時(shí)的能耗，。 為虛擬控制器負(fù)載為u時(shí)產(chǎn)生的能耗 。是虛擬控制器滿載下的能耗。u是虛擬控制器CPU的利用率。是一個(gè)實(shí)驗(yàn)測(cè)量的值。

4.3 優(yōu)化目標(biāo)

能耗最小化為本模型的優(yōu)化目標(biāo)，控制器能耗計(jì)算公式如（7）所示。

其中，物理控制器數(shù)量為。第i個(gè)物理控制器具有的虛擬控制器數(shù)量為。第i個(gè)物理控制器的能耗和第i個(gè)物理控制器的第j個(gè)虛擬控制器的能耗分別為和。公式（1）和（2）可計(jì)算物理控制器i處于休眠狀態(tài)和開啟狀態(tài)下的能耗。（4）和（5）可用來(lái)計(jì)算虛擬控制器不同狀態(tài)下能耗。

其中，表示交換機(jī)i的流量是否由控制器j處理，交換機(jī)i的時(shí)延小于交換機(jī)j的時(shí)延表示為?？刂破鱥和控制器j的時(shí)延為。控制器j和控制器k的時(shí)延為。約束（9）表示時(shí)延較小的交換機(jī)請(qǐng)求由域內(nèi)虛擬控制器優(yōu)先處理，約束（10）表示交換機(jī)到其他域的物理控制器的時(shí)延不超過(guò)D，約束（11）表示控制器處理一個(gè)交換機(jī)當(dāng)前所有流量。

5 控制器節(jié)能算法

為避免保障網(wǎng)絡(luò)流量峰值而過(guò)量部署物理控制器造成大量能源浪費(fèi)，設(shè)置虛擬控制器數(shù)量自適應(yīng)調(diào)整算法，根據(jù)網(wǎng)絡(luò)狀態(tài)自動(dòng)調(diào)整虛擬控制器數(shù)量。同時(shí)，因虛擬控制器處理能力有限，為了保障虛擬控制器的處理能力，設(shè)計(jì)控制器負(fù)載自適應(yīng)調(diào)整算法，實(shí)時(shí)監(jiān)測(cè)控制器的負(fù)載情況以進(jìn)行調(diào)整;當(dāng)網(wǎng)絡(luò)流量過(guò)小，為進(jìn)一步降低能耗，提出基于節(jié)能和時(shí)延優(yōu)化的控制器休眠算法，對(duì)空閑的控制器進(jìn)行休眠。

5.1 虛擬控制器數(shù)量自適應(yīng)動(dòng)態(tài)調(diào)整算法

當(dāng)物理控制器負(fù)載過(guò)重導(dǎo)致處理延時(shí)增大時(shí)，可以開啟通過(guò)NFV引入的虛擬控制器，協(xié)助物理控制器完成包處理。虛擬控制器數(shù)量計(jì)算公式如（12）及（13）所示。

其中，需要增加的虛擬控制器數(shù)量表示為。當(dāng)前控制器集群需要提供的負(fù)載表示為。當(dāng)前控制器集群能夠處理的最高負(fù)載表示為。虛擬控制器能夠處理的最高負(fù)載表示為。-1代表每次最多減少一個(gè)虛擬控制器，表示向上取整。需要調(diào)整的虛擬控制器數(shù)量表示為。當(dāng)前虛擬控制器數(shù)量表示為。應(yīng)分配的虛擬控制器數(shù)量為，其值大于0。

首先，根據(jù)公式（12）計(jì)算出需要調(diào)整的虛擬控制器的數(shù)量。當(dāng)需要增加虛擬控制器數(shù)量且需要增加的虛擬機(jī)數(shù)量小于已休眠的虛擬機(jī)數(shù)量，則喚醒相應(yīng)數(shù)量的休眠虛擬機(jī)。當(dāng)需要的虛擬控制器數(shù)量大于休眠的虛擬控制器數(shù)量，就將所有的休眠虛擬控制器切換為工作狀態(tài)，并打開相應(yīng)數(shù)量的處于關(guān)閉狀態(tài)的虛擬控制器，若需要減少虛擬控制器，為保證流量波動(dòng)對(duì)系統(tǒng)性能的影響，每次只休眠一臺(tái)虛擬控制器。并且在整個(gè)過(guò)程中控制休眠的虛擬控制器數(shù)量不會(huì)一直增加，保證休眠的虛擬機(jī)數(shù)量小于工作態(tài)的虛擬機(jī)數(shù)量。

5.2 控制器負(fù)載自適應(yīng)調(diào)整算法

在數(shù)據(jù)包處理分配時(shí)需要平衡各交換機(jī)的時(shí)延，規(guī)定物理控制器傳輸時(shí)延大于虛擬控制器傳輸時(shí)延，即時(shí)延較高的數(shù)據(jù)包由物理控制器處理。來(lái)自同一個(gè)交換機(jī)的消息由同一個(gè)虛擬控制器或物理控制器處理以更好地管理流量。在流量動(dòng)態(tài)變化中，基于上述機(jī)制可能導(dǎo)致流量負(fù)載不均，為保證處理時(shí)延及負(fù)載均衡，設(shè)計(jì)控制器負(fù)載自適應(yīng)調(diào)整算法。

虛擬控制器和物理控制器的負(fù)載情況被實(shí)時(shí)監(jiān)控，以用于決定是否進(jìn)行負(fù)載調(diào)整，算法2的觸發(fā)策略：

（1） 算法1執(zhí)行后，若輸出的虛擬控制器的數(shù)量被調(diào)整，則控制器的負(fù)載需要被調(diào)整;

（2） 物理控制器的最高負(fù)載為，當(dāng)物理控制器的負(fù)載超過(guò)閾值，則物理控制器的負(fù)載需要被調(diào)整;

（3） 虛擬控制器的最高負(fù)載為，當(dāng)虛擬控制器的負(fù)載超過(guò)閾值，則虛擬控制器的負(fù)載需要被調(diào)整。

其中，交換機(jī)數(shù)量為。域內(nèi)物理控制器和虛擬控制器的總數(shù)量為。列1，列2至n分別代表交換機(jī)和物理控制器及交換機(jī)與虛擬控制器之間的映射。消息由j處理表示為，不存在映射表示為。

根據(jù)算法1的輸出，若虛擬控制器的數(shù)量增加或不變時(shí)，先判斷物理控制器是否過(guò)載，若過(guò)載則計(jì)算需要轉(zhuǎn)移的負(fù)載以調(diào)整物理控制器負(fù)載。然后計(jì)算虛擬控制器的平均負(fù)載，判斷虛擬控制器是否過(guò)載，若過(guò)載則調(diào)整虛擬控制器和交換機(jī)之間的映射。若根據(jù)算法1的輸出，需要減少虛擬控制器的數(shù)量，先判斷虛擬控制器是否過(guò)載，若未過(guò)載則更新虛擬控制器和交換機(jī)之間的映射，否則更新虛擬控制器和交換機(jī)以及物理控制器和交換機(jī)之間的映射。

根據(jù)上述機(jī)制，提出了控制器負(fù)載自適應(yīng)調(diào)整算法，其偽代碼如算法2描述。

5.3 物理控制器休眠算法

由交換機(jī)到睡眠控制器的延遲以及睡眠控制器到被選擇控制器的延遲構(gòu)成，表示傳送到睡眠控制器信息的延遲。由控制器進(jìn)入睡眠狀態(tài)節(jié)約的能源以及負(fù)載轉(zhuǎn)移給其他控制器增加的能耗構(gòu)成，表示睡眠控制器節(jié)約的能源。

[5] H. G. Ahmed and R. Ramalakshmi. Performance Analysis of Centralized and Distributed SDN Controllers for Load Balancing Application[C].Proceedings of the International Conference on Trends in Electronics and Informatics ，? Tirunelveli，? 2018：758-764.

[6] D. B. Rawat and C. Bajracharya. Software Defined networking for reducing energy consumption and carbon emission[C]. Proceedings of the SoutheastCon. Norfolk， VA， 2016： 1-2.

[7] Xie K， Huang X， Hao S， et al. E3MC： Improving energy efficiency via elastic multi-controller SDN in data center networks[J]. IEEE Access， 2017， 4： 6780-6791.

[8] R. Mijumbi， J. Serrat， J. Gorricho， N. Bouten， F. De Turck and R. Boutaba. Network Function Virtualization： State-of-the-Art and Research Challenges[J]. IEEE Communications Surveys & Tutorials， 2016，18（1）： 236-262.

[9] Network Functions Virtualisation （NFV）; Infrastructure Overview， https：//www.etsi.org/deliver/etsi_gs/NFV-INF/001_099/001/01.01.01_60/gs_NFV-INF001v010101p.pdf? 2015.1.

[10] M. Obadia， M. Bouet， J. Rougier and L. Iannone. A greedy approach for minimizing SDN control overhead[C]. Proceedings of the 2015 1st IEEE Conference on Network Softwarization （NetSoft）. London， 2015： 1-5.

[11] Yonghong F U， Jun B I， Jianping W U， et al. A dormant multi-controller model for software defined networking[J]. China Communications， 2014， 11（3）： 45-55.

[12] Hu Y ， Luo T ， Beaulieu N C ， et al. The energy-aware controller placement problem in software defined networks[J]. IEEE Communications Letters， 2017， 21（4）： 741-744.

[13] Z. Xu， F. Liu， Tao Wang and H. Xu. Demystifying the energy efficiency of Network Function Virtualization[C]. Proceedings of the 2016 IEEE/ACM 24th International Symposium on Quality of Service. Beijing， China， 2016： 1-10.

[14] A. Al-Quzweeni， A. Lawey， T. El-Gorashi and J. M. H. Elmirghani. A framework for energy efficient NFV in 5G networks[C]. Proceedings of the 2016 18th International Conference on Transparent Optical Networks （ICTON）. Trento， Italy， 2016： 1-4.

[15] Qiu C， Zhao C， Xu F， et al. Sleeping mode of multi-controller in green software-defined networking[J]. Eurasip Journal on Wireless Communications & Networking， 2016， 2016（1）： 282.

[16] Mijumbi R. On the Energy efficiency prospects of network function virtualization[J]. Computer Science， 2015： 1-6.

[17] Yang L， Dick R P， Memik G， et al. HAPPE： Human and application-driven frequency scaling for processor power efficiency[J]. IEEE Transactions on Mobile Computing， 2013， 12（8）： 1546-155.