吳江濤，曹小剛，姜姍

（中移（蘇州）軟件技術(shù)有限公司/中國移動蘇州研發(fā)中心，蘇州 215163）

基于SDN、NFV的虛擬網(wǎng)絡(luò)解決方案在云計算中的應用＊

吳江濤，曹小剛，姜姍

（中移（蘇州）軟件技術(shù)有限公司/中國移動蘇州研發(fā)中心，蘇州 215163）

本文介紹了中國移動自主研發(fā)的虛擬網(wǎng)絡(luò)解決方案BC-VN，BC-VN集成了開源及商業(yè)SDN、NFV軟件產(chǎn)品，使用戶在統(tǒng)一的圖形界面上按需編排虛擬網(wǎng)絡(luò)，構(gòu)建安全、可靠、靈活的虛擬私有云網(wǎng)絡(luò)環(huán)境。該解決方案可滿足公有云、私有云、混合云的虛擬網(wǎng)絡(luò)建設(shè)需求，已在中國移動集團、省公司、政企公司等大規(guī)模推廣使用。

虛擬私有云；虛擬網(wǎng)絡(luò)解決方案；云計算

1 引言

云計算IaaS（Infrastructure as a Service，基礎(chǔ)設(shè)施即服務）主要包括計算、存儲、網(wǎng)絡(luò)、安全4方面。經(jīng)過多年的發(fā)展，計算、存儲相關(guān)技術(shù)、方案、產(chǎn)品已趨于成熟，網(wǎng)絡(luò)與安全問題成為制約云計算發(fā)展的瓶頸。傳統(tǒng)物理網(wǎng)絡(luò)方案面臨VLAN（Virtual Local Area Network，虛擬局域網(wǎng)）、VRF（Virtual Routing Forwarding，虛擬路由轉(zhuǎn)發(fā)表）數(shù)量不足、命令行配置不支持大并發(fā)、難以自動化、故障排錯困難等一系列問題，虛擬網(wǎng)絡(luò)解決方案成為研究與發(fā)展的重點。

近年來SDN（Software Defined Network，軟件定義網(wǎng)絡(luò)）[1]、NFV（Network Functions Virtualization，網(wǎng)絡(luò)功能虛擬化）[2，3]技術(shù)迅猛發(fā)展，SDN將網(wǎng)絡(luò)連接智能化，NFV將網(wǎng)絡(luò)功能虛擬化，SDN與NFV的結(jié)合在云計算網(wǎng)絡(luò)方案中具有天然的優(yōu)勢。

2 傳統(tǒng)網(wǎng)絡(luò)方案現(xiàn)狀

移動云經(jīng)過多年的發(fā)展，前期一直采用傳統(tǒng)數(shù)據(jù)中心組網(wǎng)方案，在網(wǎng)絡(luò)功能、用戶數(shù)量、運營、運維方面受到很多制約。具體如下：

（1）傳統(tǒng)網(wǎng)絡(luò)方案大量采用物理網(wǎng)絡(luò)設(shè)備，設(shè)備配置都通過命令行手工進行，很難做到程序控制、自動化配置，制約了公有云虛擬路由器、虛擬防火墻、VPN（Virtual Private Network，虛擬專用網(wǎng)絡(luò)）等產(chǎn)品的推出。

（2）物理網(wǎng)絡(luò)設(shè)備不能支持高并發(fā)配置，無法滿足公有云大量用戶并發(fā)操作的需求。

（3） 受限于物理網(wǎng)絡(luò)VLAN數(shù)量最大4 096的限制，公有云難以支持超大規(guī)模用戶。

傳統(tǒng)網(wǎng)絡(luò)使用VRF對IP協(xié)議棧進行隔離，但數(shù)量受限，導致公有云無法推出可滿足超大規(guī)模用戶的VPC（Virtual Private Cloud，虛擬私有云）產(chǎn)品。

傳統(tǒng)網(wǎng)絡(luò)大量依賴人工命令行進行，配置、排錯困難，網(wǎng)絡(luò)又與安全密切相關(guān)，網(wǎng)絡(luò)運營、運維制約公有云發(fā)展。

傳統(tǒng)物理網(wǎng)絡(luò)建設(shè)周期長、缺乏擴展性、項目可復制性差，制約公有云擴容。

3 BC-VN虛擬網(wǎng)絡(luò)解決方案

3.1 方案簡介

SDN是一種轉(zhuǎn)發(fā)/控制分離、控制面集中、軟件可編程的分層網(wǎng)絡(luò)架構(gòu)，重在提升網(wǎng)絡(luò)的智能和管理效率。NFV將網(wǎng)絡(luò)功能虛擬化，利用通用硬件服務器和軟件來承載網(wǎng)絡(luò)功能，降低網(wǎng)絡(luò)成本，提升業(yè)務開發(fā)部署能力。目前國內(nèi)主要的云計算服務提供商，例如阿里云、騰訊云等都與網(wǎng)絡(luò)設(shè)備廠商合作，基于SDN、NFV技術(shù)推出了云計算網(wǎng)絡(luò)產(chǎn)品。SDN、NFV技術(shù)目前主要應用于數(shù)據(jù)中心領(lǐng)域，未來將逐漸向核心網(wǎng)等電信云領(lǐng)域擴展，是云計算網(wǎng)絡(luò)方案發(fā)展的必然趨勢。

目前SDN、NFV領(lǐng)域有開源、商業(yè)兩個發(fā)展方向。目前知名的開源軟件主要包括Openvswitch、Haproxy、Openswan、Openvpn、Opendaylight、ONOS等，將開源軟件進行集成可構(gòu)成完整的虛擬網(wǎng)絡(luò)解決方案。

中國移動自主研發(fā)的虛擬網(wǎng)絡(luò)系統(tǒng)BC-VN集成了SDN、NFV等前沿網(wǎng)絡(luò)技術(shù)，使用戶在統(tǒng)一的圖形界面上按需編排虛擬網(wǎng)絡(luò)，構(gòu)建安全、可靠、靈活的VPC網(wǎng)絡(luò)環(huán)境。BC-VN采用開放式架構(gòu)，通過插件方式同時支持與開源及商業(yè)SDN、NFV軟件集成，在打造自主研發(fā)能力的同時整合了云計算網(wǎng)絡(luò)產(chǎn)業(yè)鏈。

BC-VN產(chǎn)品架構(gòu)如圖1所示，從上至下依次為：

業(yè)務層：提供運營、運維門戶，為用戶提供VPC服務，用戶可構(gòu)建專屬于自己的網(wǎng)絡(luò)拓撲，具體包括：創(chuàng)建網(wǎng)絡(luò)、自定義IP、DHCP、安全組、虛擬路由器、浮動IP、虛擬防火墻、虛擬負載均衡器、VPN等功能。

管理層：對虛擬網(wǎng)絡(luò)服務及網(wǎng)絡(luò)資源進行抽象，虛擬網(wǎng)絡(luò)管理模塊采用插件式架構(gòu)，對設(shè)備層開源、商業(yè)軟硬件網(wǎng)絡(luò)設(shè)備進行統(tǒng)一管理，對業(yè)務層提供統(tǒng)一的網(wǎng)絡(luò)服務接口。

設(shè)備層：包括開源交換軟件、路由軟件、NFV軟件，商業(yè)SDN控制器及軟硬件網(wǎng)絡(luò)設(shè)備。

目前BC-VN已完成的網(wǎng)絡(luò)解決方案如圖2所示，主要包括：

BC-VN-S網(wǎng)絡(luò)解決方案：與開源SDN、NFV軟件集成；

BC-VN-H-NUAGE網(wǎng)絡(luò)解決方案：與阿朗VSP系列產(chǎn)品集成；

BC-VN-H-H3C網(wǎng)絡(luò)解決方案：與華三 VCF系列產(chǎn)品集成。

圖1 BC-VN產(chǎn)品架構(gòu)

圖2 BC-VN SDN、NFV集成情況

另外，BC-VN與華為和中興的SDN、NFV產(chǎn)品也進行了初步對接測試，具備集成可行性。

BC-VN-S詳細設(shè)計如圖3所示，集成了Linuxbridge、Openvswitch、Dnsmasq、Iptables、Openswan、Haproxy等一系列開源軟件。Linuxbridge或Openvswitch作為vSwitch負責完成二層功能，Dnsmasq提供DHCP服務，Iptables用于實現(xiàn)安全組及虛擬防火墻，Namespace和主機路由表實現(xiàn)了虛擬路由器功能，Openswan負責IPSec VPN實現(xiàn)，Haproxy作為虛擬負載均衡器。

BC-VN-H方案中，虛擬網(wǎng)絡(luò)管理模塊使用插件對阿朗及華三網(wǎng)絡(luò)設(shè)備進行管理，并同時支持與開源軟件進行集成。BC-VN網(wǎng)絡(luò)解決方案還可支持異構(gòu)虛擬化平臺，通過不同的機制驅(qū)動分別管理KVM集群、ESXi集群二層網(wǎng)絡(luò)，如圖4所示。網(wǎng)絡(luò)服務集群為KVM、ESXi虛擬機提供統(tǒng)一DHCP、路由、防火墻等網(wǎng)絡(luò)服務。KVM、ESXi虛擬機通過虛擬路由器實現(xiàn)三層互通，實現(xiàn)KVM、ESXi虛擬機融合組網(wǎng)方案。

3.2 技術(shù)成果及創(chuàng)新

BC-VN支持VPC業(yè)務模型，如圖5所示。

用戶可使用圖形化界面進行網(wǎng)絡(luò)業(yè)務編排，主要功能包括：

基礎(chǔ)功能：包括網(wǎng)絡(luò)、子網(wǎng)、端口管理，提供DHCP服務。支持VXLAN隔離技術(shù)，用戶可自定義子網(wǎng)CIDR。

安全組：用戶可自定義安全組、安全組規(guī)則，提供虛擬機粒度的安全防護。

虛擬路由器：提供子網(wǎng)間路由、私網(wǎng)地址到公網(wǎng)地址的轉(zhuǎn)換。

虛擬防火墻：用戶可按需創(chuàng)建防火墻、防火墻規(guī)則，為用戶網(wǎng)絡(luò)提供整體安全防護。

VPN：支持IPSec、SSL、MPLS等VPN技術(shù)，方便用戶接入VPC環(huán)境。

圖3 BC-VN-S方案

虛擬負載均衡：用戶可按需創(chuàng)建虛擬負載均衡器，滿足日常業(yè)務需求。

專線：支持專線接入云端VPC。

BC-VN引入了先進技術(shù)，取得了多項技術(shù)成果及創(chuàng)新。

3.2.1 新技術(shù)引入及突破

（1）首次大規(guī)模使用SDN、NFV技術(shù)，集團私有云6 000節(jié)點、公有云南北方基地累計2 000節(jié)點、公有云5期3 000節(jié)點，是全球最大的SDN、NFV商用案例。

（2）移動公有云首次推出VPC業(yè)務模型，上線自定義子網(wǎng)、安全組、虛擬路由器、虛擬防火墻、浮動IP、虛擬負載均衡、VPN等全線網(wǎng)絡(luò)產(chǎn)品，網(wǎng)絡(luò)功能得到了極大的豐富。

（3）首次在公有云中使用VXLAN(Virtual Extensible LAN）技術(shù)，突破VLAN 4 096限制，支持約1 600萬互相隔離的虛擬網(wǎng)絡(luò)，滿足公有云超大規(guī)模用戶需求。

（4）首次采用虛擬機、物理機混合SDN組網(wǎng)技術(shù)，BC-VN屏蔽虛擬機、物理機網(wǎng)絡(luò)差異，統(tǒng)一管理。

（5）首次采用多個計算分區(qū)共用一套BC-VN系統(tǒng)的架構(gòu)，使網(wǎng)絡(luò)資源得到充分共享。

3.2.2 架構(gòu)創(chuàng)新及商業(yè)模式創(chuàng)新

（1）BC-VN采用插件式開放架構(gòu)，可集成多種開源、商業(yè)網(wǎng)絡(luò)產(chǎn)品及解決方案，避免了單廠商綁定。一套BC-VN系統(tǒng)可同時支持開源、商業(yè)NFV產(chǎn)品，滿足不同用戶對網(wǎng)絡(luò)部件不同級別的性能、高可用要求。

（2）BC-VN在打造自主研發(fā)能力的同時，整合云計算網(wǎng)絡(luò)產(chǎn)業(yè)鏈，借力開源及商業(yè)SDN、NFV產(chǎn)品，推出BC-VN系列產(chǎn)品及解決方案，極大促進了公有云及多個省公司私有云項目虛擬網(wǎng)絡(luò)建設(shè)。

3.2.3 網(wǎng)絡(luò)業(yè)務及功能創(chuàng)新

（1）在公有云、私有云中引入VPC業(yè)務模型，用戶使用圖形化界面通過自服務方式靈活定制網(wǎng)絡(luò)拓撲及配置。

（2）使用VPN、專線技術(shù)打通公有云VPC、企業(yè)私有云VPC、企業(yè)傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)，形成混合云網(wǎng)絡(luò)解決方案。

（3）對主流計算虛擬化軟件如VMware、KVM網(wǎng)絡(luò)統(tǒng)一管理，實現(xiàn)VMware、KVM虛擬機混合組網(wǎng)，并自主開發(fā)VMware存量數(shù)據(jù)導入工具，支持對已建VMware資源池網(wǎng)絡(luò)資源納管。

圖4 VMware、KVM混合組網(wǎng)

圖5 VPC業(yè)務模型及網(wǎng)絡(luò)業(yè)務編排

3.2.4 網(wǎng)絡(luò)運維效率提升

引入SDN、NFV技術(shù)后，虛擬網(wǎng)絡(luò)各組件由BC-VN及控制器統(tǒng)一管理和控制，BC-VN提供統(tǒng)一的網(wǎng)絡(luò)拓撲展示、狀態(tài)監(jiān)控、故障告警、排錯圖形化界面，極大提升網(wǎng)絡(luò)運維效率。

4 BC-VN應用情況

BC-VN可滿足目前所有公有云、私有云、混合云虛擬網(wǎng)絡(luò)建設(shè)需求，已在中國移動集團、省公司、政企公司、專業(yè)公司大規(guī)模推廣使用。

4.1 集團一級私有云

集團一級私有云項目包括呼和浩特、哈爾濱兩個資源池，累計6 000節(jié)點，其中虛擬化結(jié)點1 800個，非虛擬化結(jié)點4 200個，全部采用SDN組網(wǎng)，是業(yè)界最大的SDN應用案例。一級私有云網(wǎng)絡(luò)管理模塊采用BCVN-H，與商業(yè)SDN產(chǎn)品及網(wǎng)絡(luò)設(shè)備集成，形成完成自動化的虛擬網(wǎng)絡(luò)方案。目前該項目處理建設(shè)階段，預計2017年上線。

4.2 移動公有云

移動公有云四期一階段南方基地項目于2016年6月正式上線，面向全網(wǎng)政企客戶和互聯(lián)網(wǎng)客戶提供公有云服務，是移動云首次完全使用自研產(chǎn)品搭建的大規(guī)模（1 000節(jié)點）資源池，體現(xiàn)了中國移動在云計算核心能力上的掌控。移動云虛擬網(wǎng)絡(luò)產(chǎn)品采用BC-VNH-NUAGE集成方案，成功上線基礎(chǔ)網(wǎng)絡(luò)及VPC業(yè)務，全面滿足用戶復雜網(wǎng)絡(luò)需求。移動公有云四期二階段北方基地項目目前已基本完成實施，于2016年8月底上線。

4.3 集團研發(fā)云

集團研發(fā)云項目于2015年6月正式上線，旨在打造自主研發(fā)生態(tài)環(huán)境，實現(xiàn)研發(fā)服務一體化，實現(xiàn)用戶統(tǒng)一管理、資源統(tǒng)一調(diào)度、服務統(tǒng)一提供。集團研發(fā)云目前已初步在集團內(nèi)得到推廣和應用。用戶群覆蓋研究院、蘇研、杭研三大研發(fā)機構(gòu)，江蘇、河北、湖南等省公司，咪咕等專業(yè)公司。集團研發(fā)云從上線至今，已經(jīng)穩(wěn)定運行13個月，虛擬網(wǎng)絡(luò)產(chǎn)品提供了完善的技術(shù)支撐和服務。集團研發(fā)云項目部署資源池規(guī)?？傆?0節(jié)點。

4.4 江蘇公司

江蘇公司網(wǎng)絡(luò)部ICT云和業(yè)務云私有云異構(gòu)資源池管理項目通過蘇研的統(tǒng)一云管理平臺，整合業(yè)務云及ICT云近500臺服務器，實現(xiàn)主流虛擬化VMware、Citrix等統(tǒng)一管理，資源統(tǒng)一調(diào)度和集中運維服務。后續(xù)管理平臺會接入網(wǎng)絡(luò)部網(wǎng)絡(luò)支撐節(jié)點資源池、電商云資源池，預計總規(guī)模近2000臺x86服務器。其中網(wǎng)絡(luò)管理部分采用BC-VN對KVM、VMware網(wǎng)絡(luò)統(tǒng)一管理。

4.5 廣東公司

廣東公司電渠資源池項目采用BC-VN-S VPC進行試點部署，用戶可以進行靈活的軟件定義網(wǎng)絡(luò)操作，使用包括網(wǎng)絡(luò)/子網(wǎng)、虛擬路由器、安全組在內(nèi)的基礎(chǔ)VPC功能以及虛擬負載均衡器，虛擬防火墻等高級功能，將不同業(yè)務系統(tǒng)部署在完全隔離的網(wǎng)絡(luò)環(huán)境中。該項目自上線以來運行穩(wěn)定。

4.6 遼寧公司

遼寧移動采用BC-VN-S VPC解決方案進行試點部署，通過BC-VN，遼寧移動用戶可以進行靈活的軟件定義網(wǎng)絡(luò)操作，使用包括網(wǎng)絡(luò)/子網(wǎng)、虛擬路由器、安全組在內(nèi)的基礎(chǔ)VPC功能以及虛擬負載均衡器，虛擬防火墻等高級功能，將不同業(yè)務系統(tǒng)部署在完全隔離的網(wǎng)絡(luò)環(huán)境中。該項目于2016年5月部署完成，目前運行穩(wěn)定。

4.7 上海公司

上海移動私有云試點項目采用BC-VN-S VPC解決方案部署，共計包含30個物理節(jié)點，于2016年7月驗收完成，基于該產(chǎn)品上海移動可以進行靈活的軟件定義網(wǎng)絡(luò)操作，應用虛擬路由器、虛擬防火墻等VPC功能和服務，自上線以來，BC-VN提供了完善的技術(shù)服務，各功能運行正常。

4.8 其它項目應用

除以上項目外，BC-VN在甘肅、江西、福建等多個省公司項目中已部署實施，大規(guī)模推廣。

5 結(jié)論

BC-VN產(chǎn)品解決了移動公有云3期面臨的諸多網(wǎng)絡(luò)問題，提升了整體網(wǎng)絡(luò)方案的靈活性、可擴展性，豐富了網(wǎng)絡(luò)功能，優(yōu)化了網(wǎng)絡(luò)運營、運維方式，使移動公有云具備了同AWS、阿里云同等水平的網(wǎng)絡(luò)能力。

集團一級私有云、移動公有云作為全球最大的SDN、NFV商用案例，BC-VN為移動內(nèi)外部單位云計算SDN、NFV引入起到了示范效應，有力促進了SDN、NFV技術(shù)的發(fā)展與推廣，引領(lǐng)SDN在數(shù)據(jù)中心云計算網(wǎng)絡(luò)領(lǐng)域的革命潮流，對未來核心網(wǎng)虛擬化、電信云建設(shè)、SDN及NFV在核心網(wǎng)引入具有一定的借鑒意義。

未來BC-VN產(chǎn)品將繼續(xù)緊跟SDN、NFV等先進技術(shù)發(fā)展潮流，豐富網(wǎng)絡(luò)功能，提升網(wǎng)絡(luò)性能，在支持異構(gòu)虛擬化網(wǎng)絡(luò)融合管理的基礎(chǔ)上，支持物理機及容器的綜合納管。

[1] 張朝昆，崔勇，唐翯祎，等. 軟件定義網(wǎng)絡(luò)（SDN）研究進展[J]. 軟件學報，2015,26(1):62-81.

[2] 馬淑惠，毋濤. NFV標準與開源技術(shù)現(xiàn)狀[J]. 電信科學，2016,32(3):43-47.

[3] 宋菲，候樂青. SDN/NFV標準及開源項目發(fā)展現(xiàn)狀研究[J]. 信息通信技術(shù)，2016(1):63-67+76.

News

中國移動發(fā)布“和創(chuàng)計劃”開啟“雙創(chuàng)2.0”新篇章

6月27日晚，“中國移動創(chuàng)客之夜”在上海舉行。中國移動發(fā)布了“和創(chuàng)計劃”，將“互聯(lián)網(wǎng)+”與“大眾創(chuàng)業(yè)、萬眾創(chuàng)新”深度融合，構(gòu)建萬物互聯(lián)的資源集聚“雙創(chuàng)”平臺，向全社會開放中國移動的特色能力與創(chuàng)新創(chuàng)業(yè)資源，構(gòu)建開放共享、合作共贏的“雙創(chuàng)”生態(tài)體系。中國移動總裁李躍、工信部通信發(fā)展司副司長陳家春、知名創(chuàng)投專家、孵化器及產(chǎn)業(yè)園區(qū)管理者以及數(shù)百名創(chuàng)客精英匯聚一堂，探討交流“雙創(chuàng)”發(fā)展新的業(yè)態(tài)與模式。

“和創(chuàng)計劃”將開放中國移動統(tǒng)一認證平臺、能力開放平臺、OneNET平臺及智能家庭網(wǎng)關(guān)，構(gòu)建“研發(fā)云”平臺，建設(shè)自建“和創(chuàng)空間”、共建“和創(chuàng)空間”、5G聯(lián)創(chuàng)中心、開放實驗室四類“雙創(chuàng)”基地。同時，打造線上孵化、線下孵化與加速、合作試驗、合作開發(fā)、合作孵化五類合作模式。面向?qū)W生、個人開發(fā)者、創(chuàng)業(yè)團隊、初創(chuàng)公司、小微及大中企業(yè)、孵化器/加速器、產(chǎn)業(yè)園區(qū)、投融資機構(gòu)等個人及企業(yè)開放，向“和創(chuàng)計劃”的參與者提供能力、服務、推廣、投資等多重優(yōu)惠政策。

（來源：中國移動通信集團公司)

Application of virtual network solutions based on SDN/NFV in cloud

WU Jiang-tao, CAO Xiao-gang, JIANG Shan
(China Mobile (Suzhou) Software Technology Co., Ltd./China Mobile Suzhou R & D Center, Suzhou 215163, China)

This paper introduces the architecture and functions of BC-VN, which is developed by China Mobile. As a virtual network solution, BC-VN integrates open-source and commercial SDN/NFV technologies and software products. Users can arrange virtual network according to requirements on a unified graphical interface, and build a secure, reliable, and flexible VPC.With advanced technologies, BC-VN can meet needs of virtual network construction in cloud, including public cloud, private cloud and hybrid cloud. Besides, BC-VN has already been used in China Mobile Group, provincial companies and other professional companies.

virtual private cloud; virtual network solution; cloud computing

TP393

A

1008-5599（2017）07-0014-06

2017-06-21

* 中國移動集團級一類科技創(chuàng)新成果，原成果名稱為《大云虛擬網(wǎng)絡(luò)系統(tǒng)BC-VN》。