中國電信浙江分公司網(wǎng)絡(luò)發(fā)展部 | 顧炯

浙江電信“玩轉(zhuǎn)”SDN技術(shù)創(chuàng)新成就運營商首個“內(nèi)外一朵云”

中國電信浙江分公司網(wǎng)絡(luò)發(fā)展部 | 顧炯

2014年底，中國電信浙江公司云計算資源池成為了業(yè)界首個商用的基于SRVSAN的軟件定義存儲（SDS），再加上前期已經(jīng)實現(xiàn)的計算虛擬化和軟件定義網(wǎng)絡(luò)（SDN），在業(yè)界率先構(gòu)建了一個軟件定義、遠距離“雙活”、安全的“內(nèi)外一朵云”的私有云計算資源池體系。

“內(nèi)外一朵云”是指將中國電信自有的業(yè)務(wù)系統(tǒng)和外部政企的系統(tǒng)都運行在同一個資源池內(nèi)，即內(nèi)部系統(tǒng)和外部系統(tǒng)同時運行在同一個物理機的不同虛擬機上，通過安全手段進行安全隔離，讓外部政企客戶也能享受電信級的安全性、穩(wěn)定性和可靠性，這些服務(wù)都是通過軟件定義技術(shù)來實現(xiàn)的。

截至2015年7月，資源池內(nèi)共有4路8核256G內(nèi)存物理服務(wù)器600多臺，這些服務(wù)器承載在80臺物理網(wǎng)絡(luò)設(shè)備上，共運行了6400多個虛擬機，有近400個浙江電信內(nèi)部的業(yè)務(wù)系統(tǒng)、IT系統(tǒng)和外部政企行業(yè)應(yīng)用平臺。其中有600多臺虛擬機通過SDN來實現(xiàn)內(nèi)部網(wǎng)絡(luò)組網(wǎng)，目前中國電信閱讀基地的300多臺虛擬機和近20個電信內(nèi)部、政企類的平臺也運行在上面。包括FCSAN和SRVSAN的“塊存儲”裸容量5.5P。浙江電信95%以上的業(yè)務(wù)平臺都已遷移運行在資源池內(nèi)，甚至包括業(yè)界認為很難“被云化”的語音類業(yè)務(wù)也成功云化，并穩(wěn)定運行了10個月。

浙江電信資源池從“雙活”走向“云化”

從電信業(yè)務(wù)的穩(wěn)定性、可靠性和連續(xù)性的角度考慮，浙江電信在2013年就完成了“最遠距離雙活”的云計算資源池體系：將物理服務(wù)器和相關(guān)的網(wǎng)絡(luò)、存儲設(shè)備部署在傳輸距離1600公里的紹興和金華兩個物理節(jié)點上，形成一個“大二層”的網(wǎng)絡(luò)。

雖然建成了“雙活”的資源池體系，解決了資源池的穩(wěn)定性、可靠性和連續(xù)性，但還是存在一些問題，影響和阻礙了資源池的快速部署、靈活調(diào)配。于是從2013年開始，浙江電信著手研究、探索和現(xiàn)場試驗SDN。

應(yīng)該說，傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)是影響云計算資源池快速部署、靈活調(diào)配的主要因素，這已經(jīng)成為資源池的主要瓶頸。

從網(wǎng)絡(luò)配置上看，私有云相較于公有云而言，各種平臺的網(wǎng)絡(luò)需求可謂是五花八門，網(wǎng)絡(luò)結(jié)構(gòu)更加復(fù)雜，個性化需求多。原來這些業(yè)務(wù)平臺的網(wǎng)絡(luò)需求都要抽象出來，配置在核心交換機、防火墻和負載均衡上。傳統(tǒng)網(wǎng)絡(luò)設(shè)備的配置往往需要通過命令行或者簡單的圖形界面完成，需要很高的專業(yè)水平，門檻高、難度大；同時這些成千上萬的配置都是集中在某幾個網(wǎng)絡(luò)設(shè)備上，配置缺乏隔離手段。隨著平臺的增加，配置越來越復(fù)雜，稍不謹慎就會相互影響，導(dǎo)致幾個平臺故障，甚至整個資源池網(wǎng)絡(luò)也會出現(xiàn)故障。所以傳統(tǒng)資源池網(wǎng)絡(luò)的配置只能集中在1或2名網(wǎng)絡(luò)管理員上，不僅工作壓力大，而且管理員生病、休假都會直接影響資源池的正常運行。

同時，大二層網(wǎng)絡(luò)的IP地址管理和規(guī)劃也是一件很復(fù)雜的事情，每個平臺的地址必須嚴格遵守配置規(guī)劃要求，并且不能重復(fù)，從資源池管理角度是沒有辦法確保地址的惟一性，因為業(yè)務(wù)平臺的管理員可以任意修改虛擬機的IP地址。曾經(jīng)一名平臺管理員因分配地址不夠用，在沒有申請的情況下擅自用了一個地址，但其實這個地址已經(jīng)分配給其他平臺使用，最后導(dǎo)致整個平臺出現(xiàn)故障，技術(shù)人員僅是在找出原因的環(huán)節(jié)上就花費了近一周時間。

網(wǎng)絡(luò)運維與業(yè)務(wù)平臺之間的“真空地帶”

原來的業(yè)務(wù)平臺都是“煙囪式”的建設(shè)模式，平臺管理員能看到物理設(shè)備，很容易了解和掌握網(wǎng)絡(luò)的拓撲，但是遷移到資源池內(nèi)后，服務(wù)器是虛擬機，網(wǎng)絡(luò)設(shè)置是共享的，沒有辦法呈現(xiàn)出和原來一樣的網(wǎng)絡(luò)拓撲。業(yè)務(wù)平臺的管理員雖然了解業(yè)務(wù)平臺的本身，但卻不太了解網(wǎng)絡(luò)結(jié)構(gòu)；而資源池的網(wǎng)絡(luò)管理員日常管理著成百上千個平臺網(wǎng)絡(luò)，并且對業(yè)務(wù)平臺的本身也不了解；由此形成了維護的“真空地帶”，這對平臺的維護和管理帶來了新的困難。

傳統(tǒng)的物理設(shè)備擴展性差，功能不靈活、配置資源有限，無法靈活實現(xiàn)多租戶環(huán)境和靈活調(diào)度。以替換核心交換機為例，隨著業(yè)務(wù)不斷膨脹，核心交換機原本就有上萬條的配置記錄，如果將原來的盒式防火墻替換成核心交換機上的板卡式防火墻，原來的路由發(fā)生了改變，不能簡單地導(dǎo)入原來的配置。雖然機房人員已經(jīng)進行了充分準(zhǔn)備，但替換割接還是耗費了近20個小時，且由于網(wǎng)絡(luò)過于復(fù)雜，導(dǎo)致割接失敗。后再次割接時，在原有的基礎(chǔ)上又花了20多個小時才完成替換工作。配置都集中在某些網(wǎng)絡(luò)設(shè)備上，導(dǎo)致網(wǎng)絡(luò)設(shè)備的某一資源耗盡，比如交換機的ACL資源等。

雖然資源池可以快速提供計算資源，但在一般情況下，1臺虛擬機可以在幾分鐘內(nèi)準(zhǔn)備完成，但是網(wǎng)絡(luò)資源往往要花很長時間。資源池的網(wǎng)絡(luò)管理員不了解業(yè)務(wù)平臺的網(wǎng)絡(luò)需求，而業(yè)務(wù)平臺管理員的網(wǎng)絡(luò)知識又匱乏，不能很好都地一次性將網(wǎng)絡(luò)抽象出來，網(wǎng)絡(luò)配置的過程其實類似于“擠牙膏”——需要不斷地調(diào)整、測試、再調(diào)整，甚至還有可能發(fā)生最后配置全部推倒重來的案例。如此看來，平均一個業(yè)務(wù)平臺網(wǎng)絡(luò)配置就需要花費2周的時間。

SDN為軟件定義提供3種途徑

所以，云計算需要一個低成本、高擴展、易配置、高隔離性、快速交付的網(wǎng)絡(luò)架構(gòu)，減輕網(wǎng)絡(luò)管理員的工作難度和工作壓力；提供業(yè)務(wù)平臺管理員簡單的配置手段和網(wǎng)絡(luò)拓撲，便于維護；縮短資源池網(wǎng)絡(luò)資源供給的時間；提高網(wǎng)絡(luò)的擴展性和隔離性。

SDN能夠解決這一難題，軟件定義網(wǎng)絡(luò)現(xiàn)在主要有3種方法：

1. 基于專用的接口：該類方案的實現(xiàn)思路是在不改變傳統(tǒng)網(wǎng)絡(luò)的實現(xiàn)機制和工作方式上，通過對現(xiàn)有網(wǎng)絡(luò)設(shè)備的操作系統(tǒng)進行升級改造，使之能夠支持專用的可編程接口供網(wǎng)絡(luò)管理系統(tǒng)調(diào)用，實現(xiàn)網(wǎng)絡(luò)設(shè)備的統(tǒng)一配置管理和策略下發(fā)，改變原先需要逐臺設(shè)備進行登錄配置的手工操作方式；同時，這些接口也可用于開發(fā)網(wǎng)絡(luò)應(yīng)用，實現(xiàn)網(wǎng)絡(luò)設(shè)備的軟件編程。

2. 基于開放協(xié)議的方案：它引入了開放的網(wǎng)絡(luò)協(xié)議標(biāo)準(zhǔn)如OpenFlow，強調(diào)網(wǎng)絡(luò)中控制與轉(zhuǎn)發(fā)的分離，支持“南向”網(wǎng)絡(luò)設(shè)備的集中控制，并提供豐富的“北向”應(yīng)用編程接口，能夠有效地降低網(wǎng)絡(luò)架構(gòu)復(fù)雜度，支持業(yè)務(wù)驅(qū)動的網(wǎng)絡(luò)資源靈活調(diào)配。

3. 基于疊加網(wǎng)絡(luò)的方案：該類方案的實現(xiàn)思路是以現(xiàn)行的IP網(wǎng)絡(luò)為基礎(chǔ)，在其上建立疊加的邏輯網(wǎng)絡(luò)（Overlay Logical Network）用于屏蔽掉底層物理網(wǎng)絡(luò)的差異，實現(xiàn)網(wǎng)絡(luò)資源的虛擬化，使得多個邏輯上彼此隔離的網(wǎng)絡(luò)分區(qū)以及多種異構(gòu)的虛擬網(wǎng)絡(luò)可以在同一共享網(wǎng)絡(luò)基礎(chǔ)設(shè)施上共存，支持網(wǎng)絡(luò)資源的多租戶共享并突破傳統(tǒng)網(wǎng)絡(luò)技術(shù)對租戶網(wǎng)絡(luò)的限制。

疊加網(wǎng)絡(luò)勝在“對現(xiàn)網(wǎng)影響最小”

基于自身云資源池的現(xiàn)狀和需求，浙江電信最終選擇了對現(xiàn)網(wǎng)影響最小、基于疊加網(wǎng)絡(luò)的方案，同時以隧道技術(shù)VxLAN 作為核心技術(shù)，其好處在于：

1. 屏蔽了運營商傳統(tǒng)建設(shè)采購模式造成的底層物理設(shè)備差異性，對現(xiàn)網(wǎng)影響小。

2. 所需要的計算資源開銷小，SDN的網(wǎng)絡(luò)組件完全融入到虛擬化層。

3. 網(wǎng)絡(luò)和計算虛擬化完全融合，天然感知計算資源的變化，有效協(xié)同。比如其中較為重要的虛機遷移功能。

4. 部署無需改變現(xiàn)網(wǎng)架構(gòu)，可使傳統(tǒng)網(wǎng)絡(luò)和SDN網(wǎng)絡(luò)共存。原有的業(yè)務(wù)平臺可以運行在非SDN網(wǎng)絡(luò)中，有需求的平臺可以運行在SDN網(wǎng)絡(luò)中，實現(xiàn)了網(wǎng)絡(luò)的“按需分配”。

該解決方案的物理設(shè)計總體上將環(huán)境分為不同的功能域：計算（Computing）、管理（Management）、邊界（Edge）、橋接（Bridge），采用扁平化的設(shè)計原則。

將原本只是做純粹L2通道交換的接入交換機改造為架頂式TOR（top-of-rack）交換設(shè)計，在此為各個VxLAN 的VTEP配置網(wǎng)關(guān)地址，并開啟三層路由功能。TOR 核心路由器為三層路由OSPF（Open Shortest Path First）交換, 資源可平行擴展, 能支持大量機架及TOR 建設(shè)。同時縮小了TOR及核心交換機管理MAC地址的數(shù)量，縮小了二層網(wǎng)絡(luò)范圍。

邊界域（Edge）部署在VxLAN 和VLAN網(wǎng)關(guān)之間，其數(shù)量等于外聯(lián) VLAN 的數(shù)量。該設(shè)計使得每個Edge虛擬網(wǎng)關(guān)負載較小，但數(shù)量變多，可以選擇用戶集群中的服務(wù)器進行負載均衡，且Edge虛擬網(wǎng)關(guān)與服務(wù)VLAN 1:1 對應(yīng), 有利于問題查找。

計算域（Computing）內(nèi)的VNI建立以每個業(yè)務(wù)的各種服務(wù)形態(tài)為單位, 如典型業(yè)務(wù)有Web/ APP/DB3種服務(wù)形態(tài)，即開設(shè)3個VNI給該業(yè)務(wù)，這樣更便于實現(xiàn)服務(wù)的“東-西向”傳輸效率及提高安全性。

虛擬網(wǎng)絡(luò)組網(wǎng)邏輯架構(gòu)。通過VxLAN和分布式交換機、分布式路由器和EDGE提供的NFV功能的租戶獨享，讓每個租戶的網(wǎng)絡(luò)運行在一個包廂里，它有獨立交換機、獨立路由器、獨立負載均衡、獨立“南-北向”防火墻、獨立“東-西向”防火墻、獨立VPN、獨立DHCP、獨立DNS等。用戶可以任意配置IP地址而不擔(dān)心和別人重疊，可以獨立地配置各種網(wǎng)絡(luò)設(shè)備，即使配置錯誤，也不用擔(dān)心影響別的系統(tǒng)和整個網(wǎng)路，所有的配置只能在本租戶網(wǎng)絡(luò)內(nèi)生效。

“傻瓜式”管理平臺實現(xiàn)真正的“內(nèi)外一朵云”

通過開發(fā)“傻瓜式”的管理平臺，管理人員將計算、網(wǎng)絡(luò)和存儲，利用計算虛擬化、SDN、SDS技術(shù)封裝，成為用戶獨立使用、簡單配置、安全隔離的包廂，實現(xiàn)了真正意義上的“內(nèi)外一朵云”。

筆者認為，“內(nèi)外一朵云”是混合云的另外一種表現(xiàn)形式，是更高級的私有云。它可以利用VxLAN實現(xiàn)不改變原有物理網(wǎng)絡(luò)基礎(chǔ)的共享、隔離的虛擬網(wǎng)絡(luò)架構(gòu)；通過邏輯交換機使網(wǎng)絡(luò)抽象化；通過邏輯路由器優(yōu)化網(wǎng)絡(luò)性能；通過EDGE邊界網(wǎng)關(guān)提供NFV功能，提高網(wǎng)絡(luò)服務(wù)的靈活性；通過vCenter+網(wǎng)絡(luò)統(tǒng)一管理組件實現(xiàn)計算和網(wǎng)絡(luò)的集中管理；通過“東-西”、“南-北”分布式防火墻提供安全和監(jiān)控；通過網(wǎng)元的HA提供高可用性和容錯性。