張 潮 ，萬成林 ，范宇楠 ，沈智鑌 ，賀 挺 ，詹全忠

（1. 水利部信息中心，北京 100053；2. 東華軟件股份公司，北京 100190）

0 引言

水利部機關網(wǎng)絡的核心網(wǎng)絡建于10多 a 前，存在架構(gòu)落后，設備嚴重老化，原廠已不再提供備品備件等問題。水利部機關網(wǎng)絡不只是為部機關工作人員、各業(yè)務系統(tǒng)提供網(wǎng)絡支撐，同時也是整個水利信息網(wǎng)骨干網(wǎng)的核心節(jié)點[1-2]，網(wǎng)絡的不穩(wěn)定會使整個水利信息網(wǎng)存在不穩(wěn)定風險。近年來，水利部進行了云計算虛擬化平臺的建設，網(wǎng)內(nèi)虛擬服務器的數(shù)量驟增，而且有部分業(yè)務數(shù)據(jù)處理量很大，處理速度要求很高，原有網(wǎng)絡架構(gòu)已無法實現(xiàn)網(wǎng)絡資源的快速響應。因此，無論是業(yè)務需要，還是網(wǎng)絡運行維護管理需要，都對基礎網(wǎng)絡資源提出了更高的要求，原有網(wǎng)絡已經(jīng)無法保障其承載的國家水資源監(jiān)控能力建設項目等重要信息系統(tǒng)服務的穩(wěn)定性、可靠性及安全性[3]。

SDN（軟件定義網(wǎng)絡）是一種新型的網(wǎng)絡技術，最本質(zhì)的特征是網(wǎng)絡控制與轉(zhuǎn)發(fā)分離，轉(zhuǎn)發(fā)行為可編程[4]。通過控制功能的遷移，對應用和網(wǎng)絡的抽象，將轉(zhuǎn)發(fā)平面與控制平面分離，能夠把網(wǎng)絡看成一個邏輯虛擬實體，成為類似計算機的基礎架構(gòu)，將轉(zhuǎn)發(fā)行為抽象，提供標準化的、開放的控制接口?？刂破矫婵梢赃\行在外部調(diào)用控制接口，并根據(jù)全局的網(wǎng)絡視圖，實現(xiàn)更加靈活的控制，更為網(wǎng)絡與計算、存儲等功能結(jié)合，形成網(wǎng)絡、計算和存儲融合的服務環(huán)境提供了可能[5]。近年來，SDN技術逐漸從學術界走向工業(yè)界，在大型數(shù)據(jù)中心、云計算等環(huán)境中取得較好的效果[6]，從行業(yè)應用看，在能源、電信等行業(yè)中都有實際應用案例[7-8]。

為此，利用 SDN 技術對水利部機關網(wǎng)絡環(huán)境進行整合優(yōu)化升級，替換陳舊網(wǎng)絡設備，提升網(wǎng)絡帶寬，提高網(wǎng)絡系統(tǒng)運行的安全性與可靠性，滿足云計算、大數(shù)據(jù)等新技術需要。

1 水利部機關網(wǎng)絡狀況與總體升級設計

水利部機關網(wǎng)絡覆蓋了水利部機關南北兩院和城域網(wǎng)中的在京單位，網(wǎng)絡設備分布于多個機房及若干配線間，連接了水利部機關網(wǎng)絡所有物理服務器、云平臺、終端和保障設施，并通過專線連通水利部各直屬單位、各省級水行政主管部門，是水利骨干網(wǎng)的中心節(jié)點。同時，與國家電子政務外網(wǎng)和互聯(lián)網(wǎng)連接，并通過專線連接氣象等其他行業(yè)單位。水利部機關網(wǎng)絡中承載了水資源管理、水利部網(wǎng)站、防汛抗旱指揮、水文監(jiān)測、視頻會商等多個重要應用系統(tǒng)，網(wǎng)絡連接示意如圖1所示。

圖1 水利部網(wǎng)絡連接示意圖

1.1 網(wǎng)絡改造前狀況

1.1.1 改造前網(wǎng)絡拓撲

改造前的水利部機關網(wǎng)絡環(huán)境拓撲如圖2所示。

圖2 水利部機關網(wǎng)絡原網(wǎng)絡架構(gòu)

改造前的水利部機關網(wǎng)絡主要存在以下問題：

1）網(wǎng)絡區(qū)域劃分不明顯，同業(yè)務網(wǎng)關部署在多臺網(wǎng)絡設備上。服務器區(qū)的網(wǎng)關分布在服務器匯聚、國調(diào)樓核心、主樓核心、東樓核心設備上，各單位終端的網(wǎng)關分布在國調(diào)樓、主樓、東樓核心設備上。

2）接入層網(wǎng)絡設備多為千兆電口設備，限制了服務器的上下行數(shù)據(jù)交換能力。

3）核心匯聚層設備多為萬兆設備，無法滿足現(xiàn)在服務器和各類業(yè)務的需求。

4）網(wǎng)絡架構(gòu)為傳統(tǒng)的核心-匯聚-接入三層架構(gòu)，網(wǎng)絡資源管理復雜，故障點多，無法較好滿足虛擬機遷移等需求。

5）辦公區(qū)終端物理位置受接入交換機限制，無法實現(xiàn)網(wǎng)內(nèi)任意位置遷移。

1.1.2 改造前網(wǎng)絡業(yè)務

原水利部機關網(wǎng)絡中包含以下多個業(yè)務網(wǎng)段：服務器區(qū)業(yè)務有包括視頻會議和災備等業(yè)務在內(nèi)的20 多個網(wǎng)段；互聯(lián)網(wǎng)服務區(qū)業(yè)務有10個以上業(yè)務網(wǎng)段；辦公區(qū)業(yè)務有包括城域網(wǎng)業(yè)務在內(nèi)的70多個業(yè)務網(wǎng)段；另有超過10個的其他網(wǎng)段，作為設備管理和互聯(lián)地址。

1.2 網(wǎng)絡整合優(yōu)化總體設計

基于當前網(wǎng)絡的業(yè)務情況，對水利部機關網(wǎng)絡進行功能分區(qū)，具體網(wǎng)絡區(qū)域劃分設計如圖3所示。

圖3 水利部機關網(wǎng)絡架構(gòu)優(yōu)化示意圖

具體架構(gòu)分析如下：

1）服務器區(qū)。服務器區(qū)業(yè)務網(wǎng)關統(tǒng)一部署在新增的服務器區(qū)核心交換機上，各個不同物理位置的機房服務器區(qū)接入交換機直連至服務器核心交換機。

SDN 控制器旁掛在服務器區(qū)核心上，控制器網(wǎng)關部署于服務器區(qū)核心上，通過 Undelay 網(wǎng)絡帶內(nèi)與各物理網(wǎng)元通信，同時控制服務器區(qū)和互聯(lián)網(wǎng)服務區(qū)。

服務器區(qū)的國調(diào)樓、主樓、東樓3組防火墻合并為1組，旁掛在新服務器區(qū)核心交換機上，通過調(diào)整路由使南北向流量經(jīng)過服務器防火墻再到達外部。

原服務器區(qū)匯聚上的負載均衡設備遷移至服務器區(qū)新核心交換機，采用旁掛的方式，調(diào)整接口及路由對外提供服務。

2）互聯(lián)網(wǎng)服務區(qū)。原互聯(lián)網(wǎng)服務區(qū)業(yè)務網(wǎng)關在互聯(lián)網(wǎng)服務區(qū)防火墻上，本次改造將互聯(lián)網(wǎng)服務區(qū)業(yè)務網(wǎng)關下移至互聯(lián)網(wǎng)服務區(qū)核心交換機，互聯(lián)網(wǎng)服務區(qū)核心交換機與防火墻三層互聯(lián)，使流量能夠經(jīng)防火墻，保證對業(yè)務訪問的控制能力。

互聯(lián)網(wǎng)服務區(qū)核心交換機下聯(lián)互聯(lián)網(wǎng)服務區(qū)所有接入交換機，接入交換機充當 VXLAN VTEP（虛擬局域網(wǎng)隧道終結(jié)點）節(jié)點。互聯(lián)網(wǎng)服務區(qū)原負載均衡設備旁掛至新互聯(lián)網(wǎng)服務區(qū)核心交換機，調(diào)整接口及路由對外提供服務。

3）辦公區(qū)。辦公區(qū)業(yè)務網(wǎng)關采用分布式網(wǎng)關，接入交換機作為 Leaf 葉節(jié)點，匯聚設備作為Underlay 節(jié)點，核心設備使用2臺核心設備虛擬化，作為邊界設備連通外部網(wǎng)絡。辦公區(qū) SDN 控制器旁掛在辦公核心交換區(qū)。

4）其他區(qū)域。將視頻會議網(wǎng)段合并為一個網(wǎng)段，網(wǎng)關部署于服務器核心交換機，視頻會議接入交換機上聯(lián)至服務器核心交換機，對視頻會議進行獨立網(wǎng)段保證。對災備區(qū)、安管區(qū)原有設備升級設備硬件，將各區(qū)域保持原網(wǎng)絡邏輯架構(gòu)割接至新核心交換機。

2 辦公區(qū) SDN 升級方案

2.1 辦公區(qū)基礎網(wǎng)絡設計規(guī)劃

2.1.1 辦公區(qū)基礎網(wǎng)絡架構(gòu)

辦公區(qū)基礎網(wǎng)絡具體架構(gòu)如下：

1）核心層。核心層主要起到連結(jié)辦公區(qū)網(wǎng)絡所有業(yè)務流量的作用，因此可靠性是及其重要的。本方案中，2 臺核心交換機通過2條40Gbit/s 鏈路實現(xiàn)互聯(lián)，并且利用設備虛擬化技術，將2臺交換機虛擬化為1臺設備，能夠?qū)崿F(xiàn)配置、表項的統(tǒng)一，2 臺設備能夠通過1個 IP 進行統(tǒng)一管理，且具備分裂檢測機制，能夠滿足業(yè)務的高可靠性需求。虛擬化后的辦公區(qū)網(wǎng)絡核心交換機與服務器區(qū)核心間通過40Gbit/s 鏈路實現(xiàn)互聯(lián)，并且進行鏈路捆綁，以此實現(xiàn)網(wǎng)絡的高可靠性，保障業(yè)務不會中斷。

2）匯聚層。本次辦公區(qū)網(wǎng)絡按照物理位置進行匯聚的部署，分別在各辦公樓宇部署辦公匯聚交換機，充分體現(xiàn)了層次性和清晰性。

在本次方案設計中，每個匯聚節(jié)點部署2臺高性能匯聚交換機。機房匯聚交換機設備對上與核心交換機通過2條40Gbit/s 鏈路進行連接，保證跨區(qū)域的訪問帶寬；對下與接入交換機通過2條10Gbit/s鏈路相連接，滿足收斂比設計和基礎資源層的接入等要求。

匯聚設備同樣采用虛擬化的方式部署。將2臺設備虛擬化成1臺設備，接入交換機到匯聚交換機采用的雙鏈路上聯(lián)，等同于雙鏈路連接到1臺匯聚設備上，能夠?qū)崿F(xiàn)跨設備鏈路聚合。當上聯(lián)1條鏈路中斷時，相當于是聚合鏈路的一條成員鏈路出現(xiàn)故障，切換到另一條成員鏈路的時間小于20ms。

極端情況下，即使其中1臺設備宕機，也不會對網(wǎng)絡造成大的影響，基本能夠保證整個切換過程的用戶業(yè)務切換無感知。

2 臺交換機組成虛擬化集群以后，實現(xiàn)對2臺交換機的統(tǒng)一管理，簡化了管理流程。和傳統(tǒng)技術相比，虛擬化的優(yōu)勢主要有，簡化組網(wǎng)拓撲結(jié)構(gòu)，簡化管理；減少設備數(shù)量，減少管理工作量；多臺設備合并后可以有效提高性能；多臺設備之間可以實現(xiàn)無縫切換，有效提高網(wǎng)絡高可用性。

3）接入層。本次辦公區(qū)網(wǎng)絡的辦公區(qū)網(wǎng)絡接入能力將從百兆網(wǎng)絡升級為千兆網(wǎng)絡，接入層設備雙上行并進行捆綁鏈接至匯聚層交換機，作為VXLAN 節(jié)點，供終端接入 VXlAN 網(wǎng)絡。

2.1.2 辦公區(qū)路由規(guī)劃

全網(wǎng) Underlay 使用 OSPF（開放式最短路徑優(yōu)先協(xié)議）互聯(lián)，本地環(huán)回接口地址為路由 ID，通告設備互聯(lián) IP 及環(huán)回地址，SDN 組網(wǎng)使用 Spine 脊節(jié)點-匯聚-Leaf 葉節(jié)點架構(gòu)組網(wǎng)，架構(gòu)如圖4所示。

圖4 水利部機關網(wǎng)絡辦公路由規(guī)劃

2.2 辦公網(wǎng)區(qū) SDN 升級特點

辦公網(wǎng)經(jīng)過 SDN 升級改造后，基于虛擬局域網(wǎng)和專用網(wǎng)絡技術，實現(xiàn)了包括辦公網(wǎng)絡的自動化上線，業(yè)務端到端自動化部署，接入用戶名址綁定，有線無線一體化管理等一系列功能。整體架構(gòu)基于SDN 思想提升了水利部機關辦公網(wǎng)絡的運維管理能力。具體特點如下：

1）位址分離/名址綁定。位指位置，址指 IP 地址，名指用戶本身或者業(yè)務。位址分離就是 IP 地址與物理位置解耦，名址綁定就是用戶/業(yè)務和 IP 地址綁定，IP 地址不光從技術層面承載連通性，支撐路由轉(zhuǎn)發(fā)，而且還具有直接標識業(yè)務/用戶的功能，策略可以直接根據(jù)五元組實施，大大簡化了傳統(tǒng)網(wǎng)絡策略的部署。最終達到所見即所得的效果，IP 即用戶，網(wǎng)段即業(yè)務，同時也大大簡化了網(wǎng)絡的審計。

2）策略隨行。指用戶移動到哪里，策略就跟隨到哪里，用戶的體驗不變，比如部門 A 的工作人員移動到水利部機關的會議室等任何位置，依舊獲得部門 A 的權限，訪問部門 A 的相關資源，策略保持不變。

3）網(wǎng)絡開放。除了基礎網(wǎng)絡架構(gòu)之外，還提供軟件定義能力，通過網(wǎng)絡控制器的上層開放接口，允許第三方進行增值開發(fā)，從而快速提供新的功能。

4）業(yè)務部署極簡。減少了上線工作量及復雜度，能夠快速實現(xiàn)新業(yè)務上線。

5）全面資源管理。對網(wǎng)絡環(huán)境資源可統(tǒng)一管控，提供拓撲、網(wǎng)絡設備、IP 地址、用戶的管理等功能。

3 服務器區(qū)網(wǎng)絡升級方案

3.1 服務器區(qū)基礎網(wǎng)絡設計規(guī)劃

3.1.1 服務器區(qū)架構(gòu)

服務器區(qū)架構(gòu)具體如下：

1）核心層。核心層主要負責連通所有的功能分區(qū)，構(gòu)建一個高速交換的以太網(wǎng)骨干網(wǎng)絡。核心層節(jié)點作為數(shù)據(jù)網(wǎng)絡系統(tǒng)的心臟，必須提供全線速的數(shù)據(jù)交換，當網(wǎng)絡流量較大時，對關鍵業(yè)務的服務質(zhì)量提供保障。另外作為整個網(wǎng)絡的交換中心，在保證高性能、無阻塞交換的同時，還必須保證穩(wěn)定可靠的運行，所以核心層交換機本身具備設備模塊級冗余。核心層節(jié)點還需要具有良好的可擴充性和高密度端口的承載能力，能夠保障隨著將來服務器區(qū)網(wǎng)絡規(guī)模的擴充而平滑升級。

在本次升級中，與辦公核心層一致，服務器核心交換機采用2臺高性能核心設備，設備之間通過40 Gbit/s 鏈路互聯(lián)作為堆疊口，使用虛擬化技術將2 臺交換機虛擬化為1臺設備，虛擬化后的服務器區(qū)網(wǎng)絡核心交換機與辦公核心間通過2條40Gbit/s鏈路互聯(lián)，互聯(lián)均進行鏈路捆綁，以實現(xiàn)網(wǎng)絡的高可靠性、高性能。

2）接入層。采用大二層的設計思路，去掉了匯聚層，服務器區(qū)業(yè)務接入交換機使用萬兆電和光設備，通過2×40Gbit/s 鏈路連接至核心設備，互聯(lián)鏈路進行捆綁。

3.1.2 服務器區(qū)路由規(guī)劃

統(tǒng)一規(guī)劃 Underlay 網(wǎng)絡，使用 OSPF 協(xié)議，規(guī)定進程號和區(qū)域號，路由器 ID 使用環(huán)回接口地址，使用網(wǎng)絡方式宣告直連網(wǎng)段、環(huán)回接口地址，路由規(guī)劃如圖5所示。

圖5 水利部機關網(wǎng)絡服務器區(qū)路由規(guī)劃

3.2 服務器區(qū) SDN 升級特點

使用 VXLAN 技術實現(xiàn)在傳統(tǒng)網(wǎng)絡之上搭建Overlay 覆蓋網(wǎng)絡，Overlay 網(wǎng)絡是物理網(wǎng)絡向云和虛擬化的深度延伸，能夠?qū)崿F(xiàn)虛擬網(wǎng)絡擺脫物理網(wǎng)絡的限制?？蓪⒕W(wǎng)絡設備的控制層面與轉(zhuǎn)發(fā)層面分離，以實現(xiàn)對網(wǎng)絡流量的靈活控制，為云業(yè)務系統(tǒng)提供所需的新一代網(wǎng)絡環(huán)境。具體特點如下：

1）控制和轉(zhuǎn)發(fā)分離?？刂茖用婵梢詳[脫對傳統(tǒng)網(wǎng)絡設備的依賴，實現(xiàn)網(wǎng)絡流量統(tǒng)一管理調(diào)度。

2）集中控制。方便對池化的資源進行靈活的控制和監(jiān)管，對網(wǎng)絡資源整體把控。

3）開放的 API。開放統(tǒng)一的南向和北向接口，可與云管、云虛擬化等平臺對接，實現(xiàn)云資源統(tǒng)一編排。

4）消除傳統(tǒng)網(wǎng)絡限制。使用 VXLAN 技術構(gòu)建跨三層網(wǎng)絡的 Overlay 網(wǎng)絡，實現(xiàn)網(wǎng)絡環(huán)境與物理位置解耦，業(yè)務系統(tǒng)主機可在各個樓宇間、數(shù)據(jù)中心間靈活遷移，不受網(wǎng)絡環(huán)境約束；IP 地址可靈活分配，業(yè)務 IP 地址不受物理網(wǎng)絡約束，業(yè)務變動無需改動物理網(wǎng)絡；同時解決了傳統(tǒng)網(wǎng)絡中的 VLAN限制。

5）簡化維護工作。減少上線工作量及復雜度，能夠快速實現(xiàn)新業(yè)務上線。在日常運維中通過控制器表象信息可快速定位故障原因并及時解決問題。

6）高易用性?；?Web 頁面進行管理，直觀顯示用戶的網(wǎng)絡設備和接入主機，記錄詳細的日志信息，用戶行為可跟蹤。

4 運行狀況

本次水利部機關網(wǎng)絡 SDN 優(yōu)化升級已經(jīng)進入試運行階段，總體上比較平穩(wěn)，有力提升了網(wǎng)絡運維管理水平，增強了故障發(fā)現(xiàn)定位能力，主要運行優(yōu)勢如下：

1）升級老舊網(wǎng)絡設備并使用虛擬化技術將2臺物理設備堆疊為1臺設備使用，提升了網(wǎng)絡性能及可靠性。

2）調(diào)整網(wǎng)絡結(jié)構(gòu)，優(yōu)化網(wǎng)關及 IP 地址、VLAN、路由，配合升級后的新網(wǎng)絡設備提升網(wǎng)絡轉(zhuǎn)發(fā)效率。

3）規(guī)劃網(wǎng)絡區(qū)域，調(diào)整相應設備部署區(qū)域，優(yōu)化網(wǎng)絡區(qū)域結(jié)構(gòu)減少流量交錯，提升了整體網(wǎng)絡的可靠性。

4）通過 SDN 技術對接虛擬化網(wǎng)絡功能資源，采用服務鏈的方式，細化了同區(qū)域業(yè)務與跨區(qū)域業(yè)務互訪交互的控制，提升業(yè)務環(huán)境的安全性。

5 結(jié)語

本次水利部機關網(wǎng)絡 SDN 升級的關鍵設備是核心層網(wǎng)絡設備和隨之新增的 SDN 控制器。SDN本身對網(wǎng)絡規(guī)模沒有要求，但是小范圍的網(wǎng)絡實施SDN 改造相對意義較小，SDN 優(yōu)勢在大型數(shù)據(jù)中心網(wǎng)絡中體現(xiàn)最為明顯。如果現(xiàn)狀網(wǎng)絡的接入層設備支持 SDN 協(xié)議，可作為受控轉(zhuǎn)發(fā)設備，成本會相對低廉很多，僅需更新核心設備和 SDN 控制器。

由于水利部機關網(wǎng)絡建設較早，機房物理情況、網(wǎng)路架構(gòu)、業(yè)務部署都比較復雜，此次升級更新了所有核心層和大部分接入層的網(wǎng)絡設備，為保證在整體升級改造中基本不對網(wǎng)絡造成影響，共進行了大大小小的割接50余次。水利部機關網(wǎng)絡SDN 升級從方案規(guī)劃開始實施到進入試運行共計耗時約12個月，試運行至今已超過3個月，未發(fā)生較大的故障問題。實施過程中最大的問題是原網(wǎng)絡拓撲復雜和現(xiàn)階段 SDN 技術對老舊設備的支持不夠完美?？傮w來講，本次基于 SDN 技術的升級改造有力提升了內(nèi)部網(wǎng)絡互聯(lián)帶寬，減小了網(wǎng)絡收斂比，在提高業(yè)務服務能力的同時也提升了工作人員的辦公體驗，后續(xù)要繼續(xù)探索整體網(wǎng)絡狀態(tài)監(jiān)控、IPv6 改造、網(wǎng)絡安全資源池化等問題。