沈 波, 劉旭林, 劉亞楠

(北京市氣象信息中心,北京100089)

0 引言

隨著氣象事業(yè)的不斷發(fā)展,不同的業(yè)務應用在不斷地增加,由于氣象數(shù)據(jù)復雜多樣,信息網(wǎng)絡系統(tǒng)承載著各種應用及多種業(yè)務接入,面對海量數(shù)據(jù),千兆以太網(wǎng)越來越成為信息傳輸?shù)钠款i。目前桌面接入已經(jīng)逐步千兆化,如果骨干網(wǎng)仍然是千兆帶寬,在業(yè)務繁忙時,大量數(shù)據(jù)同時傳輸,網(wǎng)絡很容易擁堵,升級成萬兆以太網(wǎng)是很好的解決方案,萬兆以太網(wǎng)部署成本逐年降低,從經(jīng)濟方面考慮也切實可行。北京市氣象局原有的千兆核心交換機為插槽式模塊化結(jié)構(gòu),為了節(jié)約成本保護投資,此次升級采用模塊升級方案,盡量利用原有設(shè)備,通過更換核心交換機部分模塊實現(xiàn)萬兆骨干網(wǎng)的平滑升級。

1 萬兆以太網(wǎng)

2002年6月IEEE委員會正式通過萬兆以太網(wǎng)標準802.3ae,將原IEEE 802.3標準規(guī)范的以太網(wǎng)工作速率擴展到10Gbps,并將其應用空間從LAN擴展到MAN和WAN鏈路,同時考慮在WDM光網(wǎng)絡接口和SDH/SONET網(wǎng)絡上10Gb幀信號的傳輸。這一方面使以太網(wǎng)的帶寬提高10倍以上,另一方面又保持原以太網(wǎng)模型、網(wǎng)絡拓撲結(jié)構(gòu)、介質(zhì)接入控制MAC協(xié)議相同的幀結(jié)構(gòu)格式和尺寸大小。這樣,萬兆以太網(wǎng)可以向下兼容百兆以太網(wǎng),與原來的以太網(wǎng)模型完全相同,現(xiàn)有的以太網(wǎng)絡可以方便地向萬兆以太網(wǎng)升級,先前網(wǎng)絡基礎(chǔ)結(jié)構(gòu)的投資不會浪費。

1.1 技術(shù)簡介

在國際標準化組織的OSI七層模型中,萬兆以太網(wǎng)標準802.3ae屬于物理層和數(shù)據(jù)鏈路層這兩個底層協(xié)議。

萬兆以太網(wǎng)物理層與OSI模型的第一層協(xié)議一致,物理層分成多個子層,如物理介質(zhì)相關(guān)子層(Physical Media Dependent,PMD)、物理編碼子層(Physical Coding Sublayer,PCS),光纖的發(fā)送和接收的工作是由PMD層完成,PCS層則完成編碼的功能以及復用的功能。802.3ae規(guī)范定義了兩種物理層:局域網(wǎng)的物理層和廣域網(wǎng)的物理層,廣域網(wǎng)的物理層標準對局域網(wǎng)協(xié)議進行了拓展。

萬兆以太網(wǎng)數(shù)據(jù)鏈路層使用IEEE 802.3以太網(wǎng)的MAC層協(xié)議、802.3的以太網(wǎng)幀結(jié)構(gòu)最大及最小的幀長度,就像1000BASE-X和1000BASE-T等千兆以太網(wǎng)的標準仍然屬于以太網(wǎng)模型,萬兆以太網(wǎng)繼續(xù)著以太網(wǎng)在速度和距離上的演變,它只能在全雙工模式下工作,并且不需要CSMA/CD協(xié)議。在其他方面,萬兆以太網(wǎng)標準仍然與一般以太網(wǎng)標準一致。

1.2 萬兆鏈路接口類型

萬兆以太網(wǎng)鏈路的接口標準在不斷地修改和完善,2002年6月通過的IEEE 802.3ae,包括10GBASE-X、10GBASE-R、10GBASE-W等接口類型;2004年2月,IEEE正式推出銅纜萬兆以太網(wǎng)標準IEEE 802.3ak,接口類型為10GBASE-CX4,標準基于同軸銅纜進行萬兆傳輸;2006年6月,基于非屏蔽雙絞線銅質(zhì)電纜的10Gb以太網(wǎng)IEEE 802.3an規(guī)范批準通過,接口類型為10GBASE-T,可使用通用的RJ-45連接器;2006年10月通過IEEE 802.3aq,增加了10GBase-LRM接口,可在老的FDDI或OM1級光纖上實現(xiàn)260米距離的萬兆傳輸。萬兆鏈路主要的接口與標準如表1所示。

表1 萬兆鏈路主要的接口與標準

萬兆以太網(wǎng)光模塊有MSA模塊、XENPAK、X2、XFP與SFP+等。其中300針MSA模塊是最早出現(xiàn)的模塊,最初面向SDH網(wǎng)絡而設(shè)計,尺寸大并且價格比較昂貴,應用十分有限;XENPAK是面向萬兆以太網(wǎng)的第一代光模塊,可支持10BASE-SR/LR/ER/LRM等接口。X2是XENPAK模塊的直接改進版,體積縮小了40%,光接口、電接口都與原來保持一致。XFP只提供光電轉(zhuǎn)換而省略編碼、解碼功能。SFP+從通用的SFP衍生的版本,規(guī)格與1Gb的SFP相同,支持不同波長的單模、多模光纖,應用越來越廣泛。

1.3 萬兆以太網(wǎng)特點

萬兆以太網(wǎng)具有萬兆傳輸帶寬,基本承襲以太網(wǎng)、快速以太網(wǎng)及千兆以太網(wǎng)技術(shù),在用戶普及率、使用方便性、網(wǎng)絡互操作性及簡易性上擁有極大的優(yōu)勢。在升級到萬兆以太網(wǎng)解決方案時,用戶不必擔心既有的程序或服務是否會受到影響,升級的風險非常低。萬兆以太網(wǎng)具有如下技術(shù)特點:

(1)傳輸速率達10Gbps,是千兆以太網(wǎng)IEEE802.3z標準的10倍;

(2)保留了802.3以太網(wǎng)的幀格式,實現(xiàn)從百兆、千兆網(wǎng)絡平滑升級到萬兆網(wǎng),在未來升級到40G甚至100G都將是很明顯的優(yōu)勢;

(3)使用全雙工的工作方式,不再使用半雙工傳輸模式和沖突檢測的載波偵聽多路訪問協(xié)議(CSMA/CD);

(4)采用局域網(wǎng)和廣域網(wǎng)兩種物理層模型,可實現(xiàn)LAN、MAN和WAN網(wǎng)絡的無縫連接。

2 VSS技術(shù)

圖1 VSS1440與傳統(tǒng)網(wǎng)絡比較

VSS是一種網(wǎng)絡系統(tǒng)虛擬化技術(shù),將兩臺采用了Virtual Switching Supervisor 720-10G VSS的Cisco Catalyst 6500系列交換機組合為單一虛擬交換機。在VSS中,這兩個交換機中的720Gbps管理引擎的數(shù)據(jù)面板和交換陣列能同時激活,因此總系統(tǒng)交換能力可達1440Gbps,稱為虛擬交換系統(tǒng)1440(VSS1440),如圖1所示。

在一個VSS1440中,只有其中一個虛擬交換機成員有激活的控制平面。這兩個機箱通過機箱間狀態(tài)切換(SSO)機制和不間斷轉(zhuǎn)發(fā)(NSF)保持同步,即使某個管理引擎或機箱發(fā)生故障,也能提供不間斷通信。

VSS成員通過虛擬交換機鏈路(VSL)連接。VSL在虛擬交換機成員之間使用標準萬兆以太網(wǎng)連接(多達8條,以提供冗余性)。通過在Virtual Switching Supervisor 720-10G或WS-X6708-10G模塊的任意端口上使用萬兆以太網(wǎng)上行鏈路,即能形成VSL。除在VSS成員間進行控制面板通信外,VSL也能傳輸普通用戶流量。

VSS技術(shù)具有如下優(yōu)勢:

(1)兩臺核心交換機虛擬成一臺核心交換機,通過簡化網(wǎng)絡提高了運營效率,無需再使用HSRP、VRRP等雙機冗余技術(shù),每VLAN只需一個網(wǎng)關(guān)IP地址,創(chuàng)建了簡化的無環(huán)路技術(shù),不再采用生成樹協(xié)議。

(2)VSS能夠優(yōu)化不間斷通信,在一個虛擬交換機成員發(fā)生故障時,不再需要進行L2/L3協(xié)議重收斂,能在一秒內(nèi)完成確定性L2鏈路恢復,無需再使用生成樹協(xié)議來進行鏈路恢復。

(3)VSS能夠?qū)⑾到y(tǒng)帶寬容量擴展到1.44Tbps,在兩臺交換機之間實現(xiàn)標準的鏈路匯聚。

(4)VSS使用原有多層交換架構(gòu),支持基于標準的萬兆以太網(wǎng)連接,在原有CISCO 6500系列交換機的基礎(chǔ)上平滑升級,最大程度保護原有投資。

3 方案設(shè)計

3.1 現(xiàn)狀分析

北京市氣象局原有局域網(wǎng)絡建于2004年,千兆骨干,百兆交換到桌面,網(wǎng)絡結(jié)構(gòu)省略了匯聚層,為核心層-接入層的2層扁平化網(wǎng)絡結(jié)構(gòu)。核心交換機為2臺CISCO 6509,通過HSRP方式實現(xiàn)雙機熱備,接入層交換機為CISCO 3750,數(shù)臺CISCO 3750堆疊,然后通過2對多模光纖上聯(lián)至核心交換機。建設(shè)之初完全滿足業(yè)務需求,千兆主干網(wǎng)絡尚有一定的帶寬余量,隨著業(yè)務的不斷增多,服務器、終端的接入數(shù)量成倍增加,千兆接入的需求也日益增長,在業(yè)務量相對較大的會商室網(wǎng)絡反應較慢,已影響了預報業(yè)務的正常運轉(zhuǎn),迫切需要對網(wǎng)絡進行萬兆網(wǎng)升級改造。

3.2 網(wǎng)絡升級原則

網(wǎng)絡升級應盡量采用符合國際標準、比較成熟的技術(shù),兼顧網(wǎng)絡技術(shù)的發(fā)展方向,保證網(wǎng)絡在較長時間內(nèi)不落后。首先應堅持平滑升級的原則,盡量不改變原有網(wǎng)絡結(jié)構(gòu),保證已有設(shè)備還能發(fā)揮作用,避免硬件大規(guī)模替代造成的資源浪費;其次應該標準化,只有符合標準的網(wǎng)絡設(shè)備才能在網(wǎng)絡互聯(lián)中具備良好的兼容性;再次應該保持一定的先進性,避免升級后的網(wǎng)絡在很短的時間內(nèi)被淘汰;另外還應具備一定的擴展性,還能在此基礎(chǔ)上進一步升級。

3.3 升級方案

由于預算經(jīng)費有限,升級不對網(wǎng)絡結(jié)構(gòu)進行調(diào)整,仍然保持原有核心層-接入層的扁平化網(wǎng)絡結(jié)構(gòu),并盡量利用原有設(shè)備,實現(xiàn)萬兆平滑升級,減少升級過程中的斷網(wǎng)時間。原有核心交換機背板帶寬720Gbps,能滿足萬兆數(shù)據(jù)交換要求,插槽式的模塊化結(jié)構(gòu)能方便地進行模塊更新,通過模塊升級方式實現(xiàn)萬兆接入,舊的機箱與模塊能充分得到利用;原有接入層多個交換機背板堆疊,升級后新增加的接入層萬兆上聯(lián)交換機應能加入堆疊,實現(xiàn)交換機間的背板數(shù)據(jù)交換。

核心交換機進行引擎升級,以支持萬兆以太網(wǎng),并實現(xiàn)VSS雙機系統(tǒng),再增加萬兆光纖模塊,滿足接入層交換機萬兆上聯(lián)需求。接入層增加具備萬兆上聯(lián)接口的交換機,并與原有的CISCO 3750進行堆疊,即可實現(xiàn)與核心交換機的萬兆上聯(lián)。升級后的萬兆以太網(wǎng)拓撲結(jié)構(gòu)如圖2所示。

圖2 萬兆以太網(wǎng)拓撲圖

3.4 設(shè)備選型

萬兆核心交換機平臺的升級采用CISCO公司新研發(fā)的VSS(虛擬交換系統(tǒng))技術(shù),通過VSS實現(xiàn)雙核心互備,代替原有的HSRP方式,萬兆模塊選用8個萬兆端口的WS-X6708-10G-3C。每個配線間接入層交換機增加1臺CISCO 3750E,每臺CISCO 3750E配置2個萬兆模塊,實現(xiàn)萬兆雙鏈路冗余上聯(lián)。

3.4.1 核心交換機模塊

核心交換機的引擎升級為VS-S720-10G-3C,這款全新的管理引擎將數(shù)據(jù)包轉(zhuǎn)發(fā)能力提高到450Mpps,提供了高密度上行鏈路、系統(tǒng)虛擬化、更高吞吐量和可擴展性能及豐富的IP特性集,以及可擴展的千兆以太網(wǎng)和萬兆以太網(wǎng)性能,適用于企業(yè)核心層/分布層應用和數(shù)據(jù)中心。該引擎是VSS1440虛擬交換系統(tǒng)的一個關(guān)鍵組件,能夠提供高可用性、出色運營效率和更高帶寬,且部署十分簡便。憑借其增強的陣列功能,能在1秒內(nèi)完成故障切換,從而快速切換到備用引擎。該引擎支持VSS1440,所有模塊相應配置DFC3C轉(zhuǎn)發(fā)卡,萬兆模塊選用WSX6708-10G-3C,有8個萬兆端口,每個端口安裝1個X2-10GB-LRM光模塊,可在普通多模光纖上實現(xiàn)220米的萬兆傳輸距離。

3.4.2 接入層交換機

接入層萬兆交換機選用CISCO 3750E,3750-E為高帶寬應用提供了線速萬兆以太網(wǎng)上行鏈路端口,能夠消除擁塞,確保數(shù)據(jù)的順利分發(fā)。3750-E與原有的3750進行堆疊,通過其配置的2個萬兆多模光模塊X2-10GBLRM實現(xiàn)接入層的萬兆以太網(wǎng)上聯(lián),無需更換接入層,充分利用原有交換機與光纖線路。3750-E系列能夠?qū)?臺交換機堆疊成一個邏輯單元,共提供468個以太網(wǎng)10/100/1000端口、432個PoE 10/100/1000端口,或18個萬兆以太網(wǎng)端口,各種10/100/1000端口可根據(jù)網(wǎng)絡發(fā)展的需要進行任意組合。

4 萬兆以太網(wǎng)升級

萬兆以太網(wǎng)的升級主要分3步執(zhí)行,首先升級核心交換機,核心交換機穩(wěn)定運行后再升級配線間接入層交換機,最后進行VSS升級。升級過程中網(wǎng)絡要中斷數(shù)次,為不影響現(xiàn)有業(yè)務運行,選擇在業(yè)務量相對較少的晚間進行,并提前做好準備工作。

4.1 核心交換機升級

核心交換機升級涉及到引擎更換、8單口萬兆模塊添加、24單口SFP模塊升級、48單口千兆電模塊升級及IOS升級等,升級前準備好1臺48單口交換機來臨時替代核心交換機的48單口千兆電模塊。

準備工作就緒后先進行核心交換機B機升級,首先將B機48單口千兆電模塊上的網(wǎng)線更換到備用的48單口交換機上,減少連接到B機上的服務器斷網(wǎng)時間;然后B機斷電,進行引擎及各模塊的更換與安裝;硬件更換完成后開機進行IOS升級,VSS功能需要升級到12.2(33)SXH1版本以上。B機升級完成后再進行A機升級,升級完成后核心交換機配置不便,雙機仍保持HSRP工作模式。

4.2 接入層交換機升級

核心交換機穩(wěn)定運行幾天后再進行接入層交換機升級,主要工作就是把CISCO 3750-E加入到配線間CISCO 3750交換機的堆疊中。堆疊前檢查交換機的IOS版本是否相同,版本不同應先進行升級,否則堆疊有可能不成功。堆疊完成后仍保持原千兆上行鏈路不變,核心交換機VSS升級后再進行萬兆鏈路切換。

4.3 VSS升級

VSS升級前作好兩臺核心交換機配置的備份,以便升級不順利時及時恢復。升級步驟如下:

(1)分配虛擬交換域(Virtual Switch Domain)和交換號(Swtich Number)。兩臺核心交換機上配置相同的虛擬交換域,交換號是不同的。

A機上:

6509A(config)#switch virtual domain 100

6509A(config-vs-domain)#switch 1

B機上:

6509B(config)#switch virtual domain 100

6509B(config-vs-domain)#switch 1

(2)配置管理優(yōu)先級,數(shù)值大的優(yōu)先級高,配置A機為主管理模式,B機為從模式。

A機上:

6509A(config-vs-domain)#switch 1 priority 110

6509A(config-vs-domain)#switch 2 priority 100

B機上:

6509B(config-vs-domain)#switch 1 priority 110

6509B(config-vs-domain)#switch 2 priority 100

(3)配置VSL,兩臺核心交換機引擎上的兩個萬兆端口分別互聯(lián),配置成VSL接口,兩臺交換機的port-channel號不能相同。

A機上:

6509A(config)#interface port-channel 1

6509A(config-if)#no shut

6509A(config-if)#switch virtual link 1

6509A(config-if)#exit

6509A(config)#interface range tenGigabitEthernet 5/4-5

6509A(config-if-range)#no shut

6509A(config-if-range)#channel-group 1 mode on

B機上:

6509B(config)#interface port-channel 2

6509B(config-if)#no shut

6509B(config-if)#switch virtual link 2

6509B(config-if)#exit

6509B(config)#interface range tenGigabitEthernet 5/4 5

6509B(config-if-range)#no shut

6509B(config-if-range)#channel-group 2 mode on

(4)轉(zhuǎn)換雙機到VSS模式,兩臺核心交換機上分別執(zhí)行“switch convert mode virtual”命令進行虛擬交換模式轉(zhuǎn)換,創(chuàng)建新的配置文件,轉(zhuǎn)換完成后重啟核心交換機,啟動完成后即實現(xiàn)了雙機VSS模式,執(zhí)行“switch accept mode virtual”命令,雙機的配置會同步更新并自動保存。

4.4 萬兆鏈路升級

核心交換機、接入層交換機、VSS升級后,最后進行核心層——接入層之間的鏈路升級與切換,步驟如下:

(1)核心交換機鏈路聚合,雙機各取一個萬兆端口配置鏈路聚合:

interface Port-channel29

switchport

switchport trunk encapsulation isl

switchport mode trunk

interface TenGigabitEthernet1/3/5

switchport

switchport trunk encapsulation isl

switchport mode trunk

channel-group 29 mode on

interface TenGigabitEthernet2/3/5

switchport

switchport trunk encapsulation isl

switchport mode trunk

channel-group 29 mode on

(2)接入層交換機鏈路聚合,CISCO 3750E兩個萬兆端口配置鏈路聚合:

interface Port-channel29

switchport trunk encapsulation isl

switchport mode trunk

interface range TenGigabitEthernet3/0/1-2

switchport trunk encapsulation isl

switchport mode trunk

channel-group 29 mode on

(3)鏈路切換,配線間接入層2對光纖轉(zhuǎn)接到CISCO 3750E的兩個萬兆端口上,核心交換機上原2對千兆光纖端口的光纖轉(zhuǎn)接到相應的萬兆端口上,該樓層即實現(xiàn)了2條萬兆主干鏈路的上聯(lián)切換。

以上升級步驟完成后就完全實現(xiàn)了基于VSS技術(shù)的萬兆以太網(wǎng)。

5 結(jié)束語

北京市氣象局萬兆以太網(wǎng)在2009年6月建設(shè)完成,改善了原千兆骨干網(wǎng)帶寬不足的狀況,當年即在國慶60周年慶?；顒拥臍庀蠓罩邪l(fā)揮了重要作用。VSS技術(shù)的應用,理論上使骨干網(wǎng)的帶寬擴展到20Gbps,完全滿足未來5年內(nèi)業(yè)務發(fā)展的需要。

[2] 高堅棟,張際平.未來校園的主干網(wǎng)——萬兆以太網(wǎng)[J].電化教育研究,2005,(1).

[3] 李學勇,孔德川,徐佑萍.高校校園網(wǎng)升級與萬兆以太網(wǎng)技術(shù)應用[J].河南科技學院學報:自然科學版,2005,(1).

[4] 陸姚遠.萬兆校園網(wǎng)的改造與管理[J].自動化與儀表,2005,(S1).

[5] 陳申.下一代以太網(wǎng)——10吉比特以太網(wǎng)[J].電信科學,2001,(4).

[6] 尹崗.如何檢測萬兆鏈路的質(zhì)量[J].智能建筑與城市信息,2010,(2).

[7] 魏大強,翟麗華.萬兆以太網(wǎng)技術(shù)發(fā)展及應用[J].智能建筑與城市信息,2010,(6).

[8] 吳榮生,郭聯(lián)志.萬兆校園以太網(wǎng)的設(shè)計與性能分析[J].長沙通信職業(yè)技術(shù)學院學報,2008,(4).

[9] 王樹廣.萬兆以太網(wǎng)技術(shù)[J].農(nóng)業(yè)網(wǎng)絡信息,2007,(11).

[10] 姚凌.萬兆技術(shù)網(wǎng)的校園網(wǎng)的設(shè)計思路[J].黔東南民族師范高等專科學校學報,2005,(3).

[11] 林啟者.新一代校園主干網(wǎng)——萬兆以太網(wǎng)[J].教育信息化,2004,(5).

[12] 張延良,李賡,劉本倉.萬兆以太網(wǎng)技術(shù)在高校校園網(wǎng)中的應用[J].福建電腦,2005,(10).