胡方偉

（四川速寶網(wǎng)絡(luò)科技有限公司 上海璞速網(wǎng)絡(luò)科技分公司，上海 200126）

0 引 言

軟件定義廣域網(wǎng)（Software-Defined Wide Area Network，SD-WAN）是使用SDN的思想軟件定義廣域網(wǎng)。傳統(tǒng)的廣域網(wǎng)基于互聯(lián)網(wǎng)的局部可靠可信自愈的思想構(gòu)建，廣域網(wǎng)連接的網(wǎng)絡(luò)使用邊界網(wǎng)關(guān)協(xié)議（Border Gateway Protocol，BGP）分發(fā)域間路由。本端網(wǎng)絡(luò)只通告可信的路由給對端自治域系統(tǒng)，這種網(wǎng)絡(luò)架構(gòu)在軟件定義網(wǎng)絡(luò)技術(shù)提出之前，很難管控廣域網(wǎng)的端到端業(yè)務(wù)和流量。

隨著網(wǎng)絡(luò)虛擬化和軟件定義網(wǎng)絡(luò)技術(shù)的發(fā)展，基于overlay的網(wǎng)絡(luò)虛擬化轉(zhuǎn)發(fā)被大規(guī)模采用[1,2]。同時SDN的控制轉(zhuǎn)發(fā)分離理念使用專用的控制器集中計算overlay路徑，分發(fā)overlay和underlay之間的網(wǎng)絡(luò)轉(zhuǎn)發(fā)標識，使得廣域網(wǎng)連接網(wǎng)絡(luò)之間業(yè)務(wù)路徑的實時監(jiān)控和端到端的路徑計算與控制成為可能，這是SD-WAN技術(shù)產(chǎn)生的技術(shù)背景。

SD-WAN具備以下5大技術(shù)特點。一是支持混合鏈路接入，SD-WAN提供多種線路接入，包括MPLS專線、互聯(lián)網(wǎng)線路和4G/LTE/5G等混合鏈路。二是支持多WAN聚合和線路切換，SD-WAN通過WAN線路實時測速技術(shù)，overlay數(shù)據(jù)支持在多條WAN線路之間實現(xiàn)流量的負載均衡和流量動態(tài)切換，實現(xiàn)網(wǎng)絡(luò)線路的active-active端到端保護。當某條線路出現(xiàn)故障時，流量可以全部切換到其他的線路。三是支持業(yè)務(wù)QoS，保證關(guān)鍵業(yè)務(wù)應(yīng)用，根據(jù)業(yè)務(wù)與企業(yè)應(yīng)用策略選擇網(wǎng)絡(luò)質(zhì)量高的線路傳輸關(guān)鍵業(yè)務(wù)數(shù)據(jù)。四是支持遠程集中管理，SD-WAN支持零接觸部署，即使在沒有專業(yè)IT人員的小門店也可以完成設(shè)備上線工作。SD-WAN設(shè)備上電即可連接到控制系統(tǒng)，完成注冊和設(shè)備鑒權(quán)。五是支持安全加密，SDWAN提供安全的傳輸隧道，一般使用AES-128加密算法或AES-256加密算法對傳輸?shù)臄?shù)據(jù)進行端到端加密[3-8]。

本論文的課題來源于四川速寶網(wǎng)絡(luò)科技有限公司上海璞速網(wǎng)絡(luò)科技分公司SD-WAN產(chǎn)品傳輸優(yōu)化技術(shù)研究項目。其目的是研究SD-WAN產(chǎn)品在使用廉價的互聯(lián)網(wǎng)線路替代專線后，當互聯(lián)網(wǎng)線路的網(wǎng)絡(luò)質(zhì)量不佳時，使用傳輸優(yōu)化能保證客戶業(yè)務(wù)正常運行。

提出的傳輸優(yōu)化技術(shù)可以應(yīng)用于物聯(lián)網(wǎng)、視頻加速、在線教育以及企業(yè)辦公等場景和領(lǐng)域，在SDWAN產(chǎn)品監(jiān)測到網(wǎng)絡(luò)質(zhì)量性能下降時，開啟數(shù)據(jù)傳輸雙發(fā)策略，利用SD-WAN的多WAN聚合和虛擬化技術(shù)，用戶數(shù)據(jù)在SD-WAN的兩個WAN線路復(fù)制傳輸，接收端以收到最先到達的數(shù)據(jù)為準并忽略后續(xù)重復(fù)的數(shù)據(jù)報文。

為了節(jié)省網(wǎng)絡(luò)帶寬提高數(shù)據(jù)傳輸效率，本論文提出了一種動態(tài)雙發(fā)策略技術(shù)和算法，以網(wǎng)絡(luò)質(zhì)量參數(shù)時延、抖動以及丟包率等網(wǎng)絡(luò)性能指標為基礎(chǔ)，計算網(wǎng)絡(luò)質(zhì)量評分和動態(tài)雙發(fā)補償率。當網(wǎng)絡(luò)質(zhì)量越差時，雙發(fā)補償率取值越大，數(shù)據(jù)雙發(fā)系數(shù)越高，雙發(fā)的數(shù)據(jù)比例越高。此算法既保證SD-WAN產(chǎn)品在會議視頻、IoT、在線教育以及企業(yè)辦公等應(yīng)用場景下客戶業(yè)務(wù)在網(wǎng)絡(luò)質(zhì)量下降時能正常傳輸，也提高了網(wǎng)絡(luò)利用率，節(jié)省了網(wǎng)絡(luò)成本。

本論文所述技術(shù)已經(jīng)應(yīng)用于公司SD-WAN產(chǎn)品，目前已經(jīng)部署在某在線教育App接入網(wǎng)絡(luò)、跨國公司樓宇自控系統(tǒng)的IoT數(shù)據(jù)采集網(wǎng)絡(luò)系統(tǒng)以及跨國企業(yè)Zoom會議網(wǎng)絡(luò)系統(tǒng)等，均取得了良好的效果。即使在網(wǎng)絡(luò)丟包率超過30%、跨國時延超過200 ms時，在開啟了本論文提出的傳輸優(yōu)化技術(shù)功能后，仍能保證業(yè)務(wù)的正常進行，提高客戶使用SD-WAN產(chǎn)品的滿意度，增加了公司產(chǎn)品的銷售額。

1 傳輸優(yōu)化技術(shù)

SD-WAN使用了網(wǎng)絡(luò)虛擬化的overlay技術(shù)轉(zhuǎn)發(fā)業(yè)務(wù)數(shù)據(jù)，分支和總部/數(shù)據(jù)中心之間的業(yè)務(wù)流量基于overlay技術(shù)建立網(wǎng)絡(luò)連接，業(yè)務(wù)流量獨立于underlay網(wǎng)絡(luò)進行傳輸，underlay網(wǎng)絡(luò)使用多種網(wǎng)絡(luò)路徑進行underlay數(shù)據(jù)轉(zhuǎn)發(fā)，數(shù)據(jù)流量具體走哪條通道進行轉(zhuǎn)發(fā)，對overlay業(yè)務(wù)數(shù)據(jù)無感，企業(yè)可以使用互聯(lián)網(wǎng)線路和MPLS專線，甚至4G線路傳輸數(shù)據(jù)。

針對如何提高SD-WAN產(chǎn)品網(wǎng)絡(luò)傳輸?shù)膫鬏斝阅軉栴}，本論文提出一種數(shù)據(jù)雙發(fā)策略的傳輸優(yōu)化技術(shù)，充分利用SD-WAN的多WAN聚合和虛擬化技術(shù)。在發(fā)送端對overlay數(shù)據(jù)包進行報文復(fù)制，并同時在不同的underlay線路發(fā)送和傳輸，接收端以接收到的第一份為準并忽略掉后續(xù)重復(fù)的數(shù)據(jù)報，以滿足SDWAN產(chǎn)品在IoT、視頻加速、在線教育以及企業(yè)辦公等領(lǐng)域?qū)W(wǎng)絡(luò)高質(zhì)量性能的要求。

相比傳統(tǒng)的前向糾錯碼（Forward Error Correction，F(xiàn)EC）技術(shù)在單條線路上傳輸，在線路質(zhì)量稍微變差時，F(xiàn)EC技術(shù)可以通過冗余算法和適當?shù)娜哂啾扔嬎愠鰜G失的報文，但是在線路質(zhì)量急劇時（如丟包率達到40%以上時），F(xiàn)EC的糾錯技術(shù)即使配置冗余比為1∶1，也無法滿足業(yè)務(wù)需求，因此此時冗余的傳輸報文也有可能大量丟失，通過冗余的算法無法恢復(fù)丟失的報文內(nèi)容。而本文提出的數(shù)據(jù)雙發(fā)策略技術(shù)支持利用SD-WAN的多WAN聚合技術(shù)，數(shù)據(jù)支持在多條線路上傳輸，此時即使一條線路質(zhì)量出現(xiàn)嚴重惡化，通過備份線路的雙發(fā)技術(shù)也可以達到恢復(fù)丟失的報文，滿足業(yè)務(wù)的傳輸質(zhì)量要求。

2 設(shè)計要點

2.1 雙發(fā)策略

本論文提出的雙發(fā)策略包括持續(xù)雙發(fā)策略和動態(tài)雙發(fā)策略，這兩種雙發(fā)策略各有優(yōu)缺點，適用于不同的應(yīng)用場景。

持續(xù)雙發(fā)策略在指定的兩條SD-WAN的WAN路徑上啟用雙發(fā)策略，不論指定的WAN路徑線路質(zhì)量好壞，都在指定的兩條WAN路徑上雙發(fā)，除非某條線路出現(xiàn)故障，否則報文雙發(fā)一直工作。

動態(tài)雙發(fā)策略根據(jù)本文的線路評分系統(tǒng)計算雙發(fā)路徑的線路質(zhì)量，并根據(jù)雙發(fā)補償率對網(wǎng)絡(luò)的數(shù)據(jù)雙發(fā)進行補償。當網(wǎng)絡(luò)質(zhì)量良好時，少雙發(fā)甚至不雙發(fā)，以減少網(wǎng)絡(luò)帶寬額外損耗。當網(wǎng)絡(luò)質(zhì)量不好時，啟用雙發(fā)策略，保證網(wǎng)絡(luò)傳輸線路變差時業(yè)務(wù)能正常傳輸。

2.2 線路質(zhì)量評價

本文動態(tài)可靠傳輸基于一種MOS評價系統(tǒng)，根據(jù)一系列的評分公式計算得到網(wǎng)絡(luò)的質(zhì)量分數(shù)，評分分數(shù)與網(wǎng)絡(luò)質(zhì)量判定的對應(yīng)關(guān)系如表1所示[9,10]。

表1 線路評分

本文提出的鏈路質(zhì)量評分公式以網(wǎng)絡(luò)質(zhì)量參數(shù)時延、丟包率以及抖動等為基礎(chǔ)，并參考歷史取值，以避免短期的波動帶來數(shù)據(jù)的尖峰值擾動。

t0為當前時間取值，而t1、t2、t3以及t4分別代表過去1 h，12 h，24 h及7×24 h的取值，用D、L與J分別代表時延、丟包率與抖動取值。

D0為當前的時延值，D1為過去1 h內(nèi)的時延平均值，D2為過去12 h時延的平均值，D3為過去24 h內(nèi)的時延平均值，D4為過去7×24 h的時延平均值。L0為當前的丟包率，L1為過去1 h內(nèi)的丟包率平均值，L2為過去12 h丟包率的平均值，L3為過去24 h內(nèi)的丟包率平均值，L4為過去7×24 h的丟包平均值。J0為當前的抖動值，J1為過去1 h內(nèi)的抖動平均值，J2為過去12 h抖動的平均值，J3為過去24 h內(nèi)的抖動平均值，J4為過去7×24 h的抖動平均值。

使用歷史加權(quán)平均的方法分別計算得到時延閾值Delay、丟包率閾值Loss以及抖動閾值Jitter，計算如下：

取采樣時間周期t內(nèi)滿足基準值集合的流量的數(shù)量，即在采樣時間周期t內(nèi)，同時滿足以下3個閾值的流量數(shù)，及實際時延小于時延閾值Delay，實際抖動小于抖動閾值Jitter，實際丟包率小于丟包率閾值Loss。

線路的評分值取值大小為0～10，值越大表示越多的采樣數(shù)據(jù)值滿足設(shè)定的閾值，鏈路質(zhì)量越好，評分值越小表示線路質(zhì)量越差。例如，一定周期時間t為10 min，根據(jù)式（1）、式（2）以及式（3）計算得到時延閾值為30 ms，抖動閾值為2 ms，丟包率閾值為0.5%。假定10 min內(nèi)總數(shù)據(jù)流為10 000條，其中滿足時延小于或等于30 ms，抖動小于或等于2 ms且丟包率小于或等于0.5%的數(shù)據(jù)流的數(shù)量為8 000條，則評分值S為8，線路評分等級為好。

2.3 雙發(fā)補償率

根據(jù)閾值計算得到不同的雙發(fā)策略，當線路質(zhì)量評分為良好時，雙發(fā)補償率α取0，當線路質(zhì)量為一般時，雙發(fā)補償率為0.5，即兩個數(shù)據(jù)包中有1個數(shù)據(jù)包進行了雙發(fā)，當線路質(zhì)量為差時，雙發(fā)補償率為1，全部數(shù)據(jù)雙發(fā)，具體如表2所示。

表2 雙發(fā)補償率α

2.4 雙發(fā)策略比較

本論文提出的兩種雙發(fā)策略各有優(yōu)缺點，詳細分析如下。持續(xù)雙發(fā)策略的優(yōu)點是實現(xiàn)簡單，不需要復(fù)雜的配置和算法計算即可利用雙發(fā)策略保證業(yè)務(wù)的網(wǎng)絡(luò)傳輸質(zhì)量。其不足是不能根據(jù)線路的質(zhì)量動態(tài)調(diào)整雙發(fā)策略，當線路質(zhì)量很好時，不雙發(fā)也可以保證業(yè)務(wù)的傳輸質(zhì)量，此時雙發(fā)額外消耗網(wǎng)絡(luò)帶寬，減少帶寬利用率，增加網(wǎng)絡(luò)成本。適用于對網(wǎng)絡(luò)質(zhì)量要求很高而對網(wǎng)絡(luò)帶寬利用率要求不高的場景，如語音視頻會議、在線游戲、證券股票以及期貨交易等實時類場景。

動態(tài)雙發(fā)的優(yōu)點是根據(jù)業(yè)務(wù)需要啟動雙發(fā)策略，在網(wǎng)絡(luò)質(zhì)量良好的時候，減少了網(wǎng)絡(luò)帶寬消耗，節(jié)省網(wǎng)絡(luò)成本。不足是動態(tài)雙發(fā)啟動需要滿足一定的閾值條件，可能會短時影響正常的業(yè)務(wù)。適用于辦公應(yīng)用和云訪問等交互類業(yè)務(wù)數(shù)據(jù)場景。

2.5 網(wǎng)絡(luò)流程圖

支持雙發(fā)策略優(yōu)化的CPE轉(zhuǎn)發(fā)流程如圖1所示，CPE接收到用戶數(shù)據(jù)后，根據(jù)系統(tǒng)的傳輸優(yōu)化策略進行轉(zhuǎn)發(fā)。當系統(tǒng)配置不支持雙發(fā)策略時，其轉(zhuǎn)發(fā)過程跟傳統(tǒng)的CPE轉(zhuǎn)發(fā)過程一樣，根據(jù)CPE的流表和路由表轉(zhuǎn)發(fā)。當配置動態(tài)雙發(fā)時，CPE根據(jù)本論文提出的公式和方法計算線路質(zhì)量計算線路的評分和雙發(fā)補償率，當線路質(zhì)量觸發(fā)雙發(fā)閾值時，CPE啟動動態(tài)雙發(fā)策略，不僅在主用線路轉(zhuǎn)發(fā)用戶數(shù)據(jù)，而且在備用線路上根據(jù)雙發(fā)補償率復(fù)制一定的雙發(fā)數(shù)據(jù)，并在備用線路傳輸。當線路質(zhì)量沒有觸發(fā)雙發(fā)策略時，數(shù)據(jù)僅在主用線路上傳輸，當系統(tǒng)配置持續(xù)雙發(fā)策略時，CPE啟動持續(xù)雙發(fā)流程，數(shù)據(jù)在指定的兩條WAN線路上轉(zhuǎn)發(fā)。

圖1 CPE轉(zhuǎn)發(fā)流程

3 測試結(jié)果

3.1 測試組網(wǎng)圖

測試組網(wǎng)如圖2所示，為實現(xiàn)本文所述的雙發(fā)策略，在SD-WAN設(shè)備1和SD-WAN設(shè)備2之間模擬兩條WAN線路，分別為Internet線路和MPLS線路。為了驗證各種網(wǎng)絡(luò)質(zhì)量場景下本文的策略效果，在模擬Internet線路和MPLS線路中間增加TC模擬損傷儀。SD-WAN設(shè)備1和SD-WAN設(shè)備2的LAN口連接Spirent（思博倫）TestCenter測試儀的測試端口，TestCenter模擬發(fā)送各種業(yè)務(wù)（如視頻業(yè)務(wù)、辦公業(yè)務(wù)）的測試報文。

3.2 持續(xù)雙發(fā)策略測試結(jié)果

根據(jù)圖2的測試組網(wǎng)圖，使用TestCenter模擬發(fā)送視頻業(yè)務(wù)（RTSP流量），測試路徑的時延約為15 ms，發(fā)送視頻業(yè)務(wù)流量的速率為10 Mb/s。在轉(zhuǎn)發(fā)路徑上使用TC命令模擬各種大小的丟包率，得到的測試結(jié)果如圖3和圖4所示。圖3和圖4分別為不使用持續(xù)雙發(fā)策略和使用了持續(xù)雙發(fā)策略時不同的丟包率下的業(yè)務(wù)帶寬。圖3中，當丟包率超過10%時，業(yè)務(wù)帶寬從10 Mb/s下降到9 Mb/s，丟包率超過30%時，業(yè)務(wù)帶寬只有2 Mb/s，此時視頻業(yè)務(wù)基本上不可用。圖4中，當丟包率超過10%時，由于使用了雙發(fā)機制，業(yè)務(wù)帶寬仍然保持在10 Mb/s左右，當丟包率超過30%時，業(yè)務(wù)帶寬在9.5 Mb/s，業(yè)務(wù)仍然正常，一直到丟包率達到50%時，業(yè)務(wù)帶寬才有明顯的下降。

圖2 測試組網(wǎng)圖

圖3 不使用持續(xù)雙發(fā)策略時不同丟包率下的業(yè)務(wù)帶寬

圖4 使用持續(xù)雙發(fā)策略時不同丟包率下的業(yè)務(wù)帶寬

在轉(zhuǎn)發(fā)線路上使用TC命令增加50 ms時延，即當前轉(zhuǎn)發(fā)路徑的時延約為65 ms，模擬長距離視頻通信業(yè)務(wù)，然后使用TC命令模擬各種大小的丟包率，得到的測試結(jié)果如圖5和圖6所示。圖5和圖6分別為在增加了50 ms時延的情況下不使用持續(xù)雙發(fā)策略和使用了持續(xù)雙發(fā)策略時不同的丟包率下的業(yè)務(wù)帶寬。圖5中，當丟包率在10%以內(nèi)時，視頻業(yè)務(wù)通信良好，業(yè)務(wù)帶寬基本上達到10 Mb/s，當丟包率超過10%時，由于重傳機制，業(yè)務(wù)帶寬有明顯的下降，只有9 Mb/s左右，當丟包率超過20%時，業(yè)務(wù)帶寬只有5 Mb/s，視頻業(yè)務(wù)傳輸帶寬只有限速值的1/2，此時會出現(xiàn)卡頓，丟包率超過30%時，業(yè)務(wù)帶寬只有2 Mb/s不到，視頻業(yè)務(wù)無法正常開展。圖6中，當丟包率超過10%時，由于持續(xù)雙發(fā)策略的補償機制，視頻業(yè)務(wù)帶寬仍然有9 Mb/s，當丟包率超過30%時，視頻業(yè)務(wù)帶寬在7 Mb/s，此時視頻業(yè)務(wù)基本正常，直到丟包率超過40%以后，視頻業(yè)務(wù)帶寬下降明顯，影響視頻業(yè)務(wù)的正常進行。

圖5 不使用持續(xù)雙發(fā)策略時不同丟包率下的業(yè)務(wù)帶寬

通過對比測試發(fā)現(xiàn)，使用本文提出的持續(xù)雙發(fā)策略，對于近距離視頻傳輸，業(yè)務(wù)正常開展的丟包率從30%提高到50%。對于遠距離的視頻通信，業(yè)務(wù)正常開展的丟包率從20%提高到40%。保證了SDWAN場景下使用互聯(lián)網(wǎng)替代MPLS專線后的業(yè)務(wù)正常工作，提高了網(wǎng)絡(luò)傳輸質(zhì)量，降低網(wǎng)絡(luò)成本。

3.3 動態(tài)雙發(fā)策略測試結(jié)果

仍然以圖2所示的測試組網(wǎng)圖為例，使用TestCenter模擬發(fā)送大文件業(yè)務(wù)（如office辦公和下載流量），測試路徑的時延約為15 ms，發(fā)送業(yè)務(wù)流量的速率為50 Mb/s。在轉(zhuǎn)發(fā)路徑上使用TC命令模擬各種大小的丟包率，得到的測試結(jié)果如圖7和圖8所示。圖7和圖8分別為不使用動態(tài)雙發(fā)策略和使用了動態(tài)雙發(fā)策略時不同的丟包率下的業(yè)務(wù)帶寬。圖7中，當丟包率超過20%時，業(yè)務(wù)帶寬從50 Mb/s下降到44 Mb/s，丟包率30%時，業(yè)務(wù)帶寬只有30 Mb/s，丟包率超過30%后，業(yè)務(wù)帶寬下降更快，當丟包率超過40%時，業(yè)務(wù)帶寬只有20 Mb/s，此時業(yè)務(wù)使用人員會明顯感覺到網(wǎng)頁訪問速度很慢，下載速率下降。圖8中，當丟包率超過20%后，由于動態(tài)雙發(fā)策略生效，此時采用部分補償機制，業(yè)務(wù)帶寬從46 Mb/s恢復(fù)到50Mb/s左右，當丟包率超過30%時，動態(tài)雙發(fā)機制使用全部補償機制，業(yè)務(wù)帶寬從30%左右的45 Mb/s左右又恢復(fù)到50 Mb/s，當丟包率超過50%時，業(yè)務(wù)帶寬明顯快速下降。

圖7 不使用動態(tài)雙發(fā)策略時不同丟包率下的業(yè)務(wù)帶寬

圖8 使用動態(tài)雙發(fā)策略時不同丟包率下的業(yè)務(wù)帶寬

通過對比發(fā)現(xiàn)，使用本文提出的動態(tài)雙發(fā)策略，業(yè)務(wù)正常開展的丟包率從30%提高到50%，并且由于部分補償機制，網(wǎng)絡(luò)丟包率在20%以內(nèi)時，可以保證網(wǎng)絡(luò)的帶寬保持在50 Mb/s左右，網(wǎng)絡(luò)傳輸更加穩(wěn)定。

4 結(jié) 論

本文針對SD-WAN網(wǎng)絡(luò)中使用互聯(lián)網(wǎng)線路取代專線后的網(wǎng)絡(luò)質(zhì)量下降問題，提出了在SD-WAN多WAN線路的基礎(chǔ)上使用雙發(fā)策略的技術(shù)方案。雙發(fā)策略包括持續(xù)雙發(fā)策略和動態(tài)雙發(fā)策略。對于動態(tài)雙發(fā)策略，本論文提出了一種以網(wǎng)絡(luò)質(zhì)量參數(shù)時延、抖動以及丟包率等參數(shù)為基礎(chǔ)的線路質(zhì)量評分系統(tǒng)，并在評分基礎(chǔ)上計算雙發(fā)補償率的公式。

通過測試驗證，本文提出的持續(xù)雙發(fā)策略和動態(tài)雙發(fā)對業(yè)務(wù)傳輸有明顯提高，即使在互聯(lián)網(wǎng)線路出現(xiàn)質(zhì)量下降、網(wǎng)絡(luò)丟包率大幅提高時也能保證業(yè)務(wù)的正常使用。