趙純熙，童 博，劉錦波（.中訊郵電咨詢(xún)?cè)O(shè)計(jì)院有限公司，北京 00048；.中國(guó)聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司，北京 00033）

1 概述

在工業(yè)互聯(lián)網(wǎng)場(chǎng)景下，網(wǎng)絡(luò)基礎(chǔ)設(shè)施的建設(shè)需要通盤(pán)考慮異構(gòu)組網(wǎng)和敏捷運(yùn)維的部署需求，靈活、低成本的SD-WAN 廣域網(wǎng)組網(wǎng)方式受到越來(lái)越多的關(guān)注。根據(jù)IDC 近期發(fā)布的調(diào)研數(shù)據(jù)顯示，2018 年度全球SD-WAN 市場(chǎng)收入達(dá)到413.7 億美元，同比增長(zhǎng)了64.9%。IDC 進(jìn)一步預(yù)測(cè)2019—2024 年，SD-WAN 的市場(chǎng)規(guī)模將突破500億美元。SD-WAN 廣域網(wǎng)技術(shù)進(jìn)一步完成了網(wǎng)絡(luò)控制與數(shù)據(jù)轉(zhuǎn)發(fā)的雙平面分離，實(shí)現(xiàn)了網(wǎng)絡(luò)的虛擬化和網(wǎng)絡(luò)軟件自動(dòng)化，有效地解決了企業(yè)網(wǎng)絡(luò)資源靈活配置的復(fù)雜性問(wèn)題。SD-WAN 也成為可以有效地幫助互聯(lián)網(wǎng)企業(yè)快速構(gòu)建高性?xún)r(jià)比、簡(jiǎn)易運(yùn)維、即需即用的智能企業(yè)網(wǎng)絡(luò)服務(wù)專(zhuān)線(xiàn)。

本文以一種SD-WAN 跨域組網(wǎng)模型為實(shí)例，通過(guò)試驗(yàn)對(duì)比流量監(jiān)管與流量整形、TCP 缺省擁塞控制與TCP BBR 技術(shù)在SD-WAN 跨域組網(wǎng)中對(duì)數(shù)據(jù)傳輸速率的影響，提出一種限速策略與TCP 傳輸技術(shù)相結(jié)合的優(yōu)化應(yīng)用方法，有效地提升了SD-WAN 跨域組網(wǎng)的帶寬利用效率，具有較大的推廣價(jià)值。

2 SD-WAN跨域組網(wǎng)模型

SD-WAN 跨域組網(wǎng)模型中客戶(hù)側(cè)路由及數(shù)據(jù)由終端盒子接入傳輸至SD-WAN 接入側(cè)網(wǎng)關(guān)、骨干網(wǎng)側(cè)網(wǎng)關(guān)后通過(guò)運(yùn)營(yíng)商骨干網(wǎng)到達(dá)對(duì)端骨干網(wǎng)PE設(shè)備。

a）終端盒子：客戶(hù)側(cè)SD-WAN 終端盒子為客戶(hù)提供SD-WAN 組網(wǎng)的最后一公里接入，SD-WAN 客戶(hù)終端設(shè)備支持通過(guò)MPLS、互聯(lián)網(wǎng)、4G 以及5G 多種網(wǎng)絡(luò)接入方式。終端盒子通過(guò)互聯(lián)網(wǎng)與SD-WAN 接入側(cè)網(wǎng)關(guān)建立IPSEC 隧道完成網(wǎng)絡(luò)流量的加密及轉(zhuǎn)發(fā)，同時(shí)SD-WAN 終端設(shè)備支持服務(wù)質(zhì)量（QoS）以及多種路由協(xié)議配置。

b）SD-WAN 接入段網(wǎng)關(guān)：向下與客戶(hù)SD-WAN終端建立overlay的3層IPSec隧道形成數(shù)據(jù)平面，通過(guò)BGP 完成路由轉(zhuǎn)發(fā)。向上與運(yùn)營(yíng)商骨干網(wǎng)網(wǎng)關(guān)通過(guò)BGP 建立鄰居關(guān)系，通過(guò)VRF 劃分的方式實(shí)現(xiàn)基于VPN 的路由隔離。將用戶(hù)本地網(wǎng)絡(luò)連接到骨干網(wǎng)邊緣網(wǎng)關(guān)，向骨干網(wǎng)邊緣網(wǎng)關(guān)發(fā)布本地路由并學(xué)習(xí)遠(yuǎn)端站點(diǎn)路由。

3 測(cè)試方法及基線(xiàn)測(cè)試

采用打流工具Iperf進(jìn)行測(cè)試，保持相同的Iperf測(cè)試參數(shù)，在不同的配置策略下（包括無(wú)限速策略），分別測(cè)試PC 至接入段網(wǎng)關(guān)后VM 和PC 至骨干段網(wǎng)關(guān)后VM之間的性能帶寬。Iperf 測(cè)試參數(shù)如下。

a）客戶(hù)端不限帶寬測(cè)試如下。

（a）客戶(hù)端單線(xiàn)程上行：iperf3 -c 172.160.30.10 -M 1400。

（b）客戶(hù)端單線(xiàn)程下行：iperf3-c 172.160.30.10-M 1400-R。

b）客戶(hù)端指定20 Mbit∕s帶寬測(cè)速如下。

（a）客戶(hù)端單線(xiàn)程上行：iperf3-c 172.160.30.10 -M 1400-b 20M。

（b）客戶(hù)端單線(xiàn)程下行：iperf3-c 172.160.30.10-M 1400-b 20M-R。

（c）客戶(hù)端多線(xiàn)程下行：iperf3-c 172.160.30.10-M 1400-b 20M-t 20-R。

其中，通過(guò)-M 1400將TCP MSS設(shè)置為1400，避免報(bào)文在廣域網(wǎng)口被分片，從而使得性能降低。

如圖1 所示，SD-WAN 終端通過(guò)5G CPE 接入Internet，與北京POP 節(jié)點(diǎn)接入段網(wǎng)關(guān)1 建立IPSec 隧道。在北京POP 節(jié)點(diǎn)部署2 個(gè)虛擬機(jī)，分別位于接入段網(wǎng)關(guān)和骨干側(cè)網(wǎng)關(guān)之后，虛擬機(jī)安裝IPerf、FTP及文件共享工具。測(cè)試得到PC 到接入段網(wǎng)關(guān)后VM 虛機(jī)、骨干側(cè)網(wǎng)關(guān)后VM 虛機(jī)的時(shí)延分別為30.20 ms、27.86 ms，測(cè)試的IP地址分配如下：

圖1 SD-WAN分段測(cè)試拓?fù)?/p>

測(cè)試PC（Ubuntu 18.04，iperf 3.1.3）：192.168.30.236。

前置VM（Redhat 7.5，iperf 3.1.7）：172.160.30.10。

匯聚VM（Redhat 7.5，iperf 3.1.7）：172.160.31.10。

基于上述組網(wǎng)環(huán)境，首先進(jìn)行了SD-WAN 終端設(shè)備無(wú)限速策略（骨干網(wǎng)PE 設(shè)備保留流量監(jiān)管限速，20 Mbit∕s）下的基礎(chǔ)線(xiàn)路測(cè)試。采用缺省TCP 擁塞控制算法CUBIC，分別從SD-WAN 終端（192.168.30.236）到接入段網(wǎng)關(guān)后的虛機(jī)（172.160.30.10）以及骨干側(cè)網(wǎng)關(guān)的虛機(jī)（172.160.31.10）進(jìn)行iperf 數(shù)據(jù)打流測(cè)試，得到結(jié)果如表1所示。

表1 盒子無(wú)限速下的傳輸性能測(cè)試

對(duì)比PC 到接入網(wǎng)關(guān)后虛機(jī)VM（結(jié)果A）和PC 到骨干網(wǎng)關(guān)后虛機(jī)VM（結(jié)果B），網(wǎng)絡(luò)性能吞吐基本保持一致，即網(wǎng)絡(luò)流量經(jīng)過(guò)骨干側(cè)網(wǎng)關(guān)，其性能吞吐并沒(méi)有明顯降低。理論上，因?yàn)檗D(zhuǎn)發(fā)路徑多一跳，時(shí)延增大，結(jié)果B 會(huì)小于等于結(jié)果A。但實(shí)際上，在測(cè)試中出現(xiàn)部分情況是結(jié)果A 大于結(jié)果B，或者結(jié)果B 大于結(jié)果A，這多半是屬于Internet 的帶寬和時(shí)延得不到保障導(dǎo)致不同時(shí)間點(diǎn)測(cè)試的偏差。整體測(cè)試并沒(méi)有發(fā)現(xiàn)結(jié)果B 顯著低于結(jié)果A 的情況。因此基本可以得出，在SD-WAN 終端設(shè)備未作帶寬限制的情況下，iperf 測(cè)試速率基本可達(dá)到最大帶寬值，網(wǎng)絡(luò)流量經(jīng)過(guò)接入側(cè)及骨干側(cè)網(wǎng)關(guān)，其性能吞吐并沒(méi)有明顯降低。

4 流量監(jiān)管與流量整形

目前廣泛使用的流量控制策略分別是流量監(jiān)管（traffic policing）與流量整形（traffic shaping），兩者都是通過(guò)監(jiān)督流量規(guī)格，以達(dá)到限制流量及資源使用的目的。

在骨干側(cè)網(wǎng)關(guān)啟用流量監(jiān)管的情況下，首先在SD-WAN 終端VPN 隧道入方向啟用流量監(jiān)管策略。流量監(jiān)管通過(guò)審查數(shù)據(jù)報(bào)文，針對(duì)數(shù)據(jù)報(bào)文流量過(guò)大的網(wǎng)絡(luò)連接，采用自動(dòng)丟棄數(shù)據(jù)報(bào)文或重新設(shè)置數(shù)據(jù)報(bào)文優(yōu)先級(jí)的流量監(jiān)管方式完成數(shù)據(jù)流量的限速。經(jīng)過(guò)測(cè)試發(fā)現(xiàn)，在流量監(jiān)管限制帶寬為20 Mbit∕s 的情況下，采用缺省TCP擁塞控制算法CUBIC，測(cè)試得到從SD-WAN 終端到接入段網(wǎng)關(guān)后虛機(jī)和骨干段網(wǎng)關(guān)后虛機(jī)的網(wǎng)絡(luò)傳輸速率過(guò)低，均無(wú)法達(dá)到期望帶寬速率。嘗試在SD-WAN 終端設(shè)備VPN 隧道出口方向啟用流量整形再次測(cè)速。流量整形與流量監(jiān)管的本質(zhì)區(qū)別在于，流量整形面對(duì)超過(guò)限速的流量報(bào)文及突發(fā)流量，會(huì)將這部分報(bào)文先行儲(chǔ)存在緩沖區(qū)，后續(xù)通過(guò)令牌桶的控制再勻速的發(fā)送出去，在完成流量限速控制的同時(shí)，可以更加有效地利用帶寬通道。經(jīng)過(guò)測(cè)試發(fā)現(xiàn)，采用流量整形限制網(wǎng)絡(luò)傳輸帶寬為20 Mbit∕s 的情況下，實(shí)際網(wǎng)絡(luò)速率可以達(dá)到預(yù)期帶寬效果，采用缺省TCP 擁塞控制算法CUBIC，從SD-WAN 終端到接入段網(wǎng)關(guān)后虛機(jī)的平均上傳、下載速率分別為15.4 Mbit∕s、20.0 Mbit∕s；從SD-WAN 終端到骨干側(cè)網(wǎng)關(guān)后的虛擬機(jī)的平均上傳、下載速率分別為15.6 Mbit∕s、20.0 Mbit∕s，測(cè)試結(jié)果如表2所示。

表2 2種限速策略對(duì)傳輸質(zhì)量的影響

跑滿(mǎn)RTT 時(shí)延50 ms、20 Mbit∕s 帶寬的鏈路，需要20 000 000×0.05∕8=125 000 B的窗口。如果傳輸過(guò)程丟包率很低，那么TCP的傳輸窗口可以達(dá)到125 000 B，性能就可以提高；如果丟包率較高，TCP 傳輸窗口會(huì)回退，傳輸速率就達(dá)不到鏈路帶寬。在SD-WAN 跨域組網(wǎng)模型中，普遍使用的SD-WAN 終端設(shè)備的WAN 接口是千兆接口，而實(shí)際帶寬限速為20 Mbit∕s，終端設(shè)備無(wú)從得知實(shí)際鏈路帶寬，會(huì)以千兆的速率向外發(fā)送報(bào)文至接入段網(wǎng)關(guān)，觸發(fā)Policing 策略，導(dǎo)致突發(fā)流量被丟棄。這些被丟棄的流量會(huì)導(dǎo)致TCP CUIC 的擁塞控制機(jī)制被觸發(fā)，發(fā)送窗口會(huì)被按照固定的乘法減小因子β 進(jìn)行降低，而后進(jìn)入基于一個(gè)立方函數(shù)的快速恢復(fù)階段。如圖2所示，iperf打流結(jié)果顯示有大量丟包，導(dǎo)致TCP傳輸速率無(wú)法上升，使用Wireshark抓包分別對(duì)流量監(jiān)管與流量整形進(jìn)行性能分析，可以看出TCP流量出現(xiàn)鋸齒現(xiàn)象。

圖2 流量監(jiān)管下的鋸齒狀流量

在SD-WAN 終端設(shè)備WAN 口使用Shaping 限速后，同樣的測(cè)試，TCP 重傳的現(xiàn)象減少90%，性能提升2.5 倍以上。使用Wireshark 抓包進(jìn)行性能分析，可以看出TCP流量趨于平滑接近實(shí)際帶寬（見(jiàn)圖3）。

圖3 流量整形下“去峰填谷”

通過(guò)以上對(duì)比不難發(fā)現(xiàn)，在SD-WAN 的應(yīng)用場(chǎng)景中，Policing會(huì)產(chǎn)生流量鋸齒，TCP性能受影響；Shaping則具有典型的去峰填谷作用，使得流量均勻，TCP性能接近實(shí)際帶寬。受限制于試驗(yàn)使用的SD-WAN 終端設(shè)備，Shaping 無(wú)法單獨(dú)作用于VPN 隧道，只能應(yīng)用在物理WAN口上，這就會(huì)限制客戶(hù)互聯(lián)網(wǎng)訪問(wèn)的上行帶寬，但是不影響下行帶寬?？紤]到互聯(lián)網(wǎng)訪問(wèn)主要以下行為主，該解決方案可滿(mǎn)足大部分應(yīng)用場(chǎng)景。故建議在SD-WAN 終端使用流量整形技術(shù)進(jìn)行限速，該技術(shù)可獲得接近實(shí)際帶寬的吞吐性能。

5 缺省TCP擁塞控制與BBR

通過(guò)上述流量監(jiān)管與流量整形的測(cè)試對(duì)比，可以發(fā)現(xiàn)流量監(jiān)管中出現(xiàn)鋸齒狀流量及較低網(wǎng)絡(luò)傳輸速率的根本原因在于TCP 擁塞控制機(jī)制。CUBIC 通過(guò)“加性增，乘性減”的機(jī)制，收到的每一個(gè)確認(rèn)消息緩慢地增加發(fā)送窗口，而每當(dāng)確認(rèn)一個(gè)丟包出現(xiàn)的時(shí)候就迅速地減小發(fā)送窗口。CUBIC發(fā)送窗口的增長(zhǎng)函數(shù)僅取決于連續(xù)2 次擁塞時(shí)間發(fā)生的時(shí)間間隔，窗口增長(zhǎng)不受RTT 的影響。但是，CUBIC 依然需要基于是否出現(xiàn)丟包來(lái)判斷網(wǎng)絡(luò)是否處于擁塞狀態(tài)，而不去區(qū)分造成丟包的原因?？墒窃诒敬螌?shí)驗(yàn)的SD-WAN 跨域組網(wǎng)模型中，流量監(jiān)管的限速策略本身會(huì)造成大量突發(fā)流量被丟棄，這使得TCP CUBIC“錯(cuò)誤地”認(rèn)為網(wǎng)絡(luò)出現(xiàn)擁塞影響TCP 傳輸速率。同時(shí)，廣域網(wǎng)傳輸中本身具有一定程度上的錯(cuò)誤丟包，同樣的這些錯(cuò)誤丟包也被CUBIC視為發(fā)生了網(wǎng)絡(luò)擁塞。

TCP BBR 機(jī)制最重要的變化，是將TCP 的擁塞控制與可控傳輸進(jìn)行了解耦，TCP專(zhuān)注于傳輸?shù)目煽啃?，而B(niǎo)BR 用來(lái)判斷可以發(fā)送多少、以什么速度發(fā)送TCP數(shù)據(jù)。TCP BBR 不再以丟包作為網(wǎng)絡(luò)擁塞的判斷依據(jù)，為了盡可能地獲得更大的發(fā)送窗口，BBR 將不斷測(cè)量最大帶寬值與最小延遲值，并將這兩者的乘積作為發(fā)送窗口的大小。需要注意的是，傳輸鏈路的帶寬最大值與延遲最小值無(wú)法同時(shí)測(cè)出。測(cè)量最大帶寬需要用數(shù)據(jù)包充滿(mǎn)整個(gè)TCP 傳輸通道，意味著傳輸緩沖區(qū)會(huì)有一定量的數(shù)據(jù)包存在，使鏈路延遲升高；測(cè)量最小延遲則需要排空整個(gè)緩沖區(qū)的數(shù)據(jù)包。所以TCP BBR 采取交替測(cè)量帶寬最大值與延遲最小值的方法，以此探測(cè)出鏈路的最大容量，獲得最大的發(fā)送窗口。這就意味著無(wú)論TCP 連接是處于默認(rèn)開(kāi)始狀態(tài)、亂序狀態(tài)還是重傳狀態(tài)，都不會(huì)影響B(tài)BR 的最大發(fā)送窗口，這使得在BBR 的作用下，輸出到網(wǎng)絡(luò)的流量總是靠近管道容量，這樣既能有效保證網(wǎng)絡(luò)帶寬的利用率，同時(shí)有效避免了傳統(tǒng)TCP 的數(shù)據(jù)緩沖區(qū)擁塞膨脹的問(wèn)題。

在SD-WAN 終端盒子啟用流量監(jiān)管策略，采用Linux 缺省的TCP擁塞控制CUBIC，可以看到丟包對(duì)性能影響較大，采用TCP BBR，雖然重傳次數(shù)上升30 倍以上，但是性能提升了1 倍以上。在SD-WAN 終端盒子啟用流量整形策略，丟包率較高時(shí)，TCP BBR 比TCP CUBIC 表現(xiàn)得更激進(jìn)，可獲得更高吞吐率，因此，在同樣的鏈路質(zhì)量下，采用TCP BBR 更容易測(cè)出鏈路最大容量（見(jiàn)表3）。

表3 TCP BBR對(duì)傳輸性能的影響

在SD-WAN 終端盒子側(cè)拋棄流量監(jiān)管而使用出方向的流量整形，可以從根本上避免突發(fā)流量導(dǎo)致TCP 傳輸性能受限的問(wèn)題。同時(shí)，TCP BBR 算法的引入最大程度優(yōu)化了數(shù)據(jù)發(fā)送端的發(fā)送窗口。在本次實(shí)驗(yàn)中通過(guò)客戶(hù)端SD-WAN 終端設(shè)備部署B(yǎng)BR 只能對(duì)上傳速率起到優(yōu)化作用，如表4所示，客戶(hù)端部署的BBR 并不能優(yōu)化下載速率，如果需要優(yōu)化下載速率，需在服務(wù)器端啟用TCP BBR。

表4 3種終端限速條件下的數(shù)據(jù)對(duì)比

通過(guò)對(duì)比上述多組實(shí)驗(yàn)數(shù)據(jù)可以得到以下結(jié)論：SD-WAN 終端盒子啟用流量整形限速策略并配合TCP BBR 優(yōu)化算法可以最大程度上提升網(wǎng)絡(luò)傳輸質(zhì)量，使其更加接近于理論最大帶寬。

6 端到端驗(yàn)證及結(jié)論

將限速策略改為盒子出方向Shaping，開(kāi)啟BBR TCP算法，PE側(cè)仍然采用流量監(jiān)管策略，按照?qǐng)D4所示的拓?fù)溥M(jìn)行端到端的文件傳輸測(cè)試。

如圖4 所示，Ubuntu Server 接入SD-WAN 終端，經(jīng)5G CPE 連接至Internet，同北京POP 節(jié)點(diǎn)建立IPSec VPN 隧道，接入運(yùn)營(yíng)商骨干網(wǎng)；Windows 10 PC 位于上海，接入SD-WAN終端，經(jīng)防火墻接入Internet，同上海POP 節(jié)點(diǎn)建立IPSec VPN 隧道，接入運(yùn)營(yíng)商網(wǎng)。兩者之間的往返平均時(shí)延約為60 ms，分別對(duì)SD-WAN 終端設(shè)備啟用流量監(jiān)管、流量整形及TCP BBR 優(yōu)化，分別進(jìn)行了FTP文件傳輸端到端下載、上傳測(cè)試，測(cè)試結(jié)果如表5所示。

表5 FTP端到端驗(yàn)證

圖4 端到端驗(yàn)證拓?fù)?/p>

測(cè)試結(jié)果驗(yàn)證了修改限速策略并開(kāi)啟BBR 優(yōu)化后SD-WAN 廣域網(wǎng)組網(wǎng)的TCP 吞吐性能有明顯改善。在實(shí)際的應(yīng)用場(chǎng)景中，流量監(jiān)管一般用于普通音頻、視頻通話(huà)等更關(guān)注網(wǎng)絡(luò)時(shí)延抖動(dòng)，對(duì)流量丟棄率不敏感的應(yīng)用。流量整形則用于對(duì)傳輸速度要求較高，但對(duì)時(shí)延和抖動(dòng)不敏感的網(wǎng)絡(luò)應(yīng)用，如文件傳輸。在SD-WAN 廣域網(wǎng)數(shù)據(jù)傳輸中，最終將二者配合使用，在最后一公里接入部分的SD-WAN 終端盒子進(jìn)行流量整形并開(kāi)啟BBR 優(yōu)化，在運(yùn)營(yíng)商骨干網(wǎng)邊緣PE 設(shè)備上使用流量監(jiān)管，這樣既能最大效率地進(jìn)行數(shù)據(jù)傳輸，又保障了對(duì)時(shí)延抖動(dòng)較敏感的網(wǎng)絡(luò)應(yīng)用質(zhì)量。