黃韜,汪碩,黃玉棟,鄭堯,劉江,劉韻潔
(北京郵電大學(xué)網(wǎng)絡(luò)與交換國家重點實驗室,北京 100876)
以太網(wǎng)自20世紀(jì)70年代誕生以來,由于其簡單的網(wǎng)絡(luò)連接機制、不斷提高的帶寬以及可擴展性和兼容性而被廣泛使用,根據(jù)全球移動數(shù)據(jù)流量預(yù)測報告[1]顯示,到2020年全球IP網(wǎng)絡(luò)接入設(shè)備將達263億臺,其中工業(yè)和機器連接設(shè)備將達122億臺,相當(dāng)于總連接設(shè)備的一半,同時高清和超高清互聯(lián)網(wǎng)視頻流量將占全球互聯(lián)網(wǎng)流量的64%。
激增的視頻流量和工業(yè)機器應(yīng)用,帶來了大量的擁塞崩潰和數(shù)據(jù)分組時延。同時,許多網(wǎng)絡(luò)應(yīng)用,例如工業(yè)互聯(lián)網(wǎng)中的數(shù)據(jù)上傳和控制指令下發(fā)、遠程機器人手術(shù)、無人駕駛、VR游戲等,需要將端到端時延控制在1~10 ms,將時延抖動控制在微秒級,但傳統(tǒng)的網(wǎng)絡(luò)只能將端到端的時延減少到幾十毫秒。面對時延敏感性業(yè)務(wù)的迫切需求,如何從“盡力而為”到“準(zhǔn)時、準(zhǔn)確”地控制端到端的時延對IP網(wǎng)絡(luò)提出了新的挑戰(zhàn)。
雖然在工業(yè)領(lǐng)域,有幾個擴展以太網(wǎng)提供了初步的確定性解決方案,例如PROFINET(process field net[2]、EthernetCAT(ethernet control automation technology)[3-4]、TTEthernet(time-triggered ethernet)[5],HaRTES(the hard real time switch architecture)[6],但它們要么不能相互兼容,要么不能與標(biāo)準(zhǔn)以太網(wǎng)設(shè)備集成,很難滿足工業(yè)控制系統(tǒng)的實時確定性要求。深入分析發(fā)現(xiàn),因為以太網(wǎng)缺乏時鐘同步機制、帶寬預(yù)留等管理機制,數(shù)據(jù)分組優(yōu)先級等過濾機制,從而無法為應(yīng)用提供時延和抖動的服務(wù)質(zhì)量(QoS, quality of service)保障。
目前,電子電氣工程師學(xué)會(IEEE, Institute of Electrical and Electronics Engineers)和互聯(lián)網(wǎng)工程任務(wù)組(IETF, Internet Engineering Task Force)已提出了新的確定性網(wǎng)絡(luò)技術(shù)。IEEE 802.1工作組(WG, Work Group)致力于時間敏感網(wǎng)絡(luò)(TSN,time sensitive network)的標(biāo)準(zhǔn)化,時間敏感網(wǎng)絡(luò)是當(dāng)前最為成熟的實現(xiàn)局域確定性網(wǎng)絡(luò)的技術(shù),通過IEEE 802.1AS時鐘同步、IEEE 802.1Qcc流預(yù)留、IEEE 802.1Qch循環(huán)排隊等技術(shù)保證物理層和鏈路層的確定性時延;IETF的DetNet(Deterministic Network)工作組專注于網(wǎng)絡(luò)層(L3)及更高層次的廣域確定性網(wǎng)絡(luò)技術(shù)。此外,5G標(biāo)準(zhǔn)化工作組已將目標(biāo)定為總時延1 ms或更低,應(yīng)用層的開放通信平臺 OPC UA(object linking and embedding for process control unified architecture)也在積極尋求與TSN的結(jié)合,確定性網(wǎng)絡(luò)的發(fā)展充滿了機遇與挑戰(zhàn)。
確定性網(wǎng)絡(luò)技術(shù)已成為當(dāng)今學(xué)術(shù)界和產(chǎn)業(yè)界研究和關(guān)注的熱點之一,不僅在學(xué)術(shù)領(lǐng)域有廣闊的研究空間,而且在產(chǎn)業(yè)化方面也有巨大的市場前景,因此,研究其在特定場景下的具體需求對確定性技術(shù)的發(fā)展落地具有重要意義。
工業(yè)互聯(lián)網(wǎng)是互聯(lián)網(wǎng)與工業(yè)系統(tǒng)全方位深度融合所形成的產(chǎn)業(yè)和應(yīng)用生態(tài),是工業(yè)智能化發(fā)展的關(guān)鍵綜合信息基礎(chǔ)設(shè)施。如圖1所示,工業(yè)互聯(lián)網(wǎng)網(wǎng)絡(luò)連接架構(gòu)分為下層網(wǎng)絡(luò)互聯(lián)和上層數(shù)據(jù)互通兩部分,其中,網(wǎng)絡(luò)互聯(lián)又包括工廠內(nèi)網(wǎng)、工廠外網(wǎng)。以下將從工廠內(nèi)網(wǎng)、工廠外網(wǎng)和數(shù)據(jù)互通三方面闡述工業(yè)互聯(lián)網(wǎng)對確定性時延和抖動的要求。
1) 工廠內(nèi)網(wǎng)
工廠內(nèi)網(wǎng)用于連接工廠內(nèi)的各種要素,包括人員(如生產(chǎn)人員、設(shè)計人員、外部人員)、機器(如裝備、辦公設(shè)備)、材料(如原材料、在制品、制成品)、環(huán)境(如儀表、監(jiān)測設(shè)備)等。工廠內(nèi)網(wǎng)與企業(yè)數(shù)據(jù)中心及應(yīng)用服務(wù)器互聯(lián),支撐工廠內(nèi)的業(yè)務(wù)應(yīng)用。
圖1 工業(yè)互聯(lián)網(wǎng)網(wǎng)絡(luò)連接架構(gòu)
如圖2所示[7],當(dāng)前,工廠內(nèi)網(wǎng)呈現(xiàn)“兩層三級”的結(jié)構(gòu),“兩層”是指存在“工廠IT(information technology)網(wǎng)絡(luò)”和“工廠 OT(operational technology)網(wǎng)絡(luò)”兩層技術(shù)異構(gòu)的網(wǎng)絡(luò);“三級”是指根據(jù)目前工廠管理層級的劃分,網(wǎng)絡(luò)也被分為“現(xiàn)場級”“車間級”“工廠級”這 3個層次,每層之間的網(wǎng)絡(luò)配置和管理策略相互獨立。
圖2 工廠內(nèi)網(wǎng)確定性時延要求
其中,三級中的工廠級的IT 管理運營系統(tǒng)對現(xiàn)場實時工藝過程數(shù)據(jù)和設(shè)備狀態(tài)數(shù)據(jù)有著強烈需求,比如數(shù)據(jù)實時上報、控制指令下發(fā)等。如何實現(xiàn)現(xiàn)場級與工廠級之間高實時性、高可靠性數(shù)據(jù)通信,是目前工業(yè)網(wǎng)絡(luò)領(lǐng)域普遍關(guān)注的焦點問題。比如鋼鐵廠、煉油廠和海上鉆井平臺等實施復(fù)雜的工業(yè)流程,數(shù)千個現(xiàn)場傳感器向工廠控制中心報告溫度、壓力和油箱填充水平,中心以自動或人為干預(yù)的方式使用該信息來控制執(zhí)行器、啟動新的生產(chǎn)階段、安排維護或觸發(fā)警報,其中傳感器、執(zhí)行器和控制中心之間的通信需要1~10 ms確定性時延。
當(dāng)前,滿足該要求的通常做法是修改工業(yè)以太網(wǎng)協(xié)議或者在關(guān)鍵生產(chǎn)流程部署獨立的專用以太網(wǎng)絡(luò)。然而,這類方式存在的互通性、擴展性和兼容性不夠的問題,在從傳統(tǒng)工廠控制網(wǎng)絡(luò)升級到工業(yè)互聯(lián)網(wǎng)的過程中日益明顯,目前主流的解決方案是 TSN時間敏感網(wǎng)絡(luò)和 6TiSCH(IPv6 over time slotted channel hopping)[8]。
TSCH(time slotted channel hopping)是2012年IEEE發(fā)布的 802.15.4e MAC層的一種時隙信道跳頻模式,該模式使用及時同步通信和信道跳變來消除信道衰落和干擾的影響。6TiSCH是IETF成立的工作組,旨在研究IEEE 802.15.4e協(xié)議的TSCH模式下的IPv6連接,使其具有低時延、低抖動、低功耗和高可靠性的工業(yè)級確定性特性。
如圖3所示,6TiSCH上層堆棧(IETF 6LoWPAN、RPL和CoAP)[9]具有最先進的低功耗無線網(wǎng)絡(luò)通信技術(shù)。6top為操作子層,用以綁定IETF上層和IEEE 802.15.4e TSCH,它通過創(chuàng)建標(biāo)準(zhǔn)方法來構(gòu)建和維護調(diào)度,執(zhí)行 TSCH配置和控制過程,并定義了最小的6TiSCH配置,以便實現(xiàn)所有設(shè)備間的互操作性。
圖3 6TiSCH網(wǎng)絡(luò)架構(gòu)
目前,6TiSCH工作組在 6top操作子層、集中式調(diào)度機制、6TiSCH遠程管理接口設(shè)計以及實現(xiàn)骨干網(wǎng)確定性方面的標(biāo)準(zhǔn)尚未完成。
發(fā)電廠目前主要采用6TiSCH協(xié)議以確保實時通信。智能電網(wǎng)應(yīng)用涵蓋了發(fā)電、輸電、配電和客戶駐地領(lǐng)域。在智能電網(wǎng)中,實時信息和可靠的電力輸送使電力系統(tǒng)更加智能,并克服了諸如組件故障、容量限制和影響電力輸送的災(zāi)難等挑戰(zhàn)。例如,實時監(jiān)控和數(shù)據(jù)收集要求通過 IEC 61850協(xié)議傳輸?shù)?種指定消息,具有以下3組可接受的傳輸時間:快速消息、原始數(shù)據(jù)和特殊任務(wù)需要小于10 ms,中等消息需要小于100 ms,而慢速消息和非關(guān)鍵命令需要小于500 ms[10]。具有靈活調(diào)度的TSCH MAC層可以滿足IEC 61850消息傳輸時間要求。
圖4展示了在發(fā)電、配電和家用電表網(wǎng)絡(luò)中利用6TiSCH概念的智能電網(wǎng)架構(gòu),其中實時數(shù)據(jù)采集和智能電子設(shè)備的控制(如自動化本地站的斷路器控制器、自動化變電站的電壓調(diào)節(jié)器和其他自動化設(shè)備)需要滿足極低的時延要求。
2) 工廠外網(wǎng)
工廠外網(wǎng)用于連接智能工廠、分支機構(gòu)、上下游協(xié)作企業(yè)、工業(yè)云數(shù)據(jù)中心、智能產(chǎn)品與用戶等主體。智能工廠內(nèi)的數(shù)據(jù)中心/應(yīng)用服務(wù)器通過工廠外網(wǎng)與工廠外的工業(yè)云數(shù)據(jù)中心互聯(lián)。
工廠外網(wǎng)的需求主要包括4個方面:工業(yè)實體的互聯(lián)網(wǎng)接入需求、跨區(qū)域之間的互聯(lián)與隔離需求、工業(yè)網(wǎng)絡(luò)與混合云互聯(lián)的需求、工業(yè)互聯(lián)網(wǎng)對廣域承載網(wǎng)絡(luò)的差異化需求(QoS、安全/保護等),當(dāng)前,滿足以上需求并廣泛使用的運營商專線業(yè)務(wù)主要包括 MPLS(multi-protocol label switching)VPN專線和基于OTN(optical transport network) 的光網(wǎng)專線。
MPLS VPN虛擬專網(wǎng)為用戶在公共 MPLS網(wǎng)絡(luò)上構(gòu)建企業(yè)的虛擬專網(wǎng),滿足其不同城市(國際、國內(nèi))分支機構(gòu)間安全、快速、可靠的工業(yè)化通信需求,并能夠支持辦公、數(shù)據(jù)、語音、圖像等高質(zhì)量、高可靠性要求的多媒體業(yè)務(wù)。基于OTN的智能光網(wǎng)絡(luò)是大顆粒寬帶業(yè)務(wù)傳送的理想解決方案,如果企業(yè)外部專網(wǎng)的主要調(diào)度顆粒達到 Gbit/s 量級,可以考慮優(yōu)先采用 OTN 技術(shù)進行網(wǎng)絡(luò)構(gòu)建。
隨著智能工廠的發(fā)展,各機器之間通過交換彼此的信息,或者使用超級控制器來描繪網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)以及各種狀態(tài)信息。工廠內(nèi)網(wǎng)需要建立在IP網(wǎng)絡(luò)之上,并且滿足確定性時延和抖動以及遠程控制的要求。而目前的工業(yè)控制網(wǎng)絡(luò)主要局限在局域網(wǎng)的范圍,不能滿足跨局域網(wǎng)、多實時邊緣網(wǎng)絡(luò)互連的確定性業(yè)務(wù)傳輸需求,IETF的DetNet工作組目前正在解決這個問題。
3) 數(shù)據(jù)互通
數(shù)據(jù)互通是指建立數(shù)據(jù)的結(jié)構(gòu)和規(guī)范,使傳遞的數(shù)據(jù)能被有效地理解和利用,對應(yīng)協(xié)議棧的TCP/UDP 層到應(yīng)用層。
圖4 6TiSCH在智能電網(wǎng)架構(gòu)中的使用
如圖5所示,OPC UA[11-14]是一個開放通信平臺,可以實現(xiàn)從PLC(programmable logic controller)到云、PLC之間以及PLC到上層應(yīng)用的數(shù)據(jù)互通,已被選為工業(yè) 4.0的參考標(biāo)準(zhǔn)。其中,上層應(yīng)用包括 ERP(enterprise resource planning)、MES(manufacturing execution system)、SCADA(supervisory control and data acquisition),接口為HMI。對于信息交換,OPC UA提供2種通信機制:第一種是客戶端-服務(wù)器模型,客戶端通過定義的服務(wù)訪問服務(wù)器信息;第二種通信方法是OPC UA PubSub,即發(fā)布者-訂閱者模型,這種方法允許數(shù)千個傳感器和云之間的多播通信,以及機器之間的協(xié)調(diào)通信。
圖5 工廠自動化中的對象連接與嵌入處理控制統(tǒng)一架構(gòu)
為提高數(shù)據(jù)互通的實時性和可靠性,向現(xiàn)場設(shè)備端延伸,OPC UA正積極與IEEE TSN相結(jié)合,支持用于時間同步的IEEE 802.1 AS-Rev和用于調(diào)度的IEEE 802.1 Qbv協(xié)議,實現(xiàn)不同供應(yīng)商的工業(yè)控制器之間的開放式數(shù)據(jù)交換,以及實時的機器到機器通信。OPC UA PubSub標(biāo)準(zhǔn)目前還處于試運行中,但已被使用Profinet、EtherCat、PowerLink等架構(gòu)的大公司采用。
2015年6月24日,國際電信聯(lián)盟(ITU)公布5G技術(shù)的正式名稱為IMT-2020。IMT-2020是第五代移動電話行動通信標(biāo)準(zhǔn),傳輸速度是4G網(wǎng)絡(luò)的40倍,且對時延有非常高的要求。如表1所示[15],4.9G對應(yīng)于LTE向5G的優(yōu)化工作,實現(xiàn)了減少時延90%以上,并且5G標(biāo)準(zhǔn)化工作組已將目標(biāo)定為總時延為1 ms或更低[15]。各種標(biāo)準(zhǔn)化組織為5G的發(fā)展做出了貢獻,包括IEEE、IETF及第三代合作伙伴計劃(3GPP, 3rd Generation Partnership Project)和歐洲電信標(biāo)準(zhǔn)協(xié)會(ETSI, European Telecommunications Standards Institute),相關(guān)標(biāo)準(zhǔn)將在 2020年制定完成。
1) 網(wǎng)絡(luò)架構(gòu)
如圖6所示,整個5G系統(tǒng)可以分為無線接入段、前傳段,以及到核心網(wǎng)絡(luò)的回程段。無線接入段負(fù)責(zé)將無線設(shè)備連接到基站,前傳段將基站連接到云無線接入網(wǎng),而回程段將云無線接入網(wǎng)連接到核心網(wǎng)絡(luò)。核心網(wǎng)絡(luò)連接整個互聯(lián)網(wǎng),包括數(shù)據(jù)中心,為設(shè)備提供端到端的服務(wù)。
圖6 5G網(wǎng)絡(luò)架構(gòu)
2)網(wǎng)絡(luò)應(yīng)用
低時延5G的應(yīng)用包括遠程醫(yī)療、自動駕駛、環(huán)境監(jiān)測、娛樂和工業(yè)自動化等。遠程機器人手術(shù)需要保證1~10 ms的時延保證,自動駕駛需要高速率以及10 ms以內(nèi)的低時延以確保快速響應(yīng)不斷變化的道路狀況,還有用于游戲和娛樂的增強現(xiàn)實(AR,augmented reality)和虛擬現(xiàn)實(VR, virtual reality)需要高速率的視頻傳輸和極低時延,以避免視頻和音頻中的抖動。預(yù)計未來5G將不斷發(fā)展以支持超低時延的端到端連接,如圖7所示,現(xiàn)有的3種5G切片服務(wù)方案包括 eMMB(增強移動寬帶)、URLLC(超可靠低時延通信)和 mMTC(大規(guī)模機器類型通信)[16]。
eMBB側(cè)重于高數(shù)據(jù)速率服務(wù),如高清視頻、虛擬現(xiàn)實、增強現(xiàn)實和固定移動融合。
URLLC側(cè)重于對時延敏感的服務(wù),如自動駕駛車輛、遠程手術(shù)或無人機控制。
mMTC專注于對連接密度有很高要求的服務(wù),如智慧城市和智能農(nóng)業(yè)。
表1 3G、4G、4.9G和5G的時延比較
圖7 5G中網(wǎng)絡(luò)切片的用例
5G承載網(wǎng)絡(luò)可以使用確定性網(wǎng)絡(luò)來提供跨切片和切片內(nèi)的傳輸。例如有2個切片A和B,確定性網(wǎng)絡(luò)通過 URLLC-A和 URLLC-B進行傳輸服務(wù)。URLLC-A和URLLC-B具有單獨的帶寬保留,它們在不同的邏輯網(wǎng)絡(luò)中,沒有資源沖突,可以保證帶寬和時延。
智慧建筑的自動化系統(tǒng)(BAS, building automation system)[17]可以管理建筑的設(shè)備和傳感器,以改善居民的舒適度,減少能源消耗,并探測緊急情況,比如定期測量房間的溫度、濕度,遠程控制門和燈的開關(guān),對設(shè)備的異常狀態(tài)報警等。
1) 網(wǎng)絡(luò)架構(gòu)
如圖8所示,BAS中通常有兩層網(wǎng)絡(luò),上層為管理網(wǎng)絡(luò),下層為現(xiàn)場網(wǎng)絡(luò)。樓宇管理服務(wù)器(BMS,building management server)和人機接口(HMI,human machine interface)通過管理網(wǎng)絡(luò)連接到本地控制器(LC, local controller),本地控制器通過現(xiàn)場網(wǎng)絡(luò)連接到設(shè)備。管理網(wǎng)絡(luò)中使用基于IP的通信協(xié)議,現(xiàn)場網(wǎng)絡(luò)使用非IP的現(xiàn)場協(xié)議。在現(xiàn)場網(wǎng)絡(luò)中有各種物理接口,如RS232C和RS485,它們具有特定的時序要求。因此如果現(xiàn)場網(wǎng)絡(luò)被以太網(wǎng)或無線網(wǎng)絡(luò)替換,這種替換網(wǎng)絡(luò)必須支持確定性流。
圖8 樓宇自動化系統(tǒng)(BAS)架構(gòu)
2) 網(wǎng)絡(luò)應(yīng)用
在環(huán)境監(jiān)測中,BAS系統(tǒng)中的BMS以100 ms的最大測量間隔輪詢每個LC,然后執(zhí)行指定的操作。每個LC需要在一次間隔中測量幾百個傳感器,所以需要極低的測量時延,其可用性預(yù)計為99.999%。
在火災(zāi)探測中,當(dāng)發(fā)現(xiàn)火災(zāi)時,BAS中的BMS須關(guān)閉空氣調(diào)節(jié)系統(tǒng)(HVAC, heating ventilation and air conditioning)、關(guān)閉火災(zāi)百葉窗、打開消防噴淋頭、發(fā)出警報等。在這一過程中,BMS需要管理每個LC的大約10個傳感器,需要實現(xiàn)10~50 ms的測量間隔、10 ms以內(nèi)的通信時延,以及99.999 9%可用性。
在反饋控制中,BAS以各種方式利用反饋控制,其中最需要確定的是控制直流電機,這需要極短的反饋間隔(1~5 ms)、極低的通信時延(10 ms)和抖動(小于1 ms),反饋間隔取決于設(shè)備特征和目標(biāo)控制質(zhì)量值。通常每個LC約有10個這樣的設(shè)備,且可用性需達到99.999 9%。
4K/8K/AR/VR音視頻的應(yīng)用場景包括:音視頻制作、直播、廣播、電影院、現(xiàn)場音樂會、大型場所(機場、體育場館、教堂、主題公園)的公共廣播媒體和應(yīng)急系統(tǒng)。這個行業(yè)正在從點對點的硬件互連轉(zhuǎn)向無線互聯(lián),從而降低成本、提高靈活性。
1) 網(wǎng)絡(luò)架構(gòu)
為提供多媒體流所需的QoS保障,2011年IEEE發(fā)布了 IEEE 802.1 AVB[18](audio/ video bridging)標(biāo)準(zhǔn),其架構(gòu)如圖9所示。它在傳統(tǒng)以太網(wǎng)絡(luò)的基礎(chǔ)上,通過保障帶寬(IEEE 802.1Qat)、限制時延(IEEE 802.1Qav)和精確時鐘同步(IEEE 802.1AS)[19-20]這3個方面的具體協(xié)議,實現(xiàn)在二層局域網(wǎng)創(chuàng)建確定性流。
圖9 音視頻橋接網(wǎng)絡(luò)架構(gòu)
2) 網(wǎng)絡(luò)應(yīng)用
① 實時音視頻。文件傳輸一般采用差錯重傳保證服務(wù)質(zhì)量。實時音視頻不同于常見的文件傳輸,因為發(fā)現(xiàn)丟失或損壞的數(shù)據(jù)分組時再執(zhí)行重傳為時已晚,雖然現(xiàn)有的緩沖機制可用于提供足夠的時延以允許一個或多個時間重試,但這不是真正有效的解決方案,需要保證帶寬來消除擁塞,使用冗余路徑來提供更高的可靠性。
② 同步流播放。Pro AV(professional audio video)是在拍攝時對音頻和視頻進行時間同步,然后通過播放系統(tǒng)的不同路徑進行傳輸。為保證接收端音頻與視頻一致,一個音頻/視頻同步的常見容差是一個 NTSC(national television standards committee)視頻幀(約33 ms),同時為保持觀眾對唇部同步的感知,時延需要在一定的合理容差范圍內(nèi)(比如10%)保持一致。
以美國ESPN為例,2014年6月,其耗資1.25億美元建造了一個1.8萬平方米,擁有最先進廣播和后期制作技術(shù)的廣播工作室名為DC2。它具有2個Evertz EXE光纖路由器,吞吐量為46 Tbit/s,可以在工廠的1 770 km光纖上同時處理超過60 000個信號。在DC2控制臺核心內(nèi)部,音頻可嵌入視頻或獨立信號,可立即提供同步流給任何配有AVB接口的Lawo mc2-56音頻控制臺。AVB基礎(chǔ)設(shè)施取代了ESPN之前的全MADI音頻傳輸系統(tǒng)。
③ 消除回聲。如圖10所示,實線表示從有人對著麥克風(fēng)說話到聲音從揚聲器出現(xiàn)的網(wǎng)絡(luò)時延,包括模數(shù)轉(zhuǎn)換時延、傳輸時延、處理時延和數(shù)模轉(zhuǎn)換時延。虛線表示聲音播放總時延,如果總時延超過 10~15ms,將會產(chǎn)生聲學(xué)回聲,則擴聲系統(tǒng)將無法使用,且總時延界限包括信號的所有路徑,而不僅僅是網(wǎng)絡(luò),所以網(wǎng)絡(luò)時延必須顯著小于15 ms。
圖10 現(xiàn)場Live端到端時延模型
目前,Avid[20]的S6L系列產(chǎn)品已支持以太網(wǎng)音視頻橋接端口,提供低時延的統(tǒng)一現(xiàn)場聲音平臺。
本節(jié)所述確定性網(wǎng)絡(luò)技術(shù)的應(yīng)用場景有如下幾點共性的需求。
1) 需要有界的且極低的時延、抖動和分組丟失率,保證端到端交付。
2) 需要標(biāo)準(zhǔn)化的數(shù)據(jù)流信息模型。
3) 需要集中式網(wǎng)絡(luò)配置和控制系統(tǒng)。確定性網(wǎng)絡(luò)的大小沒有限制,但局限于集中管理和明確的網(wǎng)絡(luò),需排除互聯(lián)網(wǎng)這樣的無限制的分散網(wǎng)絡(luò)。
4) 基于IPv4對以太網(wǎng)進行擴展,以開放標(biāo)準(zhǔn)統(tǒng)一多個專有確定性網(wǎng)絡(luò)。
5) 確定性網(wǎng)絡(luò)和以太網(wǎng)共存,未使用的確定性網(wǎng)絡(luò)帶寬可用于以太網(wǎng)。
6) 需要高可靠性和可用性。
隨著實時流量的增加和對多網(wǎng)融合的需求,傳輸網(wǎng)提出了對確定性路徑傳輸?shù)男枨?。ATM(asynchronous transfer mode)為整合電信網(wǎng),提出了映射底三層網(wǎng)絡(luò)的整體傳輸方案,但是技術(shù)復(fù)雜,設(shè)備昂貴。傳統(tǒng)以太網(wǎng)憑借“盡力而為”的簡潔思想逐漸在傳輸網(wǎng)絡(luò)中成為主流,但因此會導(dǎo)致不可控的路由路徑、丟失分組率和傳輸時延?;谝蕴W(wǎng)成為主流的趨勢,2005年,IEEE的 802.1任務(wù)組成立 AVB任務(wù)組,用于局域網(wǎng)時延敏感的音視頻業(yè)務(wù)的傳輸。2012年,AVB任務(wù)組改名為TSN任務(wù)組,主要應(yīng)用于各種支持低延時及基于時間同步數(shù)據(jù)傳輸?shù)囊蕴W(wǎng)協(xié)議。TSN與OP-CUA等相關(guān)聯(lián)盟積極協(xié)作,促進多家標(biāo)準(zhǔn)的統(tǒng)一。IETF在2015年10月成立了DetNet工作組,其專注于在第二層橋接和第三層路由段上操作的確定性數(shù)據(jù)路徑,目標(biāo)在于將確定性網(wǎng)絡(luò)通過IP/MPLS等技術(shù)擴展到廣域網(wǎng)上。2016年5月,光聯(lián)網(wǎng)論壇(OIF, optical internetworking forum)定義了FlexE技術(shù)的接口幀結(jié)構(gòu),實現(xiàn)帶寬的捆綁、通道化,為5G切片網(wǎng)絡(luò)中的確定性路徑提供了保證。本節(jié)按照IOS五層模型的順序,由下向上介紹確定性網(wǎng)絡(luò)的關(guān)鍵技術(shù)。表2對比了3種關(guān)鍵技術(shù)現(xiàn)有成果的特點。
3.1.1 概述
隨著云計算、視頻以及5G移動通信等業(yè)務(wù)的興起,人們對IP網(wǎng)絡(luò)的訴求從以帶寬為主逐漸轉(zhuǎn)移到業(yè)務(wù)體驗、服務(wù)質(zhì)量和組網(wǎng)效率上。為滿足上述需求,2011年1月,OIF成立靈活以太網(wǎng)研究小組,2015年7月發(fā)布草案,2016年3月發(fā)布了FlexE的1.0標(biāo)準(zhǔn)內(nèi)容(OIF-FLEXE-01.0),2017年第一季度 FlexE For IP/MPLS標(biāo)準(zhǔn)正式在 BBF(broad band forum)立項,該標(biāo)準(zhǔn)對二層、三層業(yè)務(wù)基于FlexE接口的應(yīng)用模型加以定義,將FlexE接口擴展至IP/MPLS網(wǎng)絡(luò)。在OIF 2018年第三季度會議上,F(xiàn)lexE 2.0標(biāo)準(zhǔn)正式發(fā)布,包括幀格式、時間同步方案等。FlexE也稱為靈活以太網(wǎng),是由OIF發(fā)布的通信協(xié)議,在以太網(wǎng)L2(MAC,media access control)/L1(PHY, physical layer)之間的中間層增加了FlexE Shim層,它通過時分復(fù)用分發(fā)機制,將多個client接口的數(shù)據(jù)按照時隙方式調(diào)度并分發(fā)至多個不同的子通道,使網(wǎng)絡(luò)即具備類似于時分復(fù)用(TDM, time division multiplex)的獨占時隙、隔離性好的特性,又具備以太網(wǎng)統(tǒng)計復(fù)用、網(wǎng)絡(luò)效率高的特性。FlexE在以太網(wǎng)技術(shù)的基礎(chǔ)上實現(xiàn)了業(yè)務(wù)速率和物理通道速率的解耦,客戶業(yè)務(wù)不一定在一個物理通道上傳遞,還可能由多個物理通道捆綁形成的一個虛擬的邏輯通道傳遞。圖11展示了FlexE數(shù)據(jù)傳輸?shù)倪壿嫿Y(jié)構(gòu)。在網(wǎng)元節(jié)點中,配置了3個FlexE隧道,其中隧道1和隧道2從左側(cè)的FlexE A組交叉?zhèn)鬏數(shù)搅擞覀?cè)的FlexE B組,隧道3交叉穿通到了右側(cè)的FlexE C組。FlexE 端到端隧道通過FlexE client 交叉實現(xiàn),F(xiàn)lexE shim通過解映射恢復(fù)出各FlexE client 的66 bit碼塊流,根據(jù) FlexE交叉單元配置的連接關(guān)系,輸出到對應(yīng)出向的 FlexE client 單元,通過其 FlexE shim 映射到FlexE group 發(fā)送出去,從而完成整個隧道的連通。
表2 關(guān)鍵技術(shù)現(xiàn)有成果對比
圖11 靈活以太網(wǎng)技術(shù)的數(shù)據(jù)傳輸邏輯結(jié)構(gòu)
3.1.2 關(guān)鍵技術(shù)/標(biāo)準(zhǔn)
FlexE 技術(shù)可以實現(xiàn) 3種應(yīng)用模式:鏈路捆綁模式、子速率模式和通道化模式[21]。鏈路捆綁模式是將多個物理通道捆綁起來,形成一個大的邏輯通道,實現(xiàn)大流量的業(yè)務(wù)傳輸。子速率模式是指單條客戶業(yè)務(wù)速率小于一條物理通道速率時,將多條客戶速率匯聚起來共享一條物理通道,提高物理通道的帶寬利用率。通道化模式是客戶業(yè)務(wù)在多條物理通道上的多個時隙傳遞,客戶業(yè)務(wù)分布在多條不同物理通道的多條時隙上,多個客戶共享多條物理通道。實現(xiàn)這些應(yīng)用的 FlexE的關(guān)鍵技術(shù)包括實現(xiàn)網(wǎng)絡(luò)切片的FlexE shim層結(jié)構(gòu)、實現(xiàn) FlexE端到端傳輸?shù)慕徊鎮(zhèn)魉?、監(jiān)控端到端傳輸?shù)?OAM(operation administration and maintenance)機制和提供可靠性的隧道保護技術(shù)。
1) FlexE shim層
FlexE 協(xié)議定義了一個時分復(fù)用的FlexE shim層。FlexE shim 層通過多個綁定的PHY 來承載各種IEEE 定義的以太網(wǎng)業(yè)務(wù)(FlexE client)。FlexE shim 層可以支持多種以太網(wǎng)MAC分組,包括大于或小于單個物理 PHY 速率的以太網(wǎng)分組。在承載客戶業(yè)務(wù)時,先對以太網(wǎng)分組進行64/66編碼,然后通過插入和刪除空閑塊實現(xiàn)速率適配,將業(yè)務(wù)的時隙配置插入master calendar中,master calendar 將所有時隙分配成多個成員(即sub calendar),添加FlexE 開銷,擾碼后經(jīng)過 PMA(physical medium attachment)、PMD(physical medium dependent) 發(fā)送出去。FlexE 協(xié)議定義每個物理成員PHY(注:標(biāo)準(zhǔn)為 100 GE)上傳遞一個 sub calendar,sub calendar 循環(huán)分配時隙編號來劃分 66 bit碼塊順序,同一編號的碼塊在邏輯上組成一個獨立的時隙,在FlexE shim 中作為一個獨立物理帶寬資源單元分配使用。
2) FlexE業(yè)務(wù)的交叉?zhèn)魉?/p>
端到端FlexE tunnel 傳送技術(shù)是構(gòu)成L1 層承載網(wǎng)絡(luò)的基礎(chǔ)[21]。端到端FlexE隧道實現(xiàn)的核心思路是FlexE client能直接在L1層從一個FlexE組交叉到另一個FlexE組承載,而不是上傳MAC定幀后再進行分組交換。比如,業(yè)務(wù)碼流從一個 FlexE組的PHY 送到對應(yīng)的FlexE組master calendar,按配置規(guī)則提取對應(yīng)業(yè)務(wù)碼塊流后根據(jù)系統(tǒng)交叉配置送到交叉單元,直接輸出映射到另一個 FlexE group 的 master calendar 對應(yīng)的時隙通道,通過PHY 轉(zhuǎn)發(fā)往下一個節(jié)點。
3) OAM機制
采用FlexE tunnel 隧道技術(shù)的承載網(wǎng)絡(luò)實現(xiàn)客戶業(yè)務(wù)的端到端傳輸時,需實現(xiàn)增加 OAM開銷,以實現(xiàn)傳輸管道的端到端監(jiān)控。在承載網(wǎng)絡(luò)分層結(jié)構(gòu)中,F(xiàn)lexE 技術(shù)涉及兩層網(wǎng)絡(luò):FlexE通道層和FlexE 段層。
FlexE通道層位于 FlexE 客戶數(shù)據(jù)層和 FlexE段層之間,實現(xiàn)客戶數(shù)據(jù)的接入/恢復(fù)、增加/刪除OAM 信息、數(shù)據(jù)流的交叉連接,以及通道保護的功能。FlexE 通道層形成的端到端連接管道稱之為FlexE隧道,它是FlexE網(wǎng)絡(luò)中傳遞的一條邏輯承載管道,客戶業(yè)務(wù)從源節(jié)點映射到FlexE shim,經(jīng)過邏輯承載管道后,再從 shim中解映射到目的節(jié)點。FlexE 通道層OAM 信息需要進行擴展實現(xiàn),在客戶業(yè)務(wù)復(fù)用進入FlexE shim 層前,在客戶業(yè)務(wù)流(由66 bit碼塊組成的TDM 碼流)中按某種固定周期插入OAM 信息塊。
FlexE 段層位于FlexE通道層和物理層之間。在FlexE 段層中,實現(xiàn)接入數(shù)據(jù)流的速度適配、數(shù)據(jù)流在FlexE shim 上映射與解映射、FlexE 幀開銷的插入與提取的功能。FlexE 段層的OAM 信息來自標(biāo)準(zhǔn)定義的 FlexE 開銷幀的內(nèi)容,通過開銷幀頭、復(fù)幀幀頭信息可以提供等效 CC(continuity check)/CV(connectivity verification) 檢測,開銷幀中RPF(remote PHY fault)信息可以提供遠端成員缺陷指示 RDI(remote defect indication),通過PHY map、client calendar A/B 等字段來交互鏈路帶寬以及相關(guān)時隙配置業(yè)務(wù)類型等。
4) 隧道保護
在FlexE 通道層提供保護功能,提高客戶業(yè)務(wù)在 FlexE 隧道中傳輸?shù)目煽啃?。保護方式分為“1+1”保護和“1:1”保護[21]。當(dāng)客戶業(yè)務(wù)在一條隧道中出現(xiàn)故障時,快速將客戶業(yè)務(wù)切換到另外一條隧道中進行傳輸。
當(dāng)客戶業(yè)務(wù)正常工作時,在“1+1”保護中,客戶業(yè)務(wù)可以同時在2條隧道中傳輸,在目的點同時檢測2條隧道的業(yè)務(wù)服務(wù)質(zhì)量狀況,從服務(wù)質(zhì)量高的隧道中接收客戶業(yè)務(wù),網(wǎng)絡(luò)承載客戶業(yè)務(wù)的帶寬利用率只有50%。在“1:1”保護中,有2條承載通道隧道:主通道隧道和備通道隧道。在正常工作時,客戶業(yè)務(wù)在主通道隧道傳輸,備通道隧道可以傳輸?shù)蛢?yōu)先級客戶業(yè)務(wù)。當(dāng)主通道隧道出現(xiàn)故障時,發(fā)送端和接收端協(xié)商并決策,將客戶從主通道隧道切換到備通道隧道中傳輸。由于 1:1保護模式在正常工作狀態(tài)下備用通道隧道可以傳遞其他低優(yōu)先級客戶業(yè)務(wù),網(wǎng)絡(luò)承載客戶業(yè)務(wù)的帶寬利用率可以達到100%。
3.1.3 趨勢
網(wǎng)絡(luò)切片技術(shù)可以讓運營商在一個硬件基礎(chǔ)設(shè)施中切分出多個虛擬的端到端網(wǎng)絡(luò),每個網(wǎng)絡(luò)切片在設(shè)備、接入網(wǎng)、承載網(wǎng)及核心網(wǎng)方面實現(xiàn)邏輯隔離,適配各種類型服務(wù)并滿足用戶的不同需求。對每一個網(wǎng)絡(luò)切片而言,網(wǎng)絡(luò)帶寬、服務(wù)質(zhì)量、安全性等專屬資源都可以得到充分保證。采用 FlexE技術(shù)的網(wǎng)絡(luò)具有彈性帶寬、靈活分配的硬管道,可以實現(xiàn)業(yè)務(wù)的物理隔離和可靠的服務(wù)質(zhì)量,天然地實現(xiàn)了網(wǎng)絡(luò)切片功能。FlexE 技術(shù)的物理管道捆綁、子速率、通道化的應(yīng)用模式可以承載各類速率需求的客戶業(yè)務(wù),提高了網(wǎng)絡(luò)承載帶寬的利用率,降低了網(wǎng)絡(luò)設(shè)備的成本,逐步完善的OAM 功能滿足網(wǎng)絡(luò)維護管理需要,這些優(yōu)勢很好地滿足了5G 承載網(wǎng)絡(luò)的技術(shù)需求。
3.2.1 概述
AVB(audio video bridging),即音視頻橋接技術(shù),是IEEE 802.1任務(wù)組(TG, task group)在2005年基于以太網(wǎng)架構(gòu)制定的一套用于實時音視頻的二層傳輸協(xié)議集[22-23]。由于傳統(tǒng)以太網(wǎng)是基于“盡力而為”的思想設(shè)計,在數(shù)據(jù)傳輸時會出現(xiàn)分組丟失和不確定的時延,無法滿足確定性網(wǎng)絡(luò)對確定性端到端傳輸路徑與時延的需要。AVB標(biāo)準(zhǔn)通過時鐘同步、資源預(yù)留和流量整形等技術(shù)有效降低了音視頻數(shù)據(jù)在以太網(wǎng)傳輸中的最差時延,同時保持 100%向后兼容傳統(tǒng)以太網(wǎng)。
隨著對確定性網(wǎng)絡(luò)需求的增加,AVB TG2012年更名為TSN(time sensitive network)TG,即時間敏感網(wǎng)絡(luò)任務(wù)組。與AVB 相比,TSN對AVB已有的協(xié)議進行了補充,應(yīng)用范圍更加廣泛,TSN主要有4個應(yīng)用方向:專業(yè)音視頻(Pro AV)、汽車控制領(lǐng)域、商用電子領(lǐng)域和需要實時反饋的工業(yè)領(lǐng)域。TSN還可以用于支持大數(shù)據(jù)的服務(wù)器之間的數(shù)據(jù)傳輸。
TSN可以通過在以太網(wǎng)中的部署支持實時的IACS(industrial automation and control system)應(yīng)用。IEEE 802.1 TSN TG基于橋接局域網(wǎng)擴展了傳統(tǒng)以太網(wǎng)數(shù)據(jù)鏈路層的標(biāo)準(zhǔn)和協(xié)議,保證數(shù)據(jù)具有確定的低時延和抖動,滿足數(shù)據(jù)傳輸?shù)腝oS要求,同時提供了足夠的措施來實現(xiàn)網(wǎng)絡(luò)中的端到端通信的安全性,這些標(biāo)準(zhǔn)還在修訂并不斷更新,新的標(biāo)準(zhǔn)會覆蓋取代舊有標(biāo)準(zhǔn),圖12展示了AVB/TSN標(biāo)準(zhǔn)的發(fā)展歷程。
3.2.2 關(guān)鍵技術(shù)
為了滿足部分流量對確定性時延的要求,首先,要提供精確的時間同步機制;其次,要提供確定的傳輸路徑。AVB/TSN的思路是:首先將網(wǎng)絡(luò)中需求不同的流量[24]分成不同的優(yōu)先級流,將有確定性需求的流量與其余流量區(qū)分開;然后以類似時分復(fù)用的思想,通過不同的流量整形機制為高優(yōu)先級流量提供確定的傳輸時隙,以保證時間敏感流量有一條確定的傳輸路徑。圖13展示了TSN技術(shù)的架構(gòu)。為了在兩層網(wǎng)絡(luò)中實現(xiàn)確定性網(wǎng)絡(luò),TSN標(biāo)準(zhǔn)[25]提供了精確的網(wǎng)絡(luò)時間同步機制,調(diào)度不同優(yōu)先級流量的網(wǎng)絡(luò)管理機制,保證確定性時延的Qos機制和配置以上標(biāo)準(zhǔn)的執(zhí)行機制。接下來,分別就這4個方面進行介紹。
圖12 AVB/TSN標(biāo)準(zhǔn)的發(fā)展歷程
1) 時間同步機制
確定性網(wǎng)絡(luò)的一個基本要求是提供精準(zhǔn)的網(wǎng)絡(luò)時間同步機制。在 TSN協(xié)議中,IEEE 802.1AS[26-27]和更新的修訂版本IEEE 802.1AS-REV可以實現(xiàn)亞微秒級的時間同步。IEEE 802.1AS采用IEEE 1588-2008(1588v2)[28]中的通用精確時間配置協(xié)議(gPTP, generic precision time protocol)。gPTP協(xié)議通過 BMCA(best master clock algorithm)[28]建立主從結(jié)構(gòu)形成 gPTP域,然后選出最精確的時鐘源GM(grand master)時鐘。在 gPTP域內(nèi),主時鐘和從時鐘之間不斷傳遞時間信息,并將時間與 GM 時鐘進行同步[29]。IEEE802.1 AS-REV增加了在多個時域進行時間同步的功能,既能在某域內(nèi)GM時鐘發(fā)生故障時實現(xiàn)快速切換到其他域的功能,又能提高時間測量精度。
圖13 TSN技術(shù)架構(gòu)
2) 資源預(yù)留機制和準(zhǔn)入框架
為了增強TSN網(wǎng)絡(luò)的可擴展性,TSN可以使用UML語言配置,IEEE 802.1 Qcp協(xié)議標(biāo)準(zhǔn)化了TSN的YANG模型[30-31],為周期性監(jiān)控和報告以及配置802.1網(wǎng)橋和組件提供框架,比如配置媒體訪問控制(MAC)網(wǎng)橋,雙端口MAC中繼,虛擬局域網(wǎng)(VLAN,virtual local area network)網(wǎng)橋[32]等。
為了實現(xiàn)對時間敏感流量的優(yōu)先調(diào)度,需要有針對TSN流的資源預(yù)留和準(zhǔn)入控制機制。TSN協(xié)議中的 IEEE 802.1 Qat流預(yù)留協(xié)議(SRP, stream reservation protocol)[33]、IEEE 802.1 Qcc 增強型SRP和集中管理協(xié)議[34]、IEEE 802.1 CS本地鏈路保留協(xié)議(LRP, link-local reservation protocol)[35]和RAP協(xié)議(resource allocation protocol),負(fù)責(zé)路徑預(yù)留和帶寬限制,接下來詳細(xì)介紹這些協(xié)議。
AVB TG提出了目前已經(jīng)合并到IEEE 802.1Q的IEEE 802.1 Qat流預(yù)留協(xié)議(SRP, stream reservation protocol)[33]。該協(xié)議基于TSN流的資源要求和當(dāng)前網(wǎng)絡(luò)可用資源規(guī)定了準(zhǔn)入控制架構(gòu),通過多址注冊協(xié)議[24](MRP, multiple registration protocol),使用48位擴展唯一標(biāo)識符,也稱作StreamID,來識別和注冊業(yè)務(wù)流,為 AVB流提供足夠的資源預(yù)留。此外,IEEE 802.1Qat規(guī)定了在全雙工以太網(wǎng)中保留網(wǎng)絡(luò)資源和廣告流的框架。
由于現(xiàn)有的IEEE 802.1Qat采用分布式的注冊和預(yù)留方式,注冊請求的變更有可能使網(wǎng)絡(luò)過載從而導(dǎo)致關(guān)鍵流量類的時延。因此,TSN TG引入了IEEE 802.1Qcc[36]標(biāo)準(zhǔn),通過減小預(yù)留消息的大小和頻率來改善現(xiàn)有SRP,使更新僅由鏈路狀態(tài)或預(yù)留改變觸發(fā)。此外,IEEE 802.1Qcc提供了一套集中式的全局管理和控制網(wǎng)絡(luò)的工具,可通過遠程管理協(xié)議(如 NETCONF[37]或 RESTCONF[38])執(zhí)行資源預(yù)留、調(diào)度和其他配置。IEEE 802.1Qcc[36]仍支持完全分布式配置,允許集中管理系統(tǒng)和分散的 Ad Hoc系統(tǒng)共存。當(dāng)與IEEE 802.1 Qca路徑控制和保留機制和流量整形結(jié)合時,該方案可以提供確定性的端到端時延和零擁塞丟失。
雖然 MRP[39]提供了有效的注冊流方法,但它保存流狀態(tài)信息的數(shù)據(jù)庫限制在大約1 500 B。隨著更多業(yè)務(wù)流共存以及網(wǎng)絡(luò)規(guī)模的增加,數(shù)據(jù)庫成比例地增加,SRP和MRP由于注冊流狀態(tài)信息的數(shù)據(jù)庫有限而無法擴展到具有實時性IACS應(yīng)用的大型網(wǎng)絡(luò)。TSN TG引入了本地鏈路預(yù)留協(xié)議[35],在點對點鏈路的兩端之間有效地復(fù)制 MRP數(shù)據(jù)庫,并在網(wǎng)橋報告新的網(wǎng)絡(luò)狀態(tài)時逐步復(fù)制更改。LRP還提供清除過程,當(dāng)此類數(shù)據(jù)庫的源無響應(yīng)或數(shù)據(jù)過期時,刪除復(fù)制的數(shù)據(jù)庫。經(jīng)過優(yōu)化,LRP可有效處理大約1 MB的數(shù)據(jù)庫。LRP與作為信令協(xié)議的RAP一起以分布式的方式支持可擴展的TSN網(wǎng)絡(luò)的資源預(yù)留。
3) 確定性時延的QoS機制
為了實現(xiàn)確定時延,TSN利用幀搶占和流量整形機制在以太網(wǎng)鏈路中實現(xiàn)確定的傳輸路徑,目前已經(jīng)發(fā)布了幾種流控制標(biāo)準(zhǔn)。比如 IEEE 802.1 Qav[40-41]采用 CBS(credit-based shaper)機制,IEEE 802.1 Qbv 采用 Tas (time-aware shaper)機制[40],IEEE 802.1 Qch采用CQF(cyclic queuing and forwarding)機制,IEEE 802.1 Qcr采用 ATS(asynchronous traffific shaping)機制。流量整形機制通過為高優(yōu)先級流量提供確定的傳輸時隙來提供確定的傳輸時延,避免突發(fā)流量造成的重傳和分組丟失的影響。
CBS主要應(yīng)用于AVB應(yīng)用,它利用信用這個指標(biāo)將傳輸時間分為允許高優(yōu)先級流量和普通優(yōu)先級流量傳輸這2個時隙。CBS結(jié)合SRP可以將每個網(wǎng)橋出現(xiàn)的時延限制在250 ms,但是CBS使網(wǎng)絡(luò)平均時延增加。因此,TSN TG提出了TAS機制,配合幀搶占機制一起提供更好的QoS,這也是目前最常使用的流量整形機制。對于符合IEEE 802.3的以太網(wǎng)幀,算入單個IEEE 802.1Q VLAN標(biāo)記和幀間間隔的幀的總長度為1 542 B,其中包括前導(dǎo)碼和幀起始定界符共8 B,以太網(wǎng)地址、以太網(wǎng)類型或長度和CRC共18 B,VLAN標(biāo)記4 B,幀有效載荷1 500 B,幀間隔12 B。與傳統(tǒng)以太網(wǎng)幀相比,增加了4 B的IEEE 802.1Q VLAN標(biāo)記。
TAS機制要求所有時間觸發(fā)的窗口時間同步,然后利用門控列表技術(shù)控制不同優(yōu)先級的隊列的傳輸或等待。為了減少在時隙轉(zhuǎn)換時,低優(yōu)先級流量對高優(yōu)先級流量的干擾,TSN采用 IEEE 802.1Qbu幀搶占[42]機制,利用保護頻帶為TAS確保傳輸信道對于下一個高優(yōu)先級流量的傳輸是可用的,同時顯著減小保護頻帶的字節(jié)數(shù)。使用幀預(yù)占技術(shù)前,保護頻帶的持續(xù)時間必須與安全傳輸?shù)淖畲髱叽缫粯娱L,即1 542 B的傳輸時間;加入幀預(yù)占后,保護頻帶可以減少到幀的最小尺寸,即最小幀64 B和不能預(yù)占的剩余長度63 B的和,總共127 B。幀預(yù)搶占造成的低優(yōu)先級幀中斷只發(fā)生在鏈路層,在下一個網(wǎng)橋的接口處,被中斷的幀會被重新整合成為完整的幀。
TAS雖然有效減小了傳輸時延,但是配置復(fù)雜,對網(wǎng)絡(luò)節(jié)點的時間同步要求很高,CQF(cyclic queuing and forwarding),也稱蠕動整形器(PS,peristaltic shaper),可以通過同步入口和出口的隊列操作來降低TAS配置的復(fù)雜性,實現(xiàn)與網(wǎng)絡(luò)拓?fù)錈o關(guān)的零擁塞丟失和有界時延,但是會導(dǎo)致更高的時延,對時間同步的要求也很高。
為了有效利用網(wǎng)絡(luò)帶寬,ATS(asynchronous traffic shaper)基于 UBS(urgency-based scheduler)[43-44],通過在每一跳重塑TSN流,提供不需要嚴(yán)格時間同步的確定性時延??傮w來說,這些提供確定性時延的流量控制機制的高效動態(tài)配置需要更多的研究和實踐。
4) 配置TSN流量
TSN流會根據(jù)應(yīng)用需求在以太網(wǎng)報頭中的802.1Q VLAN標(biāo)記中的PCP(priority code point)和VID(VLAN ID)中定義流的不同優(yōu)先級。
TSN中有多個流管理標(biāo)準(zhǔn),包括 IEEE 802.1CB、IEEE 802.1Qca、IEEE 802.1Qci,負(fù)責(zé)提供路徑冗余、多路徑選擇及隊列過濾。盡管標(biāo)準(zhǔn)以太網(wǎng)可以通過生成樹協(xié)議提供冗余能力,但是對于實時 IACS應(yīng)用而言,在發(fā)生故障時的收斂時間太長。因此,F(xiàn)RER(frame replication and elimination for reliability)在不相交的路徑上發(fā)送關(guān)鍵流量的重復(fù)副本,用于主動實現(xiàn)無縫數(shù)據(jù)冗余,代價是額外的帶寬消耗。PCR(path control and reservation)提供顯式轉(zhuǎn)發(fā)路徑控制所需要的協(xié)議,如預(yù)定義的保護路徑、帶寬預(yù)留、數(shù)據(jù)流冗余、流同步和流控制信息的控制參數(shù)的分配[45],PCR與FRER、IEEE 802.1Qcc結(jié)合使用時達到快速恢復(fù)、高效路徑冗余和動態(tài)流量管理。PSFP(per-stream filtering and policing)通過StreanID識別流,執(zhí)行相關(guān)策略,負(fù)責(zé)管理控制并防止惡意流程惡化網(wǎng)絡(luò)性能。
3.2.3 趨勢
TSN在二層網(wǎng)絡(luò)通過時分復(fù)用的思想為高優(yōu)先級流量提供了確定性網(wǎng)絡(luò)需要的傳輸路徑和傳輸時延,但是會導(dǎo)致低優(yōu)先級流量的時延增加,一種方法是通過適當(dāng)?shù)慕尤肟刂?,利用統(tǒng)計復(fù)用可以為時延界限提供統(tǒng)計保證[46]。如何協(xié)調(diào)傳輸時延的最大時延和平均時延是一個加速 TSN應(yīng)用部署的關(guān)鍵問題。除此之外,如何部署TSN網(wǎng)絡(luò),是采用分布式部署還是結(jié)合SDN等技術(shù)進行集中式部署,以及如何互聯(lián)多個封閉的 TSN網(wǎng)絡(luò)也是未來要考慮的關(guān)鍵問題。
3.3.1 概述
確定性網(wǎng)絡(luò)工作組(DetNet WG, Deterministic Networking Working Group),是由IETF在2015年10月成立的小組,DetNet目標(biāo)是在第二層橋接和第三層路由段上實現(xiàn)確定傳輸路徑,這些路徑可以提供時延、丟失分組和抖動的最壞情況界限,以此提供確定的時延。相比于TSN,DetNet的工作范圍更加廣泛,通過MPLS/IP技術(shù),以期實現(xiàn)三層的確定性傳輸。
DetNet在二層網(wǎng)絡(luò)的確定性路徑的實現(xiàn)主要依靠TSN標(biāo)準(zhǔn)實現(xiàn)??梢钥吹?,活躍在TSN標(biāo)準(zhǔn)制定組織中的成員也廣泛活躍在 DetNet的標(biāo)準(zhǔn)制定組織中。
DetNet工作組尚未建立 IETF RFC,但目前有多個 IETF草案可供參考。本文接下來會介紹DetNet工作組提出的確定性網(wǎng)絡(luò)的操作、管理和維護的標(biāo)準(zhǔn)化的整體架構(gòu),其支持多跳路由的時間同步、管理、控制和安全操作,以及各種形式的動態(tài)網(wǎng)絡(luò)配置和多路徑轉(zhuǎn)發(fā)。圖 14展示了DetNet的主要架構(gòu),圖中不同線型表示承載不同功能的抽象鏈路。
圖14 DetNet的架構(gòu)
3.3.2 關(guān)鍵技術(shù)
DetNet在二層網(wǎng)絡(luò)的確定性時延主要通過TSN機制實現(xiàn),本節(jié)不再贅述。如何在三層網(wǎng)絡(luò)部署DetNet還在討論階段,目前的幾種備選方案是結(jié)合UDP / TCP服務(wù)層協(xié)議或結(jié)合基于MPLS的服務(wù)層協(xié)議實現(xiàn)三層的確定性網(wǎng)絡(luò)。接下來從 DetNet流定義、資源規(guī)劃、流量工程和配置模型幾個方面介紹DetNet。
1) DetNet流定義
DetNet的時鐘同步主要通過TSN機制實現(xiàn),它指定通過實現(xiàn)網(wǎng)絡(luò)實體之間的亞微秒級時間同步和在程序包中嵌入執(zhí)行時間字段[47]來減少抖動。
DetNet流按其QoS類別分類,通過最大和最小端到端時延,以及丟失分組概率要求來定義每個流的QoS,目前確定了4種主要的DetNet流類型[47]。
DetNet堆棧模型架構(gòu)分為 DetNet服務(wù)層以及DetNet傳輸層。DetNet服務(wù)層是負(fù)責(zé)特定 DetNet服務(wù)的層,例如分組排序,流復(fù)制/重復(fù)消除和分組編碼,而DetNet傳輸層負(fù)責(zé)可選地通過底層網(wǎng)絡(luò)提供的路徑為DetNet流提供擁塞保護[42]。DetNet可以有多個分層拓?fù)?,其中每個下層拓?fù)錇楦邔油負(fù)浞?wù)。DetNet節(jié)點之間相互連接形成子網(wǎng)絡(luò),這些子網(wǎng)絡(luò),例如二層TSN網(wǎng)絡(luò)或者點對點光傳輸網(wǎng)絡(luò)(OTN, optical transport network)[47],可以通過兼容服務(wù)支持DetNet流量。
為了低層流量能夠更精確地針對高層流量類型來實施不同的排隊、整形和轉(zhuǎn)發(fā)策略,DetNet模糊了網(wǎng)絡(luò)層和鏈路層的界限,二層網(wǎng)絡(luò)可以通過流ID 和 DetNet控制字(CW, control word)識別DetNet流類型和對應(yīng)屬性相關(guān)的上層信息。為此,DetNet流需要標(biāo)準(zhǔn)化跨層或異構(gòu)網(wǎng)絡(luò)的流屬性映射,DetNet考慮了3種主要的轉(zhuǎn)發(fā)方法:IP路由、MPLS標(biāo)簽交換、以太網(wǎng)橋接。對于在異構(gòu)網(wǎng)絡(luò)的轉(zhuǎn)發(fā),每個DetNet數(shù)據(jù)分組都附加或封裝有多個流ID(IP、MPLS或以太網(wǎng))。這使DetNet能夠在IP和非IP網(wǎng)絡(luò)之間進行路由和轉(zhuǎn)發(fā),從而實現(xiàn)網(wǎng)絡(luò)互操作性。
2) 資源規(guī)劃
在資源管理方面,DetNet有集中式和分布式這2種路徑設(shè)置方式。集中路徑設(shè)置類似于IEEE TSN的集中管理模型,利用 PCE(path computation element)和基于分組的IP或非IP網(wǎng)絡(luò)的信息傳播來實現(xiàn)全局網(wǎng)絡(luò)的優(yōu)化。分布式路徑設(shè)置利用內(nèi)部網(wǎng)關(guān)協(xié)議流量工程(IGP-TE)信令協(xié)議開發(fā)了類似于IEEE 802.1Qat、IEEE 802.1Qca和MRP信令協(xié)議的初始設(shè)計規(guī)范。
為了補充DetNet流量控制機制(包括整形、調(diào)度和搶占),每個節(jié)點(或集中設(shè)置的中央控制器)需要有和附近網(wǎng)絡(luò)共享網(wǎng)絡(luò)狀態(tài)的能力[47]。例如共享當(dāng)前節(jié)點的資源使用狀態(tài)、鄰居節(jié)點及其關(guān)系的屬性等。目前還沒有規(guī)定如何實現(xiàn)這種能力,但是這對于全局規(guī)劃流量、實現(xiàn)確定性網(wǎng)絡(luò)至關(guān)重要。
3) 流量工程
IETF流量工程架構(gòu)和信令工作組考慮將流量工程(TE, traffic engineering)架構(gòu)用于分組和非分組網(wǎng)絡(luò)[48],定義控制和管理DetNet流的關(guān)鍵概念、功能以及不同層面之間的關(guān)系,使用戶和操作員可以動態(tài)地輕松控制、測量和管理流,還引入了QoS參數(shù)的快速恢復(fù)和確定性邊界。DetNet WG采用類似于軟件定義網(wǎng)絡(luò)范例的方法,為DetNet起草了一套TE架構(gòu),與IEEE TSN的IEEE 802.1Qcc管理方案和集中式 SDN方法具有相似之處。整個架構(gòu)分為應(yīng)用層面、控制層面和網(wǎng)絡(luò)平面。在控制層面對DetNet流進行全局規(guī)劃。
4) DetNet配置模型
DetNet能夠在各種支持 DetNet的網(wǎng)絡(luò)實體之間實現(xiàn)無縫配置和重配置,草案[49]定義了 DetNet分布式、集中式和混合式的配置模型及其相關(guān)屬性,還介紹了在集中配置模型中傳遞網(wǎng)絡(luò)配置參數(shù)的YANG模型。
在分布式配置模型中,控制信息通過 IGP和RSVP-TE等協(xié)議來執(zhí)行,草案中沒有詳細(xì)介紹。集中式配置模型的控制信息通過 CUC(centralized user configuration)和 CNC(central network controller)配置,集中式配置模型[49]被定義了以下主要屬性。
① DetNet拓?fù)鋵傩?,指定拓?fù)湎嚓P(guān)屬性,例如節(jié)點類型,是否具有數(shù)據(jù)分組復(fù)制和消除功能(PREF, packet replication and elimination fuction)以及排隊管理算法。
② DetNet路徑配置屬性,指定網(wǎng)絡(luò)路徑相關(guān)屬性,例如約束條件(所需的最小/最大時延)和使用PCE(具有PREF)的顯式路由。
③ DetNet流配置屬性,指定DetNet流屬性,例如流ID、優(yōu)先級、流量規(guī)范和封裝方法。
④ DetNet狀態(tài)屬性,指定流狀態(tài)反饋屬性,例如流性能(時延、丟失分組、監(jiān)管/過濾)和PREF狀態(tài)。
DetNet流量的大多數(shù)控制功能通過和IEEE TSN TG相同的機制實現(xiàn),目前,DetNet服務(wù)和傳輸層協(xié)議正在考慮各種協(xié)議和技術(shù)選項。根據(jù)文獻[50],數(shù)據(jù)平面協(xié)議的2個最突出的部署候選者是基于本地IP傳輸層的UDP /TCP服務(wù)層和在分組交換網(wǎng)絡(luò)傳輸層上基于MPLS的基于偽線[51]的服務(wù)層。
3.3.3 趨勢
與給定L2網(wǎng)段中包含的TSN流控制操作和服務(wù)相比,預(yù)計 DetNet流控制操作將具有更大的規(guī)模和更高的復(fù)雜性。DetNet流量控制將在互操作性、控制數(shù)據(jù)開銷以及保證各種L2網(wǎng)段的QoS指標(biāo)方面帶來若干挑戰(zhàn)。此外,不同網(wǎng)段的所有者之間可能會出現(xiàn) QoS服務(wù)水平協(xié)議的不同要求。
當(dāng)前TSN標(biāo)準(zhǔn)已經(jīng)相當(dāng)成熟,已有廠商推出支持TSN特性的交換芯片和支持部分特性的TSN交換機,而DetNet目前進展還處于場景、需求、架構(gòu)的前期階段,離提供L3/L2融合的確定性服務(wù)的標(biāo)準(zhǔn)和方案還有一定距離。目前已發(fā)布的工作組草案包括:基本的 DetNet架構(gòu)、用例、安全,DetNet數(shù)據(jù)平面的IP和MPLS方案,DeNet配置模型中的數(shù)據(jù)流信息模型、YANG模型等。DetNet工作組下一步計劃包括:數(shù)據(jù)平面流的控制和轉(zhuǎn)發(fā);數(shù)據(jù)配置信息模型,包括YANG模型、DetNet OAM模型;DetNet QoS保障技術(shù)。
確定性業(yè)務(wù)在跨域場景并且多條確定性業(yè)務(wù)流場景下,每條流的特性配置包括帶寬、時延、分組長度、發(fā)送頻率、在端口的入時間窗口和出時間窗口,以及每個節(jié)點間的出、入時間窗口的匹配;在節(jié)點內(nèi)部針對確定性業(yè)務(wù)流的資源分配包括時隙分配、循環(huán)間隔、帶寬預(yù)留、門狀態(tài)控制、流隊列映射、搶占狀態(tài)、多條流的資源沖突判斷等。這些增加的技術(shù)復(fù)雜度是否導(dǎo)致應(yīng)用的局限性,比如局限在一定范圍內(nèi)的局域網(wǎng)內(nèi),還有待進一步的研究分析。
目前,確定性網(wǎng)絡(luò)的部署采取平滑演進的方式,基于傳統(tǒng)以太網(wǎng)部署,在新加入的流標(biāo)識和流機制中都兼容了傳統(tǒng)機制,雖然浪費了部分網(wǎng)絡(luò)資源,但是降低了部署以太網(wǎng)的成本,大大加快了確定性網(wǎng)絡(luò)的部署和研究。隨著確定性網(wǎng)絡(luò)部署程度的增加,如何減少為兼容傳統(tǒng)網(wǎng)絡(luò)造成的開銷也是一個值得考慮的方向。
部署確定性網(wǎng)絡(luò)的另一個關(guān)鍵問題是采用集中式部署還是分布式部署,具體在建立同步時鐘、流量控制、資源預(yù)留等方面都有體現(xiàn)。集中式部署和分布式部署分別具有特定的部署優(yōu)勢和缺點。TSN基礎(chǔ)設(shè)施和協(xié)議必須支持確定的端到端時延和可靠性,為了支持各種相關(guān)協(xié)議,網(wǎng)絡(luò)基礎(chǔ)設(shè)施變得更加復(fù)雜。因此,簡化的TSN管理機制對于降低復(fù)雜性同時滿足確定性網(wǎng)絡(luò)應(yīng)用的關(guān)鍵需求至關(guān)重要。集中式部署可以從 SDN的實施和管理中受益,例如在建立同步時鐘時,為了實現(xiàn)精確的時間同步而在網(wǎng)絡(luò)實體之間周期性進行的定時信息的交換會在控制層面引入額外的開銷,而采用集中式的時間同步系統(tǒng),如基于SDN[52-53]的設(shè)計,僅需在中央控制器之間進行控制信息的交換,可以幫助控制平面減少開銷。但是,集中式部署可能導(dǎo)致運營商的新基礎(chǔ)設(shè)施成本,且容易發(fā)生單點故障,而分布式方案雖然可以避免這類問題,但是在控制平面需要更多的開銷?;蛟S可以在集中式和分布式的性能,以及現(xiàn)有基礎(chǔ)架構(gòu)的使用和新基礎(chǔ)架構(gòu)的部署之間權(quán)衡,確立一種混合應(yīng)用的模型。
到目前為止,IEEE 802.1安全工作組已經(jīng)解決了IEEE 802.1網(wǎng)絡(luò)中通用的安全和隱私問題,即支持網(wǎng)絡(luò)實體(即終端站和網(wǎng)橋)之間的安全通信的功能。這個 TG詳細(xì)介紹了許多標(biāo)準(zhǔn)和修訂,專注于提供身份驗證、授權(quán)、數(shù)據(jù)完整性和機密性。安全協(xié)議和標(biāo)準(zhǔn)與支持TSN的網(wǎng)絡(luò)的集成需要在未來的研究和標(biāo)準(zhǔn)化中得到解決。例如,需要調(diào)查安全堆棧開銷對TSN流的影響以及安全開銷對在以太網(wǎng)LAN上運行的OT相關(guān)應(yīng)用程序的影響[8]。
由于 DetNet集成了 IT(物理數(shù)據(jù)中心)和OT(物理操作點),因此安全性是DetNet架構(gòu)和協(xié)議的一個重要方面。先前的 OT網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和設(shè)計具有“空中缺口”,即與外部世界完全隔離的OT網(wǎng)絡(luò),因此IT和OT的融合也將重點放在安全協(xié)議上,需要可擴展的、靈活的以及可以移植到 OT網(wǎng)絡(luò)組件的高效安全堆棧。此外,隨著新興的“霧”計算平臺的發(fā)展,即基本上將IT移動到 OT附近,必須密切檢查交通和監(jiān)控條件,因為任何入侵都可能導(dǎo)致災(zāi)難性的情況。盡管已經(jīng)發(fā)布了許多針對確定性網(wǎng)絡(luò)的標(biāo)準(zhǔn)和推薦實踐,仍需要進行更多的基準(zhǔn)測試,以便為行業(yè)和消費者市場提供保證。
在IP網(wǎng)中劃分出時隙提供硬管道是確保低時延的關(guān)鍵,不同網(wǎng)絡(luò)層次上有不同的解決方案:FlexE是MAC層以下技術(shù),實現(xiàn)業(yè)務(wù)的管道隔離,不解決同一管道內(nèi)的流量搶占問題;TSN是鏈路層技術(shù),基于流方式按照時間片進行流的剛性調(diào)度,可以解決同一管道內(nèi)不同流傳輸?shù)乃矔r沖突,比如通過 IEEE802.1 Qat流預(yù)留協(xié)議、IEEE 802.1Qcc協(xié)議、IEEE 802.1CS協(xié)議和RAP協(xié)議提供資源預(yù)留機制,通過 IEEE 802.1Qav、IEEE 802.1Qbv、IEEE 802.1Qch和 IEEE 802.1Qcr等協(xié)議提供幀搶占和流量整形機制,來保證確定性業(yè)務(wù)流的實時傳送;DetNet借鑒TSN的二層流的確定性傳輸技術(shù),擴展到 IP層,重點解決IP層的確定性業(yè)務(wù)傳送,比如類似TSN IEEE 802.1Qcc的集中路徑設(shè)置和 IEEE 802.1Qat的分布路徑設(shè)置,但還沒有流量控制機制的設(shè)計。將各層間的技術(shù)有效融合,以及結(jié)合機器學(xué)習(xí)研究檢查網(wǎng)橋中資源預(yù)留要求的預(yù)測模型,從而有效地管理隊列和調(diào)度,有效地利用網(wǎng)絡(luò)資源,降低技術(shù)復(fù)雜度和實現(xiàn)成本,需要產(chǎn)業(yè)界和學(xué)術(shù)界的更多探討。
確定性網(wǎng)絡(luò)已經(jīng)得到全球?qū)W術(shù)界和產(chǎn)業(yè)界的充分重視,針對現(xiàn)有以太網(wǎng)“盡力而為”、無法保證提供QoS保障的狀況,關(guān)于確定性網(wǎng)絡(luò)架構(gòu)的設(shè)計方法也各有特點,呈現(xiàn)出百家爭鳴的現(xiàn)狀,然而確定性網(wǎng)絡(luò)的最終目標(biāo)是一致的,即要建設(shè)一個提供確定性時延、抖動和低分組丟失率,為用戶提供更好服務(wù)質(zhì)量的可靠網(wǎng)絡(luò)。本文介紹了目前確定性網(wǎng)絡(luò)領(lǐng)域的主要研究成果,由于篇幅所限,并沒有將所有的項目一一列舉,只選擇了其中比較具有代表性的技術(shù)和架構(gòu)。期望通過綜述該領(lǐng)域的已有研究成果,探討分析研究目標(biāo)和方法,總結(jié)研究思路,從而為相關(guān)領(lǐng)域的研究人員提供參考和幫助。