基于Transformer架構(gòu)的智能SDN管理系統(tǒng)

摘要：軟件定義網(wǎng)絡(luò)（SDN）被譽(yù)為新一代網(wǎng)絡(luò)架構(gòu)的基石，其核心優(yōu)勢(shì)在于通過(guò)集中式控制機(jī)制來(lái)精簡(jiǎn)網(wǎng)絡(luò)架構(gòu)，提升整體運(yùn)作效率。本文針對(duì)SDN環(huán)境下的流量管理需求，提出了一種融合Transformer架構(gòu)與MLP-Mixer模型的深度學(xué)習(xí)預(yù)測(cè)模型。針對(duì)這兩種框架的功能及其在模型中的作用進(jìn)行了深入研究和探索，實(shí)現(xiàn)了網(wǎng)絡(luò)流量預(yù)測(cè)的高效協(xié)同，并將SDN環(huán)境中的數(shù)據(jù)輸入模型中進(jìn)行訓(xùn)練和預(yù)測(cè)。本文揭示了潛在的風(fēng)險(xiǎn)點(diǎn)，并針對(duì)性地提出了解決方案。這些研究成果不僅簡(jiǎn)化了運(yùn)維人員的管理流程，也顯著提升了用戶(hù)的網(wǎng)絡(luò)體驗(yàn)。

關(guān)鍵詞：軟件定義網(wǎng)絡(luò)；流量預(yù)測(cè)；Transformer架構(gòu)；MLP-Mixer模型；深度學(xué)習(xí)

引言

在通信技術(shù)、互聯(lián)網(wǎng)應(yīng)用和云計(jì)算技術(shù)飛速進(jìn)步的推動(dòng)下，全球網(wǎng)絡(luò)流量正經(jīng)歷著前所未有的增長(zhǎng)。這一趨勢(shì)不僅對(duì)現(xiàn)有通信網(wǎng)絡(luò)架構(gòu)提出了嚴(yán)峻挑戰(zhàn)，也對(duì)新興服務(wù)的部署和用戶(hù)體驗(yàn)的優(yōu)化提出了更高要求。傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)在應(yīng)對(duì)日益復(fù)雜的互聯(lián)網(wǎng)應(yīng)用和服務(wù)需求時(shí)顯得力不從心，迫切需要一種能夠靈活適應(yīng)新需求和網(wǎng)絡(luò)環(huán)境變化的解決方案。

軟件定義網(wǎng)絡(luò)（software defined networking，SDN）應(yīng)時(shí)而生，以其創(chuàng)新的架構(gòu)設(shè)計(jì)理念，將網(wǎng)絡(luò)設(shè)備的控制功能從硬件中解耦，實(shí)現(xiàn)了控制平面與數(shù)據(jù)平面的分離。這種分離不僅使網(wǎng)絡(luò)控制邏輯集中化、可編程化，而且為網(wǎng)絡(luò)資源的全局調(diào)度和優(yōu)化提供了可能。SDN的這些核心優(yōu)勢(shì)，使網(wǎng)絡(luò)管理變得更加高效、動(dòng)態(tài)和靈活，為未來(lái)網(wǎng)絡(luò)的發(fā)展奠定了基礎(chǔ)。

在這一背景下，網(wǎng)絡(luò)流量預(yù)測(cè)成為網(wǎng)絡(luò)運(yùn)維的關(guān)鍵環(huán)節(jié)。準(zhǔn)確的流量預(yù)測(cè)不僅能夠?yàn)榫W(wǎng)絡(luò)設(shè)計(jì)提供科學(xué)依據(jù)，預(yù)測(cè)和緩解節(jié)點(diǎn)擁塞，還能夠優(yōu)化網(wǎng)絡(luò)流量路徑，提升網(wǎng)絡(luò)資源的利用率。因此，本文旨在探索和開(kāi)發(fā)一種基于SDN環(huán)境的高效網(wǎng)絡(luò)流量預(yù)測(cè)模型，以期為網(wǎng)絡(luò)資源管理和網(wǎng)絡(luò)安全防護(hù)提供強(qiáng)有力的支持[1]。

1. 系統(tǒng)框架

本系統(tǒng)框架主要分為：用戶(hù)模塊、站點(diǎn)模塊和智能評(píng)估模塊，如圖1所示。

1.1 用戶(hù)模塊

用戶(hù)模塊主要由分時(shí)流量監(jiān)測(cè)和用戶(hù)QOE監(jiān)測(cè)組成。分時(shí)流量監(jiān)測(cè)可以選擇時(shí)間，查詢(xún)?cè)摃r(shí)間中每個(gè)時(shí)段的用戶(hù)數(shù)量，并用折線(xiàn)圖的形式顯示出來(lái)，同時(shí)，還將每個(gè)時(shí)段的用戶(hù)信息用列表枚舉出來(lái)。在用戶(hù)QOE監(jiān)測(cè)中，可以隨機(jī)切換多名用戶(hù)MAC地址來(lái)查看該用戶(hù)上網(wǎng)體驗(yàn)感。首先，通過(guò)一個(gè)網(wǎng)絡(luò)拓?fù)鋪?lái)查看該用戶(hù)設(shè)備名稱(chēng)、對(duì)應(yīng)IP地址和AP名稱(chēng)，以及AP對(duì)應(yīng)的MAC地址等連接的設(shè)備信息；其次，用折線(xiàn)圖的形式來(lái)顯示用戶(hù)上網(wǎng)時(shí)的數(shù)據(jù)流量和速率，并對(duì)各項(xiàng)指標(biāo)按一定比率計(jì)算出體驗(yàn)分?jǐn)?shù)，通過(guò)條形圖和折線(xiàn)圖結(jié)合的方式來(lái)展現(xiàn)。

該模塊將數(shù)據(jù)可視化，使繁雜的數(shù)據(jù)生動(dòng)展示出來(lái)，運(yùn)維人員可以根據(jù)圖像起伏高低，給用戶(hù)提出建議，使其避開(kāi)數(shù)據(jù)流量峰值，從而來(lái)提升運(yùn)行速率，進(jìn)一步改善用戶(hù)體驗(yàn)感。

1.2 站點(diǎn)模塊

站點(diǎn)模塊主要由全域系統(tǒng)環(huán)境監(jiān)測(cè)、網(wǎng)絡(luò)設(shè)備聚簇矩陣和基于地圖擬合的設(shè)備查詢(xún)組成。全域系統(tǒng)環(huán)境監(jiān)測(cè)一共有四個(gè)指標(biāo)，系統(tǒng)根據(jù)這四個(gè)指標(biāo)通過(guò)求平均數(shù)算出一個(gè)總體分?jǐn)?shù)來(lái)判斷當(dāng)前這個(gè)站點(diǎn)系統(tǒng)環(huán)境好壞。網(wǎng)絡(luò)設(shè)備聚簇矩陣由當(dāng)前站點(diǎn)多個(gè)AP和終端構(gòu)成，分布在一個(gè)二維坐標(biāo)上，通過(guò)點(diǎn)擊設(shè)備可以查看這個(gè)設(shè)備所屬AP或者連接的終端信息。基于地圖擬合的設(shè)備查詢(xún)，可以根據(jù)起始站點(diǎn)城市和終點(diǎn)站點(diǎn)城市計(jì)算出連接到最近站點(diǎn)的城市，并且會(huì)對(duì)到終點(diǎn)站點(diǎn)途中經(jīng)過(guò)的就近站點(diǎn)信息做一個(gè)分析和鏈路質(zhì)量檢測(cè)策略，如果遇到故障則先切換到其他站點(diǎn)，然后會(huì)從鏈路故障、問(wèn)題分析這兩個(gè)方面作出判斷，最后給出推薦的解決方案。

本模塊將每個(gè)站點(diǎn)間的網(wǎng)絡(luò)設(shè)備可視化展現(xiàn)出來(lái)，使原本復(fù)雜的網(wǎng)絡(luò)設(shè)備條理化，方便了運(yùn)維人員的排障，同時(shí)全域系統(tǒng)環(huán)境監(jiān)測(cè)和基于地圖擬合的設(shè)備查詢(xún)既保證站點(diǎn)設(shè)備環(huán)境正常，也保證站點(diǎn)間通信正常。

1.3 智能評(píng)估模塊

智能評(píng)估模塊主要由智能流量預(yù)測(cè)和異常故障告警組成。智能流量預(yù)測(cè)基于Transformer架構(gòu)+MLP-Mixer模型，將算出的預(yù)測(cè)值同真實(shí)值用折線(xiàn)圖的形式繪制出來(lái)，可以直觀對(duì)比出真實(shí)值和預(yù)測(cè)值之間的差距，如果相差過(guò)大便會(huì)提示出現(xiàn)異常。在流量預(yù)測(cè)中，系統(tǒng)會(huì)對(duì)收到的異常作出判斷，根據(jù)不同指標(biāo)出現(xiàn)的異常分別給出問(wèn)題原因和推薦的解決辦法。異常故障告警主要包括用戶(hù)鏈路質(zhì)量異常、用戶(hù)體驗(yàn)異常、站點(diǎn)質(zhì)量的異常和網(wǎng)絡(luò)質(zhì)量異常，并且針對(duì)用戶(hù)鏈路質(zhì)量異常，系統(tǒng)會(huì)按設(shè)定的指標(biāo)進(jìn)行嚴(yán)重性等級(jí)分類(lèi)，每個(gè)異常故障告警系統(tǒng)都會(huì)判斷出現(xiàn)問(wèn)題的原因，然后給出推薦的解決辦法。

在智能流量預(yù)測(cè)和異常故障告警結(jié)合下的智能評(píng)估模塊，減輕了運(yùn)維人員工作量，大幅減少了人為排障時(shí)間，并且通過(guò)系統(tǒng)給出的解決方案可以讓運(yùn)維人員有個(gè)參照，提高了排障正確率。

2. 流量預(yù)測(cè)

隨著人工智能廣泛應(yīng)用，SDN下基于長(zhǎng)短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM）的流量預(yù)測(cè)[2]和基于圖卷積神經(jīng)網(wǎng)絡(luò)的流量預(yù)測(cè)[3]也相繼問(wèn)世。面對(duì)當(dāng)前諸多神經(jīng)網(wǎng)絡(luò)模型，結(jié)合以往經(jīng)驗(yàn)，本文巧妙地將Transformer架構(gòu)與MLP-Mixer模型相結(jié)合來(lái)對(duì)流量進(jìn)行預(yù)測(cè)。

2.1 Transformer架構(gòu)

由于循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）中乘法梯度會(huì)隨著層數(shù)增加呈指數(shù)遞增，容易出現(xiàn)梯度消失和梯度爆炸問(wèn)題[4]，因此很難捕捉長(zhǎng)期依賴(lài)關(guān)系。而LSTM在序列建模問(wèn)題上有一定優(yōu)勢(shì)，具有長(zhǎng)時(shí)記憶功能，實(shí)現(xiàn)起來(lái)簡(jiǎn)單，解決了長(zhǎng)序列訓(xùn)練過(guò)程中存在的梯度消失和梯度爆炸問(wèn)題[5]。但是對(duì)于LSTM，每一個(gè)LSTM里面有4個(gè)全連接層，如果LSTM時(shí)間跨度很大，并且網(wǎng)絡(luò)又很深，會(huì)導(dǎo)致計(jì)算量很大，同時(shí)還很耗時(shí)。相比于RNN和LSTM，Transformer架構(gòu)不依賴(lài)于過(guò)去隱藏狀態(tài)來(lái)捕獲局部語(yǔ)義信息，而是處理全局表征，使模型并行訓(xùn)練且更加健壯，減少運(yùn)行時(shí)間，不再受長(zhǎng)期依賴(lài)問(wèn)題困擾[6]。因此，本文優(yōu)先采用Transformer架構(gòu)[4]。

Transformer架構(gòu)主要由并行的編碼器和解碼器模塊構(gòu)成。如圖2所示，編碼器和解碼器都采用了多層級(jí)聯(lián)結(jié)構(gòu)。編碼器的每一層都包含位置嵌入（PE）、編碼器層和標(biāo)準(zhǔn)化處理。編碼器層中融合了多頭自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)，并通過(guò)殘差連接（圖中虛線(xiàn)箭頭所示）實(shí)現(xiàn)信息的有效傳遞。解碼器模塊采用了與編碼器相似，但每個(gè)解碼器層除了包含與編碼器相同的組件外，還增設(shè)了額外的注意力層，用于處理來(lái)自編碼器的輸出信息。

在底部結(jié)構(gòu)中，模型輸入被劃分為多個(gè)等長(zhǎng)序列片段，這種設(shè)計(jì)有助于處理序列數(shù)據(jù)的時(shí)序特征。通過(guò)位置編碼的加入，模型能夠有效捕獲輸入序列中元素的位置信息，從而克服了Transformer在處理序列數(shù)據(jù)時(shí)的固有局限性。這種結(jié)構(gòu)設(shè)計(jì)特別適合于流量監(jiān)測(cè)和預(yù)測(cè)等需要保持時(shí)序關(guān)系的任務(wù)。

2.2 MLP-Mixer模型

為優(yōu)化模型性能，本文在Transformer架構(gòu)基礎(chǔ)上融入MLP-Mixer模型的核心理念。如圖3所示，該模型的處理流程主要包含以下關(guān)鍵模塊：首先，輸入序列通過(guò)塊線(xiàn)性嵌入模塊進(jìn)行初始特征映射。該模塊將輸入數(shù)據(jù)映射到高維特征空間，并通過(guò)局部感受野捕獲序列的空間結(jié)構(gòu)特征。隨后，這些特征經(jīng)過(guò)特征投影，在多個(gè)串聯(lián)的混合模塊中形成多個(gè)特征通道，實(shí)現(xiàn)了跨空間位置的特征交互。這些特征經(jīng)過(guò)全局池化層的處理后，最終通過(guò)全連接模塊輸出分類(lèi)結(jié)果（Class）。其中，模型的特征轉(zhuǎn)換單元（圖3右側(cè)框）采用了“線(xiàn)性層-GELU激活函數(shù)-線(xiàn)性層”的結(jié)構(gòu)。

其中混合模塊的內(nèi)部結(jié)構(gòu)如圖3下半部分所示。首先，輸入特征經(jīng)過(guò)層歸一化進(jìn)行標(biāo)準(zhǔn)化處理，確保特征分布的穩(wěn)定性。隨后，標(biāo)準(zhǔn)化的特征被重組為Channels-Patches形式（圖3中以彩色條帶表示），這種特征組織方式有效保留了通道間的相關(guān)性。在核心處理環(huán)節(jié)，模型通過(guò)矩陣轉(zhuǎn)置操作重排特征維度，使得特征圖在空間維度上進(jìn)行重組。轉(zhuǎn)置后的特征經(jīng)過(guò)全連接模塊進(jìn)行深度特征提取，并再次通過(guò)轉(zhuǎn)置操作恢復(fù)原有的特征排列。這種雙重轉(zhuǎn)置設(shè)計(jì)實(shí)現(xiàn)了特征在不同維度上的充分交互。特別地，模型通過(guò)殘差連接（圖3中虛線(xiàn)箭頭所示）將原始特征信息與轉(zhuǎn)換后的特征進(jìn)行融合，有效緩解了深度網(wǎng)絡(luò)中的梯度消失問(wèn)題。最后，處理后的特征再次經(jīng)過(guò)層歸一化和全連接模塊，完成最終的特征轉(zhuǎn)換。這種串行的多層次處理機(jī)制不僅確保了特征提取的深度，還通過(guò)規(guī)范化操作維持了網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性。整個(gè)混合模塊的設(shè)計(jì)體現(xiàn)了特征變換與信息保持的平衡，為模型提供了強(qiáng)大的特征表達(dá)能力。

3. 實(shí)驗(yàn)與分析

如圖4（a）和圖4（b）所示，紅色實(shí)線(xiàn)代表真實(shí)值，藍(lán)色虛線(xiàn)代表預(yù)測(cè)值，分別對(duì)比用戶(hù)接入成功率和信號(hào)干擾強(qiáng)度真實(shí)值和預(yù)測(cè)值效果，可以看出Transformer架構(gòu)+MLP-Mixer模型針對(duì)不同指標(biāo)預(yù)測(cè)出的結(jié)果與真實(shí)結(jié)果都十分接近，擬合能力好，從而達(dá)到預(yù)期目標(biāo)。

4. 總結(jié)與展望

4.1 總結(jié)

本文針對(duì)SDN網(wǎng)絡(luò)流量預(yù)測(cè)問(wèn)題，創(chuàng)新地提出了Transformer架構(gòu)+MLP-Mixer模型，主要是解決在SDN網(wǎng)絡(luò)中，如何在獲取龐大流量態(tài)勢(shì)情況下，及時(shí)預(yù)測(cè)突發(fā)風(fēng)險(xiǎn)，避免網(wǎng)絡(luò)擁塞情況發(fā)生。結(jié)果表明，相比于其他經(jīng)典模型，Transformer架構(gòu)+MLP-Mixer模型在Transformer架構(gòu)獨(dú)特的位置編碼和端到端結(jié)構(gòu)下解決了LSTM所帶來(lái)的隱患，而且全局采用注意力機(jī)制，不再受長(zhǎng)期依賴(lài)問(wèn)題困擾，對(duì)時(shí)序數(shù)據(jù)有更高的表征水平。MLP-Mixer模型作為模型的輸出架構(gòu)的方案，采用混合位置特征和空間信息以替代卷積算子，避免了堆疊MLP導(dǎo)致的范式變化和低效的泛化能力。

綜上所述，本文采用的Transformer架構(gòu)+MLP-Mixer模型運(yùn)行效率高，預(yù)測(cè)結(jié)果擬合能力好，整體代價(jià)低，可以更好地分析數(shù)據(jù)，給用戶(hù)一個(gè)完美的體驗(yàn)感。

4.2 未來(lái)展望

本文對(duì)于流量預(yù)測(cè)的模型框架還有許多不足，未來(lái)，需要基于現(xiàn)有的工作成果進(jìn)行進(jìn)一步研究和改善。例如，在Transformer架構(gòu)中，由于Transformer架構(gòu)原本的注意力機(jī)制存在計(jì)算復(fù)雜度大而導(dǎo)致有限樣本過(guò)擬合問(wèn)題，并且缺少局部歸納偏置，即缺少局部注意力優(yōu)勢(shì)。因此，注意力機(jī)制可以替換成具有線(xiàn)性復(fù)雜性和輕量型的[9-10]。在MLP-Mixer模型方面，可以找一個(gè)比較輕量又不失精度的混合方法來(lái)混合各個(gè)尺度的信息，然后把token的混合和channel的混合結(jié)果聚合在一起，最后映射成類(lèi)別輸出。

參考文獻(xiàn)：

[1]趙澤彪，代振濤，趙建文，等.基于SDN的網(wǎng)絡(luò)智能管理和性能評(píng)估研究[C]//中國(guó)指揮與控制學(xué)會(huì).第十屆中國(guó)指揮控制大會(huì)論文集（下冊(cè)）.北京：兵器工業(yè)出版社，2022：5.

[2]蘇曉玥.基于深度學(xué)習(xí)與SDN的數(shù)據(jù)中心流量預(yù)測(cè)與調(diào)度[D].北京：北京郵電大學(xué)，2024.

[3]張國(guó)明.基于圖卷積神經(jīng)網(wǎng)絡(luò)的大規(guī)模軟件定義網(wǎng)絡(luò)流量預(yù)測(cè)模型[J].微電子學(xué)與計(jì)算機(jī)，2024，41（4）：96-103.

[4]Dieng A B，Ranganath R，Altosaar J，et al.Noisin：Unbiased regularization for recurrent neural networks[C]//International Conference on Machine Learning.PMLR，2018：1252-1261.

[5]Dou B，Zhu Z，Merkurjev E，et al.Machine learning methods for small data challenges in molecular science[J].Chemical Reviews，2023，123（13）：8736-8780.

[6]Vaswani A，Shazeer N，Parmar N，et al.Attention is all you need[C]//Advances in neural information processing systems.2017，5998-6008.

[7]Kumar S，Wang X，Strachan J P，et al.Dynamical memristors for higher-complexity neuromorphic computing[J].Nature Reviews Materials，2022，7（7）：575-591.

[8]Tolstikhin I O，Houlsby N，Kolesnikov A，et al.Mlp-mixer： An all-mlp architecture for vision[J].Advances in neural information processing systems，2021，34： 24261-24272.

[9]Lopes A，dos Santos F P，de Oliveira D，et al.Computer Vision Model Compression Techniques for Embedded Systems：A Survey[J].Computers amp; Graphics，2024，123：104.

[10]Ma C，Wan M，Wu J，et al.Light self-Gaussian-attention vision transformer for hyperspectral image classification[J].IEEE Transactions on Instrumentation and Measurement，2023，72：327.

作者簡(jiǎn)介：通信作者：楊遠(yuǎn)奇，碩士研究生，副教授，gigikin6808@jmu.edu.cn，研究方向：軟件定義網(wǎng)絡(luò)、智能算法、推薦系統(tǒng)。

基金項(xiàng)目：中國(guó)高校產(chǎn)學(xué)研創(chuàng)新基金－新一代信息技術(shù)創(chuàng)新項(xiàng)目——基于SDN的車(chē)聯(lián)網(wǎng)流量預(yù)測(cè)算法研究（編號(hào)：2021ITA06004）；福建省中青年教師教育科研項(xiàng)目——車(chē)聯(lián)網(wǎng)IoV流量預(yù)測(cè)算法研究（編號(hào)：JAT210671）；集美大學(xué)誠(chéng)毅學(xué)院中青年項(xiàng)目——基于transformer的推薦算法研究（編號(hào)：c13019）。