利用大數(shù)據(jù)分析技術(shù)的智能化網(wǎng)絡(luò)故障診斷系統(tǒng)

朱永慶1，黃新宇，唐 宏1，陳江山，程 康，包德偉

(1.中國(guó)電信股份有限公司廣東研究院，廣州 510630；2.華為技術(shù)有限公司南京研究所，南京 210012)

1 引 言

隨著網(wǎng)絡(luò)連接數(shù)和網(wǎng)絡(luò)數(shù)據(jù)的快速增長(zhǎng)，網(wǎng)絡(luò)中的異常和非受控性變化不可避免地會(huì)越來越多。網(wǎng)絡(luò)設(shè)備或子網(wǎng)的一個(gè)短暫的異?；蚬收?如路由協(xié)議心跳丟失、硬件電壓下降)在引起網(wǎng)絡(luò)的大規(guī)模故障之前可能不會(huì)被察覺到，因?yàn)閺拇罅康木W(wǎng)絡(luò)監(jiān)視數(shù)據(jù)中很難發(fā)現(xiàn)這些微小的異常行為記錄。因此，網(wǎng)絡(luò)的管理如基礎(chǔ)設(shè)施保障、服務(wù)分配、性能監(jiān)視也越來越困難。由于這些問題的存在，自動(dòng)化和智能化的網(wǎng)絡(luò)故障診斷技術(shù)也因此得到了廣大研究者的關(guān)注。這些技術(shù)致力于提供快速的網(wǎng)絡(luò)故障診斷和故障恢復(fù)方法，而這些技術(shù)也往往依賴于大量的網(wǎng)絡(luò)系統(tǒng)數(shù)據(jù)。通常情況下，系統(tǒng)信息記錄了網(wǎng)絡(luò)運(yùn)行的各種狀態(tài)，這些信息由事件數(shù)據(jù)(如系統(tǒng)log文件、配置文件)和度量數(shù)據(jù)(如關(guān)鍵性能指標(biāo)數(shù)據(jù)和網(wǎng)絡(luò)性能數(shù)據(jù))兩類數(shù)據(jù)組成。近年來，大數(shù)據(jù)分析和機(jī)器學(xué)習(xí)技術(shù)被廣泛應(yīng)用到網(wǎng)絡(luò)管理領(lǐng)域來解決故障診斷問題。文獻(xiàn)[1-2]基于系統(tǒng)log和配置文件，利用數(shù)據(jù)挖掘算法來檢測(cè)網(wǎng)絡(luò)和設(shè)備的異常。文獻(xiàn)[3]利用統(tǒng)計(jì)學(xué)習(xí)算法來分析關(guān)鍵性能指標(biāo)(Key Performance Index,KPI)數(shù)據(jù)和性能數(shù)據(jù)以檢測(cè)網(wǎng)絡(luò)的異常。文獻(xiàn)[4]則討論了數(shù)據(jù)關(guān)聯(lián)分析技術(shù)，這種方法可以分析事件數(shù)據(jù)和度量數(shù)據(jù)在故障發(fā)生時(shí)間上的關(guān)系。然而，這些技術(shù)或是商業(yè)的網(wǎng)絡(luò)管理軟件都只能針對(duì)一部分的故障問題，而不能提供全面的分析和管理的解決方案(即從故障發(fā)現(xiàn)到故障定界定位到故障恢復(fù))，因此整合了不同故障診斷和恢復(fù)技術(shù)的綜合網(wǎng)絡(luò)管理平臺(tái)對(duì)于工業(yè)界和運(yùn)營(yíng)商來說便具有很高的價(jià)值。

針對(duì)這一問題，本文設(shè)計(jì)了一種靈活而智能化的故障診斷系統(tǒng)框架，并命名為智能網(wǎng)絡(luò)故障分析與定位系統(tǒng)(Network Intelligent Maintenance System,NIMS)，從而實(shí)現(xiàn)了大型網(wǎng)絡(luò)下的自動(dòng)化和智能化故障診斷。NIMS是一種全面的網(wǎng)絡(luò)運(yùn)維輔助系統(tǒng)。它的主要特性不僅有數(shù)據(jù)采集、數(shù)據(jù)可視化、數(shù)據(jù)分析、故障診斷功能，而且，基于開源軟件的設(shè)計(jì)還具備橫向擴(kuò)展能力。NIMS系統(tǒng)為電信運(yùn)營(yíng)商提供了網(wǎng)絡(luò)健康狀態(tài)顯示，并且能以在線和離線的方式準(zhǔn)確地檢測(cè)異常和故障的發(fā)生。在實(shí)際應(yīng)用中，該系統(tǒng)顯示出了如下的特性：

(1)適應(yīng)性。NIMS支持從不同的數(shù)據(jù)源采集不同格式的數(shù)據(jù)，包括系統(tǒng)log、配置文件、指標(biāo)數(shù)據(jù)(csv文件[5])，以及包含了log消息和指標(biāo)數(shù)據(jù)的混合數(shù)據(jù)文件。

(2)功能性。NIMS針對(duì)網(wǎng)絡(luò)級(jí)和網(wǎng)元級(jí)的故障診斷場(chǎng)景，提供了多種故障診斷技術(shù)，包括事件型異常和數(shù)值型異常檢測(cè)，而且，NIMS也可以分析網(wǎng)絡(luò)異常的根因，并提供故障恢復(fù)的參考方案。

(3)準(zhǔn)確性。NIMS中提供多種針對(duì)性算法可以檢測(cè)不同類型的故障問題，而且，用戶也可以通過配置算法庫(kù)的方式來定制算法。

2 系統(tǒng)架構(gòu)

圖1描述了整個(gè)系統(tǒng)的架構(gòu)，整個(gè)系統(tǒng)由下至上分為數(shù)據(jù)采集層、數(shù)據(jù)分析層和數(shù)據(jù)應(yīng)用層。數(shù)據(jù)采集層主要從底層網(wǎng)絡(luò)設(shè)備收集各種類型的數(shù)據(jù)并進(jìn)行預(yù)處理，處理之后的數(shù)據(jù)以結(jié)構(gòu)化的方式進(jìn)行存儲(chǔ)以方便上層功能進(jìn)行調(diào)用。數(shù)據(jù)分析層中集成了多種故障診斷算法，可以對(duì)數(shù)據(jù)進(jìn)行針對(duì)性分析來對(duì)不同的故障問題進(jìn)行檢測(cè)，并提出故障恢復(fù)的建議。數(shù)據(jù)應(yīng)用層提供了不同的應(yīng)用程序，可以使用戶通過基礎(chǔ)圖形界面來配置不同的應(yīng)用從而達(dá)到自定義網(wǎng)絡(luò)管理能力的目的，同時(shí)系統(tǒng)也可以使用戶自定義數(shù)據(jù)分析層中的算法，以及自行開發(fā)數(shù)據(jù)應(yīng)用層中的應(yīng)用。

圖1 智能網(wǎng)絡(luò)故障分析與定位系統(tǒng)Fig.1 Architecture of the intelligent network fault analysis and location system

2.1 數(shù)據(jù)采集層

數(shù)據(jù)采集層從網(wǎng)絡(luò)設(shè)備收集網(wǎng)絡(luò)監(jiān)視數(shù)據(jù)，包括系統(tǒng)數(shù)據(jù)(如系統(tǒng)log數(shù)據(jù)、通知消息數(shù)據(jù)等)、監(jiān)測(cè)數(shù)據(jù)(如處理器、內(nèi)存占用率、接口利用率等)和設(shè)備配置信息等。這些監(jiān)視數(shù)據(jù)分為在線數(shù)據(jù)和離線數(shù)據(jù)，在線數(shù)據(jù)通過Kafka、Flume等集群對(duì)接設(shè)備或者第三方數(shù)據(jù)服務(wù)器，實(shí)時(shí)采集設(shè)備的運(yùn)行數(shù)據(jù)并分析；而離線數(shù)據(jù)分析不直接對(duì)接設(shè)備，通過各種間接的手段將數(shù)據(jù)批量導(dǎo)入到分析系統(tǒng)中分析。數(shù)據(jù)采集層起到了承上啟下的作用：對(duì)下層設(shè)備進(jìn)行接口適配，可以通過插件方式，擴(kuò)展各種采集協(xié)議，支持與多廠商設(shè)備對(duì)接；對(duì)上進(jìn)行格式適配，同樣可以通過插件方式擴(kuò)展，實(shí)現(xiàn)對(duì)數(shù)據(jù)的格式化，將數(shù)據(jù)按照標(biāo)準(zhǔn)化格式存儲(chǔ)，屏蔽異廠商數(shù)據(jù)格式差異。圖2中，假設(shè)A、B兩廠商的日志記錄的日志格式都有差異，經(jīng)過協(xié)議適配和格式適配的轉(zhuǎn)化后，異廠商的日志被格式化為標(biāo)準(zhǔn)格式存儲(chǔ)，上層應(yīng)用(算法)直接獲取標(biāo)準(zhǔn)格式庫(kù)中的數(shù)據(jù)進(jìn)行分析、呈現(xiàn)。

圖2 采集層對(duì)上層屏蔽設(shè)備差異Fig.2 Collection layer isolates the difference of the devices

2.2 數(shù)據(jù)分析層

這一層提供了網(wǎng)絡(luò)故障分析、診斷和預(yù)測(cè)預(yù)防能力，主要包括分析與異常檢測(cè)和故障預(yù)防與確認(rèn)兩大功能集。

故障分析與異常檢測(cè)主要包括日志分析、告警分析、配置分析以及針對(duì)特殊問題的增強(qiáng)分析能力(協(xié)議分析、性能指標(biāo)分析分析等)。這部分的功能不依賴于人工經(jīng)驗(yàn)和規(guī)則，而是基于大數(shù)據(jù)的分析方法，基于數(shù)據(jù)的時(shí)間、空間維度的對(duì)比分析，發(fā)現(xiàn)設(shè)備和網(wǎng)絡(luò)的異常。時(shí)間維度的異常檢測(cè)是指通過與歷史數(shù)據(jù)進(jìn)行對(duì)比，空間維度的異常檢測(cè)可以通過設(shè)備之間橫向?qū)Ρ取Ｆ渲饕砟钍且獜母鞣N數(shù)據(jù)中提取數(shù)據(jù)的特性來構(gòu)造設(shè)備或網(wǎng)絡(luò)行為的特性矩陣(見2.2.2節(jié))。其中，對(duì)于監(jiān)測(cè)數(shù)據(jù)來說，特性矩陣通常涉及到設(shè)備或網(wǎng)絡(luò)的KPI的時(shí)間序列數(shù)據(jù)。而系統(tǒng)數(shù)據(jù)的特性通常是指設(shè)備的事件類型或路由協(xié)議的類型，特性矩陣的內(nèi)容是指網(wǎng)絡(luò)或設(shè)備行為的統(tǒng)計(jì)內(nèi)容，如均值、關(guān)聯(lián)系數(shù)等。

2.2.1日志異常診斷

日志是網(wǎng)絡(luò)運(yùn)維中最重要的信息之一，日志中記錄了設(shè)備運(yùn)行中包括硬件、軟件的各種狀態(tài)信息。通過分析日志，可以了解設(shè)備運(yùn)行的健康狀態(tài)并對(duì)設(shè)備進(jìn)行排錯(cuò)、優(yōu)化。我們從日志信息中提取多種特征信息，并提供相似性檢測(cè)、回歸分析[6]、神經(jīng)網(wǎng)絡(luò)、隨機(jī)森林等多種機(jī)器學(xué)習(xí)算法包來建立檢測(cè)模型，從而實(shí)現(xiàn)異常檢測(cè)。

圖3 日志異常檢測(cè)模型Fig.3 Anomaly detection model for system log

根據(jù)網(wǎng)絡(luò)運(yùn)維日志的特點(diǎn)，我們定義了衡量日志異常的統(tǒng)計(jì)特性指標(biāo)：

(1)日志的時(shí)間特征

日志的時(shí)間戳不僅僅記錄了設(shè)備事件發(fā)生的時(shí)間，通過檢測(cè)日志時(shí)間特征變化模式，可以檢測(cè)設(shè)備的異常。日志時(shí)間特征變化至少可以包含兩種場(chǎng)景：一是已發(fā)生事件的時(shí)間間隔變化，通過分析事件發(fā)生的時(shí)間間隔，可以獲取事件的變化模式。例如，假設(shè)報(bào)文入發(fā)送隊(duì)列的事件記錄時(shí)間戳為A，報(bào)文出發(fā)送隊(duì)列的事件記錄時(shí)間戳為B，當(dāng)B-A的值在一個(gè)穩(wěn)定的范圍內(nèi)，可以認(rèn)為設(shè)備處于正常狀態(tài)。通過分析，如果B-A的值遠(yuǎn)遠(yuǎn)超出正常范圍，設(shè)備可能出現(xiàn)了異常。二是不同的新事件發(fā)生總會(huì)存在先后關(guān)系，但是在正常情況下，新事件與老事件之間的間隔會(huì)分布在一個(gè)正常范圍內(nèi)，在設(shè)備異常情況下，新事件的發(fā)生與舊事件發(fā)生的間隔可能會(huì)出現(xiàn)極大的變化。

(2)日志的密度特征

通常情況下，設(shè)備在正常狀態(tài)也可能不定期的產(chǎn)生少量的日志記錄。當(dāng)設(shè)備異常時(shí)，設(shè)備可能會(huì)打破紀(jì)錄的模式，通常會(huì)產(chǎn)生大量的日志記錄。

(3)日志的嚴(yán)重等級(jí)

本質(zhì)上，日志是由程序員記錄的，程序員在寫代碼時(shí)，會(huì)根據(jù)事件的嚴(yán)重性在日志中記錄日志的嚴(yán)重等級(jí)。在標(biāo)準(zhǔn)上，Syslog中也有PRI字段描述日志的嚴(yán)重等級(jí)。

(4)日志的種類(類型)

設(shè)備發(fā)生異常時(shí)，很可能是設(shè)備的硬件或者軟件進(jìn)入了一個(gè)不該進(jìn)入的故障狀態(tài)，此時(shí)就有可能會(huì)記錄一種新類型的日志，即記錄了一種新事件。

(5)日志的模式

這里的模式是指不同事件的關(guān)聯(lián)關(guān)系。如，在網(wǎng)絡(luò)設(shè)備上運(yùn)行著某個(gè)網(wǎng)絡(luò)協(xié)議，假設(shè)此網(wǎng)絡(luò)協(xié)議的狀態(tài)機(jī)在各個(gè)狀態(tài)都會(huì)記錄一條日志，分別為A、B、C三種類型的日志，假設(shè)監(jiān)控設(shè)備正常狀態(tài)時(shí)日志的模式是A→B→C，如果監(jiān)控發(fā)現(xiàn)日志的模式變成B→A→C，那么設(shè)備可能出現(xiàn)了異常(這里→表示了A、B、C三種類型事件在時(shí)間上的承接性)。

(6)關(guān)鍵日志

為設(shè)備日志定義一些所謂的“黑名單”，當(dāng)這些關(guān)鍵日志出現(xiàn)時(shí)設(shè)備一定出現(xiàn)了異常。

(7)日志的相似性

通過監(jiān)控前后兩段日志的相似性，可以發(fā)現(xiàn)設(shè)備的異常。如前所述，在正常情況下設(shè)備也可能記錄日志，并且是穩(wěn)定記錄一些特定的日志的。如果按適當(dāng)?shù)臅r(shí)間窗劃分并分析這些時(shí)間窗內(nèi)的日志，此時(shí)各個(gè)時(shí)間窗內(nèi)的日志是有一定的相似性的。而設(shè)備異常情況下，由于前述一些日志特征的變化，異常時(shí)間窗內(nèi)的日志與正常時(shí)間窗內(nèi)的日志相似性會(huì)出現(xiàn)很大的差異。

2.2.2KPI異常診斷

通常，關(guān)鍵性能指標(biāo)數(shù)據(jù)的特性矩陣由不同設(shè)備或端口的同一類型指標(biāo)的時(shí)間序列組成。通過將多個(gè)時(shí)間序列組成特性矩陣的方式，我們利用多變量分析方法來對(duì)KPI的異常時(shí)間點(diǎn)和端口進(jìn)行檢測(cè)。KPI特性矩陣的每一列由某一設(shè)備上的某一KPI的時(shí)間序列組成，也可能是某一設(shè)備或端口與其他各設(shè)備或端口關(guān)于某個(gè)KPI的頻率、密度或其他統(tǒng)計(jì)特性。一般來說，由于設(shè)備、端口數(shù)量巨大，因此面對(duì)的特性矩陣是一種高維矩陣，難以直接對(duì)矩陣進(jìn)行直接的分析，因此，利用子空間的方法來解決這一問題。

以X來表示維度為t×r的特性矩陣，其中t為第t個(gè)時(shí)間點(diǎn)的KPI指標(biāo)值，r為設(shè)備或端口的數(shù)量。對(duì)于矩陣的每一個(gè)元素xij表示了第j個(gè)設(shè)備/端口在第i個(gè)時(shí)間點(diǎn)的值，矩陣的每一列則是第j個(gè)設(shè)備/端口的KPI指標(biāo)時(shí)間序列，而整個(gè)矩陣則可以認(rèn)為是一個(gè)多變量時(shí)間序列。子空間方法的核心是將多變量時(shí)間序列分割成正常模態(tài)空間和異常模態(tài)空間，這種分割通過主成分分析(Primary Component Analysis，PCA)[7]來完成。

PCA方法目標(biāo)是尋找一個(gè)單位投影矩陣U，并以使X中的數(shù)據(jù)在投影子空間中具有最大方差為優(yōu)化目標(biāo)。基于這個(gè)優(yōu)化目標(biāo)，可以將問題描述為

maxCyst.UUT=I。

(1)

式中：

2.2.3配置異常檢測(cè)

配置異常是引起網(wǎng)絡(luò)異常的主要原因之一，為檢測(cè)配置異常，我們通過將配置文件中的所有命令組提取，根據(jù)命令關(guān)鍵字進(jìn)行分類統(tǒng)計(jì)，然后將出現(xiàn)頻率最高的命令組設(shè)定為配置模板，可以用來與新的配置命令組進(jìn)行比較來判斷異常。但是很多時(shí)候，命令組具有不同的命令行而實(shí)現(xiàn)的配置目的是類似的，這樣容易生成額外的模板，降低統(tǒng)計(jì)的準(zhǔn)確率并造成多余的計(jì)算。

針對(duì)這一問題，我們首先定義了n維的關(guān)鍵詞空間，在將命令組經(jīng)過參數(shù)過濾、非關(guān)鍵詞過濾之后，通過tf-idf方法將命令組映射成n維關(guān)鍵詞空間的數(shù)值坐標(biāo)表示。關(guān)鍵詞w的tf-idf值定義為

W=tftd·lgm/dft+tftd·aft/m。

(2)

式中：ftd為關(guān)鍵詞w在所有配置文件中出現(xiàn)的頻率，m為文件總數(shù),dft為包含了關(guān)鍵詞n的文件數(shù)量，aft為包含了關(guān)鍵詞w的配置命令組出現(xiàn)次數(shù)。在完成空間坐標(biāo)轉(zhuǎn)換之后，利用PCA方法對(duì)坐標(biāo)集進(jìn)行降維處理，然后利用AP算法[9]進(jìn)行聚類，最后得到的聚類中心則設(shè)定為參考配置模板。得到模板之后，將新的配置命令組經(jīng)過空間坐標(biāo)轉(zhuǎn)換之后與每個(gè)模板進(jìn)行相似度計(jì)算，如果相似度低于閾值則判斷該配置為異常配置。

確定疑似故障后，可以利用故障樹、決策樹、貝葉斯網(wǎng)絡(luò)等方法的故障專家知識(shí)確定故障根因。故障專家知識(shí)是專業(yè)人員總結(jié)出來的故障與根因之間關(guān)系的經(jīng)驗(yàn)，以各種事件以及邏輯門的形式表述。通過在規(guī)則引擎上運(yùn)行故障專家知識(shí)，可以主動(dòng)查詢網(wǎng)元的配置、狀態(tài)、性能等數(shù)據(jù)，進(jìn)而對(duì)異常事件進(jìn)行確認(rèn)并定位故障根因。規(guī)則引擎模塊用于事件的判斷，以及事件之間的邏輯推理。

2.3 數(shù)據(jù)應(yīng)用層

在這一層中，我們提供了基于網(wǎng)頁的接口來使用戶方便地管理NIMS系統(tǒng)。在應(yīng)用層中提供了包括故障數(shù)據(jù)可視化、不同的故障診斷和系統(tǒng)管理等應(yīng)用。通過友好的用戶接口，用戶可以很方便地對(duì)各種功能進(jìn)行配置，定義其需要呈現(xiàn)的網(wǎng)絡(luò)信息。同時(shí)，針對(duì)不同的診斷目的，用戶可以選擇并配置采用相應(yīng)的診斷算法及參數(shù)，并構(gòu)建端到端的診斷流程，實(shí)現(xiàn)監(jiān)控→診斷→恢復(fù)的自動(dòng)化網(wǎng)絡(luò)保障流程。

3 系統(tǒng)評(píng)估

本文設(shè)計(jì)的故障診斷系統(tǒng)提供了端到端的網(wǎng)絡(luò)故障診斷和恢復(fù)方案。它首先通過分析原始數(shù)據(jù)來定位網(wǎng)絡(luò)層的故障；然后利用設(shè)備層的故障檢測(cè)算法來定位網(wǎng)元故障的時(shí)間和類型，并進(jìn)行根因分析；最后，NIMS通過故障樹(專家經(jīng)驗(yàn))來提供故障恢復(fù)方案。

本文采用了實(shí)際網(wǎng)絡(luò)中采集的數(shù)據(jù)來對(duì)NIMS的故障診斷能力進(jìn)行了評(píng)估。在評(píng)估中，從不同運(yùn)營(yíng)商采集了多種不同類型的數(shù)據(jù)。為了評(píng)估數(shù)據(jù)處理的能力，構(gòu)建了一個(gè)具有32臺(tái)服務(wù)器的集群，并輸入了總計(jì)1.4億條log數(shù)據(jù)。NIMS處理這些數(shù)據(jù)僅花費(fèi)了40 min，平均處理一臺(tái)設(shè)備的數(shù)據(jù)僅花費(fèi)2 min，而且，隨著集群規(guī)模的擴(kuò)大，數(shù)據(jù)處理能力會(huì)更加強(qiáng)大。在故障診斷能力方面，構(gòu)建了一個(gè)模擬網(wǎng)絡(luò)環(huán)境，并進(jìn)行故障注入，注入故障包括協(xié)議異常、KPI異常以及端口配置異常。測(cè)試結(jié)果如圖4所示。

(a)日志密度

(b)異常時(shí)間檢測(cè)圖4 日志異常檢測(cè)Fig.4 Anomaly detection for system log

從基于密度的日志異常檢測(cè)結(jié)果可以看出，單一維度的異常檢測(cè)在故障時(shí)間點(diǎn)的異常度變化不明顯(圖4(a)，不容易檢測(cè)到，而基于多維度的檢測(cè)方法在故障時(shí)間點(diǎn)的異常度明顯大于其他設(shè)備(圖4(b))，從而可以有效定位異常設(shè)備。對(duì)于KPI檢測(cè)，我們注入了芯片丟包故障，基于26個(gè)丟包事件的丟包數(shù)量時(shí)間序列數(shù)據(jù)，KPI異常檢測(cè)能夠準(zhǔn)確定位到異常時(shí)間和異常的丟包ID，如圖5所示。

(a)ID8

(b)ID10

(c)ID11

(d)ID12圖5 異常ID統(tǒng)計(jì)量Fig.5 Statistics of abnormal IDs

總體來看，系統(tǒng)的檢測(cè)結(jié)果檢測(cè)準(zhǔn)確率超過了90%，相比于其他商業(yè)軟件的通用性檢測(cè)，NIMS針對(duì)性設(shè)計(jì)的算法其準(zhǔn)確率更加具備優(yōu)勢(shì)。

4 結(jié)束語

NIMS是一個(gè)新穎的大數(shù)據(jù)分析網(wǎng)絡(luò)故障診斷系統(tǒng)，并且顯示出了一定的優(yōu)勢(shì)。NIMS可以采集不同類型的監(jiān)測(cè)數(shù)據(jù)并利用不同的診斷算法來檢測(cè)故障并分析根因。但是，隨著網(wǎng)絡(luò)結(jié)構(gòu)的變化發(fā)展，還有更多不同類型的異常和故障問題出現(xiàn)，而且對(duì)于大規(guī)模網(wǎng)絡(luò)的故障診斷和智能化診斷技術(shù)也在不斷發(fā)展。甚至，在網(wǎng)絡(luò)異常和故障以及確定的情況下，查找故障之間的關(guān)聯(lián)和根因也依然是一個(gè)困難的問題。在后續(xù)的研究中，故障恢復(fù)技術(shù)和更強(qiáng)大的故障診斷技術(shù)也依然是研究的重點(diǎn)。隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展和更新，網(wǎng)絡(luò)會(huì)不斷進(jìn)化并且進(jìn)一步復(fù)雜化，因此先進(jìn)的網(wǎng)絡(luò)故障診斷技術(shù)對(duì)于網(wǎng)絡(luò)服務(wù)的保障是非常有價(jià)值的。