鄒丹丹，丁建兵，王希棟，葉曉舟，歐陽曄

（亞信科技（中國）有限公司 通信人工智能創(chuàng)新實驗室，北京 100193）

0 引言

隨著軟件體系結(jié)構(gòu)的不斷優(yōu)化和多樣化發(fā)展，微服務(wù)架構(gòu)已經(jīng)廣泛應(yīng)用于通信、互聯(lián)網(wǎng)等各類大型企業(yè)的業(yè)務(wù)中。微服務(wù)是將軟件應(yīng)用拆分所形成的多個相互協(xié)作的小服務(wù)，可極大提高開發(fā)及維護的效率。在傳統(tǒng)軟件系統(tǒng)中，使用較多的是將整個功能模塊和數(shù)據(jù)作為整體的單體架構(gòu)。與之相比，微服務(wù)架構(gòu)將業(yè)務(wù)按功能拆分，使其擁有較高的靈活性和容錯能力、良好的動態(tài)擴展性以及可持續(xù)的集成性[1]。與此同時，網(wǎng)絡(luò)云化技術(shù)的發(fā)展也推動了微服務(wù)分布式計算系統(tǒng)的發(fā)展，面向微服務(wù)的各類網(wǎng)絡(luò)云化方案逐步走上舞臺。隨著微服務(wù)技術(shù)和網(wǎng)絡(luò)設(shè)備云化技術(shù)的廣泛應(yīng)用，應(yīng)用程序中的服務(wù)數(shù)量激增且形成了負載龐大的網(wǎng)絡(luò)。

微服務(wù)系統(tǒng)具有與分布式系統(tǒng)相似的固有復(fù)雜性和服務(wù)依賴性。由于各級微服務(wù)間存在大量且復(fù)雜的調(diào)用依存關(guān)系，因此當(dāng)某一微服務(wù)出現(xiàn)故障時，會帶來相應(yīng)的雪崩效應(yīng)，其依賴的各級服務(wù)會在短時間發(fā)出大量的告警信息，這些海量的告警信息會降低運維效率；因此，如何高效地檢測故障，實現(xiàn)異常檢測及根因定位成為亟待解決的問題。其中，故障是指服務(wù)無法執(zhí)行其功能，而異常是指故障引發(fā)的可觀測現(xiàn)象。異常檢測是依據(jù)觀測到的異常現(xiàn)象，判斷故障類別的過程。根因定位是依托異常檢測，分析服務(wù)運行過程中可能發(fā)生的故障，定位到發(fā)生故障節(jié)點的過程。為了保障服務(wù)的安全性和可靠性，必須在微服務(wù)體系下實現(xiàn)高速響應(yīng)的故障異常檢測和根因定位。

目前，研究人員已經(jīng)提出了很多不同的方案，來解決微服務(wù)中故障的異常檢測和根因定位問題。異常檢測和根因定位主要依托于觀測到異常的時間附近所記錄的數(shù)據(jù)，這些數(shù)據(jù)包括和應(yīng)用服務(wù)程序有關(guān)的關(guān)鍵性能指標(biāo)（Key Performance Indicators，KPIs）、調(diào)用鏈、拓撲圖和日志等信息。按照使用數(shù)據(jù)的類別，異常檢測和根因定位可以分為基于日志、基于調(diào)用鏈和基于監(jiān)測數(shù)據(jù)等不同的類別[3]。本文重點關(guān)注基于調(diào)用鏈實現(xiàn)的異常檢測及根因定位方案。

調(diào)用鏈?zhǔn)欠植际较到y(tǒng)中的重要數(shù)據(jù)，它表明了一個完整服務(wù)在分布式系統(tǒng)中的執(zhí)行順序或流程。在分布式系統(tǒng)中，通常可采用無監(jiān)督[4-5]、有監(jiān)督[6]或跟蹤比較技術(shù)[7-8]來實現(xiàn)異常檢測。

根因定位可分為直接分析調(diào)用鏈和由調(diào)用鏈生成的拓撲圖驅(qū)動分析兩種方式。在直接分析調(diào)用鏈的早期，業(yè)務(wù)人員往往借助可視化工具來分析調(diào)用鏈，人工排查根因位置。人工排查的方法可以在系統(tǒng)中較為準(zhǔn)確地定位根因，但是效率往往較低。后來，研究人員考慮對調(diào)用鏈中的服務(wù)響應(yīng)時間進行分析來實現(xiàn)自動化方案[4,9]。此外，由調(diào)用鏈數(shù)據(jù)構(gòu)成的拓撲圖也可以幫助實現(xiàn)根因分析，例如，在拓撲圖上執(zhí)行隨機游走[10-12]或廣度優(yōu)先搜索[13]進行探索。基于拓撲圖的方法無論是利用隨機游走還是搜索算法都存在耗時問題，而且在很多真實場景下，也會由于數(shù)據(jù)缺失等原因無法構(gòu)建有效的拓撲圖，進而導(dǎo)致誤判，準(zhǔn)確率無法得到保證?；谝蚬麍D的廣度優(yōu)先搜索方法[14-16]大多處于實驗階段?；贏I 的方案也是目前異常檢測和根因分析的主要研究方向，其中，基于機器學(xué)習(xí)、深度學(xué)習(xí)的方案在小樣本環(huán)境中精度高，但是在海量數(shù)據(jù)下則會相應(yīng)增加較多的訓(xùn)練耗時。上述各類方案距離落地仍存在一定距離。

在實際應(yīng)用中，調(diào)用鏈根因定位方案通常由運維人員按照調(diào)用鏈順序自頂向下深度搜索，逐個排查故障，存在耗時較長和準(zhǔn)確率不足等亟待解決的問題。而本文基于雙向搜索的思想，設(shè)計一種基于調(diào)用鏈雙向搜索的故障根因定位（Trace Bidirectional Search，TBS）算法。該算法先自頂向下搜索調(diào)用鏈，搜索過程中并不直接判別根因，簡化為僅統(tǒng)計故障節(jié)點及疑似故障節(jié)點的信息；再自底向上按層級檢索快速定位根因，其時間復(fù)雜度為常數(shù)階。所提算法已在某省級運營商實際上線，其Top 3 根因的準(zhǔn)確率達到87%，平均定位耗時為15 s。本文算法在異常時刻前后一定時間周期內(nèi)搜索相關(guān)的調(diào)用鏈，依據(jù)節(jié)點間的連接關(guān)系、節(jié)點延時和調(diào)用狀態(tài)來挖掘深層復(fù)雜的根因節(jié)點，有助于運維人員進一步解決根因定位問題。

1 微服務(wù)異常檢測及根因定位方案

微服務(wù)系統(tǒng)下的異常檢測及根因定位的流程如圖1 所示。

圖1 微服務(wù)異常檢測及根因定位方案流程

其中，數(shù)據(jù)庫中保存了日志、關(guān)鍵性能指標(biāo)和調(diào)用鏈等各類數(shù)據(jù)。異常檢測模塊利用這些數(shù)據(jù)實時識別出當(dāng)前時間段的服務(wù)是否存在故障。若判斷出存在異常，則輸出該段時間的全量調(diào)用鏈數(shù)據(jù)。調(diào)用鏈根因定位模塊則會對調(diào)用鏈數(shù)據(jù)依次進行清洗與預(yù)處理，自頂向下搜索異常節(jié)點和疑似異常節(jié)點，自底向上計算根因概率并在最后輸出概率排序最大的Top 3 根因節(jié)點。運維人員可以依據(jù)輸出的結(jié)果快速定位并修復(fù)相關(guān)節(jié)點，極大地提升了運維工作效率，保障了微服務(wù)的運行穩(wěn)定。

本文重點關(guān)注根因定位模塊，對異常檢測模塊則采用了通用方法。目前已有大量成熟的異常檢測方案可以實時對這些數(shù)據(jù)進行故障檢測。為了達到滿足用戶需求的服務(wù)等級目標(biāo)（Service Level Objective，SLO），通常利用服務(wù)水平指標(biāo)（Service Level Indicator，SLI）來對應(yīng)滿足設(shè)定的SLO。SLI表示業(yè)務(wù)服務(wù)質(zhì)量的具體黃金指標(biāo)，例如網(wǎng)絡(luò)延時、吞吐量等。在微服務(wù)場景下，數(shù)據(jù)庫中保存了大量歷史業(yè)務(wù)核心指標(biāo)，利用這些歷史數(shù)據(jù)，可以使用通用的異常檢測方案[4-8]實現(xiàn)關(guān)鍵性能指標(biāo)的異常檢測。本文方案通過對時延和成功率這兩種黃金指標(biāo)的閾值判定，實現(xiàn)指標(biāo)異常檢測。當(dāng)時延高于閾值或成功率低于閾值的調(diào)用鏈比例達到設(shè)定的異常閾值時，判定該時刻為異常并觸發(fā)根因定位模塊。在閾值設(shè)定方面，考慮到隨著時間的增長業(yè)務(wù)的時延范圍存在漂移現(xiàn)象，即業(yè)務(wù)的平均時延會增加，以及業(yè)務(wù)人員也希望能夠通過閾值來控制報告異常的數(shù)量，因此采用人工可調(diào)的方式設(shè)定時延和成功率的判定閾值。

2 微服務(wù)調(diào)用鏈節(jié)點根因定位

當(dāng)異常檢測模塊的輸出結(jié)果是某時刻存在異常時，則在該時刻前后的時間周期T內(nèi)可能存在不止一條異常調(diào)用鏈。在微服務(wù)下存在大量錯綜復(fù)雜的服務(wù)調(diào)用關(guān)系，而生成的調(diào)用鏈?zhǔn)菃蜗騻鞑サ?，調(diào)用鏈上層節(jié)點的故障異常往往受底層節(jié)點的故障影響。調(diào)用鏈節(jié)點根因定位算法的目的是，已知某一時刻系統(tǒng)服務(wù)存在異常，在該時刻前后時間長度為T的時間段內(nèi)，根據(jù)調(diào)用鏈數(shù)據(jù)，查找到底層的故障發(fā)生位置，輸出這些調(diào)用鏈所使用過的微服務(wù)節(jié)點中最有可能發(fā)生故障的前K個根因節(jié)點，即定位到根本原因。

在實際業(yè)務(wù)中，評估根因定位模塊輸出的根因有準(zhǔn)確率和召回率兩種指標(biāo)。由于這兩種指標(biāo)是互相制約的關(guān)系，因此需要權(quán)衡側(cè)重點。較大的召回率意味著根因定位模塊會反饋較多的根因，這會使業(yè)務(wù)人員疲于檢查，嚴重降低運維效率。此外，當(dāng)某一底層微服務(wù)所在節(jié)點位置發(fā)生故障時，有可能導(dǎo)致告警風(fēng)暴，即大量的告警和異常在同一時間爆發(fā)。考慮到更高的召回率會給服務(wù)器計算帶來極大的壓力，因此相比召回率，本文更加重視準(zhǔn)確率，使算法輸出較為準(zhǔn)確的結(jié)果。

2.1 數(shù)據(jù)清洗與預(yù)處理

在微服務(wù)系統(tǒng)中，業(yè)務(wù)調(diào)用的各個節(jié)點都會保存相關(guān)信息至日志中，將所有數(shù)據(jù)連接成鏈?zhǔn)浇Y(jié)構(gòu)就形成了一條調(diào)用鏈。每條調(diào)用鏈都擁有唯一的調(diào)用鏈序號TraceID。通常，調(diào)用鏈的方向都是自起點開始單向傳播的。調(diào)用鏈從頭節(jié)點起，會逐層調(diào)用不同節(jié)點，定義這里的層級為調(diào)用的深度。

在本文方案所應(yīng)用的業(yè)務(wù)場景中，核心指標(biāo)為節(jié)點延時和調(diào)用狀態(tài)是否異常。節(jié)點延時是指該節(jié)點運行相應(yīng)服務(wù)的耗時，調(diào)用狀態(tài)表示該節(jié)點執(zhí)行相應(yīng)服務(wù)是否成功。

調(diào)用鏈數(shù)據(jù)預(yù)處理主要分為調(diào)用鏈抽取和數(shù)據(jù)處理兩個階段，具體如下文所示。

（1）調(diào)用鏈抽?。河捎诿織l調(diào)用鏈都有唯一的TraceID，根據(jù)調(diào)用鏈TraceID 將屬于同一條鏈的所有數(shù)據(jù)抽取出來，再基于節(jié)點ID 和父節(jié)點PID構(gòu)建父子關(guān)系進行拼接，將其串聯(lián)為一條完整的調(diào)用鏈。

（2）數(shù)據(jù)處理：預(yù)先計算并保留算法中需要用到的結(jié)果，以提升算法效率，例如，當(dāng)前節(jié)點后續(xù)所有子節(jié)點實耗時間（ElapsedTime）的總和、子節(jié)點個數(shù)、子節(jié)點調(diào)用成功數(shù)等，如表1 所示。

表1 調(diào)用鏈數(shù)據(jù)

2.2 調(diào)用鏈搜索和定位算法

某一條調(diào)用鏈的調(diào)用邏輯如圖2 所示。調(diào)用鏈中不同的節(jié)點屬于不同的服務(wù)類型。頭節(jié)點依次向下調(diào)用其他子服務(wù)，或者調(diào)用自己本身，呈現(xiàn)單向的調(diào)用方式。各個節(jié)點數(shù)據(jù)包含了各自的延時數(shù)據(jù)和是否調(diào)用成功的信息。

圖2 微服務(wù)完整調(diào)用鏈樣例

定位算法流程如圖3 所示，可分為自頂向下調(diào)用鏈搜索和自底向上調(diào)用鏈定位兩部分。

圖3 調(diào)用鏈搜索和定位算法流程

2.2.1 自頂向下調(diào)用鏈搜索算法

本節(jié)的目的是以服務(wù)節(jié)點為對象，計算并統(tǒng)計算法認定該節(jié)點為異常節(jié)點和疑似異常節(jié)點的次數(shù)。采用遞歸算法，從調(diào)用鏈的頭節(jié)點往后逐步判斷，若判定為異常節(jié)點則繼續(xù)向后搜索，否則停止后續(xù)搜索。

算法通過以下4 個方面判斷該節(jié)點是否為異常節(jié)點：

（1）當(dāng)前節(jié)點存在延時異常。通常認為節(jié)點的延時是正態(tài)分布的，因此采用3-sigma 準(zhǔn)則，將當(dāng)前延時大于平均值3 個標(biāo)準(zhǔn)差的節(jié)點定義為異常節(jié)點。

（2）當(dāng)前節(jié)點調(diào)用狀態(tài)失敗。每個節(jié)點都有二值的調(diào)用狀態(tài)，可依據(jù)該字段判斷節(jié)點是否調(diào)用成功。

（3）當(dāng)前節(jié)點后續(xù)子節(jié)點存在調(diào)用失敗情況。若后續(xù)節(jié)點異常，則必然會影響到當(dāng)前節(jié)點。因此，當(dāng)子節(jié)點的個數(shù)大于子節(jié)點調(diào)用成功數(shù)時，則認定當(dāng)前節(jié)點為調(diào)用異常節(jié)點。

（4）當(dāng)父節(jié)點異常時，當(dāng)前節(jié)點延時tc占用父節(jié)點延時tp的一半及以上（只適用于非頭節(jié)點的判斷），具體如式（1）所示。在正常運行時，同一層級的節(jié)點往往在耗時上較為均衡，因此當(dāng)前節(jié)點占用率過大即是異常節(jié)點。

然而，除了上述異常情況，在正常節(jié)點中存在這樣一種情況：當(dāng)網(wǎng)絡(luò)出現(xiàn)較大波動時，當(dāng)前節(jié)點傳輸?shù)礁腹?jié)點的耗時會增大，這部分耗時會累加為父節(jié)點耗時的一部分。這些節(jié)點本身也有可能是異常的，但是并未在上述4 類異常定義中體現(xiàn)。為此，本文將這些正常節(jié)點定義為疑似異常節(jié)點。節(jié)點延時包含了自身耗時和后續(xù)調(diào)用的子節(jié)點耗時總和∑tc。若當(dāng)前節(jié)點判斷為正常節(jié)點，但是該節(jié)點的父節(jié)點自身耗時tp-∑tc占用了自身延時tp的一半及以上（只適用于非頭節(jié)點的判斷），則記錄為疑似異常節(jié)點，與正常節(jié)點相同，也停止往后搜索，具體為：

自頂向下調(diào)用鏈搜索算法的偽代碼如下：

至此，異常檢測算法可以統(tǒng)計出在時間段T內(nèi)，多條調(diào)用鏈所調(diào)用的服務(wù)節(jié)點的正常次數(shù)、異常次數(shù)和疑似異常次數(shù)。異常和疑似異常本質(zhì)上兩者均為異常?；谏鲜鏊阉鹘Y(jié)果，各個節(jié)點異常率的計算式為：

式中：nnormal為正常節(jié)點個數(shù)；nsuspected為疑似異常節(jié)點個數(shù)；nabnormal為異常節(jié)點個數(shù)。與傳統(tǒng)順序搜索并判斷根因的方案相比，該部分方案更加簡潔，僅做統(tǒng)計而省略了逐個判斷根因的過程。

2.2.2 自底向上調(diào)用鏈定位算法

由于調(diào)用鏈底層節(jié)點為根因的概率更大，因此，采用自底層向上層搜索根因節(jié)點的方式更易于定位根因。從底層開始篩選，若存在異常則直接在該層定位。根因定位所依賴的評價標(biāo)準(zhǔn)主要是上一步驟中得到的故障次數(shù)和異常率，而單獨采用故障次數(shù)或異常率都會嚴重影響定位精度。因此，判定依據(jù)應(yīng)采用故障次數(shù)和異常率相結(jié)合的方式。

然而，若調(diào)用次數(shù)較少（調(diào)用一次且故障率為100%）或異常率較低（調(diào)用大量次數(shù)且有偶發(fā)性故障），該層的節(jié)點并不一定為根因。圖4 表明了一個5 層的調(diào)用鏈中各層的調(diào)用次數(shù)分布情況，從上至下調(diào)用數(shù)量分別為721，6724，23716，6643，632，該結(jié)果近似于正態(tài)分布。在調(diào)用鏈的高層和底層都存在調(diào)用次數(shù)少的問題。因此需要設(shè)置閾值，對調(diào)用鏈數(shù)據(jù)進行篩選。

圖4 調(diào)用次數(shù)分布

判定順序如下：

（1）人為設(shè)定故障次數(shù)和異常率的閾值，篩選去除故障次數(shù)低于閾值和異常率低于閾值的數(shù)據(jù)；

（2）對當(dāng)前層進行搜索，若該層存在單個異常節(jié)點，或者疑似異常節(jié)點，則直接作為根因節(jié)點；

（3）若存在多個異常節(jié)點，返回故障次數(shù)較多的節(jié)點作為根因；

（4）若存在多個異常節(jié)點且故障次數(shù)相同，則返回異常率較高的節(jié)點。

自底向上調(diào)用鏈定位算法的偽代碼如下：

由于搜索的根因絕大多數(shù)在底層，在Depth 循環(huán)中的前幾次判定就會返回，絕大多數(shù)在第1 次判定就直接返回結(jié)果。該部分的定位算法并未遍歷所有Depth，因此算法速度極快，時間復(fù)雜度為常數(shù)階。

3 效果評估

本文對某省級運營商自2021 年6 月份至10月份的微服務(wù)數(shù)據(jù)進行分析，獲取的數(shù)據(jù)量為 382 674 條。檢測區(qū)間為異常時刻前后各5 min（共計時間長度為10 min）的時間段。采用本文算法進行預(yù)測，輸出TopK的異常故障根因，并反饋給運維人員進行人工審核，判斷根因是否為真實故障節(jié)點并統(tǒng)計準(zhǔn)確率。

圖5 表明了Top 3 準(zhǔn)確率隨故障次數(shù)閾值的變化，其中橫坐標(biāo)為故障次數(shù)閾值，從0 至100，間隔為10。圖中曲線表明，隨著閾值從0 增加至30，樣本中具有隨機性的小樣本根因節(jié)點被剔除，準(zhǔn)確率有所上升。但是隨著閾值的繼續(xù)增大，真實的根因節(jié)點也會逐步被剔除，因此準(zhǔn)確率會迅速下降。圖6 表明了Top 3 準(zhǔn)確率隨異常率閾值的變化。當(dāng)異常率閾值在0.05～0.15 之間時，隨著異常率閾值的提升，準(zhǔn)確率不斷提升。這表明根因節(jié)點在底層，且異常率的提升過濾掉了一些干擾根因。但隨著異常率提升到0.2～0.4，準(zhǔn)確率出現(xiàn)了明顯的下降，這是由于隨著異常率的提升，靠近底層的根因節(jié)點逐漸被錯誤過濾。

圖5 Top 3 準(zhǔn)確率隨故障次數(shù)閾值的變化

圖6 Top 3 準(zhǔn)確率隨異常率閾值的變化

對于選取的前K個結(jié)果，本文也進行了討論。表2 為在設(shè)定不同異常次數(shù)閾值和異常率閾值的情況下，選取不同數(shù)量的根因的準(zhǔn)確率。結(jié)果表明，一方面，在異常次數(shù)和異常率的閾值設(shè)置為10 和0.15 時，在本數(shù)據(jù)集下效果最佳；另一方面，隨著選取的可能根因從Top 1 增加到Top 3，更大概率能命中相應(yīng)的根因節(jié)點，根因的準(zhǔn)確率有所提高。

表2 不同異常次數(shù)閾值和異常率閾值下的Top K 準(zhǔn)確率

表3 為某省客戶管理系統(tǒng)（Customer Relation-ship Management，CRM）運營效果數(shù)據(jù)。其中，服務(wù)異常次數(shù)為異常檢測所檢測出的異常時刻的次數(shù)，平均定位耗時為執(zhí)行一次算法程序所需的耗時。在算法效率優(yōu)化方面，本文將串行搜索修改為多進程并行的方式。此外，還使用了更高效率的存儲結(jié)構(gòu)來進行加速，極大提升了算法的運行效率。在提升準(zhǔn)確率方面，結(jié)合實際運營效果進行閾值的調(diào)節(jié)，根據(jù)服務(wù)和閾值間的敏感性，來對應(yīng)調(diào)整不同服務(wù)的閾值，以達到更好的定位效果。

表3 某省客戶管理系統(tǒng)運營效果數(shù)據(jù)

業(yè)務(wù)基準(zhǔn)需求是準(zhǔn)確率需達到0.7 以上并盡可能壓縮平均定位耗時。如表3 所示，2021 年6 月準(zhǔn)確率未達到要求，平均定位耗時為3 min。經(jīng)過5 個月的實際業(yè)務(wù)上線測試，并結(jié)合業(yè)務(wù)優(yōu)化調(diào)節(jié)閾值至更合理的值，在2021 年10 月的數(shù)據(jù)集上，Top 3 準(zhǔn)確率達到了0.87。程序修改為多進程，最終平均定位耗時壓縮到了15 s，準(zhǔn)確率相較于首月提升了29.85%，耗時也從分鐘級提升至秒級。綜上，本文所提算法在調(diào)用鏈根因定位場景下，可以較為準(zhǔn)確地定位根因，且在經(jīng)過優(yōu)化后，已能較好地滿足業(yè)務(wù)需求。

4 結(jié)語

本文提出了一種基于調(diào)用鏈雙向搜索的故障根因定位算法?；谖⒎?wù)系統(tǒng)中故障時刻前后一定時間內(nèi)的調(diào)用鏈數(shù)據(jù)，本文算法采用雙向搜索的思路實現(xiàn)了對異常根因節(jié)點的深度挖掘及精準(zhǔn)定位。所提算法已在國內(nèi)某省級運營商項目中上線，Top 3根因的準(zhǔn)確率達到了0.87，平均定位耗時為15 s。為了更好地滿足運維工作人員的需求，上線版本對調(diào)用鏈搜索的統(tǒng)計結(jié)果進行了可視化。此外，所提算法雖然設(shè)計應(yīng)用于微服務(wù)場景，但是也具備拓展到其他具有調(diào)用鏈故障定位場景的潛力。本文為微服務(wù)系統(tǒng)下的故障根因定位問題提供了更加快速有效的解決方案，也為智能運維領(lǐng)域拓展了新的研究思路。