劉安平,賈詩煒
(中國移動通信集團陜西有限公司,西安 710077)
根據(jù)中國互聯(lián)網(wǎng)絡信息中心(China Internet Network Information Center,CNNIC)發(fā)布的第42次《中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告》顯示,截至2018年6月,我國網(wǎng)絡游戲客戶規(guī)模達到4.68億人,占總體網(wǎng)民的60.6%,較2017年末增長4 391萬人。伴隨移動互聯(lián)網(wǎng)產(chǎn)業(yè)飛速發(fā)展,網(wǎng)絡游戲產(chǎn)業(yè)也呈現(xiàn)出蓬勃發(fā)展的態(tài)勢,網(wǎng)絡游戲整體客戶規(guī)模在互聯(lián)網(wǎng)客戶規(guī)模的占比不斷攀升。網(wǎng)絡游戲要求實時交互、多人在線參與和畫面流暢清晰的特征,確定其對網(wǎng)絡傳輸速度、客戶終端配置及服務器響應速度都有極高的要求。近年來,中國移動公司寬帶業(yè)務大規(guī)模發(fā)展,網(wǎng)內(nèi)互聯(lián)網(wǎng)數(shù)據(jù)中心(Internet Data Center,IDC)資源匱乏,客戶數(shù)據(jù)業(yè)務感知劣勢也日益突出,尤其是網(wǎng)絡游戲業(yè)務卡頓、掉線問題頻出,直接導致客戶滿意度下降、客戶投訴增加,嚴重影響客戶口碑。因此,須準確刻畫客戶游戲業(yè)務感知,快速識別測試游戲業(yè)務質(zhì)量,先于客戶發(fā)現(xiàn)感知劣化趨勢,針對性優(yōu)化網(wǎng)絡質(zhì)量。
在實際網(wǎng)絡運營中,針對網(wǎng)絡游戲業(yè)務的客戶感知定向優(yōu)化面臨諸多挑戰(zhàn):① 網(wǎng)絡關鍵性能指標(Key Performance Indicator,KPI)無法準確衡量客戶體驗質(zhì)量(Quality of Experience,QoE)。網(wǎng)內(nèi)游戲質(zhì)量指標如時延、丟包等異常,實際游戲業(yè)務客戶感知不佳的現(xiàn)象時有發(fā)生。② 網(wǎng)絡游戲的客戶體驗質(zhì)量QoE無法量化分析,難以進行針對網(wǎng)絡游戲業(yè)務客戶感知的實時監(jiān)測、評價和優(yōu)化。③ 網(wǎng)絡游戲在客戶登錄、進入分區(qū)、創(chuàng)建角色及開始游戲過程中,客戶端與資源服務器頻繁交互,客戶行為產(chǎn)生海量、隨機和模糊的應用數(shù)據(jù),運營商難以根據(jù)其進行客戶感知劣化的預測,不能有效保障客戶體驗。文獻[1]構(gòu)建了客戶端/服務器端網(wǎng)絡游戲架構(gòu),并對其進行設計,分析用戶體驗質(zhì)量。文獻[2]提出了顧客滿意度指數(shù)測評方法,對客戶感知的實時監(jiān)測進行評價和優(yōu)化。文獻[3-4]基于回歸分析提出用戶體驗質(zhì)量評估方法,分析了客戶感知劣化規(guī)律。文獻[5]研究了移動云計算用戶體驗質(zhì)量的模糊綜合評價方法。文獻[6]對用戶體驗質(zhì)量評價方法進行綜述,構(gòu)建了用戶體驗質(zhì)量評價模型。文獻[7]基于神經(jīng)網(wǎng)絡建立了用戶感知預警模型,對客戶感知劣化進行預測。文獻[8]對TCP /IP 協(xié)議在多人網(wǎng)絡游戲中的應用進行研究。文中借助深度包檢測技術對網(wǎng)絡游戲業(yè)務進行識別,根據(jù)采集的網(wǎng)絡性能指標及客戶行為數(shù)據(jù),對網(wǎng)絡游戲感知進行定量評估,實現(xiàn)網(wǎng)絡游戲客戶感知量化;基于數(shù)據(jù)挖掘技術,對網(wǎng)絡游戲客戶感知預測進行建模,以對客戶滿意度進行預測。
在網(wǎng)絡運營方面,數(shù)據(jù)業(yè)務量不斷增加,為保障網(wǎng)絡指標良好,運營商持續(xù)推進網(wǎng)絡建設和擴容,網(wǎng)絡結(jié)構(gòu)日趨復雜。傳統(tǒng)的分析方法和工具已無法高效地支撐網(wǎng)絡問題定位及網(wǎng)絡維護優(yōu)化工作。故本文從提升網(wǎng)絡游戲客戶感知的實際需求出發(fā),提出了基于網(wǎng)絡游戲客戶感知的端到端網(wǎng)絡游戲業(yè)務質(zhì)量分析體系架構(gòu)(如圖1所示)。該分析架構(gòu)根據(jù)網(wǎng)絡層次將端到端網(wǎng)絡游戲業(yè)務質(zhì)量分析體系自下而上分為三層:采集層、存儲處理層和應用層。采集層在客戶終端及網(wǎng)絡節(jié)點采集客戶行為數(shù)據(jù),如信令數(shù)據(jù)、業(yè)務數(shù)據(jù)等;存儲處理層借助深度包檢測技術(Deep Packet Inspection,DPI)對采集的海量數(shù)據(jù)進行特征識別及深度挖掘;在應用層建立針對客戶滿意度的評價及分析模型,實現(xiàn)客戶感知的量化分析。
圖1 基于客戶感知的端到端網(wǎng)絡游戲業(yè)務 質(zhì)量分析體系架構(gòu)
采集層在現(xiàn)實應用中具有普適性,不同地區(qū)、多樣場景、各種業(yè)務、多樣網(wǎng)絡、各類接口及不同終端均可采集獲取數(shù)據(jù)。針對網(wǎng)絡游戲業(yè)務,實際是在網(wǎng)吧客戶終端及移動數(shù)據(jù)網(wǎng)絡的各個關鍵節(jié)點部署軟、硬探針來統(tǒng)一配合進行數(shù)據(jù)采集、上傳及下發(fā)?;谟螒驑I(yè)務的特征,選取訪問速率、平均通信時長、客戶端時延、客戶端丟包率、客戶切服頻率、客戶活躍時長和游戲幀數(shù)7個技術指標數(shù)據(jù)(見表1)進行周期性采集、上傳和存儲。
表1 網(wǎng)絡游戲客戶數(shù)據(jù)采集指標
處理層應實現(xiàn)海量測試數(shù)據(jù)的內(nèi)在映射體系建立,形成統(tǒng)一的管理和分析方法,并且可以集中呈現(xiàn)不同業(yè)務、不同參數(shù)的分析模型。對于網(wǎng)絡游戲業(yè)務,要實現(xiàn)對網(wǎng)絡游戲的準確識別,需對指標數(shù)據(jù)與客戶體驗進行關聯(lián)分析。在實際應用中,網(wǎng)絡游戲業(yè)務的識別主要是借助深度包檢測技術。陜西移動公司在省網(wǎng)出口部署統(tǒng)一深度包檢測設備完成業(yè)務識別。
傳統(tǒng)的IP包流量識別和服務質(zhì)量(Quality of Service,QoS)控制技術是基于開放式系統(tǒng)互聯(lián)參考模型(Open System Interconnection Reference Model,OSI/RM)七層模型中的二層、三層和四層,通過對IP包頭中的“五元組”(信息源地址、目的地址、源端口、目的端口及協(xié)議類型)進行分析,從而確定當前流量的基本信息,確保清楚標記所有數(shù)據(jù)。DPI技術可以提供傳統(tǒng)技術的包頭分析功能,還可對應用層進行分析,屬于流量撿測和控制技術。當IP數(shù)據(jù)包、TCP/UDP協(xié)議數(shù)據(jù)流經(jīng)過統(tǒng)一DPI設備時,該設備系統(tǒng)通過讀取IP包載荷的內(nèi)容來對應用層信息進行重組,然后按照系統(tǒng)定義的管理控制策略對流量進行操作。DPI技術可針對不同客戶、服務和內(nèi)容進行不同的應用。
DPI識別技術可分為三類:① 特征字的識別技術。不同的應用使用不同的協(xié)議,各類協(xié)議有著類似于指紋的特殊標記,特定端口、特定字符串和特定Bit序列均可作為標記。② 應用層網(wǎng)關識別技術。應用層網(wǎng)關識別技術針對控制流和業(yè)務流分離的部分業(yè)務,由應用層網(wǎng)關識別控制流,控制流協(xié)議選擇特定的應用層網(wǎng)關對業(yè)務流解析,進而識別業(yè)務。③ 行為模式識別技術。行為模式識別技術即根據(jù)客戶已實施的行為,判斷客戶進行中的動作或即將實施的動作?;诰W(wǎng)絡游戲業(yè)務特征,陜西移動公司統(tǒng)一DPI系統(tǒng)通過業(yè)務攜帶的特征指紋進行識別,如圖2所示。針對《絕地求生》游戲的識別,利用DPI抓取IP數(shù)據(jù)包中含有“Playerunkown’s Battlegrounds”字符串的流記錄,對識別為《絕地求生》游戲的數(shù)據(jù)流進行整合。
應用層在客戶體驗角度,建立端到端的全面評測與分析體系模型,進行客戶感知異常告警實時跟蹤和優(yōu)化分析。針對網(wǎng)絡游戲業(yè)務,可將采集層收集的7類分離性能指標整合,使用多元回歸方式擬合分析關聯(lián)業(yè)務客戶感知。回歸分析是一種預測性建模技術,其可用于確定兩種或兩種以上有關聯(lián)關系的變量間的定量關系。網(wǎng)絡游戲的客戶滿意度受到各項基礎性能指標和外界因素的影響,故通過回歸方程擬合作為對網(wǎng)絡游戲客戶感知的定量評估算法。
圖2 DPI技術對應用特征的分析
將網(wǎng)絡游戲客戶滿意度由原來的主觀評價,劃分為百分制得分:很不滿意(0~20分)、不滿意(20~40分)、一般(40~60分)、滿意(60~80分)和很滿意(80~100分)。以滿意度得分作為定量評估的綜合質(zhì)量指標Y,統(tǒng)計其與一組基礎性能指標(X1,X2,…,Xn)的關系。采集的7類基礎性能指標,根據(jù)對游戲質(zhì)量的影響標識為兩類,指標數(shù)值越大游戲質(zhì)量越好,如訪問速率,對指標進行正向標識;反之,對指標進行負向標識。給出各類性能指標的評價區(qū)間[Z,Z′]。
以客戶端時延指標為例,若某次采集客戶訪問游戲的客戶端時延為x,該指標為負向標識,其評價得分為
W1=(Z′-x)/(Z′-Z)
以此類推,可分別計算出7類性能指標的評價得分:W1,W2,W3,…,W7。建立多元回歸方程,對于每條記錄,通過適度擬合,計算7類性能指標的影響因子α1,α2,α3,…,α7,對指標得分歸一化后可得客戶滿意度得分為
Y=α1W1+α2W2+α3W3+…+α7W7
以上評估算法即可將采集的性能指標映射為綜合質(zhì)量得分,進而計算出客戶滿意度得分,實現(xiàn)對網(wǎng)絡游戲客戶感知的量化評估。
在量化網(wǎng)絡游戲客戶感知的基礎上,為提升客戶體驗,增加客戶黏度,應對客戶感知劣化需進行精準預測。在實際運營中,難以在海量數(shù)據(jù)中提取到客戶感知的有效信息。借助數(shù)據(jù)挖掘技術,研究并搭建了網(wǎng)絡游戲客戶感知預測模型,可根據(jù)網(wǎng)絡性能指標和客戶行為數(shù)據(jù),采用分類算法,討論客戶的感知劣化趨勢,并進行滿意度預測。
網(wǎng)絡游戲客戶感知預測模型的選擇,需要考慮實際問題:網(wǎng)絡游戲業(yè)務具有個性特征,需將海量行為數(shù)據(jù)及網(wǎng)絡性能指標進行關聯(lián),運營商掌握的客戶數(shù)據(jù)可能存在不平衡及部分數(shù)據(jù)空缺現(xiàn)象,并且模型算法多樣化,選擇合適的算法對預測效果至關重要。對此,本文采用跨行業(yè)數(shù)據(jù)挖掘標準流程(如圖3所示)來搭建規(guī)范的預測模型。
圖3跨行業(yè)數(shù)據(jù)挖掘標準流程
Fig.3Cross-industrydataminingstandardprocess
根據(jù)流程規(guī)范和游戲業(yè)務特點,網(wǎng)絡游戲客戶感知預測的數(shù)據(jù)挖掘過程共分為五步:① 數(shù)據(jù)理解。采集包括網(wǎng)絡游戲性能指標和客戶行為數(shù)據(jù),對其相關性進行分析以理解原始數(shù)據(jù)。② 數(shù)據(jù)準備。將原始數(shù)據(jù)映射為特征值。③ 建模。根據(jù)不同的算法及模型將參數(shù)調(diào)整至合理。④ 評估。審查模型是否完成挖掘目標。⑤ 部署。將模型應用于海量實際數(shù)據(jù)中。完成各個階段的循環(huán)即可實現(xiàn)完整的數(shù)據(jù)挖掘流程。
此階段完成對網(wǎng)絡游戲客戶原始采集數(shù)據(jù)的處理,進行特征值提取。在網(wǎng)絡游戲客戶感知的特征值提取中,主要考慮網(wǎng)絡性能指標和客戶行為數(shù)據(jù),包括訪問速率、平均通信時長、客戶端時延、客戶端丟包率、客戶切服頻率、客戶活躍時長和游戲幀數(shù)7個特征值(見表1)。這些特征值根據(jù)業(yè)務特征和運維經(jīng)驗選取,可實時更新。
根據(jù)選取的客戶特征值,選取合適分類算法進行數(shù)據(jù)訓練。網(wǎng)絡游戲客戶感知預測屬于離散分類問題,訓練樣本包括“滿意”及“不滿意”兩類。分類算法包括邏輯回歸、決策樹和隨機森林等訓練算法模型,本文選用邏輯回歸算法進行分類,提出網(wǎng)絡游戲客戶感知預測框架(如圖4所示)。完成數(shù)據(jù)挖掘的訓練指標集包括兩部分:用于訓練模型的訓練集以及用于驗證模型的測試集。
圖4 網(wǎng)絡游戲客戶感知預測框架
模型的訓練是采用適當?shù)乃惴?gòu)造分類的過程,邏輯回歸算法主要使用邏輯回歸函數(shù)g(z)=1/(1+e-z)對數(shù)據(jù)進行擬合,其中z表示與特征值線性相關的變量,預測值g(z) 即為邏輯回歸函數(shù)的值,顯然0≤g(z) ≤1,故將預測問題適度擬合為0~1分類問題。
本文使用上述算法對陜西西安地區(qū)中國移動公司某網(wǎng)吧網(wǎng)絡游戲客戶感知(滿意度)進行了預測,結(jié)果預測值g(z)=0.932,與實際客戶滿意度相符。由此可見,邏輯回歸算法的準確性較高,可實現(xiàn)網(wǎng)絡游戲客戶感知的預測。
本文面向網(wǎng)絡游戲業(yè)務,采集網(wǎng)絡性能及客戶行為數(shù)據(jù),利用DPI標識不同游戲業(yè)務的特征,通過合理的回歸方程,量化網(wǎng)絡游戲客戶感知,借助數(shù)據(jù)挖掘的方式,精準預測客戶滿意度,解決了網(wǎng)絡游戲業(yè)務客戶感知差的問題,提升了客戶滿意度。
在網(wǎng)絡性能指標方面,實施客戶感知量化和預測后,陜西移動公司主動發(fā)現(xiàn)游戲感知劣化問題,及時優(yōu)化網(wǎng)絡配置,網(wǎng)吧專線游戲鏈路平均時延為45 ms,環(huán)比降低10%,丟包率為0.31%,環(huán)比降低31.11%,見表2。
在游戲業(yè)務方面,陜西移動公司借助DPI標識50余種熱門游戲,根據(jù)業(yè)務流量統(tǒng)計出全網(wǎng)熱門游戲,經(jīng)過實測驗證,識別的準確性高達98%。同時,進行基于量化的客戶感知指標的游戲業(yè)務質(zhì)量分析,清晰呈現(xiàn)本省各地區(qū)網(wǎng)絡游戲質(zhì)差情況,通過定點支撐、專項投訴處理等方式,有效減少了客戶投訴,陜西移動公司客戶針對網(wǎng)絡游戲相關投訴約48次,環(huán)比降低40%。
在客戶服務方面,陜西移動公司使用調(diào)查問卷的方式對新發(fā)展的13家網(wǎng)吧的780位網(wǎng)游客戶進行調(diào)查,同時,采用數(shù)據(jù)挖掘技術對此客戶群體的滿意度進行預測。對比發(fā)現(xiàn),網(wǎng)絡游戲客戶感知預測準確率高達87%。公司通過針對性預測分析,對專線業(yè)務發(fā)展做出了合理的規(guī)劃改進。先于客戶發(fā)現(xiàn)網(wǎng)絡感知劣化問題,及時優(yōu)化,同時推出配套客戶服務。實施預測方案期間,網(wǎng)絡游戲客戶滿意比例提升至85%,環(huán)比增長23%,增加了存量客戶黏度,促進了游戲業(yè)務客戶增長。
表2 感知量化及預測實施效能指標
基于數(shù)據(jù)挖掘的網(wǎng)絡游戲客戶感知量化及預測方法,能夠精準識別網(wǎng)內(nèi)客戶使用網(wǎng)絡游戲業(yè)務,結(jié)合采集的網(wǎng)絡性能及客戶行為指標,建立網(wǎng)絡游戲客戶感知定量評估模型,通過模型的回歸擬合算法計算網(wǎng)絡游戲的真實滿意度得分。在此基礎上,利用數(shù)據(jù)挖掘技術,進行網(wǎng)絡游戲客戶感知預測建模,對客戶感知進行提前預測,通過定向分析,準確評估感知劣化趨勢,定位質(zhì)差問題,實現(xiàn)主動發(fā)現(xiàn)、快速解決網(wǎng)絡問題,提升網(wǎng)絡游戲業(yè)務客戶使用感知,提升客戶滿意度。