淺析短視頻用戶故障定界定位和感知評(píng)價(jià)工具

摘要：隨著5G網(wǎng)絡(luò)的普及，為了提升小視頻用戶的使用感知，并能夠先于客戶發(fā)現(xiàn)問題，成為當(dāng)下移動(dòng)網(wǎng)絡(luò)要解決的首要問題。本文先闡述了利用QoE理念重新梳理用戶端關(guān)鍵性能指標(biāo)，通過主客觀感知的關(guān)聯(lián)建立隨機(jī)森林決策樹，最后應(yīng)用交叉驗(yàn)證模型的方式對(duì)系統(tǒng)進(jìn)一步調(diào)優(yōu)，讓系統(tǒng)更智能、更貼合用戶的使用感知。

關(guān)鍵詞：小視頻、QoE理念、隨機(jī)森林決策樹、交叉驗(yàn)證模型、用戶感知

一、引言

傳統(tǒng)的視頻故障定界定位仍沿用以往視頻類業(yè)務(wù)的3個(gè)指標(biāo)，即“視頻播放成功率”“視頻播放等待時(shí)長(zhǎng)”“視頻卡頓次數(shù)”，并未區(qū)分長(zhǎng)視頻和短視頻的業(yè)務(wù)指標(biāo)。長(zhǎng)視頻就像長(zhǎng)跑，需要的是耐力，小視頻就像短跑，需要的是爆發(fā)力，二者的指標(biāo)不應(yīng)混同。通過傳統(tǒng)指標(biāo)對(duì)短視頻進(jìn)行定界定位是不準(zhǔn)確的。

另外傳統(tǒng)的短視頻用戶感知評(píng)價(jià)是通過人工電話或者短信的問卷方式進(jìn)行調(diào)查。完成1000個(gè)用戶的調(diào)查需要8個(gè)人一天的時(shí)間，費(fèi)時(shí)費(fèi)力不說，效果未必真實(shí)客觀。在此背景下，研究短視頻的關(guān)鍵指標(biāo)和用戶感知迫在眉睫。

二、工具介紹

短視頻用戶故障定界定位和感知評(píng)價(jià)的工具主要由三大模塊組成：一是關(guān)鍵指標(biāo)的提煉；二是主客觀用戶感知關(guān)聯(lián)；三是工具參數(shù)調(diào)優(yōu)。

（一）通過QoE理念提煉關(guān)鍵指標(biāo)

首先借鑒QoE理念并將其融入網(wǎng)絡(luò)質(zhì)量指標(biāo)體系[1]，從所有的基礎(chǔ)指標(biāo)中，梳理出與短視頻相關(guān)的KQI指標(biāo)，再根據(jù)指標(biāo)的權(quán)重提煉出QoE指標(biāo)，從而生成短視頻關(guān)鍵指標(biāo)，用來自動(dòng)定界定位故障。

1.通過部署S1_U接口探針，從XDR話單中提取指標(biāo)，KPI指標(biāo)是包含所有的基礎(chǔ)指標(biāo)。

2.篩選出短視頻KQI指標(biāo)模塊，根據(jù)視頻上網(wǎng)的整個(gè)信令流程，從每個(gè)關(guān)鍵的信令中篩選出與短視頻相關(guān)的KQI指標(biāo)。

3.為了更詳細(xì)地反映視頻用戶的感知，根據(jù)視頻指標(biāo)的特性進(jìn)行分類分段模塊，將篩選后的指標(biāo)按照覆蓋性、接入性、完整性和保持性進(jìn)行分類分段。

4.按照指標(biāo)的權(quán)重提煉出QoE指標(biāo)，主要對(duì)接入性、完整性、保持性和覆蓋性下的指標(biāo)權(quán)重進(jìn)行評(píng)分。5.根據(jù)指標(biāo)的權(quán)重，并結(jié)合用戶感知吻合度，提煉出5個(gè)關(guān)鍵指標(biāo)，分別是：400KB啟動(dòng)時(shí)延（視頻播放啟動(dòng)階段傳輸400KB數(shù)據(jù)所需要的時(shí)長(zhǎng)）、有效下載速率（有效數(shù)據(jù)流量/有效傳輸時(shí)長(zhǎng)，扣除無下載量的時(shí)間間隔）、播放流暢度（速率碼率比>1.2的單據(jù)占所有單據(jù)的比例，評(píng)估視頻業(yè)務(wù)播放是否流暢）、上行RTT時(shí)延（服務(wù)器回環(huán)時(shí)延，評(píng)價(jià)業(yè)務(wù)側(cè)響應(yīng)能力）、下行RTT時(shí)延（無線回環(huán)時(shí)延，評(píng)價(jià)無線網(wǎng)絡(luò)質(zhì)量）。其中上下行RTT時(shí)延這兩個(gè)指標(biāo)可以分別用來定義無線側(cè)問題和業(yè)務(wù)側(cè)問題。

（二）主客觀感知相關(guān)聯(lián)

通過在特定場(chǎng)景下進(jìn)行大量測(cè)試，生成主觀的小視頻感知，來訓(xùn)練出N個(gè)決策樹即隨機(jī)森林；通過前面部署S1_U接口探針，提取S1_U口用戶的客觀指標(biāo)，并將客觀指標(biāo)輸入到?jīng)Q策樹中，讓主觀感知與客觀指標(biāo)相結(jié)合，最后生成小視頻用戶的感知評(píng)價(jià)，如圖1所示。

1.小視頻感知的生成。首先，從無線側(cè)提供的基站場(chǎng)景數(shù)據(jù)，制定相應(yīng)的53個(gè)場(chǎng)景。接著，安排人員對(duì)每個(gè)場(chǎng)景進(jìn)行大量的撥測(cè)，確保撥測(cè)覆蓋無線側(cè)所有場(chǎng)景，并生成主觀的小視頻主觀感知。

2.通過測(cè)試生成的主觀感知建立決策樹，并不斷對(duì)每個(gè)場(chǎng)景下的主觀感知樣本進(jìn)行訓(xùn)練，最終由多棵決策樹組成隨機(jī)森林[2]。此過程可確保每個(gè)場(chǎng)景下的問題用戶的情況都能夠得到直觀的體現(xiàn)。

3.通過對(duì)小視頻進(jìn)行建模，得出適用于小視頻的質(zhì)量評(píng)價(jià)方法。將主觀的測(cè)試感知數(shù)據(jù)和客觀的用戶側(cè)指標(biāo)提取的數(shù)據(jù)相結(jié)合，輸出用戶的感知和實(shí)現(xiàn)問題的清晰定界[3]。

（三）交叉驗(yàn)證并調(diào)優(yōu)

為了確保定界定位的準(zhǔn)確性和用戶感知的真實(shí)性，通過交叉驗(yàn)證模型進(jìn)行調(diào)優(yōu)進(jìn)行驗(yàn)證，具體步驟是，將在每個(gè)場(chǎng)景中得到的5個(gè)關(guān)鍵指標(biāo)參數(shù)的權(quán)重值進(jìn)行10組測(cè)試，每組依次選擇一組作為驗(yàn)證集，其余9組作為訓(xùn)練集，讓訓(xùn)練集與驗(yàn)證集比較后，再取10組的平均值進(jìn)行調(diào)優(yōu)，通過這樣的方式重復(fù)性調(diào)優(yōu)，可以保證每個(gè)場(chǎng)景下5個(gè)關(guān)鍵指標(biāo)的權(quán)重值得到最優(yōu)的結(jié)果[4]。

三、測(cè)試過程

（一）建立主觀撥測(cè)模擬測(cè)試場(chǎng)景

通過事先制定各鐘場(chǎng)景，并在這52個(gè)場(chǎng)景下進(jìn)行大量撥測(cè)（如表1所示），確保場(chǎng)景與無線側(cè)提供的撥測(cè)場(chǎng)景達(dá)到百分百覆蓋，進(jìn)一步驗(yàn)證感知的準(zhǔn)確性。

（二）通過正交試驗(yàn)對(duì)主客觀感知進(jìn)行準(zhǔn)確性驗(yàn)證

為了利用隨機(jī)森林決策樹法將主客數(shù)據(jù)相關(guān)聯(lián)，選用正交試驗(yàn)法確定隨機(jī)森林決策樹的最優(yōu)參數(shù)組合，每個(gè)參數(shù)有3個(gè)位級(jí)，制定因素位級(jí)表，選用L9（3^4）正交表（如表2所示）安排實(shí)驗(yàn)計(jì)劃并進(jìn)行實(shí)驗(yàn)。

制定因素位級(jí)表后，小組成員進(jìn)行正交試驗(yàn)，并選取最優(yōu)參數(shù)進(jìn)行調(diào)優(yōu)，實(shí)驗(yàn)后，測(cè)試小視頻用戶故障的定界定位準(zhǔn)確率達(dá)90%以上。

（三）數(shù)據(jù)交叉驗(yàn)證調(diào)優(yōu)測(cè)試

將一組數(shù)據(jù)劃分成10組，每組按照排列順序選一個(gè)作為驗(yàn)證集，其余作為訓(xùn)練集，讓每個(gè)訓(xùn)練集和驗(yàn)證集比較后，取其平均值后進(jìn)行調(diào)優(yōu)。最后測(cè)試的用戶感知識(shí)別率可達(dá)93%以上，短視頻用戶故障定界定位準(zhǔn)確率可達(dá)90%以上。

四、工具結(jié)果展示

該工具將多方數(shù)據(jù)關(guān)聯(lián)，通過隨機(jī)森林決策樹算法，將得到的用戶感知與測(cè)試的感知相關(guān)聯(lián)，最后并通過交叉驗(yàn)證，使得到的用戶感知與現(xiàn)實(shí)感知情況更加吻合。

（一）多維度結(jié)合使感知更吻合

傳統(tǒng)的小視頻評(píng)價(jià)利用現(xiàn)網(wǎng)中長(zhǎng)視頻的評(píng)價(jià)工具，是通過單一的用戶指標(biāo)分析進(jìn)行評(píng)價(jià)。由于用戶所在的場(chǎng)景不一致，再加上長(zhǎng)視頻的評(píng)價(jià)指標(biāo)不適用于小視頻的感知，導(dǎo)致評(píng)價(jià)準(zhǔn)確率低。

該工具是通過機(jī)器自主學(xué)習(xí)，產(chǎn)生多棵決策樹后生成隨機(jī)森林。隨機(jī)森林決策樹算法是基于決策樹的集成學(xué)習(xí)算法關(guān)聯(lián)多維數(shù)據(jù)分析，該方法讓主客觀數(shù)據(jù)關(guān)聯(lián)更加吻合，從而使得到的感知評(píng)價(jià)準(zhǔn)確率更高。

（二）先于客戶發(fā)現(xiàn)問題并解決問題

采用5個(gè)關(guān)鍵指標(biāo)監(jiān)測(cè)，通過設(shè)定每個(gè)場(chǎng)景的閾值，能夠及時(shí)發(fā)現(xiàn)某個(gè)場(chǎng)景下的指標(biāo)是否偏離了閾值，從而實(shí)現(xiàn)自動(dòng)定界定位。該工具能夠做到先于客戶發(fā)現(xiàn)問題并解決問題，在短視頻用戶劇增條件下，很大程度上提升了一線維護(hù)人員的工作效率，減輕了故障處理和維護(hù)的壓力。

該工具能夠定位到具體問題用戶的Userid，有利于一線客服第一時(shí)間向用戶發(fā)起主動(dòng)關(guān)懷，從而有效提升企業(yè)品牌口碑。有效應(yīng)用該工具，可以有效提升客戶感知，進(jìn)而給公司帶來巨大的經(jīng)濟(jì)效益。

（三）質(zhì)差小區(qū)快速鎖定

該工具能夠更快地得到感知評(píng)價(jià)，迅速進(jìn)行質(zhì)差小區(qū)自動(dòng)鎖定，縮短感知和質(zhì)差小區(qū)定位流程。通過隨機(jī)森林決策樹法對(duì)小視頻用戶進(jìn)行感知評(píng)價(jià)分析，能夠快速自動(dòng)生成全網(wǎng)的質(zhì)差小區(qū)。

（四）利用交叉驗(yàn)證法驗(yàn)證指標(biāo)權(quán)重

該工具可將從每個(gè)場(chǎng)景下得到的指標(biāo)權(quán)重參數(shù)，輸入到交叉驗(yàn)證模型中，運(yùn)用PDPC程序圖法管控對(duì)策實(shí)施過程中可能會(huì)出現(xiàn)的情況（如圖2所示）。通過反復(fù)不斷地驗(yàn)證對(duì)比，確保得到的每個(gè)場(chǎng)景的指標(biāo)權(quán)重都能夠。

考慮到目前的城市規(guī)模的發(fā)展速度，場(chǎng)景越來越多，用戶的使用感知也越來越多樣，只有通過交叉驗(yàn)證模型不斷進(jìn)行調(diào)優(yōu)。這種方法不僅可以適應(yīng)網(wǎng)絡(luò)的快速發(fā)展，還能滿足未來城市飛速發(fā)展的需要。

（五）制定指標(biāo)閾值門限觸發(fā)預(yù)警

該工具對(duì)各個(gè)場(chǎng)景下設(shè)定了指標(biāo)閾值門限，一旦超過該門限值，便會(huì)自動(dòng)觸發(fā)預(yù)警，并第一時(shí)間通過短信、電話通知一線維護(hù)人員和相關(guān)專業(yè)維護(hù)人員。通過各節(jié)點(diǎn)協(xié)同定位，縮短了故障處理時(shí)長(zhǎng)，從而真正做到先于客戶發(fā)現(xiàn)問題并解決問題。

五、結(jié)束語

該工具基于五個(gè)關(guān)鍵指標(biāo)，利用隨機(jī)森林決策樹算法自動(dòng)實(shí)現(xiàn)故障的定界定位，企業(yè)無需花費(fèi)額外的成本購(gòu)買硬件設(shè)備，不僅可以響應(yīng)公司“增效降本”的號(hào)召，還能創(chuàng)造更多的效益。該工具的用戶感知和質(zhì)差小區(qū)定位功能，給一線維護(hù)人員帶來了極大的便捷，能夠幫助工作人員在短時(shí)間內(nèi)排查出問題的原因。另外，該工具對(duì)全網(wǎng)用戶的感知評(píng)價(jià)，方便一線客服人員在用戶投訴前提供主動(dòng)服務(wù)與關(guān)懷，從而提升用戶對(duì)企業(yè)服務(wù)的滿意度。將該工具廣泛應(yīng)用于各類App的故障定界定位，可以創(chuàng)造更大的社會(huì)效益。

作者單位：高楊輝 中國(guó)移動(dòng)通信集團(tuán)福建有限公司閩侯分公司

參考文獻(xiàn)

[1]馮國(guó)玲，徐旭東.用戶感知評(píng)估體系的設(shè)計(jì)與實(shí)現(xiàn)[J].河北工業(yè)科技，2009，26（03）：190-192+209.

[2]馬敏，李威，陳潔.基于機(jī)器學(xué)習(xí)的細(xì)分業(yè)務(wù)用戶感知評(píng)估方法[C]//2017-2019年“學(xué)術(shù)金秋”獲獎(jiǎng)?wù)撐募?中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司陜西分公司;，2020：6.

[3]林志.基于信令分析的4G用戶感知評(píng)估及問題定位方法研究[J].數(shù)字通信世界，2019，（03）：143.

[4]章文俊，韓曉龍.基于交叉驗(yàn)證網(wǎng)格尋優(yōu)隨機(jī)森林的黑產(chǎn)用戶識(shí)別方法[J].科技視界，2019，（28）：1-3+7.