天翼魔鏡在廣東IPTV的創(chuàng)新與實(shí)踐

1 引言

天翼魔鏡是中國電信廣州研究院項(xiàng)目團(tuán)隊(duì)自主研發(fā)的產(chǎn)品，在廣東IPTV現(xiàn)網(wǎng)實(shí)施大規(guī)模應(yīng)用，覆蓋超過800萬用戶。一方面，該系統(tǒng)可實(shí)時(shí)采集在線用戶的體驗(yàn)數(shù)據(jù)，精確量化全網(wǎng)用戶的體驗(yàn)，協(xié)助運(yùn)營人員快速定位問題，有力的提升了廣東IPTV的運(yùn)維能力；另一方面，系統(tǒng)提供了包括用戶內(nèi)容偏好、購買傾向等的用戶畫像分析，為個(gè)性化推薦、精準(zhǔn)閉環(huán)營銷等提供準(zhǔn)確的數(shù)據(jù)支撐，有力地提升了廣東IPTV的運(yùn)營能力。

2 背景

IPTV業(yè)務(wù)運(yùn)營中遇到的一個(gè)難題是：用戶經(jīng)常投訴“操控機(jī)頂盒響應(yīng)緩慢頁面（轉(zhuǎn)菊花）”、“黑屏無顯示”、“視頻加載慢、卡頓、花屏”等問題，而運(yùn)營人員缺乏有效手段快速定位問題的原因。

針對業(yè)務(wù)運(yùn)營的痛點(diǎn)，項(xiàng)目團(tuán)隊(duì)自主研發(fā)天翼魔鏡。通過多項(xiàng)IPTV領(lǐng)域的創(chuàng)新，解決天翼高清在運(yùn)營智慧化進(jìn)程中，舊有平臺能力與業(yè)務(wù)發(fā)展需求不匹配的4個(gè)關(guān)鍵問題：

（1）實(shí)時(shí)采集、匯聚所有用戶的體驗(yàn)數(shù)據(jù)的手段不足，而且采集數(shù)據(jù)不能覆蓋用戶所有操作體驗(yàn)

原有的IPTV平臺的質(zhì)量監(jiān)控系統(tǒng)采集用戶體驗(yàn)數(shù)據(jù)的能力不足：a、只能針對指定的部分用戶；b、不能覆蓋所有類型的機(jī)頂盒；c、只能采集機(jī)頂盒側(cè)視頻播放的體驗(yàn)數(shù)據(jù)，缺少EPG用戶操控體驗(yàn)數(shù)據(jù)；d、體驗(yàn)數(shù)據(jù)非實(shí)時(shí)上報(bào)（5分鐘間隔）；

（2）缺少對全網(wǎng)用戶體驗(yàn)的精確量化評估體系

天翼魔鏡產(chǎn)品上線前，運(yùn)營人員只能通過用戶反饋、采樣測試等手段評判用戶體驗(yàn)的優(yōu)劣，不能以全網(wǎng)用戶體驗(yàn)數(shù)據(jù)為依據(jù)進(jìn)行精確地量化評估。

（3）協(xié)助運(yùn)營人員快速定位用戶體驗(yàn)問題的能力不足，更談不上預(yù)警現(xiàn)網(wǎng)存在導(dǎo)致用戶體驗(yàn)的問題

影響用戶體驗(yàn)的因素很多，包括終端、網(wǎng)絡(luò)以及服務(wù)器等，多種因素相互交織。利用機(jī)頂盒抓包分析的方法不僅效率很低、人工成本高，而且無法復(fù)現(xiàn)故障現(xiàn)場；從服務(wù)器端的日志分析也反映不了用戶的實(shí)際體驗(yàn)。

（4）運(yùn)營人員缺乏必要的手段對現(xiàn)網(wǎng)系統(tǒng)的變動(dòng)進(jìn)行客觀的評價(jià)

“平臺與終端的優(yōu)化、改版、調(diào)整”對用戶體驗(yàn)的影響如何？運(yùn)營人員需要客觀的數(shù)據(jù)進(jìn)行評估驗(yàn)證。

3 創(chuàng)新

3.1 創(chuàng)新一、低耦合、低負(fù)載、易維護(hù)且零風(fēng)險(xiǎn)侵入的前端采集探針技術(shù)

考慮到全網(wǎng)機(jī)頂盒的多樣性和特異性，在現(xiàn)有EPG頁面中添加采集探針，并非功能越強(qiáng)大越好，復(fù)雜的方案可能會觸發(fā)兼容性異常，另外容易實(shí)施也是必須優(yōu)先考慮的因素。（如圖1所示）

圖1 前端采集探針實(shí)現(xiàn)方案

圖1為前端采集探針實(shí)現(xiàn)方案。首先，基于頁面的onload和beforeunload事件來獲取用戶體驗(yàn)數(shù)據(jù)，無需改寫原有的EPG頁面代碼。只需要在目標(biāo)頁面頂部和底部分別粘貼一行探針代碼。

EPG開發(fā)人員無需知道探針代碼中的邏輯，實(shí)施起來非常簡單；而且，即使EPG頁面有所更新，也無需考慮對探針代碼的影響。第二，采用異步、延遲（延遲時(shí)間經(jīng)過實(shí)測分析確定，兼顧實(shí)時(shí)性和數(shù)據(jù)上報(bào)的完整性）的數(shù)據(jù)上報(bào)技術(shù)，不會阻塞機(jī)頂盒當(dāng)前頁面的加載，避免對用戶體驗(yàn)造成任何干擾；云端數(shù)據(jù)采集通過系統(tǒng)調(diào)優(yōu)，即使服務(wù)器出現(xiàn)故障或網(wǎng)絡(luò)擁塞，也不會對機(jī)頂盒造成明顯的干擾，實(shí)現(xiàn)了引人第三方資源時(shí)的風(fēng)險(xiǎn)隔離。第三，采集服務(wù)器采用兩臺低配置的云服務(wù)器（均衡負(fù)載），即可完成探針上報(bào)數(shù)據(jù)的收集，性價(jià)比很高。

3.2 創(chuàng)新二、全面覆蓋，關(guān)注全面的信息，關(guān)注每一個(gè)用戶

由于現(xiàn)網(wǎng)的機(jī)頂盒差異性大，平臺側(cè)的監(jiān)控系統(tǒng)不能覆蓋所有的機(jī)頂盒。以廣東IPTV為例，機(jī)頂盒型號超過二十款，操作系統(tǒng)有原生Android、阿里甚至還有Linux；中間件版本有華為、速影、中興及創(chuàng)維。

本產(chǎn)品實(shí)現(xiàn)的采集方案可覆蓋現(xiàn)網(wǎng)所有機(jī)頂盒，面向每一個(gè)用戶，解決了運(yùn)營商特有的難題。另外，采集的數(shù)據(jù)維度全面，不僅滿足用戶體驗(yàn)分析的需求，也滿足業(yè)務(wù)運(yùn)營分析的需求。通過頁面探針采集的數(shù)據(jù)包括：

●新頁面開始加載的時(shí)間點(diǎn)、新頁面資源加載結(jié)束時(shí)間點(diǎn)

●當(dāng)前頁面URL、上一頁面URL，頁面title

●機(jī)頂盒用戶信息，包括用戶賬號、用戶IP、EPG版本、機(jī)頂盒型號

3.3 創(chuàng)新三、實(shí)時(shí)采集、實(shí)時(shí)分析，快速響應(yīng)

傳統(tǒng)的用戶數(shù)據(jù)采集方式（如定時(shí)日志同步）已經(jīng)無法滿足實(shí)時(shí)分析用戶行為、實(shí)時(shí)監(jiān)控統(tǒng)計(jì)、快速響應(yīng)客戶等方面的需求。本系統(tǒng)實(shí)時(shí)接收用戶上報(bào)的數(shù)據(jù)（如圖2所示），前端采用高性能低成本的采集服務(wù)器，中臺采用分布式消息中間件，后端使用流式處理框架，實(shí)現(xiàn)高性能、低時(shí)延、低耦合、支持快速開發(fā)的實(shí)時(shí)分析與實(shí)時(shí)查詢展現(xiàn)。

圖2 采集服務(wù)器

3.4 創(chuàng)新四、多維度分析、根因分析

本產(chǎn)品從機(jī)頂盒側(cè)用戶體驗(yàn)數(shù)據(jù)出發(fā)，從不同的維度分析導(dǎo)致用戶體驗(yàn)問題的主因，在業(yè)內(nèi)屬于首創(chuàng)。

●從地區(qū)維度，發(fā)現(xiàn)體驗(yàn)差的區(qū)域，同時(shí)洞察區(qū)域用戶使用差異，指導(dǎo)資源調(diào)度。

●從機(jī)頂盒維度，定位性能差、體驗(yàn)差的機(jī)頂盒型號。

●從服務(wù)器維度，從影響用戶體驗(yàn)的角度，分析數(shù)百臺服務(wù)器狀態(tài)的差異，察覺偶發(fā)的異常。

●從EPG頁面維度，找到用戶使用最頻繁，但體驗(yàn)最差，亟需優(yōu)化的頁面，并跟蹤其優(yōu)化是否奏效。

3.5 創(chuàng)新五、用戶體驗(yàn)與用戶畫像分析的結(jié)合

天翼魔鏡在采集用戶體驗(yàn)指標(biāo)的同時(shí)，也獲知了用戶的行為。采集數(shù)據(jù)中包括瀏覽的頁面（URL）、觀看的節(jié)目（含時(shí)長、時(shí)段）、內(nèi)容訂購等完整的用戶行為數(shù)據(jù)，可對用戶進(jìn)行畫像，得到用戶的特征、偏好、訂購意愿，甚至猜測用戶的家庭構(gòu)成（不同時(shí)段的觀影行為差異大），為內(nèi)容運(yùn)營和精準(zhǔn)營銷提供數(shù)據(jù)支持。

4 應(yīng)用案例

4.1 案例一、實(shí)時(shí)監(jiān)控每個(gè)用戶的體驗(yàn)

系統(tǒng)可實(shí)時(shí)檢索當(dāng)前在線用戶的操作記錄（如圖3），幫助客服人員快速理解用戶場景并進(jìn)行體驗(yàn)剖析。系統(tǒng)可實(shí)時(shí)過濾出“當(dāng)前在線用戶中體驗(yàn)差的用戶列表”，幫助運(yùn)維人員快速定位這些用戶。

圖3 在線用戶的操作記錄

4.2 案例二、實(shí)時(shí)監(jiān)控各區(qū)域用戶的體驗(yàn)

分區(qū)域統(tǒng)計(jì)相關(guān)的體驗(yàn)指標(biāo)，提供不同地區(qū)當(dāng)前時(shí)刻的訪問用戶量，頁面切換操作時(shí)長操控3秒、5秒的用戶量及占比。圖4是當(dāng)前各地區(qū)的用戶體驗(yàn)指標(biāo)監(jiān)控，以不同顏色標(biāo)識不同地區(qū)的體驗(yàn)狀況。

對區(qū)域用戶體驗(yàn)跟蹤，自動(dòng)的區(qū)域異常檢測，結(jié)合對歷史數(shù)據(jù)的學(xué)習(xí)，自動(dòng)判別用戶體驗(yàn)差的程度是否屬于異常。

圖4 用戶體驗(yàn)指標(biāo)監(jiān)控

4.3 案例三、機(jī)頂盒用戶體驗(yàn)性能比較

不同類型的機(jī)頂盒用戶體驗(yàn)分析，定位性能差、體驗(yàn)差的機(jī)頂盒型號，可做集采的依據(jù)。如圖5，對某天不同時(shí)段的不同機(jī)頂盒用戶體驗(yàn)值（中位數(shù)）進(jìn)行對比分析，圖中橫坐標(biāo)是體驗(yàn)值，縱坐標(biāo)是PV，彩點(diǎn)表示某款機(jī)頂盒，示例圖是18-19點(diǎn)機(jī)頂盒的用戶體驗(yàn)分析，運(yùn)營人員可對現(xiàn)網(wǎng)不同機(jī)頂盒類型的訪問量以及用戶體驗(yàn)的優(yōu)劣一目了然。

圖5 機(jī)頂盒用戶體驗(yàn)分析圖

4.4 案例四、EPG頁面用戶體驗(yàn)分析

EPG頁面維度分析，可找到用戶使用最頻繁，但體驗(yàn)最差，亟需優(yōu)化的頁面，并跟蹤其優(yōu)化是否奏效。

如圖6，“播放連續(xù)劇”“觀看直播”頁面（這里僅選擇兩個(gè)頁面）21天的用戶體驗(yàn)分析，圖中左坐標(biāo)是用戶體驗(yàn)值，右縱坐標(biāo)是PV值，橫坐標(biāo)是時(shí)間軸（小時(shí)）。圖中紅線表示中位數(shù)，（類似有Q1、Q2、Q3說明用戶體驗(yàn)值），綠線表示PV或者UV，陰影區(qū)表示P99（即最差1%的用戶體驗(yàn)值）。示例圖，既可以橫向比較也可以縱向比較，橫向比較是同一頁面的用戶體驗(yàn)和PV變化情況，縱向比較是不同頁面的用戶體驗(yàn)和PV差異。

圖6 “播放連續(xù)劇”“觀看直播”頁面

4.5 案例五，用戶訂購行為分析

通過對用戶訂購過程的路徑分析，發(fā)現(xiàn)訂購流程中存在的問題，進(jìn)行優(yōu)化并跟蹤效果，提升訂購滲透率。通過內(nèi)容訂購轉(zhuǎn)化率（流失率）分析，確定哪些內(nèi)容讓用戶產(chǎn)生訂購的沖動(dòng)以及內(nèi)容訂購的滲透率。

如圖7，示例圖（上部）表示，用戶從哪些頁面進(jìn)入統(tǒng)一訂購（portal），用戶采用的支付方式及路徑分析。示例圖（下部），吸引用戶進(jìn)入訂購的內(nèi)容排名以及訂購轉(zhuǎn)化率。

4.6 案例六，用戶畫像及個(gè)性化推薦

圖7 用戶訂購分析圖

天翼魔鏡在采集用戶體驗(yàn)指標(biāo)的同時(shí)，也獲知了用戶的行為，從用戶所操控的頁面和路徑、觀看的節(jié)目和時(shí)段、訂購的內(nèi)容等，對用戶進(jìn)行畫像，得到用戶的特征、偏好、訂購意愿，為內(nèi)容運(yùn)營和精準(zhǔn)營銷提供數(shù)據(jù)支持。

如圖8，左邊是用戶觀影歷史（實(shí)時(shí)），右邊是用戶的興趣標(biāo)簽以及個(gè)性化推薦的內(nèi)容。用戶畫像及個(gè)性化推薦需要依賴內(nèi)容元數(shù)據(jù)、內(nèi)容標(biāo)簽以及搜索推薦算法的實(shí)現(xiàn)。

圖8 用戶觀影歷史

5 結(jié)束語

本文簡要介紹了天翼魔鏡產(chǎn)品為解決廣東IPTV業(yè)務(wù)運(yùn)營中遇到的問題，提出的創(chuàng)新方案以及應(yīng)用案。產(chǎn)品未來的發(fā)展方向，利用大數(shù)據(jù)與機(jī)器學(xué)習(xí)等技術(shù)，建立智能分析模型以減少對專家的直接依賴，最終建立運(yùn)維/運(yùn)營的決策模型，實(shí)現(xiàn)智能運(yùn)維/運(yùn)營的閉環(huán)。