基于分布式搜索模式的線上用戶軌跡數(shù)據(jù)的支撐與應(yīng)用

胡夢(mèng)云

摘要：本文對(duì)互聯(lián)網(wǎng)渠道大流量營銷的支撐方案進(jìn)行闡述，通過對(duì)系統(tǒng)底層架構(gòu)的改造，引入分布式搜索，提高數(shù)據(jù)存儲(chǔ)和分析效率，實(shí)現(xiàn)百萬級(jí)用戶的數(shù)據(jù)管理能力。為線上運(yùn)營提供數(shù)據(jù)經(jīng)營分析，深度數(shù)據(jù)挖掘的能力，獲取用戶需求，打造線上運(yùn)營精準(zhǔn)高效的數(shù)據(jù)化營銷模式。為用戶提供智能高效的服務(wù)，提升營銷體驗(yàn)，助力運(yùn)營商數(shù)字化轉(zhuǎn)型。

關(guān)鍵詞：移動(dòng)互聯(lián)網(wǎng);大數(shù)據(jù)分析;電信行業(yè);微信公眾號(hào);業(yè)務(wù)支撐系統(tǒng)

中圖分類號(hào)：TP311? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A

文章編號(hào)：1009-3044（2021）06-0035-02

1 建設(shè)背景

隨著運(yùn)營商全面互聯(lián)網(wǎng)化轉(zhuǎn)型，“湖北聯(lián)通”微信公眾號(hào)作為典型的互聯(lián)網(wǎng)輕觸點(diǎn)渠道，在傳統(tǒng)業(yè)務(wù)能力搭建的基礎(chǔ)上，不僅承載著公司線上渠道與用戶情感維系的窗口，更是助力渠道數(shù)字化轉(zhuǎn)型的重要觸點(diǎn)。作為X百萬粉絲的公眾號(hào)，基礎(chǔ)能力逐漸豐富，如何精準(zhǔn)獲取用戶需求，為用戶提供更智能高效的服務(wù)，是我們進(jìn)一步提升體驗(yàn)的關(guān)鍵。同時(shí)，基于微信生態(tài)系統(tǒng)內(nèi)大規(guī)模用戶的服務(wù)與支撐，對(duì)系統(tǒng)數(shù)據(jù)管理和分析能力的要求增強(qiáng)，數(shù)據(jù)分析與運(yùn)營之間的依賴也越來越深。

2 建設(shè)方案

2.1 建設(shè)目標(biāo)

為了加強(qiáng)公眾號(hào)系統(tǒng)對(duì)線上運(yùn)營數(shù)據(jù)分析的能力，專研數(shù)據(jù)管理，我們引入當(dāng)下互聯(lián)網(wǎng)最流行的系統(tǒng)框架，挖掘團(tuán)隊(duì)能力，因地制宜，對(duì)數(shù)字化能力再研判，重構(gòu)微廳數(shù)據(jù)結(jié)構(gòu)。將業(yè)務(wù)的審核與決策點(diǎn)定位于業(yè)務(wù)流程執(zhí)行的位置，高頻次溝通，提高數(shù)據(jù)分析效率，縮短迭代周期，減少信息溝通的渠道和時(shí)間，從而整體提高對(duì)顧客和市場(chǎng)的反應(yīng)速度。

整體規(guī)劃系統(tǒng)的架構(gòu)，以性能為目標(biāo)，從底層強(qiáng)化系統(tǒng)大數(shù)據(jù)支撐的能力，實(shí)現(xiàn)前后端解耦，引入分布式數(shù)據(jù)搜索引擎框架（Elasticsearch），深化高可用高并發(fā)的改造成果，在支撐高并發(fā)營銷活動(dòng)的同時(shí)，提供大數(shù)據(jù)深度挖掘的成果，全面覆蓋用戶行為軌跡，為全面數(shù)字化賦能。

2.2 建設(shè)方案

2.1.1 分布式索引數(shù)據(jù)分析，提升數(shù)據(jù)深度挖掘能力

通過實(shí)現(xiàn)系統(tǒng)前后臺(tái)分離，引入更高效率的數(shù)據(jù)分析框架，從底層增強(qiáng)系統(tǒng)對(duì)數(shù)據(jù)分析的支撐能力?；贛ysql+Mycat體量小、速度快、成本低的特點(diǎn)，實(shí)現(xiàn)數(shù)據(jù)庫讀寫分離，多節(jié)點(diǎn)協(xié)同作戰(zhàn)，支撐大規(guī)模用戶開展高并發(fā)營銷活動(dòng)。引入Elasticsearch（后文簡稱“ES”）分布式底層數(shù)據(jù)架構(gòu)，支撐大數(shù)據(jù)量（億級(jí)）的實(shí)時(shí)統(tǒng)計(jì)查詢的能力，提高數(shù)據(jù)分析效率。Es是分布式可擴(kuò)展的實(shí)時(shí)搜索和分析引擎，分布式實(shí)時(shí)文件存儲(chǔ)，并將每個(gè)字段都編入索引中，使其可以被搜索。同時(shí)，其強(qiáng)大的可擴(kuò)展性，可支撐上百臺(tái)服務(wù)器，處理PB級(jí)別的結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。

本項(xiàng)目在重構(gòu)數(shù)據(jù)庫時(shí)，通過ES面向文檔型數(shù)據(jù)庫存儲(chǔ)方法，將微信公眾號(hào)粉絲User表設(shè)計(jì)成ES文檔，一條數(shù)據(jù)在這里就是一個(gè)ES文檔，用JSON作為文檔序列化格式，這個(gè)文檔會(huì)屬于一個(gè)User的類型，各種類型存在于一個(gè)索引當(dāng)中（Es? 索引（Index） ? 類型（type） ? 文檔（Docments） ? 字段（Fields））。

為了提高搜索的性能，減少磁盤尋道次數(shù)，將多個(gè)值作為一個(gè)數(shù)組通過連續(xù)區(qū)間存放，一次尋道讀取多個(gè)數(shù)據(jù)，同時(shí)也降低樹的高度。

例如：粉絲綁定記錄表（Name、bandtime、Age），ES會(huì)為每一個(gè)field建立一個(gè)倒排索引，每一條數(shù)據(jù)的每一個(gè)信息都自己的索引ID。

| ID | Name | Bandtime | Age |

| -- |：------------：| -----：| -----：|

| 1? | 張三 | 2019/3/12 | 18

| 2? | 李四 |2020/1/10 | 24

| 3? | 王五 | 2020/9/3 | 24

Name下的名稱“張三”也會(huì)有索引編號(hào)，也就是Posting list。 Posting list就是一個(gè)int的數(shù)組，存儲(chǔ)了所有符合term的文檔id。ID是ES自建的文檔id，那么ES建立的索引如下：

Name：

| Term | Posting List |

| -- |：----：|

| 張三 | 1 |

| 李四 | 2 |

| 王五 | 3 |

Bandtime：

| Term | Posting List |

| -- |：----：|

| 2019/3/12 | 1 |

||2020/1/10 | 2 |

| 2020/9/3? | 3 |

Age：

| Term | Posting List |

| -- |：----：|

| 18 | 1 |

| 24 | [1，2] |

2.1.2 可視化搜索引擎工具，強(qiáng)化數(shù)據(jù)監(jiān)控和檢索能力

為了能快速找到某個(gè)用戶綁定記錄term，將所有的term排個(gè)序，二分法查找，logN的查找效率就像是通過字典查找，這就是Term Dictionary。而ES通過內(nèi)存查找term（記錄）和Term Index（索引頁），不讀磁盤，來減少磁盤尋道次數(shù)，從而提高查詢性能。然而，ES是一個(gè)大數(shù)據(jù)集群，本項(xiàng)目中微信公眾號(hào)系統(tǒng)在Linux的環(huán)境下，通過 Kibana 可視化界面來管理和監(jiān)控?cái)?shù)據(jù)文件存儲(chǔ)對(duì)服務(wù)器磁盤消耗的情況，以及監(jiān)控文件的大小，見圖1。

通過 Kibana 可清晰看到Es某個(gè)索引占用磁盤的情況。Kibana提供了傻瓜式的數(shù)據(jù)檢索能力，可以直接通過查找，輸入你想檢索的任何內(nèi)容， ES能迅速從PB級(jí)的海量數(shù)據(jù)里給出響應(yīng)，如圖2。

傳統(tǒng)的數(shù)據(jù)庫存儲(chǔ)方式，百萬級(jí)數(shù)據(jù)統(tǒng)計(jì)及分析需要一周方能反饋結(jié)論，使用ES后的微廳數(shù)據(jù)分析可提高1-3天內(nèi)完成，對(duì)用戶行為和營銷策略快速反應(yīng)。

3 數(shù)據(jù)化的運(yùn)用和成果

3.1 數(shù)據(jù)化運(yùn)營模式創(chuàng)新，打造高效協(xié)同運(yùn)營團(tuán)隊(duì)

通過對(duì)數(shù)據(jù)化運(yùn)營模式的思考，組建小快靈的協(xié)同運(yùn)營團(tuán)隊(duì)，高頻率地對(duì)粉絲群畫像，根據(jù)營銷的目的快速定位用戶。運(yùn)營報(bào)表數(shù)據(jù)沉淀及數(shù)據(jù)處理的開發(fā)周期，從3周降低到5天完成;臨時(shí)統(tǒng)計(jì)分析由原本的2～3天縮短至10分鐘可反饋，效率提升90%。

通過微信公眾號(hào)粉絲結(jié)構(gòu)的分析，根據(jù)綁定用戶年齡占比及趨勢(shì)、主套餐分類和占比、用戶ARPU和留存，以及用戶使用微信公眾號(hào)的情況，提煉用戶特征，形成用戶畫像。有針對(duì)性地為用戶設(shè)計(jì)標(biāo)簽共7大類，其中包括業(yè)務(wù)標(biāo)簽、套餐標(biāo)簽、地市標(biāo)簽等。

例如充值用戶畫像，可知：

1） 單筆充值金額，平均充值金額XX元/筆，同比增長XX%;

2） 活動(dòng)規(guī)則引導(dǎo)，單筆充值XX元用戶中XX%通過“周周抽大獎(jiǎng)-獲取更多抽獎(jiǎng)機(jī)會(huì)”來充值，用戶中XX%是網(wǎng)齡2年以上的老用戶;

3） 小額充值用戶，單筆充值金額在XX元及以下的XX%;小額充值用戶群XX%是2I用戶，平均年齡32歲;

4） 用戶充值偏好，XX%用戶選擇固定金額[50-500元]的方式進(jìn)行充值，微廳充值優(yōu)惠對(duì)粉絲吸引力較大。從用戶選擇偏好來看，選擇充值頁面充費(fèi)贈(zèng)費(fèi)獎(jiǎng)勵(lì)用戶最多XX%。從充值金額來看，選擇單筆XX元用戶最多;

5） 用戶充值次數(shù)，XX%用戶每月充值一次，僅XX%用戶每月充值3次及以上。

通過數(shù)據(jù)分析提供運(yùn)營優(yōu)化策略，進(jìn)一步對(duì)微信充值界面流程進(jìn)行優(yōu)化，賦能地市個(gè)性化能力，增加充值動(dòng)態(tài)營銷浮窗，通過大數(shù)據(jù)手段，驅(qū)動(dòng)運(yùn)用對(duì)用戶價(jià)值的提升。

3.2 流量分析驅(qū)動(dòng)運(yùn)營，推進(jìn)精準(zhǔn)營銷與協(xié)同運(yùn)營

為了能夠提供高價(jià)值的流量分析能力，深度提煉運(yùn)營需求，強(qiáng)化數(shù)據(jù)歸納和分析能力，由數(shù)據(jù)驅(qū)動(dòng)運(yùn)營精準(zhǔn)獲取用戶需求。在微信生態(tài)圈內(nèi)，將模版消息分為主動(dòng)營銷類和被動(dòng)提醒類消息兩類，打造模版共計(jì)XX個(gè)，包括月度賬單、交費(fèi)提醒、活動(dòng)通知等，其中精準(zhǔn)營銷類的 “活動(dòng)通知”推送后轉(zhuǎn)化率高達(dá)XX%。

根據(jù)微信用戶標(biāo)簽化的成果，在“為愛充值”活動(dòng)中，針對(duì)目標(biāo)用戶群體推送“活動(dòng)通知”模板，模板消息共計(jì)推送XX萬人，共計(jì)XXXX名用戶進(jìn)行話費(fèi)充值，轉(zhuǎn)換率為XX%。整個(gè)為愛充值活動(dòng)共計(jì)XXXX名用戶進(jìn)行充值，模版消息帶來的用戶占總?cè)藬?shù)的XX%。模版消息的精準(zhǔn)推廣不打擾用戶的同時(shí)，成功帶來有需求的用戶，使得認(rèn)可率較高，也說明在推廣實(shí)惠型活動(dòng)的時(shí)候，模版消息是有力的運(yùn)營手段。

3.3 行為定位區(qū)隔屬性，內(nèi)容運(yùn)營精準(zhǔn)送達(dá)

通過用戶行為軌跡的分析和定位，進(jìn)行用戶畫像，不僅可以針對(duì)受益群體發(fā)送推文，更能對(duì)微信3*5菜單做有效的規(guī)劃提供幫助，有效提高內(nèi)容運(yùn)營的轉(zhuǎn)化率。

例如與湖北華盛商城合作的終端零售能力，經(jīng)過多次數(shù)據(jù)分析和改進(jìn)，菜單上線位置從三級(jí)到二級(jí)再到三級(jí)，結(jié)合圖文推送的宣傳，轉(zhuǎn)化率一直穩(wěn)定上升。初期上線后僅銷售XX臺(tái)終端，通過行為定位后新發(fā)展注冊(cè)用戶XXXX個(gè)，占華盛商城湖北板塊用戶總注冊(cè)量的XX%。

在2020年湖北疫情期間，快速響應(yīng)湖北人對(duì)互聯(lián)網(wǎng)服務(wù)的需求，加深軍營和研發(fā)的合作，在微信構(gòu)建H5頁面10元10G流量包訂購營銷頁;并且為線上運(yùn)營人員提供精細(xì)化推廣依據(jù)。10元10G流量包共進(jìn)行過X次針對(duì)訂購過的用戶精準(zhǔn)營銷，用戶轉(zhuǎn)化率XX%，在短信營銷中效果較好。

4 總結(jié)及展望

綜上所述，我們依托大數(shù)據(jù)分析，打造BPR創(chuàng)新團(tuán)隊(duì)，以客戶為中心，堅(jiān)持用戶畫像、行為分析、問題導(dǎo)向的工作方法，創(chuàng)新機(jī)制體制，提高工作效率。通過數(shù)據(jù)來驅(qū)動(dòng)運(yùn)營，以小快靈的數(shù)據(jù)化營銷模式，上下同欲、左右同頻、前后同心，敏捷支撐，確保渠道數(shù)字化項(xiàng)目保質(zhì)保量順利轉(zhuǎn)型。面向業(yè)務(wù)流程，直擊痛點(diǎn)難點(diǎn)，使運(yùn)營、數(shù)據(jù)分析和研發(fā)緊密合作，高效運(yùn)轉(zhuǎn)，助力互聯(lián)網(wǎng)時(shí)代下的快速營銷推廣。

參考文獻(xiàn)：

[1] 趙宏田，江麗萍，李寧.數(shù)據(jù)化運(yùn)營-系統(tǒng)方法與實(shí)踐案例[M]. 北京：機(jī)械工業(yè)出版社，2018.

【通聯(lián)編輯：梁書】