陳一村，馬堯，王新春，朱山風

0 引言

互聯(lián)網(wǎng)智能化發(fā)展是當前互聯(lián)網(wǎng)科技發(fā)展的方向之一。基于用戶的個人行為，將信息有針對性地推送給用戶，實現(xiàn)個性化的服務，是智能互聯(lián)網(wǎng)的重要體現(xiàn)。目前主流商城站點如Amazon、淘寶、當當?shù)?，都提供基于用戶行為的個性化推薦或搜索。在電子商務領域，個性化服務不僅可以及時發(fā)現(xiàn)用戶最佳購買沖動，提升用戶的購買意愿；而且能夠有效地縮短用戶的購買路徑和時間，提升用戶購買體驗。此外，個性化搜索服務消除了傳統(tǒng)營銷方式對用戶的無故騷擾，進一步增強用戶體驗。

對于交易網(wǎng)站，用戶的購買選擇往往包含著長期的興趣和短期的偏好[1]。用戶在網(wǎng)站上的操作不斷地暗示著其意圖。如果我們能積極感知這些意圖，那么我們就可以及時地在用戶下一次操作前做出有效的響應，從而為用戶提供便捷服務。這樣的時效性要求系統(tǒng)的計算框架能夠以數(shù)據(jù)流的方式來運轉。本文將針對大眾點評網(wǎng)團購業(yè)務需求，建立基于Storm框架的實時數(shù)據(jù)分析平臺，分析用戶行為，并結合移動用戶的位置信息，對團購業(yè)務的附近搜索提供實時反饋的個性化排序結果。最后，本文給出了大眾點評網(wǎng)移動主客戶端在團購附近搜索場景上的真實運行效果。結果顯示基于Storm框架的實時數(shù)據(jù)分析平臺對已有系統(tǒng)和 HDFS集群具有良好的兼容性，并且具有高效、實時、穩(wěn)定等優(yōu)點；同時，對用戶實時反饋的個性化分析能夠顯著提升團購附近搜索的性能。

1 相關工作

隨著信息化和互聯(lián)網(wǎng)的急速發(fā)展，公司的日常運營經常會生成TB級別的數(shù)據(jù)，其來源囊括了互聯(lián)網(wǎng)裝置可以捕獲的任何類型數(shù)據(jù)，包括網(wǎng)站、社交媒體、交易型商業(yè)數(shù)據(jù)以及其它商業(yè)環(huán)境中創(chuàng)建的數(shù)據(jù)。如何從如此海量的數(shù)據(jù)中發(fā)現(xiàn)其價值，是大數(shù)據(jù)時代亟需解決的問題。隨著Google 2004年提出 GFS和 MapReduce[2]，其后隨之興起的 Hadoop、Spark/Shark等框架和技術使得我們能夠大規(guī)模且低成本地處理各種海量數(shù)據(jù)。然而它們設計的初衷都是為了處理靜態(tài)數(shù)據(jù)，無法簡單地轉變成實時計算系統(tǒng)?？紤]到數(shù)據(jù)的生成形式和產生速度，大規(guī)模的實時數(shù)據(jù)處理已經變得越來越重要，也成為了許多機構和公司需要面對的首要挑戰(zhàn)。Google于2010年適時地推出可用于流式數(shù)據(jù)處理和交互式數(shù)據(jù)處理的Dremel系統(tǒng)。隨后Twitter借助Nathan Marz 的Storm框架，實現(xiàn)了從海量的推文中提取所浮現(xiàn)的主題趨勢[3]。與此同時，相關的企業(yè)和研究所也提出了很多基于自身業(yè)務特性的流處理框架，比如Yahoo創(chuàng)建的S4項目，應用于搜索引擎的“Cost-Per-Click”廣告，能根據(jù)當前情景的上下文（用戶偏好、地理位置、已發(fā)生的查詢和點擊等）來評估用戶點擊的可能性并實時做出調整；eBay針對自身作為電子商戶和支付平臺的特性，建立了JetStream系統(tǒng)，以處理海量的用戶行為數(shù)據(jù)并實行24小時的運維監(jiān)控[4]。本文將從Storm框架出發(fā)，重點討論大眾點評網(wǎng)如何利用Storm實現(xiàn)數(shù)據(jù)的實時分析平臺，以及在個性化搜索上的應用。

2 解決方案

本文重點涉及的大眾點評網(wǎng)，是國內領先的餐飲、購物、休閑娛樂及生活服務等領域的商戶信息、消費優(yōu)惠以及發(fā)布消費評價的互動平臺。截止2014年08月28日，大眾點評網(wǎng)的手機用戶已經超過1.5億，月活躍用戶達到1.3億，來自移動端的流量占比超過80%。同時針對團購業(yè)務，日均有超過1500萬的瀏覽用戶及100萬的購買用戶，產生1.5億條瀏覽記錄和1.1億元的交易額。本節(jié)將以此為基礎，討論如何基于Storm框架建立實時數(shù)據(jù)分析平臺，分析用戶行為，從而促進團購在線交易，最后給出平臺和模型的測試框架。

2.1 基于Storm框架的實時平臺

從數(shù)據(jù)產生到消費流程，大眾點評網(wǎng)的實時數(shù)據(jù)平臺可分以下5個部分：

（1）數(shù)據(jù)源：非實時的歷史數(shù)據(jù)和實時的日志數(shù)據(jù)，具體包括前端用戶瀏覽行為數(shù)據(jù)（打點日志）：客戶端和瀏覽器數(shù)據(jù)，后端服務器Nginx日志和MySQL數(shù)據(jù)庫的變更消息（PUMA），同時還包括應用程序實時Swallow消息；

（2）傳輸和計算：利用Blackhole系統(tǒng)處理整合日志信息，然后將日志數(shù)據(jù)流、實時Swallow信息和PUMA數(shù)據(jù)庫表更新信息作為輸入數(shù)據(jù)流，用于Storm計算；

（3）持久化Cache：根據(jù)數(shù)據(jù)類型和使用場景的不同，Storm實時輸出數(shù)據(jù)分為3部分存儲，分為3部分儲存：用于創(chuàng)建索引的數(shù)據(jù)存于HBase數(shù)據(jù)庫，基于持久化和可靠性考慮的數(shù)據(jù)存于MySQL數(shù)據(jù)庫，以及最后用于高并發(fā)性的實時數(shù)據(jù)存于Redis；

（4）數(shù)據(jù)服務：為了便于公司不同業(yè)務層的使用，建立了數(shù)據(jù)服務系統(tǒng)Data Service，提供了不同層次的數(shù)據(jù)服務調用接口；

（5）數(shù)據(jù)消費：實時系統(tǒng)提供了多樣性的數(shù)據(jù)信息，具體到各個部門各個業(yè)務線又具有更加多樣性的使用，例如搜索平臺分析用戶的行為數(shù)據(jù)，提供個性化搜索結果等。

實時數(shù)據(jù)平臺各部分的具體組成和相互關系如圖 1所示：

圖1 大眾點評網(wǎng)數(shù)據(jù)實時平臺

以往基于T+1模式(即數(shù)據(jù)的生成和消費是分離的，存在一定時間差的數(shù)據(jù)分析，數(shù)據(jù)往往是先存儲再分析最后消費，比如打點日志先存于文件，固定時間讀取分析入庫，最后用于消費。而基于Storm框架，本系統(tǒng)能夠實時地處理相關源數(shù)據(jù)。比如日志，我們建立了用于日志傳輸?shù)腖og Server以及用于提取的Blackhole系統(tǒng)，以實時提取和清洗日志數(shù)據(jù)。就時效性而言，傳統(tǒng)PC端和移動瀏覽器訪問日志能夠做到實時進系統(tǒng)，而客戶端日志由于上傳速率問題存在略微延遲（<16s）。就數(shù)據(jù)量而言，系統(tǒng)日均批量寫入HDFS的數(shù)據(jù)超過3.2TB，系統(tǒng)實時傳輸超過1TB，后臺平均數(shù)據(jù)延遲小于1s。目前，實時系統(tǒng)的Data Service已經成為大眾點評網(wǎng)最大的Pigeon服務調用，日均調用超過10億次，占點評全站 Pigeon調用的20%。

2.2 團購用戶行為分析

對于交易網(wǎng)站，用戶的購買選擇包含著長期的興趣和短期的偏好[5]，比如每天從用戶中心（我的訂單、我的收藏）出發(fā)購買的人數(shù)占列表頁購買人數(shù)的1/7 ~1/6。對此，我們分析了團購用戶長期到實時的行為意圖，從時間維度大致可分為以下幾部分：

（1）長期偏好：描述用戶商圈偏好、消費能力、環(huán)境、口味偏好等相對固定的特征；

（2）近期意圖：用戶的購買、收藏、點擊等行為，描述用戶近期需求；

（3）當天行為：收集用戶在移動終端、PC上的各種行為，進行多屏互動；

（4）實時意圖：采集各種實時用戶數(shù)據(jù)，用于判斷用戶實時意圖及用戶場景等。

針對最重要的用戶行為：點擊、購買和收藏，我們分析了具有歷史點擊、購買和收藏行為的用戶的購買情況[6]。用戶在購買某個團購后，后續(xù)一個月內再次購買該相同團單的占比高達20.08%，再次購買同商戶團單的比例為23.4%；而收藏某個團單后，后續(xù)一個月內購買該團單可能性為32.5%；用戶點擊團單后一周內購買的可能性高達 20.61%。點擊、購買和收藏用戶的購買比率隨時間的衰減趨勢，如圖2和圖3所示：

圖2 用戶收藏/購買后購買30天衰減趨勢

圖3 用戶點擊后購買7天衰減趨勢

從用戶行為看，點擊后購買的行為衰減最快，當天點擊后購買的比例為16.18%，到第二天降為1.57%，其次是收藏，最后是購買。對于用戶行為分析，更多考慮的是用戶的實時意圖。因此，在實際應用中主要考慮用戶實時的點擊行為，而收藏和重復購買則作為次要因素。下面給出了用戶實時行為類型：

（1）團單點擊數(shù)據(jù)：最直接的點擊數(shù)據(jù)，包括用戶在團購附近列表、商戶列表、關鍵詞列表的團單點擊等；

（2）商戶點擊數(shù)據(jù)：用戶點擊相關商戶等；

（3）導航點擊數(shù)據(jù)：用戶選擇的品類、商圈、排序方式以及其他過濾條件等；

（4）用戶輸入的關鍵詞：包括商戶關鍵詞、團購關鍵詞以及關鍵詞提示詞等；

在實現(xiàn)過程中，我們將獲取當前用戶的點擊數(shù)據(jù)和之前輸入的關鍵詞信息，用于索引召回和結果排序，同時考慮時間衰減和距離因素。

2.3 實驗測試

基于以上兩點，我們在大眾點評網(wǎng)主客戶端團購附近搜索上進行了真實的交易測試。團購附近搜索，是指客戶端團購板塊中，在用戶僅提供位置和類目信息的情況下，團購列表頁所呈現(xiàn)的個性化團單結果。以往默認算法首先利用團單類目信息從索引中召回候選團單，然后基于用戶與商戶之間的距離進行結果排序，并未考慮用戶以往的選擇和當前的瀏覽點擊。

對于搜索排序而言，研究人員已經提出了很多評價方式，比如基于精度的點擊率、轉化率，基于排序的NDCG、MAP等。本文中所有實驗都是基于大眾點評網(wǎng)客戶端在線團單交易平臺，故在此采用業(yè)務評價的兩大核心指標：購買轉化率和點擊率。

購買轉化率：調用搜索返回結果后有購買行為的比率;點擊率：調用搜索返回結果后有點擊行為的比率;

同時，考慮到在線交易平臺日流量和日交易量的波動性，我們不能簡單地縱向比較不同天的購買轉化率和點擊率。因此，我們將采取AB測試的策略，即把同時訪問附近搜索團單列表頁的用戶按照客戶端設備號（Device ID）或者用戶唯一標識（User ID）切分排序算法，對50%的用戶流量實施A版本，對剩余50%的用戶流量實施B版本，其中A版本為對比實驗的基準策略，B版本為需要測試的新策略?？紤]到劃分用戶人群的差異性，還將考慮實驗前后的總體走勢。

3 結果

我們在大眾點網(wǎng)主客戶端團購列表上進行了真實的交易測試，所有數(shù)據(jù)都基于真實的在線交易。

3.1 實時反饋效果

首先，我們在團購附近搜索進行了實時反饋的AB測試，其中A版本為原始的基于距離排序的結果，B版本為基于用戶行為實時反饋的個性化排序結果。在11/6/2014上線基于實時數(shù)據(jù)反饋的用戶個性化排序策略之后，新的排序策略表現(xiàn)出優(yōu)異的性能，單日購買轉化率和點擊率上均超過了基準版本，如圖4和圖5所示：

圖4 實時反饋個性化策略點擊率對比

圖5 實時反饋個性化策略轉化率對比

同時為了排除交易隨時間和用戶群體不同而產生的波動性，即在不同天相同用戶會呈現(xiàn)出不同的交易模式和偏好性，在穩(wěn)定上線4天后，核心指標購買轉化率總體由6.61%增長到7.03%，相對提升6.35%，點擊率總體由48.3%增長到49.9%，相對提升3.31%。預計切換全流量后，日均可以多帶來2.2K個購買用戶，折算月度將多帶來66K購買用戶及6.6M交易額。

3.2 細化時間粒度

實時反饋策略在團購列表頁取得重大提升效果之后，在原來前面基礎上又對策略中涉及時間因素的成分進行了調優(yōu)，細分了時間粒度，即在不同的時間粒度上具有不同的實時反饋分和相應權重，使得實時反饋策略具有隨時間衰減的動態(tài)性。時間粒度調優(yōu)策略上線后，轉化率和點擊率均具有穩(wěn)定的提升，如圖6和圖7所示：

圖6 實時反饋個性化策略(時間粒度)點擊率對比

圖7 實時反饋個性化策略（時間粒度）轉化率對比

其中，A版本為初始化的實時反饋版本，B版本為時間粒度調優(yōu)后版本。

由圖6和圖7可知，新算法上線后，單日點擊率和轉化率具有不同程度的提升，同時點擊率表現(xiàn)明顯，在實驗的9天中全部勝出，轉化率穩(wěn)中有升，9天中6勝3平。最后，考慮總體增長趨勢，轉化率（7.1%->7.2%）和點擊率（54.9%->55.3%）在原來提升的基礎上均有所提升。預計切換全流量后，日均可多帶來0.4K購買用戶，月度可多帶來1.2M交易額。

3.3 調整距離區(qū)間

眾所周知，團購業(yè)務是一種線上購買線下消費（Online to Offline）的交易模式，用戶在購買團單時需要考慮到自身位置與消費商家的距離遠近。同時，針對移動客戶端用戶，即時的位置會帶了截然不同的消費偏好，尤其是用戶的即時查詢和消費，距離因素有可能成為主導因素。而單純考慮時間粒度和用戶行為，有可能造成一個離用戶實時位置較遠的團單因為用戶的短期收藏點擊行為而排在當前排序結果的首位。因此，在前面的優(yōu)化基礎上，為了保證用戶體驗，我們結合原有距離區(qū)間策略進行了調整，即近距離區(qū)間的團單一定會排在遠距離區(qū)間的團單之前。調整策略上線后，結果如圖8和圖9所示：

圖8 實時反饋個性化策略(距離區(qū)間)點擊率對比

圖9 實時反饋個性化策略(距離區(qū)間)轉化率對比

其中，A版本為時間粒度調優(yōu)后反饋版本，B版本為距離區(qū)間調優(yōu)后的版本。

由圖8和圖9可知，新策略上線后，單日點擊率和轉化率均得到了穩(wěn)定的提升?？紤]總體增長趨勢，購買轉化率相對提升 3.17%（6.3%->6.5%），點擊率相對提升 1.27%（47.2%->47.8%），預計切換全流量后，日均可多帶來0.8K個購買用戶，月度可多帶來2.2M交易額。

4 總結

基于Storm的實時數(shù)據(jù)平臺對已有系統(tǒng)和HDFS集群具有良好的兼容性，整體運行高效、實時、穩(wěn)定。從運行結果看，系統(tǒng)完全能夠勝任TB級別數(shù)據(jù)的實時處理；對于前端的數(shù)據(jù)請求，系統(tǒng)后端能夠做出毫秒級別的響應。用戶的實時行為基本能夠在秒級做出響應，就團購附近搜索而言，用戶在點擊/收藏/購買之后刷新頁面后就能呈現(xiàn)實時反饋排序結果。

分析用戶行為數(shù)據(jù)，我們證實了團購用戶的購買選擇包含著長期的興趣和短期的偏好：以往的點擊/收藏/購買能夠說明用戶近期的需求，同時實時行為又預示著當前的意圖。實驗證明基于用戶行為實時反饋的個性化排序策略，即根據(jù)用戶的實時點擊、收藏、購買等行為反作用于排序結果，能夠明顯提升用戶體驗，團購附件搜索的購買轉化率和點擊率得到了明顯的提升。預計切換全流量后，日均可以多帶來3.4K個購買用戶，折算月度將多帶來100K購買用戶及10M交易額。

將來，我們將進一步擴展實時數(shù)據(jù)平臺的使用場景，包括傳統(tǒng)的關鍵詞搜索、個性化推薦及廣告推送等[7]。對于用戶行為實時反饋，我們將引入用戶場景和消費模式，例如考慮是工作餐還是周末聚餐、是實時消費還是計劃性消費等等。同時，對于現(xiàn)有實時反饋，我們將進一步細化用戶行為，比如對于用戶剛剛購買的團單需要在排序中降權；而對于用戶的點擊行為，我們要區(qū)分正負反饋，若用戶的點擊僅出于好奇，我們需要削弱負反饋的影響。

[1] 張如云,許波勇.基于網(wǎng)站用戶行為的綜合評價分析[J].微型電腦應用, 2014,30(9).

[2] Dean J, Ghemawat S. MapReduce: simplified data processing on large clusters[J].Communications of the ACM, 2008, 51(1):107-113.

[3] Jones M T. Process real-time big data with Twitter Storm[J]. IBM Technical Library, 2013.eBay用戶行為數(shù)據(jù)流實時處理系統(tǒng)[R]. QCon全球軟件開發(fā)大會,2014.

[4] 王繼民,李雷,明子,等.基于日志挖掘的移動搜索用戶行為研究綜述[J].情報理論與實踐,2014,7(3):134-139.

[5] 袁興福,張鵬翼,劉洪蓮,等.基于點擊流的電商用戶會話建模[J].圖書情報工作,59(1):119-126.

[6] 李中良.基于 Web日志挖掘和關聯(lián)規(guī)則的個性化推薦系統(tǒng)模型研究[D].重慶:西南大學,2014.