基于嵌入式向量和循環(huán)神經(jīng)網(wǎng)絡(luò)的用戶行為預(yù)測方法

劉楊濤++南書坡++楊新鋒

摘 要： 為了進(jìn)一步描述時間因素對用戶行為的影響，進(jìn)而提高推薦系統(tǒng)的推薦效果，綜合考慮了用戶的長期行為特征和短期行為特征提出一種基于嵌入式向量和循環(huán)神經(jīng)網(wǎng)絡(luò)的用戶行為預(yù)測方法。依據(jù)推薦系統(tǒng)中的所有用戶行為數(shù)據(jù)，將用戶和商品嵌入到相同的特征空間，并通過嵌入式向量反應(yīng)用戶的長期行為特征。針對每個用戶，依據(jù)其歷史行為的時間序列，基于循環(huán)神經(jīng)網(wǎng)絡(luò)建立該用戶的行為預(yù)測模型，從而描述該用戶的短期行為特征。實驗結(jié)果表明，提出的方法與特征級時間序列分析等方法相比具有更好的推薦效果。

關(guān)鍵詞： 循環(huán)神經(jīng)網(wǎng)絡(luò)； 深度學(xué)習(xí)； 嵌入式向量； 用戶行為預(yù)測； 時間序列

中圖分類號： TN711?34； TP319 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2016）23?0165?05

User behavior prediction method based on embedded vector

and recurrent neural network

LIU Yangtao1， NAN Shupo2， YANG Xinfeng3

（1. School of Software， Nanyang Institute of Technology， Nanyang 473004， China；

2. Department of Public Education， Xinlian College of Henan Normal University， Zhengzhou 450000， China；

3. College of Computer and Information Engineering， Nanyang Institute of Technology， Nanyang 473004， China）

Abstract： In order to further describe the effect of time factor on user behavior， and improve the recommendation effect of the recommendation system， a user behavior prediction method based on embedded vector and recurrent neural network is proposed by comprehensively considering the long?term and short?term user behavior features. According to all user behavior data in recommendation system， the users and commodities are embedded into the same feature space. The embedded vector is used to reflect the long?term user features. According to the time series of each user′s historic behavior， the user behavior prediction model was built based on recurrent neural network to describe this user′s short?term behavior feature. The experiment results show that， the proposed method has better recommendation effect than that of the feature?level time series analysis method and other methods.

Keywords： recurrent neural network； deep learning； embedded vector； user behavior prediction； time series

0 引 言

推薦系統(tǒng)在電子商務(wù)、社會網(wǎng)絡(luò)和信息檢索等領(lǐng)域中都有著廣泛的應(yīng)用[1]。在推薦系統(tǒng)中，數(shù)據(jù)往往被表示成一個用戶行為矩陣。用戶行為矩陣的縱坐標(biāo)表示用戶，矩陣的橫坐標(biāo)表示商品、用戶或者網(wǎng)頁等，矩陣中的每一個元素表示對應(yīng)的縱坐標(biāo)和橫坐標(biāo)之間的關(guān)系，如用戶購買商品的數(shù)量，用戶和用戶之間的連接關(guān)系，以及用戶對網(wǎng)頁的訪問行為等。隨著網(wǎng)絡(luò)服務(wù)的運(yùn)行，用戶行為矩陣中積累了大量的歷史行為數(shù)據(jù)，通過對歷史行為的分析可以對矩陣中的空元素進(jìn)行預(yù)測，從而預(yù)測用戶未來的行為[2]。

傳統(tǒng)的推薦系統(tǒng)主要從矩陣和網(wǎng)絡(luò)兩個視角對用戶的未來行為進(jìn)行分析和預(yù)測。從用戶行為矩陣的視角來看，推薦系統(tǒng)根據(jù)矩陣中已有的數(shù)據(jù)對矩陣建立模型，然后對矩陣中值為空的元素進(jìn)行預(yù)測，典型的建模方法為矩陣分解與補(bǔ)全[3?5]；此外，還可以采用啟發(fā)式方法對矩陣中值為空的元素進(jìn)行預(yù)測，如協(xié)同過濾的相關(guān)方法[6?8]。從網(wǎng)絡(luò)的視角來看，用戶行為矩陣可以看作一個二部圖，如電子商務(wù)中的用戶?商品二部圖；在社會網(wǎng)絡(luò)中，該二部圖退化為簡單的網(wǎng)絡(luò)。在二部圖中，推薦系統(tǒng)根據(jù)網(wǎng)絡(luò)中已有的連接，估計不存在連接的兩個點之間建立連接的概率，并以此預(yù)測用戶未來的行為，常用的方法是網(wǎng)絡(luò)中的隨機(jī)游走[9?11]。

上述方法從原理上都可以理解為對矩陣中值為空的元素進(jìn)行預(yù)測，然后針對每一個用戶（縱坐標(biāo)）將預(yù)測后的橫坐標(biāo)進(jìn)行排序，并返回排名靠前的若干個縱坐標(biāo)項。這種方法存在如下三個缺點：

（1） 假設(shè)矩陣中的數(shù)據(jù)同時到達(dá)。在預(yù)測空元素時應(yīng)用所有的歷史數(shù)據(jù)而沒有考慮數(shù)據(jù)間的時序關(guān)系，然而用戶實際的行為往往存在著短期行為傾向。

（2） 推薦結(jié)果只返回那些值為空的項。上述方法在向用戶進(jìn)行推薦時往往只返回值為空的項（即未購買過的商品），然而用戶的實際購物過程中存在著大量的重復(fù)購買行為，因而推薦結(jié)果中也應(yīng)該包含那些值不為空的項。

（3） 不能適應(yīng)數(shù)據(jù)的動態(tài)更新。由于對矩陣建模時的數(shù)據(jù)是固定的，因而當(dāng)新的用戶行為數(shù)據(jù)到來時不能對預(yù)測的結(jié)果進(jìn)行動態(tài)的更新。

為了應(yīng)對上述的前兩個問題，研究人員提出了時間敏感的推薦系統(tǒng)[12]。文獻(xiàn)[13]在用戶?商品矩陣的基礎(chǔ)上將用戶對商品的瀏覽記錄作為上下文，在進(jìn)行特征提取后引入時間維度構(gòu)成三維張量。在特征提取過程中，采用固定的特征集合；在時間序列預(yù)測上，以天為時間單位，在一定的時間滑動窗口上對歷史數(shù)據(jù)進(jìn)行加權(quán)求和，并提出一種特征級時間序列分析方法（Feature?level Time Series Analysis，F(xiàn)TSA）。FTSA雖然考慮了推薦系統(tǒng)中用戶的短期行為傾向問題，但是特征集合的選取需要根據(jù)閾值進(jìn)行判定，而特征集合的選取又決定著預(yù)測結(jié)果的準(zhǔn)確性，因此該方法具有一定的局限性。

本文以文獻(xiàn)[13]提出的思想為基礎(chǔ)，對用戶和商品特征采用嵌入式向量表示，并采用循環(huán)神經(jīng)網(wǎng)絡(luò)[14]對時序數(shù)據(jù)進(jìn)行建模和預(yù)測。在特征向量的嵌入式表達(dá)計算過程中，將用戶和商品用相同的潛在特征集合來表示，并通過用戶瀏覽記錄中對商品的購買與否進(jìn)行有監(jiān)督的學(xué)習(xí)。在特征向量的嵌入式計算完成后，可以得到用戶和商品特征向量的長期行為傾向。在時序數(shù)據(jù)的預(yù)測過程中，采用循環(huán)神經(jīng)網(wǎng)絡(luò)對每個用戶的時序行為進(jìn)行建模，并得到用戶的短期行為傾向。

4 結(jié) 語

本文提出了一種基于嵌入式向量和循環(huán)神經(jīng)網(wǎng)絡(luò)的用戶行為預(yù)測方法。通過對用戶?商品行為矩陣數(shù)據(jù)的有監(jiān)督學(xué)習(xí)，將用戶和商品映射到相同的潛在特征空間，并得到用戶和商品的長期特征。通過采用循環(huán)神經(jīng)網(wǎng)絡(luò)對用戶的時序行為進(jìn)行建模，得到了用戶的短期行為特征。該方法綜合考慮了用戶的長期和短期行為特征，能更好地對數(shù)據(jù)集進(jìn)行建模，因而具有更好的預(yù)測效果。最后，通過兩個真實的數(shù)據(jù)集驗證了本文提出方法的有效性。

在新數(shù)據(jù)導(dǎo)致的模型動態(tài)更新中，本文采用簡單的隨機(jī)梯度下降方法對嵌入式向量模型的參數(shù)進(jìn)行更新。然而，當(dāng)新數(shù)據(jù)到達(dá)的頻率提高時，可能出現(xiàn)嵌入式向量模型還沒有到達(dá)穩(wěn)態(tài)，此時用戶的時序行為模型所使用的用戶和商品嵌入式向量是過時的，或者處于阻塞狀態(tài)。在下一步的研究工作中，通過研究嵌入式向量模型的增量式更新，從而提高本文方法的健壯性，進(jìn)而適應(yīng)數(shù)據(jù)高速動態(tài)增長的推薦環(huán)境。

參考文獻(xiàn)

[1] 許海玲，吳瀟，李曉東，等.互聯(lián)網(wǎng)推薦系統(tǒng)比較研究[J].軟件學(xué)報，2009，20（2）：350?362.

[2] 王立才，孟祥武，張玉潔.上下文感知推薦系統(tǒng)[J].軟件學(xué)報，2012，23（1）：1?20.

[3] GILLIS N， VAVASIS S. Fast and robust recursive algorithms for separable nonnegative matrix factorization [J]. IEEE transactions on pattern analysis and machine intelligence， 2014， 36（4）： 698?714.

[4] GOGNA A， MAJUMDAR A. Matrix completion incorporating auxiliary information for recommender system design [J]. Expert systems with applications， 2015， 42（14）： 5789?5799.

[5] 劉冶，朱蔚恒，潘炎，等.基于低秩和稀疏矩陣分解的多源融合鏈接預(yù)測算法[J].計算機(jī)研究與發(fā)展，2015，52（2）：423?436.

[6] SHI Y， LARSON M， HANJALIC A. Collaborative filtering beyond the user?item matrix： a survey of the state of the art and future challenges [J]. ACM computing surveys， 2014， 47（1）： 1?45.

[7] 李聰，梁昌勇，馬麗.基于領(lǐng)域最近鄰的協(xié)同過濾推薦算法[J].計算機(jī)研究與發(fā)展，2015，45（9）：1532?1538.

[8] PARK Y， PARK S， JUNG W， et al. Reversed CF： a fast collaborative filtering algorithm using a k?nearest neighbor graph [J]. Expert systems with applications， 2015， 42（8）： 4022?4028.

[9] GUY I， GEYER W. Social recommender system tutorial [C]// Proceedings of the 8th ACM Conference on Recommender systems. New York： ACM， 2014： 195?196.

[10] NIE Dacheng， FU Yan， ZHOU Junlin， et al. A personalized recommendation algorithm via biased random walk [C]// Proceedings of 2014 IEEE 11th International Joint Conference on Computer Science and Software Engineering. [S.l.]： IEEE， 2014： 292?296.

[11] 蔡紅蕾.二部圖網(wǎng)絡(luò)結(jié)構(gòu)算法在推薦系統(tǒng)中的應(yīng)用[D].秦皇島：燕山大學(xué)，2014.

[12] CAMPOS P G， D?EZ F， CANTADOR I. Time?aware re?commender systems： a comprehensive survey and analysis of existing evaluation protocols [J]. User modeling and user?adapted interaction， 2014， 24（1/2）： 67?119.

[13] ZHANG Yongfeng， ZHANG Min， LAI Guokun. Daily?aware personalized recommendation based on feature?level time series analysis [C]// Proceedings of the 24th International Conference on World Wide Web. [S.l.]： International World Wide Web Conferences Steering Committee， 2015： 1373?1383.

[14] DU K， SWAMY M N S. Recurrent neural networks [M]. London： Springer， 2014： 337?353.

[15] ADE M， GHRIET P， DESHMUKH P R， et al. Methods for incremental learning： a survey [J]. International journal of data mining & knowledge management process， 2013， 3（4）： 119?125.

[16] CELMA O. Music recommendation and discovery in the long tail [D]. Spain： Universitat Pompeu Fabra， 2008.