摘? 要：為了提高大數(shù)據(jù)中動態(tài)用戶個性化推薦的準確性和效率，采用基于混合協(xié)同過濾的方法來完成用戶感興趣數(shù)據(jù)的篩選，從而實現(xiàn)個性化推薦。先將用戶數(shù)據(jù)及項目數(shù)據(jù)通過協(xié)同過濾算法來完成建模并評分，然后結(jié)合XGBoost模型的樹形結(jié)構(gòu)和正則學習的特點進行預測評分，接著將兩種算法混合來求解最優(yōu)目標函數(shù)，得到候選的推薦數(shù)據(jù)集合。最后通過實例仿真，混合算法精確度高，在大數(shù)據(jù)平臺有較強的適用性。

關鍵詞：大數(shù)據(jù);協(xié)同過濾;XGBoost;個性化推薦;準確率

中圖分類號：TP399? ? ?文獻標識碼：A

Abstract：In order to improve the accuracy and efficiency of personalized recommendation for dynamic users in big data，a hybrid collaborative filtering method is used to filter the data of interest to achieve personalized recommendation.Firstly，user data and project data are modeled and scored by collaborative filtering algorithm，then predicted and scored by combining the tree structure of XGBoost model and the characteristics of regular learning.Then the two algorithms are mixed to solve the optimal objective function，and candidate recommended data set is obtained.Experiments show that the hybrid collaborative filtering recommendation algorithm has high accuracy and strong applicability in big data platforms.

Keywords：big data;collaborative filtering;XGBoost;personalized recommendation;accuracy

1? ?引言（Introduction）

大數(shù)據(jù)作為互聯(lián)網(wǎng)高速發(fā)展的產(chǎn)物，其服務器可以將來自于不同用戶端的數(shù)據(jù)進行融合，并有效利用這些數(shù)據(jù)進行數(shù)據(jù)挖掘與數(shù)據(jù)分析，以便根據(jù)用戶使用習慣為不同用戶提供差異化的推薦服務。對于大數(shù)據(jù)平臺的使用者來說，能夠動態(tài)地接受自己感興趣內(nèi)容，可以有效節(jié)省在平臺進行資源搜索的時間，提高用戶訪問大數(shù)據(jù)平臺的舒適度，也反映了大數(shù)據(jù)平臺的智能性。當前這種動態(tài)用戶個性化推薦的服務在很多平臺上都得到了有效應用。比如社交平臺的個性化好友推薦、資訊平臺的個性化新聞推薦，電子商務平臺的商品個性化推薦，服務類平臺的個性化服務推薦等[1，2]。

2? 大數(shù)據(jù)平臺的動態(tài)用戶個性化推薦研究現(xiàn)狀（Research status of personalized recommendationfor dynamic users in big data platform）

當前，大數(shù)據(jù)平臺的動態(tài)用戶個性化推薦方法主要有兩種模式，一種是以大數(shù)據(jù)提供的項目為參照點，以項目作為數(shù)據(jù)主關鍵字，將所有訪問過該項目的用戶主要數(shù)據(jù)記錄到該項目的數(shù)據(jù)表中;另外一種是以訪問大數(shù)據(jù)平臺的用戶為參照點，以用戶作為數(shù)據(jù)作為主關鍵字，將該用戶訪問所有項目的數(shù)據(jù)記錄到該用戶的數(shù)據(jù)表中。兩種方法各有優(yōu)劣，前者的優(yōu)點是數(shù)據(jù)結(jié)構(gòu)較簡單，耗費的存儲資源少，后者的優(yōu)點是用戶分類更清晰，推薦服務更細化。在大數(shù)據(jù)平臺的個性化推薦服務中，根據(jù)用戶量的需求和用戶對推薦服務的精細化程度，兩種推薦模式各有優(yōu)勢。

當前采用協(xié)同過濾算法完成動態(tài)用戶的個性化推薦服務研究較多。比如Lim等人將該算法運用于旅游推薦系統(tǒng)[3]，根據(jù)用戶的偏好提供有效的旅游路徑和旅游景點，并以用戶形象標簽作為有效推薦的輔助[4]。王重仁等人利用XGBoost算法對互聯(lián)網(wǎng)客戶流失情況的預測分析[5]，這兩種算法在預測推薦系統(tǒng)中均有應用，但將兩種算法結(jié)合的相關研究較少，本文將兩種算法混合，將XGBoost算法的效率和協(xié)同過濾算法的有效性相結(jié)合，完成大數(shù)據(jù)平臺的動態(tài)用戶個性化推薦。

3? 大數(shù)據(jù)中基于混合協(xié)同過濾的動態(tài)用戶個性化推薦（Personalized recommendation for dynamicusers based on hybrid collaborative filtering inbig data）

3.1? ?混合協(xié)同過濾

為了提高協(xié)同過濾結(jié)果的有效性及精準度，提高個性化推薦系統(tǒng)的適用性，將傳統(tǒng)的協(xié)同過濾算法的評分值與XGBoost推薦算法的評分值進行權重分配，根據(jù)兩者共同的評分結(jié)果高低作為大數(shù)據(jù)中動態(tài)用戶個性化推薦的有限次序。XGBoost算法是一種基于樹形結(jié)構(gòu)的學習系統(tǒng)。相比常用的高級算法，比如蟻群算法、魚群算法等，XGBoost算法具有很好的伸縮性和擴展性[5]，在大數(shù)據(jù)的分布式計算中，面對數(shù)千萬級別的用戶數(shù)據(jù)量對應關系，在相似度計算的耗時環(huán)節(jié)，較好地解決了內(nèi)存限制和算法速度慢等問題。下面對用戶數(shù)據(jù)進行評分建模，具體方法如下：

首先，建立用戶user和項目item列表，每一個用戶u對應一條數(shù)據(jù)庫記錄，這條記錄中存儲了用戶u在大數(shù)據(jù)平臺中訪問項目的情況，在這條記錄中，可以挖掘出用戶u對某些項目i的訪問次數(shù)，根據(jù)訪問次數(shù)來了解用戶偏好，在大數(shù)據(jù)平臺中，當兩個用戶訪問項目i的次數(shù)達到設定的閾值，就判定為這兩個用戶為相鄰用戶，在大數(shù)據(jù)平臺中，將所有項目根據(jù)相似度進行分類，根據(jù)用戶在上一時間段內(nèi)訪問項目i的情況，動態(tài)地為下一時間段用戶訪問平臺推薦類似于項目i的內(nèi)容。

推薦系統(tǒng)中用戶u對項目i的預測評分是根據(jù)用戶u的k個相鄰用戶對項目i的評分求均值得到的[6，7]，若用戶u的相鄰用戶對項目i未曾有過任何評分，則將該用戶剔除相鄰用戶。

衡量推薦算法的標準主要有四個，即，準確率（Precesion）、召回率（Recall）、平均絕對誤差（MAE）和均方根誤差（RMSE）[11-13]。其計算方法分別如公式（10）—公式（13）所示。

其中，公式（12）和公式（13）中表示用戶u對項目j的實際評分值，表示采用推薦算法后用戶u對項目j的評分值，表示用戶評分集合的總個數(shù)。

3.2? ?實例仿真

為了驗證本文算法的性能，采用Matlab對推薦算法進行實例仿真。實驗仿真平臺硬件采用Intel Core i5處理器，內(nèi)存為8GB，操作系統(tǒng)為Windows 7旗艦版，Matlab版本為R2010b。

實驗數(shù)據(jù)樣本集合相鄰用戶數(shù)量最大為50個，的個數(shù)為100，用戶評分集合總數(shù)為1000個，項目總數(shù)為10000個，為了驗證混合算法的有效性，分別將協(xié)同過濾算法和基于XGBoost模型的推薦算法及兩種算法的混合算法進行性能比較，比較它們的Precesion、Recall和MAE，考慮到MAE和RMSE有類似之處，在此只對MAE進行仿真。

從圖1可以看出，隨著相鄰用戶數(shù)量的增加，準確率逐漸上升，表明算法對大數(shù)據(jù)的適用程度高，在海量數(shù)據(jù)中能找出對于目標用戶評分高的項目集合，且有較高的準確度。三種算法中基于XGBoost模型的推薦算法準確率相比較低，本文算法的準確率最高，當相鄰用戶數(shù)量達到15個時，準確率迅速攀升，當相鄰用戶數(shù)量達到47個時，推薦準確率達到了90%以上。具體準確率指標見表1所示。

從表1可以看出，在相鄰用戶數(shù)量夠多的情況下，三種算法均能取得較好的準確率數(shù)值，對于大數(shù)據(jù)平臺的個性化推薦服務均有一定的應用價值，特別是混合協(xié)同過濾算法，實驗中的準確率最高達到了94%;當相鄰用戶數(shù)量較少時，三種推薦算法準確率都較差，這表明三種算法的實現(xiàn)均是基于大數(shù)據(jù)平臺下大數(shù)據(jù)量的條件下訓練而來的，若某用戶在大數(shù)據(jù)平臺下的關聯(lián)數(shù)據(jù)少，這無法完成用戶個性化數(shù)據(jù)的有效推薦，這也符合數(shù)據(jù)挖掘的特點，當用戶相關特征數(shù)據(jù)較少時，難于挖掘出針對該用戶有價值的數(shù)據(jù)，更加無法根據(jù)用戶偏好和習慣實現(xiàn)有效推薦。

從圖2可以看出，隨著相鄰用戶數(shù)量的增加，召回率逐漸增加，表明算法對大數(shù)據(jù)用戶的個性化推薦是有效的，三種算法比較，本文算法的性能突出，在相鄰用戶數(shù)量達到45時，推薦的有效性能達到75%以上，準確率和召回率相互制約，因此在算法訓練時，選擇的相鄰用戶數(shù)量應適當，保證兩個性能能夠均衡。大部分情況下，協(xié)同過濾算法的召回率性能要優(yōu)于XGBoost算法，當相鄰用戶數(shù)量為5時，基于XGBoost算法相比與協(xié)同過濾算法性能更優(yōu)，當相鄰用戶數(shù)量為30時，兩者召回率相同，這表明兩種算法在召回率方面，優(yōu)劣并不明顯。

從圖3可以看出，隨著相鄰用戶數(shù)量的增加，MAE逐漸減小，算法的預測評分值與實際評分制更接近，在相鄰用戶數(shù)為5—15個，MAE迅速下降，當相鄰用戶數(shù)量達到47時，混合協(xié)同過濾算法的MAE下降至0.4以下。

4? ?結(jié)論（Conclusion）

大數(shù)據(jù)平臺的個性化推薦服務增強了用戶使用體驗，用戶可以高效地獲取平臺有效數(shù)據(jù)，避免在海量數(shù)據(jù)里去搜索和尋找。這種個性化服務的良好體驗是建立在精準的推薦算法基礎上的，若推薦算法適用性不強，給用戶推薦的服務與用戶不相關，就會給用戶造成垃圾數(shù)據(jù)負擔，降低用戶的體驗感。本文將XGBoost算法和協(xié)同過濾算法相結(jié)合，提高了大數(shù)據(jù)平臺個性化推薦的性能。經(jīng)實驗證明，本文算法在準確率和召回率等方面，表現(xiàn)出色，具有較強的推廣應用價值。

參考文獻（References）

[1] 陳杰，劉學軍，李斌，等.一種基于用戶動態(tài)興趣和社交網(wǎng)絡的微博推薦方法[J].電子學報，2017，45（4）：898-905.

[2] 仲兆滿，管燕，胡云，等.基于背景和內(nèi)容的微博用戶興趣挖掘[J].軟件學報，2017，28（2）：278-291.

[3] Lim K H，Chan J，Leckie C，et al.Personalized trip recommendation for tourists based on user interests，points of interest visit durations and visit recency[J].Knowledge & Information Systems，2017，54（2）：1-32.

[4] Jing Z，Ying Y，Qi T，et al.Personalized Social Image Recommendation Method Based on User-Image-Tag Model[J].IEEE Transactions on Multimedia，2017，19（11）：2439-2449.

[5] 王重仁，韓冬梅.基于社交網(wǎng)絡分析和XGBoost算法的互聯(lián)網(wǎng)客戶流失預測研究[J].微型機與應用，2017，36（23）：58-61.

[6] Alhamid M F，Rawashdeh M，Dong H，et al.Exploring Latent Preferences for Context-Aware Personalized Recommendation Systems[J].IEEE Transactions on Human-Machine Systems，2017，46（4）：615-623.

[7] 姜宇，張大方，刁祖龍.基于點擊流的用戶矩陣模型相似度個性化推薦[J].計算機工程，2018，44（1）：219-225.

[8] Dash S，Behera R N.A Particle Swarm Optimization based Hybrid Recommendation System[J].International Journal of Knowledge Discovery in Bioinformatics，2017，6（2）：1-10.

[9] Tarus J K，Niu Z，Yousif A.A hybrid knowledge-based recommender system for e-learning based on ontology and sequential pattern mining[J].Future Generation Computer Systems，2017（72）：37-48.

[10] 羅娜.針對云平臺協(xié)同推薦的近鄰項目最優(yōu)臨界點優(yōu)化[J].科技通報，2017（12）：171-174.

[11] 陳南平.一種改進的個性化協(xié)同推薦算法研究[J].軟件導刊，2017，16（3）：45-47.

[12] 袁正午，陳然.基于多層次混合相似度的協(xié)同過濾推薦算法[J].計算機應用，2018，38（3）：633-638.

[13] 張昊，紀宏超，張紅宇.XGBoost算法在電子商務商品推薦中的應用[J].物聯(lián)網(wǎng)技術，2017（72）：102-104.

作者簡介：

劉珊珊（1981-），女，碩士，講師.研究領域：軟件開發(fā)，大數(shù)據(jù).