融合社交網(wǎng)絡(luò)和圖像內(nèi)容的興趣點(diǎn)推薦

邵長城 陳平華

摘 要：基于位置的社交網(wǎng)絡(luò)（LBSN）蓬勃發(fā)展，帶來了大量的興趣點(diǎn)（POI）數(shù)據(jù)，加速了興趣點(diǎn)推薦的研究。針對(duì)用戶興趣點(diǎn)矩陣極端稀疏造成的推薦精度低和興趣點(diǎn)特征缺失問題，通過融合興趣點(diǎn)的標(biāo)簽、地理、社交、評(píng)分以及圖像等信息，提出了一種融合社交網(wǎng)絡(luò)和圖像內(nèi)容的興趣點(diǎn)推薦方法（SVPOI）。首先分析興趣點(diǎn)數(shù)據(jù)集，針對(duì)地理信息，利用冪律概率分布構(gòu)造距離因子;針對(duì)標(biāo)簽信息，利用檢索詞頻率構(gòu)造標(biāo)簽因子;融合已有的歷史評(píng)分?jǐn)?shù)據(jù)，構(gòu)造新的用戶興趣點(diǎn)評(píng)分矩陣。其次利用VGG16深度卷積神經(jīng)網(wǎng)絡(luò)模型（DCNN）識(shí)別興趣點(diǎn)圖像內(nèi)容，構(gòu)造興趣點(diǎn)圖像內(nèi)容矩陣。然后根據(jù)興趣點(diǎn)數(shù)據(jù)的社交網(wǎng)絡(luò)信息，構(gòu)造用戶社交矩陣。最后，利用概率矩陣分解（PMF）模型，融合用戶興趣點(diǎn)評(píng)分矩陣、圖像內(nèi)容矩陣、用戶社交矩陣，構(gòu)成SVPOI興趣點(diǎn)推薦模型，生成興趣點(diǎn)推薦列表。大量的真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與PMF、SoRec、TrustMF、TrustSVD推薦算法相比，SVPOI推薦的準(zhǔn)確度均有較大提升，其平均絕對(duì)誤差（MAE）和均方根誤差（RMSE）兩項(xiàng)指標(biāo)比最優(yōu)的TrustMF算法分別降低了5.5%和7.82%，表明SVPOI具有更好的推薦效果。

關(guān)鍵詞：興趣點(diǎn)推薦;基于位置的社交網(wǎng)絡(luò);圖像內(nèi)容;深度卷積神經(jīng)網(wǎng)絡(luò);概率矩陣分解模型

中圖分類號(hào)：TP18

文獻(xiàn)標(biāo)志碼：A

Abstract： The rapid growth of LocationBased Social Networks （LBSN） provides a vast amount of PointofInterest （POI） data， which facilitates the research of POI recommendation. To solve the low recommendation accuracy caused by the extreme sparseness of userPOI matrix and the lack of POI features， by integrating information such as tags， geography， socialization， score， and image information of POI， a POI recommendation method integrating social networks and image contents called SVPOI was proposed. Firstly， with the analysis of POI dataset， a distance factor was constructed based on power law distribution and a tag factor was constructed based on term frequency， and the existing historical score data was merged to construct a new userPOI matrix. Secondly， VGG16 Deep Convolutional Neural Network （DCNN） was used to process the images of POI to construct the POI image content matrix. Thirdly， the user social matrix was constructed according to the social network information of POI data. Finally， with the use of Probabilistic Matrix Factorization （PMF） model， the POI recommendation list was obtained with the integration of userPOI matrix， image content matrix and user social matrix. On realworld datasets， the accuracy of SVPOI is improved significantly compared to PMF， SoRec （Social Recommendation using probabilistic matrix factorization）， TrustMF （Social Collaborative Filtering by Trust） and TrustSVD （Social Collaborative Filtering by Trust with SVD） while Mean Absolute Error （MAE） and RootMeanSquare Error （RMSE） of SVPOI are decreased by 5.5% and 7.82% respectively compared to those of TrustMF which was the best of the comparison methods. The experimental results demonstrate the recommendation effectiveness of the proposed method.

英文關(guān)鍵詞Key words： pointofinterest recommendation; LocationBased Social Network （LBSN）; image content; Deep Convolutional Neural Network （DCNN）; Probabilistic Matrix Factorization （PMF） model

可見基于矩陣分解的推薦模型可以靈活擴(kuò)展，成為研究人員構(gòu)造個(gè)性化推薦模型的重要模型， 所以，對(duì)于興趣點(diǎn)的推薦，依然可以沿用這一基礎(chǔ)模型進(jìn)行不斷擴(kuò)展。興趣點(diǎn)不同于物品推薦，因?yàn)榕d趣點(diǎn)不僅僅是地理上的點(diǎn)，更具有很多抽象的意義。用戶對(duì)于興趣點(diǎn)的選擇，受到距離因素、社交因素、興趣點(diǎn)自身特征因素等的影響， 所以，興趣點(diǎn)推薦任務(wù)比物品推薦更加復(fù)雜，需要更加豐富的特征維度來描述興趣點(diǎn)特征。

興趣點(diǎn)推薦也被稱為地理位置推薦，在推薦系統(tǒng)中受到越來越多的關(guān)注。最近，關(guān)于POI推薦的許多研究通常從數(shù)據(jù)的4個(gè)方面進(jìn)行著手，即地理影響分析、社會(huì)相關(guān)性分析、時(shí)間匹配分析以及文本內(nèi)容分析[11]。Lian等[12]提出一種結(jié)合地理影響的加權(quán)矩陣分解方法;Ye等[13]在LBSN中引入了POI推薦，并研究了POI推薦的地理影響和社會(huì)影響;Li等[14]通過融合地理位置和社交信息，將用戶好友分為社交好友以及地理位置好友，在進(jìn)行POI推薦時(shí)，達(dá)到了對(duì)用戶簽到數(shù)據(jù)進(jìn)行擴(kuò)展的效果;Yuan等[15]將時(shí)間周期信息和地理信息納入時(shí)間感知進(jìn)行POI推薦;Cheng等[16]用矩陣分解方法介紹了在LBSN中連續(xù)個(gè)性化POI推薦的任務(wù);Liu等[17]用聚合的線性判別分析（Linear Discriminant Analysis， LDA）模型研究了POI相關(guān)標(biāo)簽的效果。因?yàn)橛脩舻暮灥叫袨榫哂懈呦∈栊?，為興趣點(diǎn)推薦帶來很大的挑戰(zhàn)，所以越來越多的研究結(jié)合地理影響、時(shí)間效應(yīng)、社會(huì)相關(guān)性、內(nèi)容信息和流行度影響等因素提高興趣點(diǎn)推薦的性能。另外，最新的興趣點(diǎn)推薦開始應(yīng)用多媒體數(shù)據(jù)[18]：Jiang等[19]利用旅游指南和社區(qū)提供的照片以及與這些照片相關(guān)的異構(gòu)元數(shù)據(jù)（如標(biāo)簽、地理位置和日期），提出一種個(gè)性化旅行序列興趣點(diǎn)推薦;Wang等[20]通過單純挖掘用戶圖譜信息和地點(diǎn)圖片信息，提出了在概率矩陣分解模型基礎(chǔ)上增加視覺內(nèi)容興趣點(diǎn)（VPOI）推薦模型，優(yōu)化興趣點(diǎn)推薦結(jié)果， 該模型利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）對(duì)圖片內(nèi)容進(jìn)行高維度抽取，并將該圖片矩陣分別融合到用戶隱含矩陣和興趣點(diǎn)隱含矩陣，在Instagram數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，取得不錯(cuò)的實(shí)驗(yàn)結(jié)果。文中僅僅利用了評(píng)分和圖像信息，并沒有利用社交網(wǎng)絡(luò)、物理地點(diǎn)等輔助信息，最后也提出了可以利用其他輔助信息的想法。本文重點(diǎn)在結(jié)合社交網(wǎng)絡(luò)信息和圖像信息，提出新的推薦模型。

1.2 圖像內(nèi)容挖掘

大家都聽說過“眼見為實(shí)”這句話，這也暗含著圖像對(duì)于用戶決策的重要性，對(duì)于LBSN中的興趣點(diǎn)推薦也是如此，好的圖片總能吸引更多的用戶，所以，在推薦系統(tǒng)中，圖片也應(yīng)該是數(shù)據(jù)挖掘的對(duì)象。最近，許多基于圖像內(nèi)容挖掘的推薦系統(tǒng)方法不斷提出：McAuley等[21]提出了利用已有衣物穿搭圖片進(jìn)行衣服搭配的推薦方法;Wang等[22]根據(jù)圖像內(nèi)容進(jìn)行情感的挖掘;Li等[23]利用bagofwords圖像內(nèi)容模型來判斷圖片中的興趣點(diǎn)。這些利用POI圖片信息進(jìn)行推薦的研究工作，充分說明了圖片與POI有強(qiáng)關(guān)聯(lián)關(guān)系，圖片包含著POI的一些特征信息，影響著用戶的決策過程。

2 社交網(wǎng)絡(luò)和圖像內(nèi)容融合的興趣點(diǎn)推薦

2.1 問題定義

本節(jié)定義數(shù)據(jù)結(jié)構(gòu)，闡述研究的問題與展示算法模型框圖。從LBSN的豐富信息中提取數(shù)據(jù)信息，包括POI上的用戶歷史評(píng)分?jǐn)?shù)據(jù)，包括POI的地理信息、POI上的標(biāo)簽信息、用戶之間的社會(huì)關(guān)系、POI上的圖片信息。為了便于說明，表1列出本文的關(guān)鍵符號(hào)。

4 結(jié)語

本文提出了一個(gè)社交網(wǎng)絡(luò)和圖像內(nèi)容融合的興趣點(diǎn)推薦模型——SVPOI，基于位置的社交網(wǎng)絡(luò)中用戶的簽到行為，有效地結(jié)合了用戶評(píng)分信息、地理位置信息、標(biāo)簽分類信息、用戶社交關(guān)系信息和興趣點(diǎn)圖像信息，有效地解決了數(shù)據(jù)稀疏以及興趣點(diǎn)特征缺失的問題。為了證明SVPOI模型的適用性，本文在真實(shí)的大規(guī)模數(shù)據(jù)集上進(jìn)行了大量的實(shí)驗(yàn)，在推薦精度方面對(duì)SVPOI進(jìn)行了評(píng)估，結(jié)果表明SVPOI的推薦精度與其他推薦算法相比有明顯提升。未來將進(jìn)一步挖掘圖像內(nèi)容，融合其他推薦模型作進(jìn)一步的嘗試，從而提高興趣點(diǎn)推薦的性能。

參考文獻(xiàn) （References）

[1] SALAKHUTDINOV R， MNIH A. Probabilistic matrix factorization[C]// Proceedings of the 20th International Conference on Neural Information Processing Systems. New York： ACM， 2008： 1257-1264.

[2] MA H， YANG H， LYU M R， et al. SoRec： social recommendation using probabilistic matrix factorization[C]// Proceedings of the 17th ACM Conference on Information and Knowledge Management. New York： ACM， 2008： 931-940.

[3] YANG B， LEI Y， LIU J， et al. Social collaborative filtering by trust[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（8）： 1633-1647.

[4] GUO G， ZHANG J， YORKESMITH N. TrustSVD： Collaborative filtering with both the explicit and implicit influence of user trust and of item ratings[C]// Proceedings of the 29th AAAI Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 2015： 123-125.

[5] BAO J， ZHENG Y， WILKIE D， et al. Recommendations in locationbased social networks： a survey[J]. GeoInformatica， 2015， 19（3）： 525-565.

[6] KOREN Y， BELL R， VOLINSKY C. Matrix factorization techniques for recommender systems[J]. Computer， 2009，42（8）： 30-37.

[7] SHI Y， LARSON M， HANJALIC A. Collaborative filtering beyond the useritem matrix： a survey of the state of the art and future challenges[J]. ACM Computing Surveys， 2014， 47（1）： Article No. 3.

[8] MARSDEN P V， FRIEDKIN N E. Network studies of social influence[J]. Sociological Methods & Research， 1993， 22（1）： 127-151.

[9] KOREN Y. Factorization meets the neighborhood： a multifaceted collaborative filtering model[C]// Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2008： 426-434.

[10] 劉華鋒，景麗萍，于劍.融合社交信息的矩陣分解推薦方法研究綜述[J].軟件學(xué)報(bào)，2018，29（2）：340-362.（LIU H F， JING L P， YU J. Survey of matrix factorization based recommendation methods by integrating social information[J]. Journal of Software， 2018，29（2）：340-362.）

[11] GAO H， LIU H. Mining human mobility in locationbased social networks[J]. Synthesis Lectures on Data Mining and Knowledge Discovery， 2015， 7（2）： 1-115.

[12] LIAN D， ZHAO C， XIE X， et al. GeoMF： joint geographical modeling and matrix factorization for pointofinterest recommendation[C]// Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2014： 831-840.

[13] YE M， YIN P， LEE W C. Location recommendation for locationbased social networks[C]// Proceedings of the 18th SIGSPATIAL International Conference on Advances in Geographic Information Systems. New York： ACM， 2010： 458-461.

[14] LI H， GE Y， HONG R， et al. Pointofinterest recommendations： Learning potential checkins from friends[C]// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 975-984.

[15] YUAN Q， CONG G， MA Z， et al. Timeaware pointofinterest recommendation[C]// Proceedings of the 36th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2013： 363-372.

[16] CHENG C， YANG H， LYU M R， et al. Where you like to go next： successive pointofinterest recommendation[C]// Proceedings of the 23rd International Joint Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 2013： 2605-2611.

[17] LIU B， XIONG H. Pointofinterest recommendation in location based social networks with topic and location awareness[EB/OL].[2018-06-20].https：//binbenliu.github.io/papers/poi_sdm13.pdf.

[18] 任星怡，宋美娜，宋俊德.基于用戶簽到行為的興趣點(diǎn)推薦[J].計(jì)算機(jī)學(xué)報(bào)，2017，40（1）：28-51.（REN X Y， SONG M N， SONG J D. Pointofinterest recommendation based on the user checkin behavior[J]. Chinese Journal of Computers， 2017，40（1）：28-51.）

[19] JIANG S， QIAN X， MEI T， et al. Personalized travel sequence recommendation on multisource big social media[J]. IEEE Transactions on Big Data， 2016， 2（1）： 43-56.

[20] WANG S， WANG Y， TANG J， et al. What your images reveal： Exploiting visual contents for pointofinterest recommendation[C]// Proceedings of the 26th International Conference on World Wide Web. Geneva： International World Wide Web Conferences Steering Committee， 2017： 391-400.

[21] McAULEY J， TARGETT C， SHI Q， et al. Imagebased recommendations on styles and substitutes[C]// Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2015： 43-52.

[22] WANG Y， WANG S， TANG J， et al. Unsupervised sentiment analysis for social media images[EB/OL].[2018-06-20]. https：//ijcai.org/Proceedings/15/Papers/336.pdf.

[23] LI X， PHAM T A N， CONG G， et al. Where you instagram？： Associating your instagram photos with points of interest[C]// Proceedings of the 24th ACM International on Conference on Information and Knowledge Management. New York： ACM， 2015： 1231-1240.

[24] ZHOU D， HOFMANN T， SCH？LKOPF B. Semisupervised learning on directed graphs[EB/OL].[2018-06-20].http：//papers.nips.cc/paper/2718semisupervisedlearningondirectedgraphs.pdf.

[25] LI H， HONG R， ZHU S， et al. Pointofinterest recommender systems： a separatespace perspective[C]// Proceedings of the 2015 IEEE International Conference on Data Mining. Piscataway， NJ： IEEE， 2015： 231-240.

[26] WANG S， TANG J， WANG Y， et al. Exploring implicit hierarchical structures for recommender systems[C]// Proceedings of the 24th International Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 2015： 1813-1819.

[27] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for largescale image recognition[J/OL]. arXiv Preprint， 2014， 2014： arXiv：1409.1556 （2014-09-04）[2015-04-10]. https：//arxiv.org/abs/1409.1556.