趙巖　劉宏偉

摘 要： 推薦系統(tǒng)是信息過(guò)濾系統(tǒng)領(lǐng)域的一個(gè)重要研究方向。隨著信息技術(shù)的發(fā)展，推薦系統(tǒng)在提升用戶體驗(yàn)和增加企業(yè)效益等方面發(fā)揮著越來(lái)越重要的作用。主流的推薦系統(tǒng)大多基于矩陣分解模型和深度學(xué)習(xí)模型，近年來(lái)又提出了基于記憶網(wǎng)絡(luò)和集成學(xué)習(xí)的推薦系統(tǒng)為用戶精確地推薦物品。本文將對(duì)基于矩陣分解、基于深度學(xué)習(xí)、基于記憶網(wǎng)絡(luò)和基于集成學(xué)習(xí)的推薦系統(tǒng)進(jìn)行分析和總結(jié)，展望未來(lái)的研究方向。

關(guān)鍵詞： 推薦系統(tǒng); 矩陣分解; 神經(jīng)網(wǎng)絡(luò); 記憶網(wǎng)絡(luò); 集成學(xué)習(xí)

文章編號(hào)： 2095-2163（2021）07-0228-06中圖分類號(hào)：TP393.01文獻(xiàn)標(biāo)志碼： A

A survey on recommender systems

ZHAO Yan， LIU Hongwei

（School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China）

【Abstract】Recommender systems are an important research direction in the field of information filtering systems. With the development of information technology， recommender systems play an increasingly important role in improving user experience and increasing enterprise revenue. Most of the mainstream recommendation systems are based on matrix factorization models and deep learning models. In recent years， researchers have proposed recommender systems based on memory networks and ensemble learning to accurately recommend items for users. This paper summarizes and introduces matrix factorization based， deep learning based， memory network based， and ensemble learning-based recommender systems， and discusses future research directions.

【Key words】recommender system; matrix factorization; neural network; memory network; ensemble learning

0 引 言

隨著信息技術(shù)的飛速發(fā)展，人們?cè)谫?gòu)物和瀏覽信息方面有了更多的選擇。但眾多的選擇也讓用戶很難從中挑選出符合自己偏好的物品或信息，從而降低了用戶體驗(yàn)。根據(jù) Netflix中的數(shù)據(jù)，如果用戶無(wú)法在60～90 s內(nèi)找到自己偏好的電影，其將失去觀看電影的偏好。研究者們對(duì)推薦系統(tǒng)進(jìn)行了大量的研究和廣泛的部署，以便幫助用戶快速、準(zhǔn)確地選擇物品。

推薦系統(tǒng)是一種信息過(guò)濾系統(tǒng)[1]，通過(guò)學(xué)習(xí)和預(yù)測(cè)用戶的偏好，向用戶推薦符合用戶偏好的物品。目前，推薦系統(tǒng)在電子商務(wù)、在線觀影和社交網(wǎng)絡(luò)等許多領(lǐng)域中得到了廣泛的應(yīng)用，并為許多行業(yè)帶來(lái)了巨大的效益。以電商行業(yè)為例，推薦系統(tǒng)為淘寶購(gòu)物平臺(tái)帶來(lái)了50%的收益和網(wǎng)絡(luò)流量;為著名購(gòu)物平臺(tái)Amazon帶來(lái)了35%的銷售額。2017年，中國(guó)人工智能協(xié)會(huì)和羅蘭貝格共同發(fā)布了《中國(guó)人工智能創(chuàng)新應(yīng)用白皮書》，預(yù)計(jì)推薦系統(tǒng)將為零售業(yè)帶來(lái)約4 200億元的降本增值。另外，由清華大學(xué)全球工業(yè)研究院等在2019年發(fā)布的《工業(yè)智能白皮書》指出，推薦系統(tǒng)能夠創(chuàng)造用戶價(jià)值，具有不斷擴(kuò)散的用戶基礎(chǔ)，具有廣闊的發(fā)展空間。

推薦系統(tǒng)已經(jīng)得到了廣泛的研究和部署，其目的是通過(guò)諸如購(gòu)買等交互數(shù)據(jù)向用戶推薦物品[2]?；谕扑]機(jī)制，推薦系統(tǒng)被劃分為以下3類：（1）基于內(nèi)容的推薦系統(tǒng)[3]， （2）基于協(xié)同過(guò)濾的推薦系統(tǒng)[4]，（3）融合以上兩者的混合型推薦系統(tǒng)[5]。基于內(nèi)容的推薦系統(tǒng)通過(guò)分析用戶的畫像和物品的特征，從而為用戶做出推薦。這類推薦系統(tǒng)可以很好地解決冷啟動(dòng)問(wèn)題，但只能為用戶推薦與其交互過(guò)的物品相似物品，在推薦的多樣性方面存在一定的局限性。與之不同的是，基于協(xié)同過(guò)濾的推薦系統(tǒng)，對(duì)目標(biāo)用戶以及和目標(biāo)用戶相似的用戶歷史行為進(jìn)行分析，從而根據(jù)用戶的偏好為用戶推薦物品[6]。與基于內(nèi)容的推薦系統(tǒng)相比，這種基于協(xié)同過(guò)濾的推薦系統(tǒng)一般可以得到更為精確的推薦，并且能夠更好地應(yīng)對(duì)多種場(chǎng)景、應(yīng)用多種先進(jìn)技術(shù)，從而得到更深入的研究和更廣泛的應(yīng)用。

當(dāng)前主流基于協(xié)同過(guò)濾的推薦系統(tǒng)，大多采用矩陣分解模型和深度學(xué)習(xí)模型。這些模型通常首先學(xué)習(xí)用戶嵌入和物品嵌入，然后根據(jù)用戶嵌入和物品嵌入做出推薦。具體而言，基于矩陣分解的推薦系統(tǒng)利用線性運(yùn)算（如用戶嵌入與物品嵌入間點(diǎn)積等），從交互數(shù)據(jù)中學(xué)習(xí)用戶的偏好和物品的特征。而基于深度學(xué)習(xí)的推薦系統(tǒng)，通常采用多層神經(jīng)網(wǎng)絡(luò)以實(shí)現(xiàn)更為精確的推薦。此外，近年來(lái)也出現(xiàn)了基于記憶網(wǎng)絡(luò)和集成學(xué)習(xí)等先進(jìn)集成學(xué)習(xí)方法的推薦系統(tǒng)?；谝陨媳尘?，本文將對(duì)基于矩陣分解、基于深度學(xué)習(xí)、基于記憶網(wǎng)絡(luò)和基于集成學(xué)習(xí)的推薦系統(tǒng)做詳細(xì)的介紹和分析。

1 基于矩陣分解的推薦系統(tǒng)

本節(jié)通過(guò)兩部分介紹基于矩陣分解的推薦系統(tǒng)。即不依賴輔助信息的基于矩陣分解的推薦系統(tǒng)和依賴輔助信息的基于矩陣分解推薦系統(tǒng)，見(jiàn)表1。

1.1 不依賴輔助信息基于矩陣分解的推薦系統(tǒng)

奇異值分解（Singular Value Decomposition，SVD）[6]是一種用于矩陣分解的數(shù)學(xué)方法。受奇異值分解的啟發(fā)，Simon Funk提出了FunkSVD[7]為用戶推薦物品。FunkSVD首先將一個(gè)評(píng)分矩陣分解為兩個(gè)低階矩陣，分別包含用戶的嵌入和物品的嵌入。與原版的奇異值分解方法相比，F(xiàn)unkSVD不僅時(shí)間復(fù)雜度較低，而且可以適用于用戶與物品交互矩陣中常見(jiàn)的、具有缺失值的矩陣。之后，研究者們基于矩陣分解方法提出了更為先進(jìn)的推薦模型。

例如：Salakhutdinov提出了概率矩陣分解（Probabilistic Matrix Factorization，PMF）[8]，利用概率理論提高推薦精確度。PMF用高斯分布初始化用戶的嵌入和物品的嵌入，根據(jù)這些初始化好的嵌入學(xué)習(xí)用戶偏好和物品特征，最后用這些學(xué)習(xí)到的用戶偏好和物品特征進(jìn)行推薦。此外，文獻(xiàn)[8]中的工作將PMF擴(kuò)展為約束PMF，即假設(shè)具有相似評(píng)分物品的用戶可能具有相似的偏好。其實(shí)驗(yàn)結(jié)果表明，這種約束PMF在Netflix數(shù)據(jù)集上更加有效，表現(xiàn)良好。

此外，文獻(xiàn)[9]還在原有的矩陣分解模型中增加了偏置向量，從而在推薦時(shí)也考慮了目標(biāo)用戶和目標(biāo)物品的個(gè)性化特征。該方法首先計(jì)算了數(shù)據(jù)集的總體平均評(píng)分以及目標(biāo)用戶和目標(biāo)物品的評(píng)分偏差，然后將這3個(gè)值相加，作為矩陣分解過(guò)程的正則項(xiàng)。通過(guò)這種方法，預(yù)測(cè)的評(píng)分能夠針對(duì)目標(biāo)用戶和目標(biāo)物品進(jìn)行調(diào)整，從而達(dá)到更加準(zhǔn)確。之后，文獻(xiàn)[9-10]改進(jìn)了矩陣分解模型，使其能夠通過(guò)購(gòu)買、瀏覽和點(diǎn)擊等隱性行為為用戶推薦物品。與評(píng)分等顯性行為相比，隱性行為更常見(jiàn)，也更容易收集。因此，應(yīng)該對(duì)依靠隱性行為的推薦系統(tǒng)進(jìn)行深入研究。然而，這是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，因?yàn)殡[性行為并不能明確地反映用戶的偏好。例如，用戶可能會(huì)在觀看一個(gè)視頻后發(fā)現(xiàn)對(duì)該視頻不感興趣。為了解決這個(gè)問(wèn)題，文獻(xiàn)[10-11]都提出了加權(quán)矩陣分解模型。該模型為每個(gè)交互分配一個(gè)權(quán)重，以表示目標(biāo)用戶對(duì)目標(biāo)物品的偏好。此外，文獻(xiàn)[10]的工作還采用了負(fù)采樣（negative sampling）的方法，利用沒(méi)有觀察到的用戶-物品交互，有效地訓(xùn)練矩陣分解模型。這種負(fù)采樣的方法，有利于提高隱性行為推薦的準(zhǔn)確度，并在文獻(xiàn)[11-12]等推薦模型中被廣泛采用。

以上提到的推薦系統(tǒng)都是元素級(jí)（element-wise）推薦系統(tǒng)。即通過(guò)最小化真實(shí)標(biāo)簽或值與相應(yīng)預(yù)測(cè)值的差異訓(xùn)練推薦模型。與這些元素級(jí)推薦系統(tǒng)不同，文獻(xiàn)[13]提出了貝葉斯個(gè)性化排名方法（Bayesian Personalised Ranking，BPR）。該方法通過(guò)元組級(jí)（pair-wise）的方法學(xué)習(xí)用戶偏好，從而實(shí)現(xiàn)精準(zhǔn)推薦。該方法假設(shè)用戶對(duì)交互過(guò)的物品比對(duì)自己遺漏的物品有更多的偏好，先對(duì)<目標(biāo)用戶、交互物品、遺漏物品>的元組進(jìn)行采樣，然后通過(guò)貝葉斯優(yōu)化方法[14]，利用這些元組訓(xùn)練矩陣分解模型。訓(xùn)練目標(biāo)使得學(xué)習(xí)到的用戶，對(duì)其交互物品的偏好大于其對(duì)遺漏物品的偏好。實(shí)驗(yàn)證明，BPR對(duì)于訓(xùn)練推薦模型是有效的，但在訓(xùn)練過(guò)程中引入了更多的時(shí)間復(fù)雜性。

1.2 依賴輔助信息基于矩陣分解的推薦系統(tǒng)

雖然上述研究增強(qiáng)了矩陣分解模型學(xué)習(xí)用戶偏好和物品特征的能力，但數(shù)據(jù)稀疏性問(wèn)題一直影響著推薦的精確度。為此，一些研究者提出采用輔助信息來(lái)解決這一數(shù)據(jù)稀疏性問(wèn)題。例如，文獻(xiàn)[5]提出了一種帶有社交約束的推薦系統(tǒng)，利用用戶之間的社交網(wǎng)絡(luò)信息來(lái)提高推薦的精確度。文中假設(shè)，在社交網(wǎng)絡(luò)中具有相似歷史評(píng)分的好友用戶會(huì)對(duì)物品有相似的偏好?；谶@一假設(shè)，此工作利用用戶與其好友之間的嵌入差異的L2范數(shù)作為正則項(xiàng)，更有效地訓(xùn)練矩陣分解模型。此外，還將這些正則項(xiàng)與目標(biāo)用戶及其對(duì)應(yīng)好友的相似度相乘。通過(guò)這種方法，與目標(biāo)用戶有更多相似偏好的好友將對(duì)正則項(xiàng)做出更多貢獻(xiàn)。

除了利用相似偏好的好友的嵌入作為正則項(xiàng)之外，文獻(xiàn)[16]還利用不同偏好好友的嵌入和物品社交關(guān)系，進(jìn)一步提高推薦的精確度。文中假設(shè)，學(xué)習(xí)到的目標(biāo)用戶的嵌入和不相似好友的嵌入是多樣化的，因此應(yīng)該最大化兩者之間的差異。此外，利用物品之間的評(píng)分相似性以便表示物品之間的隱性社會(huì)關(guān)系。然后，與用戶社會(huì)關(guān)系類似，這種隱性的物品社會(huì)關(guān)系也被作為正則項(xiàng)，以便更有效地訓(xùn)練矩陣分解模型。

除社交約束外，一些推薦系統(tǒng)還加入了如用戶畫像和物品屬性等其它輔助信息。例如，文獻(xiàn)[17]提出了一種基于貝葉斯優(yōu)化的矩陣分解模型，以便較好地利用這些輔助信息。作者首先用向量表示給定的輔助信息，然后將這些向量納入到對(duì)應(yīng)用戶或物品嵌入的先驗(yàn)條件中，之后采用Gibbs采樣器，根據(jù)這些用輔助信息增強(qiáng)的嵌入進(jìn)行最終的預(yù)測(cè)。文獻(xiàn)[18]對(duì)這一方法進(jìn)行了進(jìn)一步的改進(jìn)，采用了層次結(jié)構(gòu)，可以更充分地利用輔助信息，更好地輔助推薦。

雖然經(jīng)過(guò)不斷的努力，但基于矩陣分解的推薦系統(tǒng)普遍受到線性運(yùn)算和淺層結(jié)構(gòu)的限制，因此難以準(zhǔn)確學(xué)習(xí)非線性和復(fù)雜的用戶與物品關(guān)系，對(duì)進(jìn)一步提高推薦精確度存在一定難度。

2 基于深度學(xué)習(xí)的推薦系統(tǒng)

與基于矩陣分解的推薦系統(tǒng)相比，基于深度學(xué)習(xí)的推薦系統(tǒng)更有效。這種有效性部分來(lái)自于其非線性操作、深層結(jié)構(gòu)以及適應(yīng)不同推薦場(chǎng)景的高靈活性。本文中，將介紹兩部分基于深度學(xué)習(xí)的推薦系統(tǒng)：（1）不依賴輔助信息的基于深度學(xué)習(xí)的推薦系統(tǒng);（2）依賴輔助信息的基于深度學(xué)習(xí)的推薦系統(tǒng)。

2.1 不依賴輔助信息的基于深度學(xué)習(xí)的推薦系統(tǒng)

文獻(xiàn)[19]中提出了基于自動(dòng)編碼器的推薦系統(tǒng)（AutoRec），用無(wú)監(jiān)督的自動(dòng)編碼器為用戶推薦物品。該方法給定一個(gè)評(píng)分矩陣，將行（或列）作為基于用戶（或基于物品）的自動(dòng)編碼器，輸入學(xué)習(xí)隱含狀態(tài)，然后重建這些行（或列）。通過(guò)這種方法，缺失的評(píng)分就由重構(gòu)后的行（或列）進(jìn)行預(yù)測(cè)。文獻(xiàn)[19]中的方法，證明了深度結(jié)構(gòu)有利于實(shí)現(xiàn)更高的推薦精確度。此外，該方法在文獻(xiàn)[20-21]中得到了增強(qiáng)，使其更加穩(wěn)定和有效。在此之后，研究者們提出了基于多層感知器（Multi-layer Perception，MLP） 的推薦系統(tǒng)，并取得了較好的的推薦精確度。例如，文獻(xiàn)[22]中提出了一種基于廣度和深度學(xué)習(xí)的推薦系統(tǒng)，采用多層感知器學(xué)習(xí)用戶和物品的復(fù)雜、非線性特征。此外，除了這個(gè)深層結(jié)構(gòu)外，該方法還采用了一種廣層結(jié)構(gòu)記憶原始輸入的特征，將深層結(jié)構(gòu)和廣層結(jié)構(gòu)相互融合以便相互加強(qiáng)，從而實(shí)現(xiàn)精確推薦的目的。

文獻(xiàn)[23]提出了深度矩陣分解模型（Deep Matrix Factorisation，DMF），采用雙翼多層感知器結(jié)構(gòu)，為用戶精確地推薦物品。該模型采用兩個(gè)多層感知器，分別精確地學(xué)習(xí)用戶的偏好和物品的特征。然后，將這些學(xué)習(xí)到的用戶偏好和物品特征通過(guò)余弦相似度函數(shù)進(jìn)行融合，從而預(yù)測(cè)用戶偏好和物品特征的匹配程度。通過(guò)這種方式，在更準(zhǔn)確地學(xué)習(xí)到用戶偏好和物品特征的情況下，深度矩陣分解模型有望實(shí)現(xiàn)更高的推薦精確度。

文獻(xiàn)[24]提出了神經(jīng)矩陣分解模型（Neural Matrix Factorization，NeuMF），以便進(jìn)一步提高推薦的精確度。該模型采用全連接的神經(jīng)網(wǎng)絡(luò)層，代替線性點(diǎn)積操作，以便對(duì)原有的矩陣分解模型進(jìn)行增強(qiáng)。然后，將該增強(qiáng)的矩陣分解模型的輸出向量與多層感知器模型輸出的向量進(jìn)行融合，以便更好地模擬復(fù)雜的用戶與物品關(guān)系，從而為用戶提供準(zhǔn)確的推薦。

2.2 依賴輔助信息基于深度學(xué)習(xí)的矩陣分解模型

與基于矩陣分解的推薦系統(tǒng)類似，基于深度學(xué)習(xí)的推薦系統(tǒng)也采用了輔助信息，以提高重組精確度。此外，基于深度學(xué)習(xí)的推薦系統(tǒng)靈活地構(gòu)建了多種類型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。如，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN ）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）和圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network， GNN）等，以便有效地利用不同類型的輔助信息。

例如：卷積矩陣分解（Convolutional Matrix Factorization，ConvMF）[25]，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)，利用用戶對(duì)物品的評(píng)論信息，緩解了數(shù)據(jù)稀疏性問(wèn)題，從而提高了推薦精確度。該方法首先通過(guò)卷積神經(jīng)網(wǎng)絡(luò)，將用戶對(duì)物品的評(píng)論嵌入其中，然后利用這些評(píng)論的嵌入，很好地初始化相應(yīng)物品的嵌入。最后，采用基于概率的矩陣分解模型，根據(jù)這些初始化好的物品嵌入和隨機(jī)初始化的用戶嵌入進(jìn)行推薦。

文獻(xiàn)[26]提出的深度合作神經(jīng)網(wǎng)絡(luò)（Deep Cooperative Neural Networks，DeepCoNN）利用評(píng)論信息初始化相應(yīng)用戶的嵌入，然后將這些初始化的用戶和物品的嵌入進(jìn)行串聯(lián)，再送入全連接層預(yù)測(cè)用戶對(duì)物品的偏好。與卷積矩陣分解相比，深度合作神經(jīng)網(wǎng)絡(luò)更好地利用了評(píng)論信息，以便精確地學(xué)習(xí)用戶偏好，可以實(shí)現(xiàn)更高的推薦精確度。

循環(huán)神經(jīng)網(wǎng)絡(luò)已經(jīng)被推薦系統(tǒng)廣泛地利用以便進(jìn)行精確的序列推薦。例如，文獻(xiàn)[27]提出了一種基于會(huì)話的推薦系統(tǒng)。該推薦系統(tǒng)采用循環(huán)神經(jīng)網(wǎng)絡(luò)，以便捕獲會(huì)話中物品之間的順序依賴關(guān)系。循環(huán)神經(jīng)網(wǎng)絡(luò)最初是為了學(xué)習(xí)序列數(shù)據(jù)中嵌入的特征而提出的，因此適用于從會(huì)話中的物品序列中學(xué)習(xí)其依賴性，從而實(shí)現(xiàn)基于會(huì)話的推薦。近些年來(lái)，研究者們又提出了許多其它基于循環(huán)神經(jīng)網(wǎng)絡(luò)的用于會(huì)話場(chǎng)景的推薦系統(tǒng)。

此外，研究者們也提出了基于圖神經(jīng)網(wǎng)絡(luò)的推薦系統(tǒng)，以便更有效地利用物品之間的轉(zhuǎn)換以進(jìn)一步提高基于會(huì)話的推薦的精確度。例如，文獻(xiàn)[28]中將每個(gè)會(huì)話建模為一個(gè)有向子圖，將所有子圖合成為包含所有會(huì)話信息的完整會(huì)話圖，利用門控圖神經(jīng)網(wǎng)絡(luò)捕獲物品之間的轉(zhuǎn)換和依賴關(guān)系，從而實(shí)現(xiàn)基于會(huì)話的精準(zhǔn)推薦。

3 基于記憶網(wǎng)絡(luò)的推薦系統(tǒng)

記憶網(wǎng)絡(luò)[29]是一種有效的機(jī)器學(xué)習(xí)模型。該模型最初在文獻(xiàn)[29]中提出，并在文獻(xiàn)[30]中進(jìn)一步增強(qiáng)為端到端的模型。記憶網(wǎng)絡(luò)的有效性已經(jīng)在自然語(yǔ)言處理、圖像處理和模式識(shí)別等多種領(lǐng)域得到了廣泛的驗(yàn)證。

近年來(lái)，研究者們挖掘了記憶網(wǎng)絡(luò)在用于推薦領(lǐng)域的潛力。例如文獻(xiàn)[31]設(shè)計(jì)了一種雙翼記憶網(wǎng)絡(luò)以及分級(jí)注意機(jī)制，在類似推特（Twitter）的應(yīng)用中執(zhí)行提及推薦。該工作采用了兩個(gè)記憶網(wǎng)絡(luò)分別存儲(chǔ)作者和候選用戶的推特歷史，利用一個(gè)詞級(jí)編碼器和一個(gè)句子級(jí)編碼器，分別從作者和候選用戶對(duì)應(yīng)的推特歷史中，協(xié)同嵌入作者和候選用戶的偏好。值得注意的是，這兩個(gè)編碼器都依賴于注意力機(jī)制。最后，利用學(xué)習(xí)到的用戶偏好，通過(guò)判斷哪些候選用戶與作者相匹配，以便進(jìn)行提及推薦。后來(lái)，文獻(xiàn)[32]中的工作進(jìn)一步改進(jìn)了基于記憶的提及推薦。此外，研究者們也通過(guò)記憶網(wǎng)絡(luò)，提高了針對(duì)類似推特應(yīng)用的哈希標(biāo)簽推薦的精確度。

后來(lái)，Dong等人[33]利用記憶網(wǎng)絡(luò)有效地解決了推薦中長(zhǎng)期存在的冷啟動(dòng)問(wèn)題。該工作采用了特征特定的記憶網(wǎng)絡(luò)和任務(wù)特定的記憶網(wǎng)絡(luò)，以個(gè)性化的方式，輔助初始化用戶的嵌入，并指導(dǎo)更有效的預(yù)測(cè)。通過(guò)利用特征特定記憶網(wǎng)絡(luò)，記憶現(xiàn)有用戶的資料和嵌入，可以在參考現(xiàn)有用戶嵌入的同時(shí)，根據(jù)新用戶的資料初始化其嵌入，從而更準(zhǔn)確地反映這些新用戶的偏好。至于記憶用戶快速梯度的任務(wù)特定記憶網(wǎng)絡(luò)，則是通過(guò)學(xué)習(xí)所有用戶的交互，以便較好地初始化預(yù)測(cè)參數(shù)，從而為新用戶精確地推薦物品。記憶網(wǎng)絡(luò)已被廣泛應(yīng)用于基于序列的推薦系統(tǒng)。例如，文獻(xiàn)[34]提出，先將歷史會(huì)話存儲(chǔ)在記憶網(wǎng)絡(luò)中，然后通過(guò)端到端的記憶網(wǎng)絡(luò)，利用歷史會(huì)話中的物品的偏好，對(duì)當(dāng)前的會(huì)話進(jìn)行精準(zhǔn)的推薦。

4 基于集成學(xué)習(xí)的推薦系統(tǒng)

集成學(xué)習(xí)方法融合多個(gè)獨(dú)立的機(jī)器學(xué)習(xí)模型，用來(lái)實(shí)現(xiàn)更好的學(xué)習(xí)效果。根據(jù)集成策略，集成學(xué)習(xí)可以分為4大類：Bagging、Boosting、Stacking和混合專家模型（Mixture of Experts，MoE）。近年來(lái)，研究者們提出了基于Bagging和混合專家系統(tǒng)的推薦系統(tǒng)。

Bagging的目的：是通過(guò)對(duì)多個(gè)利用采樣得到的數(shù)據(jù)訓(xùn)練過(guò)的獨(dú)立模型，對(duì)其結(jié)果取平均值。通過(guò)這種方法，Bagging生成的集成模型比任意的單獨(dú)模型有更低的偏差，從而提高學(xué)習(xí)性能。Bagging在推薦中的有效性已經(jīng)得到了驗(yàn)證。例如，文獻(xiàn)[35]提出了一種基于Bagging的矩陣分解模型，以提高推薦的精確度。該模型先對(duì)數(shù)據(jù)集中的多個(gè)訓(xùn)練數(shù)據(jù)子集進(jìn)行有放回的采樣，然后利用這些子集分別訓(xùn)練多個(gè)矩陣分解模型，最后對(duì)這些模型的預(yù)測(cè)值進(jìn)行平均，從而用于推薦。

此外，混合專家系統(tǒng)是另一種有效的集合學(xué)習(xí)方法。該方法可以通過(guò)衡量不同專家模型的權(quán)重，有選擇地融合多個(gè)專家模型，以達(dá)到更好的學(xué)習(xí)性能。一般來(lái)說(shuō)，混合專家系統(tǒng)包含3部分：

（1）多個(gè)專家模型。其中每個(gè)專家模型都是一個(gè)原子模型，專門針對(duì)特定類型的輸入數(shù)據(jù)學(xué)習(xí);

（2）門控網(wǎng)絡(luò)。用于計(jì)算反映每個(gè)專家模型關(guān)于輸入的專業(yè)程度的門控權(quán)重;

（3）融合模塊。用于通過(guò)門控權(quán)重，融合多個(gè)專家模型的輸出。

由于混合專家系統(tǒng)的有效性，已被應(yīng)用于推薦系統(tǒng)，以便實(shí)現(xiàn)更高的推薦精確度。其中，文獻(xiàn)[36]在最早的嘗試中，提出了混合專家系統(tǒng)以順序策略和聯(lián)合策略，集成不同類型的協(xié)同過(guò)濾的推薦模型。在順序策略中，前面協(xié)同過(guò)濾推薦模型的預(yù)測(cè)結(jié)果被反饋到后面的方法中，以獲得更精確的預(yù)測(cè)結(jié)果。在聯(lián)合策略中，所有的協(xié)同過(guò)濾模型，都以原始交互矩陣為輸入，通過(guò)投票獲得最終的預(yù)測(cè)結(jié)果。

最近，一些推薦系統(tǒng)更好地利用了混合專家系統(tǒng)的潛力，進(jìn)一步地提高了推薦的精確度。這些工作在面對(duì)不同類型的交互時(shí)，采用門控網(wǎng)絡(luò)為不同的專家模型，動(dòng)態(tài)地分配不同的權(quán)重。通過(guò)這種方式，每個(gè)專家模型都被訓(xùn)練成專門針對(duì)某類交互的專家，通過(guò)針對(duì)每個(gè)交互的特點(diǎn)，為相應(yīng)的專家模型分配更高的權(quán)重，為此交互做出更為精確的預(yù)測(cè)。通過(guò)這種方式，利用專家模型向用戶推薦物品有望進(jìn)一步提高推薦的精確度。

5 展望

現(xiàn)有的工作為對(duì)推薦系統(tǒng)做進(jìn)一步研究打下了堅(jiān)實(shí)的基礎(chǔ)。本節(jié)列舉了在推薦系統(tǒng)領(lǐng)域有潛力的研究方向和一些開(kāi)放問(wèn)題供讀者參考。

5.1 流式推薦系統(tǒng)

盡管推薦系統(tǒng)在改善用戶體驗(yàn)、提高企業(yè)效益等方面起到了重要作用，但是現(xiàn)有的推薦系統(tǒng)一般都需要離線訓(xùn)練，即定期使用大量歷史數(shù)據(jù)對(duì)推薦模型進(jìn)行訓(xùn)練，無(wú)法有效處理廣泛存在的數(shù)據(jù)流，也很難為用戶在流式場(chǎng)景中推薦物品。伴隨著網(wǎng)絡(luò)應(yīng)用的發(fā)展和普及，用戶與物品互動(dòng)產(chǎn)生源源不斷的數(shù)據(jù)流，近期的交互數(shù)據(jù)包含了用戶的近期偏好，因此更能準(zhǔn)確地反映出用戶當(dāng)前對(duì)物品的偏好程度。但傳統(tǒng)的離線推薦系統(tǒng)在訓(xùn)練時(shí)會(huì)出現(xiàn)延遲，不能及時(shí)學(xué)習(xí)用戶的近期偏好，從而很難對(duì)用戶進(jìn)行流式推薦。為了在流式環(huán)境中為用戶提供精確的推薦，應(yīng)該嘗試使用新的數(shù)據(jù)來(lái)對(duì)其進(jìn)行培訓(xùn)。

5.2 多行為推薦系統(tǒng)

雖然研究者們已提出多種推薦系統(tǒng)，但大多可以被稱為單行為推薦系統(tǒng)。因這些推薦系統(tǒng)利用單一行為類型（如購(gòu)買）的交互數(shù)據(jù)流為用戶推薦商品。直觀地講，在有多種行為類型（如購(gòu)買、添加到購(gòu)物車和瀏覽）的交互情況下，應(yīng)將這些多行為交互納入考慮之中，以實(shí)現(xiàn)精確的流式推薦。納入更充分的多行為交互，有利于解決長(zhǎng)期存在的數(shù)據(jù)稀疏性問(wèn)題，從而在面對(duì)多行為交互的數(shù)據(jù)流時(shí)，有助于更準(zhǔn)確的流推薦。

5.3 可解釋推薦系統(tǒng)

現(xiàn)存的推薦系統(tǒng)大多是高度不可解釋的，因此，做出可解釋的推薦是一項(xiàng)艱巨的任務(wù)。可解釋性推薦系統(tǒng)的重要意義主要有兩個(gè)方面：一是向用戶做出可解釋的預(yù)測(cè)，讓用戶理解推薦背后的因素（即為什么推薦這個(gè)物品/服務(wù)）;二是集中在對(duì)從業(yè)者的可解釋性上，探究模型參數(shù)的權(quán)重和活躍度，以了解更多關(guān)于模型的信息。

6 結(jié)束語(yǔ)

推薦系統(tǒng)在人們的日常生活中發(fā)揮了越來(lái)越重要的作用。本文對(duì)基于矩陣分解、基于深度學(xué)習(xí)、基于記憶網(wǎng)絡(luò)和基于集成學(xué)習(xí)的推薦系統(tǒng)進(jìn)行了全面的介紹。充分分析了這幾類推薦系統(tǒng)的特點(diǎn)，并對(duì)其進(jìn)行了比較。希望這篇綜述文章可以使讀者對(duì)推薦系統(tǒng)有充分的了解并且為未來(lái)的工作提供靈感。

參考文獻(xiàn)

[1]張時(shí)俊， 王永恒. 基于矩陣分解的個(gè)性化推薦系統(tǒng)研究[J]. 中文信息學(xué)報(bào)， 2017， 31（3）： 134-139.

[2]HE X， LIAO L， ZHANG H， et al. Neural collaborative filtering[C]//Proceedings of the International Conference on World Wide Web 2017，Perth：ACM， 2017： 173-182.

[3]LOPS P， DEGEMMIS M， SEMERARO G. Content-based recommender systems： State of the Art and Trends[G]//Recommender Systems Handbook. 2011： 73-105.

[4]XUE H， DAI X， ZHANG J， et al. Deep Matrix factorization models for recommender systems[C]//Proceedings of the International Joint Conference on Artificial Intelligence 2017. Melbourne：[s.n.]， 2017. 3203-3209.

[5]CHEN W，NIU Z， ZHAO X， et al. A hybrid recommendation algorithm adapted in e-learning environments[J]. World Wide Web， 2014， 17（2）： 271-284.

[6]RENDLE S， FREUDENTHALER C， GANTNER Z， et al. BPR： Bayesian personalized ranking from implicity freedback[C]// Proceeding of the conference on Uncertainty Artificial Intelligence 2009. Montreal： AUAI， 2009：452-461.

[7]SIMON F. Funksvd[EB/OL]. [2020-12-14].? https：//sifter.org/simon/journal/ 20061211.html.

[8]SALAKHUTDINOV R， MNIH A. Probabilistic matrix factorization[C]//Proceedings of the Annual Conference on Neural Information Processing Systems 2007， Vancouver：[s.n.]， 2007：1257-1264.

[9]KOREN Y， BELL R M， VOLINSKY C. Matrix factorization techniques for recommender systems[J]. Computer， 2009， 42（8）：30-37.

[10]HU Y，KOREN Y， VOLINSKY C. Collaborative filtering for implicit feedback datasets[C]//Proceedings of the International Conference on Data Mining 2008. Pisa：IEEE， 2008： 263-272.

[11]PAN R， ZHOU Y， CAO B， et al. One-class collaborative filtering [C]//Proceedings of the 8th IEEE International Conference on Data Mining 2008. Pisa：IEEE， 2008：502-511.

[12]HE X， ZHANG H， KAN M， AND CHUA T. Fast matrix factorization for online recommendation with implicit feedback [C]//Proceedings of the International Conference on Research and Development in Information Retrieval 2016. Pisa：ACM， 2016： 549-558.

[13]RENDLE S， FREUDENTHALER C， GANTNER Z， et al. BPR： Bayesian personalized ranking from implicit feedback[C]//Proceedings of the Conference on Uncertainty in Artificial Intelligence 2009. Montreal：AUAI， 2009： 452-461.

[14]SNOEK J， LAROCHELLE H， ADAMS R P. Practicalbayesian optimization of machine learning algorithms [C]//Proceedings of the Annual Conference on Neural Information Processing Systems 2012. Lake Tahoe ：[s.n.]， 2012：2960-2968.

[15]MA H， ZHOU D， LIU C， et al. Recommender systems with social regularization [C]//Proceedings of the International Conference on Web Search and Web Data Mining 2011. Hong Kong：ACM 2011：287-296.

[16]MA H. An experimental study on implicit social recommendation [C]//Proceedings of the International Special Interest Group on Research and Development in Information Retrieval 2013. Dubin：ACM， 2013：73-82.

[17]PORTEOUS I， ASUNCION A U， WELLING M. Bayesian matrix factorization with side information anddirichlet process mixtures [C]//Proceedings of Conference on Artificial Intelligence 2010. Atlanta：AAAI， 2010：256-264.

[18]PARK S， KIM Y， CHOI S. Hierarchicalbayesian matrix factorization with side information [C]//Proceedings of the International Joint Conference on Artificial Intelligence 2013. Beijing：AAAI， 2013： 593-1599.

[19]SEDHAIN S， MENON A K， SANNER S， et al. AutoRec： Autoencoders meet collaborative filtering[C/OL]//Proceedings of the International Conference on World Wide Web Companion 2015. Florence：ACM， 2015： 111-112.

[20]WU Y， DUBOIS C， ZHENG A X， et al. Collaborative denoising auto-encoders for top-N recommender systems[C/OL]//Proceedings of the International Conference on Web Search and Data Mining 2016. Shanghai：ACM， 2016： 153-162.

[21]GUPTA K，RAGHUPRASAD M Y， KUMAR P. A hybrid variational autoencoder for collaborative filtering[J/OL]. CoRR， 2018， abs/1808.01006.

[22]CHENG H，KOC L， HARMSEN J， et al. Wide & deep learning for recommender systems[C/OL]//Proceedings of the 1st Workshop on Deep Learning for Recommender Systems. 2016： 7-10.

[23]XUE H， DAI X， ZHANG J， et al. Deep matrix factorization models for recommender systems[C/OL]//Proceedings of the International Joint Conference on Artificial Intelligence 2017. Melbourne：AAAI， 2017. 3203-3209.

[24]HE X， LIAO L， ZHANG H， et al. Neural collaborative filtering[C/OL]//Proceedings of the International Conference on World Wide Web 2017. Perth：[s.n.]， 2017： 173-182.

[25]KIM D H， PARK C， OH J， et al. Convolutional matrix factorization for document context-aware recommendation[C/OL]//Proceedings of the Conference on Recommender Systems. 2016. Boston：ACM， 2016： 233-240.

[26]ZHENG L，NOROOZI V， YU P S. Joint Deep Modeling of users and items using reviews for recommendation[C/OL]//Proceedings of the International Conference on Web Search and Data Mining 2017. Cambridge：ACM， 2017： 425-434.

[27]HIDASI B， KARATZOGLOU A， BALTRUNAS L， et al. Session-based recommendations with recurrent neural networks[C/OL]//Proceedings of the International Conference on Learning Representations 2016. [S.l.]：San Juan， 2016.

[28]WU S， TANG Y， ZHU Y， et al. Session-based recommendation with graph neural networks[C/OL]//Proceedings of the Conference on Artificial Intelligence 2019. Honolulu：AAAI， 2019： 346-353.

[29]WESTON J， CHOPRA S，BORDES A. Memory networks[C/OL]//Proceedings of the International Conference on Learning Representations 2015. San Diego：[s.n.]， 2015：115-126.

[30]SUKHBAATAR S，SZLAM A， WESTON J， et al. End-to-end memory networks[C/OL]//Proceedings of the International Conference on Neural Information Processing Systems 2015. Montreal：[s.n.]， 2015： 2440-2448.

[31]HUANG H， ZHANG Q， HUANG X. Mention recommendation for Twitter with end-to-end memory network[C/OL]//Proceedings of the International Joint Conference on Artificial Intelligence 2017. Melbourne：AAAI， 2017： 1872-1878.

[32]MA R， ZHANG Q， WANG J， et al. Mention recommendation for multimodal microblog with cross-attention memory network[C/OL]//Proceedings of the Special Interest Group on Research & Development in Information Retrieval 2018. AnnArbor：ACM， 2018： 195-204.

[33]DONG M， YUAN F， YAO L， et al. MAMO： Memory-augmented meta-optimization for cold-start recommendation[C/OL]//Proceedings of the Special Interest Group on Knowledge Discovery and Data Mining， Virtual Event 2020， SanDiego：ACM， 2020： 688-697.

[34]GLIGORIJEVIC D， GLIGORIJEVIC J， RAGHUVEER A， et al. Modeling mobile user actions for purchase recommendation using deep memory networks[C/OL]//Proceedings of the Special Interest Group on Research & Development in Information Retrieval 2018. Ann Arbor：ACM， 2018： 1021-1024.

[35]JI K， YUAN Y， SUN R， et al. A Bagging-based ensemble method for recommendations under uncertain rating data[C/OL]//Proceedings of the International Conference on Security， Pattern Analysis， and Cybernetics 2018. Jinan：IEEE， 2018： 446-450.

[36]LE B T， DIENG-KUNTZ R A. Graph-based algorithm for alignment of OWL ontolongies[C/OL]//Proceedings of the International Conference on Web Intelligence 2007. Silicon Valley： IEEE， 2007. 466-469

作者簡(jiǎn)介： 趙 巖（ 1991-） ，男，博士研究生，主要研究方向：推薦系統(tǒng)、人工智能、云計(jì)算; 劉宏偉（1971-），男，博士，教授，博士生導(dǎo)師，主要研究方向：容錯(cuò)計(jì)算、移動(dòng)計(jì)算、云計(jì)算。

收稿日期： 2021-03-24