多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型

摘 要：跨域推薦的關(guān)鍵在于如何有效的將用戶特征從源域映射到目標(biāo)域。以往的研究更關(guān)注用戶特征的映射，忽略了映射前后用戶特征的相似度以及物品特征映射的可能性；同時也只關(guān)注單一任務(wù)。因此針對以上問題提出了一種多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型（MTFMN）。該模型引入了用戶特征映射網(wǎng)絡(luò)，將用戶在源域的特征映射到目標(biāo)域，同時還引入了物品特征映射網(wǎng)絡(luò)來輔助用戶特征映射網(wǎng)絡(luò)的學(xué)習(xí)；并在網(wǎng)絡(luò)學(xué)習(xí)過程中使用歐氏距離來衡量映射前后用戶和物品特征的相似度，以此作為網(wǎng)絡(luò)學(xué)習(xí)過程中的一個優(yōu)化策略；最后，利用映射后的用戶特征和目標(biāo)域上實際的物品特征完成偏好預(yù)測任務(wù)和評分預(yù)測任務(wù)。在Amazon數(shù)據(jù)集和豆瓣數(shù)據(jù)集上，MTFMN在評分預(yù)測任務(wù)的準(zhǔn)確性上與主流模型相比有顯著的提升。除此之外，模型還做了消融研究以證明模型中提出的物品特征映射網(wǎng)絡(luò)和多任務(wù)優(yōu)化策略的有效性。

關(guān)鍵詞：推薦系統(tǒng)；跨域推薦；冷啟動；數(shù)據(jù)挖掘；深度學(xué)習(xí)

DOI：10.15938/j.jhust.2024.04.002

中圖分類號： TP183

文獻(xiàn)標(biāo)志碼： A

文章編號： 1007-2683（2024）04-0010-11

Multitask Features Mapping Network Model

for Cross-domain Recommendation

AN Qiuyu^1，2， YU Yan^1，2， XIONG Xi^1，2

（1.School of Cybersecurity， Chengdu University of Information Technology， Chengdu 610225， China；

2.Advanced Cryptography and System Security Key Laboratory of Sichuan Province， Chengdu 610225， China）

Abstract：The key to cross-domain recommendation is how to effectively map user features from source domain to target domain. Previous studies focused more on mapping user features， ignored the similarity between user features and actual features after mapping and the possibility of item features mapping; it also only focused on a single task. Therefore， a multitask features mapping network model for cross-domain recommendation （MTFMN） is proposed to address the above issues. The model first introduces a user features mapping network， which can map the user features from source domain to target domain. It also introduces an item features mapping network to assist the learning of the user features mapping network. In the process of optimizing， Euclidean distance is used to measure the similarity between user and item features before and after mapping， as an optimization strategy in the process of training. Finally， preference prediction task and rating prediction task are performed on the user features obtained through user features mapping network and the actual item features in target domain. On the Amazon datasets and Douban datasets， MTFMN has significantly improved the accuracy of rating prediction tasks compared to mainstream models. In addition， the model also conducts ablation studies to prove the effectiveness of the item features mapping network and multitask optimization strategy proposed in the model.

Keywords：recommendation system; cross-domain recommendation; cold start; data mining; deep learning

0 引 言

在信息爆炸的時代，推薦系統(tǒng)可以從海量數(shù)據(jù)中為用戶挑選用戶最有可能感興趣的內(nèi)容。媒體、電商、社交網(wǎng)絡(luò)每天都會有數(shù)以萬計的內(nèi)容發(fā)布，這使得用戶很難精確找到感興趣的內(nèi)容。用戶的交互行為可以代表用戶的興趣偏好，良好的興趣偏好構(gòu)建可以推高推薦準(zhǔn)確率，這也促進(jìn)了推薦系統(tǒng)的發(fā)展：精準(zhǔn)分析和建模用戶的興趣偏好，然后從海量候選物品中選擇用戶最有可能感興趣的內(nèi)容向用戶推薦。

數(shù)據(jù)稀疏性和冷啟動問題是長期限制推薦系統(tǒng)發(fā)展的兩大阻礙。數(shù)據(jù)稀疏性是指用戶在目標(biāo)域中的交互行為很少，很難挖掘用戶的興趣偏好，從而難以為用戶提供個性化推薦；冷啟動問題是指新用戶加入時沒有任何交互行為，無法了解用戶的興趣偏好，無法為其推薦個性化內(nèi)容。因此，數(shù)據(jù)稀疏性和冷啟動問題都是因為缺少用戶交互行為而產(chǎn)生的推薦難題。研究表明，用戶在不同領(lǐng)域的興趣偏好往往是相似的^［1］。例如電影域和圖書域中，喜好愛情電影的用戶也喜歡言情小說的可能性很大。因此利用從一個域（源域）中收集到的信息為用戶在另一個域（目標(biāo)域）進(jìn)行推薦，一定程度上可以緩解數(shù)據(jù)稀疏性和冷啟動問題。

基于上述思想，跨域推薦近幾年受到了廣泛的研究和關(guān)注。與傳統(tǒng)的推薦系統(tǒng)相比，跨域推薦更加復(fù)雜。傳統(tǒng)的推薦系統(tǒng)只需要考慮如何從單一域上的用戶歷史交互行為中建模用戶興趣偏好，而對于跨域推薦，除了在域內(nèi)建模用戶興趣偏好之外，還需要考慮如何在域間傳遞特征（即用戶特征映射）。因此跨域推薦的核心任務(wù)就是兩個相關(guān)領(lǐng)域之間的用戶偏好映射^［2-5］，現(xiàn)有的DTCDR^［6］、EMCDR^［7］就是將源域上的用戶特征經(jīng)過線性映射得到用戶在目標(biāo)域上的特征。

然而，現(xiàn)有跨域推薦局限于關(guān)注用戶特征從源域映射到目標(biāo)域，沒有考慮映射之后用戶特征與實際特征的相似度，忽略了物品特征映射的可能性，任務(wù)單一，只通過評分預(yù)測任務(wù)來優(yōu)化模型。為了消除傳統(tǒng)跨域推薦的局限性，本文認(rèn)為考慮物品特征映射的潛在可能性，并且對映射前后的用戶和物品特征做相似度計算，以及引入用戶對物品情感偏好預(yù)測任務(wù)是至關(guān)重要的，因此本文提出了多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型MTFMN。

具體來說：①模型引入用戶特征映射網(wǎng)絡(luò)，將用戶在源域的特征映射到目標(biāo)域；除此之外，引入了物品特征映射網(wǎng)絡(luò)，將用戶在源域交互過的物品特征映射到目標(biāo)域，用于輔助用戶特征映射網(wǎng)絡(luò)的學(xué)習(xí)。②用戶特征映射網(wǎng)絡(luò)和物品特征映射網(wǎng)絡(luò)的學(xué)習(xí)過程中，引入歐氏距離來衡量映射前后用戶和物品特征的相似度，以此作為網(wǎng)絡(luò)學(xué)習(xí)過程中的一個優(yōu)化策略。③利用映射后的用戶特征和目標(biāo)域上實際的物品特征完成偏好預(yù)測任務(wù)和評分預(yù)測任務(wù)。模型還做了消融研究，以證明模型中提出的物品特征映射網(wǎng)絡(luò)和多任務(wù)優(yōu)化策略的有效性。

本文貢獻(xiàn)如下：

1）提出了物品特征映射網(wǎng)絡(luò)，在多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型中輔助用戶特征映射網(wǎng)絡(luò)的學(xué)習(xí)。

2）提出了特征映射前后相似度對比的優(yōu)化策略。

3）提出了多任務(wù)學(xué)習(xí)優(yōu)化策略。

4）在本文所用數(shù)據(jù)集中的3個跨域推薦場景下，實驗結(jié)果表明，本文提出的MTFMN在評分預(yù)測任務(wù)的準(zhǔn)確性上較主流模型有顯著的提升。

1 相關(guān)工作

1.1 基于共享實體表示的跨域推薦模型

這一類模型適用于多目標(biāo)域的跨域推薦，且不同的領(lǐng)域之間存在相似性很高的重疊用戶或重疊物品（重疊實體）。該類模型通過共享或結(jié)合重疊實體在不同領(lǐng)域間的特征來融合不同領(lǐng)域的信息，建立領(lǐng)域之間的聯(lián)系，同時提高多個領(lǐng)域的推薦效果^［1］。

代表模型如DTCDR。對于域上的用戶和物品，結(jié)合層通過組合特征的方式來組合重疊用戶的相關(guān)信息，使其最大可能保留多個領(lǐng)域上的顯著特征，并將其共享給針對兩個域的推薦模型。GA-DTCDR^［8］基于圖嵌入對DTCDR進(jìn)行了改進(jìn)。該方法為每個領(lǐng)域的實體構(gòu)建了一個無向異構(gòu)圖，得到異構(gòu)圖之后，根據(jù)Node2vec生成每個實體的圖嵌入；在結(jié)合層中使用element-wise attention機(jī)制將重疊實體的表示進(jìn)行結(jié)合得到最終的表示，然后進(jìn)入預(yù)測層預(yù)測。MV-DNN^［9］方法可以看作是DSSM^［10］雙塔模型的擴(kuò)展。通過用戶特征和物品特征生成初始的特征向量，將不同域的物品作為數(shù)據(jù)的不同視圖輸入，用戶作為數(shù)據(jù)的主視圖輸入，其中所有視圖共享相同的MLP結(jié)構(gòu)，但不共享網(wǎng)絡(luò)參數(shù)。每個物品視圖通過MLP獲得最終的表示向量，然后與用戶視圖的結(jié)果計算余弦相似度進(jìn)行預(yù)測。DDTCDR^［11］利用重疊用戶，使用深度雙向遷移學(xué)習(xí)機(jī)制來學(xué)習(xí)用戶興趣遷移，再使用跨域的隱式正交映射來保持用戶在不同偏好的相似度，并且可以更有效地計算逆映射。

然而基于共享實體的跨域推薦模型存在數(shù)據(jù)不平衡問題。當(dāng)不同領(lǐng)域的數(shù)據(jù)集大小不平衡時，共享實體的表示效果就會受到影響，數(shù)據(jù)不平衡可能會導(dǎo)致模型在較小數(shù)據(jù)集上性能不佳；并且基于共享實體的跨域推薦模型需要很有效的實體對齊方法來確保不同領(lǐng)域上的實體能映射到相似的向量空間中。

1.2 基于域間映射的跨域推薦模型

這一類模型適用于存在多個數(shù)據(jù)較為充足的源域，以及數(shù)據(jù)較為稀疏的目標(biāo)域。該類模型關(guān)注不同領(lǐng)域間的重疊實體^［1］，但與基于共享實體表示的跨域推薦模型不同，基于域間映射的模型是通過重疊實體學(xué)習(xí)一個映射函數(shù)，通過該映射函數(shù)來建立領(lǐng)域之間的關(guān)系。當(dāng)一個用戶在源域上是活躍用戶，在目標(biāo)域上是冷啟動用戶時，就可以通過該映射函數(shù)得到用戶在目標(biāo)域上的特征表示。

EMCDR^［7］是第一個域間映射的模型。其對每個領(lǐng)域的評分矩陣進(jìn)行矩陣分解得到領(lǐng)域內(nèi)每個用戶和物品的特征表示，然后利用重疊實體訓(xùn)練一個映射函數(shù)，使得映射之后的用戶表示接近于目標(biāo)域上的用戶表示^［12］。TMCDR^［13］將跨域推薦分為了Transfer階段和Meta階段。Transfer階段使用所有的實體在源域和目標(biāo)域上進(jìn)行預(yù)訓(xùn)練，得到源域和目標(biāo)域上用戶和物品的特征表示，Meta階段借鑒了元學(xué)習(xí)的思想，并提出了一種面向任務(wù)的優(yōu)化方法，直接使用任務(wù)標(biāo)簽來優(yōu)化元網(wǎng)絡(luò)，即通過得分/排序的方式做訓(xùn)練。DCDCSR^［14］學(xué)習(xí)的是從目標(biāo)域到標(biāo)準(zhǔn)域的映射函數(shù)。標(biāo)準(zhǔn)域即通過矩陣稀疏度將源域和目標(biāo)域融合到一起的特征空間。特征空間被認(rèn)為是融合了多個領(lǐng)域信息的一般化的標(biāo)準(zhǔn)領(lǐng)域。DCDSCR同樣是利用重疊實體來學(xué)習(xí)映射函數(shù)，之后利用該函數(shù)將多個領(lǐng)域的用戶特征映射到標(biāo)準(zhǔn)領(lǐng)域進(jìn)行推薦。PTUPCDR^［15］學(xué)習(xí)一個元網(wǎng)絡(luò)，用戶在源域上的特征表示作為輸入，并為每個用戶生成個性化的特征映射橋。DCDIR^［16］在構(gòu)建的知識圖譜上設(shè)計了一種基于元路徑的方法。在源域中，模型使用門控循環(huán)單元（GRU）來模擬用戶的動態(tài)興趣。在獲得兩個域間重疊用戶的隱特征后，利用MLP學(xué)習(xí)兩個域之間的特征映射函數(shù)。SSCDR^［17］認(rèn)為基于映射的模型中，映射函數(shù)的好壞受重疊實體比例的影響很大，現(xiàn)實中往往這個重疊比例是很小的，可能會導(dǎo)致映射函數(shù)的學(xué)習(xí)不充分，泛化能力弱。而該模型通過設(shè)計無監(jiān)督損失函數(shù)，將整個模型轉(zhuǎn)化為半監(jiān)督學(xué)習(xí)過程，從而可以利用領(lǐng)域內(nèi)豐富的非重疊實體數(shù)據(jù)，使得學(xué)習(xí)得到的映射函數(shù)魯棒性更強，從而提高推薦性能。

由于基于域間映射的跨域推薦模型需要處理來自不同域的數(shù)據(jù)，當(dāng)源域和目標(biāo)域的數(shù)據(jù)都很稀疏時，會降低模型的性能；并且需要大量的數(shù)據(jù)和計算資源來訓(xùn)練映射模型，對于關(guān)聯(lián)性較弱的兩個域，也可能會導(dǎo)致模型性能下降；此外大多數(shù)基于域間映射的跨域推薦模型在訓(xùn)練優(yōu)化階段任務(wù)單一，并且只關(guān)注用戶特征映射，忽略了物品特征映射的可能性。

2 問題定義

使用Ds和Dt分別表示源域和目標(biāo)域。源域上的用戶集合為Us={us1，us2，…，usm}，用戶usi∈Us的特征為k維的向量usi_emb，物品集合為Is={is1，is2，…，isn}，物品isi∈Is的特征為k維的向量isi_emb；目標(biāo)域上的用戶集合為Ut={ut1，ut2，…，utp}，用戶uti∈Ut的特征為k維的向量uti_emb，物品集合It={it1，it2，…，itq}，物品iti∈It的特征為k維的向量iti_emb。如表1所示。

用戶u∈Us在源域的交互記錄為Hs={i1，i2，…}，其中ii∈Is；用戶u∈Ut在目標(biāo)域的交互記錄為Ht={i1，i2，…}，其中ii∈It。u對于H中每一個交互過的物品都有對應(yīng)的0到5分的評分和評論信息，評分集合為R={r1，r2，…}，評論集合為C={c1，c2，…}，如果評分在3分及以上，則視為用戶對該物品的情感偏好是正向的，即pi=1，否則pi=0，情感偏好集合為P={p1，p2，…}。

Uo表示重疊用戶，即在Ds和Dt上都有交互記錄的用戶，Ucs表示冷啟動用戶，即在Ds上有交互記錄，在Dt上沒有交互記錄的用戶。對于一個給定的冷啟動用戶u∈Ucs，最終目標(biāo)是預(yù)測u對于Dt上的物品i∈It的評分u，i：

u←i=maxi∈ItMTFMN（u，i）（1）

3 多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型

3.1 模型結(jié)構(gòu)

本節(jié)詳細(xì)介紹了多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型。如圖1所示，模型分為了3個部分：①特征提取階段：使用卷積神經(jīng)網(wǎng)絡(luò)從用戶評論中提取用戶特征，使用谷歌預(yù)訓(xùn)練詞向量模型對物品特征進(jìn)行編碼；②特征映射階段：用戶特征映射網(wǎng)絡(luò)將用戶在源域的特征映射到目標(biāo)域，物品特征映射網(wǎng)絡(luò)將用戶在源域交互過的物品特征映射到目標(biāo)域；③多任務(wù)訓(xùn)練優(yōu)化階段：這一階段將完成用戶特征映射差值最小化，物品特征映射差值最小化，偏好預(yù)測和評分預(yù)測4個任務(wù)，通過這4個任務(wù)來完成整個模型的訓(xùn)練優(yōu)化。

3.2 用戶特征提取

給定用戶在源域或目標(biāo)域上的所有交互記錄H={i1，i2，…}，為了捕獲用戶對于當(dāng)前域上物品的全局偏好，使用了卷積操作，用n個卷積窗口大小為s的卷積濾波器來提取用戶特征，最后得到一個k維度的向量來表示用戶特征，即usi_emb或uti_emb。

3.3 特征映射

用戶特征映射網(wǎng)絡(luò)（user mapping network）和物品特征映射網(wǎng)絡(luò)（item mapping network）均使用MLP作為基本結(jié)構(gòu)。采用MLP作為基本結(jié)構(gòu)具有以下優(yōu)點：首先，輸入特征和輸出特征的維度一致，MLP可以很好的捕獲需要映射的特征；其次，MLP是一種非線性的變換，比一般的線性映射更靈活，最后，MLP具有非常強的自適應(yīng)學(xué)習(xí)能力。為了更好更快地學(xué)習(xí)輸入到輸出的映射關(guān)系，加快網(wǎng)絡(luò)訓(xùn)練速度，提高網(wǎng)絡(luò)的泛化能力，使用了激活函數(shù)prelu。prelu激活函數(shù)可以自適應(yīng)地學(xué)習(xí)矯正線性單元的參數(shù)，提高模型準(zhǔn)確率，并且在訓(xùn)練過程中降低模型過擬合的風(fēng)險，具體如下：

1）prelu激活函數(shù)

prelu（xi）=xiif xigt;0

aixiif xi≤0（2）

2）用戶特征映射網(wǎng)絡(luò)

usi_map_emb=prelu（usi_embWuser+buser）（3）

其中：usi_emb為源域上的用戶特征；usi_map_emb為該用戶映射后的特征。

3）物品特征映射網(wǎng)絡(luò)

isi_map_emb=prelu（isi_embWitem+bitem）（4）

其中：isi_emb為源域上的物品特征；isi_map_emb為該物品映射后的特征。

3.4 多任務(wù)優(yōu)化

所有任務(wù)均使用重疊用戶的數(shù)據(jù)（重疊用戶數(shù)量為k）。

1）任務(wù)一：用戶特征映射差值最小化任務(wù)。首先通過用戶特征映射網(wǎng)絡(luò)將重疊用戶在源域的用戶特征映射到目標(biāo)域：

usi_map_emb=prelu（usi_embWuser+buser）（5）

其中：usi_emb為重疊用戶在源域上的特征；usi_map_emb為該用戶映射后的特征。然后計算所有重疊用戶映射后的特征與該用戶在目標(biāo)域的特征的歐式距離之和，作為任務(wù)一的損失值：

Ltask1=min∑ki=1dist（usi_map_emb，uti_emb）（6）

其中：usi_map_emb為重疊用戶映射后的特征；uti_emb為該用戶在目標(biāo)域上的用戶特征；dist為歐式距離計算公式。假設(shè)X和Y分別為k維度的向量，則X和Y的歐式距離計算公式如下：

dist（X，Y）=∑ki=1（xi－yi）2（7）

2）任務(wù)二：物品特征映射差值最小化。首先通過物品特征映射網(wǎng)絡(luò)將重疊用戶在源域交互過的物品的特征映射到目標(biāo)域：

isi_map_emb=prelu（isi_embWitem+bitem）（8）

其中：isi_emb為源域上的物品特征；isi_map_emb為該物品映射后的特征。然后對所有物品映射后的特征做池化操作：

imap_emb=pooling（is1_map_emb，is2_map_emb，…）（9）

式中：pooling為平均池化，使用平均池化是為了使得物品特征不受個別物品特征的影響，同時也使得物品特征映射差值最小化任務(wù)更具可解釋性。然后對該用戶在目標(biāo)域上交互物品的特征做平均池化操作：

iemb=pooling（it1_emb，it2_emb，…）（10）

計算所有重疊用戶的imap_emb與iemb的歐式距離之和，作為任務(wù)二的損失值：

Ltask2=min∑ki=1dist（imap_emb，iemb）（11）

3）任務(wù)三：偏好預(yù)測任務(wù)。

首先將重疊用戶映射后的特征usi_emb與其在目標(biāo)域交互物品的特征iti_emb輸入到preference predict層，預(yù)測用戶對物品的偏好u，i，用戶對物品的真實偏好為pu，i。u，i與pu，i的二分類交叉熵?fù)p失函數(shù)記作J（pu，i，u，i）：

J（pu，i，u，i）=pu，ilgu，i+（1－pu，i）lg（1－u，i）（12）

然后計算所有重疊用戶的結(jié)果，作為任務(wù)三的損失值：

Ltask3=∑u∈UoJ（pu，i，u，i）（13）

4）任務(wù)四：評分預(yù)測任務(wù)。

首先將重疊用戶映射后的特征usi_emb與該用戶在目標(biāo)域交互物品的特征iti_emb輸入到affine predict層，預(yù)測用戶對物品的評分R^u，i，用戶對物品的真實評分為Ru，i。R^u，i與Ru，i的均方誤差損失函數(shù)記作K（Ru，i，R^u，i）：

K（Ru，i，R^u，i）=（Ru，i－R^u，i）2（14）

然后計算所有重疊用戶的結(jié)果，作為任務(wù)四的損失值：

Ltask4=∑u∈UoK（Ru，i，R^u，i）（15）

3.5 優(yōu)化策略

訓(xùn)練階段均使用重疊用戶Uo的數(shù)據(jù)進(jìn)行。將4個任務(wù)的損失值相加作為整個模型優(yōu)化過程中的損失值：

L=Ltask1+Ltask2+Ltask3+Ltask4（16）

模型采用Adam優(yōu)化器自適應(yīng)調(diào)整每個任務(wù)中參數(shù)的學(xué)習(xí)率來提高優(yōu)化效果。

4 實 驗

在本節(jié)中，本文將使用Amazon數(shù)據(jù)集和豆瓣數(shù)據(jù)集來評估模型性能，目的是回答以下問題：

1）本文提出的模型和已有的主流跨域推薦模型相比表現(xiàn)如何？

2）模型中關(guān)鍵組件對模型性能有何影響？

4.1 數(shù)據(jù)集

本文使用了Amazon數(shù)據(jù)集和豆瓣數(shù)據(jù)集來評估模型性能。選取了兩個數(shù)據(jù)集里3個最大的域中的數(shù)據(jù)，分別是Book，Movie和Music。數(shù)據(jù)集中各個域的統(tǒng)計信息如表2所示。對于每個域上的重疊用戶，隨機(jī)抽取50%作為冷啟動用戶，即這部分用戶在目標(biāo)域上的任何信息對于整個模型來說是不可見的，僅用于測試；剩余的50%用于訓(xùn)練，并且為了模擬出不同比例的重疊用戶，在這50%的重疊用戶中按照比例φ∈{100%，50%，20%，10%，5%}隨機(jī)抽取數(shù)據(jù)構(gòu)建數(shù)據(jù)集^［17］?？缬蛲扑]場景及重疊用戶數(shù)據(jù)統(tǒng)計如表3所示，其中ratio為重疊用戶在源域和目標(biāo)域中所占比例。

4.2 對比模型

本文使用以下模型和MTFMN進(jìn)行對比。

EMCDR^［7］：首次提出了跨域推薦三步優(yōu)化范式，即首先利用矩陣分解得到源域和目標(biāo)域上用戶和物品的隱向量，再學(xué)習(xí)隱向量從源域到目標(biāo)域的映射，最后進(jìn)行跨域推薦。

CMF^［2］：提出了一個聯(lián)合矩陣因子分解模型，當(dāng)一個實體參與多個關(guān)系時，同時對多個矩陣進(jìn)行因子分解，在因子之間共享參數(shù)。從而實現(xiàn)跨域推薦。

CDLFM^［19］：基于用戶的評分行為，融合了3種用戶相似度衡量標(biāo)準(zhǔn)作為正則化參數(shù)來完成矩陣分解。通過考慮相似用戶和基于梯度增強樹的集成學(xué)習(xí)方法，使用基于鄰域映射方法來替代多層感知機(jī)。

DFM^［20］：是RC-DFM的簡易版，其利用aSDAE^［21］從評分矩陣中生成用戶表示，再使用多層感知機(jī)進(jìn)行映射。

R-DFM^［20］：是RC-DFM的另一種變形。其利用aSDAE^［21］將評分矩陣和評論信息結(jié)合，生成用戶表示，再使用多層感知機(jī)進(jìn)行映射。

ANR^［22］：一種單領(lǐng)域基于用戶評論的推薦方法。

4.3 實驗設(shè)置

本文對所有的用戶數(shù)據(jù)和物品數(shù)據(jù)進(jìn)行了預(yù)處理，過濾掉交互次數(shù)小于10次的用戶和被交互次數(shù)小于30次的物品^［23］；從用戶評論信息中抽取用戶特征時，過濾掉了英文停用詞，為了提高抽取特征的準(zhǔn)確性，對一些錯誤的單詞進(jìn)行了糾正，并且設(shè)置了評論信息的最大長度為500，對長度大于500的評論信息進(jìn)行了截斷；進(jìn)行卷積操作時，使用了50個卷積窗口大小為3的卷積濾波器來提取用戶特征；使用谷歌預(yù)訓(xùn)練詞向量模型^［24］對物品特征進(jìn)行編碼（物品描述，物品類別，物品標(biāo)題）。最后編碼完成的用戶特征和物品特征維度為128；整個模型訓(xùn)練優(yōu)化過程中，設(shè)置學(xué)習(xí)率為0.001，每個跨域場景訓(xùn)練50輪。最后采用MSE來評估模型的性能，MSE被廣泛用于推薦系統(tǒng)的評估^［22-27］：

MSE=1|O|∑（u，i）∈O（ru，i－u，i）2（17）

其中，O為從重疊用戶中隨機(jī)抽取50%作為冷啟動用戶的測試集，用于驗證模型性能。

5 推薦性能對比

本節(jié)總結(jié)了所有模型在兩個數(shù)據(jù)集中不同推薦場景下的性能，如表4、表5、圖2、圖3所示。根據(jù)實驗結(jié)果，得出如下結(jié)論：①在Amazon數(shù)據(jù)集上，MTFMN相較于性能最優(yōu)的ANR，在場景1和場景2下MSE分別平均降低了約2.5%和1.8%，盡管ANR是單領(lǐng)域上基于用戶評論的推薦模型，但實驗結(jié)果證明了跨域推薦場景中引入用戶評論來建模用戶特征表示的有效性；CMF在所有場景下性能最差，MTFMN相較于CMF在3個場景下MSE分別平均降低了約6%、4.2%、2.6%，證明了CMF僅僅通過聯(lián)合矩陣因子分解來建立共享實體表示是不足以提升模型性能的；R-DFM結(jié)合了用戶評分和評論信息來建模用戶特征表示，與只利用用戶評分矩陣來建模用戶特征表示的EMCDR和DFM相比，MSE均有所下降，因此本文提出的MTFMN借鑒了R-DFM中建模用戶特征表示的方法，并基于此構(gòu)建物品特征表示，提出了物品特征轉(zhuǎn)移網(wǎng)絡(luò)。與R-DFM相比，在場景1和場景2下MSE分別平均下降了約3.6%和2%，進(jìn)一步證明了利用用戶評分和評論信息來構(gòu)建用戶特征表示的有效性，同時證明了本文提出的物品特征映射網(wǎng)絡(luò)中構(gòu)建物品特征方法的有效性。②在豆瓣數(shù)據(jù)集上，MTFMN相較于對比模型中最優(yōu)的R-DFM和性能最差的CDLFM，在3個場景下MSE分別平均下降了約0.2%和2%、0.21%和3.1%、0.3%和2.2%。

通過以上實驗結(jié)果證明了模型中提出的物品特征映射網(wǎng)絡(luò)和多任務(wù)優(yōu)化策略的有效性。

6 消融研究

為了證明物品特征映射網(wǎng)絡(luò)和多任務(wù)優(yōu)化策略對整個模型性能的影響，本文提出了MTFMN的兩個變體，并且在Amazon數(shù)據(jù)集上做了消融研究。

1）MTFMN-1：該變體僅對用戶特征進(jìn)行映射，刪除了模型結(jié)構(gòu)中的物品特征映射網(wǎng)絡(luò)；多任務(wù)訓(xùn)練優(yōu)化階段只完成用戶特征映射差值最小化任務(wù)。提出該變體的目的是為了驗證物品特征映射網(wǎng)絡(luò)以及多任務(wù)訓(xùn)練優(yōu)化階段中物品特征映射差值最小化任務(wù)對整個模型是有積極影響的。

2）MTFMN-2：該變體在整個模型訓(xùn)練優(yōu)化階段只通過預(yù)測用戶對物品的評分來完成模型的優(yōu)化。目的是為了驗證多任務(wù)訓(xùn)練優(yōu)化對整個模型是有積極影響的。

消融研究結(jié)果如表6、圖4所示。MTFMN-1在把不同比例的重疊用戶作為測試集的情況下，3個場景下的MSE分別平均提升了約14%、10%、24%，表明其性能顯著低于MTFMN，證明了物品特征映射網(wǎng)絡(luò)的有效性；MTFMN-2在把不同比例的重疊用戶作為測試集的情況下，3個場景下的MSE分別平均提升了約4.8%、5.3%、16%，表明其性能顯著低于MTFMN，證明了對映射前后的特征做映射差值最小化任務(wù)以及加入偏好預(yù)測任務(wù)對整個模型的有效性。消融研究結(jié)果證明了模型中提出的物品特征映射網(wǎng)絡(luò)和多任務(wù)優(yōu)化策略對整個模型有正向影響。

7 結(jié)論與展望

本文提出了一種多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型MTFMN，重點是引入了物品特征映射網(wǎng)絡(luò)來輔助用戶特征映射網(wǎng)絡(luò)的訓(xùn)練優(yōu)化。相比于傳統(tǒng)的跨域推薦任務(wù)，本模型加入了特征映射差值最小化任務(wù)和偏好預(yù)測任務(wù)，并通過消融研究證明了物品特征映射網(wǎng)絡(luò)和多任務(wù)優(yōu)化策略的有效性。下一步將考慮在以下幾個方面展開研究：①用戶偏好演化建模：用戶偏好是動態(tài)變化的，跨域推薦需要能夠及時捕捉用戶偏好的演變。未來的研究可以探索更加精確的用戶偏好動態(tài)建模方法，以提高跨域推薦的準(zhǔn)確性。②多模態(tài)跨域推薦：當(dāng)前的跨域推薦主要是針對單一模態(tài)的數(shù)據(jù)進(jìn)行的，例如用戶交互或物品信息。未來的研究中可以將多模態(tài)數(shù)據(jù)整合到跨域推薦中，如圖像、視頻，語音等。

參 考 文 獻(xiàn)：

［1］ ZANG T Z， ZHU Y， LIU H B， et al. A Survey on Cross-domain Recommendation： Taxonomies， Methods， and Future Directions［J］. ACM， Transactions on Information Systems 2022，41（2）：1.

［2］ SINGH A P， GORDON G J. Relational Learning Via Collective Matrix Factorization［C］// Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining， Las Vegas， Nevada， USA， August 24-27， 2008： 650.

［3］ LONI B， SHI Y， LARSON M， et al. Cross-domain Collaborative Filtering with Factorization Machines［C］//Advances in Information Retrieval -36th European Conference on IR Research， ECIR 2014， Amsterdam， The Netherlands， April 13-16， 2014. Proceedings （Lecture Notes in Computer Science）， 8416： 656.

［4］ CHEN C， ZHANG M， WANG C Y， et al. An Efficient Adaptive Transfer Neural Network for Social-aware Recommendation［C］// Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval， SIGIR 2019， Paris， France， July 21-25， 2019： 225.

［5］ PERERA D， ZIMMERMANN R. Towards Comprehensive Recommender Systems： Timeaware Unified Recommendations Based on Listwise Ranking of Implicit Cross-network Data［C］//In the 34th AAAI Conference on Artificial Intelligence， AAAI 2020， the 32nd Innovative Applications of Artificial Intelligence Conference， IAAI 2020， The 10th AAAI Symposium on Educational Advances in Artificial Intelligence， EAAI 2020， New York， NY， USA， February 7-12，2020： 189.

［6］ ZHU F， CHEN C C， WANG Y， et al. DTCDR： A Framework for Dual-Target Cross-Domain Recommendation［C］//Proceedings of the 28th ACM International Conference on Information and Knowledge Management， CIKM 2019， Beijing， China， November 3-7， 2019： 1533.

［7］ MAN T， SHEN H W， JIN X L， et al. Cross-domain Recommendation： An Embedding and Mapping Approach［C］// Proceedings of the 26th International Joint Conference on Artificial Intelligence， IJCAI 2017， Melbourne， Australia， August 19-25， 2017： 2464.

［8］ ZHU F， WANG Y， CHEN C C， et al. A Graphical and Attentional Framework for Dual Target Cross-domain Recommendation［C］//Proceedings of the 29th International Joint Conference on Artificial Intelligence， IJCAI 2020： 3001.

［9］ ELKAHKY A M， SONG Y， HE X D. A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems［C］//Proceedingsof the 24th International Conference on World Wide Web， WWW 2015， Florence， Italy， May 18-22， 2015： 278.

［10］PO SEN H， HE X D， GAO J F， et al. Learning Deep Structured Semantic Models for Web Search Using Clickthrough Data［C］//Proceedings of the 22nd ACM International Conference on Information amp; Knowledge Management， 2013： 2333.

［11］LI P， TUZHILIN A. DDTCDR： Deep Dual Transfer Cross Domain Recommendation［C］//In WSDM’20： The 19th ACM International Conference on Web Search and Data Mining， Houston， TX， USA， February 3-7， 2020： 331.

［12］XIN X， LIU Z R， CHIN-YEW LIN， et al. Cross-domain Collaborative Filtering with Review Text［C］// Proceedings of the 24th International Joint Conference on Artificial Intelligence， IJCAI 2015， Buenos Aires， Argentina， July 25-31， 2015： 1827.

［13］ZHU Y C， GE K K， ZHUANG F Z， et al. Transfer-Meta Framework for Cross-domain Recommendation to Cold-Start Users［C］. In SIGIR’21： The 44th International ACM SIGIR Conference on Research and Development in Information Retrieval， Virtual Event， Canada， July 11-15， 2021： 1813.

［14］ZHU F， CHEN C C， WANG Y， et al. A Deep Framework for Cross-domain and Cross-system Recommendations［J］. Proceedings of the 27th International Joint Conference on Artificial Intelligence， IJCAI 2018， July 13-19， Stockholm， Sweden. 2018： 3711.

［15］ZHU Y C， TANG Z W， LIU Y D， et al. Personalized Transfer of User Preferences for Cross-domain Recommendation［C］// In WSDM’22： The 15th ACM International Conference on Web Search and Data Mining， Virtual Event / Tempe， AZ， USA， February 21-25， 2022： 1507.

［16］BI Y， SONG L Q， YAO M Q， et al. DCDIR： A Deep Cross-domain Recommendation System for Cold Start Users in Insurance Domain［C］// Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval， SIGIR 2020， Virtual Event， China， July 25-30， 2020： 1661.

［17］KANG S K， HWANG J， LEE D， et al. Semi-supervised Learning for Cross-domain Recommendation to Cold-start Users［C］// Proceedings of the 28th ACM International Conference on Information and Knowledge Management， CIKM 2019， Beijing， China， November 3-7， 2019： 1563.

［18］HER N， MCAULEY J. Ups and Downs： Modeling the Visual Evolution of Fashion Trends with One-class Collaborative Filtering［C］// Proceedings of the 25th International Conference on World Wide Web， 2016： 507.

［19］WANG X H， PENG Z H， WANG S Z， et al. Cross-domain Recommendation for Cold-Start Users via Neighborhood Based Feature Mapping［C］// In Database Systems for Advanced Applications-23rd International Conference， DASFAA 2018， Gold Coast， QLD， Australia， May 21-24， Proceedings， Part I （Lecture Notes in Computer Science）， 2018， 10827： 158.

［20］FU W J， PENG Z H， WANG S Z， et al. Deeply Fusing Reviews and Contents for Cold Start Users in Cross-domain Recommendation Systems［C］// In the 33rd AAAI Conference on Artificial Intelligence， AAAI 2019， the 31st Innovative Applications of Artificial Intelligence Conference， IAAI 2019， the 9th AAAI Symposium on Educational Advances in Artificial Intelligence， EAAI 2019， Honolulu， Hawaii， USA， January 27-February 1， 2019： 94.

［21］DONG X， YU L， WU Z H， et al. A Hybrid Collaborative Filtering Model with Deep Structure for Recommender Systems［C］// Proceedings of the AAAI Conference on Artificial Intelligence， 2017： 1309.

［22］CHIN J Y， ZHAO K Q， JOTY S， et al. ANR： Aspect-based Neural Recommender［C］// Proceedings of the 27th ACM International Conference on Information amp; Knowledge Management， 2018： 147.

［23］HE X N， LIAO L Z， ZHANG H W， et al. Neural Collaborative Filtering［C］// Proceedings of the 26th International Conference on World Wide Web， 2017： 173.

［24］MIKOLOV T， SUTSKEVER I， CHEN K， et al. Distributed Representations of Words and Phrases and Their Compositionality［J］. Advances in Neural Information Processing Systems， NIPS 2013： 3111.

［25］LI C L， QI Y W， WU L B， et al. A Capsule Network for Recommendation and Explaining What You Like and Dislike［C］// Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval， 2019： 275.

［26］TAY Y， LUU A T， HUI S C. Multi-pointer Co-attention Networks for Recommendation［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining， 2018： 2309.

［27］WU L B， CONG Q， LI C L， et al. A Context-aware User-item Representation Learning for Item Recommendation［J］. ACM Transactions on Information Systems （TOIS）， 2019， 37（2）： 1.

（編輯：溫澤宇）