李廣麗，卓建武，許廣鑫，李傳秀，吳光庭，張紅斌

(1.華東交通大學(xué) 信息工程學(xué)院，江西 南昌 330013；2.華東交通大學(xué) 軟件學(xué)院，江西 南昌 330013)

伴隨大數(shù)據(jù)時代到來，如何在海量數(shù)據(jù)中挖掘有效的信息，已成為工業(yè)界和學(xué)術(shù)界共同關(guān)注的問題。推薦模型（也稱推薦系統(tǒng)）是一種有效的信息過濾機(jī)制，它根據(jù)用戶需求從海量數(shù)據(jù)中篩選出有價值的內(nèi)容，并以個性化方式推薦給用戶。

推薦模型可分為基于內(nèi)容的推薦、基于協(xié)同過濾的推薦、混合推薦和基于對抗學(xué)習(xí)的推薦。基于內(nèi)容的推薦是利用用戶選擇的物品來尋找其他類似物品完成推薦?；趨f(xié)同過濾的推薦能獲取淺層模型無法學(xué)到的用戶和物品的深層特征，多采用矩陣分解（matrix factorization，MF）、奇異值分解、聚類、貝葉斯個性化排序（Bayesian personalized ranking，BPR）等模型，分析用戶與物品間潛在交互，從而預(yù)測用戶偏好，但傳統(tǒng)協(xié)同過濾方法面臨數(shù)據(jù)稀疏問題。為此，He等基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）提取視覺特征改進(jìn)BPR模型，構(gòu)建視覺貝葉斯個性化排序（visual Bayesian personalized ranking，VBPR）模型。Chu等基于視覺信息和用戶評分完成酒店推薦。視覺信息還可用于旅游推薦、食物推薦和餐廳推薦。融合多源異構(gòu)信息的混合推薦由于能緩解數(shù)據(jù)稀疏問題，也受到研究者高度重視。雖然研究者采用視覺信息、混合推薦來應(yīng)對數(shù)據(jù)稀疏問題，但該問題仍未得到有效解決，且異構(gòu)特征間的深層語義未有效挖掘。

近年來，為了提升模型魯棒性，對抗學(xué)習(xí)被引入推薦模型中。Wang等提出信息檢索生成對抗網(wǎng)絡(luò)（information retrieval generative adversarial networks，IRGAN），IRGAN首次將對抗學(xué)習(xí)融入推薦。Wang等使用Softmax函數(shù)加速訓(xùn)練過程，大大提高了計算效率。Wang等提出自適應(yīng)噪聲采樣器，為推薦模型生成對抗負(fù)樣本。He等提出對抗個性化排序模型（adversarial personalized ranking，APR），通過為特征增加干擾，減少模型過擬合并提高其魯棒性。Yang等通過生成增強(qiáng)的用戶與待推薦物品間的交互，改進(jìn)基于協(xié)同過濾的推薦?？傊?，對抗學(xué)習(xí)在推薦中扮演重要角色，但模型魯棒性仍有待提升。

綜上，推薦模型仍存在數(shù)據(jù)稀疏、異構(gòu)特征間深層語義未有效挖掘和模型魯棒性有待提升等關(guān)鍵問題。為解決以上問題，本文引入新圖像特征、聚類典型相關(guān)性和對抗學(xué)習(xí)策略，設(shè)計相關(guān)性視覺對抗貝葉斯個性化排序（correlation visual adversarial Bayesian personalized ranking，CVABPR）推薦模型，以完成高質(zhì)量推薦。本文的創(chuàng)新點(diǎn)如下：

1）引入新圖像特征SENet并改進(jìn)聚類典型相關(guān)性分析（cluster canonical correlation analysis）模型，將異構(gòu)SENet特征映射至同一語義空間，挖掘它們間的聚類典型相關(guān)性，更好地刻畫待推薦電影，從視覺內(nèi)容角度緩解數(shù)據(jù)稀疏問題，并充分利用異構(gòu)特征間深層語義。

2）將挖掘出的聚類典型相關(guān)性和對抗學(xué)習(xí)策略融入VBPR模型中，構(gòu)建全新的CVABPR模型，其推薦性能優(yōu)于主流基線；由于在對抗學(xué)習(xí)中加入擾動因子，推薦模型具備較強(qiáng)魯棒性。

1 CVABPR模型

1.1 模型框架

CVABPR模型框架如圖1所示。CVABPR模型包括圖像特征提取、聚類典型相關(guān)性分析和對抗學(xué)習(xí)。首先，基于SENet模型抽取5個異構(gòu)圖像特征：SEResNet50（SR50）、SEResNet101（SR101）、SERes-Net152（SR152）、SEResNeXt50（SRxt50）及SERes-NeXt101（SRxt101）。其次，改進(jìn)CCCA模型以分析SENet特征間隱含的聚類典型相關(guān)性，獲得相關(guān)性特征，分別用SR50-SR101、SR50-SR152、SR50-SRxt50、SR50-SRxt101等表示，共計10組。例如，SR50-SR101表示SR50與SR101特征之間的聚類典型相關(guān)性，其他命名的含義同理。在VBPR模型中引入對抗學(xué)習(xí)策略，并將聚類典型相關(guān)性嵌入其中，構(gòu)建CVABPR模型，完成高質(zhì)量個性化推薦。

圖1 CVABPR模型框架Fig. 1 Framework of the CVABPR model

1.2 聚類典型相關(guān)性分析

在SENet特征提取基礎(chǔ)上，改進(jìn)聚類典型相關(guān)性分析（cluster canonical correlation analysis，CCCA）模型，挖掘異構(gòu)特征間的典型相關(guān)性。設(shè)兩個圖像特征矩陣為

X

與

Y

，圖像特征矩陣中的樣本從

C

個單獨(dú)類（

C

指電影類別數(shù)，本文為19）中采集，

T

為第1類特征

x

的特征集合，

T

為第2類特征

y

的特征集合。具體如下所示：

式（1）、（2）中，

X

={

x

,

x

,···,

x

}

、

Y

={

y

,

y

, ···,

y

}分 別表示在第

c

組中

X

和

Y

的 數(shù)據(jù)，

c

={1,2, ···,

C

}，|

X

|、 |

Y

|分 別表示兩個圖像特征的維度。設(shè)

w

、

v

分別為

X

、

Y

對應(yīng)的投影向量。

X

、

Y

的相關(guān)系數(shù) ρ計算如下：

式中，max為求最大值函數(shù)，

C

、

C

和

C

表示協(xié)方差矩陣，如下所示：

式（4）～（6）中，

S

為

X

和

Y

的成對關(guān)系總對數(shù)，

S

=獲取 ρ最 大化時

X

、

Y

對應(yīng)的投影向量

w

、

v

，將

X

和

Y

映射到中間空間，生成映射后的特征矩陣

X

和

Y

：

將式（7）、（8）中

X

和

Y

分別進(jìn)行拼接和相加融合，得到聚類典型相關(guān)性特征矩陣

U

和

U

，如下所示：

1.3 CVABPR模型形式化描述

CVABPR模型的基礎(chǔ)框架是VBPR模型，CVABPR模型在VBPR模型中引入對抗學(xué)習(xí)策略“A（adversarial）”和聚類典型相關(guān)性“C（correlation）”。VBPR模型源于BPR模型，BPR模型僅依賴“用戶-評分”矩陣完成推薦，該矩陣只包含用戶對電影的評分，評分范圍1～5分；而VBPR模型在BPR模型中增加了視覺特征接口，基于該接口可將外部語義引入推薦模型中。因此，在VBPR模型中加入已挖掘的聚類典型相關(guān)性，即通過視覺特征接口將相關(guān)性輸入VBPR，構(gòu)建相關(guān)性視覺貝葉斯個性化排序（correlation VBPR，CVBPR）模型，由于僅采用聚類典型相關(guān)性，故它是CVABPR模型的變種。下面對CVABPR模型進(jìn)行推導(dǎo)。

首先，VBPR模型的評分預(yù)測函數(shù)如下：

式中：為 VBPR模型預(yù)測的評分，

u

為用戶序號，

i

為電影序號；

p

q

為 基于傳統(tǒng)MF模型的預(yù)測評分，

p

為基于“用戶-評分”矩陣生成的用戶

u

的特征向量（

p

∈?

），

q

為基于“用戶-評分”矩陣生成的電影

i

的特征向量（

q

∈?

）；

h

(

E

·

c

)為基于電影海報圖像特征的預(yù)測評分，

c

表示電影

i

的

D

維視覺特征（

c

∈?

），

E

為轉(zhuǎn)換矩陣（

E

∈?），它對電影

i

的視覺特征

c

進(jìn) 行維度轉(zhuǎn)置，

E

·

c

為視覺特征潛語義描述，

h

為 用戶

u

對應(yīng)的

K

維特征向量（

h

∈?），它描述用戶的潛在偏好。因此，BPR模型損失函數(shù)為：

式中，

i

、

j

為電影序號，

Data

為逐對排序優(yōu)化中的3元組數(shù)據(jù)， σ為sigmoid激勵函數(shù)， β為控制正則化的超參數(shù)， Θ為BPR模型參數(shù)， | |Θ||為正則項(xiàng)。引入對抗學(xué)習(xí)后，CVABPR模型的評分預(yù)測函數(shù)為：

式中，為CVABPR模型預(yù)測的評分，

p

、

q

、

E

和

c

的含義同式（11）， Δ為用于對抗學(xué)習(xí)的擾動參數(shù)。對抗擾動是一種能有效提升模型魯棒性的正則項(xiàng)，將擾動項(xiàng)添加到視覺特征（即聚類典型相關(guān)性特征）中不會改變原視覺特征內(nèi)容，但它可提升視覺特征潛語義描述

E

·

c

應(yīng)對外界噪聲干擾的能力。因此，為獲取最佳擾動參數(shù)需最大化BPR損失，公式如下：

式中：

L

為基于式（13）中評分預(yù)測函數(shù)設(shè)計的BPR損失函數(shù)； Δ為 模型優(yōu)化出的最佳擾動參數(shù)； ||·||為L2正則化參數(shù)； ε為調(diào)制擾動幅度的超參數(shù)，它控制BPR損失范圍。為獲得最佳模型參數(shù)，需最小化BPR損失：

式中， Θ為優(yōu)化出的最佳模型參數(shù)，、用式（11）計算，、用 式（13）計算， λ為模型訓(xùn)練過程的超參數(shù)， β為控制正則化的超參數(shù)。使用隨機(jī)梯度下降算法優(yōu)化模型并更新參數(shù)，對應(yīng)更新參數(shù)的公式如式（16）、（17）所示：

式中，

T

為參數(shù) Δ 的梯度， η 為參數(shù)ε 的學(xué)習(xí)率， η為參數(shù) Δ的學(xué)習(xí)率。

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)集及對比模型

MovieLens100k 和 MovieLens1M數(shù)據(jù)集中包含“用戶-評分”矩陣、電影標(biāo)題和電影類別等信息，“用戶-評分”矩陣中是用戶對電影的評分，評分范圍為1～5分。每個用戶至少評價20部電影。MovieLens100k的評分?jǐn)?shù)量為100 000，MovieLens1M的評分?jǐn)?shù)量約為1 000 000，具體信息見表1。此外，MovieLens數(shù)據(jù)集包括19種詳細(xì)的電影類別，分別是動作、冒險、動畫、兒童、喜劇、犯罪、紀(jì)錄片、戲劇、奇幻、黑色電影、恐怖、音樂、懸疑、浪漫、科幻、驚悚、戰(zhàn)爭、西部、未知。本文將電影海報圖像加入MovieLens100k 和 MovieLens1M數(shù)據(jù)集，構(gòu)建兩個全新的多模態(tài)數(shù)據(jù)集：MovieLens-100k-WMI（“WMI”表示“with movie images”）和MovieLens-1M-WMI。根據(jù)電影標(biāo)題從互聯(lián)網(wǎng)電影資料庫（Internet movie database，IMDB）爬取每部電影對應(yīng)的海報，每張海報屬于19個電影類別之一。基于MovieLens 數(shù)據(jù)集和電影海報圖像生成多模態(tài)數(shù)據(jù)集MovieLens-WMI，用戶可訪問爬取的電影海報圖像數(shù)據(jù)集。MovieLens-WMI數(shù)據(jù)集的詳細(xì)信息如表1所示。

表1 MovieLens-WMI數(shù)據(jù)集詳細(xì)信息
Tab. 1 Detailed information of the MovieLens-WMI datasets

數(shù)據(jù)集 用戶數(shù)電影數(shù)評分?jǐn)?shù)海報圖像數(shù)稠密度/%MovieLens-100k-WMI 943 1 683 100 000 1 683 6.30 MovieLens-1M-WMI 6 040 3 544 993 482 3 544 4.64

實(shí)驗(yàn)中，隨機(jī)抽取80%“用戶-評分”及對應(yīng)圖像數(shù)據(jù)作為訓(xùn)練集，剩下20%“用戶-評分”及對應(yīng)圖像數(shù)據(jù)作為測試集。實(shí)驗(yàn)迭代2 000次，每50次迭代計算1次推薦指標(biāo)均值，共計算40次，從這40次結(jié)果中分別選取每個推薦指標(biāo)的最優(yōu)值作為模型的最終推薦性能評估值。

選取3種排序評價指標(biāo)評估模型的推薦性能，分別是平均準(zhǔn)確率（average precision @

K

，P@

K

）、平均精度均值（mean average precision，MAP）和歸一化折損累計增益（normalized discounted cumulative gain，NDCG）。P@

K

計算推薦結(jié)果中前

K

個的準(zhǔn)確率；MAP對若干次推薦產(chǎn)生的P@

K

值取均值；NDCG@K關(guān)注排序加權(quán)后前

K

個推薦結(jié)果的準(zhǔn)確率。這3個指標(biāo)值越大說明推薦性能越好。

將CVABPR與如下4類方法進(jìn)行比較。

1）傳統(tǒng)模型：最大似然估計（maximum likelihood estimation，MLE）和LambdaFM（lambda factorization machines）；

2）基于GAN的推薦模型：GraphGAN（graph generative adversarial networks）、IRGAN和UPMGAN（users preference mining-generative adversarial networks）；

3）BPR的變種：BPR、VBPR、CVBPR和APR模型；

4）基于深度學(xué)習(xí)的推薦模型：DMF（deep MF）和NMF（Neural MF）模型。

2.2 實(shí)驗(yàn)結(jié)果

2.2.1 CVBPR模型實(shí)驗(yàn)結(jié)果

為驗(yàn)證聚類典型相關(guān)性特征的有效性，首先，在MovieLens-100k-WMI和 MovieLens-1M-WMI兩個數(shù)據(jù)集上，使用不同特征分別建立CVBPR模型（CVABPR模型的變種，即只采用聚類典型相關(guān)性而忽略對抗學(xué)習(xí)策略）并評估其性能。建立模型的特征包括：從SENet模型中抽取的5個異構(gòu)圖像特征（SR50、SR101、SR152、SRxt50及SRxt101）和10組聚類典型相關(guān)性特征（如SR50-SR101、SR50-SR152、SR50-SRxt50、SR50-SRxt101）；作為對比，還提取VGG16、HSV和ResNet50（R50）等傳統(tǒng)特征。計算采用每個特征建立的模型的性能指標(biāo)。圖2展示了建立的模型在P@3和NDCG@3兩個指標(biāo)上的最優(yōu)值（其他指標(biāo)類似），包括使用傳統(tǒng)特征分別建模獲得的最優(yōu)模型指標(biāo)、使用5個異構(gòu)圖像特征分別建模獲得的最優(yōu)模型指標(biāo)、使用10組聚類典型相關(guān)性特征分別建模獲得的性能排在前2的模型的指標(biāo)。

圖2 CVBPR模型中不同特征的推薦性能Fig. 2 Recommendation performance of different features in CVBPR model

如圖2（a）所示：在MovieLens-100k-WMI數(shù)據(jù)集中，相比最優(yōu)傳統(tǒng)特征R50建立模型的性能，SRxt50特征建立模型的性能更優(yōu)。該優(yōu)勢在NDCG@3指標(biāo)上尤為明顯，論證了SRxt50特征的有效性。這表明，選取SENet特征進(jìn)行聚類典型相關(guān)性分析可以獲取判別性更強(qiáng)的新特征。在全部聚類典型相關(guān)性中，性能最優(yōu)的是SRxt50-SRxt101，這表明：SRxt50和SRxt101這兩類SENet特征間存在較強(qiáng)的底層相關(guān)性，該相關(guān)性被改進(jìn)的CCCA模型所捕獲，進(jìn)而準(zhǔn)確刻畫待推薦電影海報圖像。此外，由圖2（a）還可知：采用聚類典型相關(guān)性特征建立的模型的推薦性能均優(yōu)于采用單特征（包括傳統(tǒng)特征和SENet特征）建立的模型，這說明改進(jìn)的CCCA模型是有效的，它能挖掘出具有足夠多判別語義的特征，提升推薦性能。

在MovieLens-1M-WMI數(shù)據(jù)集上可得到與圖2（a）相似的實(shí)驗(yàn)結(jié)論，其中，SRxt50-SRxt101和SR50-SRxt50表現(xiàn)優(yōu)異，本質(zhì)原因同上。綜上所述，改進(jìn)的CCCA模型能準(zhǔn)確捕獲異構(gòu)SENet特征之間潛在的聚類典型相關(guān)性，從而更好地刻畫待推薦電影，最終改善推薦性能。當(dāng)然，基礎(chǔ)的VBPR框架在推薦中也扮演了關(guān)鍵角色（參見第2.3節(jié)）。

2.2.2 CVABPR模型實(shí)驗(yàn)結(jié)果

在聚類典型相關(guān)性分析基礎(chǔ)上，引入對抗學(xué)習(xí)策略，在CVBPR模型基礎(chǔ)上構(gòu)造CVABPR模型，CVABPR模型在兩個數(shù)據(jù)集上的推薦性能如圖3所示。

圖3 CVABPR模型中不同特征的推薦性能Fig. 3 Recommendation performance of different features in CVABPR model

圖3與圖2類似，對于傳統(tǒng)特征、SENet類特征，僅選擇模型在NDCG@3和P@3兩個指標(biāo)上的最優(yōu)值做展示，對于聚類典型相關(guān)性特征，則選取最優(yōu)的兩個模型的指標(biāo)進(jìn)行展示。CVABPR相對CVBPR的推薦性能提升幅度見表2。表2中：在MovieLens-100k-WMI數(shù)據(jù)集上，Improve和Improve分別表示CVABPR模型相對于CVBPR模型在P@3指標(biāo)和NDCG@3指標(biāo)上的提升幅度；在MovieLens-1M-WMI數(shù)據(jù)集上，Improve和Improve分別表示CVABPR模型相對于CVBPR模型在P@3指標(biāo)和NDCG@3指標(biāo)上的提升幅度。

表2 CVABPR相對于CVBPR的推薦性能提升幅度
Tab. 2 Recommendation performance improvement of CVABPR compared to CVBPR

%圖像特征 MovieLens-100K-WMI MovieLens-1M-WMI Improve1 Improve2 Improve3 Improve4 R50 3.74 3.45 4.61 3.87 SRxt50 4.20 4.23 4.73 4.23 SR50-SRxt50 4.13 4.24 4.69 3.97 SRxt50-SRxt101 4.18 4.30 4.88 4.57

由圖3（a）可知：在MovieLens-100k-WMI數(shù)據(jù)集中，聚類典型相關(guān)性SRxt50-SRxt101表現(xiàn)最優(yōu)，它優(yōu)于各單特征，這說明改進(jìn)的CCCA模型能生成高質(zhì)量聚類典型相關(guān)性，準(zhǔn)確描述用戶偏好并最終改善推薦性能。在MovieLens-1M-WMI數(shù)據(jù)集上也能獲得較高的性能，故模型具備較強(qiáng)魯棒性，而對抗學(xué)習(xí)是確保該魯棒性的關(guān)鍵。相比于圖2，圖3中推薦效果更優(yōu)，即CVABPR模型性能優(yōu)于CVBPR模型。

由表2可知，在數(shù)據(jù)集MovieLens-100K-WMI上，對于P@3和NDCG@3指標(biāo)，使用聚類典型相關(guān)性特征SRxt50-SRxt101建立的CVABPR模型比CVBPR模型（圖2（a））分別提升4.18%和4.30%（MovieLens-1MWMI數(shù)據(jù)集類似），這進(jìn)一步表明，引入對抗學(xué)習(xí)策略使推薦模型能更好地應(yīng)對外部噪聲擾動，提升模型魯棒性并獲取更優(yōu)的推薦效果。

綜上，采用對抗學(xué)習(xí)策略，能使推薦模型更好地應(yīng)對外部擾動，從而變得更穩(wěn)定、魯棒，即對抗學(xué)習(xí)使CVABPR模型中的視覺特征潛語義描述能更好地抵御外界噪聲干擾，從而準(zhǔn)確描述待推薦電影，完成高質(zhì)量用戶興趣建模，從視覺內(nèi)容角度積極應(yīng)對數(shù)據(jù)稀疏問題并最終改善推薦精度及模型魯棒性。因此，對抗學(xué)習(xí)策略在CVABPR模型中扮演非常重要的角色。

2.2.3 與主流基線對比

選擇CVABPR模型的最佳結(jié)果（圖3）與第2.1節(jié)所述主流推薦模型進(jìn)行性能對比，結(jié)果見表3和4。表3中，Improve表示在MovieLens-100k-WMI數(shù)據(jù)集上，與最強(qiáng)基線APR模型相比，CVABPR模型推薦性能的提升幅度。表4中，Improve表示在MovieLens-1MWMI數(shù)據(jù)集上，與最強(qiáng)基線APR模型相比，CVABPR模型推薦性能的提升幅度。

表4 CVABPR模型與主流基線性能結(jié)果比較（MovieLens-1M-WMI）
Tab. 4 Performance comparisons between CVABPR and state-of-the-art baselines (MovieLens-1M-WMI)

模型 P@3 P@5 NDCG@3 NDCG@5 MAP MLE[25] 0.278 4 0.266 4 0.299 7 0.287 8 0.203 4 BPR[5] 0.289 5 0.269 1 0.303 7 0.288 6 0.204 7 GraphGAN[15] 0.358 1 0.329 7 0.369 1 0.349 1 0.211 4 LambdaFM[26] 0.362 2 0.344 3 0.390 2 0.384 2 0.233 7 IRGAN[14] 0.380 8 0.368 2 0.418 5 0.406 1 0.250 4 DMF[27] 0.386 9 0.371 1 0.420 4 0.409 7 0.254 5 UPM-GAN[23] 0.394 7 0.381 9 0.428 6 0.417 3 0.260 1 VBPR[6] 0.398 4 0.385 3 0.434 7 0.408 2 0.261 4 NMF[24] 0.399 1 0.385 7 0.432 9 0.420 2 0.262 4 APR[17] 0.410 4 0.397 3 0.447 2 0.437 8 0.271 2 CVBPR 0.408 2 0.394 9 0.442 5 0.415 3 0.266 1 CVABPR 0.428 5 0.414 5 0.463 7 0.434 4 0.283 7 Improve6/% 4.410 4.329 3.690 -0.777 4.609

如表3、4所示，CVABPR模型獲得最佳性能，與協(xié)同過濾式推薦模型MLE、BPR和LambdaFM相比 ，可觀察到最大的推薦性能差距。因?yàn)閭鹘y(tǒng)模型僅使用“用戶-評分”矩陣完成推薦，該矩陣只包含用戶對電影的評分，數(shù)據(jù)稀疏問題非常嚴(yán)重（參見表1的稠密度）。與DMF和NMF等深度學(xué)習(xí)類推薦模型相比，CVABPR模型的優(yōu)勢也十分顯著。CVABPR模型提供全新的視覺特征接口，該接口可以將外部語義（如聚類典型相關(guān)性）集成到推薦模型中，然后配合“用戶-評分”矩陣完成推薦。顯然，引入圖像信息能更好地刻畫待推薦電影，實(shí)現(xiàn)高質(zhì)量用戶建模，以準(zhǔn)確描述其偏好，即從視覺內(nèi)容角度有效緩解推薦中的數(shù)據(jù)稀疏問題。與IRGAN、GraphGAN、UPM-GAN和APR等對抗學(xué)習(xí)類推薦模型相比，CVABPR也表現(xiàn)優(yōu)異。不同于這些GAN模型，CVABPR模型引入了異構(gòu)特征間的深層語義（聚類典型相關(guān)性），能更好地描述待推薦電影。同時，CVABPR中還加入擾動因子，使視覺特征潛語義描述能更好地應(yīng)對外部干擾，從而完成更穩(wěn)定的推薦并獲得更優(yōu)的推薦性能。

表3 CVABPR模型與主流基線性能結(jié)果比較（MovieLens-100k-WMI）
Tab. 3 Performance comparisons between CVABPR and state-of-the-art baselines (MovieLens-100k-WMI)

模型 P@3 P@5 NDCG@3 NDCG@5 MAP MLE[25] 0.336 9 0.301 3 0.346 1 0.323 6 0.200 5 BPR[5] 0.328 9 0.300 4 0.341 0 0.324 5 0.200 9 GraphGAN[15] 0.355 1 0.331 3 0.372 8 0.358 2 0.213 5 LambdaFM[26] 0.384 5 0.347 4 0.398 6 0.374 9 0.222 2 IRGAN[14] 0.407 2 0.375 0 0.422 2 0.400 9 0.241 8 DMF[27] 0.410 7 0.379 1 0.425 7 0.407 7 0.242 7 UPM-GAN[23] 0.419 6 0.390 7 0.433 7 0.412 3 0.254 0 VBPR[6] 0.421 9 0.396 2 0.437 5 0.398 7 0.254 6 NMF[24] 0.421 3 0.398 1 0.438 3 0.417 9 0.257 1 APR[17] 0.436 4 0.407 2 0.455 1 0.431 7 0.265 7 CVBPR 0.431 4 0.403 8 0.444 9 0.410 8 0.261 8 CVABPR 0.450 2 0.423 2 0.464 9 0.425 8 0.276 2 Improve5/% 3.065 3.780 2.108 -1.386 3.802

表4中：相比于MovieLens-100k-WMI數(shù)據(jù)集，CVABPR模型在稀疏度更高的MovieLens-1M-WMI數(shù)據(jù)集上獲取了更大的性能提升，對于NDCG@5和MAP指標(biāo)， CVABPR模型在MovieLens-1M-WMI數(shù)據(jù)集上的性能明顯優(yōu)于MovieLens-100k-WMI數(shù)據(jù)集。這表明所提的CVABPR模型在更稀疏的數(shù)據(jù)集上能更好地應(yīng)對數(shù)據(jù)稀疏問題。同時，CVABPR模型在這兩個數(shù)據(jù)集上相對于APR模型的平均性能提升幅度分別是2.273%、3.252%，顯然，CVABPR模型在更稀疏的數(shù)據(jù)集上獲得了更大的平均性能提升。這可能是因?yàn)椋篗ovieLens-1M-WMI數(shù)據(jù)集包含更豐富的圖像數(shù)據(jù)，改進(jìn)的CCCA模型能挖掘出判別性更強(qiáng)的聚類典型相關(guān)性，為描述用戶隱含偏好奠定堅實(shí)基礎(chǔ)。因此，CVABPR模型在聚類典型相關(guān)性分析基礎(chǔ)上獲取了更多有價值的語義信息，更準(zhǔn)確地刻畫了待推薦電影，從視覺內(nèi)容角度可有效地應(yīng)對數(shù)據(jù)稀疏問題。

2.3 消融分析實(shí)驗(yàn)

通過消融分析實(shí)驗(yàn)來分別檢驗(yàn)CVABPR模型各部件，包括視覺接口（V）、聚類典型相關(guān)性（C）、對抗學(xué)習(xí)策略（A）等在推薦中的有效性。構(gòu)造3個CVABPR模型的變種（VABPR、CVBPR、BPR），完成消融分析實(shí)驗(yàn)，計算P@3、MAP、NDCG@3這3類指標(biāo)及各類指標(biāo)均值Mean，結(jié)果見表5。

表5 CVABPR模型消融分析實(shí)驗(yàn)結(jié)果
Tab. 5 Ablation analysis results of CVABPR

%數(shù)據(jù)集 算法 P@3下降幅度NDCG@3下降幅度MAP下降幅度Mean下降幅度MovieLens-100k-WMI VABPR 1.947 1.773 3.077 2.266 CVBPR 4.358 3.564 5.500 4.474 BPR 27.972 28.093 26.730 27.598 MovieLens-1M-WMI VABPR 2.219 1.934 3.616 2.589 CVBPR 4.870 4.791 6.614 5.425 BPR 37.271 38.805 27.700 34.592

1）VABPR ：從CVABPR模型中移除聚類典型相關(guān)性分析（C），獲取VABPR模型。表5中，VABPR對應(yīng)行的值表示VABPR模型相對CVABPR模型的性能下降幅度，故其著力評價聚類典型相關(guān)性的重要性；

2）CVBPR ：從CVABPR模型中移除對抗學(xué)習(xí)策略（A），獲取CVBPR模型。表5中，CVBPR對應(yīng)行的值表示CVBPR模型相對CVABPR模型的性能下降幅度，故其著力評價對抗學(xué)習(xí)策略的重要性；

3）BPR：從VBPR模型中移除視覺接口（V），獲取BPR模型。表5中，BPR對應(yīng)行的值表示BPR模型相對VBPR模型的性能下降幅度，故其著力評價視覺接口的重要性。

由表5可知：當(dāng)移除視覺接口后，推薦模型性能出現(xiàn)最大幅度下降；移除對抗學(xué)習(xí)策略也會導(dǎo)致較大幅度下降；而移除聚類典型相關(guān)性，推薦模型的性能下降幅度相對較小。因此，基于平均值（Mean）可得到CVABPR模型各部件重要性的降序排列：視覺接口（V）重要性>對抗學(xué)習(xí)（A）重要性>聚類典型相關(guān)性（C）重要性。CVABPR模型充分利用電影海報圖像中蘊(yùn)含的聚類典型相關(guān)性來提升模型推薦性能，即充分挖掘并利用異構(gòu)SENet圖像特征之間的深層視覺語義；而對抗學(xué)習(xí)則使推薦模型更趨穩(wěn)定且魯棒，并獲取更優(yōu)推薦性能。由表5 還發(fā)現(xiàn)：基于MovieLens-1M-WMI數(shù)據(jù)集建立的模型性能下降幅度更大，即CVABPR模型能在更稀疏的數(shù)據(jù)集上獲取更大的性能提升，數(shù)據(jù)稀疏問題得到一定解決。該實(shí)驗(yàn)結(jié)論與表3、4吻合。

3 結(jié)論與展望

為解決推薦中的數(shù)據(jù)稀疏、未有效利用深層視覺語義、模型魯棒性較低等問題，提出相關(guān)性視覺對抗貝葉斯個性化排序推薦模型CVABPR，它從SENet特征提取、聚類典型相關(guān)性分析和對抗學(xué)習(xí)等角度積極應(yīng)對上述問題。實(shí)驗(yàn)結(jié)果表明：CVABPR模型在MovieLens-100k-WMI和 MovieLens-1M-WMI兩個數(shù)據(jù)集上都取得較好推薦效果，已具備較強(qiáng)魯棒性。

未來工作展望：1）運(yùn)用其他特征學(xué)習(xí)方法，如Transformer，獲取更有效的圖像特征；2）基于Unicoder-VL和LXMERT等模型更好地挖掘異構(gòu)圖像特征間的相關(guān)性。