鄭建興， 郭彤彤， 申利華， 李德玉

(1.山西大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，山西 太原 030006； 2.山西省信息產(chǎn)業(yè)技術(shù)研究院有限公司，山西 太原 030012)

0 引言

推薦系統(tǒng)作為一種為用戶提供感興趣產(chǎn)品和服務(wù)的技術(shù)，已經(jīng)在社交媒體、電子商務(wù)、廣告營銷中得到了廣泛的應(yīng)用。已有的推薦系統(tǒng)算法主要是基于用戶對項(xiàng)目的交互歷史記錄，學(xué)習(xí)用戶與項(xiàng)目的特征表示，預(yù)測用戶對項(xiàng)目的評(píng)分。比較典型的方法是矩陣分解(MF)[1]，即根據(jù)用戶和物品的評(píng)分矩陣A∈Rl×q，學(xué)習(xí)l個(gè)用戶，q個(gè)物品的潛在表示，預(yù)測用戶對物品的評(píng)分。傳統(tǒng)的矩陣分解主要利用了評(píng)分交互信息，但是忽略了用戶和項(xiàng)目在節(jié)點(diǎn)表示中的作用。隨著電子商務(wù)的發(fā)展，用戶對購買的產(chǎn)品或服務(wù)會(huì)進(jìn)行評(píng)論，大量的評(píng)論反映了用戶的興趣，能夠揭示用戶的喜好以及產(chǎn)品的屬性特征?；谠u(píng)論文本內(nèi)容對用戶和項(xiàng)目建模，獲取用戶和項(xiàng)目的語義表示，也逐漸引起許多學(xué)者的關(guān)注。柴玉梅等[2]利用CNN(convolutional neural network)對評(píng)論文本建模，獲取用戶和項(xiàng)目特征，并通過遷移學(xué)習(xí)提取面向領(lǐng)域的特征和領(lǐng)域間的共享特征進(jìn)行評(píng)分預(yù)測。Zheng等[3]利用2個(gè)并行的卷積結(jié)構(gòu)分別對用戶和商品的評(píng)論文檔建模，提出了DeepCoNN (deep cooperative neural networks)模型。

基于評(píng)論文本內(nèi)容的推薦方法取得了一定成效，忽略了評(píng)論文本中與評(píng)分相關(guān)的情感特征信息。這些情感特征對學(xué)習(xí)用戶和項(xiàng)目的表示具有重要的作用，能夠提升用戶對項(xiàng)目的評(píng)分預(yù)測精度。如何獲取評(píng)論中與評(píng)分相關(guān)的評(píng)論情感特征引起了許多學(xué)者的注意。Chen等[4]考慮到評(píng)論中詞匯的重要性不同，基于注意力機(jī)制選擇了重要的評(píng)論信息，提升了評(píng)分預(yù)測的性能。李勇等[5]提出了位置感知的注意力機(jī)制，獲取評(píng)論文本中與距離相關(guān)的序列語義特征。受到Fan等[6]啟發(fā)，本文提出了一種基于評(píng)論文本情感注意力的推薦方法。首先，基于CNN對用戶和項(xiàng)目的評(píng)論文本進(jìn)行評(píng)論特征表示，進(jìn)而融合用戶對項(xiàng)目的評(píng)分學(xué)習(xí)了用戶和項(xiàng)目的評(píng)論情感特征表示；其次，考慮到每條評(píng)論情感特征信息對用戶和項(xiàng)目嵌入的不同作用，基于注意力機(jī)制聚合了所有評(píng)論情感特征，學(xué)習(xí)用戶和項(xiàng)目的嵌入；最后，結(jié)合偏置信息，預(yù)測了用戶對項(xiàng)目的評(píng)分，在亞馬遜評(píng)論數(shù)據(jù)集上驗(yàn)證了方法的有效性。

1 相關(guān)工作

傳統(tǒng)推薦方法主要有協(xié)同過濾方法和基于內(nèi)容方法。協(xié)同過濾主要包括基于用戶的協(xié)同過濾和基于項(xiàng)目的協(xié)同過濾?；谟脩舻膮f(xié)同過濾是發(fā)現(xiàn)相似用戶，根據(jù)相似用戶的興趣為目標(biāo)用戶進(jìn)行推薦；基于項(xiàng)目的協(xié)同過濾是根據(jù)用戶對項(xiàng)目的評(píng)論或評(píng)分，發(fā)現(xiàn)相似項(xiàng)目，進(jìn)而將相似項(xiàng)目推薦給目標(biāo)用戶。矩陣分解是協(xié)同過濾中應(yīng)用較廣的算法。Rendle等[7]提出的因子分解機(jī)FM(factorization machines)，結(jié)合矩陣分解和廣義線性模型，解決了二階特征組合的稀疏性問題。He等[8]、Xin等[9]基于深度學(xué)習(xí)的思想對FM進(jìn)行了改進(jìn)，提出了NFM[8](neural factorization machines)模型和CFM[9](convolutional factorization machines)模型：NFM模型利用神經(jīng)網(wǎng)絡(luò)代替了FM的二階特征交互的部分，提高了模型的性能；CFM模型通過外積建模二階交互，捕捉嵌入層之間的相關(guān)性。Guo等[10]提出的MBCN(multi-branch convolutional network)模型利用標(biāo)準(zhǔn)一維卷積和擴(kuò)張卷積，實(shí)現(xiàn)對相鄰特征以及非相鄰特征的交互建模，提升推薦的性能。

協(xié)同過濾方法在面對推薦系統(tǒng)冷啟動(dòng)和評(píng)分?jǐn)?shù)據(jù)稀疏問題時(shí)性能較差，有學(xué)者開始從評(píng)論文本中獲取項(xiàng)目的一些基本特征(如包裝、功能和質(zhì)量等)和用戶的興趣偏好，以刻畫用戶和項(xiàng)目的表示。Wu等[11]提出的CARL(context-aware user-item representation learning)模型，以用戶和項(xiàng)目的評(píng)論文檔以及初始ID作為輸入，學(xué)習(xí)用戶和項(xiàng)目間的交互關(guān)系獲取具有上下文的語義表示。Chin等[12]提出的ANR(aspect-based neural recommender)模型將用戶和項(xiàng)目的所有評(píng)論組成文檔，實(shí)現(xiàn)用戶對項(xiàng)目的評(píng)分預(yù)測。也有學(xué)者對每條評(píng)論內(nèi)容進(jìn)行建模，進(jìn)而聚合每條評(píng)論的特征學(xué)習(xí)文檔的表示。Tay等[13]提出了一種協(xié)同關(guān)注的多指針學(xué)習(xí)推薦框架。馮興杰等[14]提出將評(píng)論文本與評(píng)分矩陣融合，預(yù)測用戶對項(xiàng)目的評(píng)分。

上述研究大多沒有同時(shí)考慮評(píng)論中的特征與情感傾向在用戶和項(xiàng)目語義表示中的作用。本文通過融合評(píng)論文本的特征信息與用戶評(píng)分的情感傾向信息，基于注意力機(jī)制聚合所有評(píng)論情感特征信息對用戶和項(xiàng)目表示的影響，學(xué)習(xí)用戶和項(xiàng)目的嵌入，提升評(píng)分預(yù)測的精度。

2 基于評(píng)論文本情感注意力的評(píng)分預(yù)測框架

本節(jié)介紹基于評(píng)論文本情感注意力的評(píng)分預(yù)測框架IncorRAS-Rec，如圖1所示。在圖1中，框架包括評(píng)論情感特征建模、用戶和項(xiàng)目嵌入、評(píng)分預(yù)測3個(gè)模塊。在評(píng)論情感特征建模部分，通過CNN對用戶和項(xiàng)目的評(píng)論文本進(jìn)行卷積得到用戶和項(xiàng)目評(píng)論特征表示，并與用戶對項(xiàng)目的情感傾向融合；在用戶和項(xiàng)目嵌入部分，通過注意力對融合情感傾向后的每條評(píng)論情感特征進(jìn)行聚合，完成對用戶和項(xiàng)目的嵌入；在評(píng)分預(yù)測部分，將得到的用戶嵌入與項(xiàng)目嵌入進(jìn)行內(nèi)積計(jì)算，結(jié)合偏置項(xiàng)，預(yù)測用戶對項(xiàng)目的評(píng)分。

圖1 基于評(píng)論文本情感注意力的評(píng)分預(yù)測框架Figure 1 Rating prediction framework based on sentimental attention of review text

3 IncorRAS-Rec模型構(gòu)建

3.1 融合情感傾向的評(píng)論情感特征建模

3.1.1 基于CNN的評(píng)論特征表示

基于評(píng)論文本的語義特征可以提升推薦系統(tǒng)評(píng)分預(yù)測的精度。本文采用DeepCoNN[3]中評(píng)論文本語義特征的建模方法，建立評(píng)論文本的初始化特征表示。以用戶的評(píng)論特征表示為例，其卷積運(yùn)算主要有嵌入層、卷積層、池化層和全連接層4個(gè)部分。

(1)嵌入層。將用戶u的評(píng)論j中單詞的序列映射成d維向量，形成嵌入向量ruj；考慮到用戶u所有的評(píng)論，構(gòu)成嵌入矩陣V=[ru1,ru2,…,run]，其中n為用戶u設(shè)置的評(píng)論總數(shù)。

(2)卷積層。卷積的每個(gè)神經(jīng)元對應(yīng)過濾器F∈Rd×t，t為滑動(dòng)窗口大小，在嵌入矩陣V上執(zhí)行卷積操作獲得評(píng)論的語義特征：

x=σ(V*F+bias)。

(1)

式中：σ為Relu激活函數(shù)；*表示卷積操作；bias為偏置項(xiàng)。

(3)池化層。對過濾器通過滑動(dòng)窗口產(chǎn)生的語義特征{x1,x2,…,xd-t+1}采用最大池化操作，選取最具有價(jià)值的特征，最大池化之后為一個(gè)固定向量h，定義如下:

h=max{x1,x2,…,xd-t+1}。

(2)

卷積層最終的輸出是多個(gè)過濾器獲得的特征進(jìn)行拼接：

k=h1⊕h2⊕…⊕hn1。

(3)

式中：n1表示過濾器個(gè)數(shù)；⊕表示拼接運(yùn)算。

(4)全連接層。將卷積層中的結(jié)果送入權(quán)重為W，偏置為b的全連接層中，得到用戶u的評(píng)論特征矩陣Ou=[cu1,cu2,…,cun]。

于是，基于CNN的用戶評(píng)論特征表示如下：

Ou=W·k+b。

(4)

項(xiàng)目的評(píng)論特征表示與用戶的評(píng)論特征表示方法類似，本小節(jié)只對用戶的評(píng)論特征表示進(jìn)行說明?；贑NN的評(píng)論特征表示利用了評(píng)論中豐富的語義信息，有利于提高推薦算法的精度。

3.1.2 融合情感傾向的評(píng)論情感特征表示

用戶對項(xiàng)目的評(píng)論不僅刻畫了項(xiàng)目的特征，還描述了用戶的興趣愛好，同時(shí)用戶對項(xiàng)目的評(píng)分也代表了用戶對該項(xiàng)目的情感傾向，這些情感傾向?qū)τ谟脩魧?xiàng)目的選擇有著至關(guān)重要的影響。設(shè)用戶的評(píng)分范圍為1～5分，本文將用戶的情感傾向分為兩類，一類是積極：4～5分(用1表示)；另一類是消極：1～3分(用0表示)。對于每個(gè)評(píng)論的情感傾向e∈{0,1}，將其進(jìn)行初始嵌入s∈Rd，并將用戶的評(píng)論特征表示和情感極性嵌入進(jìn)行聯(lián)合，獲得用戶u的融合情感極性的評(píng)論特征表示muj，定義如下：

muj=MLP(cuj⊕suj)。

(5)

式中：cuj為用戶u的第j條評(píng)論特征嵌入；suj為第j條評(píng)論的情感傾向嵌入。

項(xiàng)目i的融合情感傾向的評(píng)論特征表示gij與用戶的融合情感傾向的評(píng)論特征表示方法類似，本小節(jié)只對用戶的評(píng)論情感特征表示muj進(jìn)行說明。

3.2 基于評(píng)論情感特征注意力的用戶嵌入

在圖1中，用戶和項(xiàng)目嵌入旨在將融合了情感傾向的評(píng)論特征進(jìn)行聚合，學(xué)習(xí)基于評(píng)論情感特征注意力的用戶和項(xiàng)目表示。本小節(jié)對用戶嵌入進(jìn)行介紹。

考慮到用戶交互的多條評(píng)論信息，將用戶u的所有評(píng)論情感特征信息聚合，得到用戶嵌入eu，定義如下：

eu=f{muj,?j∈Z(u)}。

(6)

式中：f為聚合函數(shù)；Z(u)為用戶u所有的評(píng)論集合。聚合運(yùn)算有均值、最大化注意力機(jī)制等多種方法，這里采用注意力機(jī)制學(xué)習(xí)每條評(píng)論情感特征信息對評(píng)分預(yù)測的重要性。

給定用戶u的融合情感傾向的評(píng)論特征表示muj，以及用戶ID的初始嵌入Pu，計(jì)算評(píng)論情感特征信息對用戶u的注意力分?jǐn)?shù)，定義如下：

αuj=hTσ[Wa(muj⊕Pu)+ba]。

(7)

式中：σ為Relu激活函數(shù)；Wa和ba為神經(jīng)網(wǎng)絡(luò)的權(quán)重和偏置。于是，歸一化的注意力權(quán)重：

(8)

基于用戶u的每條評(píng)論情感特征的注意力權(quán)重，將用戶u所有的評(píng)論進(jìn)行聚合，得到用戶嵌入eu：

(9)

基于評(píng)論情感特征注意力的用戶嵌入充分考慮了不同評(píng)論中用戶的興趣語義和情感對用戶行為的影響程度，有助于提升評(píng)分預(yù)測的精度。

3.3 基于評(píng)論情感特征注意力的項(xiàng)目嵌入

類似地，將項(xiàng)目i的每條評(píng)論情感特征gij聚合，可以學(xué)習(xí)項(xiàng)目的嵌入。本文將項(xiàng)目i的ID初始嵌入表示為Qi，B(i)是項(xiàng)目i的所有評(píng)論集合，采用注意力機(jī)制計(jì)算評(píng)論情感特征信息對項(xiàng)目i的注意力權(quán)重aij：

(10)

βij=hTσ[Ws(gij⊕Qi)+bs]。

(11)

式中：Ws和bs為神經(jīng)網(wǎng)絡(luò)的權(quán)重和偏置。通過融合評(píng)論情感特征信息gij和項(xiàng)目ID的初始嵌入Qi，可以提取與項(xiàng)目i的評(píng)分相關(guān)的重要情感特征信息。

在獲得了每條評(píng)論情感特征信息的注意力權(quán)重之后，根據(jù)注意力權(quán)重將項(xiàng)目i的所有評(píng)論進(jìn)行聚合，得到項(xiàng)目嵌入ei：

(12)

式(12)表示對項(xiàng)目i的所有評(píng)論的情感特征進(jìn)行加權(quán)求和，實(shí)現(xiàn)了基于評(píng)論情感特征注意力的項(xiàng)目建模。

3.4 評(píng)分預(yù)測

(13)

式中：bu、bi分別表示用戶u和項(xiàng)目i的偏置；b0表示全局偏置項(xiàng)。偏置項(xiàng)能夠進(jìn)一步提高推薦算法的預(yù)測精度。

3.5 模型優(yōu)化

在訓(xùn)練模型時(shí)，選擇平方損失函數(shù)進(jìn)行優(yōu)化，定義如下：

(14)

4 實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)集

本文在亞馬遜公開的5-core商品評(píng)論數(shù)據(jù)集Musical_Instruments和Amazon_Instant_Video上驗(yàn)證IncorRAS-Rec方法的有效性。數(shù)據(jù)集包含了用戶對項(xiàng)目的評(píng)論以及評(píng)分信息，評(píng)分取值為1～5分。實(shí)驗(yàn)數(shù)據(jù)集統(tǒng)計(jì)信息如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集統(tǒng)計(jì)信息Table 1 Statistical information of experimental dataset

在實(shí)驗(yàn)過程中，采用MAE和RMSE指標(biāo)來比較不同模型在評(píng)分預(yù)測方面的性能。

4.2 對比算法

本文選取了幾種傳統(tǒng)模型和基于評(píng)論文本的模型與IncorRAS-Rec模型進(jìn)行性能比較。

(1)PMF[15]：基于用戶項(xiàng)目的評(píng)分矩陣，采用概率矩陣分解實(shí)現(xiàn)了用戶和項(xiàng)目的潛在表示，預(yù)測了用戶對項(xiàng)目的評(píng)分。

(2)BPMF[16]：在PMF模型基礎(chǔ)上，將超參數(shù)的先驗(yàn)置為Gaussian-Wishart分布，進(jìn)行評(píng)分預(yù)測。

(3)SVD++[17]：結(jié)合了用戶對項(xiàng)目的顯式反饋和隱式反饋信息，學(xué)習(xí)用戶和項(xiàng)目的潛在表示，實(shí)現(xiàn)評(píng)分預(yù)測。

(4)DeepCoNN[3]：通過2個(gè)并行的CNN結(jié)構(gòu)學(xué)習(xí)了評(píng)論文本中用戶和項(xiàng)目的特征，實(shí)現(xiàn)評(píng)分預(yù)測。

(5)NARRE[4]：在DeepCoNN模型基礎(chǔ)上，使用注意力機(jī)制識(shí)別評(píng)論文本在評(píng)分預(yù)測中的作用，提升了評(píng)分預(yù)測的性能。

4.3 實(shí)驗(yàn)設(shè)置

在實(shí)驗(yàn)過程中，對于IncorRAS-Rec模型采用網(wǎng)格搜索法，從{16，32，64，128}尋找最佳嵌入維度。為防止過擬合，L2正則化參數(shù)λ在{0，0.001，0.01，0.1}中查找。實(shí)驗(yàn)過程中選擇Relu作為隱藏層的激活函數(shù)，選擇Adam對模型進(jìn)行優(yōu)化，學(xué)習(xí)率設(shè)置為0.001，脫落率設(shè)置為0.5。

對于評(píng)論文本數(shù)據(jù)，本文使用了word2vec在GoogleNews谷歌新聞?wù)Z料庫上的預(yù)訓(xùn)練嵌入，獲取詞向量的表示。為確保實(shí)驗(yàn)的公平性，本文參照NARRE模型[4]的實(shí)驗(yàn)設(shè)置，將當(dāng)前數(shù)據(jù)集中每個(gè)用戶(項(xiàng)目)的評(píng)論文本長度按照從小到大排序，對應(yīng)90%分位點(diǎn)的評(píng)論文本長度作為該數(shù)據(jù)集的用戶(項(xiàng)目)評(píng)論文本長度，每個(gè)用戶(項(xiàng)目)評(píng)論集中評(píng)論條數(shù)的選取方法與截取評(píng)論文本長度類似。

4.4 實(shí)驗(yàn)結(jié)果與分析

本文在亞馬遜數(shù)據(jù)集上對IncorRAS-Rec模型和對比方法進(jìn)行了性能比較，實(shí)驗(yàn)結(jié)果如表2所示。通過對實(shí)驗(yàn)結(jié)果分析，可以得出如下結(jié)果：

表2 不同算法在2種數(shù)據(jù)集上的性能比較Table 2 Performance comparison of different algorithms on two datasets

(1)在Musical_Instruments和Amazon_Instant_Video數(shù)據(jù)集上，只考慮了評(píng)論文本的模型DeepCoNN，其MAE和RMSE結(jié)果要低于僅利用評(píng)分信息的協(xié)同過濾模型，如PMF、BPMF、SVD++，這表明評(píng)論文本比評(píng)分信息更有助于獲取用戶和項(xiàng)目的語義信息，學(xué)習(xí)用戶和項(xiàng)目的特征，提升推薦性能。

(2)同時(shí)考慮評(píng)論文本和評(píng)分信息的模型，如NARRE和IncorRAS-Rec，比僅利用評(píng)論文本的模型DeepCoNN和僅利用評(píng)分信息的PMF、BPMF和SVD++模型，性能更優(yōu)，表明了融合評(píng)論文本以及評(píng)分信息能夠更好地學(xué)習(xí)用戶和項(xiàng)目的潛在表示，提升評(píng)分預(yù)測精度。

(3)本文提出的IncorRAS-Rec模型在2種數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果都優(yōu)于其他模型。在Musical_Instruments數(shù)據(jù)集上，IncorRAS-Rec模型的MAE相比NARRE和BPMF分別降低了3.6%和13.8%，RMSE相比于NARRE和BPMF分別降低了0.9%和4.9%。在Amazon_Instant_Video數(shù)據(jù)集上，IncorRAS-Rec模型的MAE相比NARRE和BPMF分別降低了2.1%和11.6%，RMSE相比于BPMF降低了3.9%。在NARRE數(shù)據(jù)集上的提升效果并不明顯。

以上結(jié)果表明，相比基于傳統(tǒng)協(xié)同過濾的BPMF模型，本文提出的IncorRAS-Rec模型充分利用了評(píng)論文本中的語義信息，深入挖掘了用戶的興趣偏好和項(xiàng)目的特征，增強(qiáng)了推薦結(jié)果的可解釋性。此外，與同時(shí)結(jié)合評(píng)論文本和評(píng)分?jǐn)?shù)據(jù)的NARRE模型相比，IncorRAS-Rec使用MLP提取用戶和項(xiàng)目融合情感傾向的評(píng)論特征表示，并基于注意力機(jī)制，聚合了用戶和項(xiàng)目的所有評(píng)論情感特征信息，提升了預(yù)測結(jié)果的精確度，驗(yàn)證了IncorRAS-Rec模型的有效性。

4.5 參數(shù)敏感度分析

本小節(jié)在Musical_Instruments和Amazon_Instant_Video 2個(gè)數(shù)據(jù)集上分析嵌入維度和正則化參數(shù)對IncorRAS-Rec模型性能的影響。

4.5.1 嵌入維度

嵌入維度是影響模型性能的關(guān)鍵因素。本文選擇在{16，32，64，128}維度上對IncorRAS-Rec模型進(jìn)行MAE、RMSE指標(biāo)分析，實(shí)驗(yàn)結(jié)果如圖2所示。

圖2 嵌入維度對MAE和RMSE的影響Figure 2 Effect of embedding dimension on MAE and RMSE

在Amazon_Instant_Video數(shù)據(jù)集上，隨著嵌入維度的增加，IncorRAS-Rec模型的MAE和RMSE值呈現(xiàn)先下降后上升的趨勢。因此，實(shí)驗(yàn)過程中選擇32作為模型在該數(shù)據(jù)集上的嵌入維度。

在Musical_Instruments數(shù)據(jù)集上，當(dāng)嵌入維度為32時(shí)，IncorRAS-Rec模型不僅在RMSE指標(biāo)下表現(xiàn)優(yōu)異，同時(shí)在MAE上的結(jié)果也相對較好。因此，實(shí)驗(yàn)過程中選擇32作為模型在該數(shù)據(jù)集上的嵌入維度。

4.5.2 正則化參數(shù)λ

正則化項(xiàng)通常是機(jī)器學(xué)習(xí)中避免模型過擬合的有效手段之一。圖3展示了正則化參數(shù)λ對IncorRAS-Rec模型在2種數(shù)據(jù)集上結(jié)果的影響。

圖3 正則化參數(shù)對MAE和RMSE的影響Figure 3 Effect of regularization parameters on MAE and RMSE

在Musical_Instrument數(shù)據(jù)集上，當(dāng)λ=0.01時(shí)，IncorRAS-Rec模型在MAE指標(biāo)下取得了較好的效果，RMSE指標(biāo)下性能一般。當(dāng)λ=0時(shí)，模型不僅在RMSE下表現(xiàn)優(yōu)異，MAE結(jié)果也相對較好。因此，本文在Musical_Instruments數(shù)據(jù)集上選擇正則化參數(shù)λ=0進(jìn)行實(shí)驗(yàn)比較。

在Amazon_Instant_Video數(shù)據(jù)集上，當(dāng)λ=0.001或0.1時(shí)，IncorRAS-Rec模型在MAE指標(biāo)的性能較好。在RMSE指標(biāo)方面，當(dāng)λ=0.1時(shí)，IncorRAS-Rec模型的性能不太理想，而當(dāng)λ=0.001時(shí)模型的結(jié)果相對較好。因此，本文在Amazon_Instant_Video數(shù)據(jù)集上選擇正則化參數(shù)λ=0.001進(jìn)行實(shí)驗(yàn)比較。

4.6 注意力機(jī)制有效性分析

為了驗(yàn)證注意力機(jī)制對模型性能的影響，對IncorRAS-Rec模型中每條評(píng)論情感特征信息的注意力機(jī)制用均值聚合進(jìn)行替換，學(xué)習(xí)用戶和項(xiàng)目的表示，比較模型記為IncorRAS-A。圖4展示了注意力機(jī)制與均值聚合方法在2種數(shù)據(jù)集下的推薦性能實(shí)驗(yàn)對比結(jié)果。

圖4 注意力機(jī)制與均值聚合方法的評(píng)分預(yù)測結(jié)果比較Figure 4 Comparison of score prediction results between attention mechanism and mean aggregation method

由圖4可知，在2種數(shù)據(jù)集上，IncorRAS-Rec的評(píng)分預(yù)測性能相比IncorRAS-A都有顯著優(yōu)勢。這表明不同評(píng)論情感特征信息的有效性不同。與均值聚合方法相比，基于注意力機(jī)制的方法可以有效學(xué)習(xí)不同評(píng)論情感特征信息在用戶和項(xiàng)目表示中的貢獻(xiàn)，進(jìn)而在評(píng)分預(yù)測準(zhǔn)確性方面表現(xiàn)了較好的性能，提升了推薦系統(tǒng)的質(zhì)量。

4.7 可視化分析

為了進(jìn)一步解釋情感特征對于節(jié)點(diǎn)嵌入的有效性，實(shí)驗(yàn)過程中，隨機(jī)從Musical_Instruments數(shù)據(jù)集中選取了4個(gè)用戶(User)對2個(gè)項(xiàng)目(Item)的評(píng)論語句，通過可視化的方式解釋評(píng)論情感特征信息在用戶評(píng)分過程中的影響，如圖5所示。在圖5中，五角星的個(gè)數(shù)表示用戶對項(xiàng)目的評(píng)分，紅色部分表示了與評(píng)分信息相關(guān)的評(píng)論情感特征詞。

圖5 案例可視化分析Figure 5 Case visual analysis

在圖5中，第1條評(píng)論是User1對Item1(吉他線)購買后的評(píng)價(jià)?！皐hite ends”體現(xiàn)了Item1的特征，“nice”、“high quality”和“Fantastic”表達(dá)了User1對Item1的積極情感，認(rèn)為它質(zhì)量很好，很滿意。因此，User1對Item1給出了5分評(píng)價(jià)。

第4條評(píng)論是User4對Item1的使用感受評(píng)價(jià)?！癶ums”和“crackles”描述了User4對Item1的特征感受，認(rèn)為它發(fā)出嗡嗡的響聲，并且“don′t recommend”。因此，User4對Item1評(píng)價(jià)較低，評(píng)分為1。

上述可視化案例說明了IncorRAS-Rec模型能夠很好地學(xué)習(xí)評(píng)論中與評(píng)分相關(guān)的情感特征，這些情感特征在提升評(píng)分預(yù)測精度的同時(shí)，可以使預(yù)測結(jié)果更具有解釋性。

5 結(jié)論

本文提出了基于評(píng)論文本情感注意力的推薦方法。首先，基于CNN結(jié)構(gòu)學(xué)習(xí)了用戶和項(xiàng)目的每條評(píng)論的特征表示；其次，將每條評(píng)論的特征表示與情感傾向表示融合，通過注意力機(jī)制計(jì)算了每條評(píng)論的情感特征信息對于用戶和項(xiàng)目嵌入的重要性，進(jìn)而聚合了所有評(píng)論的情感特征信息，學(xué)習(xí)用戶和項(xiàng)目的嵌入；最后，基于用戶和項(xiàng)目的嵌入實(shí)現(xiàn)了評(píng)分預(yù)測，并在亞馬遜公開數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，本文提出的IncorRAS-Rec模型在RMSE和MAE指標(biāo)上均有顯著改善。