楊暢 姚越 方霖楓 周仁杰

關(guān)鍵詞：推薦系統(tǒng);對(duì)話式推薦;強(qiáng)化學(xué)習(xí);圖表示學(xué)習(xí)

0 引言（Introduction）

隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，人們逐漸從信息匱乏的時(shí)代走入了信息過載的時(shí)代，因此如何應(yīng)對(duì)信息過載問題成為一個(gè)迫切需要解決的問題。推薦系統(tǒng)的出現(xiàn)有效地緩解了這一問題。然而，傳統(tǒng)的推薦方法在處理新用戶冷啟動(dòng)和充分利用用戶反饋問題時(shí)仍面臨挑戰(zhàn)。相較之下，對(duì)話式推薦系統(tǒng)（Conversational Recommender System， CRS）通過與用戶直接交互收集“顯式反饋”，從而實(shí)現(xiàn)更精確的推薦。鑒于對(duì)話式推薦系統(tǒng)在電商和社交媒體中具有巨大的應(yīng)用潛力，其已成為業(yè)界和學(xué)術(shù)界關(guān)注的焦點(diǎn)。本文提出一種新方法，可以解決對(duì)話推薦中的準(zhǔn)確狀態(tài)建模和高效策略制定問題。該方法整合了用戶負(fù)反饋圖以優(yōu)化狀態(tài)表示，并采用動(dòng)態(tài)獎(jiǎng)勵(lì)函數(shù)更有效地指導(dǎo)策略學(xué)習(xí)。此外，通過在智能體中加入歷史對(duì)話狀態(tài)的序列模型編碼，進(jìn)一步增強(qiáng)了模型的推薦性能。

1 相關(guān)工作（Related works）

1.1 傳統(tǒng)推薦系統(tǒng)

傳統(tǒng)的推薦系統(tǒng)通常依賴用戶與項(xiàng)目的交互矩陣，并用機(jī)器學(xué)習(xí)方法挖掘其中的隱含關(guān)系。例如，協(xié)同過濾通過矩陣分解等手段將用戶與項(xiàng)目之間的交互映射到低維空間，進(jìn)而提取特征、找尋相似用戶，并推薦用戶喜好的項(xiàng)目[1]。SALAKHUTDINOV等[2]引入深度學(xué)習(xí)架構(gòu)，使深度學(xué)習(xí)在推薦系統(tǒng)領(lǐng)域得到廣泛應(yīng)用。HIDASI等[3]用循環(huán)神經(jīng)網(wǎng)絡(luò)[4]（Recurrent NeuralNetwork， RNN）對(duì)用戶的交互序列進(jìn)行建模，預(yù)測(cè)下一個(gè)點(diǎn)擊的項(xiàng)目。HE等[5]則使用生成對(duì)抗網(wǎng)絡(luò)，分別在生成和判別模型中進(jìn)行數(shù)據(jù)捕獲和預(yù)測(cè)。WANG等[6]融合了協(xié)同過濾和圖表示學(xué)習(xí)，開發(fā)了一個(gè)神經(jīng)圖協(xié)同過濾框架，通過傳播用戶偏好的項(xiàng)目特征提升推薦結(jié)果的準(zhǔn)確性。

然而，以上方法各有一定的局限性，尤其體現(xiàn)在解決新用戶冷啟動(dòng)和充分利用用戶在線反饋問題方面。相較之下，對(duì)話推薦系統(tǒng)通過與用戶直接對(duì)話并詢問問題以了解用戶需求[7]。這種對(duì)話式推薦在多個(gè)環(huán)境下已受到研究者的廣泛關(guān)注。

1.2 基于屬性的對(duì)話式推薦系統(tǒng)

近年來，學(xué)者們?cè)诨趯傩缘膶?duì)話式推薦技術(shù)方面有多項(xiàng)探索。最初，CRM（Conversational Recommender Model）[8]提出了單輪對(duì)話推薦方法，不論推薦結(jié)果是否被接受，對(duì)話都將在一輪推薦后結(jié)束。該方法用基于長(zhǎng)短期記憶網(wǎng)絡(luò)[9]（LongShort-term Memory，LSTM）的編碼模塊編碼用戶輸入的屬性-值對(duì)，并用二路因子分解機(jī)[10]預(yù)測(cè)用戶對(duì)每個(gè)項(xiàng)目的評(píng)分。后續(xù)研究將CRM擴(kuò)展到多輪交互，根據(jù)先前反饋優(yōu)化后續(xù)推薦，實(shí)現(xiàn)了更精確的推薦。

LEI等[11]提出了一個(gè)多輪對(duì)話推薦框架，包含評(píng)估（Estimation）、動(dòng)作（Action）和反應(yīng)（Reflection）三個(gè)模塊。評(píng)估模塊采用因子分解機(jī)和貝葉斯個(gè)性化排序算法，動(dòng)作模塊基于強(qiáng)化學(xué)習(xí)選取最優(yōu)策略，反應(yīng)模塊則根據(jù)用戶反饋更新?lián)p失函數(shù)[12]。CPR（Conversational Path Reasoning）[13]使用圖模型捕捉候選屬性和項(xiàng)目間的關(guān)系，通過多輪對(duì)話和用戶互動(dòng)，不斷修剪候選產(chǎn)品和屬性，從而提高推薦性能。DENG等[14]綜合先前研究，將推薦、詢問和決策任務(wù)統(tǒng)一在一個(gè)強(qiáng)化學(xué)習(xí)框架中，用基于圖的馬爾可夫決策過程（Markov DecisionProcess， MDP）和圖卷積神經(jīng)網(wǎng)絡(luò)[15]（Graph ConvolutionNetwork， GCN）、Transformer[16]學(xué)習(xí)對(duì)話狀態(tài)，再用深度Q網(wǎng)絡(luò)[17]（Deep Q-Network， DQN）進(jìn)行價(jià)值學(xué)習(xí)。

2 模型構(gòu)建（Model building）

2.1 融合負(fù)反饋的對(duì)話狀態(tài)建模

本文通過將用戶、商品、商品信息等嵌入基于圖的MDP環(huán)境中對(duì)用戶當(dāng)前的對(duì)話狀態(tài)進(jìn)行建模。在用戶與智能體交互的過程中，不斷裁剪環(huán)境中的結(jié)點(diǎn)，每一步交互都將得到表示用戶正反饋和負(fù)反饋信息的動(dòng)態(tài)圖。圖卷積神經(jīng)網(wǎng)絡(luò)是一種聚合節(jié)點(diǎn)周圍信息的有效模型，能捕獲到節(jié)點(diǎn)的高階連通性[18]。因此，本文模型在每一步交互結(jié)束后，使用圖卷積神經(jīng)網(wǎng)絡(luò)分別對(duì)用戶的正反饋圖和反饋圖進(jìn)行圖卷積，提取圖中結(jié)點(diǎn)的結(jié)構(gòu)特征，得到每個(gè)結(jié)點(diǎn)的表示向量。通過注意力機(jī)制對(duì)上一步中的正、負(fù)反饋結(jié)點(diǎn)的表示向量進(jìn)行增強(qiáng)，以此將網(wǎng)絡(luò)的關(guān)注點(diǎn)聚焦于關(guān)鍵的結(jié)點(diǎn)上。通過一個(gè)全連接層將經(jīng)過聚合的結(jié)點(diǎn)表示編碼成最終的對(duì)話狀態(tài)表示向量。融合負(fù)反饋的圖表示學(xué)習(xí)如圖1所示。

2.1.1 基于圖的MDP環(huán)境

本文中將基于圖的MDP環(huán)境定義為由狀態(tài)空間S、動(dòng)作空間A、狀態(tài)轉(zhuǎn)移函數(shù)T：S×A→S 和獎(jiǎng)勵(lì)函數(shù)R：S×A→?構(gòu)成的四元組（S，A，T，R）。其中，狀態(tài)包含了給定用戶u 的情況下，時(shí)刻t 的對(duì)話歷史H （t） u = P（t）acc，P（t）rej，V（t）rej 和該時(shí)刻下與用戶相關(guān)的正反饋圖、負(fù)反饋圖G（t） u = G+（t） u ，G-（t） u 。例如，在基于圖的MDP環(huán)境下（圖2），用戶u0 的目標(biāo)項(xiàng)目是i0 且在時(shí)刻t已經(jīng)接受了屬性p1 和p3，拒絕了項(xiàng)目i1 和屬性p4，則對(duì)話歷史可以表示為H （t） u0= {p1，p3}， p4 ， i1 。

動(dòng)作空間A= V（t）cand，P（t）cand ，分別代表候選項(xiàng)目和候選屬性。其中，候選項(xiàng)目定義為V（t）cand=VP（t）acc＼V（t）rej，VP（t）acc代表所有與P（t）acc 中屬性直接相連的項(xiàng)目。候選屬性定義為P（t）cand=PV（t）cand＼P（t）acc ∪P（t）rej ，即候選項(xiàng)目包含的所有屬性減去已經(jīng)交互過的屬性。

用戶反饋圖表示為由結(jié)點(diǎn)和鄰接矩陣構(gòu)成的二元組G=（N ，A）。對(duì)于正反饋圖G+（t） u ，結(jié)點(diǎn)集合N +（t）={u}∪P（t）acc∪P（t）cand∪V（t）cand，鄰接矩陣則定義為公式（1），用戶和候選項(xiàng)目之間的邊權(quán)重定義如公式（2）所示。

狀態(tài)轉(zhuǎn)移函數(shù)T：S×A→S 根據(jù)t 時(shí)刻的狀態(tài)st 和智能體在動(dòng)作空間A 中選擇的動(dòng)作at 給出下一個(gè)狀態(tài)st+1。動(dòng)作空間中的動(dòng)作有兩類，分別為詢問屬性p 和推薦項(xiàng)目i。如果用戶在t時(shí)刻接受了詢問的屬性pt，則P（t+1）acc =P（t）acc∪pt，否則P（t+1）rej =P（t）rej∪pt;如果用戶拒絕了推薦的項(xiàng)目it，則V（t+1）rej =V（t）rej∪it，否則推薦成功，本輪推薦結(jié)束。

2.1.2 動(dòng)態(tài)獎(jiǎng)勵(lì)函數(shù)

獎(jiǎng)勵(lì)函數(shù)R：S×A→?給出在當(dāng)前狀態(tài)st 下執(zhí)行動(dòng)作at的獎(jiǎng)勵(lì)rt。本文采用根據(jù)環(huán)境變化而變化的動(dòng)態(tài)獎(jiǎng)勵(lì)函數(shù)，首先按照表1根據(jù)當(dāng)前對(duì)話的輪次縮放基礎(chǔ)獎(jiǎng)勵(lì)，然后按照公式（4）根據(jù)候選項(xiàng)目空間中的項(xiàng)目數(shù)量的縮減比例計(jì)算最終的獎(jiǎng)勵(lì)。

2.1.3 融合負(fù)反饋的圖表示學(xué)習(xí)

由于本文將對(duì)話式推薦建模為基于圖的MDP環(huán)境下的統(tǒng)一策略學(xué)習(xí)問題，因此需要將對(duì)話和圖的結(jié)構(gòu)信息編碼為狀態(tài)向量表示。本文采用Trans-E[19]進(jìn)行預(yù)訓(xùn)練，確保異構(gòu)圖中的節(jié)點(diǎn)表示具備結(jié)構(gòu)化特征。然后使用GCN對(duì)環(huán)境中的正、負(fù)反饋圖進(jìn)行圖卷積以捕捉表示當(dāng)前對(duì)話狀態(tài)的圖中的高階結(jié)構(gòu)信息。對(duì)于第l 層圖卷積，計(jì)算方法如公式（5）至公式（7）所示，其中Ni 是第i 個(gè)節(jié)點(diǎn)ni 的鄰接節(jié)點(diǎn)，Wl 和Bl 是訓(xùn)練的參數(shù)。

經(jīng)過GCN編碼后，可以得到結(jié)合了高階結(jié)構(gòu)信息的結(jié)點(diǎn)表示，接著，將圖上所有結(jié)點(diǎn)的表示向量視作序列，利用Transformer Encoder來進(jìn)一步增強(qiáng)結(jié)點(diǎn)的表示，從而讓網(wǎng)絡(luò)更加聚焦在重要的結(jié)點(diǎn)上，如公式（8）至公式（9）所示;最后，對(duì)編碼的結(jié)果做平均聚合，如公式（10）所示。

2.2 基于狀態(tài)序列建模的對(duì)話策略

對(duì)話策略的學(xué)習(xí)是使用時(shí)間差分（Temporal Difference，TD）算法[20]優(yōu)化DQN進(jìn)行的，隨著環(huán)境給出當(dāng)前狀態(tài)和動(dòng)作空間，基于DQN的智能體給出動(dòng)作空間中各個(gè)動(dòng)作的價(jià)值，并選出最大價(jià)值的動(dòng)作執(zhí)行，基于狀態(tài)序列建模的對(duì)話策略如圖3 所示。

2.2.1 狀態(tài)序列建模

記本次對(duì)話的狀態(tài)向量序列為St= st-k，st-k+1，…，st ，其中每一個(gè)狀態(tài)向量都攜帶了特定輪次對(duì)話的細(xì)節(jié)信息。本文利用RNN將狀態(tài)向量序列進(jìn)行編碼，以提取每一次對(duì)話輪次間的狀態(tài)變化特征。這樣的設(shè)計(jì)旨在捕獲對(duì)話動(dòng)態(tài)變化的本質(zhì)特征，以改善推薦準(zhǔn)確性和效率。本文采用門控循環(huán)單元[21]（Gated Recurrent Unit， GRU）的原因是它對(duì)長(zhǎng)序列數(shù)據(jù)有優(yōu)異的記憶和學(xué)習(xí)能力，尤其在處理具有復(fù)雜時(shí)序依賴的任務(wù)時(shí)的表現(xiàn)更加優(yōu)異。門控循環(huán)單元結(jié)構(gòu)簡(jiǎn)單、計(jì)算高效且能解決長(zhǎng)時(shí)序依賴問題，這些優(yōu)點(diǎn)使它成為此類任務(wù)的理想選擇。在實(shí)現(xiàn)細(xì)節(jié)上，狀態(tài)向量通過GRU層進(jìn)行處理，每一個(gè)狀態(tài)都被更新并與前一個(gè)狀態(tài)相關(guān)聯(lián)。公式（12）表示狀態(tài)向量序列通過GRU進(jìn)行編碼后的輸出，記為^st。

2.2.2 價(jià)值學(xué)習(xí)

最優(yōu)動(dòng)作價(jià)值函數(shù)Q* （st，at）為采取最優(yōu)策略π* 能得到的最大折扣期望匯報(bào)，根據(jù)Bellman方程，最優(yōu)動(dòng)作價(jià)值函數(shù)定義為公式（13），其中γ 為折扣因子。

本文采用Dueling Q-Network[22]的設(shè)定，將價(jià)值網(wǎng)絡(luò)實(shí)現(xiàn)為狀態(tài)價(jià)值網(wǎng)絡(luò)和動(dòng)作優(yōu)勢(shì)網(wǎng)絡(luò)兩個(gè)獨(dú)立的神經(jīng)網(wǎng)絡(luò)，如公式（14）所示。其中：fθV （st）是狀態(tài)價(jià)值網(wǎng)絡(luò)，θV 是網(wǎng)絡(luò)的參數(shù)，fθA （st，at）是動(dòng)作優(yōu)勢(shì)網(wǎng)絡(luò)，θA 是網(wǎng)絡(luò)的參數(shù)，θS 是圖表示學(xué)習(xí)的參數(shù)。

在每輪對(duì)話中，智能體都能從基于圖的MDP 環(huán)境中得到當(dāng)前時(shí)刻t的狀態(tài)的表示向量st=es 和動(dòng)作空間At，接著通過狀態(tài)序列建模將本次對(duì)話中的每輪對(duì)話狀態(tài)向量進(jìn)行編碼，并得到包含狀態(tài)變化特征的狀態(tài)表示向量^st。智能體利用動(dòng)作價(jià)值函數(shù)Q（st，at）估計(jì)動(dòng)作空間A 中的各個(gè)動(dòng)作的價(jià)值，并使用ε-greedy策略從動(dòng)作空間中選出要執(zhí)行的動(dòng)作at。環(huán)境則根據(jù)智能體選擇的動(dòng)作給出動(dòng)作at 的獎(jiǎng)勵(lì)rt，然后轉(zhuǎn)移到下一個(gè)狀態(tài)st+1 并更新動(dòng)作空間At+1。

記六元組（st，at，rt，st+1，At+1，St-1）為一條經(jīng)驗(yàn)，為了提高價(jià)值網(wǎng)絡(luò)的學(xué)習(xí)效率，將每次對(duì)話得到的經(jīng)驗(yàn)存放在重放記憶（Replay Memory）D 中，每次采樣一個(gè)小批量用于更新網(wǎng)絡(luò)參數(shù)。如公式（15）至公式（16）所示，本文通過最小化均方差損失的方式優(yōu)化價(jià)值網(wǎng)絡(luò)，其中yt 是TD 誤差。

3 實(shí)驗(yàn)（Experiment）

3.1 數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)集采用LastFM數(shù)據(jù)集和LastFM*數(shù)據(jù)集。其中，LastFM數(shù)據(jù)集是由Last.fm發(fā)布的音樂推薦數(shù)據(jù)集，包含來自1 801位用戶的聽歌記錄。為了便于建模，LEI等[11]將LastFM的原始屬性人工手動(dòng)合并成33個(gè)粗粒度屬性組。同時(shí)，LEI等[13]認(rèn)為手動(dòng)合并屬性在實(shí)際應(yīng)用中并非最佳實(shí)踐，因此他們?cè)贚astFM 數(shù)據(jù)集的基礎(chǔ)上使用原始的屬性重構(gòu)出LastFM*數(shù)據(jù)集。LastFM數(shù)據(jù)集和LastFM*數(shù)據(jù)集的數(shù)據(jù)量見表2。

3.2 實(shí)現(xiàn)細(xì)節(jié)

本文將最大對(duì)話輪次數(shù)T 設(shè)為15輪，將推薦列表的大小K 設(shè)為10，并將每個(gè)數(shù)據(jù)集分割為7∶1.5∶1.5用于訓(xùn)練、驗(yàn)證和測(cè)試。本文使用OpenKE[23]中實(shí)現(xiàn)的Trans-E算法，在基于訓(xùn)練集構(gòu)建的圖上進(jìn)行節(jié)點(diǎn)表示的預(yù)訓(xùn)練。對(duì)于實(shí)驗(yàn)中所有的基線方法，本文都使用用戶模擬器[11]進(jìn)行了10 000輪對(duì)話的在線訓(xùn)練。超參數(shù)的設(shè)置如下：嵌入大小和圖表示學(xué)習(xí)的輸出層大小分別設(shè)置為64和100;GCN層數(shù)Lg ，Transformer層數(shù)LT 和GRU的層數(shù)Ls 分別設(shè)置為2、1和2;選中的候選屬性Kp 和項(xiàng)目Kv 的數(shù)量都設(shè)置為10;在DQN的訓(xùn)練過程中，經(jīng)驗(yàn)回放緩沖區(qū)的大小為50 000，從經(jīng)驗(yàn)回放緩沖區(qū)中每次采樣的小批量的大小為128;學(xué)習(xí)率和L2范數(shù)正則化系數(shù)分別設(shè)置為10-4 和10-6，使用Adam 優(yōu)化器;折扣因子γ 和更新頻率τ 分別設(shè)為0.999和0.01。

3.3 實(shí)驗(yàn)結(jié)果與分析

3.3.1 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文所提出模型的有效性，比較了本文提出的模型與四個(gè)基線模型在15輪推薦準(zhǔn)確率（SR@15）和平均推薦成功輪數(shù)（AT）指標(biāo)上的性能表現(xiàn)，實(shí)驗(yàn)結(jié)果如表3所示。本文分別實(shí)現(xiàn)了三個(gè)不同版本的推薦模型，如表3中的（a）將用戶負(fù)反饋信息分別建模為正反饋圖和負(fù)反饋圖;（b）在（a）的基礎(chǔ)上實(shí)現(xiàn)了動(dòng)態(tài)獎(jiǎng)勵(lì)函數(shù);（c）又在（b）的基礎(chǔ)上在智能體中使用GRU對(duì)歷史對(duì)話狀態(tài)序列進(jìn)行編碼。表3中的結(jié)果表明，本文提出的模型（c）在兩個(gè)數(shù)據(jù)集上均取得了最佳結(jié)果，相較于次優(yōu)模型分別在推薦成功率指標(biāo)上提升了21%和13.7%，在平均推薦輪次數(shù)指標(biāo)上降低了1.56輪和2.35輪。

3.3.2 不同輪次內(nèi)的推薦成功率

圖4和圖5展示了在LastFM 和LastFM*上，本文模型在每個(gè)對(duì)話輪次t下的推薦成功率（SR@t）。雖然動(dòng)態(tài)獎(jiǎng)勵(lì)函數(shù)在推薦初期可能降低成功率，但是它能提升模型的長(zhǎng)期推薦效果。這是因?yàn)?，在初期，詢問屬性有助于了解用戶偏好，進(jìn)而縮小推薦范圍。短期內(nèi)這可能會(huì)降低成功率，但從長(zhǎng)遠(yuǎn)看，能更精確地滿足用戶需求，提高推薦成功率。模型在不同數(shù)據(jù)集上使用了不同推薦策略。例如，在屬性豐富的LastFM*上，模型更傾向于早期推薦，而在屬性較少的LastFM 數(shù)據(jù)集上則較為保守，前幾輪幾乎沒有推薦。引入GRU對(duì)歷史對(duì)話進(jìn)行編碼進(jìn)一步提高了推薦效果，說明歷史對(duì)話對(duì)于了解用戶需求和偏好很重要，GRU 能有效捕獲這些信息，為模型提供準(zhǔn)確的上、下文。

4 結(jié)論（Conclusion

本文通過深入探究對(duì)話式推薦系統(tǒng)中用戶負(fù)反饋及對(duì)話歷史信息的有效性，成功構(gòu)建了一個(gè)全新的對(duì)話式推薦模型。負(fù)反饋圖不僅為系統(tǒng)提供了更全面的用戶偏好畫像，動(dòng)態(tài)獎(jiǎng)勵(lì)函數(shù)也成功地緩解了獎(jiǎng)勵(lì)稀疏的問題，促使系統(tǒng)能更好地從用戶反饋中學(xué)習(xí)。此外，序列模型的引入進(jìn)一步優(yōu)化了推薦效果，證明了對(duì)話歷史信息在揭示用戶深層次需求和偏好中的關(guān)鍵作用。在實(shí)驗(yàn)中，該模型被應(yīng)用于LastFM 和LastFM*兩個(gè)數(shù)據(jù)集，與最優(yōu)的基線模型相比推薦成功率分別提升21%和13.7%，平均推薦輪次數(shù)也分別降低了1.56輪和2.35輪。盡管本文提出的模型考慮了用戶負(fù)反饋和對(duì)話歷史信息，但如何有效地處理用戶歷史反饋的漂移和變化，并在不斷學(xué)習(xí)的過程中保持推薦系統(tǒng)的穩(wěn)定性，是一個(gè)值得未來深入研究的方向。