一種基于個(gè)性化成對(duì)損失加權(quán)的新穎推薦

唐曉鳳，雷向東

1(永州職業(yè)技術(shù)學(xué)院 醫(yī)學(xué)技術(shù)學(xué)院，湖南 永州 425000) 2(中南大學(xué) 計(jì)算機(jī)學(xué)院， 長(zhǎng)沙 410083)

1 引 言

推薦系統(tǒng)作為一個(gè)研究如何有效地把系統(tǒng)中的實(shí)體連接起來(lái)的系統(tǒng)，在當(dāng)今的企業(yè)中起著至關(guān)重要的作用.推薦系統(tǒng)的主要目的是為用戶生成有趣的負(fù)項(xiàng)列表(與特定用戶沒有歷史互動(dòng)的項(xiàng)目)，以使用戶和項(xiàng)目的提供者從系統(tǒng)中受益[1,2].在推薦系統(tǒng)中，大多數(shù)工作主要著重于提高預(yù)測(cè)用戶與項(xiàng)目交互的準(zhǔn)確性，前提是假定準(zhǔn)確的推薦可以最好地滿足用戶的需求.例如，以準(zhǔn)確性為中心的系統(tǒng)將向觀看過(guò)“權(quán)利的游戲-第1季”的用戶推薦“權(quán)利的游戲-第2季”.但是，僅關(guān)注準(zhǔn)確性會(huì)給用戶和提供者帶來(lái)負(fù)面影響，因?yàn)樗赡軙?huì)偏向于流行的商品[3].用戶將不得不承擔(dān)他們很了解的相同受歡迎的推薦，并且發(fā)現(xiàn)新奇有趣物品的機(jī)會(huì)更少.供應(yīng)商，尤其是那些銷售不流行的項(xiàng)目的供應(yīng)商，將很難獲得收入.更好的推薦系統(tǒng)還應(yīng)考慮其他因素，例如“項(xiàng)目新穎性”[3].由于提倡新穎性會(huì)降低準(zhǔn)確性，因此需要優(yōu)化它們之間的權(quán)衡.以往大多數(shù)關(guān)于小說(shuō)推薦的研究都采用兩階段重排序的方式來(lái)生成前N名列表[4].通常，重排序方法將首先訓(xùn)練一個(gè)注重精度的基本模型以生成候選列表，然后對(duì)候選列表重新排序以提供新穎的前N個(gè)列表.盡管重新排序通常是高效且靈活的，但存在兩個(gè)主要限制.首先，他們沒有經(jīng)過(guò)端到端的訓(xùn)練，而是兩個(gè)階段的訓(xùn)練，這使得訓(xùn)練過(guò)程相當(dāng)冗長(zhǎng)，并且整個(gè)推薦并未同時(shí)針對(duì)新穎性和準(zhǔn)確性這兩個(gè)目標(biāo)進(jìn)行優(yōu)化.其次，性能基本上受獨(dú)立基礎(chǔ)模型的限制.當(dāng)基礎(chǔ)模型高度偏向流行項(xiàng)時(shí)，其輸出的候選列表也包含流行項(xiàng)，從而導(dǎo)致后處理的重新排名也有偏向.

此外，在訓(xùn)練基礎(chǔ)模型時(shí)，大多數(shù)損失函數(shù)由于無(wú)法區(qū)分兩種類型的負(fù)面項(xiàng)目(“未知負(fù)項(xiàng)”和“不喜歡的負(fù)項(xiàng)”)而存在問(wèn)題.在推薦系統(tǒng)中，希望可以給用戶推薦不知道其存在的“有趣但未知的項(xiàng)目”[5].推薦系統(tǒng)中常用的損失函數(shù)，如貝葉斯個(gè)性排名(BPR)，對(duì)負(fù)項(xiàng)項(xiàng)進(jìn)行統(tǒng)一處理，抑制所有預(yù)測(cè)的評(píng)級(jí)，而與否定，未知或不喜歡的類型無(wú)關(guān)[6].

另外，用戶個(gè)人偏好未明確包含在損失函數(shù)中.大多數(shù)損失函數(shù)僅將目標(biāo)評(píng)級(jí)作為輸入[6,7].如果模型明確地集成到損失函數(shù)中，則可以更輕松地學(xué)習(xí)用戶偏好.

為了提高系統(tǒng)中的新穎性以及處理?yè)p失函數(shù)的問(wèn)題，在此提出了個(gè)性化成對(duì)新穎性加權(quán)(PNW)方法.該方法自然地將用戶和商品的新穎性信息明確地集成到成對(duì)丟失函數(shù)中，從而形成了一個(gè)一階段的新穎性推薦系統(tǒng)，并使基本模型能夠有效地學(xué)習(xí)用戶新穎性偏好.此外，它還有助于減輕“有趣的未知項(xiàng)目”與其他“不喜歡的項(xiàng)目”受到一樣抑制的問(wèn)題.由于用戶對(duì)某個(gè)項(xiàng)目的不了解與該項(xiàng)目的新穎性成正比[8]，因此，一個(gè)新穎的項(xiàng)目更可能是“未知”，而不是“不喜歡”.通過(guò)將新穎性引入損失函數(shù)，該方法能夠根據(jù)負(fù)項(xiàng)的新穎性水平來(lái)降低或增加負(fù)項(xiàng)的損失.而且，上述在準(zhǔn)確性和新穎性之間的權(quán)衡也可以變成雙贏的解決方案，這意味著推薦不流行或僅有輕微下降的不流行的新穎物品.為了實(shí)現(xiàn)這一目標(biāo)，利用了用戶對(duì)新穎項(xiàng)目的個(gè)人偏愛.直觀地，該方法嘗試僅向?qū)π路f性有強(qiáng)烈偏好的用戶推薦新穎的項(xiàng)目，否則推薦新穎的項(xiàng)目會(huì)帶來(lái)巨大的準(zhǔn)確性成本[9].

具體而言，首先根據(jù)項(xiàng)目受歡迎程度來(lái)衡量用戶和項(xiàng)目的新穎性.然后，采用改進(jìn)的高斯RBF核函數(shù)對(duì)項(xiàng)目在新穎性方面與用戶的偏好匹配進(jìn)行建模.接下來(lái)，通過(guò)提升項(xiàng)目新穎性評(píng)分來(lái)進(jìn)一步強(qiáng)調(diào)新穎項(xiàng)目.最后，為了將所有這些信息集成到損失函數(shù)中，設(shè)計(jì)了兩種新穎性加權(quán)策略，將新穎性信息映射到適當(dāng)?shù)某叨纫赃M(jìn)行損失加權(quán).總體而言，提出的方法旨在推廣新穎的項(xiàng)目，并且該項(xiàng)目也符合特定用戶的新穎性偏好.與普通物品相比，新穎的項(xiàng)目更加重要；新穎的匹配項(xiàng)比新穎的不匹配項(xiàng)更受重視.

2 相關(guān)工作

在這一節(jié)中大致介紹了現(xiàn)有的推薦系統(tǒng)相關(guān)研究工作.

新穎性在推薦系統(tǒng)中的重要性已得到公認(rèn).為了提高系統(tǒng)的新穎性，大多數(shù)作品采用了重新排序策略，對(duì)基本模型的輸出進(jìn)行后處理.PRA[4]引入了一種通用方法，通過(guò)重新排列前N個(gè)項(xiàng)目和下M個(gè)候選項(xiàng)目來(lái)提升長(zhǎng)尾項(xiàng)目.通過(guò)只考慮前N+M項(xiàng)，PRA能夠保持準(zhǔn)確性.

除了常用的基于頻率的新穎性度量外，一些研究還使用了其他新穎性定義并相應(yīng)地改變了方法.在文獻(xiàn)[10]中，新穎的東西是沒有互動(dòng)的餐館.作者根據(jù)用戶的求新現(xiàn)狀，設(shè)計(jì)了一個(gè)推薦新餐廳的框架.

損失加權(quán)是訓(xùn)練過(guò)程中調(diào)整損失的一種直觀、方便的方法，被廣泛應(yīng)用于處理其他問(wèn)題，如不平衡類問(wèn)題[11].在推薦系統(tǒng)中，損失加權(quán)主要是為了提高推薦精度.文獻(xiàn)[12] 根據(jù)交互頻率加權(quán)隱式反饋.更高的交互頻率意味著更高的置信水平，因此在訓(xùn)練過(guò)程中，應(yīng)該通過(guò)增加其損失來(lái)強(qiáng)調(diào)交互的重要性.在文獻(xiàn)[13]中，采用基于等級(jí)的加權(quán)方案來(lái)懲罰在列表中排名較低的正項(xiàng)目.

3 背景介紹

在這一節(jié)中，首先介紹相關(guān)符號(hào)，然后給出了新穎性的定義以及在本文中使用的度量.并在此基礎(chǔ)上，簡(jiǎn)要討論了BPR損失函數(shù)的優(yōu)點(diǎn)和局限性.

需要使用的符號(hào)總結(jié)在表1中.

表1 相關(guān)符號(hào)介紹Table 1 Symbol and itsdefinition

3.1 新穎性的定義

根據(jù)以往的研究[14]，項(xiàng)目新穎性可以根據(jù)工作的重點(diǎn)進(jìn)行不同的定義.在這項(xiàng)工作中，主要關(guān)注長(zhǎng)期存在但不流行的項(xiàng)目.一個(gè)項(xiàng)目已經(jīng)在系統(tǒng)中存在了一段時(shí)間，但它還不夠流行，無(wú)法被大多數(shù)用戶看到.然后，對(duì)這些用戶來(lái)說(shuō)，這個(gè)項(xiàng)目是新穎的[14](再未具體解釋的情況下，新穎等于不流行).由于不流行的項(xiàng)目構(gòu)成了許多系統(tǒng)的大多數(shù)，通過(guò)向適當(dāng)?shù)挠脩敉扑]這些項(xiàng)目，可以實(shí)現(xiàn)大量的潛在交易.此外，推廣不流行的產(chǎn)品有利于用戶和供應(yīng)商，并提高市場(chǎng)競(jìng)爭(zhēng)力.

(1)

對(duì)于項(xiàng)θi，公式(1)根據(jù)用戶總數(shù)對(duì)頻率進(jìn)行歸一化，然后對(duì)數(shù)縮放.對(duì)于用戶θu，還包括反映用戶對(duì)該項(xiàng)目的滿意度的評(píng)分等級(jí)rui.因此，用戶對(duì)新穎性的偏好與用戶的過(guò)去項(xiàng)目的新穎性分?jǐn)?shù)成正比，并通過(guò)用戶的評(píng)分進(jìn)行校正.

3.2 貝葉斯個(gè)性化排序(BPR)

相反，BPR將隱式推薦任務(wù)定義為一個(gè)分類問(wèn)題.

(2)

在BPR中，σ(·)是sigmoid函數(shù)，輸入是一對(duì)(u，i+，i-)具有i+的用戶u和采樣i-，其中i+∈Iu和i+?Iu.

1)逐點(diǎn)損失函數(shù)的優(yōu)點(diǎn)：首先，BPR成對(duì)的優(yōu)化模型，一次使用兩個(gè)項(xiàng)目，而不是在實(shí)例級(jí)別.此外，BPR除了對(duì)所有負(fù)項(xiàng)的預(yù)測(cè)得分均勻地抑制以外，還隨機(jī)抽取負(fù)項(xiàng)，根據(jù)正負(fù)項(xiàng)對(duì)的相對(duì)差異來(lái)評(píng)估損失，從而捕捉用戶對(duì)項(xiàng)目對(duì)的個(gè)性化偏愛.相對(duì)差異的概念是決定性的，因?yàn)樨?fù)項(xiàng)的目標(biāo)值不再像MSE一樣為零.

2)BPR的局限性：然而，BPR并非完美無(wú)缺.當(dāng)一個(gè)負(fù)項(xiàng)在訓(xùn)練中有更高的預(yù)測(cè)評(píng)分時(shí)，BPR懲罰更嚴(yán)厲.但是，否定項(xiàng)可以是未知項(xiàng)，但不一定是不喜歡的項(xiàng).在這種情況下，較高的預(yù)測(cè)評(píng)分表示用戶可能對(duì)這個(gè)未知的負(fù)項(xiàng)感興趣，應(yīng)該推薦它.為了緩解對(duì)有趣的“未知項(xiàng)”錯(cuò)誤懲罰的問(wèn)題，在BPR中引入新穎性評(píng)分有利于區(qū)分“未知項(xiàng)”和“不喜歡項(xiàng)”.此外，用戶偏好并沒有明確地包含在BPR損失函數(shù)中.如果模型明確地集成在損失函數(shù)中，那么它可以更容易地學(xué)習(xí)用戶偏好.

為了解決這些問(wèn)題并提高系統(tǒng)的新穎性，所以提出了個(gè)性化的成對(duì)新穎性加權(quán)(PNW)方法.

4 提出的模型概念

4.1 用戶和物品的新穎性調(diào)整

在這一部分中，首先對(duì)用戶和項(xiàng)目新穎性進(jìn)行建模，并將其調(diào)整為適合于后續(xù)損失加權(quán)的形式.

1)用戶新穎性偏好：假設(shè)每個(gè)用戶都有一定的新穎性興趣范圍.例如，喜歡小眾項(xiàng)目的用戶對(duì)大眾項(xiàng)目的興趣會(huì)降低.為了模擬用戶的新穎性偏好，使用的方法是均值和標(biāo)準(zhǔn)差.

(3)

θu的值越大，對(duì)應(yīng)于新穎性偏好越高.σθu的值顯示了該用戶的新穎性興趣有多大.有了這些用戶新穎性偏好的統(tǒng)計(jì)數(shù)據(jù)，可以測(cè)量用戶和項(xiàng)目之間的新穎性匹配得分.采用帶可控參數(shù)λ的高斯徑向基函數(shù)(RBF)核來(lái)度量新穎性匹配分?jǐn)?shù).

(4)

θu和θi是用戶和項(xiàng)目的新穎性分?jǐn)?shù).這里的λ是一個(gè)超參數(shù)，與σθu一起，控制用戶新穎性偏好范圍的擴(kuò)展程度.大多數(shù)真實(shí)世界的數(shù)據(jù)集，由于其極端的稀疏性，由許多用戶組成，他們有狹隘的新穎性.λ≥1可以擴(kuò)大計(jì)算出的新穎性偏好，允許新穎項(xiàng)具有更高的匹配度.從經(jīng)驗(yàn)上講，λ∈[1.5，2.5]在這里的所有的實(shí)驗(yàn)中都很有效.第四節(jié)詳細(xì)討論了λ在系統(tǒng)中的作用，新穎性匹配分?jǐn)?shù)的取值范圍為M(u，i)∈[0，1].

4.2 個(gè)性化新穎性評(píng)分

在這一部分，介紹了個(gè)性化的新穎性評(píng)分.首先，個(gè)性化新穎性評(píng)分應(yīng)滿足兩個(gè)要求：

1)如果一個(gè)項(xiàng)目更好地滿足用戶的偏好，它應(yīng)該有更高的個(gè)性化新穎性評(píng)分.

2)當(dāng)一個(gè)新的項(xiàng)目和一個(gè)流行的項(xiàng)目到一個(gè)特定的用戶有相同的距離時(shí)，新項(xiàng)目應(yīng)該比流行項(xiàng)目有更高的個(gè)性化新穎性得分.

最后，個(gè)性化的新穎性評(píng)分不僅應(yīng)強(qiáng)調(diào)新穎性，而且應(yīng)正確反映出某項(xiàng)匹配用戶新穎性偏好的程度.

首先將歸一化的項(xiàng)目新穎性評(píng)分提高到公式(5)，從而得到一個(gè)高階的新穎性評(píng)分.這個(gè)高階分?jǐn)?shù)是以指數(shù)級(jí)強(qiáng)調(diào)新項(xiàng)目，而不是原來(lái)的線性.因此，與普通項(xiàng)目相比，新項(xiàng)目被賦予了更高的價(jià)值.

(5)

然后，通過(guò)合并“高階新穎性評(píng)分”和“新穎性匹配評(píng)分”計(jì)算個(gè)性化新穎性分?jǐn)?shù)，如公式(6)所示：

(6)

個(gè)性化新穎性分?jǐn)?shù)包含兩個(gè)決定性因素：對(duì)新穎的強(qiáng)調(diào)和個(gè)人新穎性偏好.因此，過(guò)此單個(gè)分?jǐn)?shù)即可實(shí)現(xiàn)兩個(gè)要求.

4.3 個(gè)性化成對(duì)新奇加權(quán)(PNW)

在這一部分中，將個(gè)性化新穎性得分π(u，i)轉(zhuǎn)換為用于BPR的損失權(quán)重Wloss.當(dāng)Wloss=1時(shí)，不用損失權(quán)重.經(jīng)驗(yàn)上，當(dāng)使用更大的損失權(quán)重，如Wloss∈[1，10]時(shí)，損失權(quán)重的大部分值都會(huì)落在Wloss∈[0，2]區(qū)域，最終會(huì)過(guò)分強(qiáng)調(diào)原始損失.此外，負(fù)損失權(quán)重應(yīng)限制為0，因?yàn)椴粦?yīng)更改生成的梯度方向.

第1個(gè)損失加權(quán)策略稱為Gamma匹配(PNW-G)，由于其Gamma參數(shù)而具有很高的靈活性，可以通過(guò)另外兩個(gè)超參數(shù)獲得更好的性能. 第2種策略稱為“批歸一化匹配(PNW-BN)”，它使用批歸一化來(lái)生成權(quán)重以進(jìn)行損失加權(quán)，并且?guī)缀鯖]有超參數(shù).

1)伽瑪損失加權(quán)(PNW-G)：首先對(duì)每個(gè)用戶π(u，i+)和π(u，i-)的正和負(fù)項(xiàng)的個(gè)性化新穎性評(píng)分進(jìn)行建模，如前文所述 .然后，通過(guò)以公式(7)獲得伽馬損失權(quán)重.

(7)

此處的超參數(shù)γ用于控制損耗加權(quán)的強(qiáng)度.當(dāng)gamma設(shè)置為0時(shí)，加權(quán)后的BPR會(huì)減小為原始BPR損失函數(shù). 在[π(u，i+)-π(u，i-)]的大多數(shù)值較小的情況下(例如0.005)，損失加權(quán)在訓(xùn)練中幾乎沒有影響，而更大的γ值可以幫助放大.

(8)

當(dāng)Gamma損耗加權(quán)策略在原有α和λ的基礎(chǔ)上增加一個(gè)參數(shù)γ時(shí)，可以獲得更高的性能.

2)批量歸一化損耗加權(quán)(PNW-BN)：PNW-BN不依賴γ來(lái)調(diào)整損失加權(quán)的強(qiáng)度，而是采用批量歸一化來(lái)自動(dòng)調(diào)整.如公式(9)所示.

(9)

3)兩種情況：這些損失加權(quán)策略涵蓋了兩種情況，并在以下直觀的層面上進(jìn)行了討論：

4.4 與其他損失加權(quán)法的關(guān)系

所提出的方法是用于新穎性推薦的一般成對(duì)損失加權(quán)策略.損失函數(shù)中同時(shí)考慮了新穎性和個(gè)人偏好，使得基本模型能夠更好地在預(yù)測(cè)精度和推薦新穎性之間進(jìn)行權(quán)衡.先前的研究“AllRank-Pop”[15]也使用了損失加權(quán)方案來(lái)改善推薦中的不受歡迎程度，在一般情況下與提出的方法類似.事實(shí)上，AllRank-Pop是一個(gè)更通用的“ALL-Rank”損失加權(quán)模型的改進(jìn)版本[16].它旨在設(shè)計(jì)一個(gè)“無(wú)偏流行程度分層測(cè)驗(yàn)”，而新穎性的損失權(quán)重并不是主要關(guān)注點(diǎn).在AllRank-Pop中將只對(duì)一種項(xiàng)目(正或負(fù))與過(guò)去用戶數(shù)的倒數(shù)成比例，而對(duì)剩余的一種商品按固定值加權(quán).該模型在3個(gè)方面與AllRank-Pop不同.

1)將損失權(quán)重整合到成對(duì)損失函數(shù)中，同時(shí)使用逐點(diǎn)MSE.

2)提出的模型沒有區(qū)別對(duì)待正項(xiàng)和負(fù)項(xiàng)，每個(gè)項(xiàng)目都將以相同的方式加權(quán).然而，在AllRank-Pop中，正項(xiàng)或負(fù)項(xiàng)將被分配一個(gè)固定的權(quán)重.

3)提出的方法考慮了個(gè)人偏好.然而，AllRank-Pop損失權(quán)重在全局范圍內(nèi)，但是個(gè)人偏好被排除在外.

具體的比較請(qǐng)參考實(shí)驗(yàn)部分.

5 實(shí) 驗(yàn)

在這一節(jié)中，將描述實(shí)驗(yàn)的設(shè)置，并詳細(xì)討論實(shí)驗(yàn)結(jié)果.

5.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

整個(gè)實(shí)驗(yàn)是在一臺(tái)Windows 10 64位操作系統(tǒng)的臺(tái)式機(jī)上進(jìn)行，電腦配置為英特爾I7 3.5Ghz處理器，16GB內(nèi)存，以及英偉達(dá)GTX 2080Ti顯卡.實(shí)驗(yàn)采用python 3.7編程語(yǔ)言實(shí)現(xiàn).

在此使用了3個(gè)公開的數(shù)據(jù)集來(lái)評(píng)估模型的有效性：論文推薦數(shù)據(jù)集Citeulike-a[17]，視覺推薦數(shù)據(jù)集Pinterest[18]和電影推薦數(shù)據(jù)集MovieLens-1M[19].這些數(shù)據(jù)集的描述匯總在表2中.Citeulike-a和Pinterest是非常稀疏的設(shè)置，ML-1M更密集.

表2 3種數(shù)據(jù)集的介紹Table 2 Three data sets

5.2 基礎(chǔ)模型設(shè)置

為了評(píng)估該方法的通用性，選擇了3個(gè)以準(zhǔn)確性為重點(diǎn)的模型作為基礎(chǔ)模型：廣義矩陣分解(GMF)[20]，神經(jīng)矩陣分解(NMF)[6]，和協(xié)作內(nèi)存網(wǎng)絡(luò)(CMN)[7].并將在其上應(yīng)用提出的方法.通過(guò)優(yōu)化BPR損失函數(shù)來(lái)訓(xùn)練所有基本模型.

參數(shù)設(shè)定

對(duì)于基礎(chǔ)模型，ML-1M和Pinterest的最小批量大小設(shè)置為256，Citeulike-a設(shè)置為128.對(duì)于BPR損失函數(shù)中的所有實(shí)驗(yàn)，使用負(fù)比率為6. GMF和CMN的隱藏特征數(shù)固定為50.另一方面，對(duì)于NMF，最后一層具有32個(gè)隱藏特征. 在隱藏層方面，NMF受3層訓(xùn)練； 具有2層的CMN； GMF默認(rèn)為1.所有模型都使用BPR損失函數(shù)進(jìn)行訓(xùn)練.

對(duì)于提出的方法PNW，無(wú)論基礎(chǔ)模型如何，都僅基于數(shù)據(jù)集設(shè)置參數(shù).對(duì)于Citeulike-a，α設(shè)置為1.5.對(duì)于Pinterest和ML-1M，普通用戶的新穎性偏好相對(duì)較窄(σθu較小).為了使用戶能夠更加注意項(xiàng)目，將α設(shè)置為2.5. 在BN損失加權(quán)PNW-BN中，分別對(duì)ML-1M，Pinterest和Citeulike-a使用λ={2，2，7}.在伽瑪損失加權(quán)PNW-G(λ)中，對(duì)于ML-1M，將γ={40，125}設(shè)置為PNW-G({2，4})； 對(duì)于Pinterest，使用PNW-G({2，4})設(shè)置γ={25，100}；對(duì)于Citeulike-a，分別使用PNW-G({7，9})設(shè)置γ={40，75}.如第4.3節(jié)所述，根據(jù)經(jīng)驗(yàn)選擇這些值以確保大多數(shù)權(quán)重落在[0，2]的范圍內(nèi).

5.3 基準(zhǔn)模型和設(shè)置

進(jìn)行比較實(shí)驗(yàn)時(shí)，使用兩種重新排序方法和一種損失加權(quán)方法.

5.3.1 重新排序方法

長(zhǎng)尾挖掘(5D)[22]是一種重新排序框架，特別是用于長(zhǎng)尾物品促銷.為了平衡重新排名列表的各種標(biāo)準(zhǔn)，框架將多個(gè)目標(biāo)合并為一個(gè)分?jǐn)?shù)，稱為5D分?jǐn)?shù)，該分?jǐn)?shù)匯總了5個(gè)維度的表現(xiàn)，包括準(zhǔn)確性，覆蓋范圍，平衡，數(shù)量和質(zhì)量.重新排名需要兩個(gè)步驟.首先，通過(guò)基礎(chǔ)模型預(yù)測(cè)所有可能的用戶項(xiàng)目對(duì)的缺失評(píng)分，然后使用評(píng)分將有限的資源分配給每個(gè)項(xiàng)目.其次，通過(guò)考慮用戶的相對(duì)偏好和項(xiàng)目資源，計(jì)算5D得分并根據(jù)其進(jìn)行重新排名.在本文中，進(jìn)行了兩個(gè)5D實(shí)驗(yàn).“5D-Pop”僅基于5D得分生成top-N，從而顯著提升長(zhǎng)尾物品.在“5D-Pop”之后，“5D-RR ACC”執(zhí)行2個(gè)額外的算法，即排名等級(jí)(RR)和準(zhǔn)確性過(guò)濾(ACC)，以保持基本模型的準(zhǔn)確性.在此使用默認(rèn)設(shè)置[22]，在最大化問(wèn)題中，我們遵循文獻(xiàn)[9]，將參數(shù)設(shè)置為K=3|I|和q=1.

5.3.2 新穎性損失加權(quán)方法

如第4.4節(jié)所述，AllRank-Pop是一種應(yīng)用于逐點(diǎn)損失函數(shù)MSE的損失加權(quán)方法. 損失權(quán)重設(shè)計(jì)為與商品新穎性成正比. 在本實(shí)驗(yàn)中，使用模型的“遞減策略”變體，以抑制受歡迎的正項(xiàng)的權(quán)重.對(duì)于負(fù)項(xiàng)，假設(shè)所有實(shí)驗(yàn)均基于隱式反饋，則使用固定權(quán)重Wneg=0.005并將估算的缺失評(píng)分設(shè)置為Rneg=0.4. 進(jìn)行兩個(gè)實(shí)驗(yàn)，分別為βw={0.9，0.95}.較高的βw應(yīng)該會(huì)推薦新穎性更高的產(chǎn)品.

5.4 評(píng)價(jià)指標(biāo)

本實(shí)驗(yàn)在實(shí)驗(yàn)時(shí)間上采用了“留一法”的評(píng)價(jià)策略[6,7].在這個(gè)設(shè)置中，每個(gè)用戶隨機(jī)拿出一個(gè)正項(xiàng)進(jìn)行評(píng)估，而其他正項(xiàng)則用于訓(xùn)練.在評(píng)估過(guò)程中，如文獻(xiàn)[6,7]所示，測(cè)試集由保留項(xiàng)和每個(gè)用戶隨機(jī)抽取的100個(gè)負(fù)項(xiàng)構(gòu)成.任務(wù)是為每個(gè)用戶對(duì)101項(xiàng)進(jìn)行排序.所有的實(shí)驗(yàn)結(jié)果均在前十名中進(jìn)行評(píng)估.為了驗(yàn)證提出的方法的準(zhǔn)確性和新穎性，使用以下指標(biāo)：

5.4.1 準(zhǔn)確度指標(biāo)

·命中率(HR)是保留在列表中前N名的項(xiàng)目的比率.

·歸一化貼現(xiàn)累積收益(NDCG)衡量HR等準(zhǔn)確性，當(dāng)正項(xiàng)在列表中排名較低時(shí)會(huì)受到更大的懲罰.

5.4.2 新穎性評(píng)價(jià)

·長(zhǎng)尾比(L_Tail)是前N名中長(zhǎng)尾項(xiàng)目的比率.根據(jù)帕累托原則[23]，與20%最流行的項(xiàng)目相比，長(zhǎng)尾商品在不受歡迎的項(xiàng)目中占前80%.

·平均新穎性得分(Nov得分)是前N名推薦項(xiàng)目的平均新穎性得分.

5.5 與重排序方法的比較

在本節(jié)中，模型是在Citeulike-a、ML-1M和Pinterest數(shù)據(jù)集上進(jìn)行的.比較了提出的方法PNW-BN和PNW-G與PRA，5D-Pop和5D-RR_ACC，除了PNW方法外，所有的比較方法在訓(xùn)練完3個(gè)基礎(chǔ)模型后都使用了重新排序策略.為了使比較更清楚，用百分比計(jì)算基礎(chǔ)模型的變化，并將其記錄在括號(hào)中.實(shí)驗(yàn)結(jié)果見表3.

在稀疏的，較小的Citeulike數(shù)據(jù)集環(huán)境中，PNW通常提高了基礎(chǔ)模型的新穎性推薦，但精度略有下降.在PNW的變體中，PNW-BN的準(zhǔn)確性在競(jìng)爭(zhēng)性新穎性評(píng)分方面相對(duì)較高.尤其是在GMF-Base中，PNW-BN的長(zhǎng)尾和Nov分?jǐn)?shù)排名第2.如前面所述，PNW-G提供了較高的靈活性，從而實(shí)現(xiàn)更好的性能.PNW-G的兩種變體在所有的實(shí)驗(yàn)中，損失的減少最少.值得注意的是，GMF上的PNW-G(9)實(shí)際上提高了精度.5D-Pop專注于提高長(zhǎng)尾和新穎的分?jǐn)?shù)，并犧牲了大量的準(zhǔn)確性.5D-RR_ACC平衡了權(quán)衡，但由此產(chǎn)生的性能都不能與任何PNW相比.

ML-1M是一個(gè)密度更大的數(shù)據(jù)集.總的來(lái)說(shuō)，PNW顯著改善了兩種新穎性評(píng)分，在L_Tail和Nov評(píng)分中分別提高了41.5%和16%.再次，5D-Pop可以提高新穎性，但大大降低準(zhǔn)確性.盡管PRA減少了長(zhǎng)尾，但它提高了GMF和NMF的Nov分?jǐn)?shù).

最后，Pinterest是稀疏的，是本次實(shí)驗(yàn)中最大的數(shù)據(jù)集.所有的方法都無(wú)法像在其他兩個(gè)數(shù)據(jù)集上那樣顯著地改進(jìn)新穎性評(píng)分.在這種情況下，與其他兩個(gè)數(shù)據(jù)集的結(jié)果相比，PNW變量以最低的準(zhǔn)確度損失，提高了新穎性度評(píng)分.

綜上所述，所提出的PNW和重排序方法的性能一般與基本模型無(wú)關(guān)，更多地依賴于數(shù)據(jù)集的特性、稀缺性和規(guī)模.此外，除了5D-Pop，PNW在準(zhǔn)確性和新穎性方面優(yōu)于所有重排序方法.5D-Pop增加了新穎性，顯著降低了準(zhǔn)確性.5D-RR_ACC比5D-Pop更能平衡精度和新穎性，但其結(jié)果無(wú)法與PNW相比.PRA對(duì)推薦列表進(jìn)行了重新排序，以提高特別是Nov得分.總體而言，PNW在保持準(zhǔn)確性的同時(shí)提高了新穎性，重排序方法側(cè)重于單一目標(biāo)，很難在權(quán)衡取舍之間取得平衡.

5.6 與損失加權(quán)法的比較

在這一部分中，對(duì)損失加權(quán)方法PNW和AllRank-Pop進(jìn)行了比較實(shí)驗(yàn).由于使用了不同的損失函數(shù)，為了進(jìn)行公平的比較，計(jì)算了SacrificeRatio.實(shí)驗(yàn)結(jié)果如表4所示.在PNW的變體中，PNW-G始終提供小于0.1%的SacrificeRatios(SacrificeRatioLT和SacrificeRatioNS).另一方面，PNW-BN給出了更高的L_Tail和Nov分?jǐn)?shù).在兩種AllRank-Pop方法中，βw越大，新穎性分?jǐn)?shù)越高.一般來(lái)說(shuō)，所有的PNW方法在SacrificeRatio都優(yōu)于AllRank-Pop，更具體地說(shuō)，SacrificeRatioLT和SacrificeRatioNS都比AllRank-Pop小10倍.

5.7 負(fù)比率

由于PNW是一種成對(duì)損失加權(quán)方法，因此需要分析負(fù)比率的影響.在本節(jié)中，將研究{2，4，6，8，10}中各種負(fù)比率的影響.由于前兩個(gè)實(shí)驗(yàn)在不同數(shù)據(jù)集和基本模型上的結(jié)果是一致的，所以本實(shí)驗(yàn)只選擇GMF和Citeulike-a.如圖1所示，4個(gè)指標(biāo)在不同的負(fù)比率上有所不同.當(dāng)精度為主要關(guān)注點(diǎn)時(shí)，{4，6}的負(fù)比值表現(xiàn)得更好.當(dāng)新穎性是主要關(guān)注點(diǎn)時(shí)，{6}的負(fù)比率優(yōu)于其他比率.當(dāng)負(fù)比值從8降到4～6時(shí)，一個(gè)簡(jiǎn)單的基礎(chǔ)模型的準(zhǔn)確性的結(jié)果與文獻(xiàn)[6,7]一致.

表3 與重排序的比較結(jié)果Table 3 Comparison with re-ranking

表4 與其他損失加權(quán)方法的比較Table 4 Comparison with other loss weighting methods

圖1 負(fù)比率實(shí)驗(yàn)結(jié)果Fig.1 Negative ratio experiment

5.8 BN損失加權(quán)的Lambda

為了證明PNW-BN是一個(gè)“無(wú)參數(shù)”模型，在本節(jié)中驗(yàn)證了PNW-BN對(duì)λ的不敏感性.選擇GMF和Citeulike-a來(lái)進(jìn)行這個(gè)實(shí)驗(yàn).圖2顯示了不同λ值的結(jié)果.精確性和新穎性的穩(wěn)定性能反映了PNW-BN對(duì)不同選擇的λ一般不敏感.這些結(jié)果驗(yàn)證了關(guān)于PNW-BN在4.3節(jié)中穩(wěn)定性的論點(diǎn)及其潛在應(yīng)用.

5.9 消融研究

圖2 λ對(duì)PNW-BN的影響Fig.2 λ′s impact on PNW-BN

“Novelty Matching”：PNW-BN只有πu，i

表5顯示了實(shí)驗(yàn)結(jié)果. 從表中可知，僅考慮用戶的偏好(“新穎匹配”)，兩個(gè)數(shù)據(jù)集的準(zhǔn)確性都得到了提高. 這意味著用戶確實(shí)具有特定的新穎性區(qū)域，并且用戶傾向于從該區(qū)域中選擇項(xiàng)目.在“Novelty Scaling”中，它在HR和NDCG略有下降的情況下都促進(jìn)了這兩個(gè)數(shù)據(jù)集的新穎性.最后，“Full Model”在所有實(shí)驗(yàn)中均提供了最佳的L_Tail分?jǐn)?shù)，并且具有具有競(jìng)爭(zhēng)力的Nov分?jǐn)?shù). 對(duì)于較小的數(shù)據(jù)集Citeulike-a，“Full Model”更喜歡新穎性，但代價(jià)是準(zhǔn)確性更高.對(duì)于較大的數(shù)據(jù)集Pinterest，它給出的結(jié)果更加平衡. 這些可能是由于在較小的數(shù)據(jù)集上過(guò)度擬合造成的.

表5 消融研究的結(jié)果Table 5 Result of ablation study

6 結(jié)束語(yǔ)

本文提出了一種有效的損失加權(quán)方法，用于一階段、端到端的新推薦.該方法將新穎性信息和用戶的個(gè)人偏好融合到BPR損失函數(shù)中.大量實(shí)驗(yàn)表明，提出的方法優(yōu)于現(xiàn)有的重排序或損失加權(quán)方法，在實(shí)際應(yīng)用中驗(yàn)證了其有效性和潛在用戶.