基于時(shí)尚圖譜增強(qiáng)的個(gè)性化互補(bǔ)服裝推薦

史金婉, 宋雪萌, 劉子鑫, 聶禮強(qiáng)

山東大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 青島 中國(guó) 266237

1 引言

近年來, 隨著時(shí)尚電商平臺(tái)的繁榮發(fā)展, 越來越多的用戶選擇在線購(gòu)買服裝。然而, 享受在線購(gòu)物便利的同時(shí), 用戶常常會(huì)面臨無法在海量服裝市場(chǎng)中找到心儀單品的難題。由于人們常常需要為已購(gòu)買的單品(如, 上衣)挑選與之相搭配的互補(bǔ)單品(如,下衣)。因此, 個(gè)性化互補(bǔ)服裝推薦, 即為用戶推薦與他/她已購(gòu)買服裝相匹配的互補(bǔ)服裝, 逐漸吸引了諸多學(xué)者的關(guān)注。然而, 對(duì)于同一件時(shí)尚單品, 不同的人可能會(huì)給其搭配不同的互補(bǔ)單品。如圖1 所示, 對(duì)于同一件黃色無袖襯衫來說, 第一個(gè)用戶將它與一條白色闊腿五分褲, 一對(duì)綠色寶石耳環(huán)和一雙紅色高跟鞋進(jìn)行搭配; 而第二個(gè)用戶將其與一條黃灰色碎花短裙, 一對(duì)珍珠耳環(huán)和一雙綠色涼鞋搭配在一起。這其實(shí)反映了一個(gè)服裝搭配領(lǐng)域中的個(gè)性化偏好問題。因此, 為了促進(jìn)電商平臺(tái)的潛在訂單交易,和用戶的在線購(gòu)物體驗(yàn), 亟需開展有關(guān)個(gè)性化互補(bǔ)服裝推薦的研究(personalized complementary clothing recommendation)。該任務(wù)的根本問題在于實(shí)現(xiàn)個(gè)性化的互補(bǔ)服裝兼容性建模, 即對(duì)于給定的用戶和上衣, 評(píng)價(jià)下衣的兼容性(匹配程度)。

圖1 IQON 社區(qū)平臺(tái)中用戶的套裝搭配實(shí)例圖Figure 1 Examples of users’ outfit compositions on IQON

目前, 關(guān)于互補(bǔ)服裝兼容性建模的研究工作主要圍繞一般性的兼容性建模, 而忽略了用戶的個(gè)性化偏好問題。盡管少數(shù)圍繞個(gè)性化互補(bǔ)服裝兼容性建模的研究[1-2]已經(jīng)展開, 這些研究工作主要是聚焦于建模一階的單品-單品兼容性交互以及一階的用戶-單品偏好交互來預(yù)測(cè)個(gè)性化服裝的兼容性評(píng)分。具體來說, 宋等人[2]提出了一個(gè)新穎的個(gè)性化兼容建模框架(GP-BPR)。該框架從視覺和文本兩個(gè)方面將用戶-單品偏好建模整合在一般的單品-單品兼容性建模中。董等人[1]通過對(duì)單品和用戶建模引入了一個(gè)新穎的個(gè)性化膠囊衣櫥創(chuàng)建的方法, 來給特定用戶進(jìn)行服裝搭配。雖然他們?cè)趥€(gè)性化互補(bǔ)服裝推薦中取得了令人欽佩的進(jìn)步, 然而, 時(shí)尚領(lǐng)域中的實(shí)體(如,用戶、單品和屬性)之間的高階交互關(guān)系(highorder interaction relation)卻被他們所忽略。比如, 與同一個(gè)上衣(top)搭配的下衣(bottom)之間可能共享一些相同的屬性(attribute); 有著近似品味的用戶也可能傾向于選擇有相同屬性的單品。

事實(shí)上, 在相關(guān)領(lǐng)域中, 最近的研究者們已經(jīng)開始探索時(shí)尚實(shí)體之間的高階關(guān)系, 并提出了DREP[3]和HFGN[4]。具體來說, DREP[3]將單品之間的額外連接關(guān)系注入到成對(duì)的兼容性建模中, 進(jìn)一步增強(qiáng)了對(duì)單品的表示學(xué)習(xí)。值得注意的是, 單品之間的這種額外連接關(guān)系信息的應(yīng)用是有限的, 只能夠被用來建模單品-單品之間的兼容性, 無法促進(jìn)對(duì)用戶偏好的學(xué)習(xí)。類似于HFGN[4], DREP[3]在其構(gòu)建的關(guān)系型時(shí)尚圖譜中忽略了單品豐富的屬性知識(shí)。而單品的屬性知識(shí)在個(gè)性化互補(bǔ)服裝推薦中起著至關(guān)重要的作用。在一定程度上來說, 時(shí)尚單品之間的兼容性取決于其屬性之間的和諧性, 用戶對(duì)于單品的偏愛程度也依賴于用戶對(duì)單品屬性的喜愛程度。比如, 在圖1 中, 對(duì)于第一個(gè)用戶所搭配的第四套服裝,其上衣和下衣之所以能夠搭配兼容主要取決于黑白顏色之間的兼容性。同時(shí), 該用戶在不同套裝中均選擇了高跟鞋, 這極大可能是因?yàn)樵撚脩粝矚g高跟這個(gè)單品屬性。總而言之, 雖然時(shí)尚實(shí)體之間的高階關(guān)系已經(jīng)被相關(guān)工作所探索, 但是其在個(gè)性化互補(bǔ)服裝推薦中的潛在價(jià)值還沒有被充分挖掘。

然而, 聯(lián)合探索一階交互和高階交互關(guān)系來進(jìn)行個(gè)性化互補(bǔ)服裝推薦極具挑戰(zhàn)性。主要挑戰(zhàn)如下:1)缺少統(tǒng)一的時(shí)尚圖譜。在時(shí)尚領(lǐng)域的個(gè)性化互補(bǔ)服裝推薦中, 沒有一個(gè)統(tǒng)一可用的時(shí)尚圖譜來表示用戶、單品和屬性之間的復(fù)雜高階關(guān)系。因此, 如何去構(gòu)建一個(gè)時(shí)尚圖譜來表示時(shí)尚實(shí)體之間的高階交互關(guān)系對(duì)我們來說是一個(gè)主要的挑戰(zhàn)。2)高階關(guān)系的利用。事實(shí)上, 關(guān)鍵的時(shí)尚實(shí)體, 即用戶、單品和屬性之間, 不僅有用戶-單品(user-item)偏好交互關(guān)系以及單品-單品(item-item)搭配交互關(guān)系, 而且還有單品-屬性(item-attribute)之間的從屬交互關(guān)系。因此,如何有效地利用它們之間的高階交互信息, 從而促進(jìn)對(duì)用戶和單品的表示學(xué)習(xí)也是一個(gè)至關(guān)重要的挑戰(zhàn)。3)交互模塊的融合。如何將獨(dú)立的一階交互建模和協(xié)同的高階交互建模進(jìn)行有機(jī)融合, 進(jìn)而共同促進(jìn)個(gè)性化互補(bǔ)服裝推薦的效果構(gòu)成了另一個(gè)艱難的挑戰(zhàn)。

圖2 協(xié)同時(shí)尚圖譜的模擬樣例圖Figure 2 A toy example of the collaborative fashion graph

據(jù)此, 我們提出了一個(gè)新穎的基于時(shí)尚圖譜增強(qiáng)的個(gè)性化互補(bǔ)服裝推薦模型(Fashion Graph- enhanced Personalized Complementary Clothing Recommendation), 簡(jiǎn)稱為FG-PCCR。FG-PCCR 由兩個(gè)關(guān)鍵的部分組成: 獨(dú)立的一階交互建模(Independent One-order Interaction Modeling)和協(xié)同的高階交互建模(Collaborative High-order Interaction Modeling)。其中, 一方面, 獨(dú)立的一階交互建模模塊致力于通過神經(jīng)網(wǎng)絡(luò)和矩陣分解方法分別對(duì)單品-單品搭配交互和用戶-單品偏好交互進(jìn)行建模。同時(shí), 為了增強(qiáng)模型效果, 我們將時(shí)尚單品的視覺和文本模態(tài)均整合進(jìn)去, 以綜合地實(shí)現(xiàn)多模態(tài)建模。另一方面, 協(xié)同的高階交互模塊聚焦于基于協(xié)同時(shí)尚圖譜的高階交互建模。具體地, 利用圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Networks, GNNs)的信息傳播機(jī)制來提取高階的協(xié)同信號(hào), 進(jìn)一步豐富用戶和單品的向量表示。最后, FGPCCR 基于貝葉斯個(gè)性化排序框架(Bayesian Personalized Ranking, BPR)[5]將獨(dú)立的一階交互建模和協(xié)同的高階交互建模有機(jī)統(tǒng)一在一個(gè)端到端的模型中。

總體而言, 本文的主要貢獻(xiàn)概括為如下三方面:

1) 提出了一個(gè)基于時(shí)尚圖譜增強(qiáng)的個(gè)性化互補(bǔ)服裝推薦模型FG-PCCR。FG-PCCR 能夠?qū)ⅹ?dú)立的一階交互建模和協(xié)同的高階交互建模有效地整合在一個(gè)端到端的模型中。該工作的關(guān)鍵創(chuàng)新性在于整合了時(shí)尚實(shí)體(如, 用戶、單品和屬性)之間的高階交互關(guān)系, 進(jìn)而有效地促進(jìn)時(shí)尚領(lǐng)域的個(gè)性化互補(bǔ)服裝推薦的效果。

2) 設(shè)計(jì)了一個(gè)協(xié)同的高階交互建模模塊?；趫D神經(jīng)網(wǎng)絡(luò), 該模塊能夠編譯時(shí)尚實(shí)體之間的復(fù)雜高階關(guān)系信息并聚合于用戶和單品(如, 上衣和下衣),進(jìn)而促進(jìn)用戶和單品的表示學(xué)習(xí), 得到其更豐富的向量表示。

3) 在公開的數(shù)據(jù)集IQON3000 上進(jìn)行了全面的實(shí)驗(yàn), 評(píng)估所提出模型的有效性。大量實(shí)驗(yàn)驗(yàn)證了所提模型相對(duì)于基準(zhǔn)方法的優(yōu)越性。同時(shí), 公布了代碼、數(shù)據(jù)和參數(shù)設(shè)置, 以方便同領(lǐng)域研究人員的對(duì)我們工作的復(fù)現(xiàn)和拓展。

文章結(jié)構(gòu)安排如下: 第2 章簡(jiǎn)單回顧了相關(guān)工作; 第3 章詳細(xì)介紹了本文所提出的FG-PCCR 模型;第4 部分闡明了實(shí)驗(yàn)的實(shí)施細(xì)節(jié)以及實(shí)驗(yàn)結(jié)果并進(jìn)行了綜合性分析; 第5 部分對(duì)本工作進(jìn)行了總結(jié), 并針對(duì)本文的不足提出了未來改進(jìn)的方向。

2 相關(guān)工作

2.1 時(shí)尚分析

近年來, 隨著人們對(duì)穿著打扮有了更高的美學(xué)追求, 時(shí)尚領(lǐng)域中的服裝兼容性建模問題[6-8]逐漸引發(fā)了越來越多科研人員的關(guān)注。

目前, 一些工作著力于評(píng)估時(shí)尚單品對(duì)之間的兼容性。McAuley 等人[9]提出, 將時(shí)尚單品映射到一個(gè)潛在的風(fēng)格空間, 使可替換或互補(bǔ)單品之間的距離盡可能地近。之后, 研究者們開始利用視覺模態(tài)進(jìn)行兼容性建模。比如, Veit 等人[10]將一對(duì)時(shí)尚單品的圖片輸入一個(gè)端對(duì)端的暹羅網(wǎng)絡(luò)中, 通過學(xué)習(xí)視覺上的語(yǔ)義信息, 進(jìn)而生成服裝套裝。He 等人[11]提出了Monomer 模型, 通過建模單品視覺上的相似性,來探索單品之間的關(guān)系。除了視覺特征, 最近的很多工作也在時(shí)尚兼容建模相關(guān)的任務(wù)中強(qiáng)調(diào)了探索多模態(tài)特征的重要性。例如, 李等人[12]基于時(shí)尚單品的多模態(tài)多實(shí)例的深度學(xué)習(xí), 提出了一個(gè)套裝質(zhì)量預(yù)測(cè)器。另外, 宋等人[8]從時(shí)尚社區(qū)平臺(tái)Polyvore 收集并創(chuàng)建了一個(gè)套裝數(shù)據(jù)集, 同時(shí)設(shè)計(jì)了一個(gè)基于自動(dòng)編碼器的多模態(tài)互補(bǔ)單品兼容性建?？蚣?。之后,楊等人[13]提出了一個(gè)新穎的神經(jīng)時(shí)尚兼容建模模型TransNFCM, 該框架引入了一個(gè)多模態(tài)的單品編碼器, 能夠有效探索不同模態(tài)的互補(bǔ)特征。除此之外,研究人員也探索并采用了一些輔助性信息來促進(jìn)兼容性建模的效果, 比如: 單品種類[14]和域知識(shí)[8,15]。具體來說, 宋等人[7]注意到時(shí)尚領(lǐng)域積累的豐富的搭配知識(shí), 進(jìn)而提出了一個(gè)基于知識(shí)蒸餾的服裝兼容性建模模型。該工作清楚地闡釋了整合豐富的時(shí)尚領(lǐng)域知識(shí)來助力數(shù)據(jù)驅(qū)動(dòng)的時(shí)尚兼容性建模的重要性。

另外, 時(shí)尚領(lǐng)域的個(gè)性化推薦也獲得了很多研究者的關(guān)注[16-18]。已有時(shí)尚領(lǐng)域中的個(gè)性化推薦工作主要采用矩陣分解(Matrix Factorization, MF)[19]來建模用戶的偏好。MF 能夠?qū)⒚恳粋€(gè)用戶和單品看作一個(gè)有ID 信息的向量, 然后通過內(nèi)積來建模用戶-單品交互。例如, Hu 等人[20]提出了一個(gè)函數(shù)張量分解模型以解決個(gè)性化套裝推薦問題。盡管該方法在整套服裝推薦中取得了不錯(cuò)的效果, 但是冷啟動(dòng)仍是一個(gè)有待探索的問題。為此, He 等人[21]引入了一個(gè)可擴(kuò)展的矩陣分解模型, 將時(shí)尚單品的視覺信號(hào)整合于用戶偏好預(yù)測(cè)器中, 進(jìn)而實(shí)現(xiàn)推薦任務(wù)。

為提高服裝兼容性建模的實(shí)際應(yīng)用性, 個(gè)性化互補(bǔ)服裝推薦已成為當(dāng)今的研究熱點(diǎn)[1-2,20]。例如,宋等人[2]提出了一個(gè)關(guān)于服裝搭配的個(gè)性化兼容建模的模型。該模型在一般的兼容性建模中整合了用戶的偏好, 同時(shí)為了獲得用戶更精準(zhǔn)的偏好, 考慮了視覺和文本兩個(gè)方面的偏好。另外, 董等人[1]設(shè)計(jì)了一個(gè)個(gè)性化膠囊衣櫥創(chuàng)建的方法。該方法在考慮用戶身材的基礎(chǔ)上, 通過對(duì)用戶和衣服建模, 獲得用戶的個(gè)性化膠囊衣櫥進(jìn)而給用戶推薦搭配好的服裝。整體而言, 對(duì)于個(gè)性化互補(bǔ)服裝推薦任務(wù)來說,盡管這些工作已經(jīng)取得巨大成功, 然而他們忽略了一個(gè)至關(guān)重要的因素: 實(shí)體(如, 用戶、單品和屬性)之間的高階交互關(guān)系。這種高階關(guān)系能夠傳遞重要的協(xié)同信息來豐富實(shí)體的表示向量, 進(jìn)而提高個(gè)性化互補(bǔ)服裝推薦的效果, 這也是本工作的研究重點(diǎn)。

2.2 知識(shí)圖譜

知識(shí)圖譜(Knowledge Graph)作為一種結(jié)構(gòu)化的語(yǔ)義知識(shí)庫(kù), 在挖掘?qū)嶓w之間潛在的復(fù)雜關(guān)系中有著杰出的能力, 被廣泛應(yīng)用于各種研究領(lǐng)域, 例如智能語(yǔ)義搜索[22], 推薦系統(tǒng)[23-25]和智能問答[26-27]。在推薦領(lǐng)域, 研究人員利用知識(shí)圖譜已經(jīng)做了大量相關(guān)的工作[28-31], 大體上可以分為兩類: 以路徑為基礎(chǔ)的方法和以校正為基礎(chǔ)的方法。

以路徑為基礎(chǔ)的方法旨在提取大量攜帶高階關(guān)系的路徑, 然后將其輸入推薦模型中, 對(duì)目標(biāo)用戶進(jìn)行偏好預(yù)測(cè)。為了處理大量的兩個(gè)節(jié)點(diǎn)之間的路徑,研究者一般采用路徑選擇算法選擇最優(yōu)路徑[32-33]或定義元路徑模式來限制[34-35]。以路徑為基礎(chǔ)的方法存在的主要問題是路徑選擇對(duì)于最后的推薦效果有巨大影響, 而且路徑不會(huì)被優(yōu)化。另外, 定義有效的元路徑需要域知識(shí), 這對(duì)于擁有多樣化實(shí)體和關(guān)系的復(fù)雜知識(shí)圖譜來說, 是相當(dāng)耗費(fèi)人力的。

以校正為基礎(chǔ)的方法旨在聯(lián)合訓(xùn)練推薦任務(wù)和知識(shí)圖譜構(gòu)建任務(wù), 通過設(shè)計(jì)構(gòu)建知識(shí)圖譜結(jié)構(gòu)的額外損失來校正整體推薦模型的損失, 比如,CFKG[36]和KTUP[37]。由于該方法并不是直接將高階關(guān)系放入到推薦模型中, 只是以一種隱含的方式進(jìn)行編碼, 所以知識(shí)圖譜中的高階關(guān)系并不能保證被獲取到。之后, 為解決以上問題, 王等人[23]提出了一個(gè)知識(shí)圖譜注意力網(wǎng)絡(luò), 能夠明確有效地利用知識(shí)圖譜中的高階關(guān)系進(jìn)行推薦。盡管知識(shí)圖譜已經(jīng)被成功地應(yīng)用在各種任務(wù)中, 但是在時(shí)尚領(lǐng)域個(gè)性化互補(bǔ)服裝推薦任務(wù)中的研究還是十分有限的。

現(xiàn)有時(shí)尚領(lǐng)域中涉及的圖譜[3-4]含有的實(shí)體一般只包括用戶和單品, 忽略了時(shí)尚單品的客觀屬性知識(shí)。事實(shí)上, 這些屬性知識(shí)對(duì)于單品兼容建模和用戶偏好建模能夠傳遞更多隱含的協(xié)同信號(hào), 進(jìn)而促進(jìn)個(gè)性化互補(bǔ)服裝推薦的效果。因此, 本工作在一般的時(shí)尚圖譜基礎(chǔ)上引入了單品的知識(shí)圖譜(即, 單品-屬性從屬關(guān)系), 構(gòu)建了一個(gè)協(xié)同的時(shí)尚圖譜, 利用用戶、單品及屬性之間的復(fù)雜關(guān)系來提高個(gè)性化互補(bǔ)服裝推薦的效果。

2.3 圖神經(jīng)網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)(GNNs)在近年來獲得了越來越多學(xué)者的注意[23,38]。GNNs 已經(jīng)變成了一種強(qiáng)有力的建模結(jié)構(gòu)化數(shù)據(jù)的工具, 通過圖進(jìn)行信息傳遞, 進(jìn)而將更豐富細(xì)致的信息聚焦于節(jié)點(diǎn), 得到更優(yōu)的向量表示。

圖神經(jīng)網(wǎng)絡(luò)的概念首次被Scarselli 等人[39]提出。GNNs 將已有的神經(jīng)網(wǎng)絡(luò)拓展并應(yīng)用于圖領(lǐng)域表示的數(shù)據(jù)中, 能夠直接處理圖結(jié)構(gòu)數(shù)據(jù)。雖然GNNs可以被應(yīng)用于大部分類型的圖中, 比如循環(huán)圖, 非循環(huán)圖, 有向圖以及無向圖, 但是最初的GNNs 對(duì)于固定點(diǎn)的訓(xùn)練是有一定難度的。之后, 圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Network ,GCN)[40]被提出, 該網(wǎng)絡(luò)提出了適用于圖域的卷積操作, 并通過聚合來自所有鄰居節(jié)點(diǎn)的信息來實(shí)現(xiàn)節(jié)點(diǎn)向量表示的更新。由于GCN 需要捕捉圖的全局信息來更新節(jié)點(diǎn),Hamilton 等人[41]提出了GraphSAGE, 該模型通過統(tǒng)一抽樣和聚合局部鄰居的特征來更新節(jié)點(diǎn)表示,節(jié)省了計(jì)算開銷。盡管圖神經(jīng)網(wǎng)絡(luò)能夠通過傳遞任意深度的鄰居信息, 但是長(zhǎng)期的信息傳播可能產(chǎn)生梯度消失問題。為了糾正這個(gè)問題, 最近的先進(jìn)工作[42]嘗試在傳播過程中引入了門控循環(huán)單元(Gate Recurrent Units, GRU)。

由于GNNs 所擁有的杰出的表達(dá)能力和模型靈活性, 它已經(jīng)成功地被應(yīng)用于各種關(guān)于復(fù)雜關(guān)系的任務(wù)中, 包括檢索[46-47]和視覺理解[48]等。然而, 在時(shí)尚領(lǐng)域的個(gè)性化互補(bǔ)服裝推薦任務(wù)中, 探索GNNs 應(yīng)用潛力的研究還相對(duì)較少。事實(shí)上, GNNs 已經(jīng)被證明在處理復(fù)雜圖數(shù)據(jù)方面, 比如社交網(wǎng)絡(luò)[41,43], 物理系統(tǒng)[44-45], 對(duì)于高階交互關(guān)系, 有著強(qiáng)有力的建模能力。據(jù)此, 在本工作中, 我們提出的FG-PCCR 模型將以GNNs 為基礎(chǔ), 進(jìn)而實(shí)現(xiàn)協(xié)同的高階交互建模。

3 基于時(shí)尚圖譜增強(qiáng)的個(gè)性化互補(bǔ)服裝推薦模型

在本章中, 我們首先將研究的問題公式化, 然后詳細(xì)地介紹了本文提出的基于時(shí)尚圖譜增強(qiáng)的個(gè)性化互補(bǔ)服裝推薦模型FG-PCCR, 模型結(jié)構(gòu)如圖3所示, 其中包括兩個(gè)關(guān)鍵組件: 獨(dú)立的一階交互建模模塊和協(xié)同的高階交互建模模塊。最后介紹了整體模型的目標(biāo)與優(yōu)化。

圖3 本文提出的FG-PCCR 模型結(jié)構(gòu), 由兩個(gè)關(guān)鍵組件組成: 1)獨(dú)立的一階交互建模 和2)協(xié)同的高階交互建模Figure 3 Illustration of the proposed FG-PCCR, comprising two key components: 1) the independent one-order interaction modeling and 2) the collaborative high-order interaction modeling

3.1 問題定義

3.2 獨(dú)立的一階交互建模模塊

由于目標(biāo)下衣不僅要和上衣能夠搭配和諧, 還要滿足用戶的個(gè)人偏好, 我們將獨(dú)立的一階交互建模進(jìn)一步分成了兩部分: 客觀的單品-單品搭配交互建模和主觀的用戶-單品偏好交互建模。前者旨在挖掘單品之間的一階交互, 而后者旨在探索用戶與單品之間的一階交互。由于時(shí)尚單品通常都會(huì)存在視覺模態(tài)(即, 圖片)和文本模態(tài)(即, 類別元數(shù)據(jù)和簡(jiǎn)單的描述), 因此, 在本工作中, 我們同時(shí)探索這兩種模態(tài)來綜合衡量時(shí)尚單品對(duì)(上衣-下衣)的兼容性以及用戶的個(gè)人偏好。

類似于已有工作[8], 我們認(rèn)為存在一個(gè)潛在的、非線性的兼容空間, 能夠連接來自互補(bǔ)類別的時(shí)尚單品, 使得我們可以建?；パa(bǔ)單品之間的兼容性。由于多層感知機(jī)(Multi-Layer Perception, MLP)在各種表示學(xué)習(xí)任務(wù)中取得了引人注目的成功, 我們?cè)诳陀^的單品-單品交互建模中采用了多層感知機(jī), 來學(xué)習(xí)時(shí)尚單品的向量表示。假設(shè)我們采用的多層感知機(jī)一共有K 個(gè)隱藏層。令 xiy, x ?{v , c} , y?{ t , b}表示時(shí)尚單品視覺(文本)模態(tài)的嵌入向量表示, 其中v表示視覺模態(tài), c 表示文本模態(tài), t 表示上衣, b 表示下衣。將單品各模態(tài)的嵌入向量表示 xiy輸入多層感知機(jī), 我們有如下公式:

公式中, α 表示非負(fù)的平衡參數(shù), 用來校正不同模態(tài)在兼容性建模中的貢獻(xiàn)。

考慮到不同用戶對(duì)于下衣的偏好有所不同。比如, 有的用戶喜歡穿牛仔褲, 而有的用戶更偏愛裙子。因此, 除了客觀的單品-單品兼容性建模, 我們也整合了主觀的用戶-單品偏好交互建模。鑒于矩陣分解[19]已經(jīng)在大量的個(gè)性化推薦任務(wù)[2,20-21,49]中展示出了優(yōu)越的效果, 在本工作中, 我們也選用了矩陣分解來對(duì)用戶-單品的偏好交互進(jìn)行建模。具體地,我們將用戶 um對(duì)于下衣 bj的偏好分?jǐn)?shù)定義為如下數(shù)學(xué)表達(dá)式:

最后, 根據(jù)獨(dú)立的一階交互建模, 對(duì)于給定的用戶 um, 我們根據(jù)如下公式得到上衣 ti和下衣 bj的個(gè)性化兼容分?jǐn)?shù):

公式中, λ 是非負(fù)的平衡參數(shù)。oij指的是上衣 ti和下衣 bj之間的客觀兼容性得分, 而 pmj指的是用戶 um對(duì)下衣 bj的主觀偏好得分。

3.3 協(xié)同的高階交互建模模塊

如前所述, 大部分已有的個(gè)性化互補(bǔ)服裝推薦研究[1-2]致力于利用時(shí)尚單品(比如, 上衣或下衣)的多模態(tài)數(shù)據(jù)(比如, 視覺和文本模態(tài))來建模獨(dú)立的單品-單品交互和用戶-單品交互, 而忽略了實(shí)體之間的協(xié)同高階關(guān)系。事實(shí)上, 與一個(gè)給定的上衣相搭配的下衣可能共享某些特定的屬性模式(如, 顏色、種類、樣式等)。同時(shí), 有著相似穿搭品味的用戶們也可能偏好具有類似屬性特征的時(shí)尚單品。據(jù)此, 本工作在一般的時(shí)尚圖譜中又整合了時(shí)尚單品的屬性知識(shí),打開了探索類似的用戶以及類似的時(shí)尚單品之間的高階交互關(guān)系的大門。作為本工作的一個(gè)主要新穎性貢獻(xiàn), 我們充分利用時(shí)尚實(shí)體(即, 用戶, 單品和屬性)之間復(fù)雜的高階交互關(guān)系來增強(qiáng)用戶和時(shí)尚單品的向量表示, 這種做法能夠使我們對(duì)于單品對(duì)之間的兼容性建模以及用戶對(duì)單品的偏好建模, 挖掘更深層次的協(xié)同信息, 進(jìn)而促進(jìn)整體的個(gè)性化互補(bǔ)服裝推薦的效果。

在一定程度上來說, 受文獻(xiàn)[23]的啟發(fā), 我們首次基于公開可用的數(shù)據(jù)集創(chuàng)建了一個(gè)大規(guī)模的雙向的協(xié)同時(shí)尚圖譜G , 該時(shí)尚圖譜可以表示為{( h, r , t )| h, t?E, r?R} ,其中, 符號(hào)E 表示一個(gè)包含用戶, 時(shí)尚單品(即, 上衣和下衣)以及單品屬性的實(shí)體集合; 符號(hào)R 表示頭實(shí)體和尾實(shí)體之間的關(guān)系集合, 包括用戶-單品偏好交互, 單品-單品搭配交互和單品-屬性從屬交互。此外, 在本工作中, 我們采用了圖卷積神經(jīng)網(wǎng)絡(luò)GCNs, 其最初被設(shè)計(jì)是用于半監(jiān)督的節(jié)點(diǎn)分類任務(wù), 而我們用其循環(huán)獲取并聚合來自更高跳的鄰居節(jié)點(diǎn)的信息, 進(jìn)而促進(jìn)用戶、上衣和下衣的表示學(xué)習(xí)。特別地, 我們首先利用高斯分布來初始化協(xié)同時(shí)尚圖譜G 中的每一個(gè)節(jié)點(diǎn), 并且將初始化后的節(jié)點(diǎn)向量表示為0vh 。然后, 每個(gè)節(jié)點(diǎn)v?E 的傳播機(jī)制可以用如下所示的數(shù)學(xué)表達(dá)描述:

3.4 整體模型的目標(biāo)與優(yōu)化

鑒于貝葉斯個(gè)性化排序框架已經(jīng)在許多成對(duì)的隱含偏好建模工作[2,53-54]中取得了杰出效果, 在本工作中, 我們同樣采用了BPR 框架進(jìn)行目標(biāo)優(yōu)化。根據(jù)文獻(xiàn)[21], 我們所提出的FG-PCCR 模型的最后的目標(biāo)函數(shù), 可以被定義為如下的數(shù)學(xué)表達(dá)式:

公 式 中 , Strain={( m, i , j , k )|um? u ^ ( ti, bj)?^ bk?B bj}表示訓(xùn)練數(shù)據(jù)集。每個(gè)四元組( m, i , j , k )表示針對(duì)上衣 ti, 用戶 um更加偏好于下衣bj,而不是下衣 bk。符號(hào) σ (?)指的是sigmoid 函數(shù)。符號(hào)Θ 指的是所提模型FG-PCCR 的模型參數(shù)集, 即H ,W(l-1)}其中,符號(hào)H 是由時(shí)尚圖譜G 中所有實(shí)體的向量表示構(gòu)成的矩陣。為了防止模型過擬合, 本工作采用了通過參數(shù)ρ 校正的L2 范數(shù) || Θ ||。整個(gè)模型的優(yōu)化算法被簡(jiǎn)明地總結(jié)在算法1 中, 以及圖4 詳細(xì)描述了我們所提模型FG-PCCR 的工作流程。

圖4 基于時(shí)尚圖譜增強(qiáng)的個(gè)性化互補(bǔ)服裝推薦模型的工作流程圖Figure 4 The workflow of fashion graph-enhanced personalized complementary clothing recommendation model

4 實(shí)驗(yàn)

為了評(píng)估本文提出的基于時(shí)尚圖譜增強(qiáng)的個(gè)性化互補(bǔ)服裝推薦模型FG-PCCR, 我們?cè)谡鎸?shí)的數(shù)據(jù)集IQON3000 上做了大量實(shí)驗(yàn)。整個(gè)實(shí)驗(yàn)的開展旨在回答以下四個(gè)研究問題:

問題一: 我們提出的FG-PCCR 模型是否能超越最新的基準(zhǔn)方法？

問題二: FG -PCCR 中協(xié)同的高階交互建模模塊是如何影響整體模型效果的？

問題三: 不同的模態(tài)信息對(duì)于模型效果的貢獻(xiàn)是怎樣的？

問題四: FG-PCCR 在互補(bǔ)時(shí)尚單品檢索應(yīng)用中的效果是怎樣的？

算法1. FG-PCCR 模型的訓(xùn)練過程算法.

4.1 數(shù)據(jù)集

為了驗(yàn)證本工作提出的FG-PCCR 模型的有效性,我們采用了時(shí)尚領(lǐng)域中公開可用的基準(zhǔn)數(shù)據(jù)集IQON3000[2]。此數(shù)據(jù)集由3568 個(gè)用戶創(chuàng)建的3087套時(shí)尚套裝組成, 一共包含了672335 個(gè)時(shí)尚單品(比如, 上衣、下衣、外套、鞋子等)。每個(gè)時(shí)尚單品都具有一個(gè)視覺圖片, 一條標(biāo)題描述, 和相應(yīng)的類別元數(shù)據(jù)。表1 匯總了IQON3000 數(shù)據(jù)集的詳細(xì)統(tǒng)計(jì)數(shù)據(jù)。

表1 基準(zhǔn)數(shù)據(jù)集IQON3000 的數(shù)據(jù)統(tǒng)計(jì)Table 1 Data statistics of the benchmark data set IQON3000

本工作以上衣和下衣之間的互補(bǔ)推薦舉例, 因此只保留了該數(shù)據(jù)集中各套裝的上衣和下衣數(shù)據(jù)。最后一共獲得由3236 個(gè)用戶搭配而成的2116791 套僅由上衣和下衣組成的套裝。對(duì)于用戶 um的每一個(gè)上衣-下衣對(duì)( ti, bj), 我們隨機(jī)從整個(gè)下衣的數(shù)據(jù)集中獲取一個(gè)負(fù)例, 即下衣 bk,進(jìn)而構(gòu)成四元組( m, i , j , k ), 其中 m, i , j ,k 分別表示的是用戶, 上衣,正例下衣, 負(fù)例下衣。據(jù)此, 我們獲得了一個(gè)四元組數(shù)據(jù)集S, 該數(shù)據(jù)集被隨機(jī)分成三部分: 80%作為訓(xùn)練集 Strain, 10%作為驗(yàn)證集 Svalidate, 10%作為測(cè)試集Stest。

4.2 實(shí)驗(yàn)設(shè)置

4.2.1 評(píng)估指標(biāo)

為了對(duì)本工作所提出的FG-PCCR 模型效果進(jìn)行全面徹底的評(píng)估, 本文采用廣泛使用的ROC 曲線面積(Area Under Curve, AUC)[53]以及平均倒數(shù)排序(Mean Reciprocal Rank, MRR)[54]作為衡量個(gè)性化互補(bǔ)服裝推薦效果的評(píng)估指標(biāo)。首先, 我們定義的AUC 數(shù)學(xué)表達(dá)公式如下所示:

公 式 中 , E( m) := {(i , j , k )|( m, i , j ) ? Stest^( m, i, k ) ? S}。 f ( a )是一個(gè)指示函數(shù)。若參數(shù)a 大于0, 返回1; 否則, 返回0。其次, MRR 評(píng)估指標(biāo)的數(shù)學(xué)表達(dá)公式如下所示:

4.2.2 實(shí)施細(xì)節(jié)

時(shí)尚圖譜。區(qū)別于文獻(xiàn)[22],在本文中,我們引入了三種實(shí)體(即, 用戶、單品和屬性)作為協(xié)同時(shí)尚圖譜的節(jié)點(diǎn)。特別地, 在本文的個(gè)性化互補(bǔ)服裝推薦的場(chǎng)景中, 單品指的是一個(gè)上衣或者下衣。在協(xié)同時(shí)尚圖譜中, 實(shí)體之間的關(guān)系包括用戶-單品偏好交互關(guān)系,單品-單品搭配交互關(guān)系以及單品-屬性從屬交互關(guān)系。值得注意的是, 在我們的工作中首次在時(shí)尚圖譜中引入單品-屬性從屬交互關(guān)系。根據(jù)屬性的類型,本工作做了以下預(yù)處理: 我們手動(dòng)將一些屬性(比如,印花、袖長(zhǎng)和衣長(zhǎng)等)統(tǒng)一成一種類型, 即樣式; 同時(shí),通過刪除一些冗余的屬性(比如, category*color),我們將時(shí)尚單品的所有屬性匯總成五種類型, 即顏色(color), 材質(zhì)(material), 品牌(brand), 種類(category)和樣式(pattern)。值得注意的是, 不同于研究工作[4],在構(gòu)建的協(xié)同時(shí)尚圖譜中, 我們引入了互補(bǔ)的時(shí)尚單品之間的搭配關(guān)系, 同時(shí)將時(shí)尚單品的屬性看作圖譜中節(jié)點(diǎn), 進(jìn)而促進(jìn)實(shí)體的表示學(xué)習(xí)。

同樣值得一提的是, 在我們的個(gè)性化互補(bǔ)服裝推薦工作中, 我們采用了直推式策略來構(gòu)建協(xié)同時(shí)尚圖譜。其中, 我們將整個(gè)數(shù)據(jù)集S 中所有的用戶、單品以及屬性都看作實(shí)體節(jié)點(diǎn)。與此同時(shí), 整個(gè)數(shù)據(jù)集S 中所有的單品-屬性從屬交互都看作圖譜中的關(guān)系。至于用戶-單品交互關(guān)系和單品-單品搭配關(guān)系的數(shù)據(jù)則只取自于訓(xùn)練集 Strain。在表2 和圖5 中, 我們分別展示了構(gòu)建的協(xié)同時(shí)尚圖譜的數(shù)據(jù)統(tǒng)計(jì)以及部分可視化圖。

表2 協(xié)同時(shí)尚圖譜的數(shù)據(jù)統(tǒng)計(jì)表Table 2 Data statistics of the collaborative fashion graph

圖5 協(xié)同時(shí)尚圖譜的部分可視化圖Figure 5 Visualization of partial collaborative fashion graph

文本表示。在個(gè)性化互補(bǔ)服裝推薦工作中, 我們將每個(gè)時(shí)尚單品的標(biāo)題和類別元數(shù)據(jù)均看作文本信息。由于數(shù)據(jù)集是從日本的電商網(wǎng)站所爬取, 其文本信息是日語(yǔ), 本文并利用日本的形態(tài)學(xué)分析器Kuromoji①http://www.atilika.org/.進(jìn)行分詞處理。本文沒有采用傳統(tǒng)的語(yǔ)言特征[55-56], 而是鑒于卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(Convolutional Neural Network, CNN)在各種自然語(yǔ)言處理任務(wù)[57-58]中已取得令人矚目的成就, 采用CNN 來提取單品的文本特征。特別地, 我們首先將單品的文本模態(tài)信息表示成一個(gè)矩陣。矩陣的每一行是一個(gè)300 維的詞向量表示, 對(duì)應(yīng)相應(yīng)的單詞。這個(gè)300 維的詞向量是通過NINJAL Web 日本語(yǔ)料庫(kù)[61]提供的word2vec Nwjc2vec 工具獲取的。之后, 我們?cè)O(shè)置了單通道的CNN,它由一個(gè)卷積層和一個(gè)最大池化層組成。特別地, 我們采用了四種卷積核, 大小分別為2, 3, 4, 5。每一個(gè)卷積核都對(duì)應(yīng)100 個(gè)特征圖。另外, 我們選用的激活函數(shù)是Rectified Linear Unit(ReLU)。最終, 我們通過處理每個(gè)時(shí)尚單品的文本模態(tài), 得到了一個(gè)400 維的表示向量。

視覺表示。由于深度卷積神經(jīng)網(wǎng)絡(luò)在各種圖片表示學(xué)習(xí)任務(wù)[60-62]中已經(jīng)取得了非常出色的效果,因此, 本工作采用高級(jí)的深度卷積神經(jīng)網(wǎng)絡(luò)來獲得時(shí)尚單品的視覺表示。特別值得注意的是, 本文采用的是50 層的殘差網(wǎng)絡(luò)(ResNet50)[63]。將每一個(gè)時(shí)尚單品的圖片輸入網(wǎng)絡(luò)中, 然后將網(wǎng)絡(luò)中平均池化層的輸出作為視覺模態(tài)的表示向量。因此, 我們將時(shí)尚單品的視覺模態(tài)表示為一個(gè)2048 維的向量。

參數(shù)設(shè)置。適應(yīng)性估計(jì)方法(Adam)[64]在非凸優(yōu)化問題中含有諸多優(yōu)勢(shì): 計(jì)算高效, 占用內(nèi)存較少,調(diào)參方便, 適用于大規(guī)模數(shù)據(jù)問題, 能解決高噪音等問題。因此本工作采用Adam 算法進(jìn)行模型優(yōu)化,最小化之前提到的損失函數(shù)來學(xué)習(xí)所有參數(shù)。而且,我們采用網(wǎng)格搜索策略來決定校正參數(shù)ρ 以及平衡參數(shù)(α , β , γ ,ζ ,τ )在本模型中的最優(yōu)值。另外, 批處理大小、獨(dú)立交互建模中的隱藏單元的大小以及學(xué)習(xí)率η 分別在[256, 512, 1024], [256, 512, 1024]和[0.05, 0.01, 0.005, 0.001]中搜索。在協(xié)同的高階交互建模部分, 協(xié)同時(shí)尚圖譜中所有實(shí)體節(jié)點(diǎn)的初始化的表示向量大小設(shè)置為64。同時(shí), 我們不僅調(diào)整協(xié)同的高階交互建模模塊的深度L在[1, 2, 3, 4, 5, 6] 范圍內(nèi),即GCNs 的傳播層數(shù)。我們根據(jù)經(jīng)驗(yàn)將獨(dú)立的一階交互建模中的隱藏層的大小設(shè)置為K=1。與此同時(shí), 我們提出的FG-PCCR 模型通過60 個(gè)epoch 進(jìn)行了微調(diào), 并且在測(cè)試集上的效果都被一一展示出來。值得注意的是, 本工作提出的FG-PCCR 模型在Pytorch 工具上實(shí)現(xiàn)。

類似于其他深度學(xué)習(xí)方法[7,8,65]中所描述的收斂性, 本文也首先驗(yàn)證了所提模型FG-PCCR 的收斂性。具體來說, 我們?cè)趫D6 中展示了所有實(shí)例在訓(xùn)練過程中的平均損失(Loss)以及FG-PCCR 訓(xùn)練一輪的AUC 變化過程。正如我們從圖中看到的, 在前幾個(gè)epoch 內(nèi), Loss 和AUC 這兩個(gè)值急劇下降, 然后傾向于穩(wěn)定, 這表明我們提出的FG-PCCR 模型具有良好的收斂性。

圖6 FG-PCCR 模型中訓(xùn)練損失和準(zhǔn)確度收斂性的描述圖Figure 6 Illustration of training loss and accuracy convergence of the proposed FG-PCCR

4.3 模型比較

為了驗(yàn)證我們所提出的基于時(shí)尚圖譜增強(qiáng)的個(gè)性化互補(bǔ)服裝推薦模型的有效性, 我們選擇了如下所述的前沿基準(zhǔn)方法:

POP: 為了衡量上衣和下衣之間的兼容性, 我們采用“popularity”這個(gè)術(shù)語(yǔ)來表示某個(gè)下衣的受歡迎程度。“popularity”被定義為, 在訓(xùn)練集中與這個(gè)下衣搭配的所有上衣的數(shù)量。

Bi-LSTM: 根據(jù)文獻(xiàn)[6],我們采用了一個(gè)雙向的LSTM 來發(fā)現(xiàn)套裝兼容性序列, 根據(jù)上一個(gè)單品預(yù)測(cè)下一個(gè)單品。其中, 我們將雙向的LSTM 的損失看作一個(gè)套裝兼容性的指示器。值得注意的是, 在我們研究個(gè)性化互補(bǔ)服裝推薦的背景下, 其中的每個(gè)套裝只有兩個(gè)時(shí)尚單品組成: 一個(gè)上衣和一個(gè)下衣。

BPR-DAE: 我們采用了文獻(xiàn)[8]中引入的內(nèi)容為基礎(chǔ)的神經(jīng)模型, 它通過一個(gè)雙向的自動(dòng)編碼器能夠聯(lián)合建模時(shí)尚單品的不同模態(tài)之間的一致關(guān)系,以及單品對(duì)之間的隱藏偏好。然而, 值得注意的是,BPR-DAE 在互補(bǔ)服裝推薦中忽略了用戶因子。

BPR-MF: 我們使用了研究文獻(xiàn)[63]中引入的成對(duì)排序方法。其中, 用戶和時(shí)尚單品之間潛在的偏好關(guān)系通過矩陣分解的方式來獲取。

KGAT: KGAT[23]作為一個(gè)個(gè)性化推薦的方法,它僅僅使用到了實(shí)體之間的偏好關(guān)系以及屬性知識(shí),卻忽略了單品之間內(nèi)部的兼容性關(guān)系以及其他模態(tài)信息, 比如, 視覺和文本模態(tài)。在我們的工作中, 為了公平起見, 我們意在對(duì)給定的用戶和時(shí)尚單品(比如, 上衣)來推薦另一個(gè)時(shí)尚單品(比如, 下衣)。

HFGN:HFGN[4]是一種關(guān)于個(gè)性化套裝推薦的方法。在本工作中, 我們通過構(gòu)建一個(gè)分層的圖神經(jīng)網(wǎng)絡(luò)來獲得用戶和套裝的表示, 然后進(jìn)行個(gè)性化推薦。然而, 該模型沒有利用時(shí)尚單品的多模態(tài)信息(如, 文本信息)。

VTBPR: 我們將文獻(xiàn)[21]中引入的VBPR 方法擴(kuò)展到了VTBPR。該模型不僅利用了時(shí)尚單品的視覺模態(tài), 還將其文本模態(tài)也考慮進(jìn)去, 通過視覺和文本模態(tài)綜合地對(duì)用戶的偏好進(jìn)行建模。

GP-BPR: 該方法[2]是近年來服裝領(lǐng)域中一個(gè)杰出的個(gè)性化兼容建模的模型, 該模型將一般的兼容性建模和個(gè)人偏好建模有機(jī)地整合在了一起。特別值得注意的是, GP-BPR 忽略了實(shí)體之間的高階關(guān)系,然而這些高階關(guān)系卻能夠挖掘在單品兼容性和用戶偏好上的協(xié)同信息。

表3 中詳細(xì)地展示了不同方法的實(shí)驗(yàn)比較結(jié)果。為了驗(yàn)證模型的效果改進(jìn)是顯著性的, 我們?cè)谒岢瞿Ｐ虵G-PCCR 和基準(zhǔn)方法之間做了統(tǒng)計(jì)顯著性檢驗(yàn)。從表3 中, 我們可以得到如下的觀察結(jié)果:

表3 不同方法在AUC 上的效果比較表。符號(hào)*表示我們的模型和所有基線方法相比, 效果改進(jìn)是統(tǒng)計(jì)顯著性的(p ＜ 0.01)Table 3 Performance comparison among different approaches in terms of AUC. The symbol * denotes that the performance improvement of our model is statistically significant with p ＜ 0.01 compared against all the baselines

第一, 和樸素的方法(即, POP 和RAND)相比較,Bi-LSTM 通過充分探索多模態(tài)的數(shù)據(jù)提高了實(shí)驗(yàn)效果, 這表明在時(shí)尚單品之間的兼容性建模中, 多模態(tài)數(shù)據(jù)確實(shí)起到了至關(guān)重要的作用。

第二, BPR-DAE 的效果優(yōu)于Bi-LSTM。一個(gè)可能的原因是對(duì)于一般的只有兩個(gè)時(shí)尚單品的套裝的兼容性建模來說, 獨(dú)立的一階交互建模比起序列建模來說, 起到的建模效果是更顯著的。

第三, GP-BPR 相對(duì)于BPR-MF 和VTBPR 來說,其實(shí)驗(yàn)結(jié)果展示了巨大的優(yōu)越性, 這證實(shí)了在個(gè)性化互補(bǔ)服裝推薦中, 聯(lián)合建模時(shí)尚單品之間的兼容性以及用戶對(duì)單品的偏好是很有必要的。

第四, 對(duì)于GP-BPR 和VTBPR 方法來說, 其實(shí)驗(yàn)效果均優(yōu)于KGAT 和HFGN, 這在一定程度上表明, 在個(gè)性化服裝推薦中, 考慮單品的文本和視覺特征比起只考慮用戶單品之間的高階關(guān)系來說, 獲得的實(shí)驗(yàn)效果更好。

第五, 整體而言, FG-PCCR 和以上提到的所有基準(zhǔn)方法相比較, 它取得了最好的實(shí)驗(yàn)效果。特別值得注意的是, FG-PCCR 和結(jié)果最好的基準(zhǔn)方法GP-BPR 相比, 它的評(píng)估指標(biāo)AUC 相比于GP-BPR提高了2.39%, 這表明在個(gè)性化互補(bǔ)服裝推薦任務(wù)中,整合協(xié)同時(shí)尚圖譜來探索時(shí)尚實(shí)體之間的高階交互關(guān)系是十分有必要的。這背后的原因在于基于時(shí)尚圖譜的高階交互建模能夠在單品兼容性和用戶偏好上傳播協(xié)同信號(hào), 進(jìn)而促進(jìn)用戶和時(shí)尚單品的表示學(xué)習(xí)。

4.4 高階交互建模對(duì)模型的影響

為了對(duì)本工作提出的FG-PCCR 中協(xié)同的高階交互建模模塊有更深的理解, 本文做了以下兩部分實(shí)驗(yàn)。一方面, 我們探索了GCNs 的深度在協(xié)同的高階交互建模部分的影響。另一方面, 我們也做了消融實(shí)驗(yàn)來驗(yàn)證其在整個(gè)模型中的影響。

4.4.1 GCNs 深度在高階交互建模中的影響

由于GCNs 的深度可能會(huì)影響協(xié)同的高階交互建模并進(jìn)而影響個(gè)性化互補(bǔ)服裝推薦的效果, 所以,我們做了對(duì)應(yīng)的敏感性分析。對(duì)于模型來說, 本文設(shè)置了不同的傳播層個(gè)數(shù), 范圍是從1～6。相應(yīng)地, 我們得到了6 個(gè)衍生模型, 分別表示為FG-PCCR-1、FG-PCCR-2、FG-PCCR-3、FG-PCCR-4、FG-PCCR-5、FG-PCCR-6。

如圖7 所示, 我們觀察到了模型采用不同GCNs深度時(shí), 在ACU 評(píng)估指標(biāo)上的實(shí)驗(yàn)效果。從圖中我們可以看到, 隨著協(xié)同的高階交互建模模塊中GCNs深度從1 到5 的不斷增加, 評(píng)估指標(biāo)AUC 的大小也在明顯增大。這說明GCNs 深度的增加在一定程度上能夠逐漸增強(qiáng)個(gè)性化互補(bǔ)服裝推薦的效果。然而,繼續(xù)增加GCNs 深度, 即, L=6 的時(shí)候, 模型效果卻降低了。顯而易見, FG-PCCR-5,即L=5 時(shí), 本文所提模型取得了最好的實(shí)驗(yàn)效果。這表明通過五階的交互建模來捕獲有關(guān)單品兼容性和用戶偏好上的協(xié)同信號(hào)是足夠充分的。另一個(gè)可能的解釋是, 當(dāng)使用的GCNs 有著更多傳播層數(shù)的時(shí)候(比如, L=6), 有關(guān)單品兼容性和用戶偏好的傳播信息會(huì)得到累積, 這可能會(huì)導(dǎo)致過平滑, 因此進(jìn)一步惡化實(shí)驗(yàn)的效果[66-67]。

圖7 不同深度GCNs 對(duì)模型FG-PCCR 的效果比較圖Figure 7 Performance comparison of FG-PCCR with different depth of GCNs

4.4.2 消融實(shí)驗(yàn)

為了驗(yàn)證協(xié)同時(shí)尚圖譜在個(gè)性化互補(bǔ)服裝推薦任務(wù)中的影響, 我們將本工作所提出的FG-PCCR 模型與其兩個(gè)變體進(jìn)行了實(shí)驗(yàn)比較: FG-PCCR-woI 和FG-PCCR-woH。具體來說, FG-PCCR-woI 表示通過設(shè)置平衡參數(shù)τ=1 , 將獨(dú)立的一階交互建模模塊從整個(gè)的 FG-PCCR 模型中刪除之后得到的模型;FG-PCCR-woH 指的是通過設(shè)置平衡參數(shù)τ=0 , 將協(xié)同的高階交互建模模塊從整個(gè)的FG-PCCR 模型中刪除之后得到的模型。由于FG-PCCR-5 在以上4.4.1的實(shí)驗(yàn)中已經(jīng)展示出了最好的效果, 因此這部分的實(shí)驗(yàn)我們是在FG-PCCR-5 模型基礎(chǔ)上進(jìn)行的。

表4 展示了消融實(shí)驗(yàn)在AUC 評(píng)估指標(biāo)上的效果比較。從表4 中, 我們可以清晰地觀察到, FG-PCCRwoH 方法的效果很大程度上超越了FG-PCCR-woI 方法。這樣的實(shí)驗(yàn)結(jié)果表明, 獨(dú)立的一階交互建模在個(gè)性化互補(bǔ)服裝推薦中起到了主導(dǎo)的作用。然而, 缺少協(xié)同的高階交互建模模塊的FG-PCCR-woH 方法的實(shí)驗(yàn)效果劣于我們提出的FG-PCCR 模型。這說明協(xié)同時(shí)尚圖譜可以看作時(shí)尚領(lǐng)域中個(gè)性化互補(bǔ)服裝推薦任務(wù)的一種強(qiáng)有力的輔助信息, 它能夠有效地建模用戶, 單品和屬性之間的高階交互關(guān)系, 進(jìn)而捕捉隱含的兼容信號(hào)和偏好信號(hào), 從而提高個(gè)性化互補(bǔ)服裝推薦的效果。

表4 消融實(shí)驗(yàn)在AUC 上的效果比較表Table 4 Performance comparison on ablation study in terms of AUC

為了直觀地展示協(xié)同時(shí)尚圖譜在我們所提出的FG-PCCR 模型中起到的重要作用, 我們?cè)趫D8 中可視化了一些實(shí)例。具體地, 為了客觀的分析, 我們將FG-PCCR 模型與FG-PCCR-woH 模型的實(shí)際效果在測(cè)試四元組中進(jìn)行了比較。由于展示清晰, 本文中只展示了部分時(shí)尚圖譜來進(jìn)行分析。其中所有的四元組滿足條件: {um, ti}:bj＞ bk, 即, 對(duì)于給定的用戶um和上衣 ti, 正例下衣 bj比負(fù)例下衣 bk搭配的效果更好。同時(shí), 我們只是在時(shí)尚圖譜中可視化了一些關(guān)鍵的高階交互關(guān)系, 直觀地強(qiáng)調(diào)彩色線標(biāo)識(shí)的高階交互關(guān)系的影響。正如我們從圖8 中所觀察到的,FG-PCCR 模型在前兩個(gè)例子中給出了正確的評(píng)估結(jié)果, 同時(shí)在第3 個(gè)例子中得到了錯(cuò)誤的評(píng)估結(jié)果, 然而, FG-PCCR-woH 模型卻在這3 個(gè)例子中均得到了與FG-PCCR 相反的結(jié)果。通過觀察圖8 中所展示的部分協(xié)同時(shí)尚圖譜, 我們注意到, 關(guān)于用戶user1,FG-PCCR 模型獲得正確的評(píng)估結(jié)果的原因, 可以從以下兩個(gè)角度進(jìn)行總結(jié)。一方面, 對(duì)于用戶user1 所在的部分時(shí)尚圖譜來說, 其中紅色線標(biāo)識(shí)的高階關(guān)系表明, 用戶user1 曾經(jīng)對(duì)于給定的上衣 ti搭配的下衣與本工作給定的正例下衣 bj共享屬性“chiffon”(雪紡), 這可能促進(jìn)了單品對(duì)的兼容性建模。另一方面,圖中綠色的交互表明, 正例下衣 bj被另一個(gè)用戶所偏愛, 這個(gè)用戶和用戶user1 因?yàn)槎枷矚g裙子所以有著類似的時(shí)尚品味, 故正例下衣 bj也很可能被用戶user1 所偏愛, 所以, 這可能促進(jìn)了用戶偏好建模。因此, 總體而言, 對(duì)于用戶user1 來說, 為搭配上衣it ,相比下衣kb 來說, FG-PCCR 模型給下衣 bj分配了更高的個(gè)性化互補(bǔ)服裝兼容性評(píng)分。同理, 第二個(gè)例子也可以得到類似的觀察結(jié)果。

然而, 除了成功的評(píng)估結(jié)果, 協(xié)同的時(shí)尚圖譜對(duì)于整個(gè)FG-PCCR 模型來說, 也可能導(dǎo)致失敗的評(píng)估結(jié)果。正如圖8 中第3 個(gè)樣例所示, 下衣 bj和kb , 均與用戶user3 所購(gòu)買的上衣搭配過的下衣共享類似的屬性(如紅色和黃色線標(biāo)注的關(guān)系)。而負(fù)例kb 另外通過綠色線標(biāo)注的關(guān)系來促進(jìn)用戶的偏好建模, 導(dǎo)致負(fù)例kb 的個(gè)性化兼容性評(píng)分高于正例 bj, 得到了失敗的評(píng)估結(jié)果?？赡艿脑蚴腔趨f(xié)同時(shí)尚圖譜的用戶偏好預(yù)測(cè)只是基于單品的種類信息進(jìn)行的, 對(duì)于我們的個(gè)性化互補(bǔ)服裝推薦任務(wù)會(huì)產(chǎn)生一定程度上的影響。

圖8 協(xié)同的高階交互建模的影響描述圖。所有的四元組都滿足條件 { um ,t i }: b j ＞ bk我們只是在協(xié)同時(shí)尚圖譜中可視化了一些關(guān)鍵的高階關(guān)系并用線的顏色來直觀地展示Figure 8 Illustration of the effect of the collaborative high-order interaction modeling. All the quadruplets satisfy the condition that { um ,t i }: b j ＞ bk. We only visualize some key higher-order relations in the collaborative fashion graph and intuitively highlight their effects with line colors

4.5 模態(tài)比較

為了表明在時(shí)尚領(lǐng)域的個(gè)性化互補(bǔ)服裝推薦中,充分利用多模態(tài)數(shù)據(jù)的優(yōu)勢(shì), 我們?cè)O(shè)計(jì)了模型FG-PCCR的3個(gè)變體: FG-PCCR-V, FG-PCCR-C以及FG-PCCR-G。上述這 3 個(gè)變體是在我們的模型FG-PCCR 的基礎(chǔ)上, 分別只考慮視覺模態(tài), 文本模態(tài)和圖的結(jié)構(gòu)化模態(tài)所得到的模型。類似于4.4.2 小節(jié)中的消融實(shí)驗(yàn), 這部分的實(shí)驗(yàn)我們也是基于FG-PCCR-5 所做, 因?yàn)樗谇懊娌糠值膶?shí)驗(yàn)中展示出了最優(yōu)的實(shí)驗(yàn)結(jié)果。

表5 展示了不同的模態(tài)在AUC 評(píng)估指標(biāo)上的比較結(jié)果。從此表中, 我們可以獲得以下觀察結(jié)果: 1)本文提出的FG-PCCR 模型, 利用多模態(tài)數(shù)據(jù)信息的基礎(chǔ)上, 在個(gè)性化互補(bǔ)服裝推薦中實(shí)現(xiàn)了最好的實(shí)驗(yàn)效果。具體來說, 從AUC 評(píng)估指標(biāo)來看, 我們的方法得到的實(shí)驗(yàn)效果比FG-PCCR-V, FG-PCCR-C 以及FG-PCCR-G 的效果分別提高了3.85%、3.48%及12.16%。這充分表明視覺信息、文本信息和圖結(jié)構(gòu)信息之間相互互補(bǔ), 并聯(lián)合促進(jìn)個(gè)性化互補(bǔ)服裝推薦的效果。2)只考慮文本模態(tài)的FG-PCCR-C 比其他兩種分別只考慮視覺模態(tài)和圖模態(tài)的模型, 即FG-PCCR-V 和FG-PCCR-G, 取得的效果更優(yōu)。這說明在時(shí)尚領(lǐng)域的個(gè)性化互補(bǔ)服裝推薦任務(wù)中, 文本模態(tài)的貢獻(xiàn)更多。一個(gè)可能的解釋是因?yàn)閱纹返奈谋拘畔⑼ǔ８泳唧w, 能夠清晰明了地傳遞出時(shí)尚單品的關(guān)鍵特征, 從而提升個(gè)性化互補(bǔ)服裝推薦性能。

表5 不同模態(tài)在AUC 上的效果比較表Table 5 Performance comparison on different modality

4.6 互補(bǔ)時(shí)尚單品檢索應(yīng)用

為了有效地評(píng)估我們所做工作的實(shí)際應(yīng)用性,我們通過互補(bǔ)的時(shí)尚單品檢索任務(wù)來評(píng)估提出的FG-PCCR 模型。類似于文獻(xiàn)[68], 我們將每一個(gè)用戶-上衣對(duì)( um, ti)都被看作為一個(gè)查詢。然后, 為每一個(gè)查詢, 我們隨機(jī)地選取T 個(gè)下衣作為候選下衣集合。該集合包含一個(gè)正例下衣和T-1 個(gè)通過隨機(jī)選取的負(fù)例下衣。之后, 我們將這些候選下衣輸入經(jīng)過訓(xùn)練的模型之中, 然后計(jì)算得到其與給定的查詢( um, ti)的個(gè)性化互補(bǔ)服裝兼容性評(píng)分 si(jm)。最后, 根據(jù)該分?jǐn)?shù)可以獲得一個(gè)關(guān)于候選下衣的排序列表。在本工作的設(shè)置中, 我們聚焦于真實(shí)結(jié)果(即, 正例下衣)在所有候選下衣排序列表中的平均位置, 因此采用了MRR 評(píng)估指標(biāo)。

圖9 展示了不同方法在時(shí)尚單品檢索中的MRR效果。整體而言, 在不同的下衣候選數(shù)目實(shí)驗(yàn)中, 本文提出的FG-PCCR 模型相比較于其他的基準(zhǔn)方法,展示出了杰出的優(yōu)越性。這樣的結(jié)果再次證明我們提出的FG-PCCR 方法在互補(bǔ)的時(shí)尚單品檢索任務(wù)中的魯棒性和有效性。

圖9 不同方法關(guān)于不同的下衣候選數(shù)量的MRR 效果比較圖Figure 9 Performance of different methods in regard to MRR at different numbers of the bottom candidates.

另外, 協(xié)同的高階交互建模模塊對(duì)獨(dú)立的一階交互建模模塊起到了強(qiáng)大的輔助作用, 為了對(duì)其有更深和更直觀的理解, 本文可視化了互補(bǔ)的時(shí)尚單品檢索中的部分實(shí)例的排序結(jié)果, 如圖10 所示。正如我們從圖中所觀察到的, 與忽略高階交互建模的FG-PCCR-woH 模型相比, 本文提出的FG-PCCR 模型擁有巨大的優(yōu)勢(shì), 它能夠?qū)⒒パa(bǔ)的正例單品盡可能地排在前列。這再次驗(yàn)證了在時(shí)尚領(lǐng)域的個(gè)性化互補(bǔ)服裝推薦中, 時(shí)尚圖譜中的高階交互關(guān)系起到了舉足輕重的作用。

圖10 排序結(jié)果描述。綠色框中標(biāo)出的下衣為正例Figure 10 Illustration of the ranking results. The bottoms highlighted in the green boxes are the ground truth

5 總結(jié)與展望

5.1 總結(jié)

在本工作中, 我們提出了一個(gè)新穎的基于時(shí)尚圖譜增強(qiáng)的個(gè)性化互補(bǔ)服裝推薦模型FG-PCCR, 該模型能夠通過聯(lián)合獨(dú)立的一階交互建模和協(xié)同的高階交互建模促進(jìn)個(gè)性化互補(bǔ)服裝推薦效果。在我們研究任務(wù)中, 目標(biāo)是對(duì)給定的用戶和目標(biāo)上衣, 搭配一件下衣。搭配的目標(biāo)下衣不僅要和上衣搭配和諧, 而且還要滿足用戶的偏好。

首先, 獨(dú)立的一階交互建模涉及了用戶-單品交互或者單品-單品交互這樣的一階關(guān)系, 它包括主觀的用戶-單品偏好交互建模以及客觀的單品-單品搭配交互建模。同時(shí)。時(shí)尚單品一般都有多種模態(tài)的信息, 在本工作中, 為了提高個(gè)性化服裝搭配效果,我們通過神經(jīng)網(wǎng)絡(luò)和矩陣分解的方法對(duì)兩種模態(tài)信息(即, 視覺模態(tài)和文本模態(tài))進(jìn)行一階交互建模。

其次, 我們基于公開可用的數(shù)據(jù)集IQON3000構(gòu)建了一個(gè)協(xié)同的時(shí)尚圖譜并將其引入?yún)f(xié)同的高階交互建模模塊中。這是本文提出的一個(gè)主要?jiǎng)?chuàng)新點(diǎn)。該協(xié)同時(shí)尚圖譜的實(shí)體節(jié)點(diǎn)包括用戶、時(shí)尚單品以及單品的屬性, 關(guān)系邊包括用戶-單品偏好交互關(guān)系,單品-單品搭配交互關(guān)系以及單品-屬性從屬交互關(guān)系。整體而言, 構(gòu)建的時(shí)尚圖譜是一個(gè)協(xié)同圖譜, 既包括客觀的知識(shí)(如, 單品的屬性), 又包括變化的交互(如單品-單品交互關(guān)系)?；诖藚f(xié)同時(shí)尚圖譜, 我們可以得到用戶、單品及屬性之間的高階交互關(guān)系,同時(shí), 結(jié)合卷積神經(jīng)網(wǎng)絡(luò)GCNs 進(jìn)行了協(xié)同的高階交互建模, 進(jìn)一步挖掘潛在的用戶隱藏偏好及單品兼容性。

最后, 我們?cè)谡鎸?shí)的數(shù)據(jù)集上做了大量的實(shí)驗(yàn),對(duì)比了本工作所提出的FG-PCCR 模型與最新的基準(zhǔn)方法的效果, 探究了協(xié)同的高階交互建模模塊對(duì)整個(gè)個(gè)性化互補(bǔ)服裝推薦模型的影響, 研究了不同模態(tài)對(duì)整個(gè)模型的作用, 探索了FG-PCCR 在時(shí)尚互補(bǔ)單品檢索中的實(shí)際應(yīng)用價(jià)值。總體而言, 實(shí)驗(yàn)表明了個(gè)性化互補(bǔ)服裝推薦中考慮時(shí)尚圖譜的必要性以及驗(yàn)證了FG-PCCR 模型的有效性。

5.2 展望

本文設(shè)計(jì)的基于時(shí)尚圖譜增強(qiáng)的個(gè)性化互補(bǔ)服裝推薦模型取得初步成效, 但是仍然有諸多問題和挑戰(zhàn)有待解決和探索, 我們將持續(xù)跟進(jìn)以下相關(guān)研究:

(1) 在本工作中, 構(gòu)建的協(xié)同時(shí)尚圖譜只考慮了單品的屬性信息, 而忽略了用戶的屬性信息, 比如用戶的身高、體重、年齡、膚色、身材等信息。其實(shí), 用戶屬性也可以看作圖譜中的實(shí)體節(jié)點(diǎn), 使得構(gòu)建的協(xié)同時(shí)尚圖譜中的知識(shí)更豐富, 有助于模型學(xué)到更精準(zhǔn)的用戶偏好關(guān)系以及單品之間的兼容性關(guān)系。本工作未涉及的根本原因是已有的服裝領(lǐng)域中可用于個(gè)性化互補(bǔ)服裝推薦的相關(guān)數(shù)據(jù)集均沒有用戶的屬性信息。在未來工作中, 我們打算進(jìn)一步融入用戶屬性信息, 構(gòu)建一個(gè)包括用戶和時(shí)尚單品的屬性信息的完整大規(guī)模數(shù)據(jù)集, 基于此數(shù)據(jù)集構(gòu)建關(guān)系更豐富的協(xié)同時(shí)尚圖譜, 從而提高個(gè)性化互補(bǔ)服裝推薦的效果。

(2) 在本工作中, 我們將協(xié)同的高階交互建模中的實(shí)體節(jié)點(diǎn)的所有鄰居節(jié)點(diǎn)均平等對(duì)待, 從不同鄰居獲取的信息重要性都看作是一樣的。然而實(shí)際上,不同的鄰居對(duì)于實(shí)體節(jié)點(diǎn)的貢獻(xiàn)應(yīng)該是不同的, 這樣才能準(zhǔn)確了解個(gè)性化服裝搭配的本質(zhì)原因。因此,在未來的工作中, 可以增加注意力機(jī)制來區(qū)分不同鄰居的貢獻(xiàn)大小, 為協(xié)同時(shí)尚圖譜中不同的交互關(guān)系分配重要權(quán)重, 可以確定最相關(guān)的方面, 從而解釋個(gè)性化互補(bǔ)服裝推薦的根本原因。故可解釋性的基于時(shí)尚圖譜增強(qiáng)的個(gè)性化互補(bǔ)服裝推薦是本工作的另一個(gè)非常值得研究的方向。