基于特征深度融合的Web 服務(wù)QoS 聯(lián)合預(yù)測(cè)

劉建勛，丁領(lǐng)航，康國勝，曹步清，肖勇

（1.湖南科技大學(xué)服務(wù)計(jì)算與軟件新技術(shù)湖南省重點(diǎn)實(shí)驗(yàn)室，湖南 湘潭 411201；2.湖南科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖南 湘潭 411201）

0 引言

近年來，隨著面向服務(wù)架構(gòu)（SOA,software oriented architecture）、云計(jì)算、移動(dòng)計(jì)算等技術(shù)的廣泛應(yīng)用，大量Web 服務(wù)被創(chuàng)建并發(fā)布在互聯(lián)網(wǎng)上供人們調(diào)用，如何從大量的功能相似的Web 服務(wù)中快速、準(zhǔn)確地找到高質(zhì)量的服務(wù)是一個(gè)挑戰(zhàn)性問題。服務(wù)質(zhì)量（QoS,quality of service）描述了服務(wù)的非功能屬性，是區(qū)分功能相似服務(wù)的重要參考依據(jù)，廣泛用于QoS 感知的服務(wù)發(fā)現(xiàn)、服務(wù)推薦[1-2]、服務(wù)組合等服務(wù)管理任務(wù)中。常見的QoS 屬性包括響應(yīng)時(shí)間、吞吐量、帶寬、丟包率、可靠性等。Web服務(wù)的QoS 同時(shí)依賴于用戶和服務(wù)雙方，且由于動(dòng)態(tài)的網(wǎng)絡(luò)條件，同一個(gè)Web 服務(wù)被不同用戶調(diào)用的QoS 可能具有差異性。由于很多服務(wù)是收費(fèi)的，通過調(diào)用及監(jiān)測(cè)的方式獲取所有用戶?服務(wù)對(duì)的QoS是不現(xiàn)實(shí)的，因此準(zhǔn)確和個(gè)性化的QoS 預(yù)測(cè)是一種可行的解決方案。

協(xié)同過濾（CF,collaborative filtering）技術(shù)目前已廣泛應(yīng)用于Web 服務(wù)的QoS 預(yù)測(cè)，大致可分為基于鄰域的CF 方法、基于模型的CF 方法和混合的CF 方法?；卩徲虻腃F 方法的核心思想是依據(jù)歷史QoS 數(shù)據(jù)計(jì)算用戶或服務(wù)之間的相似度并生成相似鄰居集，然后依據(jù)相似鄰居的已有QoS 估算目標(biāo)服務(wù)的QoS?；卩徲虻腃F 方法較簡(jiǎn)單，并且一定程度上利用了難以量化的潛在的用戶特征或服務(wù)特征，但其預(yù)測(cè)性能受到數(shù)據(jù)稀疏性問題的影響較大，同時(shí)很難利用與目標(biāo)節(jié)點(diǎn)相似度較低的節(jié)點(diǎn)所隱含的全局結(jié)構(gòu)信息?；谀Ｐ偷腃F 方法的核心思想是預(yù)定義一個(gè)具有適當(dāng)結(jié)構(gòu)和參數(shù)的模型并使用已有的QoS 數(shù)據(jù)進(jìn)行訓(xùn)練，訓(xùn)練后的模型具有較好的QoS 預(yù)測(cè)能力，且對(duì)整體結(jié)構(gòu)有較好的估計(jì)?；谀Ｐ偷腃F 方法性能較高，在面對(duì)數(shù)據(jù)稀疏性問題時(shí)穩(wěn)健性較強(qiáng)，但傳統(tǒng)的基于模型的CF 方法如矩陣分解方法，難以學(xué)習(xí)用戶和服務(wù)的深層特征和隱藏信息，可擴(kuò)展性有限。

近年來，深度學(xué)習(xí)技術(shù)發(fā)展迅猛，并且在Web服務(wù)的QoS 預(yù)測(cè)任務(wù)上也得到了一些應(yīng)用[3]。其中，圖卷積神經(jīng)網(wǎng)絡(luò)（GCN,graph convolutional neural network）可以通過聚合相鄰節(jié)點(diǎn)的信息獲得目標(biāo)節(jié)點(diǎn)的信息，能緩解數(shù)據(jù)稀疏性問題；同時(shí)，它可以通過神經(jīng)網(wǎng)絡(luò)的逐層融合獲取圖的結(jié)構(gòu)信息和深層特征，能有效解決基于鄰域的CF 方法和基于模型的CF 方法面臨的問題，因而是目前基于深度學(xué)習(xí)的QoS 預(yù)測(cè)方法中性能較好的方法。

然而，現(xiàn)有的基于GCN的CF 方法只考慮用戶與服務(wù)交互的顯式信息，未考慮用戶終端的環(huán)境特征信息和服務(wù)器的環(huán)境特征信息。環(huán)境特征是指客戶端主機(jī)或服務(wù)器主機(jī)的特征，例如網(wǎng)絡(luò)地址、子網(wǎng)、自治系統(tǒng)、地理位置等。這些因素可以通過不同的組合影響QoS，可以使用“偏好”來代表用戶客戶端主機(jī)和服務(wù)器主機(jī)對(duì)對(duì)方環(huán)境的適應(yīng)程度，對(duì)對(duì)方環(huán)境特征適應(yīng)程度更高的用戶?服務(wù)組合可以獲得更好的QoS，可以認(rèn)為服務(wù)滿足了用戶的“偏好”，用戶也滿足了服務(wù)的“偏好”。因此，如果能夠從用戶?服務(wù)交互信息中挖掘出潛在的環(huán)境特征信息，就可以提供更全面和復(fù)雜的特征信息來提高QoS 預(yù)測(cè)精度。多組件圖卷積協(xié)同過濾[4]方法是最近提出的一種基于GCN的CF 方法，它考慮了用戶?項(xiàng)目的交互信息中潛在的用戶對(duì)服務(wù)的偏好，并將抽象的偏好映射為具體的組件，具有挖掘用戶或服務(wù)的潛在偏好的能力，因此本文前期工作采用該方法挖掘用戶和服務(wù)的潛在偏好，并針對(duì)QoS 預(yù)測(cè)任務(wù)提出一種新的方法[5]。然而，該工作依然存在以下2 個(gè)可改進(jìn)的地方。1) 現(xiàn)有的基于GCN的CF方法大多只應(yīng)用于單類QoS 屬性。在真實(shí)環(huán)境中，多類QoS 屬性分別從不同的角度反映了用戶特征或者服務(wù)特征，不同類別的QoS 屬性之間存在潛在的共同特征，這些共同特征是單類QoS 屬性的預(yù)測(cè)模型無法挖掘出來的。例如，一個(gè)擁有較優(yōu)響應(yīng)時(shí)間的用戶?服務(wù)對(duì)可能保持了非常通暢的網(wǎng)絡(luò)，也說明服務(wù)器此時(shí)可能負(fù)載較小，這些特征使該用戶?服務(wù)對(duì)可能也有較優(yōu)的吞吐量；同理，擁有較優(yōu)吞吐量的用戶?服務(wù)對(duì)也很可能具有較優(yōu)的響應(yīng)時(shí)間。如果能將多類QoS 屬性用合適的方法映射到同一個(gè)空間，就能以此建模多類QoS 屬性存在的共同特征及聯(lián)系，提升QoS 預(yù)測(cè)模型的準(zhǔn)確度。2) 預(yù)測(cè)模塊應(yīng)用DeepFM 對(duì)用戶和服務(wù)的特征向量進(jìn)行一階特征、二階和高階特征的挖掘，但沒有區(qū)分不同交互特征的重要性，也沒有探究高階交互特征對(duì)預(yù)測(cè)性能的影響。

基于以上的問題分析，本文提出一種多類QoS聯(lián)合預(yù)測(cè)（JQSP,joint QoS prediction）方法。首先，引入一個(gè)包含多個(gè)卷積核的偏好提取模塊來提取各單類QoS的用戶?服務(wù)矩陣中隱含的用戶偏好特征和服務(wù)偏好特征；然后，使用加權(quán)融合方法將多類QoS的特征提取向量映射到同一個(gè)向量空間；最后，使用引入自注意力的因子分解機(jī)挖掘融合嵌入向量中的一階特征和各階交互特征，并進(jìn)行多類QoS的聯(lián)合預(yù)測(cè)。本文的主要貢獻(xiàn)總結(jié)如下。

1) 分析了提取多類QoS 數(shù)據(jù)的共同特征對(duì)QoS 預(yù)測(cè)精確度提升的有效性，應(yīng)用偏好提取模塊（MGCN 模塊）實(shí)現(xiàn)了單類QoS的環(huán)境特征偏好提取，選擇加權(quán)融合方法將多類QoS的提取向量映射到同一空間，實(shí)現(xiàn)了多類QoS 特征融合的目標(biāo)。

2) 引入帶自注意力的因子分解機(jī)（ANFM，attention neural factorization machine）對(duì)嵌入向量中的一階特征、二階交互特征和高階交互特征進(jìn)行深度融合，實(shí)現(xiàn)了特征深度融合，并為交互特征賦予注意力權(quán)重，提升特征提取的效果，最終實(shí)現(xiàn)QoS聯(lián)合預(yù)測(cè)的目標(biāo)。

3) 在真實(shí)數(shù)據(jù)集WS-DREAM 上進(jìn)行了大量的實(shí)驗(yàn)分析，實(shí)驗(yàn)結(jié)果表明了JQSP 方法的有效性。

1 相關(guān)工作

協(xié)同過濾方法是應(yīng)用最為廣泛的QoS 預(yù)測(cè)方法，大致可分為基于鄰域的CF 方法、基于模型的CF 方法和混合的CF 方法，本文主要介紹前兩類方法的相關(guān)工作以及基于模型的CF 方法中發(fā)展迅速的基于深度學(xué)習(xí)的CF 方法的相關(guān)工作。

基于鄰域的CF 方法基本思想是借助相似用戶或服務(wù)的歷史QoS 來預(yù)測(cè)目標(biāo)服務(wù)的QoS。Shao 等[6]首先提出一種基于用戶的CF 方法，該方法利用Pearson 相關(guān)系數(shù)（PCC,Pearson correlation coefficient）計(jì)算用戶?服務(wù)QoS矩陣中所有用戶的相似性，然后對(duì)目標(biāo)用戶的前k個(gè)相似用戶的歷史QoS 值進(jìn)行融合，得到預(yù)測(cè)結(jié)果。其后的相關(guān)工作大多致力于改進(jìn)相似性度量辦法來增加衡量用戶或服務(wù)相關(guān)性的準(zhǔn)確度。例如，Chen 等[7]使用A-余弦來計(jì)算服務(wù)之間的余弦相似性，然后減去服務(wù)的平均QoS 向量，以此消除不同QoS的尺度影響，有利于相似性計(jì)算；任麗芳等[8]在移動(dòng)邊緣計(jì)算環(huán)境中通過K-means 聚類確定相似用戶和邊緣服務(wù)器。此外，在CF 方法中加入用戶或服務(wù)的時(shí)間信息或位置信息也有利于QoS 預(yù)測(cè)。例如，Wang 等[9]提出一種基于距離的增強(qiáng)型Top-K 選擇策略，在移動(dòng)邊緣計(jì)算任務(wù)中利用緯度和經(jīng)度坐標(biāo)選擇相似邊緣服務(wù)集；鄧璇等[10]引入網(wǎng)絡(luò)嵌入式學(xué)習(xí)，提出一種基于信譽(yù)感知的QoS預(yù)測(cè)方法，充分挖掘高階隱式關(guān)系?；卩徲虻腃F方法易于實(shí)現(xiàn)、效果較好，但它們面臨數(shù)據(jù)稀疏、冷啟動(dòng)等問題，可擴(kuò)展性也較差。此外，基于鄰域的CF 方法主要利用歷史QoS 值和上下文信息，該特點(diǎn)很好地利用了局部信息，但可能忽略了全局結(jié)構(gòu)。

基于模型的CF 方法的基本思想是使用歷史QoS 值來訓(xùn)練預(yù)定義模型，使模型趨向于真實(shí)QoS值的分布。最經(jīng)典的模型是矩陣分解（MF,matrix factorization）模型[11]，其主要思想是將用戶?項(xiàng)矩陣分解為用戶和項(xiàng)的2 個(gè)潛在因素矩陣的乘積，這2 個(gè)矩陣提取了部分用戶或項(xiàng)的特征。大多數(shù)基于MF的模型采用梯度下降或隨機(jī)梯度下降方法來尋找目標(biāo)函數(shù)的局部最小值，Luo 等[12]將交替方向法的原理引入基于交替最小二乘法的訓(xùn)練過程中，加速了模型收斂；魯城華等[13]提出一種基于用戶和服務(wù)區(qū)域信息的QoS 預(yù)測(cè)方法，將全局的服務(wù)質(zhì)量信息和局部的區(qū)域信息相結(jié)合構(gòu)建預(yù)測(cè)模型。在改進(jìn)方法上，Chen 等[14]將用戶ID、服務(wù)ID、服務(wù)位置和用戶位置信息嵌入向量中，為MF 模型引入了更多信息；Tang 等[15]通過合并服務(wù)用戶的位置，改進(jìn)了經(jīng)典的因子分解機(jī)模型，提升了模型預(yù)測(cè)的精確度；夏會(huì)等[16]分析用戶?服務(wù)QoS 矩陣的時(shí)空特征，提出一種基于全局和局部結(jié)構(gòu)相似度的稀疏矩陣分解模型；陳蕾等[17]通過將Web 服務(wù)QoS 預(yù)測(cè)問題建模為L(zhǎng)2,1 范數(shù)正則化矩陣補(bǔ)全問題，提出了一類基于結(jié)構(gòu)化噪聲矩陣補(bǔ)全的Web 服務(wù)QoS 預(yù)測(cè)方法，有效緩解了QoS 信息受結(jié)構(gòu)化噪聲污染的問題。在引入時(shí)間信息時(shí)，Luo 等[18]提出了一種有偏的非負(fù)張量潛在因子分解模型，有效緩解了QoS數(shù)據(jù)隨時(shí)間波動(dòng)的問題?；谀Ｐ偷腃F 方法使用用戶?服務(wù)矩陣中的所有QoS 值來構(gòu)建全局模型，有效利用了全局信息，因而可以很好地估計(jì)整體結(jié)構(gòu)，但傳統(tǒng)的基于模型的CF 方法在挖掘關(guān)聯(lián)性較強(qiáng)的用戶組或服務(wù)組的局部信息時(shí)表現(xiàn)較差，且難以提取高階特征。

隨著神經(jīng)網(wǎng)絡(luò)研究的深入，作為基于模型的CF方法的一個(gè)分支，基于神經(jīng)網(wǎng)絡(luò)的CF 方法得到了較多研究。Kang 等[19]提出一種結(jié)合神經(jīng)網(wǎng)絡(luò)和注意力的因子分解機(jī)模型，能有效捕獲非線性特征交互并賦予不同的重要性；Gao 等[20]提出一種能夠?qū)ι舷挛男畔⑦M(jìn)行聚類的模糊聚類算法和一種新的組合相似度計(jì)算方法，并提出一個(gè)新的神經(jīng)協(xié)同過濾（NCF，neural collaborative filtering）模型，可以利用本地和全局特性為預(yù)測(cè)提供信息；王安迪[21]提出基于自組織映射神經(jīng)網(wǎng)絡(luò)與K-means 兩階段聚類的QoS 預(yù)測(cè)方法，對(duì)用戶和服務(wù)分別進(jìn)行聚類，將基于相似用戶的預(yù)測(cè)值和基于相似服務(wù)的預(yù)測(cè)值結(jié)合進(jìn)行混合預(yù)測(cè)；Chen 等[22]提出了一種由多個(gè)LSTM 層組成的遞歸神經(jīng)網(wǎng)絡(luò)模型，并使用了多種正則化技術(shù)來提升預(yù)測(cè)性能。在GCN 相關(guān)方法中，Elif 等[23]針對(duì)Wi-Fi6的QoS 預(yù)測(cè)，采用GCN 對(duì)數(shù)據(jù)進(jìn)行時(shí)間分析，提升了預(yù)測(cè)的效果。本文的前期工作[5]將用戶?服務(wù)的歷史QoS 值建模為二部圖，采用GCN 提取和聚合節(jié)點(diǎn)的鄰居信息，并采用ANFM 模塊挖掘低、高階交互特征并賦予權(quán)值，為預(yù)測(cè)提供了更多有價(jià)值的信息。基于神經(jīng)網(wǎng)絡(luò)的CF方法能有效提取歷史QoS 值中的高維信息，有能力擬合任何非線性QoS 分布，但在提取特征的方法上還有較大的改進(jìn)空間，如果能夠從用戶?服務(wù)交互信息中挖掘出潛在的環(huán)境特征信息，就可以提供更全面和復(fù)雜的特征信息來提高QoS 預(yù)測(cè)精度。

2 方法介紹

本節(jié)將詳細(xì)介紹JQSP 方法。圖1 展示了JQSP方法的工作流程。JQSP 主要由多組件圖卷積神經(jīng)網(wǎng)絡(luò)（MGCN,multi-component graph convolutional neural network）和ANFM 這2 個(gè)模塊組成。JQSP方法使用MGCN 模塊提取各單類QoS的多維偏好特征，并將多類QoS的特征嵌入映射到同一個(gè)空間，然后通過ANFM 模塊將拼接的多類QoS 偏好特征進(jìn)行深度融合，并實(shí)現(xiàn)多類QoS的聯(lián)合預(yù)測(cè)。作為一個(gè)端到端模型，JQSP 以數(shù)據(jù)預(yù)處理后的多個(gè)用戶?服務(wù)QoS 矩陣作為輸入，每個(gè)矩陣代表一類QoS。在整個(gè)JQSP 方法框架中，MGCN 模塊包含3 個(gè)子模塊。1) 具有節(jié)點(diǎn)級(jí)注意力的分解器，該子模塊可以從服務(wù)的特征信息和用戶的特征信息中識(shí)別和捕獲用戶?服務(wù)交互關(guān)系的潛在偏好，并將其映射為具體的組件；2) 具有組件級(jí)注意力的組合器，該子模塊可以獲得上述組件的權(quán)重系數(shù)，然后通過聚合組件與對(duì)應(yīng)的權(quán)重系數(shù)得到用戶嵌入向量和服務(wù)嵌入向量；3) 加權(quán)融合器，該子模塊負(fù)責(zé)將多類QoS的用戶嵌入向量和服務(wù)嵌入向量采用加權(quán)融合的方式構(gòu)成融合嵌入向量。ANFM 模塊使用線性部分挖掘融合嵌入向量的一階特征，使用交互部分挖掘其二階交互特征，使用全連接層部分挖掘其高階交互特征并應(yīng)用自注意力層為交互特征分配權(quán)重，最后將多個(gè)部分的結(jié)果相加得到最終的多類QoS 預(yù)測(cè)結(jié)果。JQSP 方法框架如圖2 所示，考慮兩類QoS的聯(lián)合預(yù)測(cè)情形，其中對(duì)每類QoS分別為用戶和服務(wù)提取其偏好特征。

圖1 JQSP 方法的工作流程

圖2 JQSP 方法框架

2.1 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理的目的是將QoS 矩陣轉(zhuǎn)換為模型可以識(shí)別的標(biāo)準(zhǔn)格式。在QoS 預(yù)測(cè)的背景下，可將用戶?服務(wù)的歷史QoS 值建模為用戶GCN服務(wù)二部圖G={U,S,R,E}，其中U和S分別為用戶Nu和服務(wù)Ns的集合，R為QoS 集合，E為邊集合，其元素邊e=(u,s,r)∈E表示存在用戶u調(diào)用服務(wù)s的QoS 值r。

為便于處理，將QoS 矩陣分別從用戶和服務(wù)視角來建模，即用戶特征矩陣和服務(wù)特征矩陣，其中，Lu和Ls分別為用戶特征和服務(wù)特征的維度，Nu和Ns分別為用戶和服務(wù)的數(shù)量。

2.2 MGCN 模塊

本文將編碼器稱為MGCN 模塊，它由多個(gè)結(jié)構(gòu)相同、參數(shù)獨(dú)立的Single-MGCN 模塊構(gòu)成。Single-MGCN 模塊在本文的前期工作[5]中已經(jīng)得到實(shí)現(xiàn)，其思想主要借鑒文獻(xiàn)[4]，可以細(xì)分為分解器和組合器2 個(gè)部分，目的是將QoS 矩陣表征為嵌入向量。Single-MGCN 模塊的輸入為單類QoS的用戶特征矩陣和服務(wù)特征矩陣，輸出為該類QoS的用戶嵌入向量和服務(wù)嵌入向量。

2.2.1 分解器

本文構(gòu)建分解器從特征信息中識(shí)別和捕獲交互中的潛在偏好，并將其映射為組件。分解器的輸入為用戶特征矩陣和服務(wù)特征矩陣，輸出為用戶聚合組件和服務(wù)聚合組件。

1) 多組件提取。假定用戶?服務(wù)二部圖G受M個(gè)潛在偏好影響，本文分別為用戶和服務(wù)設(shè)計(jì)M個(gè)獨(dú)立的轉(zhuǎn)換矩陣作為卷積核，對(duì)二部圖進(jìn)行卷積操作：用戶轉(zhuǎn)換矩陣組和服務(wù)轉(zhuǎn)換矩陣組第m個(gè)轉(zhuǎn)換矩陣捕獲第m個(gè)用戶?服務(wù)交互潛在偏好。對(duì)于服務(wù)i，其第m個(gè)服務(wù)特有組件可以按式(1)提取；對(duì)于用戶j，其第m個(gè)用戶特有組件可以按式(2)提取。這兩組組件包含了QoS 二部圖中環(huán)境偏好特征對(duì)用戶和服務(wù)的分量。

2)節(jié)點(diǎn)級(jí)注意力應(yīng)用。在用戶?服務(wù)二部圖中，每個(gè)節(jié)點(diǎn)都有若干可用于獲取鄰域信息的鄰居節(jié)點(diǎn)。對(duì)節(jié)點(diǎn)應(yīng)用節(jié)點(diǎn)級(jí)注意力，可以學(xué)習(xí)該節(jié)點(diǎn)的各鄰居節(jié)點(diǎn)的重要性，區(qū)分鄰居節(jié)點(diǎn)之間的差別并為其分配不同的權(quán)重，以提升特征提取的效率。

經(jīng)過多組件提取步驟，用戶j得到M個(gè)用戶特有組件服務(wù)i得到M個(gè)服務(wù)特有組件。考慮到用戶與不同服務(wù)的交互對(duì)描述各組件影響不同，分解器應(yīng)用節(jié)點(diǎn)級(jí)注意力來凸顯對(duì)描述組件影響較大的服務(wù)。

具體來說，考慮到第m個(gè)組件對(duì)用戶j調(diào)用服務(wù)i的QoS 值的影響同時(shí)表現(xiàn)在用戶特有組件和服務(wù)特有組件中，則其影響因子可以由注意力計(jì)算式(3)學(xué)習(xí)得到，其中，attnode表示執(zhí)行節(jié)點(diǎn)級(jí)注意力的神經(jīng)網(wǎng)絡(luò)，Watt,m表示第m個(gè)組件的節(jié)點(diǎn)級(jí)注意力參數(shù)矩陣，σ表示激活函數(shù)，||表示拼接運(yùn)算。在獲得影響因子后，將其按softmax 函數(shù)式(4)進(jìn)行標(biāo)準(zhǔn)化，以獲得其權(quán)重系數(shù)該權(quán)重系數(shù)表示該服務(wù)特有組件的節(jié)點(diǎn)級(jí)注意力權(quán)重。

對(duì)于用戶j的調(diào)用服務(wù)集Pu中的所有服務(wù)，通過式(5)聚合其服務(wù)特有組件與對(duì)應(yīng)的權(quán)重系數(shù)，可以得到用戶j特有的第m個(gè)服務(wù)聚合組件它描述了用戶j的客戶端主機(jī)受第m個(gè)偏好影響的程度。經(jīng)過分解器的處理，所有用戶都獲得了M個(gè)服務(wù)聚合組件所有服務(wù)也獲得了M個(gè)用戶聚合組件

2.2.2 組合器

本文構(gòu)建組合器學(xué)習(xí)潛在組件的權(quán)重系數(shù)并聚合它們，得到嵌入向量。組合器的輸入為用戶聚合組件和服務(wù)聚合組件，輸出為用戶嵌入向量和服務(wù)嵌入向量。

1) 組件級(jí)注意力應(yīng)用?？蛻舳酥鳈C(jī)對(duì)服務(wù)環(huán)境的偏好可以通過服務(wù)聚合組件反映，而服務(wù)器對(duì)用戶環(huán)境的偏好可以通過用戶聚合組件反映?？紤]到不同組件對(duì)學(xué)習(xí)用戶嵌入向量或服務(wù)嵌入向量有不同的貢獻(xiàn)，組合器應(yīng)用組件級(jí)注意力來凸顯對(duì)學(xué)習(xí)嵌入向量影響較大的組件。

具體來說，考慮到第m個(gè)服務(wù)聚合組件的權(quán)重系數(shù)同時(shí)受到原始的用戶特征信息和節(jié)點(diǎn)級(jí)注意力加權(quán)的用戶特征信息的影響，本文通過拼接服務(wù)聚合組件和用戶特有組件并通過全連接層，按式(6)得到用戶聯(lián)合向量其中Cm是參數(shù)矩陣，bm是偏置向量。然后，按式(7)學(xué)習(xí)得到第m個(gè)服務(wù)聚合組件的影響因子wm，其中attcom是執(zhí)行組件級(jí)注意力的神經(jīng)網(wǎng)絡(luò)，q是組件級(jí)注意力參數(shù)矩陣，b是偏置值，q和b由所有用戶聚合組件和服務(wù)聚合組件共享，因?yàn)檫@2 個(gè)參數(shù)表示客戶端主機(jī)對(duì)不同服務(wù)環(huán)境和服務(wù)器對(duì)不同用戶環(huán)境的共同偏好傾向。然后，將影響因子wm按soft max函數(shù)式(8)進(jìn)行標(biāo)準(zhǔn)化，獲得第m個(gè)服務(wù)聚合組件的權(quán)重系數(shù)，該權(quán)重系數(shù)表示了該服務(wù)聚合組件的組件級(jí)注意力權(quán)重。

2) 權(quán)重聚合。按式(9)聚合服務(wù)聚合組件與其對(duì)應(yīng)的權(quán)重系數(shù)，獲得用戶j的嵌入向量zj。類似地，可以獲得服務(wù)i的嵌入向量vi。用戶嵌入向量zj和服務(wù)嵌入向量vi不僅捕獲了低維的用戶相似關(guān)系和服務(wù)相似關(guān)系，也捕獲了高維的用戶?服務(wù)交互中隱含的客戶端主機(jī)對(duì)服務(wù)環(huán)境、服務(wù)器對(duì)用戶環(huán)境的偏好信息。

2.2.3 加權(quán)融合器

獲得用戶嵌入向量zj和服務(wù)嵌入向量vi后，將它們按式(10)進(jìn)行拼接，得到合并嵌入向量所有合并嵌入向量組合獲得合并嵌入矩陣emerge。

值得注意的是，合并嵌入矩陣emerge是Single-MGCN 模塊處理單個(gè)QoS 矩陣所獲得的單類QoS 合并嵌入矩陣，僅包含單類QoS的用戶特征和服務(wù)特征。對(duì)于多個(gè)Single-MGCN 獲得的多類QoS 合并嵌入矩陣emerge,k，在對(duì)齊用戶標(biāo)識(shí)和服務(wù)標(biāo)識(shí)后，本文采用加權(quán)融合的方式進(jìn)行特征深度融合，按式(11)獲得融合嵌入矩陣zunion作為解碼器的輸入，其中，λi是可訓(xùn)練的權(quán)重系數(shù)，且融合嵌入矩陣zunion中的每個(gè)融合嵌入向量zij都包含了用戶j和服務(wù)i在多類QoS 上的特征。

2.3 ANFM 模塊

本文將解碼器稱為ANFM 模塊，它主要借鑒ANFM 模型[24]。ANFM 模塊的輸入為融合嵌入向量，輸出為多類QoS 預(yù)測(cè)值。與傳統(tǒng)因子分解機(jī)相似，ANFM 使用線性部分提取嵌入向量中的一階特征；而在挖掘嵌入向量交互特征上，ANFM 進(jìn)一步應(yīng)用自注意力挖掘交互特征的注意力權(quán)重，然后使用深度神經(jīng)網(wǎng)絡(luò)挖掘高階交互特征，這些工作使ANFM模塊擁有比傳統(tǒng)因子分解機(jī)FM 更優(yōu)的性能。

2.3.1 ANFM 介紹及線性部分計(jì)算

ANFM的核心計(jì)算式如式(12)所示，其中，w0表示全局偏置，W1表示一階特征提取的參數(shù)向量，h(x)表示可變的高階特征提取函數(shù)。由此，對(duì)于輸入的混合嵌入向量zij，首先可以獲得線性部分

傳統(tǒng)FM的h(x)為該項(xiàng)為二階因式分解交互項(xiàng)，可以有效提取輸入向量中的二階交互特征，但在處理復(fù)雜的現(xiàn)實(shí)數(shù)據(jù)時(shí)表達(dá)受限[25]?？紤]到各組交互對(duì)最終預(yù)測(cè)的貢獻(xiàn)不同，本文應(yīng)用注意力來凸顯貢獻(xiàn)更大的交互項(xiàng)。文獻(xiàn)[24]證明在該任務(wù)中，自注意力機(jī)制[26]可以減少注意力特征提取對(duì)外部信息的依賴，有效捕捉特征的內(nèi)部相關(guān)性，相比其他注意力機(jī)制有更優(yōu)的表現(xiàn)，所以本文應(yīng)用自注意力來強(qiáng)化高階特征提取。圖3 展示了適用于本文模型JQSP的式(12)中的ANFM 模塊中高階特征提取函數(shù)h(x)的框架。

圖3 高階特征提取函數(shù)h(x)框架

2.3.2 交互層計(jì)算

為提取特征之間的交互，對(duì)于給定的d維輸入特征向量zij={z1,z2,…,zd}，首先為其每個(gè)特征元素zi構(gòu)建交互嵌入向量ei，按式(13)得到元素嵌入向量所有交互嵌入向量構(gòu)成交互嵌入矩陣E，它由所有輸入特征向量共享。然后，按式(14)得到二階交互向量zpair，其中?表示哈達(dá)瑪積。

2.3.3 自注意力應(yīng)用

自注意力機(jī)制是注意力機(jī)制的變體，它依據(jù)輸入向量的內(nèi)部元素相關(guān)性計(jì)算各元素的自注意力值，減少了對(duì)外部信息的依賴，與傳統(tǒng)注意力機(jī)制相比更加靈活。對(duì)二階交互向量的自注意力機(jī)制實(shí)現(xiàn)過程如下。對(duì)于e維二階交互向量zpair={z1,z2,…,ze}，首先為每個(gè)交互特征元素zj構(gòu)建注意力嵌入向量attj，按式(15)得到元素注意力嵌入向量zajtt。然后構(gòu)建3 個(gè)由全部元素嵌入向量共享的自注意力參數(shù)矩陣WQ、WK、WV，按式(16)～式(18)分別計(jì)算得到查詢向量Qj、鍵向量Kj和值向量Vj。接著將Qj與Kj按式(19)相乘得到的注意力分?jǐn)?shù)值scorej，其中⊙表示點(diǎn)乘。

對(duì)于多個(gè)交互特征元素zj，將它們的注意力分?jǐn)?shù)值按式(20)進(jìn)行softmax 歸一化，得到對(duì)應(yīng)的權(quán)重值weightj，該權(quán)重值能判斷Qj和Kj的相似程度，也決定了Vj的重要程度。最后，將weightj和Vj按式(21)進(jìn)行加權(quán)求和，得到帶自注意力的二階交互特征向量zij,att。區(qū)別于顯式注意力，應(yīng)用自注意力的二階交互特征向量可以調(diào)整向量?jī)?nèi)部的元素值，使向量表征更加靈活、準(zhǔn)確。

2.3.4 QoS 聯(lián)合預(yù)測(cè)

在獲得帶自注意力的二階交互特征向量后，為提取高階交互特征，本文將zij,att傳入一組全連接層，按式(22)～式(25)計(jì)算高階特征提取向量h(zij)。

其中，Wi和bi表示第i層神經(jīng)網(wǎng)絡(luò)的權(quán)重矩陣和偏置值，σ表示激活函數(shù)，q表示預(yù)測(cè)層權(quán)重矩陣。

至此，已獲得了適用于本文模型JQSP的式(12)中的高階特征提取函數(shù)h(x)。注意，式(25)中q表示的是一個(gè)權(quán)重矩陣而非列向量，其列數(shù)等于MGCN 模塊輸入的QoS 矩陣的個(gè)數(shù)，因此h(zij)的輸出為一個(gè)多維向量，其維度等于QoS的類別數(shù)。

綜合以上結(jié)果，按式(26)獲得A個(gè)最終預(yù)測(cè)結(jié)果，其中表示用戶j調(diào)用服務(wù)i在第a類QoS 上的預(yù)測(cè)結(jié)果表示高階特征提取向量由的第a個(gè)分量，線性回歸部分ylinear,ij所有類的QoS 預(yù)測(cè)結(jié)果共享。

2.4 優(yōu)化

本文方法采用均方誤差作為損失函數(shù)，具體計(jì)算如式(27)所示，其中，O是已知QoS的集合，|O|是O的元素?cái)?shù)量是用戶j對(duì)服務(wù)i的第m類預(yù)測(cè)QoS 值是用戶j對(duì)服務(wù)i的第m類真實(shí)QoS 值，A是QoS的類別數(shù)量。此處假定了如果一個(gè)用戶?服務(wù)對(duì)獲得一類真實(shí)QoS 值，那么就能獲得所有類的真實(shí)QoS 值，因此獲得的真實(shí)QoS 值的數(shù)量為A|O|。

為緩解過度參數(shù)化和過擬合問題，本文對(duì)損失函數(shù)進(jìn)行L0正則化，對(duì)多組件提取矩陣W和Q進(jìn)行稀疏化，過濾無關(guān)自由度。最終的目標(biāo)函數(shù)為式(28)，其中θ={W,Q}，λ表示用于平衡損失和系數(shù)正則化的超參數(shù)。

3 實(shí)驗(yàn)評(píng)估及分析

本節(jié)進(jìn)行若干對(duì)比實(shí)驗(yàn)和JQSP的消融實(shí)驗(yàn)，以期回答以下問題。

問題1JQSP 方法是否比其他基線方法表現(xiàn)更優(yōu)？

問題2JQSP 方法模型的各子模塊是否產(chǎn)生了預(yù)期的作用？具體來說，用于提取環(huán)境偏好特征的MGCN 模塊是否對(duì)QoS 預(yù)測(cè)的準(zhǔn)確度有優(yōu)化作用？引入自注意力的ANFM 模塊是否能更有效地利用特征交互信息來提升QoS 預(yù)測(cè)準(zhǔn)確度？將多類QoS 數(shù)據(jù)的特征映射到同一空間是否能更有效地挖掘隱含特征信息？聯(lián)合預(yù)測(cè)是否能提升預(yù)測(cè)性能？

問題3各類超參數(shù)是如何影響模型性能？

本文使用如下配置的計(jì)算機(jī)進(jìn)行實(shí)驗(yàn)。CPU 為Intel（R）Xeon（R）Silver 4210 CPU @ 2.20 GHz，內(nèi)存為64 GB，GPU 為2 塊GeForce RTX 2080ti。

3.1 數(shù)據(jù)集描述及處理

為評(píng)估模型性能，本文使用公開數(shù)據(jù)集WS-DREAM 數(shù)據(jù)集。該數(shù)據(jù)集包含了339 個(gè)用戶與5 825 個(gè)Web 服務(wù)交互的1 974 675 個(gè)真實(shí)QoS結(jié)果，包括響應(yīng)時(shí)間和吞吐量?jī)深愔匾猀oS。

為去除無效數(shù)據(jù)，本文對(duì)響應(yīng)時(shí)間數(shù)據(jù)集進(jìn)行如下預(yù)處理。首先，舍棄響應(yīng)時(shí)間為0（代表用戶未調(diào)用該Web 服務(wù)）和響應(yīng)時(shí)間超過20 s（代表響應(yīng)時(shí)間過長(zhǎng)，用戶可能放棄調(diào)用該服務(wù)，所以該響應(yīng)時(shí)間數(shù)據(jù)沒有意義）的元素；然后，為保證聯(lián)合預(yù)測(cè)時(shí)多類QoS的數(shù)據(jù)在同一個(gè)尺度，將響應(yīng)時(shí)間數(shù)據(jù)集進(jìn)行min-max 歸一化，使其數(shù)據(jù)尺度為（0,1）。吞吐量數(shù)據(jù)集中的元素均為有效數(shù)據(jù)，故僅進(jìn)行min-max 歸一化。

現(xiàn)實(shí)中，用戶通常只會(huì)調(diào)用少量的服務(wù)，從而導(dǎo)致QoS 數(shù)據(jù)的用戶服務(wù)矩陣稀疏。考慮到預(yù)處理后的吞吐量矩陣和響應(yīng)時(shí)間矩陣為稠密矩陣，為了在實(shí)驗(yàn)中模擬真實(shí)情況，本文在訓(xùn)練模型時(shí)使用訓(xùn)練集密度（DoT，density of training set）較低的QoS矩陣。例如，DoT=5%表示隨機(jī)選擇5%的QoS 作為訓(xùn)練集，剩余95%的QoS 作為測(cè)試集。

3.2 評(píng)估標(biāo)準(zhǔn)

為了評(píng)價(jià)模型的效果，本文采用以下2 種廣泛使用的評(píng)價(jià)參數(shù)：均方根誤差（RMSE,root mean square error）和平均絕對(duì)誤差（MAE,mean absolute error）。

1) 均方根誤差。RMSE 表示預(yù)測(cè)值與真實(shí)值偏差的平方與觀測(cè)次數(shù)比值的平方根，反映了樣本的分散程度。RMSE的計(jì)算方法為

2) 平均絕對(duì)誤差。MAE 表示預(yù)測(cè)值和觀測(cè)值之間絕對(duì)誤差的平均值，其所有差值的權(quán)重相等。MAE的計(jì)算方法為

其中，ypred,i表示第i個(gè)預(yù)測(cè)QoS 值，ytrue,i表示第i個(gè)真實(shí)QoS 值。RMSE和MAE的值越小，表示模型預(yù)測(cè)的準(zhǔn)確性越高，結(jié)果越好。

3.3 對(duì)比方法與消融實(shí)驗(yàn)

本文將JQSP 方法與基于鄰域、基于因子分解模型和基于神經(jīng)網(wǎng)絡(luò)的CF 方法以及JQSP 方法的消融實(shí)驗(yàn)進(jìn)行比較，以證明JQSP 方法的性能。

1) UIPCC[27]。UIPCC 結(jié)合了基于用戶和基于項(xiàng)目的協(xié)作預(yù)測(cè)方法，采用PCC 來度量節(jié)點(diǎn)之間的相似度，并使用相似用戶和相似服務(wù)進(jìn)行QoS 預(yù)測(cè)。它屬于基于鄰域的CF 方法。

2) PMF（positive matrix factorization）[28]。PMF采用概率矩陣分解方法對(duì)用戶?服務(wù)QoS 矩陣進(jìn)行因子分解來提取隱藏特征，在面對(duì)大型稀疏數(shù)據(jù)集時(shí)具有良好的預(yù)測(cè)效果。它屬于基于因子分解模型的CF 方法。

3) 深度神經(jīng)模型（DNM，deep neural model）[29]。DNM 是一種基于上下文的QoS 預(yù)測(cè)模型，具有較好的預(yù)測(cè)精度，在面對(duì)挖掘異構(gòu)上下文特征的任務(wù)時(shí)具有較好的穩(wěn)健性和可擴(kuò)展性。它屬于基于神經(jīng)網(wǎng)絡(luò)的CF 方法，因其在所有對(duì)比方法中表現(xiàn)最優(yōu)，本文選用該方法作為基準(zhǔn)方法。

4) MLP-ANFM（multilayer perceptron-attention neural factorization machine）。MLP-ANFM 使用MLP 替代MGCN 模塊作為編碼器，和ANFM 模塊一起組成完整的端到端模型。該方法的實(shí)驗(yàn)結(jié)果可論證MGCN 模塊是否對(duì)QoS 預(yù)測(cè)的準(zhǔn)確度有影響。

5) MGCN-MLP（multi-component graph convolutional network multilayer perceptron）。MGCNMLP 使用MLP 替代ANFM 模塊作為解碼器，和MGCN 模型一起組成完整的端到端模型。該方法的實(shí)驗(yàn)結(jié)果可以論證ANFM 模塊是否能有效地利用特征交互信息來提升QoS 預(yù)測(cè)準(zhǔn)確度。

6) Single-MGCN。Single-MGCN 使用單個(gè)MGCN 模塊，同時(shí)去掉了加權(quán)融合層，使整個(gè)模型只訓(xùn)練和預(yù)測(cè)單類QoS。該方法的實(shí)驗(yàn)結(jié)果可以論證聯(lián)合預(yù)測(cè)是否比單獨(dú)預(yù)測(cè)更精確。

3.4 參數(shù)設(shè)置

考慮數(shù)據(jù)稀疏性的影響，本文將QoS 數(shù)據(jù)集按如下比例隨機(jī)分成訓(xùn)練集和測(cè)試集：DoT={5%,10%,15%,20%,25%,30%}，共6 個(gè)實(shí)驗(yàn)組，注意隨機(jī)拆分時(shí)對(duì)齊多類QoS的用戶標(biāo)識(shí)和服務(wù)標(biāo)識(shí)。然后，本文對(duì)所有方法在所有DoT 數(shù)據(jù)集上各進(jìn)行5 次實(shí)驗(yàn)并取平均值，以評(píng)價(jià)QoS 預(yù)測(cè)性能并進(jìn)行對(duì)比分析。

參考文獻(xiàn)[4,30]，JQSP 方法及其消融實(shí)驗(yàn)的參數(shù)設(shè)置如表1 所示。對(duì)于其他對(duì)比方法，本文分別按照其參考文獻(xiàn)內(nèi)的最佳參數(shù)進(jìn)行設(shè)置。

表1 參數(shù)設(shè)置

3.5 實(shí)驗(yàn)結(jié)果與分析

表2給出了基于響應(yīng)時(shí)間數(shù)據(jù)集的所有QoS 預(yù)測(cè)評(píng)價(jià)結(jié)果，表3 給出了基于吞吐量數(shù)據(jù)集的所有QoS 預(yù)測(cè)評(píng)價(jià)結(jié)果，并對(duì)每個(gè)DoT 訓(xùn)練集的最優(yōu)數(shù)據(jù)進(jìn)行加粗表示。表2和表3 中Gains 計(jì)算方式如式(31)所示，代表了JQSP 方法與基準(zhǔn)方法DNM 相比性能提升的程度。

3.5.1 不同模型預(yù)測(cè)性能比較（問題1）

由表2和表3 可以得出，對(duì)于RMSE和MAE兩項(xiàng)評(píng)價(jià)指標(biāo)，PMF 顯著優(yōu)于UIPCC，在訓(xùn)練集占比低的情況下更加明顯，這說明了矩陣分解方法在緩解數(shù)據(jù)稀疏性問題上比基于鄰域的方法表現(xiàn)更優(yōu)。DNM 一定程度上優(yōu)于PMF，在少數(shù)訓(xùn)練集占比上持平，這說明神經(jīng)網(wǎng)絡(luò)方法有比矩陣分解方法更優(yōu)的建模能力。本文提出的JQSP 方法及其消融實(shí)驗(yàn)（即 MLP-ANFM、MGCN-MLP、Single-MGCN）在RMSE和MAE 上始終優(yōu)于對(duì)比方法，并且在吞吐量數(shù)據(jù)集、DoT=30%的RMSE評(píng)價(jià)指標(biāo)上相比基準(zhǔn)方法DNM 有28.94%的提升率，這說明本文所提方法JQSP 相比其他基線方法有更優(yōu)的表現(xiàn)。

表2 基于響應(yīng)時(shí)間數(shù)據(jù)集的所有QoS 預(yù)測(cè)評(píng)價(jià)結(jié)果

表3 基于吞吐量數(shù)據(jù)集的所有QoS 預(yù)測(cè)評(píng)價(jià)結(jié)果

3.5.2 JQSP方法與各消融實(shí)驗(yàn)預(yù)測(cè)性能比較（問題2）

對(duì)比表2和表3 中的MLP-ANFM 方法和JQSP方法可以看到，JQSP 方法性能全面領(lǐng)先MLP-ANFM 方法，這證明了用于提取環(huán)境偏好特征的MGCN 模塊實(shí)現(xiàn)了以環(huán)境偏好特征為主要目標(biāo)的細(xì)粒度潛在特征的挖掘，對(duì)QoS 預(yù)測(cè)準(zhǔn)確度的提升有幫助。

對(duì)比表2和表3 中的MGCN-MLP 方法和JQSP方法可以看到，JQSP 方法依然有較優(yōu)的表現(xiàn)，這證明ANFM 模塊因?yàn)橛行崛×溯斎胂蛄康亩A及高階交互特征而提升了預(yù)測(cè)的準(zhǔn)確性，實(shí)現(xiàn)了特征深度融合。同時(shí)注意到 MGCN-MLP 方法和MLP-ANFM 方法的性能差距較小，說明MGCN和ANFM 這2 個(gè)模塊對(duì)模型預(yù)測(cè)性能的影響是接近的，單獨(dú)增加2 個(gè)模塊中的任一個(gè)對(duì)整個(gè)模型性能的提升相差不大。

對(duì)比表2和表3 中的Single-MGCN 方法和JQSP 方法可以看到，JQSP 方法依然有著較大的領(lǐng)先優(yōu)勢(shì)，這證明了與提取單類QoS 特征相比，將多類相關(guān)的QoS 數(shù)據(jù)的特征映射到同一空間進(jìn)行特征提取有更優(yōu)的表現(xiàn)，QoS 聯(lián)合預(yù)測(cè)實(shí)現(xiàn)了對(duì)多類QoS 潛在的共同特征的挖掘。同時(shí)注意到Single-MGCN 方法與MGCN-MLP和MLP-ANFM方法相比更接近JQSP 方法的表現(xiàn)，這說明與MGCN和ANFM 這2 個(gè)模塊相比，單獨(dú)應(yīng)用聯(lián)合預(yù)測(cè)框架對(duì)模型的預(yù)測(cè)精確度的提升較少，這可能是因?yàn)橄啾扔贛GCN 模塊挖掘的QoS 矩陣中的環(huán)境偏好特征信息和ANFM 模塊挖掘的二階和高階交互信息，Single-MGCN 所挖掘的多類QoS 潛在的共同特征信息的信息量更少，重要性更低，對(duì)模型性能提升的幫助更有限。

綜上所述，本文提出的JQSP 方法中3 個(gè)主要子模塊均產(chǎn)生了預(yù)期的作用，單獨(dú)添加任一子模塊都能有效提升模型的預(yù)測(cè)性能。

3.5.3 超參數(shù)影響分析（問題3）

本文針對(duì)以下超參數(shù)在DoT=30%的數(shù)據(jù)集上進(jìn)行單一變量實(shí)驗(yàn)，以探究它們各自對(duì)JQSP 模型性能的影響：轉(zhuǎn)換矩陣數(shù)m∈ {1,2,3,4,5}，神經(jīng)網(wǎng)絡(luò)嵌入維度，自注意力嵌入維度。簡(jiǎn)便起見，本文僅列出響應(yīng)時(shí)間數(shù)據(jù)集上的結(jié)果。

1) 轉(zhuǎn)換矩陣數(shù)。轉(zhuǎn)換矩陣數(shù)m代表模型捕獲潛在環(huán)境偏好的數(shù)量，增加m可以提高模型的捕獲能力，但過高的m可能超過了真實(shí)數(shù)據(jù)中的潛在環(huán)境偏好數(shù)，增加了模型復(fù)雜度的同時(shí)無法提升模型性能。從圖4的實(shí)驗(yàn)結(jié)果可以得出，隨著m的增加，模型性能有所提升，m=3時(shí)模型獲得了最優(yōu)的性能，后續(xù)進(jìn)一步增加m無法獲得明顯性能提升，同時(shí)還會(huì)大幅增加模型訓(xùn)練的時(shí)間。

圖4 轉(zhuǎn)換矩陣數(shù)對(duì)模型性能的影響

2) 神經(jīng)網(wǎng)絡(luò)嵌入維度。嵌入維度表示神經(jīng)網(wǎng)絡(luò)層使用多少維度來表達(dá)特征，維度越高，表達(dá)特征越細(xì)膩，但過高的維度會(huì)引入過多的參數(shù)，可能造成過擬合和難以收斂的問題，大幅增加模型訓(xùn)練時(shí)間。從圖5的實(shí)驗(yàn)結(jié)果可以得出，隨著dneu增加，模型性能明顯提高，dneu=64時(shí)模型獲得最優(yōu)表達(dá)能力，繼續(xù)增加dneu反而導(dǎo)致性能下降。

圖5 神經(jīng)網(wǎng)絡(luò)嵌入維度對(duì)模型性能的影響

3) 自注意力嵌入維度。自注意力嵌入維度表示自注意力參數(shù)矩陣使用多少維度來表達(dá)自注意力特征。從圖6的實(shí)驗(yàn)結(jié)果可以得出，從8 開始增加datt有效提升了模型的性能，datt=32時(shí)模型獲得了最優(yōu)的表達(dá)能力，繼續(xù)增加datt降低了模型的性能。

圖6 自注意力嵌入維度對(duì)模型性能的影響

4 結(jié)束語

本文提出了一種JQSP 方法用于多類QoS 聯(lián)合預(yù)測(cè)，與現(xiàn)有的QoS 預(yù)測(cè)方法相比，所提方法具有以下優(yōu)點(diǎn)：1) 所提方法能有效識(shí)別和挖掘用戶偏好信息和服務(wù)偏好信息，從而為特征提取提供了更豐富的信息；2) 所提方法將多類相關(guān)QoS的特征映射到同一個(gè)空間進(jìn)行特征提取，這能獲取到處理單類QoS 無法獲取的多類QoS 相關(guān)性特征；3) 所提方法引入帶自注意力的因子分解機(jī)來挖掘特征提取向量中的一階特征、二階和高階交互特征，并為交互特征賦予注意力權(quán)重，有效提升了特征提取的效果，該效果優(yōu)于傳統(tǒng)因子分解機(jī)和MLP。在未來的工作中，將考慮引入更豐富的異構(gòu)信息來提升模型預(yù)測(cè)的精確度，同時(shí)考慮合理地簡(jiǎn)化模型結(jié)構(gòu)，降低模型的訓(xùn)練時(shí)間，增加其可用性和穩(wěn)健性。