崔國(guó)琪 李林

摘要：為提高推薦算法挖掘數(shù)據(jù)長(zhǎng)尾信息的能力，降低推薦結(jié)果流行度，使推薦結(jié)果更多樣，在傳統(tǒng)協(xié)同過(guò)濾推薦算法基礎(chǔ)上，分別將熱門(mén)項(xiàng)目與活躍用戶的懲罰因子引入相似性計(jì)算中，依據(jù)準(zhǔn)確度、覆蓋率、流行度等評(píng)價(jià)標(biāo)準(zhǔn)，在上海某電商平臺(tái)銷(xiāo)售數(shù)據(jù)集上進(jìn)行比較，并通過(guò)多組實(shí)驗(yàn)驗(yàn)證不同參數(shù)對(duì)推薦算法的影響。結(jié)果顯示，加入懲罰因子后基于用戶的協(xié)同過(guò)濾推薦算法在N值取10、K值取3時(shí)，流行度為3.97，比傳統(tǒng)方法降低了7.31%：加入懲罰因子后基于項(xiàng)目的協(xié)同過(guò)濾推薦算法在N值取10、K值取3時(shí)，準(zhǔn)確率為7.65%，比傳統(tǒng)方法提高了5.25%。由此證明加入懲罰因子的協(xié)同過(guò)濾推薦算法在保持算法準(zhǔn)確率的同時(shí)，可在一定程度上降低推薦結(jié)果流行度。

關(guān)鍵詞：推薦算法;協(xié)同過(guò)濾;懲罰因子;長(zhǎng)尾效應(yīng);電商

DOI： 10. 11907/rjdk.192435

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類(lèi)號(hào)：TP312

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1672-7800（ 2020）001-0103-05

0 引言

隨著互聯(lián)網(wǎng)、移動(dòng)技術(shù)的快速發(fā)展，全球數(shù)據(jù)量呈指數(shù)型爆炸增長(zhǎng)，用戶獲取的信息資源越來(lái)越豐富，但隨之而來(lái)的“信息超載”問(wèn)題使獲取有效信息的難度越來(lái)越大[1]。為解決該問(wèn)題，IBM、Google、Yahoo等多家公司陸續(xù)推出了個(gè)性化電子商務(wù)原型系統(tǒng)TELLIM。個(gè)性化推薦系統(tǒng)通過(guò)分析用戶個(gè)體行為和偏好，“一對(duì)一”地提供其感興趣的信息，并根據(jù)新錄入的行為變化自動(dòng)調(diào)整推薦內(nèi)容。該方式不需要用戶較大的參與成本，推薦內(nèi)容也更準(zhǔn)確[2]。協(xié)同過(guò)濾推薦算法是當(dāng)前應(yīng)用最為廣泛的個(gè)性化推薦技術(shù)，其基本思想是根據(jù)其他用戶偏好的項(xiàng)目進(jìn)行推薦，首先找到一組與目標(biāo)用戶偏好一致或相近的鄰居用戶，然后分析鄰居用戶偏好，將鄰居用戶喜愛(ài)的項(xiàng)目推薦給目標(biāo)用戶[3]。目前，協(xié)同過(guò)濾推薦算法主要有基于內(nèi)容的推薦[4-5]、基于鄰域的推薦[6-7]、基于矩陣分解的SVD++算法[8]等。

為有效提高協(xié)同過(guò)濾推薦算法準(zhǔn)確率，眾多學(xué)者針對(duì)相似度計(jì)算進(jìn)行了大量研究。李容等[9]提出利用用戶共同項(xiàng)目數(shù)與用戶平均評(píng)分修正因子改進(jìn)傳統(tǒng)相似度，同時(shí)改進(jìn)協(xié)同過(guò)濾算法，并將其應(yīng)用于電影推薦;王志虎等[10]提出基于用戶歷史行為的協(xié)同過(guò)濾推薦算法，根據(jù)用戶歷史行為預(yù)測(cè)用戶對(duì)每一個(gè)項(xiàng)目的偏好程度，大幅降低了推薦誤差;王余斌等[11]將改進(jìn)的用戶偏好與信任度引入傳統(tǒng)協(xié)同過(guò)濾算法中，提出了基于用戶評(píng)論評(píng)分與信任度的協(xié)同過(guò)濾算法;王永貴等[12]通過(guò)矩陣分解實(shí)現(xiàn)對(duì)原始數(shù)據(jù)的降維及數(shù)據(jù)填充，并引入時(shí)間衰減函數(shù)預(yù)處理用戶評(píng)分，提出一種改進(jìn)的協(xié)同過(guò)濾算法，可在多維度下反映用戶興趣變化;胡朝舉等[13]通過(guò)對(duì)用戶進(jìn)行模糊C均值聚類(lèi)操作，將用戶分為用戶簇，使用加權(quán)的歐氏距離計(jì)算相似度，提高了推薦精度，減少了評(píng)分誤差。

現(xiàn)有算法在計(jì)算用戶相似性時(shí)，沒(méi)有考慮熱門(mén)項(xiàng)目對(duì)相似性的影響，即大部分用戶對(duì)熱門(mén)項(xiàng)目有反饋，導(dǎo)致算法推薦結(jié)果越來(lái)越傾向于熱門(mén)項(xiàng)目;另一方面，在計(jì)算項(xiàng)目相似性時(shí)，由于活躍用戶對(duì)多個(gè)項(xiàng)目均有反饋，算法推薦結(jié)果更易受到活躍用戶的影響。

針對(duì)以上問(wèn)題，本文通過(guò)加入懲罰因子以降低熱門(mén)項(xiàng)目和活躍用戶相似性權(quán)重，在利用傳統(tǒng)余弦相似度計(jì)算相似性的基礎(chǔ)上改進(jìn)相似性計(jì)算方法，并將改進(jìn)的協(xié)同過(guò)濾算法在上海某電商公司購(gòu)物評(píng)分?jǐn)?shù)據(jù)集中進(jìn)行實(shí)證研究，驗(yàn)證其可行性。

1 協(xié)同過(guò)濾推薦算法

1.1 傳統(tǒng)協(xié)同過(guò)濾推薦算法

目前應(yīng)用最廣泛的協(xié)同過(guò)濾推薦算法主要包括基于用戶的協(xié)同過(guò)濾算法與基于項(xiàng)目的協(xié)同過(guò)濾算法[14]。協(xié)同過(guò)濾推薦算法通過(guò)分析數(shù)據(jù)，生成當(dāng)前用戶最近鄰居集合，將該集合最感興趣的前N個(gè)項(xiàng)目推薦給當(dāng)前用戶，即Top N推薦，協(xié)同過(guò)濾推薦算法推薦過(guò)程主要分為3個(gè)步驟[15]。

（1）將數(shù)據(jù)表述為矩陣。根據(jù)用戶對(duì)項(xiàng)目的評(píng)價(jià)建立m*n階user-item評(píng)價(jià)矩陣R=（rij），m表示用戶總數(shù)，n表示項(xiàng)目總數(shù)，rij表示第i個(gè)用戶對(duì)第j個(gè)項(xiàng)目的評(píng)價(jià)，在本文使用的數(shù)據(jù)集中，rijE[0，5]，0表示用戶對(duì)該項(xiàng)目的興趣最低，5表示最高。

（2）發(fā)現(xiàn)最近鄰居。發(fā)現(xiàn)最近鄰居指通過(guò)計(jì)算用戶或項(xiàng)目相似度，建立當(dāng)前用戶最近鄰居集，根據(jù)最近鄰居集對(duì)項(xiàng)目進(jìn)行興趣排序，實(shí)現(xiàn)當(dāng)前用戶推薦。它可表述為針對(duì)目標(biāo)用戶ut，根據(jù)相似度排列順序建立一個(gè)鄰居集N={ u1，U2，…，un}，設(shè)目標(biāo)用戶UT和ui的相似度為sim（ UT，u;），相似度逐個(gè)遞減，即sim（uT，UI）> sirTi（ UT，U2）>…>sim （UT，un）。最近鄰居集建立得準(zhǔn)確與否，是協(xié)同過(guò)濾算法實(shí)現(xiàn)的關(guān)鍵。

基于用戶的協(xié)同過(guò)濾算法通過(guò)計(jì)算用戶相似度建立最近鄰居集，本文通過(guò)余弦相似度計(jì)算目標(biāo)用戶（記為u）和鄰居用戶（記為v）之間的相似度，計(jì)算公式[16]為：

1.2 改進(jìn)的協(xié)同過(guò)濾推薦算法

（1）基于用戶的改進(jìn)算法（UserCF-IIF）。用戶相似度計(jì)算是基于用戶對(duì)某個(gè)項(xiàng)目共同的反饋行為，但對(duì)熱門(mén)項(xiàng)目來(lái)說(shuō)，有太多用戶對(duì)其作出反饋，這種反饋不能體現(xiàn)用戶之間的差異性。所以加入懲罰因子lflog（l+IN（i）l以降低熱門(mén)項(xiàng)目對(duì)用戶相似度的影響，即冷門(mén)項(xiàng)目更能體現(xiàn)用戶相似性，由式（1）得到：

（2）基于項(xiàng)目的改進(jìn)算法（ItemCF-IUF）。兩個(gè)項(xiàng)目相似度的出現(xiàn)是因?yàn)檫@兩個(gè)項(xiàng)目同時(shí)出現(xiàn)在用戶反饋列表中，即用戶反饋行為對(duì)項(xiàng)目相似度的計(jì)算作出了貢獻(xiàn)，但活躍用戶反饋行為更多，對(duì)相似度影響更大。所以加入懲罰因子lflog（I+IN（u）l以降低活躍用戶對(duì)項(xiàng)目相似度的影響，即不活躍用戶更能體現(xiàn)項(xiàng)目相似性，由式（2）得到：

1.3 改進(jìn)算法實(shí)現(xiàn)

（1）UserCF-IIF算法。

#一*一coding：utf-8一*一

import math

import operator

def UserSimilarity（ train）：

#為項(xiàng)目一用戶矩陣生成反向表

item_users= dict（）

foru， items in train.items（）：

fori in items.keys（）：

ifi not in item_users：

item_users[i]= set（）

item_users[i] .add（u）

#計(jì)算用戶之間有共同正反饋的項(xiàng)目

C= dict（）

N= dict（）

for i， users in item_users.items（）：

foru in users：

N.setdefault（u，O）

N[u]+=1

C.setdefault（u，{}）

forv in users：

ifu==v：

continue

C[u] .setdefault（v，O）

C[u][v]+=l/math.log（ l+len（ users））

（ 2）ItemCF-IUF算法。

#一*一coding：utf-8一*一

import math

import operator

def ItemSimilarity（ train）：

#計(jì)算項(xiàng)目之間對(duì)其有共同正反饋的用戶

C= dict（）

N= dict（）

for u，items in train.items（）：

fori in items：

N.setdefault（i.O）

N[i]+=1

C.setdefault（i，{}）

forj in items：

ifi-=j：

continue

C[i] .setdefault（j，O）

C[i][j]+=1，math.log（ l+len（ items）*1.0）

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集選擇

本文選取的數(shù)據(jù)集是上海某電商公司2018年6月至2018年12月的銷(xiāo)售明細(xì)，原始數(shù)據(jù)集包括用戶信息、商品信息、用戶購(gòu)買(mǎi)記錄和評(píng)分記錄。本文實(shí)驗(yàn)提取了用戶購(gòu)買(mǎi)記錄和評(píng)分記錄，其中包括2 929位用戶、11 537件商品、310 040條購(gòu)買(mǎi)評(píng)分記錄（0-5分），用戶評(píng)分記錄最少為10條，數(shù)據(jù)稀疏度為99.08%，隨機(jī)抽取其中的80%為訓(xùn)練集，其余20%為測(cè)試集。其用戶活躍度與項(xiàng)目流行度分布均符合長(zhǎng)尾效應(yīng)[17]。

2.2 評(píng)價(jià)標(biāo)準(zhǔn)

本文推薦算法應(yīng)用在數(shù)據(jù)集上的目的是向用戶推薦其購(gòu)買(mǎi)可能性最大的項(xiàng)目，而不是預(yù)測(cè)用戶對(duì)項(xiàng)目可能的評(píng)分[18]，故使用Top N推薦。Top N推薦指算法為用戶提供個(gè)性化推薦列表，不采用RMAE、MAE等基于回歸模型的評(píng)價(jià)指標(biāo)，其推薦預(yù)測(cè)準(zhǔn)確率通常使用準(zhǔn)確率（ Preci-sion）、召回率（Recall）、覆蓋率（Coverage）及流行度（Popu-larity）度量19]。準(zhǔn)確率指推薦給用戶的項(xiàng)目屬于測(cè)試集的比例，表示預(yù)測(cè)為正的樣本中有多少是真正的正樣本，則推薦結(jié)果準(zhǔn)確率定義為：

其中R（u）表示提供訓(xùn)練集給用戶u提供的推薦項(xiàng)目列表，T（u）表示用戶u在測(cè)試集中作出反饋的項(xiàng)目列表。

召回率指測(cè)試集中有多少項(xiàng)目在用戶的推薦列表中，表示樣本正例有多少被預(yù)測(cè)正確，推薦結(jié)果召回率定義為：

覆蓋率（ Coverage）指推薦列表包含的所有推薦項(xiàng)目占項(xiàng)目總和的比例。設(shè)系統(tǒng)的用戶集合為U，項(xiàng)目總和為I，推薦系統(tǒng)向用戶提供的推薦項(xiàng)目列表為R（u），則推薦系統(tǒng)覆蓋率計(jì)算公式為：

項(xiàng)目流行度指有多少用戶對(duì)該項(xiàng)目作出反饋，項(xiàng)目流行度越高，代表該項(xiàng)目越熱門(mén)[20]。設(shè)項(xiàng)目i流行度為P（i），推薦項(xiàng)目列表R（u）長(zhǎng)度為N，推薦系統(tǒng)平均流行度可由式（9）計(jì)算得到。

2.3實(shí)驗(yàn)結(jié)果與分析

本文在協(xié)同過(guò)濾推薦算法中加入懲罰因子，在電商銷(xiāo)售數(shù)據(jù)集上驗(yàn)證其可行性，以期提升相似度算法準(zhǔn)確性，增強(qiáng)算法挖掘長(zhǎng)尾數(shù)據(jù)的能力。在保證推薦算法準(zhǔn)確率的前提下，盡可能加強(qiáng)算法對(duì)冷門(mén)項(xiàng)目推薦的權(quán)重。

本文采用的對(duì)比算法為兩種協(xié)同過(guò)濾推薦算法：基于用戶的協(xié)同過(guò)濾算法與基于項(xiàng)目的協(xié)同過(guò)濾算法，記為UserCF和ItemCF。加入懲罰因子的改進(jìn)算法分別記為UserCF-IIF和ItemCF-IUF。實(shí)驗(yàn)推薦列表長(zhǎng)度N取10，相似用戶列表長(zhǎng)度K取1-12不同值，推薦算法結(jié)果如圖3所示。

其中橫坐標(biāo)為相似用戶列表長(zhǎng)度，從圖3可以看到，隨著K值的增加，各算法準(zhǔn)確率逐步下降并趨近穩(wěn)定，基于用戶的改進(jìn)算法較原算法準(zhǔn)確率略低，基于項(xiàng)目的改進(jìn)算法較原算法準(zhǔn)確率稍有提高。由于數(shù)據(jù)稀疏性較高，各算法均在K取值為1時(shí)準(zhǔn)確度最高，隨著相似用戶列表的增多，準(zhǔn)確率也隨之降低。

如圖4、圖5所示，隨著K值的增加，各算法召回率、覆蓋率逐漸上升并趨近穩(wěn)定，基于用戶的改進(jìn)算法與基于項(xiàng)目的改進(jìn)算法召回率、覆蓋率均高于原算法。

在圖6中，隨著K值的增加，各算法流行度逐漸下降并趨近穩(wěn)定，基于用戶的改進(jìn)算法流行度較原算法明顯下降，但基于項(xiàng)目的改進(jìn)算法流行度與原算法接近一致。

本文也進(jìn)行了一次實(shí)驗(yàn)，其中相似用戶列表長(zhǎng)度不變，取K值為3，推薦列表長(zhǎng)度N取10-100，N值以10為間隔，實(shí)驗(yàn)結(jié)果各指標(biāo)變化基本不變，故實(shí)驗(yàn)結(jié)果未列出。

綜合比較各評(píng)價(jià)標(biāo)準(zhǔn)，基于用戶的改進(jìn)算法較原算法準(zhǔn)確率雖略有降低，但其召回率、覆蓋率和流行度均優(yōu)于原算法;基于項(xiàng)目的改進(jìn)算法在準(zhǔn)確率、召回率和覆蓋率上均優(yōu)于原算法，流行度與原算法無(wú)明顯差異;基于項(xiàng)目的推薦算法在準(zhǔn)確率上均高于基于用戶的推薦算法，這主要是由于采用的電商平臺(tái)數(shù)據(jù)集中，用戶興趣愛(ài)好一般比較固定，推薦算法往往圍繞用戶興趣愛(ài)好推薦相關(guān)領(lǐng)域物品，但兩種算法并無(wú)優(yōu)劣之分。

3 結(jié)語(yǔ)

協(xié)同過(guò)濾推薦算法準(zhǔn)確率是評(píng)價(jià)推薦算法優(yōu)劣的重要指標(biāo)，但挖掘數(shù)據(jù)中的長(zhǎng)尾信息，將冷門(mén)項(xiàng)目更多地推薦給用戶，使長(zhǎng)尾曲線變得更加扁平，對(duì)用戶選擇與項(xiàng)目效益均具有重要意義。本文在傳統(tǒng)協(xié)同過(guò)濾推薦算法基礎(chǔ)上，分別將熱門(mén)項(xiàng)目與活躍用戶的懲罰因子引入相似性計(jì)算中，并在電商平臺(tái)數(shù)據(jù)集上驗(yàn)證算法可行性。試驗(yàn)結(jié)果表明，本文算法在保持準(zhǔn)確率的同時(shí)，有效挖掘了數(shù)據(jù)中的長(zhǎng)尾信息，提高了冷門(mén)項(xiàng)目權(quán)重，向用戶提供的推薦列表召回率與覆蓋率均有提高，更能體現(xiàn)個(gè)性化推薦算法的多樣性。下一步將針對(duì)數(shù)據(jù)稀疏性和冷啟動(dòng)問(wèn)題，引入更多影響相似度的參數(shù)，進(jìn)一步提高算法準(zhǔn)確率。在算法方面，引入的參數(shù)越多，其算法復(fù)雜度也隨之越高，如何更好地調(diào)整參數(shù)、優(yōu)化算法也是待研究?jī)?nèi)容。

參考文獻(xiàn)：

[1]SAYAKHOT P，CAROLAN-OLAH M.Sources of information on ges-tational diabetes mellitus. satisfactionWith diagnostic process and in-formation provision [J]. BMC Pregnancy and Childhirth. 2016， 16（1）：287.

[2] YANG J M， LI K F.An inference-based collaborative filtering ap-proach[C].Third IEEE International Symposium on Dependable， Au-tonomic and SecureComputing， 2007： 84-94.

[3] 冷亞軍.協(xié)同過(guò)濾技術(shù)及其在推薦系統(tǒng)中的應(yīng)用研究[D].合肥：合肥工業(yè)大學(xué)，2013.

[4]WU M L，CHANC C H，LIU R Z.Integrating content based filteringwith collahorative filtering using co-clustering with augmented matri-ces[ Jl. Expert Systems with Applications， 2014 .41（6）：2754-2761.

[5]楊武，唐瑞，盧玲.基于內(nèi)容的推薦與協(xié)同過(guò)濾融合的新聞推薦方法[J].計(jì)算機(jī)應(yīng)用，2016，36（2）：414-418.

[6]L1 D S，CHEN C，LU Q，et al.An algorithm for efficient privacy-pre-serving item-based collaborative filtering[J].Future Ceneration Com-puter Systems， 2016.55： 311-320.

[7] 葉西寧，王猛.音樂(lè)個(gè)性化推薦算法TFPMF的研究[J].系統(tǒng)仿真學(xué)報(bào)，2019，31（7）：1397-1407.

[8]KOREN Y.Factorization meets the neighborhood：a multifaceted col-lahorative filtering model[C].Proceedings of the 14th ACM SICKDDInternational Conference on Knowledge Discovery and Data Mining，2008：426-434.

[9] 李容，李明奇，郭文強(qiáng).基于改進(jìn)相似度的協(xié)同過(guò)濾算法研究[J].計(jì)算機(jī)科學(xué)，2016，43（ 12）：206-208， 240.

[10]王志虎，黃曼瑩.基于用戶歷史行為的協(xié)同過(guò)濾推薦算法[J].微電子學(xué)與計(jì)算機(jī)，2017， 34（5）：132-136.

[11]王余斌，王成良，文俊浩.基于用戶評(píng)論評(píng)分與信任度的協(xié)同過(guò)濾算法[J].計(jì)算機(jī)應(yīng)用研究，2018，35（5）：1368-1371+1402.

[12]王永貴，宋真真，肖成龍.基于改進(jìn)聚類(lèi)和矩陣分解的協(xié)同過(guò)濾推薦算法[J].計(jì)算機(jī)應(yīng)用，2018 .38（4）：1001-1006.

[13] 胡朝舉，孫克逆.基于用戶模糊聚類(lèi)的個(gè)性化推薦研究[J].軟件導(dǎo)刊，2018， 17（2）：31-34.

[14] 王惠敏，聶規(guī)劃.融合用戶和項(xiàng)目相關(guān)信息的協(xié)同過(guò)濾算法研究[J].武漢理工大學(xué)學(xué)報(bào)，2007（7）：160-163.

[15] 張獻(xiàn)忠.基于商品流行度和用戶活躍度的推薦算法研究[J].電腦知識(shí)與技術(shù)，2014，10（ 32）：7641-7643+7649.

[16] 榮輝桂，火生旭，胡春華，等.基于用戶相似度的協(xié)同過(guò)濾推薦算法[J].通信學(xué)報(bào)，2014， 35（2）：16-24.

[17]PELTIER S，MOREAU F. Internet and the' long tail versus superstar effect' debate： evidence from the French hook market [J]. Applie-dEconomics Letters， 2012. 19（8）：711-715.

[18] LINDEN G. What is good recommendation algorithm[ EB/OLl. http：，，cacm.acm.org/blogs/blogcacm/22925 -what-is-a-good-recommenda-tion-algorithm/fulltext.

[19] 郝立燕，王靖.基于項(xiàng)目流行度的協(xié)同過(guò)濾TopN推薦算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2013，34（ 10）：3497-3501.

[20]STECK H. Item popularity and recommendation accuracy ICl. TheFifth ACM Conference on Recommender systems， 2011： 125-132.

（責(zé)任編輯：江艷）

作者簡(jiǎn)介：崔國(guó)琪（1994-），男，上海理工大學(xué)管理學(xué)院碩士研究生，研究方向?yàn)閿?shù)據(jù)挖掘;李林（1966-），女，博士，上海理工大學(xué)管理學(xué)院副教授、碩士生導(dǎo)師，研究方向?yàn)楣I(yè)工程質(zhì)量管理、服務(wù)管理。