基于情感傾向的眾包模式下接包方聲譽(yù)評(píng)價(jià)模型構(gòu)建

盧新元，盧 泉，黃夢(mèng)梅，李梓奇

（華中師范大學(xué) 信息管理學(xué)院，武漢 430079）

0 引言

在線評(píng)論（OnlineCustomerReview，OCR）通常是指由其他購(gòu)買過(guò)特定產(chǎn)品或服務(wù)的顧客發(fā)表的，在網(wǎng)頁(yè)中緊鄰商品描述的，為促進(jìn)用戶接受、增進(jìn)用戶交流的第三方評(píng)價(jià)。在眾包模式中，這種評(píng)論信息，實(shí)質(zhì)上就是接包方釋放的一種聲譽(yù)信號(hào)，是對(duì)接包方能力的一種披露方式。接包方通過(guò)瀏覽、分析這種聲譽(yù)信息，做出購(gòu)買決策，因此無(wú)論在日常網(wǎng)購(gòu)還是眾包過(guò)程中，賣方的聲譽(yù)都是潛在買方尤其重視的一種信息。

一般電商網(wǎng)站大多是通過(guò)平臺(tái)上的每個(gè)賣家付出一定的廣告、推廣費(fèi)用來(lái)盈利，因此它希望賣家數(shù)量盡可能多。而好的聲譽(yù)機(jī)制會(huì)使低質(zhì)量賣家交易量減少，直至最終退出電商平臺(tái)，因此電商平臺(tái)目前的聲譽(yù)得分差距小，區(qū)分度不明顯。而眾包網(wǎng)站的盈利模式大部分是通過(guò)每筆交易抽取一定的中介費(fèi)用，即使采用高區(qū)分度的聲譽(yù)機(jī)制，導(dǎo)致低質(zhì)量賣家減少，眾包網(wǎng)站的收益也不會(huì)降低。相反，通過(guò)幫助發(fā)包方方便快捷地找到優(yōu)質(zhì)的服務(wù)方，眾包網(wǎng)站甚至能實(shí)現(xiàn)更多的交易量，獲取更大的收益。

遺憾的是，目前眾包網(wǎng)站所采用基于評(píng)論得分（通常為5分制），計(jì)算平均分并排序的聲譽(yù)評(píng)價(jià)模型并不能使發(fā)包方滿意。本文收集了在線交流社區(qū)“知乎”上關(guān)于豬八戒網(wǎng)的451條討論，大部分評(píng)論為字?jǐn)?shù)超過(guò)50字的長(zhǎng)篇討論留言，發(fā)現(xiàn)絕大多數(shù)對(duì)于豬八戒網(wǎng)的評(píng)價(jià)均為負(fù)面評(píng)價(jià)（417/451），這說(shuō)明眾包網(wǎng)站的使用感受偏向負(fù)面。

目前，關(guān)于電商網(wǎng)站的評(píng)論研究已經(jīng)取得了實(shí)質(zhì)性進(jìn)展，不少研究者從評(píng)論有用性的角度出發(fā)，對(duì)評(píng)論內(nèi)容的質(zhì)量進(jìn)行區(qū)分[1-5]。本文試圖借用評(píng)論有用性的研究成果，結(jié)合評(píng)論得分以及評(píng)論文本二者，收集了豬八戒網(wǎng)的95364條評(píng)論數(shù)據(jù)，經(jīng)過(guò)去重、去無(wú)用評(píng)論的處理后，進(jìn)行中文分詞并構(gòu)建了一套評(píng)論文本的詞庫(kù)。結(jié)合人工歸納正、負(fù)面情感詞，計(jì)算文本的情感傾向，并根據(jù)評(píng)論有用性影響因素如時(shí)間、金額等對(duì)評(píng)論情感得分進(jìn)行集結(jié)，最后構(gòu)建出一套接包方聲譽(yù)的評(píng)價(jià)機(jī)制。

1 基于眾包網(wǎng)站評(píng)論文本的情感詞典生成

1.1 研究設(shè)計(jì)

因此，本文將整個(gè)研究的流程劃分為5步，如圖1所示。首先是對(duì)豬八戒網(wǎng)站的評(píng)論數(shù)據(jù)進(jìn)行抓取與儲(chǔ)存。隨后對(duì)這些數(shù)據(jù)進(jìn)行預(yù)處理，包括去除重復(fù)評(píng)論及無(wú)意義內(nèi)容，以及對(duì)所有文本進(jìn)行中文分詞之后，進(jìn)行詞頻統(tǒng)計(jì)。接下來(lái)將得到的高頻詞按照程度、情感傾向進(jìn)行人工篩選劃分，構(gòu)建各類別的情感詞典。最后，對(duì)評(píng)論文本進(jìn)行處理，根據(jù)文本長(zhǎng)度和特征確定評(píng)論是否有效，計(jì)算文本情感傾向得分，并按任務(wù)價(jià)格、成交時(shí)間等維度對(duì)情感傾向得分進(jìn)行加權(quán)，集結(jié)得到最終的接包方聲譽(yù)得分。

圖1研究流程

通過(guò)實(shí)際操作發(fā)現(xiàn)，高頻詞并沒有出現(xiàn)一定的聚合規(guī)律，因此本文并未繼續(xù)對(duì)高頻詞進(jìn)行聚類，而是采用人工分類的方式對(duì)去重、去停用詞、分詞后所得的11836個(gè)詞語(yǔ)進(jìn)行劃分，得到了正、負(fù)面情感詞、最高級(jí)、次高級(jí)、否定詞等詞典。最后根據(jù)這些詞典，構(gòu)建了一套計(jì)算情感傾向的算法，并在此基礎(chǔ)上對(duì)聲譽(yù)值進(jìn)行計(jì)算。

1.2 數(shù)據(jù)收集

眾包模式因其高效地發(fā)揮利用了外部群體的創(chuàng)造性，得到了如Threadless、Kickstarter、豬八戒、威客中國(guó)等網(wǎng)站的廣泛應(yīng)用。以豬八戒網(wǎng)（http://www.zbj.com/）為例，該公司成立于2006年，是國(guó)內(nèi)較早從事眾包類業(yè)務(wù)的平臺(tái)網(wǎng)站，根據(jù)網(wǎng)站公開資料稱，目前擁有500萬(wàn)家中外雇主，1000萬(wàn)家服務(wù)商，市場(chǎng)占有率超過(guò)80%。本文對(duì)截止到2017年8月20日的豬八戒網(wǎng)上“l(fā)ogo設(shè)計(jì)類”店鋪中成交量最高的前81家店鋪的評(píng)論數(shù)據(jù)進(jìn)行了收集，利用Python語(yǔ)言進(jìn)行網(wǎng)絡(luò)爬蟲的編程實(shí)現(xiàn)，共得到95364條評(píng)論數(shù)據(jù)，主要內(nèi)容如表1所示。

表1 主要評(píng)論數(shù)據(jù)類型及說(shuō)明

1.3 評(píng)論去重與高頻詞提取

在閱覽評(píng)論的過(guò)程中，“習(xí)慣性好評(píng)”“系統(tǒng)默認(rèn)好評(píng)”類的評(píng)論并不能為其他用戶帶來(lái)有用的信息。本文將此類評(píng)論認(rèn)定為并未按照真實(shí)想法給出的評(píng)論，在分析的過(guò)程中予以剔除。本文對(duì)收集到的95364條評(píng)論數(shù)據(jù)進(jìn)行了如下的操作進(jìn)行篩除。

第1輪：

（1）刪除文本內(nèi)容重復(fù)的評(píng)論。

（2）刪除雇主明顯為自身系列店鋪的評(píng)論。

以上操作完成后得到59578條數(shù)據(jù)，對(duì)這些數(shù)據(jù)進(jìn)行分詞，得到12000余條詞匯，人工對(duì)這些詞匯進(jìn)行整理，找出無(wú)意義的評(píng)論詞和過(guò)短的評(píng)論詞，加入停用詞表，共得到1080個(gè)停用詞，繼續(xù)進(jìn)行第二輪篩除操作。

第2輪：

（3）刪除文本長(zhǎng)度少于2個(gè)字節(jié)的評(píng)論。

（4）刪除內(nèi)容明顯無(wú)意義的評(píng)論。

篩選后得到58824條評(píng)論數(shù)據(jù)。其中好評(píng)總數(shù)為58565條，中評(píng)總數(shù)154條，差評(píng)總數(shù)105條。對(duì)其進(jìn)行分詞后，得到11836個(gè)詞匯。限于篇幅，現(xiàn)將詞頻前100的詞匯進(jìn)行簡(jiǎn)要的統(tǒng)計(jì)，結(jié)果表明在這100個(gè)詞頻最高的詞匯中，所有詞匯的詞頻均大于600，并且沒有一個(gè)負(fù)面情感詞匯。表2是對(duì)情感詞匯數(shù)量的統(tǒng)計(jì)結(jié)果。

表2 情感詞頻數(shù)統(tǒng)計(jì)

結(jié)果顯示，有效評(píng)論占全部評(píng)論的61.42%，好評(píng)占到全部評(píng)價(jià)的99.56%，評(píng)論文本中正面情感詞的個(gè)數(shù)為424個(gè)，大于負(fù)面情感詞個(gè)數(shù)185個(gè)。這一結(jié)果充分證明了眾包網(wǎng)站充斥著大量的、無(wú)用的好評(píng)，因此原有的5分制評(píng)價(jià)得分機(jī)制并不能真實(shí)反映接包方的聲譽(yù)與能力。

2 眾包模式下接包方聲譽(yù)機(jī)制影響因素分析

近年來(lái)在眾包模式、開放式創(chuàng)新的研究過(guò)程中，許多研究者采用購(gòu)物網(wǎng)站中的聲譽(yù)評(píng)分機(jī)制來(lái)解決眾包中的信息不對(duì)稱問題。由于開放性網(wǎng)絡(luò)建立在不確定性環(huán)境中，使用者都以匿名形式進(jìn)行寬泛靈活的交流。在缺乏強(qiáng)制性法律約束的情況下，信譽(yù)是用戶建立相互了解和信任的最重要的手段。然而現(xiàn)存的網(wǎng)站聲譽(yù)評(píng)價(jià)系統(tǒng)還存在以下一種或多種問題：

（1）計(jì)算公式并不能準(zhǔn)確地反映聲譽(yù)。

（2）初始聲譽(yù)值設(shè)定得太低以至于可能會(huì)成為一個(gè)新用戶的進(jìn)入壁壘。

（3）對(duì)評(píng)價(jià)他人的行為缺乏有效的激勵(lì)。

（4）不能對(duì)聲譽(yù)值進(jìn)行分類或搜尋。

（4）采用的大多為單一簡(jiǎn)單的聲譽(yù)得分值。

（5）大多數(shù)系統(tǒng)按照用戶的全部歷史紀(jì)錄計(jì)算聲譽(yù)。

為了解決這些問題，一方面，計(jì)算機(jī)領(lǐng)域的研究者們根據(jù)不同的應(yīng)用環(huán)境提出了許多用于計(jì)算信任和聲譽(yù)的模型。比較典型的有基于相關(guān)性的聲譽(yù)計(jì)算公式，用Pearson相關(guān)系數(shù)計(jì)算用戶i和相關(guān)物品之間的相關(guān)性的值；基于文本的聲譽(yù)計(jì)算模型，引入權(quán)重矩陣與關(guān)聯(lián)性矩陣，以此來(lái)解決不同用戶對(duì)因子重視程度不同以及相關(guān)任務(wù)之間聲譽(yù)得分存在關(guān)聯(lián)的問題。

另一方面，關(guān)注聲譽(yù)激勵(lì)作用的管理學(xué)家們對(duì)影響聲譽(yù)、信任的因素做出了研究，李聰和梁昌勇[6]提出了從交易時(shí)間維度、交易金額維度、買家信譽(yù)度維度、欺詐懲罰維度、商盟維度、消費(fèi)者保障服務(wù)維度這6個(gè)維度計(jì)算在線交易中的聲譽(yù)；蔣偉進(jìn)等[7]從信譽(yù)反饋的評(píng)分、近期信任度、交易價(jià)值、時(shí)間權(quán)重、評(píng)分用戶的信任度、社區(qū)貢獻(xiàn)6方面構(gòu)建了動(dòng)態(tài)信任計(jì)算模型，孫寶文等[8]和張娥等[9]提出了保證金制度使得交易不偏離誠(chéng)信交易。如表3所示，時(shí)間、交易金額、懲罰與保險(xiǎn)3個(gè)因子被采納的次數(shù)較多，本文將從這3個(gè)方面以及文本的情感傾向得分上構(gòu)建接包方聲譽(yù)評(píng)價(jià)模型。

表3 前人研究中的聲譽(yù)影響因子

3 模型構(gòu)建

本文在得到評(píng)論文本的情感傾向得分后，根據(jù)此得分和時(shí)間、金額、欺詐、聲譽(yù)得分這4個(gè)因素構(gòu)建最終的接包方聲譽(yù)得分。

（1）時(shí)間維度

在時(shí)間維度上，如果聲譽(yù)得分擁有無(wú)限制的記錄，那么對(duì)于新賣家來(lái)說(shuō)是不友好的。因?yàn)橐粋€(gè)新賣家可能并不了解網(wǎng)站的功能或者眾包的規(guī)章制度，這使得新用戶需要一段時(shí)期去適應(yīng)，而初期出于無(wú)意而導(dǎo)致的違規(guī)行為被計(jì)入全局的聲譽(yù)中將會(huì)使該用戶的真實(shí)聲譽(yù)值受到影響。針對(duì)這種問題，有兩類處理方法，一種是截取近期的聲譽(yù)計(jì)算局部聲譽(yù)；另一種是將早期的聲譽(yù)值乘以一個(gè)系數(shù)做衰減。由于單純的截取為聲譽(yù)偽造提供了可能，本文采用第二種方式，在時(shí)間維度對(duì)聲譽(yù)值進(jìn)行衰減。本文構(gòu)建了時(shí)間維度的聲譽(yù)因子如公式（1）所示，Rt(i)為第i筆交易的時(shí)間維因子，ti為得到第i筆交易的評(píng)價(jià)的日期，tpre為當(dāng)前的日期，本文中設(shè)為2017年8月20日。之所以采用反余切公式是因?yàn)槠渚哂羞f減性和收斂性，并且時(shí)間間隔越短，函數(shù)值差異越??；間隔越大，函數(shù)值差異越大。由于反正切函數(shù)在(0，+∞)上的值域?yàn)椋瑢?duì)其除以將R(i)值域變?yōu)?0，1〕，并乘上了1000以避免時(shí)間

t間隔過(guò)大導(dǎo)致最終所得數(shù)值過(guò)小。

（2）交易金額維度

交易金額能側(cè)面反映本次交易的重要性。交易金額越大，該次交易的評(píng)價(jià)越能反映出個(gè)體的真實(shí)行為，則該次交易產(chǎn)生的聲譽(yù)在最后的模型中所占的比例也應(yīng)該越重。在評(píng)論文本分析過(guò)程中發(fā)現(xiàn)大部分無(wú)用評(píng)論的文本僅含“好評(píng)”2字，但其交易金額明顯高于店鋪的平均交易金額，這類評(píng)論首先就被剔除在情感得分中。同時(shí)，還應(yīng)當(dāng)保證商家難以通過(guò)小額交易的評(píng)論改變最后的聲譽(yù)得分。因此本文構(gòu)建的交易金額維度聲譽(yù)因子及情感傾向維度如公式（2）所示：

其中，Rm(i)為第i筆交易的聲譽(yù)維因子，Mi為第i筆交易的金額，Li是表示交易是否完成的狀態(tài)參數(shù)，且有：

（3）欺詐懲罰維度

關(guān)于網(wǎng)絡(luò)誠(chéng)信交易的研究表明，對(duì)于欺詐行為的懲罰是必須的，懲罰一般有兩種類型：一種是直接處以金錢的懲罰，本文將這部分歸結(jié)為平臺(tái)的保證金維度中去；另一種則是在聲譽(yù)評(píng)分中扣除一定的數(shù)值，并采取相應(yīng)的措施進(jìn)行制裁。表4總結(jié)了豬八戒網(wǎng)對(duì)欺詐行為的懲罰措施。

本文定義如下的欺詐懲罰因子：

將類別為差評(píng)的得分記Rb(i)，欺詐懲罰因子記為Rd(i)。公式（3）中分母表示所獲得的所有差評(píng)總數(shù)，分子表示所有差評(píng)中金額高于平均交易金額的差評(píng)總數(shù)。若不存在此類差評(píng)，則令Rd(i)=1。

（4）情感傾向維度

本文利用前文收集到的關(guān)鍵詞構(gòu)建了包括正面情感詞、負(fù)面情感詞、否定詞（如“不”）、最高級(jí)（如“完全”）、次高級(jí)（如“非?！保⑤^高級(jí)（如“十分”）、稍微級(jí)（如“有點(diǎn)”）、不足級(jí)（如“算是”）在內(nèi)的8項(xiàng)詞典，如表5所示，限于篇幅，只匯報(bào)8個(gè)情感詞典的前5個(gè)詞語(yǔ)。

表5 情感詞典中所含的部分詞匯

在此基礎(chǔ)上本文提出如下的算法計(jì)算各條評(píng)論文本的情感傾向：

第1步：讀取評(píng)論數(shù)據(jù)，對(duì)評(píng)論進(jìn)行分句。

第2步：逐條匹配每一條分句中所含有的情感詞，記錄評(píng)論是否含有正、負(fù)面情感詞，以布爾變量標(biāo)注，每一條正面情感詞的基礎(chǔ)得分為1，負(fù)面情感詞基礎(chǔ)得分為-1。

第3步：逐個(gè)情感詞前匹配程度詞，若程度為最高級(jí)的在情感詞得分基礎(chǔ)上乘以4；次高級(jí)乘以3；較高級(jí)乘以2；稍微級(jí)乘以1/2；不足級(jí)乘以1/4。采用乘法而非加法更能區(qū)分情感傾向的程度。

第4步：在情感詞前查找否定詞，統(tǒng)計(jì)否定詞個(gè)數(shù)，若否定詞總數(shù)為奇數(shù)，表示該句為否定，在情感詞得分基礎(chǔ)上乘以-1，即該詞表示的是相反的含義，如“不錯(cuò)”，含有1個(gè)否定詞“不”和負(fù)面情感詞“錯(cuò)”，但表示的是情面情感。同理，若否定詞個(gè)數(shù)為偶數(shù)，則在情感分值的基礎(chǔ)上乘以1。

第5步：計(jì)算完一條評(píng)論所有分句的情感值，若同時(shí)含有正、負(fù)面情感詞，則用正面情感詞得分減去負(fù)面情感詞得分，得出總分。

同理，在對(duì)接包方的全部評(píng)論進(jìn)行計(jì)算后，也應(yīng)對(duì)情感傾向進(jìn)行加權(quán)處理，定義情感傾向維度聲譽(yù)因子如公式（4）所示：

其中,Fi為該名接包方每條評(píng)論的情感傾向得分。

將4個(gè)維度的因子進(jìn)行集結(jié)，最后得到的全局聲譽(yù)為：

由于豬八戒網(wǎng)并未提供每條評(píng)論的具體的得分，本文規(guī)定，每條好評(píng)的評(píng)論得分為5分，中評(píng)為3分，差評(píng)為1分。在每條評(píng)論在得分的基礎(chǔ)上乘以3個(gè)維度的聲譽(yù)得分因子，從而計(jì)算得出最終的接包方聲譽(yù)，下文將以9家店鋪的計(jì)算結(jié)果進(jìn)行說(shuō)明。

4 實(shí)例驗(yàn)證

本文按照豬八戒網(wǎng)中好評(píng)率排名，在“l(fā)ogo設(shè)計(jì)”任務(wù)分類中挑選了好評(píng)率在67%～72%之間的9家店鋪，依據(jù)前文構(gòu)建的聲譽(yù)評(píng)價(jià)模型，對(duì)其店鋪評(píng)論文本進(jìn)行分析。按照前文的規(guī)則計(jì)算得出了各自的聲譽(yù)得分，將按照好評(píng)率排名和按照本文規(guī)則排名的結(jié)果進(jìn)行對(duì)比，如表6所示。

表6 采用本文規(guī)則的9家店鋪聲譽(yù)得分與排名結(jié)果

通過(guò)表6的結(jié)果可以發(fā)現(xiàn)：

（1）最終聲譽(yù)得分及排名基本符合實(shí)際情況，“完成質(zhì)量、工作速度、服務(wù)態(tài)度”得分高的商家，最終得分相對(duì)也更高。但本文的聲譽(yù)得分區(qū)分度大，分?jǐn)?shù)從0.03到3.71分布廣泛。例如I商家與B商家在得分上僅差1.4分左右，差別并不明顯，但最終聲譽(yù)得分相差近10倍，易于區(qū)分。

（2）文本信息能夠幫助分辨“刷好評(píng)”行為，并反映在最終得分上。由于網(wǎng)頁(yè)展示一般不顯示退款率，商家A雖然擁有很高的評(píng)論得分和好評(píng)率，但實(shí)際上通過(guò)有效評(píng)論數(shù)與總評(píng)論數(shù)的對(duì)比，可以推斷該商家存在“刷好評(píng)”的行為，故最后得分低于原排名第2的B商家?；谠u(píng)論文本內(nèi)容中情感傾向的聲譽(yù)得分能夠有效發(fā)現(xiàn)其能力與好評(píng)率并不相符這一重要信息。

（3）本文得出的最終聲譽(yù)評(píng)分體現(xiàn)了評(píng)論的時(shí)效性。例如商家A的評(píng)論大多為2012年給出的，對(duì)現(xiàn)在的參考價(jià)值不大，事實(shí)上該店鋪近2年內(nèi)沒有任何交易。最終的聲譽(yù)得分考慮了時(shí)間維度的衰減，該店鋪的最終排名由第1降為了第3，且與前2名差距較大。

（4）最終的聲譽(yù)得分更能體現(xiàn)買家的真實(shí)感受。商家E擁有較高的評(píng)論得分（均高于4.8）及好評(píng)率（88%），然而，該商家的糾紛退款率高達(dá)15.6%，可見買家對(duì)于其提供的服務(wù)并不滿意。而文本的情感傾向比原有評(píng)分更清晰地反映了這一情況，其最終聲譽(yù)得分僅為0.15，遠(yuǎn)低于原排名6、7的商家。

由此可見，本文構(gòu)建的這套基于情感傾向的眾包模式下接包方聲譽(yù)評(píng)價(jià)模型能幫助買家更加清晰、便捷地分辨接包方的能力與態(tài)度，具有一定的實(shí)際應(yīng)用價(jià)值。

5 結(jié)論與展望

本文的研究數(shù)據(jù)主要來(lái)源于豬八戒網(wǎng)站中的發(fā)包方對(duì)接包方的評(píng)價(jià)，這種單方面的評(píng)價(jià)本身難免會(huì)存在失真的情況。這種失真，一方面是由于存在潛在的“刷單者”發(fā)表虛假的評(píng)論信息，另一方面是由于缺乏對(duì)評(píng)論者的激勵(lì)，導(dǎo)致現(xiàn)有眾包任務(wù)評(píng)論信息質(zhì)量不高。另外，即使不考慮評(píng)論數(shù)據(jù)中存在的噪聲，現(xiàn)有的評(píng)價(jià)機(jī)制規(guī)定，發(fā)包方必須在和接包方完成交易的基礎(chǔ)之上才能發(fā)表評(píng)論，這一要求使得在溝通過(guò)程中對(duì)接包方存在不滿，放棄進(jìn)行交易的發(fā)包方無(wú)法發(fā)表基于自身經(jīng)歷的私有信息。這種現(xiàn)象導(dǎo)致了大多數(shù)發(fā)表評(píng)論的發(fā)包方都是對(duì)交易滿意的，他們也傾向于發(fā)表滿意的正面評(píng)論，導(dǎo)致了目前網(wǎng)站中接包方聲譽(yù)的普遍偏高，以至于現(xiàn)有聲譽(yù)機(jī)制的有效性不高。本文搜集整理的此類數(shù)據(jù)也面臨以上兩方面的問題，這是下一步研究需要解決的問題。