面向B2C電商網(wǎng)站的消費(fèi)者評(píng)論有用性評(píng)價(jià)模型研究

毛郁欣 朱旭東

關(guān)鍵詞：電子商務(wù);網(wǎng)站;在線消費(fèi)者評(píng)論;有用性;文本分類;支持向量機(jī)

電子商務(wù)（簡(jiǎn)稱電商）的大規(guī)模發(fā)展和信息技術(shù)的快速進(jìn)步對(duì)人們的日常生活產(chǎn)生了巨大的影響。消費(fèi)者越來越愿意在電商網(wǎng)站上表達(dá)自己的網(wǎng)購(gòu)體驗(yàn)和消費(fèi)態(tài)度。另一方面，大多數(shù)電商網(wǎng)站為用戶提供了便捷的移動(dòng)服務(wù).使得用戶能夠充分利用碎片化時(shí)間進(jìn)行網(wǎng)購(gòu)。允許用戶分享關(guān)于商品或者個(gè)人生活方式的圖片和評(píng)論，是這類網(wǎng)站的主要特征。在線消費(fèi)者評(píng)論已經(jīng)成為消費(fèi)者和商家之間一種十分重要的網(wǎng)絡(luò)口碑，會(huì)直接影響用戶的產(chǎn)品質(zhì)量認(rèn)知甚至購(gòu)買欲望。對(duì)線消費(fèi)者評(píng)論的深度理解和挖掘，已經(jīng)成為電商領(lǐng)域的研究熱點(diǎn)之一。

目前，各大電商網(wǎng)站都產(chǎn)生了海量的評(píng)論信息，對(duì)于消費(fèi)者而言，查閱和分析這些信息將面臨巨大的挑戰(zhàn)。通常而言，電商網(wǎng)站會(huì)按照發(fā)布時(shí)間對(duì)評(píng)論進(jìn)行排序，新近發(fā)布的評(píng)論會(huì)出現(xiàn)在評(píng)論頁的頂部。這種做法會(huì)導(dǎo)致用戶難以接觸那些有價(jià)值但是發(fā)布時(shí)間較早的評(píng)論，除非多次往后翻頁。因此，為了向用戶突出顯示有用的或者有價(jià)值的評(píng)論.一些電商網(wǎng)站會(huì)提供有用性投票機(jī)制——允許用戶給那些他們認(rèn)為對(duì)自身有幫助的評(píng)論投票，有用性投票數(shù)通常會(huì)直接顯示在評(píng)論的下方。這種機(jī)制使得用戶能夠根據(jù)投票數(shù)快速判斷和過濾出有用的評(píng)論。然而，這種投票機(jī)制也存在較大的問題：因?yàn)橥镀睌?shù)是隨時(shí)間累積的，那么最近發(fā)布的評(píng)論可能在短時(shí)間內(nèi)無法收獲足夠多的投票，從而被用戶所忽略。

為此，除了有用性投票之外，還應(yīng)該結(jié)合更多的因素來對(duì)在線消費(fèi)者評(píng)論進(jìn)行合理地排序。本文試圖研究一種在線消費(fèi)者評(píng)論的有用性評(píng)價(jià)方法，為消費(fèi)者的網(wǎng)購(gòu)決策提供支持?，F(xiàn)有的研究工作主要集中在對(duì)評(píng)論影響因素（如評(píng)論長(zhǎng)度、評(píng)論者特征等）的分析，而對(duì)于如何進(jìn)行評(píng)論的有用性評(píng)價(jià)則較少涉及。另外，單純分析和識(shí)別評(píng)論的有用性還是不夠的，因?yàn)橐豢顭徜N的商品可能會(huì)有上萬條評(píng)論，而其中有用的評(píng)論可能又有數(shù)千條，這樣的數(shù)據(jù)規(guī)模對(duì)于普通消費(fèi)者而言依然太大。因此，在評(píng)價(jià)在線消費(fèi)者評(píng)論有用性的同時(shí)，還應(yīng)進(jìn)一步對(duì)有用的評(píng)論排序，便于進(jìn)一步提取和深度利用其中最有價(jià)值的內(nèi)容。本文的研究不僅關(guān)注這些影響因素，同時(shí)還將探索如何利用這些因素進(jìn)行評(píng)論的有用性排序。為此，本文提出了一種基于分類算法的排序模型來評(píng)價(jià)在線消費(fèi)者評(píng)論的有用性和重要性。借助該模型，能夠較為有效地替用戶過濾有用的評(píng)論，從而有助于其進(jìn)行消費(fèi)決策。

1相關(guān)工作

本文的研究和意見挖掘具有較強(qiáng)相關(guān)性，而早期面向電商的意見挖掘主要集中在對(duì)在線消費(fèi)者評(píng)論情感極性（正面或負(fù)面）的分析，這類意見挖掘也被稱為情感分析。而另一類意見挖掘主要關(guān)注如何從評(píng)論中識(shí)別一些潛在信息，例如商品特征、消費(fèi)偏好等。近年來，越來越多的研究開始關(guān)注對(duì)評(píng)論質(zhì)量或者有用性的評(píng)價(jià)。

許多學(xué)者試圖利用數(shù)據(jù)挖掘或者統(tǒng)計(jì)的方法來分析在線消費(fèi)者評(píng)論的有用性。例如，Qazi A等利用回歸模型來分析在線消費(fèi)者評(píng)論的有用性。他們主要研究文本中包含的概念數(shù)對(duì)于在線旅游網(wǎng)站上評(píng)論的影響，其研究工作的主要局限在于樣本規(guī)模偏?。ㄖ挥?500條評(píng)論）。Karimi S等以來自于一個(gè)移動(dòng)游戲應(yīng)用的評(píng)論樣本為數(shù)據(jù)，研究了評(píng)論者檔案圖片（如頭像）對(duì)評(píng)論有用性的影響。其研究結(jié)果顯示，評(píng)論者檔案圖片會(huì)顯著影響消費(fèi)者對(duì)評(píng)論有用性的判斷。Racherla P等對(duì)在線消費(fèi)者評(píng)論的感知有用性進(jìn)行了研究，利用OLS回歸來檢驗(yàn)他們的假設(shè)。其研究結(jié)果表明評(píng)論者和評(píng)論的特征與評(píng)論的感知有用性顯著相關(guān)。Ngo-Ye T L等利用腳本分析來預(yù)測(cè)在線消費(fèi)評(píng)論的有用性，他們將腳本詞典中的單詞作為文本回歸模型中的特征來預(yù)測(cè)評(píng)論的有用性。Hong H等通過元分析來對(duì)現(xiàn)有關(guān)于在線消費(fèi)者評(píng)論決定性因素的研究進(jìn)行數(shù)量聚合。然而，他們搜集到的因素沒有覆蓋在線消費(fèi)評(píng)論的一些典型特征.例如，他們并未考慮評(píng)論圖片這一常用因素。李志宇提出了一種在線商品評(píng)論效用排序模型，但是在語義特征方面只考慮了產(chǎn)品屬性特征詞和情感特征詞。聶卉提出了一種基于內(nèi)容分析的用戶評(píng)論質(zhì)量的評(píng)價(jià)與預(yù)測(cè).采用文本內(nèi)容分析技術(shù)提取特征指標(biāo)，并結(jié)合計(jì)量分析和機(jī)器學(xué)習(xí)方法來進(jìn)行驗(yàn)證，但是該研究采用的特征集合不涉及評(píng)論的一些非文本屬性（如用戶檔案、評(píng)論圖片等）。吳江等研究了電商網(wǎng)站評(píng)論獲得有用性投票的影響因素，主要針對(duì)評(píng)論者信度、評(píng)論信息質(zhì)量以及評(píng)論極性3方面的因素進(jìn)行分析。

目前也有一部分研究是基于問卷或者實(shí)驗(yàn)的方式來對(duì)在線消費(fèi)者評(píng)論的有用性進(jìn)行實(shí)證研究，而這類研究通常需要有實(shí)驗(yàn)人員或者志愿者參與。例如.Lee E J等通過一個(gè)基于Web的實(shí)驗(yàn)來研究在線商品評(píng)論的質(zhì)量對(duì)于參與者對(duì)評(píng)論接受度的影響，他們同時(shí)還分析了這樣的影響是如何隨著商品類型以及評(píng)論者照片的可用性而變化的。Xu Q通過一個(gè)基于Web的激勵(lì)實(shí)驗(yàn)來探討個(gè)人信譽(yù)線索和檔案圖片對(duì)評(píng)論者以及評(píng)論可信度的認(rèn)知信任和情感信任的影響。Casal6 L V等開展了兩個(gè)基于Web的實(shí)驗(yàn)，評(píng)價(jià)來自在線旅游代理網(wǎng)站的在線評(píng)論（正面的和負(fù)面的）對(duì)于高度風(fēng)險(xiǎn)規(guī)避型旅客的感知有用性。Weathers D等介紹了一種用于識(shí)別評(píng)論因素的方法.購(gòu)物者用這些因素來評(píng)價(jià)評(píng)論有用性。他們對(duì)由69名學(xué)生提供的分類數(shù)據(jù)開展了多維尺度分析.其研究的主要不足在于研究結(jié)果受到參與者規(guī)模的影響。

自動(dòng)而精確地理解在線消費(fèi)者評(píng)論表達(dá)的情感信息，有助于企業(yè)理解消費(fèi)者感知，并更好地開展針對(duì)性的營(yíng)銷。許多現(xiàn)有的相關(guān)研究聚焦于對(duì)在線消費(fèi)者評(píng)論進(jìn)行情感分析。例如，F(xiàn)elbermayr A等分析了情感對(duì)在線消費(fèi)者評(píng)論感知有用性的影響，測(cè)量了不同商品分類中不同情感維度的重要性。他們使用隨機(jī)森林分類算法根據(jù)情感內(nèi)容將真實(shí)評(píng)論分類為有用的和無用的，還將情感特征和若干廣泛使用的特征如文本長(zhǎng)度、評(píng)分和商品評(píng)級(jí)等進(jìn)行了比較。B0P等闡述了一種機(jī)器學(xué)習(xí)方法.該方法對(duì)文檔的主觀性內(nèi)容應(yīng)用文本分類技術(shù)來確定其情感極性。黃仁等描述了一種基于聯(lián)合神經(jīng)網(wǎng)絡(luò)對(duì)商品屬性進(jìn)行聚類的方法，并通過使用Word2vec來確定商品評(píng)論的情感特征。Tian F等提出了一種基于觀點(diǎn)語句的實(shí)例轉(zhuǎn)移技術(shù)，用于對(duì)中文商品評(píng)論進(jìn)行情感分類，還利用來自電商網(wǎng)站的數(shù)據(jù)集將其方法與另外3種分類方法進(jìn)行了比較分析。

總體來看，目前結(jié)合多種因素對(duì)線消費(fèi)者評(píng)論的有用性進(jìn)行深度研究的工作還比較缺乏。許多研究工作受限于評(píng)論數(shù)據(jù)或?qū)嶒?yàn)參與者的規(guī)模，進(jìn)而影響了其研究結(jié)論的可靠性和適用性。另外，雖然有不少研究探討了如何識(shí)別評(píng)論的有用性，但是并未特別有效地解決根據(jù)有用性對(duì)評(píng)論排序的問題。

2理論模型

本節(jié)首先針對(duì)B2C電商網(wǎng)站的特點(diǎn)提出了一系列用于評(píng)價(jià)在線消費(fèi)者評(píng)論有用性的特征，并進(jìn)一步提出了基于支持向量機(jī)（Support Vector Ma.chine，SVM）的評(píng)論有用性排序算法。

2.1特征集合

為了更好地理解和利用在線消費(fèi)者評(píng)論，許多學(xué)者試圖在特征尺度上挖掘和抽取意見。目前絕大部分分類算法都依賴于特征的提取，因此為了實(shí)現(xiàn)對(duì)評(píng)論的評(píng)價(jià)，必須抽取和識(shí)別與評(píng)論相關(guān)的關(guān)鍵特征。為此，本文整合了一部分現(xiàn)有文獻(xiàn)中提及的特征，歸納并提出了符合電商網(wǎng)站消費(fèi)者評(píng)論的特征集合，用于支持后續(xù)的分類。

1）文本統(tǒng)計(jì)特征

在文本統(tǒng)計(jì)方面，本研究主要選取了兩個(gè)代表性的相關(guān)特征：評(píng)論長(zhǎng)度和句子數(shù)。一般來說，電商網(wǎng)站上的一條消費(fèi)者評(píng)論不會(huì)很長(zhǎng)，有時(shí)候一條短評(píng)論可能只包含一句話甚至幾個(gè)字。通常來說，較長(zhǎng)的評(píng)論會(huì)顯得更加有用.因?yàn)殚L(zhǎng)評(píng)論可能會(huì)包含更多有效信息。中文評(píng)論的長(zhǎng)度可以用字?jǐn)?shù)來度量。此外，評(píng)論重要性也與其所包含的語句數(shù)量有關(guān)，有研究表明包含更多語句的評(píng)論會(huì)顯得更加有用。語句可以被認(rèn)為是消費(fèi)者表達(dá)對(duì)商品意見的最小語義單元。更進(jìn)一步.還可以通過評(píng)論的平均語句長(zhǎng)度（Average Sentence Length，ASL）來同時(shí)覆蓋評(píng)論長(zhǎng)度和語句數(shù)兩個(gè)特征：

2）評(píng)論主觀度

網(wǎng)絡(luò)消費(fèi)者通過發(fā)布主觀意見來表達(dá)其對(duì)商品特征的情緒，或者通過客觀陳述來反映商品特征的實(shí)際數(shù)據(jù)，或兩者結(jié)合。當(dāng)我們?cè)u(píng)價(jià)在線消費(fèi)者評(píng)論的有用性時(shí)，可以考慮評(píng)論的主觀度問題。有研究表明，評(píng)論有用性與其情感傾向或內(nèi)隱意見存在正交關(guān)系。然而，文本的主觀度尤其是中文文本的主觀度判斷和分析，是一項(xiàng)較為復(fù)雜的工作。Ghose A等提出通過對(duì)每條語句進(jìn)行主客觀性分類來進(jìn)一步確定評(píng)論的主觀度，本研究基于該理論量化地評(píng)估在線消費(fèi)者評(píng)論的主觀度。假設(shè)評(píng)論。

根據(jù)Ghose和Ipeirotis的研究，DevProb和評(píng)論的有用性投票正相關(guān)。如果評(píng)論包含的語句之間的主客觀性差異比較大.則DevProb的值也就比較大，那么該評(píng)論對(duì)消費(fèi)者的有用性也比較大。為了進(jìn)一步確定評(píng)論中每條語句的主觀度，我們需要借助某種分類算法對(duì)句子的極性進(jìn)行分類。然而，目前絕大部分語句粒度的分類都需要事先標(biāo)注訓(xùn)練集作為輸入，而手動(dòng)標(biāo)注大量訓(xùn)練數(shù)據(jù)本身非常耗時(shí)。因此，本文采用了Wiebe J等提出的方法，利用基于規(guī)則的分類器處理未標(biāo)注的語料庫來生成訓(xùn)練數(shù)據(jù)。該方法根據(jù)規(guī)則對(duì)語句的主客觀性進(jìn)行自動(dòng)分類，而規(guī)則又可以根據(jù)現(xiàn)有文獻(xiàn)提供的一些研究結(jié)論或線索來預(yù)先制定。

3）內(nèi)容相關(guān)性

評(píng)論內(nèi)容和商品描述的相關(guān)性是判斷評(píng)論有用性另一個(gè)重要指標(biāo)。在電商網(wǎng)站上，每一件商品都會(huì)有一個(gè)對(duì)應(yīng)的關(guān)于商品信息的描述性頁面。如果評(píng)論的內(nèi)容和商品描述非常相關(guān)，那么對(duì)用戶的價(jià)值或者有用性也就更大。換句話說，這樣的評(píng)論包含了更多正確的商品信息或者以屬性為中心的信息，因而更易于被其他用戶所接受。另外，評(píng)論的內(nèi)容相關(guān)性也和主觀度存在一定的關(guān)系：如果評(píng)論包含更多主觀內(nèi)容，那么其包含的客觀內(nèi)容勢(shì)必就相對(duì)較少，而和商品描述相關(guān)的往往是客觀內(nèi)容。

4）有用性投票

如前文所述，有用性投票有助于用戶識(shí)別有價(jià)值的評(píng)論，收到更多投票的評(píng)論對(duì)其它用戶而言幫助也更大。然而，有用性投票數(shù)是隨時(shí)間累積的，因此在分析有用性投票對(duì)評(píng)論有用性的影響時(shí).還應(yīng)該考慮時(shí)間因素。為此，本文提出時(shí)間相關(guān)的有用性投票（Time-Dependent Helpful Votes，TDHV）的概念，并定義如下：

5）用戶回復(fù)

一些電商網(wǎng)站允許用戶進(jìn)一步在評(píng)論下面進(jìn)行回復(fù)。為了簡(jiǎn)化問題，本研究并不直接分析這些回復(fù)的內(nèi)容，而只是單純記錄評(píng)論的用戶回復(fù)數(shù)，并將回復(fù)數(shù)作為特征值。用戶回復(fù)數(shù)和有用性投票存在一定的聯(lián)系：如果1條評(píng)論收獲了較多的回復(fù)，說明該評(píng)論被較多的用戶所關(guān)注和認(rèn)可：可用性投票的情況也類似。

6）評(píng)論圖片

大部分電商網(wǎng)站都允許和鼓勵(lì)消費(fèi)者在發(fā)布評(píng)論的同時(shí)上傳所購(gòu)買商品的圖片。通過上傳實(shí)拍的商品圖片.消費(fèi)者能讓其評(píng)論更吸引人.同時(shí)也更加真實(shí)可信。對(duì)于其他用戶而言，這些圖片是非常重要的購(gòu)買決策參考。通常來說，商品展示頁上的圖片經(jīng)過一定的修飾和處理.和實(shí)際商品之間會(huì)存在一定的差異，而消費(fèi)者上傳的圖片相對(duì)來說則更加真實(shí)可靠。因此，包含了圖片的評(píng)論對(duì)用戶來說有用性更大。類似地，Walther J B等通過研究也發(fā)現(xiàn)在新成立的虛擬群組中，群組成員發(fā)布的圖片能夠增進(jìn)情感和社交吸引力。如果將已經(jīng)購(gòu)買和打算購(gòu)買某一款商品的用戶看作一個(gè)虛擬的網(wǎng)絡(luò)群組，那么圖片的影響是顯而易見的。因此，在線消費(fèi)者評(píng)論中是否包含了已購(gòu)買的商品圖片對(duì)于評(píng)論的有用性具有較大的影響。本研究將評(píng)論包含的圖片數(shù)量作為評(píng)論有用性的特征指標(biāo)之一。

7）評(píng)論者檔案

電商網(wǎng)站的用戶檔案通常包括自我創(chuàng)造線索（如個(gè)人頭像）和系統(tǒng)生成線索（如信譽(yù)）。作為體現(xiàn)來源可靠性的線索.這些檔案特征在消費(fèi)者的購(gòu)買決策中也扮演著重要角色_3引。因此，評(píng)論者檔案和他們所發(fā)布評(píng)論的質(zhì)量之間存在一定的相關(guān)性。例如，當(dāng)用戶決定是否采納一條評(píng)論的意見時(shí)，評(píng)論者的信譽(yù)等級(jí)就是一個(gè)典型的考慮因素。信譽(yù)等級(jí)較高的用戶通常擁有更多的網(wǎng)購(gòu)經(jīng)驗(yàn)，其評(píng)論也就更加可信。Zhou S等將評(píng)論者的專業(yè)性作為評(píng)論有用性的影響因素，并用評(píng)論者過去撰寫的評(píng)論數(shù)量來量化這種專業(yè)性。一般來說，出于隱私保護(hù)的需要，電商網(wǎng)站不會(huì)暴露太多關(guān)于評(píng)論者的個(gè)人信息。換句話說，其他用戶只能獲得評(píng)論者的一小部分信息。在這種情況下，評(píng)論者的昵稱與其評(píng)論的可靠性之間也存在潛在的聯(lián)系。因?yàn)榇蠖鄶?shù)時(shí)候，電商網(wǎng)站的消費(fèi)者并不太愿意在評(píng)論中暴露自己的昵稱，而是選擇匿名發(fā)布評(píng)論。而那些有經(jīng)驗(yàn)的、較為自信的消費(fèi)者則不太介意公布自己的昵稱，而他們的評(píng)論也就更加可靠。

2.2有用性排序算法

在線消費(fèi)者評(píng)論的評(píng)價(jià)問題可以被歸約為二元分類，即將在線消費(fèi)者評(píng)論分為兩類：有用的和無用的。因此，本研究采用SVM來對(duì)評(píng)論進(jìn)行二元分類，數(shù)據(jù)集中的評(píng)論被分為正面（有用）或者負(fù)面（無用）。同時(shí)，每條評(píng)論在被貼上分類標(biāo)簽的同時(shí)，還會(huì)被賦予1個(gè)分類值（或者分類概率）。對(duì)于正面分類下的有用評(píng)論，則進(jìn)一步按照分類概率值大小對(duì)其進(jìn)行排序，一個(gè)較大的概率值意味著評(píng)論的有用性更強(qiáng)。給出基于SVM的有用性排序算法的描述如表2所示：

3研究方法

3.1數(shù)據(jù)采集

本文的實(shí)證研究數(shù)據(jù)來自于京東，而京東是目前國(guó)內(nèi)兩大B2C電商平臺(tái)之一?；贖tmlUnit實(shí)現(xiàn)了一個(gè)網(wǎng)絡(luò)爬蟲程序，從京東上自動(dòng)采集商品評(píng)論信息和商品描述信息。主要從京東上抓取了3類商品的數(shù)據(jù)：手機(jī)、女鞋和糖果巧克力。在丟棄了一些無效評(píng)論之后，最終采集了756756條評(píng)論，其中511213條關(guān)于手機(jī)，160456條關(guān)于女鞋，88086條關(guān)于糖果巧克力。圖1顯示的就是一條京東上關(guān)于手機(jī)的評(píng)論。所有的評(píng)論都以半結(jié)構(gòu)化數(shù)據(jù)的形式存儲(chǔ)于關(guān)系數(shù)據(jù)庫中用于后續(xù)分析。

對(duì)抓取到的部分評(píng)論數(shù)據(jù)進(jìn)行了人工分析和標(biāo)注，將評(píng)論數(shù)據(jù)標(biāo)記為有用和無用兩個(gè)類別。每條評(píng)論數(shù)據(jù)由3名標(biāo)注者獨(dú)立進(jìn)行標(biāo)注，最終評(píng)論的類別依據(jù)多數(shù)原則來確定。例如，某條評(píng)論至少被兩名標(biāo)注者標(biāo)注為無用評(píng)論，該評(píng)論才被確定為無用評(píng)論。經(jīng)過標(biāo)注的數(shù)據(jù)集被分為兩個(gè)子集，一部分作為訓(xùn)練集，另一部分作為測(cè)試集。

3.2分析方法

通過設(shè)定一系列參數(shù)，利用訓(xùn)練集構(gòu)造一個(gè)SVM分類模型。而訓(xùn)練集則用于進(jìn)一步驗(yàn)證模型的分類精確度?？傮w的分析過程如圖2所示，具體的步驟如下：

1）首先從網(wǎng)站上抓取數(shù)據(jù)，包括評(píng)論數(shù)據(jù)和商品數(shù)據(jù)，其中商品數(shù)據(jù)主要用于計(jì)算內(nèi)容相關(guān)性。

2）對(duì)評(píng)論和商品描述進(jìn)行分詞，將每一段文本轉(zhuǎn)化為詞袋模型，與詞在文本中出現(xiàn)的順序無關(guān)。分類所需的一部分特征如文本統(tǒng)計(jì)、評(píng)論主觀度和內(nèi)容相關(guān)性和分詞結(jié)果直接相關(guān)。

3）針對(duì)每一條評(píng)論，結(jié)合第3節(jié)涉及的各個(gè)特

4）將原始的評(píng)論數(shù)據(jù)轉(zhuǎn)化為用于分類的輸入向量集合。輸入向量x的分類概率是從x到?jīng)Q策邊界的有符號(hào)距離。正的分類概率表示x被預(yù)測(cè)屬于該類別，而負(fù)值則正好相反。通過分類函數(shù)（也稱為值函數(shù)）預(yù)測(cè)x正向?qū)儆谀硞€(gè)類別的概率。利用SVM進(jìn)行分類時(shí)，預(yù)先設(shè)定SVM模型支持概率估計(jì)，這樣就能得到每個(gè)向量屬于某個(gè)類別的概率值。因?yàn)楸疚牟捎玫氖嵌诸悾虼祟悇e只有兩種，可以用1和-1表示。

5）當(dāng)利用SVM得到所有輸入向量的分類結(jié)果時(shí)，首先過濾出具有正概率值的向量，然后根據(jù)它們的概率值大小進(jìn)行排序，概率值較大的向量對(duì)應(yīng)的評(píng)論被認(rèn)為更加有用。

6）對(duì)于分類預(yù)測(cè)的結(jié)果，進(jìn)行人工驗(yàn)證，得到最終的有用性排序結(jié)果。

4研究結(jié)果與評(píng)價(jià)

4.1分類測(cè)試結(jié)果

按照3.2節(jié)給出的步驟對(duì)數(shù)據(jù)集進(jìn)行處理.得到SVM分類的預(yù)測(cè)結(jié)果集。分類所采用的SVM模型參數(shù)如表3所示：

將訓(xùn)練集大小統(tǒng)一設(shè)定為1000，測(cè)試集大小設(shè)定為500。利用評(píng)價(jià)模型對(duì)3個(gè)子集（手機(jī)、女鞋、糖果巧克力）分別處理，結(jié)果如表4所示。

每個(gè)子集對(duì)應(yīng)的分類的精確率和召回率都達(dá)到了60%以上。雖然分類的精確度并不是特別高，但是對(duì)于一個(gè)沒有經(jīng)過任何優(yōu)化的模型而言，初步的分類結(jié)果是可以接受的。其中，女鞋子集對(duì)應(yīng)的精確率最高，達(dá)到了65.8%，而糖果巧克力子集的召回率最高，達(dá)到了82.3%。

為了進(jìn)一步驗(yàn)證評(píng)價(jià)模型的性能，將該模型的分類預(yù)測(cè)結(jié)果，與京東自身的推薦結(jié)果進(jìn)行比較。京東提供了兩種評(píng)論排序方式：按時(shí)間排序和按推薦排序。一般來說，類似京東這樣的電商網(wǎng)站不會(huì)透露其推薦算法的細(xì)節(jié).但是推薦結(jié)果是可以公開獲取的。本研究將評(píng)價(jià)模型和京東的推薦機(jī)制進(jìn)行對(duì)比分析，步驟如下：

1）確定一件具體的商品，并采集其對(duì)應(yīng)的所有評(píng)論：

2）利用本文提出的評(píng)價(jià)模型對(duì)消費(fèi)者評(píng)論進(jìn)行排序，得到一個(gè)評(píng)論序列（記為序列A）;

3）按照京東的推薦機(jī)制對(duì)消費(fèi)者評(píng)論進(jìn)行排序，得到另一個(gè)評(píng)論序列（記為序列B）;

4）比較序列A和序列B，并分析其差異。

按照上述流程，從手機(jī)子集中選取了一件特定商品的評(píng)論數(shù)據(jù)，該商品是一款老年手機(jī)。將AB兩個(gè)序列的長(zhǎng)度都設(shè)定為500，即只對(duì)前500條有用評(píng)論進(jìn)行對(duì)比分析，最終的結(jié)果如表5所示。京東上商品的評(píng)論是分頁顯示的，每頁10條評(píng)論，500條評(píng)論會(huì)占據(jù)50頁。雖然一件商品的評(píng)論很多，但是一般的用戶無法遍歷所有的評(píng)論頁。因此50頁的內(nèi)容對(duì)于用戶評(píng)價(jià)一款商品而言已經(jīng)足夠了。通過對(duì)比可以看到，兩個(gè)序列的有用評(píng)論比例幾乎完全一樣，說明通過兩種不同的機(jī)制得到的評(píng)論大多數(shù)都是有用的。

京東上的每一條評(píng)論都會(huì)對(duì)應(yīng)一個(gè)星級(jí)（從1星到5星），5星評(píng)論表示極端好評(píng)，而l星評(píng)論則表示極端差評(píng)。為此，根據(jù)星級(jí)將評(píng)論分為3類：1星和2星是負(fù)面評(píng)論.3星和4星是中性評(píng)論，5星是正面評(píng)論。而京東的推薦機(jī)制最大的問題在于，盡管網(wǎng)站會(huì)推薦有用的評(píng)論，但卻更傾向于推薦正面評(píng)論。換句話說，網(wǎng)站會(huì)將那些有用的負(fù)面或者中性評(píng)論放在后面.以至于一般用戶比較難以接觸到。通過表5可以看到，序列B中甚至沒有任何負(fù)面評(píng)論，只有少量的中性評(píng)論。然而，那些負(fù)面或中性評(píng)論對(duì)用戶的購(gòu)買決策是有參考價(jià)值和意義的。此外，網(wǎng)站還更加傾向于推薦獲得較多有用性投票和用戶回復(fù)的評(píng)論.而本文提出的評(píng)價(jià)模型對(duì)這兩個(gè)因素的依賴性則較小。

4.2有用評(píng)論概率伐值分析

在對(duì)小規(guī)模測(cè)試集進(jìn)行分類的基礎(chǔ)之上，可以利用經(jīng)過訓(xùn)練的SVM模型對(duì)完整的數(shù)據(jù)集進(jìn)行分類，首先對(duì)糖果巧克力子集的評(píng)論進(jìn)行分類預(yù)測(cè)。糖果巧克力子集的原始評(píng)論數(shù)為88086，其中用于訓(xùn)練集的1000條評(píng)論無需處理，因此，實(shí)際需要處理的評(píng)論數(shù)為87086。對(duì)糖果巧克力子集進(jìn)行分類預(yù)測(cè)的結(jié)果如表6所示。

在對(duì)評(píng)論數(shù)據(jù)進(jìn)行SVM分類之后，可以按照分類概率值高低對(duì)結(jié)果記錄的進(jìn)行排序。給定為針對(duì)分類概率值的閾值，那么針對(duì)分類預(yù)測(cè)結(jié)果，可以得到如下的函數(shù)：

一般來說，結(jié)果記錄的分類概率值越高，說明對(duì)應(yīng)的評(píng)論被劃分到有用分類的可靠性也就越高，或者“有用性”也就越強(qiáng)。對(duì)于分類概率值較低的評(píng)論，其有用性相對(duì)來說也較弱。當(dāng)th，的值為0.82時(shí)，結(jié)果集中對(duì)應(yīng)的有用評(píng)論數(shù)為248。而如果th。將下調(diào)至0.74，那么預(yù)測(cè)有用評(píng)論數(shù)量將上升到22161條。進(jìn)一步，對(duì)248條概率值超過0.82的評(píng)論進(jìn)行人工驗(yàn)證.發(fā)現(xiàn)其中222條的預(yù)測(cè)結(jié)果是正確的，精確率達(dá)到了89.5%，甚至比4.1節(jié)中的精確率還要高。因此，可以認(rèn)為，有用性強(qiáng)的評(píng)論在分類預(yù)測(cè)結(jié)果中占極少數(shù)。這個(gè)研究結(jié)論，符合人們對(duì)于在線消費(fèi)者評(píng)論的一般認(rèn)知：電商網(wǎng)站上絕大部分評(píng)論的參考價(jià)值不大.真正有用的評(píng)論或者精華總是占極少數(shù)。

通過SVM分類得到的是預(yù)測(cè)結(jié)果，還有待進(jìn)一步驗(yàn)證。因?yàn)榉诸惤Y(jié)果集的規(guī)模太大，人工驗(yàn)證費(fèi)時(shí)費(fèi)力，對(duì)于實(shí)際應(yīng)用來說不太現(xiàn)實(shí)。但是，如果選取一個(gè)合適的閾值，只對(duì)分類概率值在閾值以上的結(jié)果記錄進(jìn)行人工驗(yàn)證.就能極大地縮小驗(yàn)證空間。類似的，對(duì)另外兩個(gè)子集的評(píng)論進(jìn)行閾值分析，最終的對(duì)比結(jié)果如圖4所示。其中，手機(jī)子集包含的原始評(píng)論數(shù)量太大，為了縮短處理時(shí)間，隨機(jī)選取了其中180000條記錄。從圖3可知，手機(jī)和女鞋子集的分類預(yù)測(cè)結(jié)果，同樣滿足“有用性強(qiáng)的評(píng)論占極少數(shù)”的特征。

4.3有用評(píng)論描述性統(tǒng)計(jì)

對(duì)于糖果巧克力子集，從分類結(jié)果集中選取了top-n（n=500）條有用評(píng)論并對(duì)進(jìn)行描述性統(tǒng)計(jì)分析，結(jié)果如表7所示。

從表7可知，評(píng)價(jià)模型在非語義特征（如圖片數(shù)量、評(píng)論者等級(jí)等）不顯著的情況下依然能夠較為有效地識(shí)別有用的評(píng)論。換句話說，只要評(píng)論的語義特征（如評(píng)論主觀度、內(nèi)容相關(guān)性等）足夠顯著，模型就能夠識(shí)別有用的評(píng)論。另外，對(duì)500條評(píng)論的分類精確性進(jìn)行人工驗(yàn)證，精確率達(dá)到了94%.高于閾值為0.82時(shí)248條評(píng)論的分類精確率，進(jìn)一步說明模型的高概率值分類效果更為理想。

4.4核函數(shù)性能比較

評(píng)價(jià)模型默認(rèn)的核函數(shù)為RBF（Radial BasisFunction），而在實(shí)際應(yīng)用中SVM模型還有多種常用的核函數(shù)。因此，可以對(duì)不同的核函數(shù)對(duì)應(yīng)的分類性能進(jìn)行比較，并從中選擇最適合核函數(shù)。針對(duì)4.1節(jié)中的糖果巧克力子集，分析不同的核函數(shù)對(duì)于分類精確率的影響，結(jié)果如表8所示。Linear（線性）核函數(shù)的性能要明顯優(yōu)于其它，其次是RBF。因此，可以考慮用Linear替代默認(rèn)的RBF來優(yōu)化分類性能。

4.5不同分類方法性能比較

為了進(jìn)一步評(píng)價(jià)性能，將本文提出的基于SVM的評(píng)價(jià)模型（SVM-based Model）與另外兩種常用的分類方法樸素貝葉斯和KNN進(jìn)行比較。分別用3種方法對(duì)相同的訓(xùn)練集和測(cè)試集進(jìn)行處理，最終的結(jié)果如圖5所示。

總的來看，基于SVM的評(píng)價(jià)模型的表現(xiàn)要優(yōu)于另外兩種方法。然而，KNN的性能和SVM非常接近。此外，3種方法的召回率比較接近，都達(dá)到了80%左右。因此，SVM是比較合適的分類方法，但是KNN也可以作為候選.因?yàn)橄鄬?duì)來說KNN在計(jì)算開銷方面要優(yōu)于SVM。

4.6算法修正

根據(jù)實(shí)證分析的結(jié)果，進(jìn)一步從以下兩方面對(duì)2.2節(jié)給出的排序算法進(jìn)行修正，有助于提高分類預(yù)測(cè)的精確度。

1）通過選取合適的分類概率閾值;

2）選擇合適的核函數(shù)。

給出修正后的算法描述如表9所示：

5結(jié)論

本文主要研究并提出了一個(gè)利用SVM分類算法對(duì)在線消費(fèi)者評(píng)論進(jìn)行有用性排序的模型。重點(diǎn)關(guān)注兩個(gè)研究問題：第一，如何利用基于SVM的分類結(jié)果對(duì)在線消費(fèi)者評(píng)論進(jìn)行排序;第二，如何利用來自電商網(wǎng)站的評(píng)論數(shù)據(jù)來驗(yàn)證評(píng)價(jià)模型的性能。從實(shí)證研究的結(jié)果來看，盡管總體的分類精確度并不是特別高，但是對(duì)于一個(gè)沒有經(jīng)過任何優(yōu)化的模型而言，該結(jié)果是可以接受的。研究結(jié)果顯示，有用性強(qiáng)的評(píng)論占極少數(shù)，因此通過選擇合適的概率閾值，能夠極大地縮小驗(yàn)證空間，并顯著提升分類精確度，有助于從分類預(yù)測(cè)結(jié)果中過濾出有價(jià)值的評(píng)論。根據(jù)描述性統(tǒng)計(jì)結(jié)果，該模型主要依賴語義特征進(jìn)行排序，而對(duì)非語義特征的依賴較少。最后，結(jié)果顯示模型在性能方面要略優(yōu)于電商網(wǎng)站的推薦機(jī)制。實(shí)證研究結(jié)果顯示，長(zhǎng)的和高相關(guān)性的評(píng)論被認(rèn)為更加有用.而這也符合一般用戶的認(rèn)知。此外，同時(shí)包含主客觀內(nèi)容的評(píng)論也被認(rèn)為更加有用。另外，正面的和負(fù)面的評(píng)論對(duì)于潛在的消費(fèi)者而言都有價(jià)值。雖然在線零售商和電商網(wǎng)站都傾向于將正面評(píng)論突出前置，但是消費(fèi)者在做出購(gòu)買決策之前，更希望能全面了解商品的各種評(píng)論。

本文的研究工作還存在一定的局限。首先，雖然本文基于現(xiàn)有文獻(xiàn)和作者的認(rèn)知采用了盡可能多的特征，并基于這些特征也能夠?qū)υu(píng)論進(jìn)行基于SVM的分類，但是本文所使用的特征集合依然還是有待完善的，或者說尚未完全體現(xiàn)在線消費(fèi)者評(píng)論的一些特點(diǎn)。因此，在后續(xù)的研究中，需要進(jìn)一步補(bǔ)充有用的特征。其次，本文的數(shù)據(jù)集中在3類商品，未來可以考慮進(jìn)一步擴(kuò)大商品分類，同時(shí)研究商品類別（比如耐用型商品和非耐用型商品）對(duì)于評(píng)論有用性的影響。