陳 琪,張 莉,,蔣 競(jìng),黃新越

1(北京航空航天大學(xué) 軟件學(xué)院,北京 100191)

2(北京航空航天大學(xué) 計(jì)算機(jī)學(xué)院,北京 100191)

隨著移動(dòng)互聯(lián)網(wǎng)的興起,產(chǎn)生了大量針對(duì)移動(dòng)應(yīng)用的在線評(píng)論信息.移動(dòng)應(yīng)用程序的用戶(hù)群體廣泛,用戶(hù)的反饋豐富,并且隨著版本迭代迅速更新.尤其是用戶(hù)對(duì)移動(dòng)應(yīng)用的中評(píng)和差評(píng)(簡(jiǎn)稱(chēng)中差評(píng)),是收集用戶(hù)問(wèn)題的重要數(shù)據(jù)來(lái)源.現(xiàn)有的應(yīng)用分發(fā)平臺(tái)都支持用戶(hù)對(duì)應(yīng)用進(jìn)行評(píng)論,比如 360手機(jī)助手,它是國(guó)內(nèi)市場(chǎng)份額較大的移動(dòng)應(yīng)用平臺(tái),提供應(yīng)用程序卸載、安裝、升級(jí)和評(píng)論等一系列服務(wù).一些實(shí)證性研究表明,用戶(hù)評(píng)論中包含很有價(jià)值的信息,例如錯(cuò)誤報(bào)告、功能需求和用戶(hù)體驗(yàn)等[1].對(duì)開(kāi)發(fā)者來(lái)說(shuō),應(yīng)用市場(chǎng)中的用戶(hù)評(píng)論能夠幫助他們更好地理解用戶(hù)反饋,提高軟件質(zhì)量[2,3].

隨著移動(dòng)應(yīng)用的廣泛流行,用戶(hù)評(píng)論的數(shù)量龐大,并且是無(wú)結(jié)構(gòu)的,手動(dòng)檢查耗時(shí)且低效.因此,需要信息挖掘?qū)τ脩?hù)的中差評(píng)進(jìn)行處理,使用戶(hù)抱怨信息的核心內(nèi)容直觀地展現(xiàn)在開(kāi)發(fā)者面前,讓開(kāi)發(fā)者更快更有針對(duì)性地對(duì)軟件進(jìn)行更新.為了分析用戶(hù)評(píng)論,現(xiàn)有研究主要采用分類(lèi)或主題提取的方法.

· 首先是對(duì)用戶(hù)評(píng)論進(jìn)行分類(lèi).Panichella等人[4]通過(guò)評(píng)估發(fā)現(xiàn),文本分析、自然語(yǔ)言處理和情感分析這3種技術(shù)結(jié)合,可以得到最好的分類(lèi)結(jié)果;Maalej等人[5]嘗試了多種技術(shù)對(duì)用戶(hù)評(píng)論進(jìn)行處理與分類(lèi),通過(guò)實(shí)驗(yàn)發(fā)現(xiàn),多個(gè)二元分類(lèi)器優(yōu)于單一多元分類(lèi)器;McIlroy等人[6]對(duì)幾種機(jī)器學(xué)習(xí)分類(lèi)器進(jìn)行了比較,通過(guò)評(píng)估最終采用支持向量機(jī)進(jìn)行分類(lèi).

· 其次,一些研究采用主題提取的方法分析評(píng)論.Galvis等人[7]將意見(jiàn)挖掘領(lǐng)域的ASUM模型用于軟件應(yīng)用的用戶(hù)評(píng)論中,來(lái)自動(dòng)地提取評(píng)論內(nèi)包含的主題;姜巍[8]提出了針對(duì)意見(jiàn)挖掘問(wèn)題域的關(guān)聯(lián) LDA模型,并應(yīng)用于用戶(hù)在線評(píng)論.

上述研究工作單純考慮分類(lèi)或者主題提取的方法,沒(méi)有結(jié)合兩種方法來(lái)分析評(píng)論.我們以?xún)蓷l評(píng)論為例,說(shuō)明分類(lèi)與主題分析的區(qū)別:(1) “頁(yè)面中的按鈕沒(méi)反應(yīng)”;(2) “應(yīng)該在頁(yè)面中添加一個(gè)按鈕”.這兩條評(píng)論以分類(lèi)的方法來(lái)處理,將分為兩類(lèi):(1) 軟件錯(cuò)誤;(2) 請(qǐng)求增加功能.以主題分析的方法來(lái)處理,將提取出“頁(yè)面”、“按鈕”這樣的主題.可以發(fā)現(xiàn):分類(lèi)方法能夠了解用戶(hù)遇到的問(wèn)題種類(lèi),但很難得到評(píng)論中針對(duì)的軟件特征;而主題分析方法能夠得到特征信息,但很難區(qū)別用戶(hù)的意圖.如果我們將分類(lèi)與主題分析結(jié)合起來(lái),那么就既能通過(guò)分類(lèi)得到評(píng)論指出的問(wèn)題種類(lèi),又能通過(guò)主題挖掘得到評(píng)論里具體針對(duì)的軟件特征.對(duì)于前面提到的兩條評(píng)論的例子,結(jié)合分類(lèi)與主題分析得到的結(jié)果可能如圖1所示.

Fig.1 Results based on classification and topic extraction圖1 基于分類(lèi)和主題提取的結(jié)果

開(kāi)發(fā)者則能由此了解用戶(hù)遇到了頁(yè)面中按鈕相關(guān)的錯(cuò)誤,以及用戶(hù)希望為頁(yè)面中增添按鈕.相比于單獨(dú)的分類(lèi)分析或是主題分析,都能更精確地定位需求.

針對(duì)該問(wèn)題,本文提出了一種基于支持向量機(jī)和主題模型的評(píng)論分析方法.該方法從分類(lèi)和主題分析兩個(gè)方面對(duì)用戶(hù)評(píng)論進(jìn)行研究,并將這兩者結(jié)合起來(lái),更好地幫助開(kāi)發(fā)者理解用戶(hù)中差評(píng)中包含的需求,最后將所得結(jié)果進(jìn)行對(duì)比實(shí)驗(yàn).首先,該方法對(duì)用戶(hù)評(píng)論進(jìn)行特征提取,使用代價(jià)敏感學(xué)習(xí)減輕不平衡數(shù)據(jù)帶來(lái)的影響,并將提取到的文本用線性支持向量機(jī)進(jìn)行多標(biāo)簽分類(lèi);然后采用主題模型,對(duì)每組分類(lèi)的用戶(hù)評(píng)論提取主題詞和主題句,最終得到了基于分類(lèi)的主題分析結(jié)果.為了證明我們方法的有效性,我們從 360手機(jī)助手隨機(jī)選取了評(píng)分高(今日頭條)和評(píng)分低(360云盤(pán))的兩個(gè)應(yīng)用,分析了兩個(gè)應(yīng)用共5 141條用戶(hù)中差評(píng),實(shí)驗(yàn)結(jié)果表明,本文提出方法獲得的結(jié)果優(yōu)于ASUM方法[7].

本文的主要貢獻(xiàn)如下:

· 提出了一種基于支持向量機(jī)和主題模型的評(píng)論分析方法,更好地幫助開(kāi)發(fā)人員了解用戶(hù)反饋;

· 與經(jīng)典方法 ASUM[7]相比,本文提出方法的困惑度更低、可理解性更佳,包含更完整的原始評(píng)論信息,冗余信息也更少.

本文第 1節(jié)介紹分類(lèi)方法和主題詞提取等相關(guān)內(nèi)容.第 2節(jié)概述本文方法框架并詳細(xì)講解本文提出的RASL方法.第3節(jié)通過(guò)定性和定量實(shí)驗(yàn)評(píng)估驗(yàn)證方法效果.第4節(jié)進(jìn)行有效性分析.第5節(jié)給出結(jié)論及未來(lái)工作展望.

1 相關(guān)工作

近年來(lái),一些研究人員對(duì)用戶(hù)評(píng)論進(jìn)行主題挖掘,提取出評(píng)論中的主題并給出主題下的代表性句子能使開(kāi)發(fā)者快速、直觀地理解用戶(hù)反饋.Blei等人[9]在2003年就提出了主題挖掘模型LDA模型,這是主題挖掘方面的經(jīng)典模型.姜巍等人[8]提出了針對(duì)意見(jiàn)挖掘問(wèn)題域的關(guān)聯(lián)LDA模型,并應(yīng)用于用戶(hù)在線評(píng)論.Galvis等人[7]將主題挖掘領(lǐng)域的ASUM模型用于軟件應(yīng)用的用戶(hù)評(píng)論中,來(lái)自動(dòng)地提取評(píng)論內(nèi)包含的主題.在結(jié)果的呈現(xiàn)上,為每個(gè)主題給出了代表性的句子,需求工程師可以查看這些具有代表性的用戶(hù)評(píng)論,來(lái)決定主題是否是需求更改的候選項(xiàng),比單純的主題詞集合更容易理解,是一種較好的主題表現(xiàn)形式.

除了主題挖掘,對(duì)用戶(hù)評(píng)論進(jìn)行分類(lèi)也是用戶(hù)反饋獲取的主流方法.Panichella等人[4]認(rèn)為,主題分析技術(shù)對(duì)于發(fā)現(xiàn)評(píng)論文本中的主題是有用的,但是它們不能揭示包含特定主題評(píng)論的用戶(hù)的意圖.文章基于文本分析、自然語(yǔ)言處理和情感分析,設(shè)計(jì)了 3種不同的技術(shù),從評(píng)論中提取出特征,然后使用這些特征來(lái)訓(xùn)練機(jī)器學(xué)習(xí)的分類(lèi)器.通過(guò)評(píng)估發(fā)現(xiàn),結(jié)合 3種技術(shù)可以得到最好的結(jié)果.Maalej等人[5]嘗試了多種技術(shù)對(duì)用戶(hù)評(píng)論進(jìn)行處理與分類(lèi),如字符串(關(guān)鍵詞)匹配、情感分析、二元分類(lèi)器與多元分類(lèi)器.最終,通過(guò)實(shí)驗(yàn)發(fā)現(xiàn),多個(gè)二元分類(lèi)器優(yōu)于單一多元分類(lèi)器.McIlroy等人[6]則關(guān)注評(píng)論的多標(biāo)簽問(wèn)題,認(rèn)為一條評(píng)論可能包含著多個(gè)問(wèn)題.文章中提出了14種類(lèi)型的問(wèn)題,并認(rèn)為,這些問(wèn)題是相對(duì)于特定應(yīng)用來(lái)說(shuō)是獨(dú)立的,并對(duì)樸素貝葉斯、J48決策樹(shù)、支持向量機(jī)這幾種機(jī)器學(xué)習(xí)分類(lèi)器進(jìn)行了比較,通過(guò)評(píng)估,最終采用支持向量機(jī)進(jìn)行分類(lèi).Pagano等人[2]在2013年調(diào)查了蘋(píng)果應(yīng)用商店(AppStore)上用戶(hù)評(píng)論的具體內(nèi)容,并將這些內(nèi)容按照主題進(jìn)行了分類(lèi),該方法是否適合中文應(yīng)用市場(chǎng),還需要進(jìn)一步驗(yàn)證.在本文的前期工作中也對(duì)用戶(hù)評(píng)論進(jìn)行了分類(lèi),Zhang等人[10]使用對(duì)支持向量機(jī)對(duì)文本進(jìn)行分類(lèi),評(píng)估指標(biāo)的值優(yōu)于McIlroy等人提出的Multi-label方法[6].

上述研究采用主題挖掘或者分類(lèi)方法對(duì)用戶(hù)評(píng)論進(jìn)行分析.在這些工作的基礎(chǔ)上,本文先對(duì)用戶(hù)評(píng)論進(jìn)行分類(lèi),然后對(duì)每個(gè)類(lèi)別的評(píng)論進(jìn)行主題挖掘,產(chǎn)生給出主題的代表詞以及代表性句子.這樣既能通過(guò)分類(lèi)得到包含用戶(hù)意圖的信息,又能通過(guò)主題挖掘得到評(píng)論里用戶(hù)重點(diǎn)關(guān)心的問(wèn)題,使開(kāi)發(fā)者能夠快速、方便地理解用戶(hù)反饋.

2 基于支持向量機(jī)和主題模型的評(píng)論分析方法RASL

基于以上分析,本文提出一種基于支持向量機(jī)和主題模型的評(píng)論分析方法 RASL(review analysis method based on SVM and LDA).方法架構(gòu)如圖2所示.

方法分為兩個(gè)階段:分類(lèi)階段和主題分析階段.首先,根據(jù)第2.1節(jié)確定的評(píng)論類(lèi)型,本文通過(guò)支持向量機(jī)的方法[10]對(duì)評(píng)論進(jìn)行分類(lèi),可以得到包含用戶(hù)意圖的信息;然后,本文將分類(lèi)好的評(píng)論數(shù)據(jù)分別進(jìn)行 LDA主題分析[9],并給出代表句,從而得到評(píng)論里用戶(hù)重點(diǎn)關(guān)心的問(wèn)題.結(jié)合現(xiàn)有方法的優(yōu)勢(shì),使得使開(kāi)發(fā)者能夠快速、方便地理解用戶(hù)反饋.可以注意到:每個(gè)問(wèn)題類(lèi)型的圓圈大小不一,這代表著每個(gè)問(wèn)題類(lèi)型下的主題個(gè)數(shù)由該問(wèn)題類(lèi)型的評(píng)論比例確定.

下面首先討論用戶(hù)評(píng)論的分類(lèi)類(lèi)型,然后對(duì)分類(lèi)方法進(jìn)行描述,最后將分類(lèi)的結(jié)果作為輸入,得到主題詞和代表句.

Fig.2 Overall workflow of the RASL method圖2 RASL方法的整體工作流程

2.1 用戶(hù)評(píng)論的分類(lèi)類(lèi)型

為了對(duì)評(píng)論進(jìn)行分類(lèi),需要確定用戶(hù)評(píng)論的類(lèi)型.依照Seaman等人提出的方法[11,12]迭代地對(duì)抽取的用戶(hù)評(píng)論進(jìn)行人工標(biāo)注,分析評(píng)論中包含的問(wèn)題種類(lèi).分析過(guò)程如下.

· 首先,選擇由McIlroy等人定義的問(wèn)題類(lèi)型集[6]作為起始集.對(duì)于每一條評(píng)論,手工檢查并標(biāo)注評(píng)論指出的問(wèn)題類(lèi)型.

· 如果評(píng)論中的問(wèn)題不包括在問(wèn)題類(lèi)型集中,則設(shè)定一個(gè)新的問(wèn)題類(lèi)型并將其添加到問(wèn)題類(lèi)型集中.然后,基于新的問(wèn)題類(lèi)型集重新啟動(dòng)標(biāo)注過(guò)程.這個(gè)過(guò)程是由3人并行完成,在3人均完成此過(guò)程后,比較3人標(biāo)注的結(jié)果.

采用組內(nèi)相關(guān)系數(shù)(intra-class correlation coefficient,簡(jiǎn)稱(chēng)ICC)對(duì)標(biāo)注結(jié)果的可靠性進(jìn)行度量.ICC是一個(gè)推斷統(tǒng)計(jì)量,它描述了同一組中元素的相似程度[13],可以用于評(píng)估不同觀測(cè)者進(jìn)行相同的定量測(cè)量時(shí)的一致性或可重復(fù)性.如果ICC小于0.4,則表示相似性較差;如果ICC在0.40和0.59之間,則表示相似性一般;如果ICC在0.60和0.74之間,則表示相似性較好;如果ICC在0.75和1.00之間,則表示相似性很好.我們對(duì)標(biāo)注結(jié)果之間的ICC進(jìn)行了計(jì)算,以衡量人工標(biāo)注的可靠性.對(duì)于每一個(gè)問(wèn)題類(lèi)型,ICC都是較好或很好,并且發(fā)現(xiàn),獨(dú)立標(biāo)注的結(jié)果差異沒(méi)有特別大.然后進(jìn)行討論,并消除差異,所有問(wèn)題類(lèi)型的ICC均為1,也即沒(méi)有區(qū)別.最終得到了17種問(wèn)題類(lèi)型,問(wèn)題的類(lèi)型與描述見(jiàn)表1.詳細(xì)過(guò)程見(jiàn)我們的前期工作[10].

Table 1 Classification of comments表1 評(píng)論的分類(lèi)

Table 1 Classification of comments (Continued)表1 評(píng)論的分類(lèi)(續(xù))

2.2 用戶(hù)評(píng)論分類(lèi)方法

為了能自動(dòng)標(biāo)記出新的用戶(hù)評(píng)論屬于的問(wèn)題種類(lèi),本文采用機(jī)器學(xué)習(xí)的方法來(lái)進(jìn)行用戶(hù)評(píng)論分類(lèi).此分類(lèi)方法包含特征提取部分和模型構(gòu)建部分:特征提取部分的目標(biāo)是提取評(píng)論文本的特征,使其轉(zhuǎn)換為分類(lèi)模型可用的形式;然后,采用支持向量機(jī)構(gòu)建用戶(hù)評(píng)論的多標(biāo)簽分類(lèi)模型.同時(shí),為了減輕不平衡數(shù)據(jù)的影響,使用了代價(jià)敏感學(xué)習(xí)的方法(如圖3所示).

Fig.3 User review classification framework圖3 用戶(hù)評(píng)論分類(lèi)框架

在特征提取階段,目標(biāo)是提取評(píng)論文本的特征.由于文本是非結(jié)構(gòu)化的數(shù)據(jù),因此必須首先將其轉(zhuǎn)換為計(jì)算機(jī)可解析的形式.向量空間模型(VSM)是一種適用于大規(guī)模文獻(xiàn)的文本表示模型[14],在該模型中,文本空間被認(rèn)為是由一組正交特征向量組成的向量空間.矢量的每個(gè)維對(duì)應(yīng)于文本中的一個(gè)特征,每個(gè)維度本身表示文本中對(duì)應(yīng)特征的權(quán)重.使用向量空間模型來(lái)描述文本數(shù)據(jù)需要確定文本的特征與權(quán)重.對(duì)于英文文本來(lái)說(shuō),一個(gè)詞就是一個(gè)特征.而中文文本首先需要進(jìn)行分詞.Jieba分詞是一個(gè) Python分詞工具,本文使用它來(lái)進(jìn)行分詞,并刪除數(shù)字和非漢字,但是停止詞需要被保留下來(lái),因?yàn)槠渲幸恍┛梢詭椭_定問(wèn)題類(lèi)型,例如“不要”.參考現(xiàn)有工作[6],過(guò)濾掉出現(xiàn)不到 3次的詞語(yǔ),去除拼寫(xiě)錯(cuò)誤或不重要的詞語(yǔ),降低分類(lèi)的復(fù)雜性.其次,對(duì)于特征的權(quán)重,tf-idf算法[15]是計(jì)算權(quán)重的常用方法.它的主要思想是:如果一個(gè)單詞或短語(yǔ)多次出現(xiàn)在某一文檔中,并且在其他文檔中很少見(jiàn),則該詞或短語(yǔ)被認(rèn)為具有很好的分類(lèi)能力.比如,“安裝”一詞會(huì)在內(nèi)容問(wèn)題這個(gè)分類(lèi)下出現(xiàn),但它很少在資源占用等其他分類(lèi)下出現(xiàn),因此我們可以把“安裝”一詞作為分類(lèi)依據(jù)之一.為了構(gòu)建特征向量,本文使用String To Word Vector filter,這是WEKA對(duì)tf-idf算法的一個(gè)實(shí)現(xiàn)[16].

模型構(gòu)建階段的目標(biāo)是為用戶(hù)評(píng)論構(gòu)建一個(gè)多標(biāo)簽的分類(lèi)模型,對(duì)于輸入的評(píng)論,模型可以輸出評(píng)論所屬的問(wèn)題類(lèi)型.由于一條用戶(hù)評(píng)論可能包含多個(gè)問(wèn)題類(lèi)型,因此需要解決的問(wèn)題實(shí)際上是一個(gè)多標(biāo)簽分類(lèi)問(wèn)題.Binary Relevance(BR)是解決多標(biāo)簽分類(lèi)問(wèn)題的代表性算法之一,它將多標(biāo)簽分類(lèi)問(wèn)題轉(zhuǎn)化為多個(gè)二分類(lèi)問(wèn)題.模型選擇使用 BR,因?yàn)樗蔷€性復(fù)雜度的,較為簡(jiǎn)單[17].這意味著需要構(gòu)建多個(gè)二分類(lèi)器,并且要對(duì)分類(lèi)效果進(jìn)行整體評(píng)估.本文選擇支持向量機(jī)作為二分類(lèi)器,支持向量機(jī)將數(shù)據(jù)視為p維向量,如果支持向量機(jī)用(p-1)維平面分離這些點(diǎn),則它被稱(chēng)為是線性的.為了處理有些原始問(wèn)題在有限維中不能線性分離的情況,支持向量機(jī)使用核函數(shù)將原始有限維空間映射成高維空間,例如徑向基函數(shù)核.在樣本數(shù)量少且特征數(shù)量非常大的情況下,非線性分類(lèi)通常不準(zhǔn)確,可能錯(cuò)誤地劃分特征空間,導(dǎo)致比線性模型更差的結(jié)果.因此,本文選擇使用線性支持向量機(jī),在具體的算法中采用WEKA的支持向量機(jī)實(shí)現(xiàn),即SMO分類(lèi)器[18,19].將PolyKernel參數(shù)設(shè)置為1,使其成為線性支持向量機(jī).

但對(duì)于一些問(wèn)題類(lèi)型,負(fù)樣本的數(shù)量遠(yuǎn)大于正樣本.這些不平衡的數(shù)據(jù)可能導(dǎo)致分類(lèi)器更傾向于將新樣本預(yù)測(cè)為負(fù)樣本.為了減輕不平衡數(shù)據(jù)的影響,采用代價(jià)敏感學(xué)習(xí)的方法[20]來(lái)處理這個(gè)問(wèn)題.代價(jià)敏感學(xué)習(xí)方法的核心是代價(jià)矩陣.代價(jià)矩陣定義見(jiàn)表2.

Table 2 Cost matrix表2 代價(jià)矩陣

其中,Cij是把j類(lèi)分類(lèi)到i類(lèi)的成本.顯然,C00=C11=0;而C01,C10是兩種不同的錯(cuò)分代價(jià).由于數(shù)據(jù)是不平衡的,可以根據(jù)不同的錯(cuò)分代價(jià)來(lái)給數(shù)據(jù)重新賦予權(quán)重.當(dāng)將正樣本預(yù)測(cè)為負(fù)樣本的代價(jià)較高時(shí),就增加正樣本的權(quán)重.具體到算法實(shí)現(xiàn)中,本文使用一個(gè)元分類(lèi)器來(lái)使基類(lèi)分類(lèi)器成為代價(jià)敏感的,這個(gè)元分類(lèi)器支持通過(guò)抽樣來(lái)增加樣本的權(quán)重,而基類(lèi)分類(lèi)器也即前面提到的支持向量機(jī)分類(lèi)器.元分類(lèi)器在 WEKA中的實(shí)現(xiàn)即CostSensitiveClassifier[18].另外,還需要為每個(gè)問(wèn)題類(lèi)型指定代價(jià)矩陣.為了確定代價(jià)矩陣的具體值,對(duì)于每個(gè)問(wèn)題類(lèi)型,通過(guò)遍歷來(lái)得到一個(gè)使分類(lèi)結(jié)果最佳的代價(jià)矩陣值,然后采用這個(gè)值.詳細(xì)過(guò)程見(jiàn)我們的前期工作[10].

2.3 主題詞與代表句的生成

本節(jié)針對(duì)分類(lèi)結(jié)果進(jìn)行統(tǒng)計(jì)抽取主題,通過(guò)所得到的主題,進(jìn)一步生成主題詞和代表句.

在使用基于支持向量機(jī)的分類(lèi)模型進(jìn)行分類(lèi),得到分類(lèi)結(jié)果之后,需要確定將提取的主題總數(shù)(例如期望每X條評(píng)論提取Y個(gè)主題,則根據(jù)用戶(hù)評(píng)論數(shù)量計(jì)算提取的主題總數(shù)).由于“其他”類(lèi)型包含的是無(wú)用的評(píng)論,因此不對(duì)該類(lèi)型進(jìn)行主題提取.其余問(wèn)題類(lèi)型則根據(jù)分類(lèi)的結(jié)果中各自所占比例(除去“其他”類(lèi)型)計(jì)算出每個(gè)問(wèn)題類(lèi)型對(duì)應(yīng)的主題數(shù)目,后續(xù)再對(duì)各問(wèn)題類(lèi)型下的評(píng)論進(jìn)行主題分析.在這里,舉例說(shuō)明多分類(lèi)下主題數(shù)的確定,比如主題總數(shù)為M,那么每個(gè)分類(lèi)的主題則是分類(lèi)下的評(píng)論數(shù)量占總數(shù)量的比重.具體來(lái)說(shuō),如果“內(nèi)容問(wèn)題”比重為Ratio,那么分類(lèi)為內(nèi)容問(wèn)題的主題數(shù)為M×Ratio.

在機(jī)器學(xué)習(xí)和自然語(yǔ)言處理中,主題模型是用于發(fā)現(xiàn)文檔集合中抽象“主題”的一種統(tǒng)計(jì)模型,是一種經(jīng)常用于在文本主體中發(fā)現(xiàn)隱藏的語(yǔ)義結(jié)構(gòu)的文本挖掘工具.每條評(píng)論都是與某些主題相關(guān)的,因而特定的詞語(yǔ)也會(huì)出現(xiàn)在不同主題的評(píng)論中.本文采用了 LDA(latent dirichlet allocation)的模型[9]來(lái)進(jìn)行主題詞和代表詞的生成.這個(gè)模型是一種典型的詞袋模型,即一個(gè)評(píng)論是由一組詞構(gòu)成,不去考慮詞語(yǔ)的順序,因而簡(jiǎn)化了語(yǔ)義關(guān)聯(lián)問(wèn)題的復(fù)雜性.LDA模型包含主題的生成、根據(jù)閾值挑選關(guān)鍵詞、代表句的生成這3個(gè)部分.圖4為L(zhǎng)DA生成過(guò)程[9].LDA方法將評(píng)論的主題以概率分布的形式給出,通過(guò)分析評(píng)論抽取出它們的主題分布,然后再以一定概率迭代的選取主題下的某個(gè)單詞作為主題詞,最后根據(jù)概率選擇代表句.

在主題生成階段,本文將通過(guò)基于支持向量機(jī)的模型得到的 16個(gè)(除去“其他”分類(lèi))分類(lèi)評(píng)論作為輸入,目標(biāo)輸出是指定數(shù)目的主題.由于得到了 16個(gè)分類(lèi)的結(jié)果.下面我們用“內(nèi)容問(wèn)題”這個(gè)分類(lèi)舉例說(shuō)明.基本思想是:LDA中存在主題詞庫(kù),通過(guò)分析“內(nèi)容問(wèn)題”這個(gè)分類(lèi)的所有評(píng)論,LDA通過(guò)詞庫(kù)自動(dòng)分析得到“內(nèi)容問(wèn)題”對(duì)應(yīng)的主題.由于開(kāi)始的時(shí)候我們?cè)O(shè)定主題數(shù)為T(mén),因此LDA方法將選擇最相關(guān)的前T個(gè)主題作為“內(nèi)容問(wèn)題”全部評(píng)論的主題.對(duì)應(yīng)到圖4,“內(nèi)容問(wèn)題”所有評(píng)論與T個(gè)主題的一個(gè)多項(xiàng)分布相對(duì)應(yīng),將該多項(xiàng)分布記為θ;α是主題分布θ的先驗(yàn)分布Dirichlet分布的超參數(shù).在這里,本文選最相關(guān)的T個(gè)主題作為主題的生成部分的結(jié)果.

Fig.4 LDA generation process[9]圖4 LDA生成過(guò)程[9]

在根據(jù)閾值挑選關(guān)鍵詞階段,輸入是主題生成階段得到的“內(nèi)容問(wèn)題”分類(lèi)下的T個(gè)主題,目標(biāo)輸出是每個(gè)主題一下指定數(shù)目的主題詞.基本思想是:由于一個(gè)詞匯在“內(nèi)容問(wèn)題”的其中一個(gè)主題中都存在一個(gè)概率值,因此在主題詞生成時(shí),去選擇對(duì)應(yīng)主題下概率值最高的M個(gè)詞匯即可,M取值可由需要確定.對(duì)應(yīng)到圖4,每個(gè)主題與評(píng)論中的Nd單詞的一個(gè)多項(xiàng)分布相對(duì)應(yīng),將這個(gè)多項(xiàng)分布記為φ.β是每個(gè)主題的詞分布φ的先驗(yàn)分布Dirichlet分布的超參數(shù).依據(jù)“內(nèi)容問(wèn)題”文檔所對(duì)應(yīng)的主題分布θ抽取一個(gè)主題z,主題z所對(duì)應(yīng)的多項(xiàng)分布φ中抽取一個(gè)單詞w,將這個(gè)過(guò)程重復(fù)Nd(主題z下的全部詞數(shù))次,就生成了其中主題z下的主題詞.LDA通過(guò)變分EM算法、Gibbs抽樣法等方法,迭代地學(xué)習(xí)這兩個(gè)參數(shù),使其最終收斂于某一結(jié)果.

在代表句生成階段,輸入是根據(jù)閾值挑選關(guān)鍵詞階段得到的主題詞,目標(biāo)輸出是每個(gè)主題一下的代表句.基本思想是:假設(shè)d向量為(d1,d2,...,dn),每個(gè)di代表一條用戶(hù)評(píng)論被分配到每個(gè)主題的概率,假設(shè)主題數(shù)為T(mén),則第1條評(píng)論的向量d1為(d1-1,d1-2,...,d1-20),第 2條評(píng)論的向量d2為(d2-1,d2-2,...,d2-20)等.對(duì)于目標(biāo)主題 1,如果某一評(píng)論在di-1位置的概率值為所有評(píng)論中的最大值,則選擇該評(píng)論作為目標(biāo)主題的代表句.

最終輸出結(jié)果,本文用分類(lèi)后得到類(lèi)別包含評(píng)論的數(shù)量從多到少進(jìn)行排序,然后進(jìn)行主題分類(lèi),得到每個(gè)主題下評(píng)論的數(shù)量,將主題按照評(píng)論數(shù)量從多到少排序,將每個(gè)分類(lèi)下評(píng)論數(shù)量最多的主題進(jìn)行標(biāo)注(用“☆”并且加粗進(jìn)行標(biāo)注),從而方便閱讀者對(duì)提出較多的問(wèn)題進(jìn)行重點(diǎn)關(guān)注.

3 實(shí)驗(yàn)驗(yàn)證

本節(jié)對(duì)本文提出的基于支持向量機(jī)和主題模型的評(píng)論分析方法 RASL進(jìn)行評(píng)估驗(yàn)證,本文將從定性分析和定量分析兩個(gè)方面進(jìn)行實(shí)驗(yàn),以檢驗(yàn)RASL方法的有效性.

3.1 實(shí)驗(yàn)對(duì)象

本文的RASL方法基于支持向量機(jī)分類(lèi)算法采用LDA主題模型提取主題詞和代表句.本文使用Jieba分詞工具,把中文分詞后輸入經(jīng)典方法ASUM[7].與RASL方法不同,ASUM方法[7]是一種結(jié)合情感分析的主題模型.此方法將句子看作文檔,句子中每個(gè)詞都是隱含主題的分布,然后進(jìn)行主題挖掘.在此基礎(chǔ)上,融合主題特征和情感信息來(lái)分析用戶(hù)對(duì)這些主題的偏好,并以〈主題詞,代表句〉序?qū)ψ鳛檩敵?本節(jié)我們將本文所提出的方法RASL與ASUM方法進(jìn)行對(duì)比分析.

360手機(jī)助手是國(guó)內(nèi)市場(chǎng)份額較大的應(yīng)用平臺(tái),提供移動(dòng)應(yīng)用程序卸載、安裝、升級(jí)和評(píng)價(jià)等一系列服務(wù).本文分別從360手機(jī)助手中隨機(jī)抽取一個(gè)評(píng)分高的應(yīng)用(評(píng)分9以上)和一個(gè)評(píng)分低的應(yīng)用(評(píng)分6以下),這兩個(gè)應(yīng)用分別是今日頭條和360云盤(pán),將它們的全部中差評(píng)收集起來(lái).360云盤(pán)的中差評(píng)共計(jì)3 950條,今日頭條的中差評(píng)共計(jì) 1 191條.將這 5 141條數(shù)據(jù)作為原始用戶(hù)評(píng)論信息數(shù)據(jù),將通過(guò)文本預(yù)處理得到的結(jié)果分別通過(guò)ASUM 方法和 RASL方法處理,得到實(shí)驗(yàn)所需數(shù)據(jù).根據(jù)統(tǒng)計(jì)計(jì)算,在我們所爬取的 5 141條數(shù)據(jù)中,只存在0.027%的評(píng)論由連續(xù)的幾個(gè)段落組成,而 99.973%的評(píng)論是由單獨(dú)一個(gè)段落組成,因此本文沒(méi)有考慮評(píng)論分段問(wèn)題,將分成多段的評(píng)論作為一個(gè)單獨(dú)的評(píng)論進(jìn)行處理.

3.2 研究問(wèn)題

本文對(duì)兩個(gè)應(yīng)用的5 141條評(píng)論進(jìn)行了分析,除了本文的方法之外,也采用ASUM方法進(jìn)行主題提取與代表句提取,和原始評(píng)論一起作為比較對(duì)象.我們希望通過(guò)調(diào)查能回答以下研究問(wèn)題.

· RQ1:ASUM方法和本文方法RASL的困惑度如何?

· RQ2:和原始評(píng)論相比,ASUM方法和本文方法RASL是否包含完整的信息?

· RQ3:和原始評(píng)論相比,ASUM方法和本文方法RASL是否包含冗余的信息?

· RQ4:ASUM方法和本文方法RASL的閱讀理解性如何?

· RQ5:ASUM方法和本文方法RASL的評(píng)論閱讀時(shí)間如何?

3.3 實(shí)驗(yàn)方法

3.3.1 困惑度分析

對(duì)于主題模型的評(píng)估,Blei等人[9]在論文中提出了用困惑度(perplexity值)作為評(píng)判標(biāo)準(zhǔn).困惑度度量概率分布或概率模型的預(yù)測(cè)結(jié)果與樣本的契合程度,在這里是指:對(duì)于一個(gè)文檔d,所訓(xùn)練出來(lái)的模型對(duì)于文檔d屬于哪個(gè)主題的確定程度.困惑度越小,說(shuō)明模型效果越好.困惑度的計(jì)算公式為

M為文檔集合中的文檔數(shù)目,Nd為第d篇文檔中單詞的個(gè)數(shù),p(wd)為第d篇文檔的概率(probability),也即這篇文檔中每個(gè)單詞概率的乘積.而對(duì)任意一個(gè)單詞w,單詞概率,z代表主題,p(z|d)為各主題下該詞所在文檔的概率,p(w|z)為該詞在各主題下的概率.

對(duì)于ASUM方法,根據(jù)每個(gè)應(yīng)用的評(píng)論數(shù)量計(jì)算出提取的主題數(shù)量,然后用ASUM方法提取出主題詞與代表句,作為這個(gè)實(shí)驗(yàn)的輸入;對(duì)于本文所提出的RASL方法,首先將每個(gè)應(yīng)用的評(píng)論使用基于支持向量機(jī)的分類(lèi)方法進(jìn)行分類(lèi)(問(wèn)題類(lèi)型與描述見(jiàn)表1),根據(jù)每個(gè)應(yīng)用的評(píng)論數(shù)量計(jì)算出提取的主題總數(shù),再根據(jù)分類(lèi)的結(jié)果中各問(wèn)題類(lèi)型(除去“其他”類(lèi)型)所占比例計(jì)算出每個(gè)問(wèn)題類(lèi)型對(duì)應(yīng)的主題數(shù)目,然后對(duì)各問(wèn)題類(lèi)型下的評(píng)論按照主題數(shù)目進(jìn)行主題提取與代表句提取,將問(wèn)題類(lèi)型和主題詞、代表句共同作為這個(gè)實(shí)驗(yàn)的輸入.計(jì)算困惑度并進(jìn)行比較.

3.3.2 問(wèn)卷調(diào)查

為研究RQ2～RQ5,實(shí)驗(yàn)選擇了今日頭條和360云盤(pán)作為實(shí)驗(yàn)數(shù)據(jù).實(shí)驗(yàn)邀請(qǐng)了6位北京航空航天大學(xué)軟件工程專(zhuān)業(yè)研究生,都具有至少 4年的編程經(jīng)驗(yàn),并且經(jīng)常使用手機(jī)移動(dòng)應(yīng)用,有過(guò)對(duì)手機(jī)移動(dòng)應(yīng)用軟件打分和作評(píng)論的經(jīng)歷.由他們完成調(diào)查問(wèn)卷,以便回答 RQ2～RQ5.未來(lái)我們嘗試聯(lián)系手機(jī)應(yīng)用的開(kāi)發(fā)人員,請(qǐng)他們?cè)u(píng)價(jià)不同方法的結(jié)果.

對(duì)于每個(gè)應(yīng)用都提供給受試者3份文件:(1) 原始的中差評(píng)集合;(2) ASUM方法提供的分析結(jié)果;(3) RASL方法提供的分析結(jié)果,結(jié)果樣例如圖5～圖7所示.鏈接(https://github.com/ChenQifromBeihang/Essay.git)展示了一個(gè)實(shí)際的例子,包括原始評(píng)論、ASUM生成的結(jié)果和RASL生成的結(jié)果.為了對(duì)比出結(jié)果的“完整性”(完整性指對(duì)比原始評(píng)論,是否有內(nèi)容上的缺失)并且不使原始評(píng)論影響方法結(jié)果的可理解性,本文要求受試者先對(duì)ASUM方法和RASL方法進(jìn)行閱讀,最后再閱讀原始評(píng)論.兩種方法可能存在相互影響閱讀結(jié)果的問(wèn)題,為了減少這種問(wèn)題帶來(lái)的不確定性,本文將受試者隨機(jī)分為兩組:一組先閱讀ASUM方法再閱讀RASL方法,另一組則先閱讀RASL方法再閱讀ASUM方法.

表3總結(jié)了調(diào)查問(wèn)卷中設(shè)計(jì)的問(wèn)題.為了不提供給受試者更多信息,問(wèn)卷中以方法A指代ASUM方法生成的分析結(jié)果,以方法B指代RASL方法生成的分析結(jié)果.首先,問(wèn)卷對(duì)兩種主題分析方法的結(jié)果的表現(xiàn)力進(jìn)行了比較:為了回答主題分析方法產(chǎn)生的結(jié)果是否包含完整的信息,即對(duì)比原始評(píng)論,是否有內(nèi)容上的缺失,設(shè)計(jì)了Q1-1和 Q1-2這兩項(xiàng)問(wèn)題;為了回答主題分析方法產(chǎn)生的結(jié)果是否包含冗余的信息,即出現(xiàn)重復(fù)性?xún)?nèi)容,設(shè)計(jì)了Q2-1和Q2-2這兩項(xiàng)問(wèn)題;為了回答主題分析方法產(chǎn)生的結(jié)果是否具有可閱理解性,設(shè)計(jì)了Q3-1,Q3-2這兩項(xiàng)問(wèn)題.然后,問(wèn)卷對(duì)原始評(píng)論和主題分析方法之間進(jìn)行了比較:為了回答主題分析方法如何影響分析用戶(hù)評(píng)論花費(fèi)的時(shí)間的問(wèn)題,設(shè)計(jì)了Q4-1和Q4-2這兩項(xiàng)問(wèn)題.

Fig.5 Original review example圖5 原始評(píng)論示例

Fig.6 ASUM method results example圖6 ASUM方法結(jié)果示例

Fig.7 RASL method results example圖7 RASL方法結(jié)果示例

Table 3 Questionnaire表3 調(diào)查問(wèn)卷

3.4 實(shí)驗(yàn)結(jié)果

· RQ1:ASUM方法和本文方法RASL的困惑度如何?

用本文所收集的用戶(hù)評(píng)論作為實(shí)驗(yàn)數(shù)據(jù),運(yùn)用ASUM方法和RASL模型得到結(jié)果,對(duì)結(jié)果計(jì)算困惑度并進(jìn)行比較,如圖8所示,ASUM 的困惑度是 302.1,RASL的困惑度是 100.9.本文所提出的方法得到的困惑度小于ASUM方法所得到的困惑度,本文提出的方法優(yōu)于ASUM方法.

Fig.8 Comparison of ASUM and RASL perplexity圖8 ASUM、RASL的困惑度對(duì)比

結(jié)論:RQ1:本文方法得到的困惑度小于ASUM方法所得到的困惑度

· RQ2:與原始評(píng)論相比,ASUM方法和本文方法RASL是否包含完整的信息?

為了回答主題分析方法產(chǎn)生的結(jié)果是否具有充分性,將Q3-1,Q3-2的結(jié)果匯總于表4,1分為缺失極多信息,10分為沒(méi)有缺失任何信息.360云盤(pán)和今日頭條的結(jié)果都顯示:對(duì)于 6位受試者來(lái)說(shuō),完整性均為 RASL優(yōu)于ASUM.

Table 4 Integrity of ASUM and RASL表4 ASUM、RASL的完整性

而后,本文進(jìn)行Mann-Whitney U檢驗(yàn),檢測(cè)這種差異的顯著性.Mann-Whitney U檢驗(yàn)是由Mann和Whitney于 1947年提出的[21],是一種非參數(shù)秩和假設(shè)檢驗(yàn),這個(gè)檢驗(yàn)是對(duì)獨(dú)立樣本進(jìn)行的一種不要求正態(tài)分布的 t-test檢驗(yàn)方法.主要是對(duì)來(lái)自除了總體均值以外完全相同的兩個(gè)總體,檢驗(yàn)其是否具有顯著差異.最終得到的結(jié)果顯示,RASL的完整性在0.05的顯著性水平下明顯優(yōu)于ASUM.

結(jié)論:RQ2:在0.05的顯著性水平下,RASL方法在完整性顯著優(yōu)于ASUM方法.

· RQ3:和原始評(píng)論相比,ASUM方法和本文方法RASL是否包含冗余的信息?

為了回答主題分析方法產(chǎn)生的結(jié)果是否具有簡(jiǎn)明性,將Q4-1,Q4-2的結(jié)果匯總于表5,1分為有許多冗余的信息,10分為沒(méi)有冗余的信息.360云盤(pán)的結(jié)果顯示:對(duì)于受試者1、受試者2、受試者4和受試者5來(lái)說(shuō),RASL包含的冗余信息相比ASUM較少;受試者3認(rèn)為,ASUM和RASL包含多于信息的數(shù)量差不多;而受試者6評(píng)價(jià)ASUM包含的冗余信息相比RASL較少.采訪受試者6,其認(rèn)為RASL存在個(gè)別主題與問(wèn)題類(lèi)型不匹配的問(wèn)題,因此評(píng)價(jià)略低于ASUM.今日頭條的結(jié)果顯示:對(duì)于其中5位受試者來(lái)說(shuō),RASL包含的冗余信息相比ASUM較少;對(duì)于受試者3來(lái)說(shuō),ASUM和RASL得到結(jié)果包含冗余信息量相同.

Table 5 Redundancy of ASUM and RASL表5 ASUM表5RASL的冗余性

為了檢測(cè)這種差異是否具有顯著性,本文對(duì)兩個(gè)方法的簡(jiǎn)明性進(jìn)行了Mann-Whitney U檢驗(yàn),在0.05的顯著性水平下,RASL包含的冗余信息明顯少于ASUM.

結(jié)論:RQ3:在0.05的顯著性水平下,RASL包含的冗余信息顯著少于ASUM.

· RQ4:ASUM方法和本文方法RASL的的閱讀理解性如何?

為了回答主題分析方法產(chǎn)生的結(jié)果是否具有可閱讀性,將Q5-1,Q5-2的結(jié)果匯總于表6,1分為難以閱讀理解,10分為非常易于閱讀理解.360云盤(pán)和今日頭條的結(jié)果都顯示:對(duì)于6位受試者來(lái)說(shuō),可閱讀性均為RASL優(yōu)于ASUM.

Table 6 Understandability of ASUM and RASL表6 ASUM、RASL的可理解性

而后,本文進(jìn)行 Mann-Whitney U檢驗(yàn),檢測(cè)這種差異的顯著性,最終得到的結(jié)果顯示,RASL的可閱讀性在0.05的顯著性水平下明顯優(yōu)于ASUM.

結(jié)論:RQ4:在0.05的顯著性水平下,RASL方法在可理解性方面顯著優(yōu)于ASUM方法.

· RQ5:ASUM方法和本文方法RASL的評(píng)論閱讀時(shí)間如何?

為了回答主題分析方法如何影響分析用戶(hù)評(píng)論所花費(fèi)時(shí)間的問(wèn)題,將Q2-1,Q2-2的結(jié)果匯總于表7.360云盤(pán)的結(jié)果顯示:受試者3閱讀ASUM和RASL所花費(fèi)的時(shí)間相等;受試者2、受試者5、受試者6閱讀RASL所花費(fèi)的時(shí)間略高于ASUM;受試者1和受試者3閱讀RASL所花費(fèi)的時(shí)間略低于ASUM.今日頭條的結(jié)果顯示:受試者1、受試者4、受試者5閱讀ASUM和RASL所花費(fèi)的時(shí)間相等;受試者2閱讀ASUM所花費(fèi)的時(shí)間略高于RASL;受試者3和受試者6閱讀RASL所花費(fèi)的時(shí)間略低于ASUM.

Table 7 Analysis time of ASUM and RASL (min)表7 ASUM、RASL的分析時(shí)間 (min)

由于所得ASUM方法和RASL方法所得閱讀時(shí)間無(wú)法直接看出是否具有差異性,本文進(jìn)行Mann-Whitney U檢驗(yàn),在 0.05的顯著性水平下,ASUM 方法和 RASL方法之間的時(shí)間差異不具有統(tǒng)計(jì)的顯著性,總的來(lái)說(shuō),RASL和ASUM所用閱讀時(shí)間無(wú)差異.

結(jié)論:RQ5:RASL方法和ASUM方法所用閱讀時(shí)間無(wú)顯著差異.

從實(shí)驗(yàn)結(jié)果分析中,我們可以得出結(jié)論:在困惑度方面,RASL主題分析方法明顯優(yōu)于ASUM方法;RASL主題分析方法和ASUM方法相比,可理解性更佳,包含更完整的原始評(píng)論信息,冗余信息也更少.

3.5 定性分析

回收問(wèn)卷后,采訪了受試者對(duì)于兩種主題分析方法的主觀感受.受試者們表示,ASUM的主題閱讀起來(lái)比較費(fèi)力,存在較多的無(wú)意義主題.本文方法 RASL由于有問(wèn)題類(lèi)型作為基礎(chǔ),相當(dāng)于具有兩層結(jié)構(gòu),有組織性,閱讀起來(lái)較為清晰明了,一些用戶(hù)評(píng)論可以幫助開(kāi)發(fā)者發(fā)現(xiàn)問(wèn)題.如圖9所示,本文方法RASL可以發(fā)現(xiàn)“安裝”分類(lèi)下,最常見(jiàn)的問(wèn)題是更新的版本在部分機(jī)器上無(wú)法進(jìn)行安裝.

Fig.9 Example圖9 示例圖

4 有效性威脅

4.1 內(nèi)部有效性威脅

在對(duì)主題分析方法 RASL進(jìn)行問(wèn)卷調(diào)查時(shí),比較了兩種可能的方法:一是分兩組,單獨(dú)評(píng)價(jià) ASUM 方法和RASL方法,但是在人員不足夠多的情況下,難以消除不同人不同判斷標(biāo)準(zhǔn)的問(wèn)題;因此,本文將受試者隨機(jī)分為兩組,每位受試者對(duì)兩種方法進(jìn)行閱讀,雖有可以在同一標(biāo)準(zhǔn)下給兩種方法打分,但是會(huì)帶來(lái)閱讀順序的問(wèn)題,因此,本文采用改變順序減輕了兩種方法間的相互影響.另外,ASUM和RASL產(chǎn)生200個(gè)主題的結(jié)果.主題數(shù)量較多,難以請(qǐng)受試者對(duì)每個(gè)主題進(jìn)行詳細(xì)打分.未來(lái)我們嘗試聯(lián)系更多的受試者參加問(wèn)卷調(diào)查,減輕閱讀順序、主題差異造成的偏差.最后,本文的研究沒(méi)有加入好評(píng),這可能會(huì)導(dǎo)致一些問(wèn)題的遺漏,因?yàn)樵诤迷u(píng)中也可能有用戶(hù)對(duì)于應(yīng)用的一些抱怨意見(jiàn).不過(guò),即使好評(píng)中存在一些抱怨意見(jiàn),也不會(huì)影響本文方法的可用性.今后,我們將進(jìn)行更多的實(shí)驗(yàn)來(lái)完善對(duì)所有評(píng)論的研究.

4.2 外部有效性威脅

評(píng)估實(shí)驗(yàn)針對(duì)兩個(gè)應(yīng)用進(jìn)行,盡管本文選擇的兩個(gè)應(yīng)用軟件分別隨機(jī)抽取了評(píng)分最高的應(yīng)用軟件和評(píng)分最低的應(yīng)用軟件,但這兩個(gè)應(yīng)用可能仍然不能代表所有應(yīng)用軟件.在未來(lái)的工作中,我們計(jì)劃爬取更多應(yīng)用軟件的評(píng)論,并與現(xiàn)有的結(jié)果進(jìn)行比較.而且評(píng)估實(shí)驗(yàn)中的兩個(gè)應(yīng)用都來(lái)自于 360手機(jī)助手,得到的結(jié)果是否可以推廣到其他應(yīng)用商店是未知的.在今后的工作中,我們將選取不同平臺(tái)的應(yīng)用進(jìn)行實(shí)驗(yàn),并將結(jié)果與 360手機(jī)助手的結(jié)果進(jìn)行比較,以鞏固我們的發(fā)現(xiàn).

5 結(jié)論與展望

移動(dòng)應(yīng)用的用戶(hù)在線評(píng)論數(shù)量巨大、信息量豐富,是重要的反饋數(shù)據(jù)來(lái)源,通過(guò)收集用戶(hù)使用軟件后產(chǎn)生的反饋信息,挖掘其中的各類(lèi)需求,對(duì)軟件開(kāi)發(fā)者而言有重要的價(jià)值,使開(kāi)發(fā)者能快速、直觀地理解用戶(hù)反饋.本文提出了一種基于支持向量機(jī)和主題模型的評(píng)論分析方法RASL.RASL方法首先進(jìn)行用戶(hù)的評(píng)論分類(lèi),然后對(duì)每個(gè)類(lèi)別下的評(píng)論進(jìn)行主題挖掘.

本文方法基于支持向量機(jī)的分類(lèi)模型的分類(lèi)結(jié)果為基礎(chǔ),依照分類(lèi)結(jié)果中每個(gè)問(wèn)題類(lèi)型所占比例確定每個(gè)問(wèn)題類(lèi)型的主題數(shù)目.然后選擇了LDA模型進(jìn)行主題分析,使用LDA模型對(duì)各問(wèn)題類(lèi)型下的評(píng)論進(jìn)行主題提取與代表句提取.而后,設(shè)計(jì)實(shí)驗(yàn)對(duì)比ASUM方法對(duì)RASL方法進(jìn)行評(píng)估.首先對(duì)兩種方法不同主題數(shù)目下的困惑度進(jìn)行計(jì)算,結(jié)果得到 RASL方法困惑度明顯減少.然后用調(diào)查問(wèn)卷進(jìn)行評(píng)估,實(shí)驗(yàn)數(shù)據(jù)是兩個(gè)應(yīng)用的全部中差評(píng),邀請(qǐng)軟件工程專(zhuān)業(yè)的受試者對(duì)原始評(píng)論、ASUM主題分析方法和RASL主題分析方法的生成結(jié)果進(jìn)行評(píng)估.實(shí)驗(yàn)結(jié)果表明,與ASUM相比,RASL方法的可理解性、完整性更佳,包含的冗余信息也更少.

在未來(lái)的工作中,我們將邀請(qǐng)足夠多的受試者進(jìn)行實(shí)驗(yàn),并且邀請(qǐng)一些軟件開(kāi)發(fā)人員,將本文的方法應(yīng)用于更多應(yīng)用軟件,從而判斷本文提出方法所得結(jié)果是否能真正符合開(kāi)發(fā)商需求.