• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看

      ?

      基于雙通道融合和BiLSTM-attention的評(píng)論文本情感分類算法

      2021-12-29 07:34:58顏禮蓉朱小棟
      關(guān)鍵詞:卷積分類矩陣

      顏禮蓉, 朱小棟, 陳 曦

      (上海理工大學(xué) 管理學(xué)院,上海 200093)

      電子商務(wù)的在線評(píng)價(jià)作為由消費(fèi)者主動(dòng)發(fā)起的評(píng)論商品質(zhì)量和服務(wù)等的言論,對(duì)潛在消費(fèi)者作出購買決定起著一定的作用,也直接影響了電商平臺(tái)的用戶使用黏性。挖掘這些評(píng)論的褒貶態(tài)度,從而識(shí)別人們對(duì)某種商品的購買傾向,這個(gè)過程被稱為情感分析(sentiment analysis,SA)。情感分析是一種使用自然語言處理(natural language processing, NLP)以及文本挖掘(text mining)技術(shù)的分析方法,通過分析大量信息來理解人們對(duì)一件事情的看法。在自然語言處理中,文本情感分析是一個(gè)重要的應(yīng)用領(lǐng)域。

      1 相關(guān)研究

      為了更充分地挖掘網(wǎng)民的觀點(diǎn)和立場(chǎng),使用機(jī)器學(xué)習(xí)的方法進(jìn)行情感分析成為了自然語言處理的一個(gè)新興的研究方向。在早期,情感分析是通過使用傳統(tǒng)的機(jī)器學(xué)習(xí)方法構(gòu)造分類器來解決的。Pang等[1]首次提出利用機(jī)器學(xué)習(xí)算法包括樸素貝葉斯(NB),最大熵分類(ME)和支持向量機(jī)(SVM)來解決情感分類問題,他們利用n-grams模型和詞性提取電影評(píng)論的特征。Liu等[2]利用基于情感特征的細(xì)顆粒度情感分析方法,主要貢獻(xiàn)是通過句法分析提取相應(yīng)特征,并與TF-IDF基準(zhǔn)模型進(jìn)行對(duì)比實(shí)驗(yàn),其提出的模型在積極/消極評(píng)價(jià)中的精確率(precision)、召回率(recall)和F1-Score上都有所提升。Lin等[3]通過詞嵌入word2vec方法提取中國酒店評(píng)論的特征,并放入分類器樸素貝葉斯(NB)、支持向量機(jī)(SVM)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)中進(jìn)行對(duì)比,其中支持向量機(jī)(SVM)在分類中表現(xiàn)最好。利用詞嵌入的方式可以有效地從評(píng)論文本中提取到詞語的信息(例如某個(gè)詞在文本中出現(xiàn)與否或是出現(xiàn)的頻數(shù))和詞語的層次信息(主要是指上下文的信息),但是無法提取出詞語中所表示情感的信息。因而將情感詞典與詞嵌入的方法融合可更全面地表達(dá)出評(píng)論中的信息。

      近幾年,由于深度學(xué)習(xí)方法在自然語言處理方面取得了較好的研究成果,許多學(xué)者對(duì)于深度學(xué)習(xí)模型應(yīng)用于情感分析十分熱衷,將不斷改進(jìn)的經(jīng)典深度學(xué)習(xí)模型應(yīng)用于這個(gè)領(lǐng)域,甚至為了解決這個(gè)領(lǐng)域中的問題而提出新的深度學(xué)習(xí)模型。Kim[4]較早提出了textCNN模型,利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)算法處理句子分類的問題,在7項(xiàng)任務(wù)中,有4項(xiàng)得到了比以往研究更好的結(jié)果(包括情感分類任務(wù))。Zhao等[5]利用Glove提取特征,放入非常深的CNN模型中做Twitter的情感分類實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明其模型準(zhǔn)確性和F1值都比基準(zhǔn)模型要高。除了CNN以外,深度學(xué)習(xí)中的長短期記憶網(wǎng)絡(luò)(LSTM)算法被認(rèn)為能更好地學(xué)習(xí)文本的上下文信息,也被學(xué)者們應(yīng)用于情感分類這個(gè)問題上。Hassan等[6]利用LSTM替換CNN中的池化層,進(jìn)行二分類以及五分類的實(shí)驗(yàn),結(jié)果比之前提出的模型準(zhǔn)確率更高。

      除此之外,現(xiàn)有許多學(xué)者將文本中的多種特征融合起來,達(dá)到更好的分類效果。Lazib等[7]通過句法分析得到文本的特征,將CNN和BiLSTM模型結(jié)合到同一個(gè)模型進(jìn)行分類。相比其他同類型實(shí)驗(yàn)來說,提出特征的方法更節(jié)省時(shí)間并且有更好的效果。Abdi等[8]融合了詞嵌入特征、情感信息(詞典)特征和語言知識(shí)特征,并根據(jù)相關(guān)的策略克服了詞嵌入的缺點(diǎn),其模型與其他經(jīng)典方法相比具有優(yōu)勢(shì)。

      以往的研究證明了對(duì)文本不同特征的融合可以為分類器提供更多的信息量,然而,要如何通過構(gòu)造詞嵌入方式和分類器的結(jié)構(gòu),并融合不同的特征,使提出的模型有更好的分類效果,這是本文研究的一個(gè)重點(diǎn)。也就是說,在判斷句子的情感極性時(shí),不僅要考慮結(jié)合更多的文本詞信息,還要考慮構(gòu)造分類器結(jié)構(gòu),更好地提取出文本中的不同特征。

      在此基礎(chǔ)上,首先提出了一種構(gòu)造詞嵌入拼接機(jī)制,這種機(jī)制不僅能夠?qū)⑽谋局械脑~向量表示出來,還能將詞性標(biāo)注信息作為句子表征的一個(gè)特征嵌入其中。此外,提出了一種信息并行注意機(jī)制,使用BiLSTM計(jì)算的并行結(jié)構(gòu)時(shí)序信息特征,通過門控機(jī)制更新存儲(chǔ)單元。CNN模型能夠更好地提取到某一類的詞性(比如形容詞、副詞、名詞等),這些詞性對(duì)于情感的表達(dá)具有更顯著的作用。在此基礎(chǔ)上,加入attention機(jī)制進(jìn)一步強(qiáng)化分類結(jié)果,可以理解為在一句話中,有一些詞為這句話的重點(diǎn)詞,而在這里attention機(jī)制就是為了幫助提取這一類重點(diǎn),更好地將特征中的重點(diǎn)“表現(xiàn)”出來。實(shí)驗(yàn)結(jié)果表明,與其他基準(zhǔn)模型相比,該方法具有更好的分類準(zhǔn)確率和F1指標(biāo)。

      2 模 型

      由于詞嵌入模型無法很好地包含詞語的情感信息,本文提出了PWCNN模型和PW2CNN模型來應(yīng)用詞性特征相結(jié)合的方式使特征包含的信息更加豐富。而單一卷積神經(jīng)網(wǎng)絡(luò)模型無法很好地捕捉到一句話的時(shí)序信息,本文使用循環(huán)神經(jīng)網(wǎng)絡(luò)模型中的雙向長短期記憶模型進(jìn)行實(shí)驗(yàn),加入注意力機(jī)制,提出并行分類算法PW2CNN&BiLSTMatt模型。

      2.1 Word2vec + CNN模型

      TextCNN經(jīng)典模型是由Kim[4]提出的,每一個(gè)詞是一條一維的向量,一句話組成一個(gè)矩陣。通過不同的卷積核進(jìn)行卷積操作,再通過池化操作進(jìn)行降維,最后利用sigmoid函數(shù)進(jìn)行二分類。

      早先,詞袋模型(bag of words, BOW)表示每句話的詞頻向量,該方法是把文檔中所有的詞做成一個(gè)詞袋并構(gòu)建對(duì)應(yīng)的詞典(dictionary),使生成的向量與詞典相互對(duì)應(yīng)且能夠把詞的頻率表現(xiàn)出來。在較長的句子集中,這種方法會(huì)使生成的矩陣非常稀疏,而且喪失了語序關(guān)系的信息。詞嵌入模型word2vec能夠更好地考慮到詞語位置的關(guān)系,并且解決用One-Hot編碼對(duì)詞進(jìn)行向量化時(shí)過于稀疏的問題。

      詞嵌入模型的提出是為了更好地在一個(gè)大型數(shù)據(jù)集上快速、準(zhǔn)確地學(xué)習(xí)出詞表示,利用將高維詞向量嵌入到低維空間的想法,使相鄰意思的詞具有更近的空間距離。本文模型中使用的是連續(xù)詞袋模型(continuous bag-of-word model, CBOW),生成的每條文本矩陣為256×128維。每個(gè)詞設(shè)置使用128維表示,而詞與詞之間拼接起來便形成了特征向量矩陣,假如一句話不超過256個(gè)詞則用0進(jìn)行填充。

      Word2vec + CNN 模型對(duì) TextCNN 經(jīng)典模型進(jìn)行了修改,模型的CNN結(jié)構(gòu)對(duì)每句話的特征矩陣上通過多個(gè)不同的4×4卷積核進(jìn)行卷積操作。輸入文本矩陣X∈RN×N和濾波器W∈RU×V,二維卷積的公式如下:

      式(1)表示用一個(gè)窗口大小為U×V的濾波器W,作用在xi,j到xi?u+1,j?v+1上,將文本矩陣X中元素xij和卷積核矩陣W中元素wuv相乘,得到特征cij的過程,最后得到多個(gè)特征矩陣。

      圖1中第一層為輸入層,最后一層為輸出層,而夾在中間的幾層代表的是卷積神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)。這個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型有兩個(gè)卷積層,一個(gè)池化層。第一個(gè)卷積層有32個(gè)卷積核,都是4×4的矩陣,激活函數(shù)為ReLu函數(shù)。第二個(gè)卷積的卷積核有16個(gè),卷積核的大小為4×4,同樣使用ReLu函數(shù)。采用ReLu函數(shù)的原因是因?yàn)槠溆?jì)算量較其他激活函數(shù)更小,并能起到較好的防止過擬合作用。這里的第三層是最大池化層,設(shè)置的池化核大小為2×2。池化層和全連接層之間加入了dropout,其取值為0.25。該全連接層與輸出層之間同樣加了dropout,值為0.5,最后使用的是sigmoid函數(shù)進(jìn)行二分類。

      圖1 Word2vec + CNN模型中卷積神經(jīng)網(wǎng)絡(luò)模型Fig.1 Convolution neural network in Word2vec+CNN model

      2.2 PWCNN模型

      在這個(gè)實(shí)驗(yàn)中,Word2vec + CNN基準(zhǔn)模型是單以word2vec作為輸入的單通道卷積神經(jīng)網(wǎng)絡(luò)模型,并且與PWCNN模型雙通道模型中的卷積神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)一樣,不同的是特征的輸入。兩個(gè)特征分別是詞嵌入word2vec模型矩陣(256×128×1 維)和詞性標(biāo)注(part-of-speech, POS)特征輸入矩陣(220×56×1 維)。

      詞性標(biāo)注(part-of-speech,POS)是在分詞的基礎(chǔ)上,判斷每個(gè)詞在該句話中的詞性標(biāo)注。使用詞性特征可以有效地消除歧義,例如“工作”這個(gè)詞既可以做名詞也可以做動(dòng)詞,在中文里面這樣的詞還有很多。并且詞嵌入模型無法很好地表達(dá)一句話的情感信息,因而這里利用詞性特征作為補(bǔ)充,能夠較好地提供語句中的情感信息。模型比較關(guān)注的重要詞性有形容詞、副詞和動(dòng)詞,因?yàn)檫@些詞性的詞能夠比較好地表達(dá)出評(píng)論者的主觀感受。另外,一句話中標(biāo)點(diǎn)符號(hào)也很重要,起著判斷情感極性的作用,因而在進(jìn)行分詞并給出對(duì)應(yīng)分詞的詞性時(shí),不考慮去除標(biāo)點(diǎn)符號(hào)。模型詞性特征提取是先由分詞后的每一句話生成一個(gè)詞性的列表,再根據(jù)詞性字典,生成對(duì)應(yīng)的特征矩陣(原理和詞袋模型一樣)。

      PWCNN模型將詞嵌入word2vec模型訓(xùn)練的詞向量與詞性向量(POS)進(jìn)行了“上下”拼接,包括兩種拼接方式,如圖2和式(2)所示。

      圖2 詞嵌入模型訓(xùn)練的詞向量與詞性向量拼接圖Fig.2 Mosaic diagram of word vector and part-of-speech vector trained by the word embedding model

      式中:XW表示詞嵌入word2vec模型矩陣;XP表示詞性標(biāo)注特征輸入矩陣。

      另外,每句話的POS特征和word2vec特征是一一對(duì)應(yīng)拼接起來的,這樣拼接出來的整個(gè)特征矩陣才具有意義。然后再將拼接的特征向量放入和word2vec + CNN模型一樣的單通道卷積神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練,這主要是為了將特征融合的單通道模型和基準(zhǔn)模型的實(shí)驗(yàn)結(jié)果直接進(jìn)行對(duì)比。考慮到CNN模型結(jié)構(gòu)與經(jīng)典的textCNN模型結(jié)構(gòu)的不同,選擇這種“上下”拼接而不是“左右”拼接的方式,但是“左右”拼接也非常值得嘗試。通過實(shí)驗(yàn)結(jié)果證明,拼接的特征含有更加豐富的信息,因此分類效果更好。與此同時(shí),通過對(duì)比實(shí)驗(yàn),發(fā)現(xiàn)這兩種拼接方式對(duì)實(shí)驗(yàn)結(jié)果沒有顯著的影響,對(duì)于卷積神經(jīng)網(wǎng)絡(luò)來說無差別。

      將融合特征的詞向量放入與上文相同結(jié)構(gòu)的卷積中進(jìn)行實(shí)驗(yàn),并且其中激活函數(shù)和參數(shù)的設(shè)定都保持一致。通過兩層的卷積層把特征向量中的信息提取出來,再通過池化層進(jìn)一步降維、匯總信息,這里通過隨機(jī)dropout進(jìn)行全連接處理,為了進(jìn)一步防止過擬合(減少參數(shù)),在該flatten層后面加入dropout,最后進(jìn)行分類。實(shí)驗(yàn)?zāi)P腿鐖D3所示。

      圖3 PWCNN模型Fig.3 PWCNN model

      該實(shí)驗(yàn)與word2vec + CNN模型情況作對(duì)比,可以清楚地判斷POS特征在這個(gè)分類實(shí)驗(yàn)中是否能夠起到一定的作用。實(shí)驗(yàn)證明加入POS特征的輸入矩陣的確有更好的分類效果。下一步就是在此單通道的基礎(chǔ)上,進(jìn)一步考慮雙通道的CNN模型,探索相同的特征分別進(jìn)入相同結(jié)構(gòu)的CNN模型時(shí)是否受到影響。

      2.3 PW2CNN模型

      雙通道模型(并行)與單通道模型的輸入不同,單通道模型的輸入是通過拼接不同的特征而形成的融合特征,而并行模型中則是通過分別輸入不同的特征進(jìn)行相關(guān)實(shí)驗(yàn)的。并且不同的特征可以進(jìn)入到不同的神經(jīng)網(wǎng)絡(luò)模型中,最后可以通過矩陣拼接的方式達(dá)到融合的效果。雙通道CNN模型中一邊輸入的是POS特征的矩陣,另一邊輸入的是word2vec模型的矩陣。兩個(gè)特征矩陣分別經(jīng)過CNN處理(兩個(gè)卷積層、一個(gè)池化層以及設(shè)置了dropout層,值為0.25),在過渡層中將處理后的兩個(gè)特征進(jìn)行“壓平”操作(將多維數(shù)據(jù)變成一維的過程),“左右”拼接在一起,形成一條矩陣,這樣做的目的也是為了同時(shí)保留兩邊的信息。

      式中:C1表示輸入為POS特征的卷積特征矩陣;C2表示輸入為word2vec模型的矩陣卷積特征矩陣。

      將二維數(shù)據(jù)變成一維后拼接,將拼接層以全連接的方式連接到最后的輸出層,其中設(shè)置dropout層,值為0.5。整體的模型的結(jié)構(gòu)如圖4所示。

      圖4 PW2CNN模型Fig.4 PW2CNN model

      為了確保模型之間的可對(duì)比性,雙通道與單通道的CNN結(jié)構(gòu)基本保持一致,通過實(shí)驗(yàn)結(jié)果的對(duì)比發(fā)現(xiàn),其驗(yàn)證集上的正確率和F1值改進(jìn)的效果并不明顯。但是,當(dāng)把模型雙通道一邊的CNN換成BiLSTM時(shí),結(jié)果發(fā)生了顯著的變化,說明影響整體結(jié)果的不僅僅在于特征的選取(信息的選?。€在于分類器的選取。當(dāng)一邊輸入的是POS特征時(shí),利用CNN能夠很好地提取局部的特性。而當(dāng)另一邊輸入為word2vec模型時(shí),使用能夠考慮上下文語境的BiLSTM模型,因?yàn)樵~嵌入特征本身就具備詞本身的信息。綜上所述,這樣的分類器有更好的實(shí)驗(yàn)結(jié)果,也是本文提出該模型的原因。

      2.4 PW2CNN&BiLSTMatt模型

      本文提出的PW2CNN&BiLSTMatt模型詞嵌入部分使用word2vec模型,分類器選用CNN和BiLSTM模型,并且加入注意力機(jī)制。

      由于 RNN(recurrent neural network)在輸入時(shí)間序列不斷增加的情況下,經(jīng)過多次傳播后會(huì)出現(xiàn)梯度消失或梯度爆炸的現(xiàn)象,從而喪失學(xué)習(xí)長期信息的能力,即存在長期依賴問題。為此,在模型設(shè)計(jì)中引入長短時(shí)記憶網(wǎng)絡(luò)(long short-term memory, LSTM),這是一種特殊類型的 RNN,能夠?qū)W習(xí)長期的依賴關(guān)系。LSTM通過門結(jié)構(gòu)來實(shí)現(xiàn)向細(xì)胞狀態(tài)中移除或添加信息。

      雙向長短期記憶網(wǎng)絡(luò)(bi-directional long shortterm memory, BiLSTM)是由兩個(gè)普通的 LSTM 所組成,一個(gè)正向的LSTM可以利用句子中過去的信息,一個(gè)逆向的LSTM可以利用句子中未來的信息。這樣一來,模型就可以實(shí)現(xiàn)對(duì)上下文信息的提取了,因此,雙向LSTM的預(yù)測(cè)結(jié)果會(huì)更加精確。對(duì)于文本的情感分類問題來說,該模型非常的適用,因?yàn)槠浒司渥又械那跋蚝秃笙虻乃行畔ⅰ?/p>

      式中:σ表示使用sigmoid函數(shù)作為激活函數(shù);Wi,Wf,Wc,Wo表 示 函 數(shù) 訓(xùn) 練 出 來 的 權(quán) 重 ;bi,bf,bc,bo表示函數(shù)訓(xùn)練出來的偏置。LSTM網(wǎng)絡(luò)引入一個(gè)新的內(nèi)部狀態(tài)(internal state)ct∈ RD進(jìn)行信息傳遞,同時(shí)輸出信息給隱藏層的外部狀態(tài)ht∈ RD, 其 中ft∈[0, 1]D、it∈[0, 1]D和ot∈ [0, 1]D為3個(gè)門(gate)來控制信息傳遞的路徑;⊙為向量元素乘積;ct?1為上一時(shí)刻的記憶單元;c?t∈ RD是通過tanh函數(shù)得到的候選狀態(tài)。

      注意力機(jī)制(attention mechanism)的靈感來自于人本身的認(rèn)知功能,在大量信息中提取接收小部分重要的信息,忽略其他信息,這樣的能力叫作人的注意力。類似地,注意力機(jī)制的本質(zhì)就是關(guān)注輸入的某些關(guān)鍵部分,給予更高的權(quán)重?;赼ttention機(jī)制的LSTM模型在任一時(shí)刻的隱藏狀態(tài)不僅取決于當(dāng)前時(shí)刻的隱藏層狀態(tài)和上一時(shí)刻的輸出,還依賴于上下文的特征,這個(gè)上下文特征是通過所有時(shí)刻的隱藏狀態(tài)加權(quán)平均得到的。計(jì)算公式為:

      a.計(jì)算注意力分布。

      b.根據(jù)注意力分布來計(jì)算輸入信息的加權(quán)平均。

      計(jì)算注意力分布就是計(jì)算在給定查詢向量q和輸入X下,選擇第i個(gè)輸入向量的概率ai。其中:z∈[1,N]為注意力變量,表示被選擇信息的索引位置,即z=i表示選擇了第i個(gè)輸入向量;ai為注意力分布;s(xi,q)為注意力打分函數(shù)。注意力分布ai可以解釋為在給定任務(wù)相關(guān)的查詢q時(shí),第i個(gè)輸入向量受關(guān)注的程度,根據(jù)ai來計(jì)算輸入信息的加權(quán)平均,對(duì)輸入信息進(jìn)行匯總。

      模型分類器分別選用CNN和BiLSTM作為并行的結(jié)構(gòu),通過CNN模型能夠很好地提取到某一類的詞性(比如形容詞、副詞、名詞等),這些詞性對(duì)于情感的表達(dá)具有更顯著的作用。而BiLSTM更適合抓取時(shí)序信息特征。加入attention機(jī)制進(jìn)一步強(qiáng)化分類結(jié)果,可以理解為在一句話中,有一些詞為這句話的重點(diǎn)詞,而在這里attention機(jī)制就是為了幫助提取這一類重點(diǎn),更好地將特征中的重點(diǎn)“表現(xiàn)”出來。整體的模型結(jié)構(gòu)如圖5所示。

      圖5 PW2CNN&BiLSTMatt模型Fig.5 PW2CNN&BiLSTMatt model

      CNN模型用到的設(shè)定參數(shù),與前文保持一致,這樣可以更好地對(duì)比這些模型結(jié)構(gòu)性能的優(yōu)劣。而另一邊是加入注意力機(jī)制的長短期記憶模型,其中,在BiLSTM上使用attention機(jī)制的示意圖如圖6所示。

      圖6 BiLSTM上使用attention機(jī)制的示意圖Fig.6 Schematic diagram of applying attention mechanism on BiLSTM

      與前文所提到的基于attention機(jī)制的LSTM模型類似,雙向的LSTM中當(dāng)前狀態(tài)也應(yīng)與上下文特征有關(guān),通過attention機(jī)制將所有時(shí)刻的隱藏狀態(tài)加權(quán)平均后輸入當(dāng)前狀態(tài),從而影響輸出。根據(jù)輸出結(jié)果與真實(shí)情況的差異,調(diào)整attention機(jī)制中的權(quán)值。實(shí)際上,通過本實(shí)驗(yàn)可以證明,與基準(zhǔn)模型相比,這個(gè)并行模型的分類效果最好,它不僅充分利用了不同的特征信息,也發(fā)揮了不同神經(jīng)網(wǎng)絡(luò)模型的優(yōu)勢(shì)。而相比起雙通道的CNN模型,該模型的分類結(jié)果更佳,說明加入attention機(jī)制的BiLSTM模型在其中發(fā)揮了重要作用。

      3 實(shí)驗(yàn)研究

      3.1 數(shù)據(jù)集

      實(shí)驗(yàn)所用數(shù)據(jù)集為海信、小米、飛利浦、TCL和創(chuàng)維5個(gè)品牌的電視機(jī)評(píng)論數(shù)據(jù),來源于京東電商平臺(tái)。將網(wǎng)頁中的好評(píng)和差評(píng)分開爬取,從而解決文本數(shù)據(jù)的標(biāo)簽問題。表1給出了本文爬取的文本評(píng)論數(shù)據(jù)的數(shù)量信息。

      表1 爬取的文本數(shù)據(jù)信息Tab.1 Crawled text data information

      模型使用的文本數(shù)據(jù)是所有的好評(píng)論(21790條)和差評(píng)論(9340條),在訓(xùn)練過程中的訓(xùn)練集和驗(yàn)證集的比例設(shè)為7∶3。換句話說,訓(xùn)練集中好評(píng)的數(shù)量為15253條,差評(píng)的數(shù)量為6538條。驗(yàn)證集中好評(píng)的數(shù)量為6537條,差評(píng)的數(shù)量為2802 條。

      3.2 實(shí)驗(yàn)環(huán)境

      為了有效驗(yàn)證模型的性能指標(biāo),對(duì)比實(shí)驗(yàn)環(huán)境設(shè)置如下:操作系統(tǒng)為Windows 64,內(nèi)存為32 GB,處理器為 Intel(R)Xeon(R)CPU E5-2650 v4 @ 2.20 GHz(2 處理器),模型使用的是 keras深度學(xué)習(xí)框架。

      3.3 損失函數(shù)(loss function)

      損失函數(shù)是一個(gè)非負(fù)實(shí)數(shù)函數(shù),用來量化模型預(yù)測(cè)和真實(shí)標(biāo)簽之間的差異。本文實(shí)驗(yàn)中的損失函數(shù)用的是交叉熵?fù)p失函數(shù)(binary cross entropy),公式如下:

      式中:yi為真實(shí)的離散類別;y?i為預(yù)測(cè)類別標(biāo)簽的條件概率分布。

      3.4 實(shí)驗(yàn)參數(shù)

      本文的卷積神經(jīng)網(wǎng)絡(luò)模型上的超參數(shù)設(shè)置如表2所示。

      表2 卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)置Tab.2 Parameter setting of convolutional neural network

      PW2CNN&BiLSTMatt模型將長短期記憶模型放入并行結(jié)構(gòu)中,并且加入了attention機(jī)制,該并行結(jié)構(gòu)中的長短期記憶模型中attention層的激活函數(shù)為Softmax函數(shù),中間輸出層的激活函數(shù)為Relu函數(shù),attention層的dropout值為0.3。本文的并行結(jié)構(gòu)模型,拼接之后是全連接層以及輸出層,全連接層及輸出層激活函數(shù)分別為Relu函數(shù)和Sigmoid函數(shù),其中全連接層設(shè)置的dropout值為0.5。

      對(duì)于不是并行結(jié)構(gòu)的模型,在卷積神經(jīng)網(wǎng)絡(luò)后面也同樣跟著如上參數(shù)設(shè)置的全連接層和輸出層,主要是為了保持多個(gè)模型中的一致性。除了以上提到的參數(shù)設(shè)置外,在上述4個(gè)不同的對(duì)比實(shí)驗(yàn)中,訓(xùn)練過程中所設(shè)置的細(xì)節(jié)如下:損失函數(shù)為交叉熵函數(shù),優(yōu)化器選擇Adam方法,Batch size設(shè)置為64。前期進(jìn)行多個(gè)30次epoch的實(shí)驗(yàn)后往往在前10次epoch已經(jīng)收斂了,而訓(xùn)練過多epoch次數(shù)只會(huì)使模型趨向于過擬合的狀態(tài),因此最終對(duì)比實(shí)驗(yàn)epoch設(shè)置為10。而實(shí)驗(yàn)次數(shù)越多越具有科學(xué)性,為避免偶然性的誤差,本文的實(shí)驗(yàn)結(jié)果都是以10次實(shí)驗(yàn)的平均數(shù)記錄并對(duì)比的。

      3.5 實(shí)驗(yàn)結(jié)果及分析

      通過前文提到的方法,對(duì)4個(gè)模型10次實(shí)驗(yàn)結(jié)果進(jìn)行比較。實(shí)驗(yàn)結(jié)果如圖7和圖8所示。圖中 BASELINE 基準(zhǔn)模型為 word2vec + CNN 模型,PWCNN為特征融合的CNN模型,PW2CNN模型為雙通道CNN模型,PW2CNN&BiLSTMatt模型為并行的CNN和BiLSTM模型(加入了attention)模型。

      圖7 不同實(shí)驗(yàn)?zāi)P偷腇1值Fig.7 F1 values of different experimental models

      圖8 不同實(shí)驗(yàn)?zāi)P偷臏?zhǔn)確率Fig.8 Accuracy of different experimental models

      3.6 不同模型之間的顯著性檢驗(yàn)

      t檢驗(yàn)是一種顯著性檢驗(yàn)的方法,以小概率反證法進(jìn)行邏輯推理,判斷假設(shè)是否成立。這種檢驗(yàn)方法可以用于檢驗(yàn)兩個(gè)樣本平均值差異程度,其主要是通過t分布理論來推斷差異發(fā)生的概率,進(jìn)而判斷兩個(gè)平均數(shù)是否存在顯著差異。這里使用t檢驗(yàn)的原因是用來檢驗(yàn)不同模型的實(shí)驗(yàn)結(jié)果是否存在顯著差異。表3為4個(gè)模型之間的t檢驗(yàn)值。

      表3 4個(gè)模型間的t檢驗(yàn)Tab.3 t test among four models

      當(dāng)顯著性水平為0.001時(shí),PW2CNN&BiLSTMatt模型對(duì)BASELINE模型、PWCNN模型和PW2CNN模型的t檢驗(yàn)的p-value值( 2.8009×10?9、3.5968×10?7和 0.00024)均小于0.001。因此,PW2CNN&BiLSTMatt模型與BASELINE模型、PWCNN模型和PW2CNN模型之間均存在顯著性差異。換句話說,在顯著性水平為0.001的條件下,PW2CNN&BiLSTMatt模型顯著優(yōu)于BASELINE模型、PWCNN模型和PW2CNN模型。此外,當(dāng)顯著性水平為0.05時(shí),PWCNN模型對(duì)BASELINE模型t檢驗(yàn)的p-value 值(0.00339)均小于 0.05。因此,PWCNN模型與BASELINE模型之間存在顯著性差異。換句話說,在顯著性水平為0.05的條件下,PWCNN模型顯著優(yōu)于BASELINE模型。

      3.7 實(shí)例分析

      對(duì)實(shí)驗(yàn)結(jié)果(分類過的評(píng)論)進(jìn)行具體的分析,從不同角度對(duì)好評(píng)和差評(píng)進(jìn)行數(shù)據(jù)分析。評(píng)論數(shù)據(jù)的標(biāo)簽是通過PW2CNN&BiLSTMaat模型分類出來的結(jié)果(好評(píng)/差評(píng)),對(duì)分類后的評(píng)論進(jìn)行相應(yīng)的分詞處理并且統(tǒng)計(jì)其出現(xiàn)的次數(shù),再將好評(píng)和差評(píng)中有意義的高頻詞選出來進(jìn)一步分析??梢岳萌ネS迷~的方法將“電視”/“電視機(jī)”或品牌名稱等無意義的詞去掉,再通過統(tǒng)計(jì)數(shù)量的多少進(jìn)行從大到小的排列,將前面的高頻詞和詞頻數(shù)保留下來。好評(píng)論和壞評(píng)論的詞頻統(tǒng)計(jì)圖如圖9和圖10所示。

      圖9 好評(píng)高頻詞統(tǒng)計(jì)圖Fig.9 Statistical chart with high word frequency in positive reviews

      圖10 差評(píng)高頻詞統(tǒng)計(jì)圖Fig.10 Statistical chart with high word frequency in negative reviews

      可以看出,“安裝”對(duì)于顧客滿意度有重要影響,其次就是對(duì)于“畫面”/“畫質(zhì)”的滿意程度,也是顧客關(guān)注的重點(diǎn)。另外還有“送貨”/“物流”方面,也是顧客所重點(diǎn)關(guān)注的問題。因此,商家在實(shí)際情況下,為了得到更多的好評(píng),這幾個(gè)方面是不能忽視的。

      4 結(jié)束語

      對(duì)評(píng)論文本的情感進(jìn)行挖掘和分析,提出一種對(duì)在線電商評(píng)論情感分類的PW2CNN&BiLSTMatt模型,同時(shí)使用了詞向量以及POS特征向量。這兩個(gè)特征是本文針對(duì)文本數(shù)據(jù)信息提取的兩種方式,主要考慮到了詞本身的特性和含情感信息的特征特性。通過BASELINE模型和PWCNN模型的對(duì)比,驗(yàn)證了詞性特征在模型中的作用。與此同時(shí),對(duì)這兩個(gè)特征的融合方式提出了兩種方案,一種是兩個(gè)向量直接拼接的融合方式,另一種是通過并行結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)模型的方式進(jìn)行“融合”。

      對(duì)卷積神經(jīng)網(wǎng)絡(luò)和加入attention機(jī)制的雙向長短期記憶網(wǎng)絡(luò)進(jìn)行了對(duì)比,并通過實(shí)驗(yàn)結(jié)果證明了哪個(gè)模型更適合。卷積網(wǎng)絡(luò)擅長抓取局部特征,而長短期模型更適合含有“時(shí)間”信息的特征,因此什么樣的特征用什么樣的深度學(xué)習(xí)算法模型至關(guān)重要。

      本文不足之處在于未進(jìn)行多種參數(shù)的設(shè)定嘗試。此外,關(guān)于并行結(jié)構(gòu)也可以進(jìn)一步作不同嘗試,對(duì)此類研究將在未來繼續(xù)展開。

      猜你喜歡
      卷積分類矩陣
      基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
      分類算一算
      從濾波器理解卷積
      電子制作(2019年11期)2019-07-04 00:34:38
      分類討論求坐標(biāo)
      數(shù)據(jù)分析中的分類討論
      基于傅里葉域卷積表示的目標(biāo)跟蹤算法
      教你一招:數(shù)的分類
      初等行變換與初等列變換并用求逆矩陣
      矩陣
      南都周刊(2015年4期)2015-09-10 07:22:44
      矩陣
      南都周刊(2015年3期)2015-09-10 07:22:44
      濮阳市| 拜城县| 仪陇县| 定日县| 五家渠市| 昆山市| 平泉县| 旺苍县| 屯昌县| 马山县| 鄄城县| 南宁市| 洞口县| 乐清市| 明星| 边坝县| 澄迈县| 民权县| 化德县| 萨迦县| 南华县| 常山县| 宕昌县| 长宁县| 海淀区| 宾川县| 龙川县| 河源市| 延边| 德州市| 施甸县| 容城县| 密山市| 旺苍县| 颍上县| 安西县| 乾安县| 恩施市| 洱源县| 星子县| 江口县|