基于局部特征和全局特征融合的微博情感分析

胥桂仙，陳思瑾，孟月婷，張廷，于紹娜

（中央民族大學(xué) 信息工程學(xué)院，北京 100081）

情感分析，又稱為意見挖掘.通過評估和分析熱點(diǎn)事件中的用戶情感，可以了解用戶對某一事件的觀點(diǎn)，有利于政府媒體部門及時(shí)了解熱點(diǎn)事件對公眾造成的輿論影響，采取科學(xué)有效的措施及時(shí)對事件的進(jìn)一步發(fā)展進(jìn)行控制，大大提升政府部門的應(yīng)急管理能力，為社會(huì)穩(wěn)定貢獻(xiàn)力量.

主題模型是用于從海量的文本中發(fā)現(xiàn)主題的統(tǒng)計(jì)概率模型.它基于詞在文章中的共現(xiàn)關(guān)系，從大量的詞匯中找出主題詞，由于這種模式反映了它們的語義關(guān)系，因此主題模型可以發(fā)現(xiàn)包含語義相關(guān)單詞的潛在主題.研究表明：主題模型訓(xùn)練出的主題特征，能夠有效地提高文本分類的性能，因此主題模型已廣泛用于自然語言處理、信息提取、情感分析、文獻(xiàn)研究和社會(huì)趨勢分析等不同環(huán)境下的文本挖掘研究.

微博文本具有語言不規(guī)范、文本稀疏、主題不明確等問題，本文從全局的文檔主題特征與局部的詞向量特征兩個(gè)角度對文本建模，提出了一種局部特征和全局特征融合的微博用戶情感特征分析方法，以解決微博文本特征稀疏和主題聚焦性差的問題.

1 相關(guān)工作

情感分析是一種利用計(jì)算模型對文本句子中所表達(dá)的觀點(diǎn)進(jìn)行分類的研究，目的是判定某一觀點(diǎn)的情感傾向.公眾的主觀評價(jià)會(huì)在一定程度上左右個(gè)人的判斷，這在受人們主觀觀點(diǎn)影響的政治、經(jīng)濟(jì)和社會(huì)科學(xué)領(lǐng)域均有所體現(xiàn).當(dāng)前文本情感分析領(lǐng)域的工作主要可分為以下三種.

1.1 基于情感詞典和規(guī)則的情感分析

基于情感詞典的文本情感分析方法的關(guān)鍵問題是構(gòu)建情感詞典.當(dāng)輸入文本后，將文本中的詞語與情感詞典中的情感詞進(jìn)行匹配，并對匹配的情感詞進(jìn)行加權(quán)求和以獲得輸入文本的情感值，從而根據(jù)情感值確定輸入文本的情感極性［1］.

RLOIFF等［2］較早研究了文本情感的內(nèi)容，他們使用一個(gè)具有代表性的特定領(lǐng)域文本語料庫和一組種子詞，提出了一種自舉算法幫助用戶快速創(chuàng)建語義詞典.SILVA等［3］通過識(shí)別公開語料庫中的形容詞以及構(gòu)建其同義詞關(guān)系圖，構(gòu)建了一種自動(dòng)擴(kuò)展的葡萄牙語情感詞典，專門分析了人們的社會(huì)評價(jià)情感.但是，這種方法受到了社交網(wǎng)絡(luò)中文本快速增長的限制.YANG等［4］提出了一種直接從大型公開數(shù)據(jù)集中生成依賴域的漢語語素的方法，該方法無需任何預(yù)定義的情感詞典，通過使用種子詞和互信息來對雅虎上的電影評論進(jìn)行分類.DIAMANTINI等［5］使用基于字典的方法來分析社交網(wǎng)絡(luò)內(nèi)容，并介紹了消除單詞歧義和否定關(guān)聯(lián)的方法.

基于情感詞典的文本情感分析方法存在的問題是過于依賴人工，且隨著網(wǎng)絡(luò)新興詞匯的不斷發(fā)展，情感詞典不能涵蓋文中所有的情感詞，這大大降低了該方法的分類性能.

1.2 基于傳統(tǒng)機(jī)器學(xué)習(xí)的情感分析

機(jī)器學(xué)習(xí)方法可以不依靠情感詞典，自動(dòng)提取文本特征并用于分類.KANG等［6］提出了一個(gè)改進(jìn)的樸素貝葉斯（Naive Bayesian，NB）分類器，將NB與支持向量機(jī)（Support Vector Machine，SVM）用于餐廳評論的比較.結(jié)果表明：改進(jìn)的NB算法比NB和SVM分類器產(chǎn)生更好的效果.2002年P(guān)ANG等［7］基于電影評論數(shù)據(jù)，通過SVM、NB和最大熵三個(gè)最具有代表性的分類器來確定文本的情感極性是積極或消極.MORAES等［8］使用SVM和神經(jīng)網(wǎng)絡(luò)分類器完成情緒分類任務(wù)，在有關(guān)電影、GPS、相機(jī)和書評的樹基準(zhǔn)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，證實(shí)神經(jīng)網(wǎng)絡(luò)在電影評論方面比SVM有更好的效果.

基于機(jī)器學(xué)習(xí)的文本情感分析方法雖然能夠自動(dòng)提取特征，但是它通常依賴于人工特征選擇，嚴(yán)重依賴實(shí)驗(yàn)數(shù)據(jù).隨著數(shù)據(jù)的持續(xù)增多，機(jī)器學(xué)習(xí)無法應(yīng)對這種大規(guī)模的數(shù)據(jù).如果在訓(xùn)練集中出現(xiàn)標(biāo)記錯(cuò)誤的數(shù)據(jù)，則準(zhǔn)確性可能會(huì)受到很大影響.

1.3 基于深度學(xué)習(xí)的情感分析

大量學(xué)者的研究發(fā)現(xiàn)深度學(xué)習(xí)方法不需要人工干預(yù)，能自動(dòng)地從不同的神經(jīng)網(wǎng)絡(luò)模型中提取特征，并從自身的錯(cuò)誤中不斷學(xué)習(xí).同時(shí)該方法對語料庫的限制較少，它可以根據(jù)語料庫中的單詞找到大量的同義詞，這使得語料庫具有更好的可傳遞性，彌補(bǔ)了傳統(tǒng)機(jī)器學(xué)習(xí)算法高度依賴語料庫的不足.

KIM等［9］將卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）應(yīng)用在英文句子級(jí)的情感分析任務(wù)，通過微調(diào)和對體系結(jié)構(gòu)的簡單修改來獲得特定于任務(wù)的向量和靜態(tài)向量，在當(dāng)時(shí)取得了良好的分類效果.為了處理具有位置關(guān)系的文本序列，AL-SMADI等［10］基于阿拉伯酒店評論數(shù)據(jù)將循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）與支持向量機(jī)進(jìn)行了方面級(jí)別的情感分析實(shí)驗(yàn)，結(jié)果顯示RNN在運(yùn)行速度和二次任務(wù)上均取得了優(yōu)勢.但是，后續(xù)的研究發(fā)現(xiàn)當(dāng)輸入的文本序列長度過長時(shí)，RNN由于反向傳播的原因會(huì)一定程度上導(dǎo)致梯度爆炸或消失.因此，WANG等［11］采用長短期記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）來分析文本的情感類別.為了擁有更好的實(shí)驗(yàn)效果，有研究者在神經(jīng)網(wǎng)絡(luò)中引入注意力機(jī)制進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，并取得了較好的效果.

然而當(dāng)前的神經(jīng)網(wǎng)絡(luò)模型一般只將詞粒度的向量作為輸入，忽視了語義層面的全局特征，從而導(dǎo)致模型分類的時(shí)候沒有充足的特征進(jìn)行類別的判斷，最終效果不理想.

2 基于局部特征和全局特征融合的微博情感分析

在情感分類任務(wù)中，情感特征的提取對分類的結(jié)果尤為重要，本文提取了4種特征：分布式詞向量特征、TF-IDF統(tǒng)計(jì)特征、情感特征、文本主題特征，將4種特征組合變換構(gòu)建局部特征和全局特征，融合后輸入到神經(jīng)網(wǎng)絡(luò)模型中，最終構(gòu)成了一種基于局部特征和全局特征的情感分類模型，該模型將組合后的不同的特征作為神經(jīng)網(wǎng)絡(luò)的多輸入，從而使模型獲取更加全面的特征信息，取得更好的情感分類結(jié)果.本文情感分析模型的示意圖如圖1所示.

圖1 情感分析模型Fig.1 Sentiment analysis model

2.1 文本全局特征的構(gòu)建

詞向量根據(jù)滑動(dòng)窗口中的詞共現(xiàn)信息，將特征提取細(xì)化到詞的粒度，對每個(gè)詞的獨(dú)立詞向量進(jìn)行建模，語義向量簡單地采用詞向量重疊組合，但卻忽略了詞與詞之間相互關(guān)聯(lián)的整體語義關(guān)系.神經(jīng)主題模型使用整個(gè)文本集的詞語來預(yù)測主題分布，主題分布反映了文本的整體語義信息，而不會(huì)捕獲更多的局部單詞之間的相關(guān)性，從而能夠構(gòu)建更加符合主題的全局特征.

本文引用了王建成等［12］提出的模型，利用基于神經(jīng)變分推理框架的神經(jīng)主題模型構(gòu)建全局主題特征，其結(jié)構(gòu)如圖2所示.

圖2 神經(jīng)主題模型Fig.2 Neural topic model

主題模型包含兩個(gè)主要組件：主題預(yù)測編碼器（Encoder）和重構(gòu)文檔解碼器（Decoder）.前者根據(jù)給定的一篇文檔預(yù)測其主題分布，后者根據(jù)主題分布生成相應(yīng)的文檔.對于語料庫中的每一篇文檔，d為一段文本的詞袋表示，其中的每一個(gè)元素對應(yīng)當(dāng)前文檔中每一個(gè)單詞的詞頻.主題模型生成文檔的過程如下：

（1）使用帶激活函數(shù)的多層感知機(jī)，將給定的詞袋輸入d轉(zhuǎn)換為隱含變量z的均值和方差，即μ(d)，σ(d)2～MLP(d)，其中MLP為多層感知機(jī)；

（2）根據(jù)μ(d)，σ(d)2得到輸入數(shù)據(jù)d在隱含變量z下的后驗(yàn)概率q(z|d).q(z|d)近似滿足高斯分布，即q(z|d)～N(μ(d)，σ(d)2)，其中N(μ(d)，σ(d)2)為多維高斯分布；

（3）參數(shù)化表示隱變量θ(d)，經(jīng)Softmax規(guī)范化之后得到該文本的主題分布為θ(d)= Softmax (Wθz(d)).其中，Wθ是可訓(xùn)練的變量；

（4）給定采樣出來的主題分布θ(d)，從解碼器Decoder重構(gòu)文檔，則對于文檔中的第i個(gè)詞wi=Softmax (Wφθ(d)).其中，Wφ是可訓(xùn)練的變量.

文檔d的似然函數(shù)p(d|μ0，σ0)為：

則神經(jīng)主題模型的訓(xùn)練損失函數(shù)Loss如式（2）所示：

其中：DKL表示Kullback-Leibler散度，用于衡量兩個(gè)概率分布的相似性.式中第一項(xiàng)為模型的重構(gòu)損失，訓(xùn)練模型從隱變量z中重構(gòu)出文檔，保證了最大化d的生成概率.第二項(xiàng)保證了模型學(xué)習(xí)到的q(z|d)和真實(shí)的后驗(yàn)概率p(d|z)相近［12］.

在解碼階段，隱含變量z是從自編碼器Encoder的輸出q(z|d)采樣得到的，通常神經(jīng)網(wǎng)絡(luò)通過梯度下降等優(yōu)化算法實(shí)現(xiàn)迭代，但是由于存在采樣行為，無法計(jì)算梯度值，因此梯度無法正常傳播回來，所以變分自編碼網(wǎng)絡(luò)中的參數(shù)不能利用梯度下降算法來優(yōu)化.因此運(yùn)用重參數(shù)技巧，從q(z|d)中采樣z的操作過程通過公式（3）模擬：

式中，從正態(tài)分布N(0，1)采樣得到.通過加入噪音，訓(xùn)練出來的模型更為魯棒.

本文利用基于神經(jīng)變分推理框架的神經(jīng)主題模型構(gòu)建全局主題特征，訓(xùn)練流程如下：

（1）輸入文檔d通過編碼器部分q(z|d)計(jì)算得到隱含變量z的均值以及方差；

（2）通過重參數(shù)技巧得隱含變量z；

（3）將隱含變量z輸入到解碼器中計(jì)算得到分布p(d|z)；

（4）最后通過優(yōu)化算法迭代損失函數(shù)Loss優(yōu)化參數(shù).

模型訓(xùn)練的最終目的是獲取主題預(yù)測編碼器，因此，在主題模型訓(xùn)練結(jié)束后，重構(gòu)文檔解碼器則不再使用.

在測試階段，本文利用上文訓(xùn)練得到的主題預(yù)測編碼器提取測試數(shù)據(jù)的主題特征θ(d)作為整個(gè)文檔的全局主題特征.通過將神經(jīng)主題模型引入到特征提取中來擴(kuò)展文本特征，將文本主題特征作為全局特征來表示文本信息，充分利用了文本的全局語義信息，從而能夠構(gòu)建更加符合主題的全局特征.

2.2 文本局部特征的構(gòu)建

詞向量將詞的語義和句法表示模型化，表達(dá)上下文的語義關(guān)系，但是無法捕捉詞語的情感信息.實(shí)際上，情感詞才是決定文本表達(dá)情感的關(guān)鍵因素.然而使用通用詞向量可導(dǎo)致相反情緒的詞具有相似的向量表示，因?yàn)檫@些詞出現(xiàn)在相似的句法環(huán)境中.因此我們提出融合基于情感詞典的情感分析方法，利用清華大學(xué)李軍的TSING中文褒貶詞典得到每種類別情感詞的情感取值，將詞語的情感信息融入到詞向量中，實(shí)現(xiàn)詞向量的情感增強(qiáng).情感特征詞向量Senti2vec(ti)的計(jì)算方法如公式（4）、（5）所示.

式中：ti為文檔d中的第i個(gè)詞；Emb(ti)為ti的分布式詞向量；Senti(ti)為ti的情感權(quán)重；α為根據(jù)當(dāng)前詞是否含有情感信息所分配的情感權(quán)重且滿足α＞1，本文中α的取值為2.

同時(shí)，情感分析任務(wù)本質(zhì)就是文本分類問題，不同的詞語對分類的貢獻(xiàn)不同.通用詞向量模型在情感分類中利用更多的上下文信息，較少考慮詞語在統(tǒng)計(jì)學(xué)中的的權(quán)重特征.因此本文利用TF-IDF提高分類任務(wù)中詞語的權(quán)重.TF-IDF的表達(dá)式如（6）、（7）所示：

式中：ti為當(dāng)前詞語，d為ti所在的文檔，TFIDF(ti)為ti的TF-IDF權(quán)重，TF(ti，d)為ti在d中出現(xiàn)的頻率，N為總文檔數(shù)，nti為出現(xiàn)ti的文檔數(shù).

統(tǒng)計(jì)權(quán)重TFIDF2vec(ti)的計(jì)算方法如式（8）所示：

本文構(gòu)建的局部特征向量Word2vec(ti)的表示如式（9）所示.

將局部特征詞向量Word2vec(ti)送入到BiLSTM模型中訓(xùn)練，得到基于上下文的文檔d的特征向量Doc2vec(d).

2.3 特征融合及情感分析

基于上文的2個(gè)步驟，可以得到基于局部詞向量的文檔特征Doc2vec(d)和基于神經(jīng)主題模型的全局文檔主題特征θ(d)，將上述2種特征進(jìn)行融合得到最終的文本特征.一方面，具有局部特征的詞向量有助于預(yù)測句子中的上下文單詞；另一方面，具有全局特征的主題向量可以從整個(gè)文檔范圍來預(yù)測所有的單詞，通過局部特征和全局特征的融合，使得最終的文檔特征能夠更加豐富.這樣，最終文檔特征向量h(d)可表示為：

然后將該文本特征向量h(d)輸入到Softmax分類器.經(jīng)過Softmax函數(shù)的映射，得到文檔的類別概率分布從而實(shí)現(xiàn)情感的分類，公式如（11）所示：

式中：W和b為Softmax函數(shù)的參數(shù)，為文本類別.則損失函數(shù)為：

式中：ti∈Rm為one-hot的文本真實(shí)值；yi∈Rm為估計(jì)出的每個(gè)類別的概率；m=2為類別個(gè)數(shù)；λ為L2正則化的超參數(shù)，使用L2正則化減輕過擬合的情況.

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集

本文采用COAE2014task4中的微博數(shù)據(jù)集，共40000條數(shù)據(jù).該數(shù)據(jù)集包含5000條的標(biāo)注數(shù)據(jù)，其中2656條為正面情感極性，2344條為負(fù)面情感極性［13］.同時(shí)，本文還獲取了5000條的微博文本，其中正面情感和負(fù)面情感數(shù)據(jù)各2500條.最后，將10000條數(shù)據(jù)構(gòu)成最終的實(shí)驗(yàn)數(shù)據(jù)集來完成實(shí)驗(yàn).最終得到的數(shù)據(jù)集的詳細(xì)信息如表1所示.

表1 數(shù)據(jù)集描述Tab.1 Dataset description

由于數(shù)據(jù)集比較小，所以本文對Mixture中10000條數(shù)據(jù)進(jìn)行10折交叉驗(yàn)證來驗(yàn)證情感分類的實(shí)驗(yàn)效果.

3.2 實(shí)驗(yàn)設(shè)置

本實(shí)驗(yàn)中的詞向量利用python庫中Gensim工具的Skip-Gram模型，在實(shí)驗(yàn)中，當(dāng)未進(jìn)行預(yù)訓(xùn)練以進(jìn)行初始化時(shí)，使用200維的word2vec詞向量來初始化，沒有出現(xiàn)在單詞向量中的詞語由詞向量的平均值來代替.同時(shí)，為了保證實(shí)驗(yàn)效果并充分使用數(shù)據(jù)，本文利用COAE2014任務(wù)4數(shù)據(jù)集提供的40000條數(shù)據(jù)來訓(xùn)練詞向量.實(shí)驗(yàn)中采用的神經(jīng)網(wǎng)絡(luò)模型BiLSTM部分實(shí)驗(yàn)參數(shù)如表2所示.

表2 實(shí)驗(yàn)參數(shù)設(shè)置Tab.2 Experimental parameter settings

3.3 評價(jià)標(biāo)準(zhǔn)

本文采用準(zhǔn)確率P、召回率R及F1值進(jìn)行結(jié)果評價(jià)，相關(guān)的參數(shù)如表3所示.

表3 評價(jià)標(biāo)準(zhǔn)符號(hào)說明Tab.3 Symbol description of evaluation standard

計(jì)算公式如（14）、（15）和（16）所示.

為了保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，本文的實(shí)驗(yàn)結(jié)果均為隨機(jī)初始化5次實(shí)驗(yàn)的平均值.

3.4 實(shí)驗(yàn)比較與結(jié)果分析

3.4.1 確定主題數(shù)目K

研究表明主題數(shù)目K值與主題模型抽取的效果有直接關(guān)系，因此，為確定抽取的主題數(shù)量K，對數(shù)據(jù)集進(jìn)行不同主題數(shù)量的實(shí)驗(yàn).困惑度Perplexity是評估主題模型的常用方法，計(jì)算如公式（17）、（18）所示.

式中：D為語料庫中的測試集，M為文檔總數(shù)，Nd為每篇文檔d中的單詞數(shù)，wd為文檔d中的詞，p(wd)為文檔中詞wd產(chǎn)生的概率［14］.困惑值越小，主題模型的訓(xùn)練效果越好，模型的穩(wěn)定性越好.

在神經(jīng)主題建模過程中，設(shè)置主題數(shù)為0～100，間隔為10，實(shí)驗(yàn)結(jié)果如圖3所示.

圖3 主題模型的困惑度實(shí)驗(yàn)結(jié)果Fig.3 Experimental results of topic model perplexity

由圖3可見：隨著主題個(gè)數(shù)的不斷增大，實(shí)驗(yàn)效果也隨之提升，在主題的個(gè)數(shù)上升為50時(shí)，實(shí)驗(yàn)結(jié)果達(dá)到了最好.但是當(dāng)接著增大主題個(gè)數(shù)時(shí)，實(shí)驗(yàn)效果開始有所下降.綜上，當(dāng)主題數(shù)為50時(shí)，模型的困惑度最低，效果最好.分析可知：當(dāng)主題數(shù)過少時(shí)會(huì)導(dǎo)致能夠表示文本差異的特征不能完全展示，而主題數(shù)目設(shè)置過多時(shí)，會(huì)將其自身明顯的特征強(qiáng)制分配到其余更多的特征上，導(dǎo)致單個(gè)特征維度可表示的文本差異不明顯，還增加一些噪聲，導(dǎo)致實(shí)驗(yàn)效果不理想.因此，主題數(shù)的選擇不應(yīng)過多或過少，最終選擇50用于后續(xù)實(shí)驗(yàn).

3.4.2 網(wǎng)絡(luò)參數(shù)對模型情感分類的影響

基于本文第二部分提出的方法，融合局部特征與全局特征，作為BiLSTM神經(jīng)網(wǎng)絡(luò)模型的輸入，進(jìn)行下述實(shí)驗(yàn)，分析模型不同的輸入長度和詞向量維度對模型情感分類結(jié)果的影響.

（1） 輸入長度.

輸入數(shù)據(jù)的長度對模型性能有一定影響，當(dāng)輸入數(shù)據(jù)過長，將會(huì)被填充過多的零向量；當(dāng)長度過短時(shí)，將會(huì)有較多信息被舍棄.圖4是數(shù)據(jù)集文本長度的分布情況.

圖4 數(shù)據(jù)集文本長度分布Fig.4 Dataset text length distribution

由圖4可見：文本長度大致分布在0～100之間，其中絕大部分的文本長度在0～50.通過調(diào)節(jié)輸入長度的大小，F(xiàn)1值的變化如圖5所示.

圖5 F1值與輸入長度變化的關(guān)系Fig.5 Relationship between F1 value and input length

由圖5可見：當(dāng)輸入長度在0～50時(shí)，F(xiàn)1值隨著輸入長度的增加呈上升趨勢；當(dāng)輸入長度為50時(shí)，F(xiàn)1值達(dá)到最高；當(dāng)輸入長度大于50時(shí)，隨著輸入長度的不斷增加，輸入數(shù)據(jù)會(huì)被填充過多的零向量，F(xiàn)1值則呈現(xiàn)出下降趨勢.因此，將模型的輸入長度設(shè)置為50進(jìn)行后續(xù)實(shí)驗(yàn).

（2）詞向量維度.

為了分析詞向量維度對實(shí)驗(yàn)的影響，本文通過設(shè)置不同的單詞向量維數(shù)，對詞向量模型進(jìn)行實(shí)驗(yàn).初始化word2vec模型的參數(shù)，設(shè)置上下文的窗口為5，以50步為間隔訓(xùn)練從50維到300維的詞向量模型，并將F1用作評估指標(biāo).如圖6所示為不同詞向量維數(shù)下數(shù)據(jù)語料庫的分類效果.

圖6 不同維度的詞向量實(shí)驗(yàn)結(jié)果Fig.6 Experimental results of word vectors with different dimensions

由圖6可見：隨著詞向量維數(shù)的增加，實(shí)驗(yàn)結(jié)果先增加，后降低.當(dāng)詞向量的維數(shù)設(shè)置為200時(shí)，測試集的分類效果最好.這是因?yàn)楫?dāng)詞向量維度太少時(shí)不能完全表示文本信息，隨著維度的提升，會(huì)得到更多的特征信息，實(shí)驗(yàn)效果也隨之變好.當(dāng)維度太大又會(huì)引入越來越多的不相關(guān)特征，降低了分類的準(zhǔn)確性.因此，選擇恰當(dāng)?shù)奶卣鞒叽鐚τ诜诸惤Y(jié)果非常重要.本文將詞向量維度設(shè)置為200進(jìn)行后續(xù)實(shí)驗(yàn).

3.4.3 全局的文檔主題特征與局部的詞向量特征對情感分類的影響

為證明不同特征表示的有效性，本文基于不同的特征表示進(jìn)行情感分析研究，通過實(shí)驗(yàn)比較情感分析的效果，神經(jīng)網(wǎng)絡(luò)采用BiLSTM模型.將使用word2vec訓(xùn)練的分布式詞向量特征記為F1，TF-IDF統(tǒng)計(jì)特征記為F2，情感特征記為F3，主題特征記為F4，本文提出的方法是F1+F2+F3+F4.特征表示結(jié)果的對比如表4和圖7、8所示.

表4 不同的詞向量表示的實(shí)驗(yàn)結(jié)果Tab.4 Experimental results of different word vectors representation

圖7 不同特征表示的正向文本分類結(jié)果Fig.7 Positive text classification results represented by different features

圖8 不同特征表示的負(fù)向文本分類結(jié)果Fig.8 Negative text classification results represented by different features

從以上結(jié)果可見：當(dāng)只使用詞向量為特征表示時(shí)的分類結(jié)果最不理想，而本文提出的方法即實(shí)驗(yàn)組5，能夠取得更好的實(shí)驗(yàn)效果.與單獨(dú)使用詞向量的實(shí)驗(yàn)相比，對于正向測試數(shù)據(jù)，實(shí)驗(yàn)組5在Precision、Recall、F1上各自提升了2.5%、7.7%、5.3%，對于負(fù)向測試數(shù)據(jù)，實(shí)驗(yàn)組5在Precision、Recall、F1上各自提升了6.4%、1.1%、3.8%.

為了探索情感詞典加權(quán)的單詞向量對模型的影響，通過實(shí)驗(yàn)組1、2進(jìn)行加入情感詞典的詞向量和未加入的詞向量的對比分析.由表4可見：對于正向測試數(shù)據(jù)，情感詞典加權(quán)的方法在Precision、Recall、F1上各自提升了1.2%、2.3%、1.6%；對于負(fù)向測試數(shù)據(jù)，情感詞典加權(quán)的方法在Precision、Recall、F1上各自提升了1.6%、0.2%、0.9%.因?yàn)榧尤肭楦性~典可以增強(qiáng)句子中表達(dá)的情感特征，使得情感分析更具有針對性，因此該模型可以獲得比普通詞向量更好的性能.

為了探索TF-IDF加權(quán)的詞向量對模型的影響，從對比實(shí)驗(yàn)組1、3分析可知：對于正向測試數(shù)據(jù)，在Precision、Recall、F1上各自提升了0.7%、2.4%、1.6%；對于負(fù)向測試數(shù)據(jù)，在Precision、Recall、F1上各自提升了2.8%、0.3%、1.7%，因此加入淺層詞性特征TF-IDF對情感分類準(zhǔn)確度有一定提升.

為了探索LDA加權(quán)的詞向量對模型的影響，從對比實(shí)驗(yàn)組1、4可見：對于正向測試數(shù)據(jù)，在Precision、Recall、F1上各自提升了1.1%、3.6%、2.5%；對于負(fù)向測試數(shù)據(jù)，在Precision、Recall、F1上各自提升了3.6%、0.1%、2.0%，使用word2vec和主題特征優(yōu)于單獨(dú)使用word2vec，這表明詞向量和主題特征可以更好地融合語義信息和主題信息，因此具有更好的語義表達(dá)效果.

3.4.4 不同神經(jīng)網(wǎng)絡(luò)方法與基準(zhǔn)方法對比實(shí)驗(yàn)

為了證明BiLSTM模型的有效性，將其與其他神經(jīng)網(wǎng)絡(luò)模型進(jìn)行實(shí)驗(yàn)對比，以驗(yàn)證本文模型的有效性和魯棒性.其中，輸入部分詞向量為上文中提出的詞向量表示方法，實(shí)驗(yàn)結(jié)果如表5、圖9、圖10所示.

表5 不同情感分析模型的實(shí)驗(yàn)結(jié)果Tab.5 Experimental results of different sentiment analysis models

圖9 正向數(shù)據(jù)集上各模型情感分析效果對比Fig.9 Comparison of sentiment analysis effects of each model on positive dataset

圖10 負(fù)向數(shù)據(jù)集上各模型情感分析效果對比Fig.10 Comparison of sentiment analysis effects of each model on negative dataset

CNN：卷積核大小分別為5，卷積核數(shù)量為64個(gè)，Dropout rate為0.5，mini-batch大小為128.損失函數(shù)為交叉熵?fù)p失函數(shù)，優(yōu)化函數(shù)為RMSProp［15］.

RNN：設(shè)置實(shí)驗(yàn)中隱藏層單元個(gè)數(shù)為160，其他設(shè)置同CNN.

LSTM：與RNN參數(shù)基本一致.

BiLSTM：與LSTM參數(shù)基本一致.

由圖9、圖10可知，本文提出的方法在Precision、Recall、F1上都取得了最好的實(shí)驗(yàn)效果，其中，正向測試數(shù)據(jù)的Precision、Recall、F1上達(dá)到了86.7%、81.2%和83.8%；負(fù)向測試數(shù)據(jù)的Precision、Recall、F1上分別達(dá)到了80.1%、86.3%和82.9%.可見BiLSTM神經(jīng)網(wǎng)絡(luò)方法在實(shí)驗(yàn)效果方面明顯優(yōu)于CNN模型.在正向測試數(shù)據(jù)中，本文提出的方法比CNN在Precision、Recall、F1上分別提高了6.6%、8.8%、7.8%；在負(fù)向測試數(shù)據(jù)中，本文提出的方法比CNN在Precision、Recall、F1上分別提高了7.3%、5.1%、6.2%.因?yàn)镃NN通過卷積操作能夠提取微博文本的局部特征，但無法有效提取文本的全局特征，因此分類效果不好，而BiLSTM神經(jīng)網(wǎng)絡(luò)模型在文本分類中更加有效.相較于RNN模型，在正向類中，本文提出的方法在Precision、Recall、F1上分別提高了3.1%、6.4%、4.9%；在負(fù)向類中，本文提出的方法在Precision、Recall、F1上分別提高了6.6%、2.2%、4.5%.因?yàn)镽NN能夠解決文本序列的問題，但當(dāng)序列過長時(shí)，RNN由于反向傳播的原因會(huì)導(dǎo)致梯度爆炸或消失.相較于LSTM，在正向測試數(shù)據(jù)中，本文提出的方法在Precision、Recall、F1上分別提高了2.5%、7.7%、5.3%；在負(fù)向測試數(shù)據(jù)中，本文提出的方法在Precision、Recall、F1上分別提高了6.4%、1.1%、3.8%.因?yàn)長STM在一定程度上緩解了梯度消失的問題和上下文特征，但是無法有效利用情感特征和主題特征.本文提出的方法通過結(jié)合文檔特征、情感特征、主題語義特征，可以豐富神經(jīng)網(wǎng)絡(luò)的特征，從而提升情感分類的準(zhǔn)確率.

從語料庫的角度來看，正面語料庫分類精確度優(yōu)于負(fù)面語料庫.通過觀察語料，發(fā)現(xiàn)由于漢語表達(dá)的豐富表達(dá)，負(fù)面語料中存在反問和諷刺等表達(dá)，這使得情感分析的難度更加困難.但是，當(dāng)人們在正面評價(jià)中使用正面詞語時(shí)，情感表達(dá)更加統(tǒng)一，有利于文本的情感自動(dòng)分類.

4 結(jié)語

本文從全局的文檔主題特征與局部的詞向量特征融合同時(shí)對文本進(jìn)行建模，提出了一種基于局部特征和全局特征融合的情感分類方法，提取詞向量特征、統(tǒng)計(jì)特征和情感特征組成局部特征，訓(xùn)練神經(jīng)主題模型得到主題預(yù)測編碼器并用于提取全局主題特征，將兩者融合后用以解決評論文本特征稀疏和主題聚焦性差的問題.結(jié)果表明：結(jié)合全局主題語義特征和局部詞向量特征，可以更加豐富神經(jīng)網(wǎng)絡(luò)的特征，從而有效地提高情感分類的準(zhǔn)確率.