基于神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)輿情情感分析

李亞飛，張 璞，史歡歡

(河北政法職業(yè)學院，河北 石家莊 050046)

0 引言

隨著時代的進步和社會的快速發(fā)展，截止到2021年12月，中國網(wǎng)民數(shù)量已達9.89億，互聯(lián)網(wǎng)成為了公眾發(fā)表意見的重要平臺，微博、博客、論壇、新聞等網(wǎng)絡(luò)應(yīng)用已經(jīng)成為社會生活中最大的民意網(wǎng)站。隨著傳統(tǒng)門戶網(wǎng)站和新媒體平臺的爆炸式發(fā)展，公眾參與網(wǎng)絡(luò)互動的熱情和參與度突飛猛進。因此，用戶產(chǎn)生了大量有價值的、帶有主觀意見的公共信息，同時這些信息會影響事件的發(fā)展，我們可以了解公眾輿論對某項政策、事件或產(chǎn)品的態(tài)度和意見，提取民意趨勢，準確收集民眾意見，把握趨勢，幫助政府和企業(yè)做出及時有效的決策。

然而，傳統(tǒng)的情感分析技術(shù)中基于文本統(tǒng)計信息和知識詞典的特征提取方法只考慮了詞與詞之間的形態(tài)聯(lián)系，往往忽略了很多內(nèi)涵信息。對于需要考慮深層含義的輿論信息，很難做出感性的判斷。深度學習通過構(gòu)建非線性多層網(wǎng)絡(luò)結(jié)構(gòu)來學習復(fù)雜函數(shù)[1]，證實了深度學習在自然語言處理中的有效性，并驗證了學習深層結(jié)構(gòu)化語義信息的能力。

1 基于深度學習的輿情分析

深度學習模擬人類大腦進行分析和學習，通過多層非線性網(wǎng)絡(luò)的疊加模型，將數(shù)據(jù)轉(zhuǎn)化為高層次、抽象的特征表達式。該方法已成功地應(yīng)用于圖像處理和語音識別，為情感分類提供了新的思路。基于深度學習的方法主要分為兩個步驟：首先將需要分類的評論預(yù)料表示為語義詞向量；其次，利用不同的語義合成方法，得到與之相對應(yīng)的句子或文檔的特征表達式，最后通過深度神經(jīng)網(wǎng)絡(luò)提取情感特征，采用不同的融合方式進行情感分析。Glorot等人[2]將深度學習方法應(yīng)用于大規(guī)模在線評論的情緒分析，通過提取更深層次的文本表達特征，大大提高了文本表達的準確性。Mikolov等人[3]對神經(jīng)網(wǎng)絡(luò)模型進行了優(yōu)化，提出了RNN。通過重復(fù)使用隱藏層，與新增的時間信息共同計算新的隱藏層。因此，隱藏層包含了所有的上下文語義信息，減少了參數(shù)，降低了復(fù)雜性。Sundermeyer等人[4]在2012年解釋了如何使用 LSTM（Long-Short-Term Memory Recurrent Neural Network）構(gòu)建語言模型，該模型可以解決文本內(nèi)容的遠程依賴問題。Liu等人[5]在2015年使用不同長度和時間步長的 LSTM 進行情感分類。Kim[6]在 2014年使用 CNN對預(yù)處理后的單詞向量進行分類，獲得了較高的分類精度。Lee[7]使用CNN和RNN將文本發(fā)送給ANN進行分類。長短時記憶（LSTM）算法作為一種特殊的遞歸神經(jīng)網(wǎng)絡(luò)（RNN）在情緒分析方面表現(xiàn)出色。例如，Pathak等人提出了一種基于深度學習的主題級情感分析模型，該模型采用了包含正則化約束的在線潛在語義索引和主題級注意機制的 LSTM網(wǎng)絡(luò)[8]。Barachi等人使用雙向LSTM從大量關(guān)于氣候變化的在線帖子中提取多種情緒[9]。Agüero-Torales等人對相關(guān)問題進行了很好的綜述[10]。他們發(fā)現(xiàn)，隨著解決更困難的情感分析任務(wù)需求的增加，需要具有更精細架構(gòu)的深度學習算法。

LSTM廣泛應(yīng)用的同時也在不斷更新，Cho[11]等人構(gòu)建的GRU單元在很多問題上有著和LSTM相似的表現(xiàn)而結(jié)構(gòu)更加簡化。Yao[12]等人則為改進傳統(tǒng) RNN結(jié)構(gòu)提供了更多思路方法，實現(xiàn)了Depth Gated RNN模型。Hinton[13]等人首次提出了深度學習的概念，認為深層神經(jīng)網(wǎng)絡(luò)的特征學習能力很強且通過逐層初始化的方法克服了訓練的難度，激發(fā)了學者們對深度學習的研究熱情，之后深度學習被廣泛應(yīng)用到自然語言處理領(lǐng)域。Lecun[14]等提出了用于文本分類任務(wù)的CNN卷積神經(jīng)網(wǎng)絡(luò)，CNN具有多層網(wǎng)絡(luò)結(jié)構(gòu)，也是深度學習領(lǐng)域首個訓練成功的算法。國外的研究學者們通過對深層神經(jīng)網(wǎng)絡(luò)不斷地改進，優(yōu)化了多種變體結(jié)構(gòu)，推進了深度學習的研究。如Socher R分別提出了遞歸自編碼 RAE模型、Matrix-Vector RNN模型、RNTN模型，RNTN模型[15]，采取減少參數(shù)總量的方式，具體方法是按線性變換的規(guī)則處理若干分量，在坐標變換的環(huán)節(jié)引進張量，從而優(yōu)化了性能效果；Socher R[16]之后在RNN單元結(jié)構(gòu)中引入門機制并進行文本分類實驗，克服了梯度消失的問題，并將改進后的結(jié)構(gòu)稱為LSTM；但 LSTM 對于輸入信息的處理是從序列第一個開始，而不能從最后一個往前記憶，為解決LSTM單層結(jié)構(gòu)不擅長處理反向序列信息的問題，Brueckner R[17]引入LSTM反向?qū)舆B接LSTM正向?qū)樱O(shè)計對比實驗表明了雙層模型更擅長前后文的特征提取。Ghosh S[18]等人為強化模型對文本的信息提取，受到特征融合理念的啟發(fā)，考慮詞匯的外部情感因素并結(jié)合LSTM算法，從而提高了分類效果。Yoon Kim[19]等人基于CNN在圖像領(lǐng)域的應(yīng)用，提出并構(gòu)建了改進的卷積網(wǎng)絡(luò)并用于文本分類任務(wù)，以預(yù)訓練的英文單詞向量作為單通道輸入，得到的 Text-CNN在英文語料庫的表現(xiàn)較好，但不擅于學習更復(fù)雜情境下的語意和表征，且在面對中文領(lǐng)域的情感判別問題上仍需改進。國內(nèi)也有一些研究學者們著手對深度學習情感分類模型展開了研究。梁軍[20]等人拋棄傳統(tǒng)的人工決定特征的方式，將 RAE模型和深度學習模型相結(jié)合進行分類實驗，由實驗結(jié)果發(fā)現(xiàn)模型對特征的提取和學習的性能得到了優(yōu)化，從一定程度上對情感判別處理做出了改進。之后梁軍[21]等人引入情感極性轉(zhuǎn)移模型提取詞匯和語句兩者之間前后的聯(lián)系，并結(jié)合LSTM特征提取的優(yōu)勢，提高了情感分析的效果，從而有效完成對微博中文文本的情感識別任務(wù)。唐都鈺[22]等人結(jié)合了幾種神經(jīng)網(wǎng)絡(luò)模型進行文檔分類任務(wù)，利用卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶神經(jīng)網(wǎng)絡(luò)學習句子表示，用門控循環(huán)神經(jīng)網(wǎng)絡(luò)GRU學習文檔表示，經(jīng)過實驗結(jié)果和分析驗證，CNN和LSTM結(jié)合的模型在文檔分類任務(wù)上取得了不錯的效果。劉龍飛[23]基于 CNN詞向量原始特征的選取上做了相關(guān)工作，采用字級別和詞級別兩種方式，嘗試解決微博的情感分析判別問題，在COAE2014語料集上取得了較高的準確率。何炎祥[24]等人研究微博文本的情感分析，輸入層結(jié)合了中文詞和表情符號兩者的情感因素進行考量，提出 EMCNN模型，相比于傳統(tǒng)CNN，EMCNN對情感特征的選取更豐富，更適用于解決微博文本領(lǐng)域的情感分類問題。同年龐亮[25]等人在解決文本匹配任務(wù)時，選取了三個經(jīng)典數(shù)據(jù)集，涉及的領(lǐng)域分別是問題陳述、自動問答和信息搜索，通過若干種文本匹配模型之間的對比分析，列舉出各自的優(yōu)勢和不足，最后分析與展望了深度文本模型的發(fā)展前景。

李洋[26]等人提出將CNN和BILSTM兩種算法相結(jié)合，對于文本對應(yīng)的詞向量，首先建立CNN對其局部表征更有效地提取，而文本的全局特征則采用BILSTM更好地記憶上下文信息，之后結(jié)合兩種互補的情感分類方法提取的特征，通過對比在兩種數(shù)據(jù)集上的實驗結(jié)果，這種特征融合的方法對提升文本分類的準確率起到了很大作用。之后王麗亞[27]等人提出了 CNN-BILSTMAttention網(wǎng)絡(luò)結(jié)構(gòu)用于處理情感極性分析任務(wù)，也就是在深層網(wǎng)絡(luò)的最后加入注意力機制。CNN的優(yōu)點在于處理局部特征提取任務(wù)時，對詞向量表征的學習性能和提取能力更強，而BILSTM更擅長于處理文本前后文相關(guān)信息的表征提取，最后為了進一步提升文本分類的效果，加入了注意力機制。通過實驗結(jié)果驗證，增加了attention層的模型在重要特征的提取方面表現(xiàn)更好，分類效果也更準確。

前不久Google開源的BERT——Bidirectional Encoder Representations from Transformers深度學習模型，在應(yīng)用于自然語言處理領(lǐng)域若干問題上的表現(xiàn)，普遍刷新了最好記錄，從而成為NLP領(lǐng)域的研究主流。楊晨[28]等人在BERT的基礎(chǔ)上，加入情感詞典改進了預(yù)訓練任務(wù)的效果，并且基于上下文詞的細粒度側(cè)重對文本偏向情感的特征學習，通過對多個流行數(shù)據(jù)集進行實驗對比，比傳統(tǒng)BERT模型取得了更先進的成果。史振杰[29]等人提出BERT和CNN相結(jié)合的網(wǎng)絡(luò)模型，句子語義的表達借助BERT模型得出文本向量，采用CNN對句子的局部特征進行抽取，實驗數(shù)據(jù)集選取有標簽的電商評論數(shù)據(jù)集，并取得了較好的性能?？爸救篬30]等人則是將BERT與雙向LSTM相結(jié)合，克服了傳統(tǒng)語言模型不能很好的利用詞向量表達詞語的多義性的缺點，基于微博文本數(shù)據(jù)上的情感傾向性對比實驗得到了91.45%的F1值，優(yōu)于主流的情感分析模型。

2 結(jié)論

現(xiàn)如今社交網(wǎng)絡(luò)平臺十分發(fā)達，社交媒體上有海量用戶發(fā)布信息數(shù)據(jù)，為網(wǎng)民社交輿情情感分析提供了大量數(shù)據(jù)基礎(chǔ)，通過對數(shù)據(jù)的篩選、分類、標準化等方法之后，提煉出信息中所包含的輿情情感，對這些情感進行分類標記，從而實現(xiàn)對網(wǎng)絡(luò)中輿情的產(chǎn)生、傳播、發(fā)展的監(jiān)控，可以有效的了解民眾對于企業(yè)產(chǎn)品的使用體驗和企業(yè)品牌的情緒，對于企業(yè)個性化營銷和公司品牌推廣有著指導性的意見。同時，對網(wǎng)絡(luò)信息中所包含的網(wǎng)民情緒的提取和分析，能夠及時有效的獲取到網(wǎng)民對于當前政策法規(guī)的滿意度，幫助政府深度挖掘公民對于政府的輿情情感，為政府制定相關(guān)政策、出臺相關(guān)法規(guī)、提供公民輿情情感的參考和建議具有十分重要的意義，未來在企業(yè)個性化營銷、企業(yè)品牌推廣等方面也將具有廣闊的應(yīng)用前景。