基于深度學(xué)習(xí)的突發(fā)公共事件網(wǎng)絡(luò)輿情情感識(shí)別研究

袁瓊芳

關(guān)鍵詞：突發(fā)公共事件；深度學(xué)習(xí)；情感識(shí)別

0 引言

隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)民越來越傾向借助網(wǎng)絡(luò)將自己對(duì)于突發(fā)公共事件觀點(diǎn)發(fā)在微博、抖音、論壇等網(wǎng)絡(luò)平臺(tái)。針對(duì)突發(fā)公共事件中網(wǎng)民發(fā)布的大量情感文本，如何快速進(jìn)行網(wǎng)絡(luò)輿情的文本情感識(shí)別，通過情感識(shí)別結(jié)果及時(shí)了解網(wǎng)民對(duì)突發(fā)公共事件的真實(shí)看法，引導(dǎo)突發(fā)公共事件網(wǎng)絡(luò)輿情良好發(fā)展是迫切且重要的。

目前網(wǎng)絡(luò)輿情情感識(shí)別主要有三種方法，即情感詞典、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)。情感詞典的識(shí)別很少考慮語(yǔ)境和語(yǔ)法的相關(guān)規(guī)則，機(jī)器學(xué)習(xí)計(jì)算過程煩瑣，在處理海量輿情文本時(shí)訓(xùn)練效率低，深度學(xué)習(xí)近年來在國(guó)內(nèi)輿情情感識(shí)別領(lǐng)域發(fā)展迅速。吳鵬等人[1]對(duì)突發(fā)事件網(wǎng)絡(luò)輿情的微博文本構(gòu)建了卷積神經(jīng)網(wǎng)絡(luò)CNN情感識(shí)別模型。張海濤等人[2]爬蟲獲取微博相關(guān)話題數(shù)據(jù)，驗(yàn)證了深度學(xué)習(xí)相較于傳統(tǒng)機(jī)器學(xué)習(xí)在情感識(shí)別上的優(yōu)越性。黃萍等人[3]通過CNN模型對(duì)高校熱點(diǎn)輿情事件數(shù)據(jù)進(jìn)行了情感分類，并對(duì)比了傳統(tǒng)SVM分類效果得到有效提升。劉智鵬等人[4]融合CNN與RNN模型，實(shí)現(xiàn)對(duì)商品的評(píng)價(jià)分類，對(duì)客戶的情感識(shí)別有較好識(shí)別。蔡慶平等人[5]基于Word2vec和卷積神經(jīng)網(wǎng)絡(luò)模型創(chuàng)建客戶情感分析模型，合理分析消費(fèi)者對(duì)產(chǎn)品評(píng)價(jià)的情感滿意程度。

深度學(xué)習(xí)是目前最先進(jìn)的文本情感識(shí)別方法，比傳統(tǒng)方法速度快、準(zhǔn)確率高、自主性強(qiáng)，可以實(shí)現(xiàn)高效的輿情情感識(shí)別檢測(cè)。本文基于深度學(xué)習(xí)相關(guān)原理來構(gòu)建突發(fā)公共事件網(wǎng)絡(luò)輿情的情感識(shí)別模型。

1 基于深度學(xué)習(xí)的突發(fā)公共事件網(wǎng)絡(luò)輿情情感識(shí)別模型構(gòu)建

從新浪微博上爬取相關(guān)的突發(fā)公共事件網(wǎng)絡(luò)輿情數(shù)據(jù)，形成突發(fā)公共事件輿情案例數(shù)據(jù)庫(kù)，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理后，采用OCC情感標(biāo)注，運(yùn)用CNN模型對(duì)數(shù)據(jù)進(jìn)行卷積和池化操作后實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)輿情的情感分類，研究思路如圖1。

1.1 網(wǎng)絡(luò)輿情情感規(guī)則

由于產(chǎn)生情緒是認(rèn)知評(píng)價(jià)環(huán)節(jié)的結(jié)果，為此將情緒產(chǎn)生過程分解為：

一是分類。實(shí)施評(píng)價(jià)的過程分為三種情況：當(dāng)僅僅注重事件對(duì)象，最重要的是態(tài)度；當(dāng)僅僅關(guān)注事件對(duì)象行為，最重要的是準(zhǔn)則；當(dāng)僅僅注重事件結(jié)果，最重要的是目標(biāo)。

二是量化。人們接收信息強(qiáng)度大小對(duì)于情感造成影響而予以改變。

三是映射。情緒認(rèn)知模型存在22種合成情感，很多研究則是在相應(yīng)維度映射這些情感，比如正負(fù)面。

四是表達(dá)。表達(dá)信息接收之后導(dǎo)致的情感，常見的是通過文字、肢體語(yǔ)言、面部表情等。

通過探討突發(fā)公共事件選取對(duì)象行為與事件結(jié)果兩個(gè)層面，根據(jù)突發(fā)公共事件演變所發(fā)生的結(jié)果與網(wǎng)民預(yù)期結(jié)果是否相符，判斷突發(fā)公共事件中微博輿情文本情感極性，具體模型如圖2。

情緒認(rèn)知模型簡(jiǎn)化情感規(guī)則為：

Consequences（ti，e） 是第i 條微博對(duì)應(yīng)事件e，定義Goals（e） 是網(wǎng)民對(duì)于突發(fā)公共事件e 結(jié)果的期望程度，如公式（1）所示：

Des（ti，e） =Consequences（ti，e） -Goals（e） （1）

公式（2）體現(xiàn)的是現(xiàn)階段微博當(dāng)中的人物行為與網(wǎng)民行為準(zhǔn)則相符程度，Actions（ti，a） 體現(xiàn)的是現(xiàn)階段第i 條微博當(dāng)中任務(wù)行為a，Standards（e） 體現(xiàn)的是任務(wù)行為與網(wǎng)民行為準(zhǔn)則是否相符激活閾值，如果計(jì)算出的數(shù)值小于零，那么體現(xiàn)的是現(xiàn)階段微博中任務(wù)做出的相應(yīng)行為與網(wǎng)民行為準(zhǔn)則不相符。

Wor（ti，a） =Actions（ti，a） -Standards（e） （2）

通過以上的兩個(gè)公式彰顯的是事件演變所獲得的結(jié)果與網(wǎng)民期望目標(biāo)是否相符以及事件當(dāng)中的對(duì)象行為與網(wǎng)民行為準(zhǔn)則是否相符，衍生出產(chǎn)生的情感極性為：

Emotions（ti，e，a） = f（des（ti，e） ，Wor（ti，a）） （3）

從以上公式所體現(xiàn)出來的是微博i 情感狀態(tài)，在這一公式當(dāng)中，1體現(xiàn)出來的是正面情緒，相應(yīng)的0所體現(xiàn)出來的是負(fù)面情緒，f（des（ti，e） ，Wor（ti，a）） 體現(xiàn)的是Des（ti，e） 以及Wor（ti，a） 都比零數(shù)值要大，返回1；如果Des（ti，e） 以及Wor（ti，a） 都比零數(shù)值要小，返回0。

1.2 輸入處理

本文在研究過程選取Word Embedding的詞向量表示方法，在低維空間分布式映射詞中，這一低維空間當(dāng)中的詞向量相互之間所存在的位置關(guān)系能夠行之有效地將其處于語(yǔ)義層面上存在的聯(lián)系反映出來。

假定數(shù)據(jù)集中K條微博文本，針對(duì)每條微博的xi∈Rn體現(xiàn)出來的是微博文本的第i 個(gè)詞相對(duì)應(yīng)的n 維向量。卷積神經(jīng)網(wǎng)絡(luò)相對(duì)應(yīng)的輸入體現(xiàn)的就是k×n 的數(shù)據(jù)矩陣，可以列出以下公式：

1.3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分析

通過立足于自然語(yǔ)言文本所具備的相關(guān)特性，在借鑒相關(guān)學(xué)者對(duì)于模型設(shè)計(jì)的思路基礎(chǔ)上，設(shè)計(jì)出本文相應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖，如圖3。依托一層的卷積層與池化層使用后作用的發(fā)揮，在其中第二行、第三行、第四行三種不同大小濾波器組成進(jìn)行文本的局部特征圖提取，基于此，借助于max-pooling層實(shí)施降維操作，并且最大值池化全部的特征圖，隨后依托全連接層將全部的pooling層進(jìn)行連接，最后依托soft?max函數(shù)將全部特征向情感類別進(jìn)行映射。

由于微博處于卷積層中，往往采取二維矩陣的形式向CNN進(jìn)行輸入，實(shí)施卷積后所獲得的結(jié)果，可以通過以下公式進(jìn)行顯示：

在以上的公式中，?所體現(xiàn)的是卷積運(yùn)算提取特征，i：i+m-1是從第i 個(gè)一直延續(xù)到i+m-1個(gè)詞向量實(shí)施相應(yīng)的卷積運(yùn)算，ci是第i 個(gè)一直延續(xù)到i+m-1個(gè)詞向量實(shí)施相應(yīng)的卷積運(yùn)算獲得的特征圖，W是濾波器，B是偏置矩陣。將f 定義為激活函數(shù)，為實(shí)現(xiàn)加快訓(xùn)練收斂速度，將relu函數(shù)當(dāng)成激活函數(shù)，通過以下公式進(jìn)行顯示：

本文在研究過程中，采取的做法是通過設(shè)計(jì)2、3、4分別乘以100的濾波器結(jié)構(gòu)，從而實(shí)施卷積突發(fā)公共事件網(wǎng)絡(luò)輿情微博文本操作，除此之外，還設(shè)置所有的濾波器分別提取100張?zhí)卣鲌D譜。

在研究過程中采取實(shí)施卷積操作之后，受到卷積核存在著比較小滑動(dòng)窗口的影響，會(huì)面臨出現(xiàn)特別大的特征圖現(xiàn)象，依托池化能夠確保在一定程度上的扭曲、縮放、平移等不變形，要想做到讓參數(shù)從數(shù)量層面上的顯著減少，針對(duì)卷積操作之后所獲得的300張?zhí)卣鲌D譜實(shí)施maxpooling池化操作，如公式（7） 所示。基于此，通過全連接層作用的發(fā)揮，將全部池化完畢的特征圖譜予以充分了解，具體可以通過公式（8） 進(jìn)行顯示。

為實(shí)現(xiàn)預(yù)防出現(xiàn)模型過擬合現(xiàn)象，本文在研究過程實(shí)施相應(yīng)的Dropout策略，不管哪次實(shí)施迭代都會(huì)進(jìn)行網(wǎng)絡(luò)參數(shù)的隨機(jī)更新。在最后的輸出層，按照以下的公式能夠進(jìn)行預(yù)測(cè)情感類別y 的計(jì)算：

公式（9） 中，（zor） 代表Dropout結(jié)果，w 代表L2范數(shù)正則約束之后的權(quán)重，b 代表L2范數(shù)正則約束之后的偏置。

2 實(shí)證分析

2.1 試驗(yàn)?zāi)康?/p>

一是搭建基于深度學(xué)習(xí)的突發(fā)公共事件網(wǎng)絡(luò)輿情情感識(shí)別模型；二是對(duì)于模型的深度學(xué)習(xí)優(yōu)異性予以驗(yàn)證。

2.2 試驗(yàn)環(huán)境

本文開展基于深度學(xué)習(xí)的突發(fā)公共事件網(wǎng)絡(luò)輿情情感識(shí)別，全部試驗(yàn)完成都是在服務(wù)區(qū)的虛擬機(jī)上實(shí)施，具體來說，主要是以下虛擬機(jī)環(huán)境：

Intel Xecon E5-2630的CPU;

Python2.7的編程語(yǔ)言；

Jieba 0.32的分詞工具；

TensorFlow 1.2的深度學(xué)習(xí)框架；

Ubuntu14.04的操作系統(tǒng)；

64GB的內(nèi)存；

Pycharm 5.0的編程工具；

Doc2Vec的Word embedding訓(xùn)練工具。

2.3 試驗(yàn)數(shù)據(jù)

選取微博平臺(tái)作為采集平臺(tái)，確定突發(fā)公共事件相關(guān)的關(guān)鍵詞和時(shí)間范圍，通過大數(shù)據(jù)爬蟲工具爬取相關(guān)微博輿情信息。數(shù)據(jù)采集后，將自然標(biāo)注以及相應(yīng)的情緒認(rèn)知模型情感規(guī)則理論當(dāng)成依據(jù)，相繼實(shí)施情感標(biāo)注數(shù)據(jù)集，將數(shù)據(jù)分成訓(xùn)練集、測(cè)試集。

2.4 試驗(yàn)變量

模型變量包括體現(xiàn)維度的詞向量、dropout以及L2范數(shù)等向量。

2.5 試驗(yàn)基本內(nèi)容設(shè)計(jì)相關(guān)主要研究

一是進(jìn)行情感標(biāo)注相關(guān)的網(wǎng)絡(luò)輿情文本操作。本文在具體的研究過程中，采取的做法是針對(duì)相應(yīng)的爬蟲數(shù)據(jù)實(shí)施過濾清洗操作，按照情感規(guī)則體系進(jìn)行情感分類標(biāo)注。

二是表示網(wǎng)絡(luò)輿情文本。在本文實(shí)施的是jieba分詞來做好分詞處理以及去掉停用詞。本文嘗試選取DocVec 方法將所有的微博向相關(guān)的句子變量轉(zhuǎn)換，DocVec 方法的使用，增加了一個(gè)段落向量，與Word2Vec相同。隨后通過把所有的微博當(dāng)成行，借助于genism中的DocVec方法的調(diào)用，從而能夠把所有的微博文本轉(zhuǎn)變成為向量。本文在開展相應(yīng)的訓(xùn)練過程中，實(shí)施借助Skip-gram 對(duì)詞向量訓(xùn)練以及Distributed Bag of Word 對(duì)文檔向量訓(xùn)練。Skip-gram是通過選取人工神經(jīng)網(wǎng)絡(luò)當(dāng)成分類算法進(jìn)行合理應(yīng)用，按照現(xiàn)階段詞語(yǔ)來進(jìn)行上下文概率的預(yù)測(cè)，具體可以通過圖4進(jìn)行顯示。

三是深度神經(jīng)網(wǎng)絡(luò)模型構(gòu)建。本文選取Phthon語(yǔ)言以及谷歌開發(fā)出來的開源人工智能系統(tǒng)tensor?flow作用的發(fā)揮來構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型，隨后借助交叉熵?fù)p失函數(shù)和mini-batch梯度下降方法訓(xùn)練模型。在這里需要注意的是，本文通過對(duì)相關(guān)超參數(shù)進(jìn)行初始化操作，隨后設(shè)置；濾波器滑動(dòng)窗口成3、4、5；不管哪種濾波器都生成100張?zhí)卣鲌D，mini-batch大小則是50，除此之外，確定0.01的學(xué)習(xí)率。

四是超參數(shù)調(diào)節(jié)卷積神經(jīng)網(wǎng)絡(luò)模型。要想實(shí)現(xiàn)對(duì)于網(wǎng)絡(luò)輿情情感識(shí)別模型相關(guān)性能的進(jìn)一步提升，本文采取的做法就是予以調(diào)節(jié)初始超參數(shù)，比如通過詞向量體現(xiàn)維度、dropout以及L2范數(shù)等向量。

五是探討深度學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)模型在突發(fā)公共事件網(wǎng)絡(luò)輿情識(shí)別中的差異。選取傳統(tǒng)機(jī)器學(xué)習(xí)中的支持向量機(jī)模型進(jìn)行對(duì)比，通過LIBSVM工具包實(shí)現(xiàn)SVM分類算法，進(jìn)行訓(xùn)練相同訓(xùn)練集，對(duì)比支持向量機(jī)模型訓(xùn)練所獲得的結(jié)果和卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的相關(guān)結(jié)果，如圖5所示。

通過對(duì)SVM中的核函數(shù)類型進(jìn)行分析，核函數(shù)能夠?qū)VM分類器性能產(chǎn)生影響，其中使用最多的核函數(shù)為Radius Basis Function、Sigmoid 以及多項(xiàng)式核函數(shù)，在這些核函數(shù)當(dāng)中，應(yīng)用程度最高的是Radius Ba?sis Function，為此，本文在研究過程中選取這一核函數(shù)。與此同時(shí)，要想實(shí)現(xiàn)解除特征構(gòu)建方式導(dǎo)致的試驗(yàn)效果，SVM模型特征同樣也能夠?qū)嵤﹚ord embed?ding把所有微博輿情信息通過doc2vec構(gòu)建多維向量當(dāng)成SVM多維特征。

六是對(duì)比分析情感識(shí)別模型是否存在相應(yīng)的規(guī)則。為促成對(duì)突發(fā)公共事件網(wǎng)絡(luò)輿情構(gòu)建科學(xué)情感規(guī)則，本文嘗試將訓(xùn)練集成為兩個(gè)類型：第一個(gè)類型是通過情緒認(rèn)知模型情感規(guī)則予以進(jìn)行標(biāo)注訓(xùn)練集；第二個(gè)類型則是沒有通過情緒認(rèn)知模型情感規(guī)則予以進(jìn)行標(biāo)注訓(xùn)練集，研究過程中采用人工方式進(jìn)行訓(xùn)練集的標(biāo)注，通過深度神經(jīng)網(wǎng)絡(luò)分類模型訓(xùn)練兩個(gè)類型訓(xùn)練集之后對(duì)比兩種結(jié)果。

3 總結(jié)

互聯(lián)網(wǎng)背景下對(duì)突發(fā)公共事件的網(wǎng)絡(luò)輿情的情感識(shí)別具有重要意義，本文通過深度學(xué)習(xí)相關(guān)理念來進(jìn)行突發(fā)公共事件網(wǎng)絡(luò)輿情情感識(shí)別。本文基于情緒認(rèn)知模型，首先建立情感規(guī)則框架體系，實(shí)現(xiàn)情感標(biāo)注突發(fā)公共事件網(wǎng)絡(luò)輿情相關(guān)數(shù)據(jù)，通過新浪微博爬取相關(guān)突發(fā)公共事件的輿情數(shù)據(jù)后，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，借助于Doc2vec形成訓(xùn)練集，將其作為輸入層訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，并且做好相關(guān)的準(zhǔn)確率驗(yàn)證工作。具體的結(jié)果為：

一是調(diào)試卷積神經(jīng)網(wǎng)絡(luò)模型算法參數(shù)過程中，濾波器窗口位于1～4時(shí)能取得最好的分類效果；控制詞向量維度較好的是200～300，不但能夠?qū)⑤浨槲谋拘畔⑻卣髯畲笙薅鹊乇憩F(xiàn)出來，而且還不會(huì)出現(xiàn)過擬合；從正則化約束領(lǐng)域來看，最佳輿情情感識(shí)別性能應(yīng)選取dropout為0.3，L2范數(shù)值則是0.4或者0.5。

二是依托情緒認(rèn)知模型相應(yīng)的情感規(guī)則標(biāo)注數(shù)據(jù)集能夠獲得相對(duì)比較好的分類效果。

三是基于卷積神經(jīng)網(wǎng)絡(luò)模型創(chuàng)建的突發(fā)公共網(wǎng)絡(luò)輿情情感識(shí)別分類效果高于傳統(tǒng)機(jī)器學(xué)習(xí)，情感辨別的正確率更高。