• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于兩種LSTM結(jié)構(gòu)的文本情感分析

      2018-02-05 09:16:50張玉環(huán)
      軟件 2018年1期
      關(guān)鍵詞:正確率梯度網(wǎng)格

      張玉環(huán),錢 江

      (1. 北京郵電大學(xué)理學(xué)院,北京 100876;2. 北京郵電大學(xué)理學(xué)院,北京 100876)

      0 引言

      隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,越來(lái)越多的用戶開始在網(wǎng)上發(fā)表自己的意見,這些意見包括了公民對(duì)公共事件的看法以及顧客對(duì)商品的評(píng)論等等。而制造商為了提高產(chǎn)品質(zhì)量,改善營(yíng)銷策略,就必須充分了解用戶對(duì)商品和相關(guān)服務(wù)的意見。同時(shí)在如今的電商時(shí)代,越來(lái)越多的人選擇在網(wǎng)上購(gòu)物,但是消費(fèi)者無(wú)法像在實(shí)體店一樣見到真實(shí)的商品,檢查商品的質(zhì)量,所以對(duì)制造商和消費(fèi)者來(lái)說(shuō),商品的評(píng)論數(shù)據(jù)都是很重要的[1]。這些評(píng)論往往表達(dá)了作者或正向(褒)、或負(fù)向(貶)、或中立的觀點(diǎn)[2]。但是,同一商品的評(píng)論往往有很多,這使得用戶和商家無(wú)法迅速掌握有用的信息,而傳統(tǒng)的問卷調(diào)查顯然不能滿足市場(chǎng)競(jìng)爭(zhēng)的需要,因此針對(duì)文本的情感傾向性分析[3]就有著重要的研究意義。文本的情感傾向性分析,即針對(duì)每一條文本,實(shí)現(xiàn)正向、中性、負(fù)向的三分類,識(shí)別其情感傾向[2]。文本分類[4]常用的方法有:決策樹、樸素貝葉斯、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等等[5]。而關(guān)于文本的情感傾向性分類,本文采用了與神經(jīng)網(wǎng)絡(luò)相關(guān)的算法。

      1 相關(guān)研究

      傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)又被稱為前饋神經(jīng)網(wǎng)絡(luò)(Feed Forward Neural Networks,F(xiàn)NN)[6,7],包含輸入層、隱藏層和輸出層,層與層之間是全連接的,隱藏層之間的節(jié)點(diǎn)是無(wú)連接的。這種模型在處理序列數(shù)據(jù)時(shí)只能利用當(dāng)前時(shí)刻的信息,無(wú)法利用歷史信息[6]。

      Elman[8]在 1990年提出了循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN),其隱藏層之間的節(jié)點(diǎn)也是有連接的,所以隱藏層的輸入不僅包括當(dāng)前時(shí)刻輸入層的輸入還包括上一時(shí)刻隱藏層的輸出。理論上,RNN能夠?qū)θ魏伍L(zhǎng)度的序列數(shù)據(jù)進(jìn)行處理。但是在實(shí)踐中,當(dāng)相關(guān)信息和當(dāng)前預(yù)測(cè)位置之間的間隔不斷增大時(shí),比如“雖然……但是……”,我們要預(yù)測(cè)后面的“但是”,最需要的信息是前面的“雖然”,可是由于間隔太遠(yuǎn),RNN就會(huì)喪失學(xué)習(xí)遠(yuǎn)距離信息的能力。這是因?yàn)镽NN使用BPTT[9]反向傳播算法對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化時(shí),會(huì)產(chǎn)生梯度消失和梯度爆炸問題[6,10,11]。

      1997年,Hochreiter & Schimidhuber[9]提出了長(zhǎng)短期記憶單元(Long Short-Term Memory,LSTM)用于改進(jìn)傳統(tǒng)的 RNN 模型。LSTM通過帶細(xì)胞的記憶單元來(lái)替代RNN隱藏層中的模塊,同時(shí)使用輸入門和輸出門來(lái)讓信息選擇式通過[6]。1999年,Gers等[12]在前面的基礎(chǔ)上又引入了遺忘門。這三個(gè)門和細(xì)胞狀態(tài)的設(shè)計(jì),使得LSTM[7,13]可以記憶、更新長(zhǎng)距離的信息,從而可以實(shí)現(xiàn)對(duì)長(zhǎng)距離信息的處理。

      2014年,Cho等[14]提出了LSTM的一種簡(jiǎn)化版本GRU(Gated Recurrent Unit)[13]。它只包含兩個(gè)門:更新門(update gate)和重置門(reset gate)[9],移除了輸出門及隱層細(xì)胞狀態(tài)。Chung 等[15]通過多組對(duì)比實(shí)驗(yàn)表明,GRU雖然參數(shù)更少,但是在多個(gè)任務(wù)上都和LSTM有相近的表現(xiàn)[6]。

      2 文本情感分析

      2.1 文本情感分析流程

      首先把一段中文文本進(jìn)行分詞,然后將其轉(zhuǎn)化成詞向量表示,最后將轉(zhuǎn)化成的向量表示傳入LSTM/GRU神經(jīng)網(wǎng)絡(luò),最后輸出的是這段文本的困惑度也即其概率值。

      具體的流程如下:

      Ⅰ訓(xùn)練過程:首先對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行人工情感標(biāo)注,分為正向情感樣本、中性情感樣本和負(fù)向情感樣本;然后分別對(duì)其進(jìn)行分詞和詞向量化;最后將轉(zhuǎn)化成的向量表示分別傳入LSTM/GRU神經(jīng)網(wǎng)絡(luò)。根據(jù)正、中、負(fù)三種情感樣本分別訓(xùn)練出覆蓋正向情感樣本的LSTM/GRU模型、覆蓋中性情感樣本的LSTM/GRU模型、覆蓋負(fù)向情感樣本的LSTM/GRU模型,簡(jiǎn)稱為正向情感模型、中性情感模型、負(fù)向情感模型。

      Ⅱ測(cè)試過程:首先同樣對(duì)測(cè)試數(shù)據(jù)進(jìn)行人工情感標(biāo)注,分為正向情感樣本、中性情感樣本和負(fù)向情感樣本;然后分別對(duì)其進(jìn)行分詞和詞向量化;不同的是最后將轉(zhuǎn)化成的向量表示分別傳入正向情感模型、中性情感模型、負(fù)向情感模型。通過每個(gè)模型,都會(huì)得到一個(gè)概率值,所以最后得到的是一個(gè)3*3的矩陣,對(duì)角線上的元素即是正向情感模型、中性情感模型、負(fù)向情感模型預(yù)測(cè)正確的概率。本文中,我們?nèi)∪叩钠骄鶖?shù)作為L(zhǎng)STM/GRU模型對(duì)文本情感分析的正確率。

      2.2 偽梯度下降法

      以往在模型的參數(shù)調(diào)整方面,主要采用的方法是網(wǎng)格取值和隨機(jī)取值,然而網(wǎng)格取值效率太低,隨機(jī)取值又有很大的不確定性,因此本文提出了一種偽梯度下降法,相較于網(wǎng)格取值,可以在較短的時(shí)間內(nèi)達(dá)到較好的正確率。步驟如下:

      下面來(lái)著重說(shuō)一下我的這幅《樂園》的具體創(chuàng)作過程,主要包括構(gòu)圖、色彩、線條、肌理效果、展出方式。這幅作品的尺寸為100cm*200cm,采用的是毛氈材料拼貼的方式。

      (1)隨機(jī)選擇3個(gè)初始點(diǎn) x0,x1,x2∈R3(點(diǎn)的每一維度表示一個(gè)參數(shù)),分別進(jìn)行訓(xùn)練過程和測(cè)試過程,得到LSTM/GRU模型對(duì)文本情感分析的正確率 y0, y1,y2∈R,比較三者的值,從最大值對(duì)應(yīng)的點(diǎn)出發(fā)。為方便表述,假設(shè) y0最大。

      (2)確定方向d,由于從正確率最高的點(diǎn) x0到其他兩點(diǎn) x1,x2都是正確率下降的方向,所以取正確?率上升的方向?yàn)椋?/p>

      (3)確定步長(zhǎng)α,步長(zhǎng)與正確率上升的程度成正比,正確率上升的越多,步長(zhǎng)越大。正確率上升程度的比值為 (y0- y1) :(y0- y2),對(duì)其取整,記為l1:l2,在進(jìn)一步進(jìn)行歸一化,則步長(zhǎng)公式為:

      (4)計(jì)算下一個(gè)點(diǎn) x3∈ R3的坐標(biāo),依據(jù)公式在進(jìn)行訓(xùn)練過程和測(cè)試過程,得到此時(shí)LSTM/GRU模型對(duì)文本情感分析的正確率y3∈R。

      (5)返回步1,此時(shí)選擇的3個(gè)點(diǎn)為上一次使用的 x0,新求出的 x3,以及剩下的 x1和 x2中正確率較高的點(diǎn)。然后依照上面的步驟繼續(xù)進(jìn)行,直到某個(gè)新求出的點(diǎn)的正確率與網(wǎng)格取值的最優(yōu)正確率相接近為止。

      3 實(shí)驗(yàn)結(jié)果

      3.1 數(shù)據(jù)集

      本文使用的數(shù)據(jù)集來(lái)源于京東的商品評(píng)論,共39000條,整理后,對(duì)評(píng)論數(shù)據(jù)進(jìn)行人工情感標(biāo)注,其中,正向情感樣本、中性情感樣本、負(fù)向情感樣本各有13000條,從正、中、負(fù)情感樣本中各隨機(jī)取出10000條作為訓(xùn)練數(shù)據(jù),剩下的3000條作為測(cè)試數(shù)據(jù)。

      3.2 LSTM、GRU結(jié)果分析

      在LSTM/GRU模型中,參數(shù)num_steps表示模型展開的步數(shù)(batch_size的取值與之相同),hidden_size表示隱藏層的規(guī)模,keep_prob表示在dropout層中保持權(quán)重的概率。LSTM實(shí)驗(yàn)結(jié)果見表1,GRU實(shí)驗(yàn)結(jié)果見表2。

      表1 LSTM實(shí)驗(yàn)結(jié)果Tab.1 LSTM experimental result

      表2 GRU實(shí)驗(yàn)結(jié)果Tab.2 GRU experimental result

      從實(shí)驗(yàn)結(jié)果可以看出:LSTM模型和 GRU模型在中文文本情感分析方面都有不錯(cuò)的結(jié)果,二者均可用于中文文本的情感多分類,并且在參數(shù)取值相同的情況下,GRU模型的正確率相對(duì) LSTM要好一些。

      3.3 偽梯度下降法結(jié)果分析

      對(duì)參數(shù) num_steps、batch_size、hidden_size、keep_prob進(jìn)行離散取值,其中 num_steps與batch_size取值相同,各參數(shù)取值見表3。

      每個(gè)參數(shù)有3種選擇,所以一共是3*3*3=27種可能,各種情況下LSTM、GRU模型的正確率見表4。

      根據(jù)以上結(jié)果可以得出:當(dāng)num_steps與batch_size取10,hidden_size取200,keep_prob取 0.7時(shí),LSTM模型達(dá)到最高的正確率,為 0.839;GRU模型此時(shí)也達(dá)到了最高的正確率,為0.847。

      表3 模型中的參數(shù)值Tab.3 Parameter values in the model

      3.3.2 偽梯度下降法

      為了保證參數(shù)的合理性,對(duì)每個(gè)參數(shù)都預(yù)設(shè)最小最大值:num_steps取 10-100,hidden_size取100-1000,keep_prob取 0.1-1。而且在利用偽梯度下降法求解新參數(shù)的過程中,如果前兩個(gè)參數(shù)出現(xiàn)不是整數(shù)的情況時(shí),則直接取整,并且一定不能出現(xiàn)負(fù)數(shù),keep_prob如果出現(xiàn)負(fù)數(shù),則直接取成0.1。

      表4 LSTM、GRU模型的正確率Tab.4 Accuracy of the LSTM、GRU model

      LSTM模型結(jié)果如下:

      Step1: 初始取 A(10,200,1),B(20,400,0.5),C(40,100,0.7)三點(diǎn),其正確率分別為 0.825,0.8288,0.7609,從正確率最高的點(diǎn)B出發(fā),求出下一個(gè)點(diǎn)D的坐標(biāo)為(2,695,0.3),根據(jù)參數(shù)范圍,取成(10,695,0.3),得到此時(shí)模型的正確率為0.815。

      Step2: 保留上一步中使用的B點(diǎn),以及剩下的A,C兩點(diǎn)中正確率較高的A點(diǎn),所以下一步選擇的三個(gè)點(diǎn)是A,B,D。從正確率最高的點(diǎn)B出發(fā),求出下一個(gè)點(diǎn)E的坐標(biāo)為(30,204,0.56),此時(shí)模型的正確率為0.8107。

      Step3: 保留上一步中使用的B點(diǎn),以及剩下的A,D兩點(diǎn)中正確率較高的A點(diǎn),所以下一步選擇的三個(gè)點(diǎn)是A,B,E。從正確率最高的點(diǎn)B出發(fā),求出下一個(gè)點(diǎn) F的坐標(biāo)為(13,597,0.4),此時(shí)模型的正確率為0.826。

      Step4: 保留上一步中使用的B點(diǎn),以及剩下的A,E兩點(diǎn)中正確率較高的A點(diǎn),所以下一步選擇的三個(gè)點(diǎn)是A,B,F(xiàn)。從正確率最高的點(diǎn)B出發(fā),求出下一個(gè)點(diǎn)G的坐標(biāo)為(29,402,0.3),此時(shí)模型的正確率為0.796。

      Step5: 保留上一步中使用的B點(diǎn),以及剩下的A,F(xiàn)兩點(diǎn)中正確率較高的F點(diǎn),所以下一步選擇的三個(gè)點(diǎn)是G,B,F(xiàn)。從正確率最高的點(diǎn)B出發(fā),求出下一個(gè)點(diǎn)H的坐標(biāo)為(12,383,0.7),此時(shí)模型的正確率為0.848。

      GRU模型結(jié)果如下:

      Step1: 初始取 A(10,200,1),B(20,400,0.5),C(40,100,0.7)三點(diǎn),其正確率分別為0.83,0.841,0.764,從正確率最高的點(diǎn)B出發(fā),求出下一個(gè)點(diǎn)D的坐標(biāo)為(10,688,0.3),得到此時(shí)模型的正確率為0.821。

      Step2: 保留上一步中使用的B點(diǎn),以及剩下的A,C兩點(diǎn)中正確率較高的A點(diǎn),所以下一步選擇的三個(gè)點(diǎn)是A,B,D。從正確率最高的點(diǎn)B出發(fā),求出下一個(gè)點(diǎn) E的坐標(biāo)為(30,275,0.5),此時(shí)模型的正確率為0.818。

      Step3: 保留上一步中使用的B點(diǎn),以及剩下的A,D兩點(diǎn)中正確率較高的A點(diǎn),所以下一步選擇的三個(gè)點(diǎn)是A,B,E。從正確率最高的點(diǎn)B出發(fā),求出下一個(gè)點(diǎn) F的坐標(biāo)為(17,550,0.3),此時(shí)模型的正確率為0.834。

      Step4: 保留上一步中使用的B點(diǎn),以及剩下的A,E兩點(diǎn)中正確率較高的A點(diǎn),所以下一步選擇的三個(gè)點(diǎn)是A,B,F(xiàn)。從正確率最高的點(diǎn)B出發(fā),求出下一個(gè)點(diǎn)G的坐標(biāo)為(28,483,0.2),此時(shí)模型的正確率為0.723。

      Step5:保留上一步中使用的 B點(diǎn),以及剩下的A,F(xiàn)兩點(diǎn)中正確率較高的F點(diǎn),所以下一步選擇的三個(gè)點(diǎn)是G,B,F(xiàn)。從正確率最高的點(diǎn)B出發(fā),求出下一個(gè)點(diǎn)H的坐標(biāo)為(13,313,0.8),此時(shí)模型的正確率為0.839。

      Step6: 保留上一步中使用的B點(diǎn),以及剩下的G,F(xiàn)兩點(diǎn)中正確率較高的F點(diǎn),所以下一步選擇的三個(gè)點(diǎn)是H,B,F(xiàn)。從正確率最高的點(diǎn)B出發(fā),求出下一個(gè)點(diǎn)I的坐標(biāo)為(24,297,0.6),此時(shí)模型的正確率為0.791。

      Step7: 保留上一步中使用的B點(diǎn),以及剩下的H,F(xiàn)兩點(diǎn)中正確率較高的 H點(diǎn),所以下一步選擇的三個(gè)點(diǎn)是I,B,H。從正確率最高的點(diǎn)B出發(fā),求出下一個(gè)點(diǎn) J的坐標(biāo)為(16,502,0.4),此時(shí)模型的正確率為0.734。

      Step8: 保留上一步中使用的B點(diǎn),以及剩下的H,I兩點(diǎn)中正確率較高的H點(diǎn),所以下一步選擇的三個(gè)點(diǎn)是J,B,H。從正確率最高的點(diǎn)B出發(fā),求出下一個(gè)點(diǎn)K的坐標(biāo)為(24,301,0.6),此時(shí)模型的正確率為0.847。

      由上述結(jié)果可以看出:使用偽梯度下降的方法后,選擇3個(gè)初始點(diǎn),LSTM模型只需5步就得到了 0.848的正確率,比網(wǎng)格取值的最優(yōu)結(jié)果更好;而GRU模型也只用了8步就得到了和網(wǎng)格取值同樣的最優(yōu)結(jié)果0.847。這說(shuō)明偽梯度下降的方法確實(shí)在參數(shù)調(diào)整方面有很大的應(yīng)用價(jià)值。

      4 總結(jié)

      本文通過LSTM、GRU模型實(shí)現(xiàn)了中文文本情感的三分類,得出了各種參數(shù)情況下模型的正確率;同時(shí)在調(diào)整參數(shù)方面提出的偽梯度下降法也有很好的效果。

      由于偽梯度下降法與初始點(diǎn)、方向、步長(zhǎng)的選擇有關(guān),所以可以在本文的基礎(chǔ)上進(jìn)一步探討它們之間的關(guān)系,從而得到一種更好的調(diào)參方法。

      [1] 魏晶晶, 吳曉吟. 電子商務(wù)產(chǎn)品評(píng)論多級(jí)情感分析的研究與實(shí)現(xiàn)[J]. 軟件, 2013, 34(9): 65-67.

      [2] 王坤亮. 漢語(yǔ)情感傾向自動(dòng)分類方法的研究[J]. 軟件,2013, 34(11): 73-76.

      [3] 姚天昉, 程希文, 徐飛玉, 等. 文本意見挖掘綜述[J]. 中文信息學(xué)報(bào), 2008, 22(3): 71-80.

      [4] 鄭世卓, 崔曉燕. 基于半監(jiān)督LDA的文本分類應(yīng)用研究[J].軟件, 2014, 35(1): 46-48.

      [5] 陳海紅. 多核SVM文本分類研究[J]. 軟件, 2015, 36(5):7-10.

      [6] 胡新辰. 基于LSTM的語(yǔ)義關(guān)系分類研究[D], 哈爾濱: 哈爾濱工業(yè)大學(xué), 2015.

      [7] Graves A. Supervised Sequence Labelling with Recurrent Neural Networks[M]. Berlin Heidelberg: Springer, 2012.

      [8] Elman J L. Finding structure in time[J]. Cognitive science,1990, 14(2): 179-211.

      [9] Hochreiter S, Schmidhuber J.Long Short-Term Memory[J].Neural Computation, 1997, 9(8): 1735-1780.

      [10] Hochreiter S. Untersuchungen zu dynamischen neuronalen Netzen[D]. Munchen: Technische Universitat, 1991.

      [11] Bengio Y, Simard P, Frasconi P. Learning long-term dependencies with gradient descent is difficult[J]. IEEE Transactions on Neural Networks, 2002, 5(2): 157-166.

      [12] Gers F A, Schmidhuber J, Cummins F. Learning to forget:Continual prediction with LSTM[J]. Neural computation,2000, 12(10): 2451-2471.

      [13] Zhou G B, Wu J, Zhang C L, et al. Minimal Gated Unit for Recurrent Neural Networks[J]. International Journal of Automation and Computing, 2016, 13(3): 226-234.

      [14] Cho K, Merrienboer B V, Gulcehre C, et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation[J]. arXiv preprint arXiv: 1406.1078,2014.

      [15] Chung J, Gulcehre C, Cho K H, et al. Empirical evaluation of gated recurrent neural networks on sequence modeling[J].arXiv preprint arXiv:1412.3555, 2014.

      猜你喜歡
      正確率梯度網(wǎng)格
      用全等三角形破解網(wǎng)格題
      一個(gè)改進(jìn)的WYL型三項(xiàng)共軛梯度法
      門診分診服務(wù)態(tài)度與正確率對(duì)護(hù)患關(guān)系的影響
      一種自適應(yīng)Dai-Liao共軛梯度法
      反射的橢圓隨機(jī)偏微分方程的網(wǎng)格逼近
      一類扭積形式的梯度近Ricci孤立子
      重疊網(wǎng)格裝配中的一種改進(jìn)ADT搜索方法
      生意
      品管圈活動(dòng)在提高介入手術(shù)安全核查正確率中的應(yīng)用
      生意
      浪卡子县| 洛隆县| 唐海县| 五华县| 方正县| 云浮市| 墨江| 会泽县| 彭水| 改则县| 靖远县| 廊坊市| 杨浦区| 乡城县| 策勒县| 边坝县| 文登市| 比如县| 楚雄市| 尼木县| 巴南区| 醴陵市| 加查县| 宾川县| 九龙县| 鹤壁市| 民县| 上高县| 崇明县| 丹棱县| 清流县| 曲周县| 防城港市| 惠州市| 潮州市| 济宁市| 博爱县| 登封市| 五大连池市| 阿荣旗| 长沙市|