崔昕陽(yáng) 龍 華 熊 新 邵玉斌 杜慶治

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院， 昆明 650000)

引 言

隨著近年來網(wǎng)絡(luò)信息技術(shù)的不斷發(fā)展，大量的電子文檔通過如網(wǎng)頁(yè)、社交網(wǎng)絡(luò)、電子郵件和數(shù)字圖書館等新興應(yīng)用展示在人們面前。在處理如此大量信息的過程中，文本分類已經(jīng)成為挖掘和分類文本文檔的關(guān)鍵技術(shù)。文本分類目前已經(jīng)在許多領(lǐng)域得到了成功的應(yīng)用與發(fā)展，其中最重要的一個(gè)領(lǐng)域便是文本情感分類[1]。文本情感分類是情感分析的重要分支之一，也稱為意見或觀點(diǎn)挖掘，具有巨大的社會(huì)和商業(yè)價(jià)值，可應(yīng)用于輿情分析[2]，使政府了解人們對(duì)某一社會(huì)事件的情感趨勢(shì)，也可用于電商的產(chǎn)品評(píng)論[3]，分析顧客對(duì)某一產(chǎn)品的情感態(tài)度(如積極或消極)，使廠商獲得即時(shí)的反饋以便進(jìn)行產(chǎn)品改良和生產(chǎn)量的調(diào)整。

早期的文本情感分類方法主要通過構(gòu)建情感詞典，依據(jù)詞語(yǔ)的情感程度給予不同的分值，最終得到某一文本或句子的情感傾向即為所包含情感詞的分值的加權(quán)求和。但這種方法不僅需要人工構(gòu)建大型的情感詞典庫(kù)，也沒有考慮到文本中的語(yǔ)義信息。之后的基于機(jī)器學(xué)習(xí)的文本情感分類方法也取得了一定的效果，如樸素貝葉斯和支持向量機(jī)等算法[4]。但傳統(tǒng)的機(jī)器學(xué)習(xí)方法通常采用詞袋模型進(jìn)行文本表示，忽視了詞語(yǔ)的位置信息和詞之間的關(guān)聯(lián)信息，且存在文本向量稀疏、維度過高和需要進(jìn)行特征選擇等問題。近年來，許多學(xué)者采用深度學(xué)習(xí)方法進(jìn)行情感分類研究，并取得了較好的效果[5]。神經(jīng)網(wǎng)絡(luò)模型主要包括卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)兩大類，其中RNN主要是指長(zhǎng)短時(shí)記憶(long short-term memory，LSTM)網(wǎng)絡(luò)和門控循環(huán)單元(gated recurrent unit, GRU)網(wǎng)絡(luò)。對(duì)于基于深度學(xué)習(xí)的文本情感分類研究，對(duì)詞語(yǔ)進(jìn)行低維、非稀疏的向量學(xué)習(xí)表示是極為關(guān)鍵的步驟[6]，這個(gè)過程也稱詞嵌入。詞向量是指詞語(yǔ)經(jīng)過詞嵌入過程得到的低維稠密的向量，其可以有效表征詞語(yǔ)的語(yǔ)義信息[7]，在自然語(yǔ)言處理領(lǐng)域中被廣泛應(yīng)用，而當(dāng)前使用最為廣泛的詞向量生成工具是Word2vec。

目前通常使用預(yù)訓(xùn)練的詞向量表示文本，從而作為神經(jīng)網(wǎng)絡(luò)的輸入來對(duì)文本進(jìn)行情感分類。預(yù)訓(xùn)練的詞向量一般采用Word2vec工具依據(jù)原語(yǔ)料或通用語(yǔ)料訓(xùn)練生成，其中原語(yǔ)料為所要研究的情感分類數(shù)據(jù)集，而通用語(yǔ)料則是由人工整理所得的大型文本數(shù)據(jù)集，如維基百科、新浪新聞等數(shù)據(jù)集。由于原語(yǔ)料與通用語(yǔ)料相比數(shù)據(jù)量較小[8]，網(wǎng)絡(luò)往往不能得到充足訓(xùn)練，而導(dǎo)致生成的詞向量語(yǔ)義表征能力較差以及模型泛化能力較差[9]。而由通用語(yǔ)料預(yù)訓(xùn)練生成的詞向量語(yǔ)義表征能力較強(qiáng)，但是存在未登錄詞問題，即原語(yǔ)料中的某些詞語(yǔ)不存在與之對(duì)應(yīng)的詞向量。關(guān)于未登錄詞的解決方法，目前主要采用詞向量隨機(jī)初始化或補(bǔ)零來對(duì)未登錄詞進(jìn)行表示[9-10]。然而上述解決方法在對(duì)文本表示過程中都存在信息量丟失的問題，即不能完全表示文本原有語(yǔ)義信息，從而影響最終的分類效果。因此，本文提出一種并行雙向GRU模型，充分利用兩種詞向量進(jìn)行文本表示以解決原文本信息丟失問題，通過上下兩個(gè)通道來學(xué)習(xí)文本中詞語(yǔ)的上下文信息并結(jié)合自注意力機(jī)制進(jìn)行情感分類，并通過實(shí)驗(yàn)驗(yàn)證了該模型的分類性能。

1 文本情感分類與Word2vec

1.1 文本情感分類

文本情感分類是指通過計(jì)算機(jī)技術(shù)挖掘文本所表達(dá)的情感傾向[11]。當(dāng)前采用深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)進(jìn)行文本情感分類研究已經(jīng)成為主流，其優(yōu)勢(shì)在于無需人工特征選擇，機(jī)器可自動(dòng)進(jìn)行特征提取[12]。深度學(xué)習(xí)技術(shù)早期主要應(yīng)用于圖像和音頻處理，而隨著詞向量的普遍使用，深度學(xué)習(xí)開始被廣泛應(yīng)用于自然語(yǔ)言處理領(lǐng)域。在基于深度學(xué)習(xí)的文本情感分類方法中，CNN的優(yōu)勢(shì)在于可以有效提取局部特征。而相較于CNN，RNN具有記憶單元，由于當(dāng)前時(shí)刻輸出不僅與當(dāng)前輸入有關(guān)，更與過去時(shí)刻有關(guān)，所以其更適用于處理時(shí)序數(shù)據(jù)。學(xué)者們針對(duì)如何將這兩種模型更好地應(yīng)用于文本分類進(jìn)行了大量的研究。Kim[13]使用預(yù)訓(xùn)練的詞向量對(duì)文本進(jìn)行表示，并嘗試通過不同尺寸卷積核的CNN來解決文本分類任務(wù)，在不同數(shù)據(jù)集上取得了良好的分類效果。Parwez等[14]提出一種利用兩種不同領(lǐng)域預(yù)訓(xùn)練的詞向量的雙通道CNN模型進(jìn)行文本情感分類，并探究了通道結(jié)合方式。Socher等[15]使用RNN進(jìn)行了電影評(píng)論情感分類研究。Nabil等[16]使用GRU進(jìn)行情感分類，在英文推文數(shù)據(jù)集上取得了一定效果。Jabreel等[17]使用雙向GRU來識(shí)別給定推文中特定目標(biāo)的情感極性。楊玉娟等[18]提出一種加權(quán)詞向量的LSTM模型，從而突出文本情感分類中關(guān)鍵詞的作用。Lai等[19]結(jié)合兩者優(yōu)點(diǎn)，首先采用雙向RNN學(xué)習(xí)詞語(yǔ)的上下信息，并通過最大池化層來捕捉全文最重要的信息，再進(jìn)行文本分類。注意力機(jī)制由于具有可以發(fā)現(xiàn)重要特征的特點(diǎn)，將該機(jī)制與神經(jīng)網(wǎng)絡(luò)模型相結(jié)合可更有效地進(jìn)行特征提取。Yin等[20]將注意力機(jī)制與CNN結(jié)合來對(duì)句子進(jìn)行建模，效果優(yōu)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型。Padi等[21]使用GRU并結(jié)合注意力機(jī)制用于文本語(yǔ)言的識(shí)別，取得一定效果。Zhou等[22]提出基于雙向LSTM和注意力機(jī)制的網(wǎng)絡(luò)模型來進(jìn)行關(guān)系分類。韓虎等[23]通過注意力機(jī)制來計(jì)算不同詞和句子的權(quán)重，獲取詞級(jí)和句子級(jí)的文本語(yǔ)義信息進(jìn)行文本情感分類，分類準(zhǔn)確率較其他模型有所提升。江偉等[9]采用注意力機(jī)制來學(xué)習(xí)文本中由不同詞構(gòu)成的短語(yǔ)權(quán)重，使得文本的語(yǔ)義表示學(xué)習(xí)更加準(zhǔn)確，在多個(gè)英文數(shù)據(jù)集上取得了當(dāng)前最好的文本分類效果。吳小華等[24]提出基于自注意力和雙向LSTM的文本情感分析模型，由于自注意力機(jī)制(self-attention)參數(shù)依賴較少，最終分類效果優(yōu)于其與注意力機(jī)制結(jié)合的方法。

當(dāng)下大部分研究均注重于通過調(diào)整模型結(jié)構(gòu)來更深層次挖掘文本語(yǔ)義信息，而忽視了不同詞向量對(duì)文本語(yǔ)義表達(dá)的影響。本文借鑒Parwez等[14]的研究思路，通過兩種詞向量對(duì)文本進(jìn)行表示。原語(yǔ)料生成的詞向量可解決未登陸詞問題，而通用語(yǔ)料生成的詞向量具有較強(qiáng)的表征和泛化能力，結(jié)合兩者優(yōu)點(diǎn)，使用雙向GRU來對(duì)兩者表示的文本進(jìn)行詞語(yǔ)上下文信息的學(xué)習(xí)，并結(jié)合自注意力機(jī)制學(xué)習(xí)詞語(yǔ)權(quán)重；隨后通過并行向量融合來充分保留原文信息，從而進(jìn)行情感分類。

1.2 Word2vec

Word2vec是目前最為廣泛使用的詞嵌入工具，它使用跳詞模型(skip-gram model)或連續(xù)詞袋模型(continuous bag-of-words model)來生成詞向量[7]。對(duì)于一個(gè)中心詞，跳詞模型的目的是預(yù)測(cè)其上下文詞語(yǔ)。在數(shù)學(xué)上，對(duì)于一個(gè)詞語(yǔ)序列{w1,…,wt,…,wT}，跳詞模型的目標(biāo)函數(shù)是優(yōu)化平均對(duì)數(shù)概率，如式(1)所示。

(1)

式中c代表固定的上下文窗口尺寸。

2 基于并行雙向GRU網(wǎng)絡(luò)與自注意力機(jī)制的網(wǎng)絡(luò)模型

本文所提出的網(wǎng)絡(luò)模型具體結(jié)構(gòu)如圖1所示。

首先利用原語(yǔ)料和通用語(yǔ)料訓(xùn)練生成兩種詞向量，分別經(jīng)過不同通道對(duì)同一文本進(jìn)行表示，然后通過并行的雙向GRU學(xué)習(xí)不同詞向量表示的文本的詞語(yǔ)上下文信息，再采用自注意力機(jī)制學(xué)習(xí)詞語(yǔ)權(quán)重也即找出關(guān)鍵詞進(jìn)行關(guān)鍵詞加權(quán)，然后通過向量融合對(duì)不同通道得到的文本加權(quán)向量表示進(jìn)行融合，最后經(jīng)過全連接層使用Softmax激活函數(shù)進(jìn)行情感判定。

2.1 詞嵌入層

通過詞嵌入層，即使用不同的詞嵌入模型將文本中的詞轉(zhuǎn)換成對(duì)應(yīng)的向量，捕捉文本的語(yǔ)義信息，形成文本的向量表示。設(shè)輸入的文本序列為T={wi,…,w|T|}，其中每個(gè)詞語(yǔ)w都來自于詞匯表V={w1,…,w|v|}。在詞嵌入矩陣W∈R|v|×d查找文本中每個(gè)詞對(duì)應(yīng)的向量表示x∈R1×d，其中d表示詞向量的維度，則此時(shí)文本序列T的向量表示為{xi,…,x|T|}∈R|T|×d。

與傳統(tǒng)模型不同，本文模型采用并行結(jié)構(gòu)，在詞嵌入層通過兩個(gè)獨(dú)立詞嵌入矩陣Wo、Wp分別表示同一文本序列T，如式(2)和(3)所示。

(2)

(3)

2.2 雙向門控循環(huán)單元層

Cho等[25]提出的GRU網(wǎng)絡(luò)是LSTM網(wǎng)絡(luò)的一種簡(jiǎn)化變體。GRU僅由重置門和更新門組成，從而調(diào)控信息的流動(dòng)，并沒有單獨(dú)的記憶單元。GRU和LSTM的性能相近，且GRU網(wǎng)絡(luò)參數(shù)更少，可在一定程度上降低過擬合的風(fēng)險(xiǎn)[26]，因此本文選用GRU網(wǎng)絡(luò)。GRU的基本結(jié)構(gòu)如圖2所示。

圖2所示的標(biāo)準(zhǔn)GRU網(wǎng)絡(luò)結(jié)構(gòu)由式(4)～(7)定義。

(4)

zt=σ(Wzxt+Uzht-1+bz)

(5)

rt=σ(Wrxt+Urht-1+br)

(6)

(7)

ht=[ht1,ht2]

(8)

2.3 注意力層

注意力機(jī)制在開始被應(yīng)用于自然語(yǔ)言處理領(lǐng)域，最早在機(jī)器翻譯任務(wù)中取得了不俗的效果。注意力機(jī)制的主要目的是找出隱藏狀態(tài)中較為重要的特征，即對(duì)RNN每一時(shí)刻的輸出的重要程度進(jìn)行判定，從而對(duì)每一時(shí)刻的輸出加權(quán)。本文采用自注意力機(jī)制對(duì)BiGRU中每一刻的隱藏狀態(tài)的權(quán)重進(jìn)行學(xué)習(xí)。自注意力的具體計(jì)算方法如式(9)、(10)所示。

(9)

(10)

(11)

2.4 向量融合層

不同于傳統(tǒng)的序列型網(wǎng)絡(luò)結(jié)構(gòu)，本文采用并行的雙通道結(jié)構(gòu)，對(duì)于同一輸入在上下兩通道使用兩種不同的詞向量表示。通過上下兩個(gè)通道的BiGRU和注意力層后可得到同等維度的加權(quán)輸出向量co和cg，在向量融合層對(duì)兩個(gè)向量并行融合，其中co和cg分別為對(duì)上下兩個(gè)通道的文本表示To和Tp進(jìn)行上下文信息學(xué)習(xí)和隱狀態(tài)權(quán)值計(jì)算后的最終加權(quán)向量表示。對(duì)于兩個(gè)通道的加權(quán)輸出向量，本文采用拼接(concatenate)和平均(average)兩種不同的運(yùn)算操作進(jìn)行向量融合，提出了兩種模型結(jié)構(gòu)，并就其情感分類效果進(jìn)行比較。

2.4.1SAT-BiGRU-CON結(jié)構(gòu)

模型SAT- BiGRU- CON采用concatenate運(yùn)算操作進(jìn)行向量融合，如式(12)所示。

v=co⊕cg

(12)

式中符號(hào)⊕表示向量的拼接操作即向量和，v為經(jīng)過向量融合層的最終文本向量表示，并作為全連接層的輸入向量。

2.4.2SAT-BiGRU-AVA結(jié)構(gòu)

模型SAT- BiGRU- AVA結(jié)構(gòu)與模型SAT- BiGRU- CON類似，其融合向量co和cg采用對(duì)應(yīng)元素相加取平均的計(jì)算方法，如式(13)所示。

(13)

同樣，此時(shí)的最終文本向量表示v將作為全連接層的輸入向量。

2.5 全連接層

模型最后一層為全連接層，輸入為特征融合層的輸出，該層的輸出為類別的概率分布。類別的概率分布通過Softmax激活函數(shù)計(jì)算得出，具體算法如式(14)所示。

(14)

式中wk和bk分別為權(quán)重和偏置向量，K為類別數(shù)，對(duì)于二分類問題，K=2。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)數(shù)據(jù)與環(huán)境

為驗(yàn)證模型有效性，選用兩個(gè)公共數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。數(shù)據(jù)集1是公共中文數(shù)據(jù)集[6]，該數(shù)據(jù)集由酒店評(píng)論文本構(gòu)成，共包含6 000條數(shù)據(jù)，分為正向和負(fù)向兩類各3 000條評(píng)論文本。數(shù)據(jù)集2為NLPCC2014任務(wù)2中文情感分類數(shù)據(jù)集[27]，由正、負(fù)向各5 000條網(wǎng)絡(luò)商品評(píng)論文本組成。兩個(gè)數(shù)據(jù)集的部分文本內(nèi)容如表1所示。本文在兩個(gè)數(shù)據(jù)集上均采用5折交叉驗(yàn)證進(jìn)行實(shí)驗(yàn)。

表1 數(shù)據(jù)集1和數(shù)據(jù)集2部分示例

全部實(shí)驗(yàn)均在Google Colaboratory上完成，其為谷歌開發(fā)的一款云計(jì)算平臺(tái)，主要用于機(jī)器學(xué)習(xí)的開發(fā)與研究。平臺(tái)操作系統(tǒng)為Ubuntu 18.04.2，內(nèi)存12 GB，GPU為Tesla K80。采用Python語(yǔ)言以及Keras框架實(shí)現(xiàn)本文所提模型，Python版本為3.6.8，Keras版本為2.2.4。

3.2 評(píng)價(jià)指標(biāo)

本文采用傳統(tǒng)的文本分類評(píng)價(jià)標(biāo)準(zhǔn)，包括查準(zhǔn)率P(precision)、查全率R(recall)、準(zhǔn)確率A(accuracy)和F1值[28]。

(15)

(16)

(17)

F1值為查準(zhǔn)率和查全率的調(diào)和均值，用于對(duì)查準(zhǔn)率和查全率進(jìn)行整體評(píng)價(jià)。

(18)

式中，TP為被正確判定為正向的文本個(gè)數(shù)，F(xiàn)P為被錯(cuò)誤判定為正向的文本個(gè)數(shù)，F(xiàn)N為被錯(cuò)誤判定為負(fù)向的文本個(gè)數(shù)，TN為被正確判定為負(fù)向的文本個(gè)數(shù)。

3.3 超參數(shù)設(shè)定

固定輸入文本的長(zhǎng)度，對(duì)于數(shù)據(jù)集1最大長(zhǎng)度設(shè)置為60，數(shù)據(jù)集2最大長(zhǎng)度為50。若文本長(zhǎng)度大于該值則進(jìn)行截?cái)?，小于該值則進(jìn)行補(bǔ)零。每個(gè)BiGRU的隱藏層節(jié)點(diǎn)數(shù)為128。為防止過擬合，Dropout設(shè)置為0.5。采用Adam優(yōu)化器進(jìn)行參數(shù)更新，初始學(xué)習(xí)率(learning rate)為0.001，批處理數(shù)量(batch size)為32。

3.4 實(shí)驗(yàn)預(yù)處理

3.4.1數(shù)據(jù)預(yù)處理

采用Jieba分詞工具分別對(duì)數(shù)據(jù)集1酒店評(píng)論文本和數(shù)據(jù)集2網(wǎng)絡(luò)評(píng)論文本進(jìn)行分詞，詞與詞之間用空格隔開，完成分詞的文本數(shù)據(jù)集作為詞向量的訓(xùn)練語(yǔ)料。

3.4.2原語(yǔ)料詞向量構(gòu)建

完成數(shù)據(jù)預(yù)處理后，分別對(duì)兩個(gè)數(shù)據(jù)集生成的訓(xùn)練語(yǔ)料使用Word2vec工具生成原語(yǔ)料的詞向量，從而構(gòu)建詞嵌入矩陣。本文選擇Word2vec中的skip- gram模型來預(yù)訓(xùn)練原語(yǔ)料生成詞向量，上下文窗口尺寸設(shè)置為5，采用負(fù)采樣算法進(jìn)行模型訓(xùn)練，剩余參數(shù)的設(shè)置為默認(rèn)值。Word2vec的具體參數(shù)值設(shè)置如表2所示。

表2 Word2vec具體參數(shù)設(shè)置

3.4.3通用語(yǔ)料詞向量

通用語(yǔ)料詞向量選擇則使用Chinese Word Vector中的中文維基百科預(yù)訓(xùn)練詞向量[8]，該預(yù)訓(xùn)練詞向量同樣采用skip- gram模型生成。

3.5 實(shí)驗(yàn)設(shè)計(jì)

將所提模型與多個(gè)模型進(jìn)行對(duì)比，參數(shù)設(shè)置與本文相同，均采用通用語(yǔ)料的預(yù)訓(xùn)練詞向量。對(duì)比模型主要包括以下幾種模型。

(1)GRU 采用標(biāo)準(zhǔn)的GRU網(wǎng)絡(luò)對(duì)文本進(jìn)行情感分類[16]。

(2)BiGRU 采用BiGRU網(wǎng)絡(luò)，同時(shí)從正向和逆向兩個(gè)方向?qū)υ~語(yǔ)進(jìn)行上下文學(xué)習(xí)，然后預(yù)測(cè)情感類別[17]。

(3)雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(bidirectional long short-term memory, BiLSTM)模型 采用BiLSTM網(wǎng)絡(luò)進(jìn)行情感類別判定，與BiGRU結(jié)構(gòu)類似。

(4)基于預(yù)訓(xùn)練詞向量的雙向門控循環(huán)單元與自注意力機(jī)制結(jié)合的網(wǎng)絡(luò)模型(SAT- BiGRU) 通過通用語(yǔ)料的預(yù)訓(xùn)練詞向量來表示文本，并采用BiGRU網(wǎng)絡(luò)進(jìn)行詞語(yǔ)上下文學(xué)習(xí)，結(jié)合自注意力機(jī)制對(duì)每一時(shí)刻狀態(tài)進(jìn)行學(xué)習(xí)，給予不同權(quán)重，最終得到文本的加權(quán)向量表示來進(jìn)行類別判定。

(5)基于原語(yǔ)料預(yù)訓(xùn)練詞向量的雙向門控循環(huán)單元與自注意力機(jī)制結(jié)合的網(wǎng)絡(luò)模型(SAT- BiGRU- ORG) 結(jié)構(gòu)與SAT- BiGRU相同，不同點(diǎn)在于使用原語(yǔ)料構(gòu)建的詞向量對(duì)文本進(jìn)行表示，作為BiGRU的輸入。

(6)SAT- BiGRU- CON與SAT- BiGRU- AVA 即本文所提出的兩種模型，基于BiGRU網(wǎng)絡(luò)，通過雙通道對(duì)兩種不同詞向量表示的文本進(jìn)行語(yǔ)義學(xué)習(xí)，并結(jié)合自注意力機(jī)制學(xué)習(xí)隱藏狀態(tài)的權(quán)重分布。對(duì)于兩個(gè)通道的加權(quán)輸出向量，分別采用concatenate和average兩種方法進(jìn)行向量融合。

3.6 結(jié)果分析

從表3和表4的結(jié)果可以看出，本文所提出的兩種模型SAT- BiGRU- CON和SAT- BiGRU- AVA均達(dá)到了最好的分類效果，即使用兩種詞向量對(duì)文本進(jìn)行表示作為神經(jīng)網(wǎng)絡(luò)的輸入，獲得的分類效果要優(yōu)于傳統(tǒng)序列模型。同時(shí)采用自注意力機(jī)制可進(jìn)行每一時(shí)刻的隱狀態(tài)進(jìn)行加權(quán)，獲得更加精準(zhǔn)的文本向量表示。與采用單一語(yǔ)料的SAT- BiGRU和SAT- BiGRU- ORG模型相比，在兩個(gè)數(shù)據(jù)集上分類效果均提升明顯，其中在數(shù)據(jù)集1上準(zhǔn)確率分別提高1.5%和1.75%，同時(shí)F1值也有明顯提升；數(shù)據(jù)集2上則最多分別提高了1.80%和1.85%。這說明通過上下兩個(gè)通道采用通用語(yǔ)料和原語(yǔ)料兩種詞向量對(duì)文本進(jìn)行表示，然后進(jìn)行詞語(yǔ)上下文信息學(xué)習(xí)和特征加權(quán)，可有效彌補(bǔ)采用單一語(yǔ)料對(duì)文本進(jìn)行表示存在的不足，既充分利用預(yù)訓(xùn)練詞向量的泛化能力，也使原語(yǔ)料訓(xùn)練詞向量不存未登錄詞的優(yōu)點(diǎn)得以發(fā)揮，從而使準(zhǔn)確率和F1值均有所提升。

而通過表3和表4中SAT- BiGRU與SAT- BiGRU- ORG的實(shí)驗(yàn)結(jié)果對(duì)比也可以看出，采用通用語(yǔ)料預(yù)訓(xùn)練詞向量的模型分類結(jié)果要略微好于原語(yǔ)料訓(xùn)練詞向量，主要原因是通用語(yǔ)料文本數(shù)量較多，學(xué)習(xí)到的詞向量用于網(wǎng)絡(luò)學(xué)習(xí)，得到的模型泛化能力較強(qiáng)。但由于中文語(yǔ)料存在分詞等問題，通用語(yǔ)料會(huì)存在未登錄詞，所以相對(duì)原語(yǔ)料來說，不能較好地對(duì)文本進(jìn)行表示。從而在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)效果來看，兩者差異較小，只是采用通用語(yǔ)料預(yù)訓(xùn)練詞向量分類效果較優(yōu)。

表3 酒店評(píng)論數(shù)據(jù)集下不同模型的實(shí)驗(yàn)結(jié)果

表4 商品評(píng)論數(shù)據(jù)集下不同模型的實(shí)驗(yàn)結(jié)果

同時(shí)，SAT- BiGRU- CON比SAT- BiGRU- AVA在兩個(gè)數(shù)據(jù)集上的分類準(zhǔn)確率分別高出0.4%和0.5%，說明采用concatenate操作來進(jìn)行向量融合相對(duì)來說要較優(yōu)于average操作。原因主要為concatenate操作完全保留了上下兩個(gè)通道輸出的特征加權(quán)向量所蘊(yùn)含的信息，而average操作在運(yùn)算過程中使某一通道輸出向量所含的原始信息產(chǎn)生了損失，所以兩者在最終分類效果上產(chǎn)生了微小的差異。

4 結(jié)束語(yǔ)

為解決神經(jīng)網(wǎng)絡(luò)采用單一預(yù)訓(xùn)練的詞向量存在未登錄詞和詞語(yǔ)語(yǔ)義學(xué)習(xí)不充分的問題，本文提出了一種基于并行雙向GRU與自注意力機(jī)制的情感分類模型，使用原語(yǔ)料和通用語(yǔ)料預(yù)訓(xùn)練的兩種不同詞向量對(duì)文本進(jìn)行表示，作為雙向GRU網(wǎng)絡(luò)的輸入；通過上下兩個(gè)通道分別對(duì)文本進(jìn)行詞語(yǔ)上下文信息的捕捉，得到表征向量，再依靠自注意力機(jī)制學(xué)習(xí)每一時(shí)刻隱狀態(tài)權(quán)重，最后對(duì)雙通道的加權(quán)輸出向量進(jìn)行向量融合，作為輸入進(jìn)入全連接層來判別情感傾向。在中文酒店評(píng)論和網(wǎng)絡(luò)商品評(píng)論兩個(gè)數(shù)據(jù)集上進(jìn)行的相關(guān)實(shí)驗(yàn)表明，本文所提模型可更好地對(duì)文本進(jìn)行表示并提取特征，相比于其他模型，本文模型具有更好的分類效果。

然而，目前分詞技術(shù)未能達(dá)到100%的準(zhǔn)確率，且網(wǎng)絡(luò)文本的表述并不規(guī)范，導(dǎo)致文本在分詞后語(yǔ)義發(fā)生轉(zhuǎn)變，從而對(duì)分類效果產(chǎn)生消極影響。所以在下一步的工作中，將會(huì)關(guān)注字向量對(duì)文本情感分類的影響。