基于膠囊網(wǎng)絡(luò)的方面級跨領(lǐng)域情感分析

孟佳娜，呂 品，于玉海*，孫世昶，林鴻飛

（1.大連民族大學(xué) 計算機(jī)科學(xué)與工程學(xué)院，遼寧 大連 116600；2.大連理工大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，遼寧 大連 116024）

0 引言

情感分析是指利用文本挖掘和自然語言處理相關(guān)技術(shù)，對帶有情感色彩的主觀性文本進(jìn)行分析、處理和抽取的過程［1-3］，可以分為文檔級、句子級和方面級這3 個級別。句子級和文檔級情感分析主要面向理解文章或段落表達(dá)的情感傾向性，方面級情感分析側(cè)重細(xì)粒度的考慮情感極性以及對應(yīng)的目標(biāo)，因此可以提供更詳細(xì)的情感分析結(jié)果。

現(xiàn)有的情感分析方法大多基于深度神經(jīng)網(wǎng)絡(luò)，需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練；而訓(xùn)練數(shù)據(jù)不足的問題往往不可避免，領(lǐng)域標(biāo)注數(shù)據(jù)的欠缺極大抑制了網(wǎng)絡(luò)的泛化能力。對于方面級情感分析而言，不同領(lǐng)域的評價對象不同，并且不同領(lǐng)域之間的特征分布差異很大，如何緩解數(shù)據(jù)缺失的問題，實(shí)現(xiàn)不同領(lǐng)域之間特征遷移與共享，引起了學(xué)術(shù)界的廣泛關(guān)注。近年來出現(xiàn)了許多跨領(lǐng)域的情感分析研究，賀萌［4］建立了對抗式分布對齊的方面級跨領(lǐng)域情感分類模型，通過交互注意力捕獲與方面詞關(guān)聯(lián)程度大的上下文中的特征，通過對抗式訓(xùn)練多個情感分類器，對那些誤分類的處于決策邊界附近的特征，擴(kuò)大決策邊界。趙光耀等［5］提出領(lǐng)域特有情感詞注意力模型（Domain Specific Sentiment Words ATTention model，DSSW-ATT），該模型設(shè)立兩個獨(dú)立的子空間，分別使用注意力機(jī)制提取共有情感詞特征和特有情感詞特征，并建立相應(yīng)的共有特征分類器和特有特征分類器，通過協(xié)同訓(xùn)練方法融合上述兩種特征。孟佳娜等［6］提出使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）對模型進(jìn)行遷移的方法方面級門控卷積遷移網(wǎng)絡(luò)（Gated Convolutional network with Aspect Embedding for Transfer Learning，GCAE-TL），卷積神經(jīng)網(wǎng)絡(luò)可以并行計算，效率很高，文獻(xiàn)［6］中還構(gòu)建了方面級跨領(lǐng)域遷移的數(shù)據(jù)集。

但上述方法都沒有考慮到方面級情感分析存在著一個句子中的多個實(shí)體表達(dá)不同情感極性的現(xiàn)象，這種現(xiàn)象導(dǎo)致了重疊的特征表示，高度重疊的特征會嚴(yán)重混淆分類器；而且，現(xiàn)有的方法大多只通過最大池化操作來保持最活躍的特征，或者利用注意機(jī)制來尋找情感詞，無法區(qū)分重疊的特征。

本文使用膠囊網(wǎng)絡(luò)來解決上述問題，提出了基于膠囊網(wǎng)絡(luò)的方面級情感分析方法。將方面信息與情感信息進(jìn)行融合與選擇，對文本進(jìn)行方面級的情感分析，并在此基礎(chǔ)上建立了遷移學(xué)習(xí)模型；將源領(lǐng)域訓(xùn)練好的模型遷移到目標(biāo)領(lǐng)域，對目標(biāo)領(lǐng)域數(shù)據(jù)進(jìn)行跨領(lǐng)域的方面級情感分析，以緩解目標(biāo)領(lǐng)域由于標(biāo)注數(shù)據(jù)不足而導(dǎo)致的分類結(jié)果不理想的問題。通過實(shí)驗(yàn)檢驗(yàn)了該模型在不同領(lǐng)域的分類性能，也驗(yàn)證了本文方法具有良好的泛化能力。

1 相關(guān)工作

傳統(tǒng)的情感分析方法大多使用傳統(tǒng)機(jī)器學(xué)習(xí)算法構(gòu)建提取特征的情感分類器，這需要大量的時間和資源。近年來，針對方面級情感分析任務(wù)提出了許多深度學(xué)習(xí)方法。Ma 等［7］提出了一種交互式注意網(wǎng)絡(luò)，使用兩個注意力網(wǎng)絡(luò)來交互式地檢測目標(biāo)描述的重要單詞和整個上下文。王昆等［8］提出基于長短期記憶網(wǎng)絡(luò)和注意力機(jī)制來構(gòu)造文本篩選網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以從長文本中篩選出與方面相關(guān)的重要信息。Du 等［9］利用膠囊網(wǎng)絡(luò)構(gòu)建基于向量的特征表示，并在路由過程中引入交互注意力機(jī)制來建模方面詞與上下文之間的語義關(guān)系，從全局角度對句子進(jìn)行編碼。支淑婷等［10］提出一種基于多注意力和長短期記憶網(wǎng)絡(luò)的情感分析模型，在長短期記憶網(wǎng)絡(luò)的不同位置加入不同的注意力機(jī)制，模型可以從多個角度關(guān)注重要情感信息，獲取深層次情感特征。Zhu 等［11］提出帶有輔助記憶網(wǎng)絡(luò)的方面級情感分析方法，學(xué)習(xí)方面詞和情感詞之間的信息。武婷等［12］將詞向量融入位置權(quán)重，利用長短期記憶網(wǎng)絡(luò)對方面和句子建模，并且通過交叉注意力模塊學(xué)習(xí)方面和句子的表示來獲得它們之間的交叉關(guān)注。

遷移學(xué)習(xí)是指從一個或多個任務(wù)中學(xué)習(xí)有用信息，然后讓這些信息可以輔助其他任務(wù)的學(xué)習(xí)。Yosinski 等［13］提出在遷移學(xué)習(xí)中將深度神經(jīng)網(wǎng)絡(luò)的前幾層參數(shù)固定，并且提出了微調(diào)的方法，在一定程度上解決了領(lǐng)域間的數(shù)據(jù)差異性問題。Long 等［14］提出了深度自適應(yīng)網(wǎng)絡(luò)模型，以深度網(wǎng)絡(luò)為載體來進(jìn)行適配遷移。Ganin 等［15］提出了領(lǐng)域?qū)褂?xùn)練神經(jīng)網(wǎng)絡(luò)（Domain Adversarial training of Neural Network，DANN）算法，使用最大均值差異度量來減少不同域之間的特征差異。針對有充足的帶標(biāo)簽的源領(lǐng)域數(shù)據(jù)、有充足的無標(biāo)簽的目標(biāo)領(lǐng)域數(shù)據(jù)、源領(lǐng)域和目標(biāo)領(lǐng)域的特征空間和標(biāo)記空間相同的情況，可以借助源領(lǐng)域數(shù)據(jù)對目標(biāo)領(lǐng)域數(shù)據(jù)進(jìn)行分類。Xu 等［16］針對跨語言文本情感分類任務(wù)，提出基于實(shí)例的遷移學(xué)習(xí)方法，將大量源領(lǐng)域數(shù)據(jù)擴(kuò)充到目標(biāo)領(lǐng)域以提高分類效果。Li 等［17｝提出端到端的對抗記憶網(wǎng)絡(luò)，該模型可以通過注意力機(jī)制自動捕捉文本的主旨詞；模型由兩個參數(shù)共享的記憶網(wǎng)絡(luò)組成，通過對兩個網(wǎng)絡(luò)的聯(lián)合訓(xùn)練，使所選擇的特征能夠?qū)⑶楦蟹诸惖腻e誤最小化，實(shí)現(xiàn)不同領(lǐng)域間情感分析任務(wù)的領(lǐng)域自適應(yīng)。

2 本文方法

2.1 基于膠囊網(wǎng)絡(luò)的方面級情感分析

方面級情感分類的主要挑戰(zhàn)是一個句子表達(dá)多個情感極性，導(dǎo)致重疊的特征表示，高度重疊的特征會嚴(yán)重混淆分類器；然而，現(xiàn)有的方法大多只通過最大池操作來保持最活躍的特征，或者利用注意機(jī)制來尋找情感詞，無法區(qū)分重疊的特征。因此，本文使用膠囊網(wǎng)絡(luò)和最大期望（Expectation-Maximization，EM）路由［18］來解決這個問題。路由算法將包含相關(guān)關(guān)系特征的低層膠囊精準(zhǔn)聚類到高級膠囊中，當(dāng)多個底層膠囊代表特征存在時，對應(yīng)的高級膠囊將被激活。因此，一個膠囊的輸出可以路由到下一層對應(yīng)的膠囊里，即下一層的膠囊能獲取更清晰的輸入信號，可以較好地區(qū)分重疊特征。膠囊向量是一組表達(dá)特征的神經(jīng)元，向量的長度代表該特征存在的概率，方向蘊(yùn)含特征的特定屬性，大量的底層語義信息被嵌入到底層膠囊中；因此，膠囊網(wǎng)絡(luò)不需要大量的數(shù)據(jù)量進(jìn)行訓(xùn)練，這一優(yōu)勢使得膠囊網(wǎng)絡(luò)適用于數(shù)據(jù)量較少的方面級跨領(lǐng)域情感分析任務(wù)。另外，對膠囊網(wǎng)絡(luò)在文本分類任務(wù)上的表現(xiàn)進(jìn)行研究［19］，實(shí)驗(yàn)結(jié)果表明在多標(biāo)簽遷移任務(wù)上，膠囊網(wǎng)絡(luò)的性能遠(yuǎn)遠(yuǎn)超過了卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)，證明了與傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)相比，膠囊網(wǎng)絡(luò)具有較好的遷移能力。

本文在方面級情感分類任務(wù)中采用EM 路由算法對基于向量的重疊情感特征進(jìn)行聚類，使后續(xù)分類更加清晰。此外，對方面術(shù)語和上下文之間的語義關(guān)系進(jìn)行建模，模型結(jié)構(gòu)如圖1 所示，主要分為嵌入層、編碼層、膠囊層。

圖1 方面級情感分析模型Fig.1 Model of aspect-level sentiment analysis

具體設(shè)計步驟如下：

嵌入層 上下文嵌入表示包括單詞嵌入wn和位置嵌入pn，考慮到距離方面較近的上下文詞可能對情感分析有較大的影響，引入位置嵌入來編碼從單詞wn到方面詞的相對距離。方面詞的輸入表示an僅由單詞組成。單詞嵌入是單詞的分布式表示，指詞匯表中的單詞映射到向量。使用預(yù)先訓(xùn)練的單詞向量BERT（Bidirectional Encoder Representation from Transformers）來獲得固定單詞嵌入wn、an∈Rdw，其中dw是單詞向量維度。它們能夠從大規(guī)模未標(biāo)記文本中捕獲單詞的句法和語義信息，提高模型性能。

編碼層 雙向循環(huán)網(wǎng)絡(luò)可以捕獲句子中的長距離依賴關(guān)系。前向傳播神經(jīng)網(wǎng)絡(luò)捕捉上文信息，后向傳播神經(jīng)網(wǎng)絡(luò)捕捉下文信息。將上下文表示連接起來，作為上下文語義表征yi。

膠囊層 膠囊層通過線性變換和擠壓激活得到底層膠囊P=[p1，p2，…，pn] 和方面膠囊c，以及分 類膠囊V=[v1，v2，…，vc]。

其中：Wp、bp、Wa和ba是可學(xué)習(xí)的參數(shù)。

用EM 路由將底層膠囊的輸出向量聚類為混合高斯分布。輸出膠囊的平均值、方差和激活概率以及輸入膠囊的分配概率，通過在E 步和M 步之間交替迭代地更新。

由于句子長度不同，發(fā)送到分類膠囊的底層膠囊數(shù)量也不同，導(dǎo)致訓(xùn)練過程不穩(wěn)定：過長的句子使膠囊激活飽和，并導(dǎo)致對所有分類膠囊的高激活度；相反，太短的句子會導(dǎo)致所有分類膠囊的激活度都比較低，而且EM 算法會忽略上下文和方面詞之間的關(guān)系。事實(shí)上，方面詞及其上下文的關(guān)系可以顯著提高情緒分類的性能。因此，引入了一個注意力權(quán)重α，它是在上下文和方面詞之間學(xué)習(xí)的，利用方面膠囊選擇重要的底層膠囊，并通過以下公式規(guī)范膠囊權(quán)重：

其中：Wn是可學(xué)習(xí)參數(shù)。

α可以衡量底層膠囊所代表的特征對于方面詞情感傾向影響的重要程度，比如：“這本書很精彩，就是物流太差了”對于方面詞“書”來說，“精彩”這一特征就會被賦予更大權(quán)重，使其去激活代表“積極”的高層膠囊，而“太差”等特征會獲得更低權(quán)重，避免其去激活代表“消極”的高層膠囊。既避免了有太多無關(guān)緊要的底層膠囊對每個高級膠囊都高度激活，又避免了因底層膠囊太少使得高級膠囊激活度太低。

訓(xùn)練時首先使用一組情感膠囊來存儲關(guān)于情感類別的知識。情感矩陣S∈Rn×d是由情感詞嵌入經(jīng)過平均池化得到的，n是情感類別的數(shù)量，d是嵌入維度，情感矩陣上通過squash 激活函數(shù)來獲得情感膠囊Q=[q1，q2，…，qL]，并通過計算底層膠囊和情感膠囊之間的相似性來計算路由權(quán)重w：

2.2 方面級跨領(lǐng)域情感分析

為了緩解部分領(lǐng)域標(biāo)注數(shù)據(jù)不足的問題，克服不同領(lǐng)域特征分布差異較大的困難，本文采用如下遷移學(xué)習(xí)方法。首先在一個數(shù)據(jù)較充足的領(lǐng)域上預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，然后將訓(xùn)練好的模型作為初始化模型用少量的其他領(lǐng)域數(shù)據(jù)進(jìn)行微調(diào)。模型中，預(yù)先訓(xùn)練的BERT 模型對數(shù)據(jù)進(jìn)行詞嵌入，循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）提取方面信息和上下文信息的特征，然后再送入膠囊網(wǎng)絡(luò)對特征進(jìn)行聚類完成情感分析。模型框架如圖2 所示。

圖2 模型框架Fig.2 Architecture of model

具體設(shè)計步驟如下：

步驟1 將大量的源領(lǐng)域中的有標(biāo)簽數(shù)據(jù)輸入到預(yù)訓(xùn)練好的BERT 模型中，詞嵌入設(shè)為d維，l為句子X中的單詞個數(shù)，X表示為d×l維矩陣，如式（6）所示：

同樣地，方面詞也可以表示為d×l維的矩陣，如式（7）所示：

然后將上下文信息輸入到雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（Bidirectional RNN，BiRNN）中提取句子中的特征，得到上下文語義表征yi，方面信息則經(jīng)過平均池化。

步驟2 將上下文隱藏信息輸入主膠囊層，進(jìn)行特征聚類，和方面信息一起經(jīng)過squash 封裝為膠囊，具體方法如2.1節(jié)中的描述，squash 函數(shù)定義為：

既保證了數(shù)據(jù)在0-1，也保留了向量的方向。

步驟3 分類膠囊進(jìn)行情感分類，分類膠囊V=[v1，v2，…，vc]可計算為：

其中：s用于將權(quán)重縮放到合適的大小，由學(xué)習(xí)得到。

為使模型達(dá)到收斂狀態(tài)，減少模型預(yù)測值的誤差，使用了margin loss 損失函數(shù)，如式（10）所示：

步驟4 得到源領(lǐng)域的分類結(jié)果后，BiRNN 和底層膠囊的權(quán)重保留了源領(lǐng)域特征，使用少量目標(biāo)領(lǐng)域數(shù)據(jù)重新訓(xùn)練分類膠囊，從而實(shí)現(xiàn)模型的微調(diào)，得到對目標(biāo)領(lǐng)域最終的分類結(jié)果，如式（11）所示：

3 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)中使用本實(shí)驗(yàn)室標(biāo)注的方面級遷移學(xué)習(xí)語料［6］，中文語料選用了Wu 等整理的中文評論文本數(shù)據(jù)集［20］，分別來自京東電腦產(chǎn)品評論、當(dāng)當(dāng)書籍評論和攜程酒店評論，每個領(lǐng)域選取了正負(fù)向評論各2 000 條，共計12 000 條數(shù)據(jù)進(jìn)行了人工標(biāo)注。英文語料是對公開的亞馬遜圖書語料庫［21］進(jìn)行了方面級的標(biāo)注。該語料分為Book、DVD、Electronic 和Kitchen 這4 個領(lǐng)域，分別包含正負(fù)向評論各1 000 條，共計8 000 條數(shù)據(jù)。統(tǒng)計了提取到的方面詞，各個領(lǐng)域之間有超過98%的方面詞都是不同的，不同域之間方面詞差別非常大，特征分布差別也較大。

實(shí)驗(yàn)參數(shù)設(shè)置如表1 所示。

表1 實(shí)驗(yàn)參數(shù)設(shè)置Tab.1 Experimental parameters setting

隨機(jī)抽取部分目標(biāo)領(lǐng)域標(biāo)注數(shù)據(jù)參與模型訓(xùn)練，m表示抽取比率。例如，m=0 表示不使用目標(biāo)領(lǐng)域數(shù)據(jù)訓(xùn)練模型；m=0.2 表示使用20%的目標(biāo)領(lǐng)域數(shù)據(jù)。

3.1 實(shí)驗(yàn)結(jié)果

使用準(zhǔn)確率（Accuracy，Acc）和F1 值作為評價指標(biāo)。準(zhǔn)確率計算如式（12）所示：

其中：是模型預(yù)測出的標(biāo)簽，yi是樣本真實(shí)的標(biāo)簽，N表示測試集的大小。

查準(zhǔn)率（Precision，Pre），也叫精確率或精度，如式（13）所示：

查全率（Recall，Rec），也叫召回率，如式（14）所示：

TP（True Positive）表示真正類數(shù)，F(xiàn)P（False Positive）表示假正類 數(shù)，TN（True Negative）表示真 反類數(shù)，F(xiàn)N（False Negative）表示假反類數(shù)。

F1 值（F1）綜合了精確率和召回率，位于0～1，值越大表示模型性能越好，計算如式（15）所示：

3.1.1 中文語料實(shí)驗(yàn)與結(jié)果分析

中文語料的準(zhǔn)確率實(shí)驗(yàn)結(jié)果如圖3 所示。其中C 代表Computer 領(lǐng)域；B代表Book 領(lǐng)域；H代表Hotel 領(lǐng)域。圖中B→H 表示源領(lǐng)域?yàn)锽ook，目標(biāo)領(lǐng)域?yàn)镠otel，其余情況依此類推。

由圖3 可知，采用本文提出的膠囊網(wǎng)絡(luò)遷移模型取得了不錯的遷移性能。效果最佳的是B→C，即從書籍遷移到電腦領(lǐng)域，準(zhǔn)確率高達(dá)94.7%。隨著目標(biāo)領(lǐng)域微調(diào)數(shù)據(jù)的增多，準(zhǔn)確率都有提高，所有領(lǐng)域都是微調(diào)數(shù)據(jù)從0 增加到5%時提升效果是最明顯的。

圖3 中文語料上的準(zhǔn)確率實(shí)驗(yàn)結(jié)果Fig.3 Experimental results of accuracy on Chinese corpus

中文語料的F1 值實(shí)驗(yàn)結(jié)果如圖4 所示，效果最好的同樣是B→C，達(dá)到了95.66%。同樣地，隨著微調(diào)數(shù)據(jù)的增多，實(shí)驗(yàn)結(jié)果也跟著提高，由0 增加到5%效果最為明顯，繼續(xù)增加微調(diào)數(shù)據(jù)的量模型提升就不是特別明顯了?？梢娫诳珙I(lǐng)域方面級情感研究中，少量的目標(biāo)領(lǐng)域微調(diào)數(shù)據(jù)可以較大地提升模型性能，降低了需要人力標(biāo)注數(shù)據(jù)的成本。

圖4 中文語料上的F1值實(shí)驗(yàn)結(jié)果Fig.4 Experimental results of F1 score on Chinese corpus

3.1.2 英文語料實(shí)驗(yàn)與結(jié)果分析

圖5 展示了英文語料的準(zhǔn)確率實(shí)驗(yàn)結(jié)果，其中B 代表Book 領(lǐng)域；D 代表DVD 磁盤領(lǐng)域；E 代表Electronics 領(lǐng)域；K代表Kitchen 領(lǐng)域。例如，B→D 表示源領(lǐng)域是Book 目標(biāo)領(lǐng)域是DVD，其余情況依此類推。

由圖5 可知準(zhǔn)確率都隨著目標(biāo)數(shù)據(jù)的增多而提高，例如從DVD 領(lǐng)域遷移到Kitchen 領(lǐng)域準(zhǔn)確率從不足0.65 提高到91.1%。由圖6 可以看出，F(xiàn)1 值具有與準(zhǔn)確率類似的規(guī)律，其中遷移性能最好的是E→K，即從電子設(shè)備遷移到廚房領(lǐng)域，F(xiàn)1 值達(dá)到了91.8%。

圖5 英文語料上的準(zhǔn)確率實(shí)驗(yàn)結(jié)果Fig.5 Experimental results of accuracy on English corpus

圖6 英文語料上的F1值實(shí)驗(yàn)結(jié)果Fig.6 Experimental results of F1 score on English corpus

廚房用具K 和電子產(chǎn)品E 都屬于工具類商品，書籍B 和磁盤D 屬于娛樂文化類商品。實(shí)驗(yàn)結(jié)果顯示，E→K 領(lǐng)域上的準(zhǔn)確率高于其他領(lǐng)域上的準(zhǔn)確率；因?yàn)镋 和K 領(lǐng)域差異更小、遷移過程更容易。

3.2 實(shí)驗(yàn)對比及分析

3.2.1 消融實(shí)驗(yàn)研究

消融實(shí)驗(yàn)探究帶有方面信息的方面級情感分析相較于不帶方面信息的句子級情感分析有何不同。具體地，對于句子級情感分析，不輸入方面詞嵌入并取消相應(yīng)的上下文位置嵌入，使得模型輸入不包含方面信息，再通過BiRNN 提取情感特征，送入膠囊網(wǎng)絡(luò)分析對源領(lǐng)域進(jìn)行情感分析，遷移到目標(biāo)領(lǐng)域，得到目標(biāo)領(lǐng)域的情感分類結(jié)果。

跨領(lǐng)域句子級情感分析過程中，采用了未標(biāo)注方面信息的公開語料。取方面級各句子級m=0.1、m=0.2 時的準(zhǔn)確率和F1 值進(jìn)行比較，對它們的跨領(lǐng)域情感分析結(jié)果進(jìn)行對比。m=0.1 時，兩種粒度的情感分析結(jié)果準(zhǔn)確率和F1 值如表2、3 所示；m=0.2 時，準(zhǔn)確率和F1 值如表4、5 所示。

表2 中文語料上的不同粒度結(jié)果對比（m=0.1）Tab.2 Comparison of different granularity results on Chinese corpus（m=0.1）

表3 英文語料上的不同粒度結(jié)果對比（m=0.1）Tab.3 Comparison of different granularity results on English corpus（m=0.1）

表4 中文語料上的不同粒度結(jié)果對比（m=0.2）Tab.4 Comparison of different granularity results on Chinese corpus（m=0.2）

從表2～5 可知，方面級情感分析的效果要好于句子級，這是因?yàn)槊鎸渥又杏星楦袥_突的情況，膠囊網(wǎng)絡(luò)在進(jìn)行方面級情感分析任務(wù)時可以較好地分辨出哪些情感詞是形容哪些方面詞的，有更好的針對性；而句子級的情感分析往往不能識別句子內(nèi)部的情感沖突，導(dǎo)致分類效果不如方面級。

3.2.2 與其他方法對比

將本文方法的準(zhǔn)確率結(jié)果與以下方法的實(shí)驗(yàn)結(jié)果進(jìn)行比較。

1）遷移學(xué)習(xí)方法?；诨バ畔⒌慕Y(jié)構(gòu)對應(yīng)學(xué)習(xí)（Structural Correspondence Learning with Mutual Information，SCL-MI）方法［21］獲得領(lǐng)域之間的共有特征和紐特征，并結(jié)合樞紐特征和非樞紐特征的相關(guān)性展開研究?？珙I(lǐng)域可遷移信息識別（Identifying Transferable Information Across Domains，ITIAD）方法［22］抽取不同 領(lǐng)域之間的公共特征，采用支持向量機(jī)（Support Vector Machine，SVM）分類器進(jìn)行跨領(lǐng)域情感識別。DANN 方法［15］利用域?qū)股窠?jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)跨領(lǐng)域情感分析。GCAE-TL 方法［6］利用CNN 加門控機(jī)制和模型遷移方法來進(jìn)行方面級跨領(lǐng)域情感分析。

表5 英文語料上的不同粒度結(jié)果對比（m=0.2）Tab.5 Comparison of different granularity results on English corpus（m=0.2）

2）非遷移學(xué)習(xí)方法。非遷移方法都是近年來在單個域中進(jìn)行方面級情感分類的代表性方法，在源域的訓(xùn)練集上訓(xùn)練模型，在目標(biāo)域中進(jìn)行測試。其中依賴樹卷積（Convolution over Dependency Tree，CDT）方法［23］是基于依賴樹的方面級情感分析方法，縮短了句子的方面和觀點(diǎn)詞之間的距離，捕捉了詞與詞之間的句法關(guān)系，使得依賴信息可以有效地保存在長句子中。特定方面圖卷積神經(jīng)網(wǎng)絡(luò)（Aspect Specific Graph Convolutional Network，ASGCN）方法［24］使用圖卷積網(wǎng)絡(luò)去獲取句法信息，利用句子中的句法依存結(jié)構(gòu)，解決基于方面級情感分析的長距離多詞依存問題。RAM（Recurrent Attention network on Memory）［25］采用多注意機(jī)制來捕獲距離較遠(yuǎn)的情緒特征，從而對不相關(guān)信息進(jìn)行篩選，將多層注意力機(jī)制的結(jié)果與遞歸神經(jīng)網(wǎng)絡(luò)非線性結(jié)合，在處理并發(fā)任務(wù)時增強(qiáng)了模型的分類能力。

表6 展示了英文語料取2.5%的微調(diào)數(shù)據(jù)時，本文方法與各遷移學(xué)習(xí)方法的準(zhǔn)確率對比結(jié)果。

表6 本文方法與遷移學(xué)習(xí)方法在英文語料上的準(zhǔn)確率對比Tab.6 Accuracy comparison of the proposed method and transfer learning methods on English corpus

由表6 可知，本文提出的基于膠囊網(wǎng)絡(luò)的方面級跨領(lǐng)域情感分析方法在多數(shù)領(lǐng)域都取得了最好的效果，與SCL-MI、ITIAD、DANN、GCAE-TL 方法相比，本文方法的平均準(zhǔn)確率分別提升了5.2、5.3、4.7 和4.4 個百分點(diǎn)。

表7 展示了使用英文語料，本文方法與各方面級情感分析方法的準(zhǔn)確率對比結(jié)果，由表可知，本文提出的基于膠囊網(wǎng)絡(luò)的方面級跨領(lǐng)域情感分析方法在多數(shù)領(lǐng)域都取得了最好的效果，與CDT、ASGCN、RAM 方法相比，本文方法的平均準(zhǔn)確率分別提升了1.7、2.6 和5.9 個百分點(diǎn)。

表7 本文方法與方面級情感分析方法在英文語料上的準(zhǔn)確率對比Tab.7 Accuracy comparison of the proposed method and aspect-level sentiment analysis methods on English corpus

表8 展示了中文語料取2.5%的微調(diào)數(shù)據(jù)時，本文方法與各遷移學(xué)習(xí)方法的準(zhǔn)確率對比結(jié)果，與SCL-MI、ITIAD、DANN、GCAE-TL 方法相比，本文方法的平均準(zhǔn)確率分別提升了8.5、6.5、4.7 和7.2 個百分點(diǎn)。

表8 本文方法與遷移學(xué)習(xí)方法在中文語料上的準(zhǔn)確率對比Tab.8 Accuracy comparison of the proposed method and transfer learning methods on Chinese corpus

表9 展示了使用中文語料，本文方法與各方面級情感分析方法的準(zhǔn)確率對比結(jié)果，與CDT、ASGCN、RAM 方法相比，本文方法的平均準(zhǔn)確率分別提升了3.8、4.1 和7 個百分點(diǎn)。

表9 本文方法與方面級情感分析方法在中文語料上的準(zhǔn)確率對比Tab.9 Accuracy comparison of the proposed method and aspect-level sentiment analysis methods on Chinese corpus

由此可以看出本文方法可以更好地學(xué)習(xí)領(lǐng)域特征，并成功地遷移到目標(biāo)領(lǐng)域；另一方面，驗(yàn)證了本文方法有較好的泛化性，在多個領(lǐng)域都有好的表現(xiàn)，較好地緩解了某些領(lǐng)域由于缺乏標(biāo)注數(shù)據(jù)導(dǎo)致情感分類結(jié)果較差的問題。

4 結(jié)語

本文針對方面級跨領(lǐng)域情感分析任務(wù)，提出基于膠囊網(wǎng)絡(luò)的情感分析方法，將源領(lǐng)域訓(xùn)練好的模型，通過少數(shù)標(biāo)注數(shù)據(jù)微調(diào)就可以應(yīng)用到目標(biāo)領(lǐng)域，緩解目標(biāo)領(lǐng)域因標(biāo)注數(shù)據(jù)少而分類不佳的問題，實(shí)驗(yàn)驗(yàn)證了該模型在多個領(lǐng)域上都有著良好表現(xiàn)。在以后的工作中可以針對多方面任務(wù)的情況進(jìn)行研究，提高多方面任務(wù)情感分類的準(zhǔn)確率。