黃晉 許實 蔡而聰 吳志杰 郭美美 朱佳

基于多通道壓縮雙線性池化的情感?原因句子對提取模型

黃晉1許實1蔡而聰1吳志杰1郭美美1朱佳2,?

1.華南師范大學計算機學院, 廣州 510631; 2.浙江師范大學智能教育技術(shù)與應(yīng)用重點實驗室, 金華 321004;?通信作者, E-mail: jiazhu@zjnu.edu.cn

提出一個基于多通道壓縮雙線性池化的模型, 對文檔中的候選情感?原因句子對進行排序。該模型利用圖注意力網(wǎng)絡(luò)提取包含位置信息的情感特定化表示和原因特定化表示, 通過局部關(guān)系學習模塊, 進一步學習情感與原因句子之間的局部關(guān)系表示, 再使用多通道壓縮雙線性池化來融合學習情感?原因候選句子對表示。最后, 對候選句子對進行排序。實驗結(jié)果表明, 與最新模型相比, 所提模型在多方面表現(xiàn)更優(yōu)。

情感分析; 情感?原因句子對提取; 圖注意力網(wǎng)絡(luò); 局部關(guān)系提取; 多通道壓縮雙線性池化

隨著社交媒體的發(fā)展, 情感分析領(lǐng)域越來越受到研究人員的關(guān)注。研究文本中隱含的情感及其成因, 對商業(yè)決策、輿情管控和信息預(yù)測等應(yīng)用場景具有重大的應(yīng)用價值。對此, Lee 等[1]首先提出情感?原因提取任務(wù): 在文檔中, 給定一個已標注的情感句子, 提取出導(dǎo)致情感發(fā)生的原因句子。針對這一任務(wù), 有人采用基于語法規(guī)則的方法[2?3], 也有人采用基于機器學習的方法[4?6]。近年來, 隨著深度學習的發(fā)展, 也有不少人采用深度記憶網(wǎng)絡(luò)[7]、互注意力神經(jīng)網(wǎng)絡(luò)[8]和多層次神經(jīng)網(wǎng)絡(luò)[9]等基于深度神經(jīng)網(wǎng)絡(luò)的方法。

上述方法都需要將標注好情感標簽的句子作為模型輸入。Xia 等[10]認為這種先標注句子的情感, 再根據(jù)標注好的句子去檢測對應(yīng)原因的方法限制了其實際應(yīng)用。為了使情感?原因提取任務(wù)更具有泛用性, 他們提出情感?原因句子對提取任務(wù): 給定一個文檔, 提取出所有的情感句子以及對應(yīng)的原因句子。他們提出一種兩步走的方法, 用于提取情感?原因句子對, 但存在的誤差傳播問題。針對這一問題, Ding 等[11]提出一種情感?原因句子對二維矩陣方法, Wei 等[12]提出一種情感?原因句子對排序方法, Fan 等[13]則從序列標注的角度出發(fā), 提出一個基于轉(zhuǎn)移系統(tǒng)的解決方案。

我們發(fā)現(xiàn), 上述模型存在句子間缺乏高效信息交互和融合的問題。為了解決這一問題, 本文進一步考慮句子間的相對位置信息和局部關(guān)系, 結(jié)合多通道信息融合的思想, 提出一個基于多通道壓縮雙線性池化的情感?原因句子對提取模型。

1 任務(wù)定義

給定一個包含若干句子的文檔=[1,2, …,|d|] (||是文檔的句子數(shù)), 任務(wù)目標是提取出情感?原因句子對集合:

= {…, (emo,cau), …},

其中,emo∈, 是一個情感句子;cau∈, 是其對應(yīng)的原因句子。值得注意的是, 一個文檔中可能包含若干不同的情感?原因句子對, 且一個情感句子可能有多個對應(yīng)的原因句子。

2 模型與方法

如圖 1 所示, 本文模型的整體框架主要由 3 個部分組成: 第一部分為帶有位置信息的情感、原因特定化表示學習, 分別學習包含位置信息的情感、原因句子向量表示; 第二部分建模每一個候選句子對中情感句子與原因句子之間的局部關(guān)系; 第三部分使用多通道壓縮雙線性池化方法來融合情感特定化表示、原因特定化表示和局部關(guān)系表示, 并進一步將候選句子對排序, 得出最后結(jié)果。

2.1 句子向量編碼

對于一個給定的文檔= [1,2, …,|d|], 包含||個句子。對于每個句子= (i,1,w,2, …,w,|ci|), 包含|c|個單詞(其中表示該句子在文檔中的位置)。我們以 BERT 為句子編碼器去獲取句子c的向量表示, 因此文檔的句子編碼向量為[1,2, …,|d|]。

2.2 帶有位置信息的情感、原因特定化表示學習

本文模型采用兩路圖注意力網(wǎng)絡(luò)(graph attention network, GAT)[14]對句子進行學習, 并分別產(chǎn)生包含位置信息的情感特定化表示以及原因特定化表示, 即該句子作為情感或原因時的向量表示。在情感與原因特定化表示之間進行兩兩配對, 產(chǎn)生情感?原因候選句子對。

2.2.1 復(fù)數(shù)值句子位置嵌入

相對位置信息對情感?原因句子對提取任務(wù)具有重要作用[15]?，F(xiàn)有研究多將位置信息表示為一個獨立的向量, 沒有在訓練中將位置信息融入情感、原因特定化表示之中。Wang 等[16]提出一種復(fù)數(shù)值嵌入的方法, 對絕對位置信息和相對位置信息進行建模。受此工作啟發(fā), 本文改進復(fù)數(shù)值嵌入方法, 并運用在句子的表示學習中, 使得情感、原因句子特定化表示具有更強的位置相關(guān)性。假設(shè)句子c的向量表示為= [x,1,x,2, …,x,D], 其中是向量i的維度, 復(fù)數(shù)值位置嵌入定義如下:

其中, pos(1≤pos≤||)是句子c在文檔中的位置,和是可學習的參數(shù),決定句子對位置 pos 的敏感程度。根據(jù)歐拉公式

復(fù)數(shù)值句子位置嵌入可以進行如下轉(zhuǎn)化:

2.2.2基于圖注意力網(wǎng)絡(luò)的情感/原因特定化表示學習

圖1 本文模型整體框架

Fig.1 Overview of the proposed model

其中,T和是可學習參數(shù),e是注意力互相關(guān)系數(shù), tanh, LeakyReLU 和 ReLU 是激活函數(shù),N是節(jié)點的鄰接節(jié)點,a是節(jié)點與之間的注意力權(quán)重。

其中,emo,emo,cau和cau都為可學習參數(shù), sigmoid 為激活函數(shù)。

2.2.3 情感?原因候選句子對生成

在得到文檔的情感特定化表示emo和原因特定化表示cau后, 模型進一步生成情感?原因候選句子對。兩個句子之間的相對距離是情感?原因句子對的關(guān)鍵, 如果太大, 它們之間的因果關(guān)系就較小, 則組成一個情感?原因句子對的可能性就很小。因此, 本模型設(shè)定一個窗口范圍, 只有相對距離在之內(nèi)的句子對才可以成為候選情感?原因句子對。于是, 可以從文檔中構(gòu)建一個候選情感?原因句子對集合:

2.3 局部關(guān)系表示學習

2.4 多通道壓縮雙線性池化(MCBP)

在求候選句子對的表示時, 現(xiàn)有方法只簡單地將句子的情感特定化表示和原因特定化表示拼接起來, 不足以學習情感句子與原因句子之間的聯(lián)系。雙線性池化(bilinear pooling)[17]是特征融合的一種方法, 通過求取兩個向量外積的方式來建模特征的高階統(tǒng)計信息, 從而捕獲特征之間的關(guān)系。這種方法在計算機視覺細粒度分類任務(wù)中取得不錯的效果。然而, 兩個向量的外積維度很高, 存在學習的參數(shù)數(shù)量過大問題。在此基礎(chǔ)上, Fukui 等[18]提出多模態(tài)壓縮雙線性池化(multimodal compact bilinear pooling, MCB)方法, 有效地降低了維度, 并將其運用于跨模態(tài)看圖答題領(lǐng)域, 將圖像和文本兩個模態(tài)的特征向量有效地融合, 取得很好的效果。

圖2 局部關(guān)系學習模塊

Ψ表示計數(shù)簡述函數(shù)(Count Sketch), FFT和FFT?1分別代表傅里葉變換和傅里葉逆變換

由于 3 個通道向量之間的外積維度過高, 我們利用計數(shù)簡述函數(shù)18?19">[18?19], 將其從高維空間投影到較低維空間, 從而減少參數(shù)數(shù)量。3 個向量的外積的投影等價于每個向量先進行投影, 再進行卷積操作:

2.5 排序與預(yù)測

在測試階段, 為了提取所有潛在的情感?原因句子對, 本文模型采用一種基于情感詞典的抽取方法[12]。對于分數(shù)排名前的降序列表{1,2, …,p}, 首先將擁有最高分數(shù)的1提取出來作為預(yù)測結(jié)果。若在其他候選句子對中的情感句子也包含情感詞典中的詞, 則也將其提取出來作為預(yù)測結(jié)果, 從而得到多個情感?原因句子對預(yù)測結(jié)果。

本文模型采用下式中的排序損失函數(shù)檢測候選句子對的排序分數(shù):

本文模型使用pair和aux以及 L2 正則化的加權(quán)和作為最終損失函數(shù):

3 實驗與結(jié)果分析

3.1 數(shù)據(jù)集與評價指標

本文使用 Xia 等[10]提供的基準數(shù)據(jù)集進行實驗, 驗證模型的有效性。隨機選擇 90%的數(shù)據(jù)作為訓練數(shù)據(jù), 剩下的 10%作為測試數(shù)據(jù), 重復(fù)進行 20次實驗, 取平均值作為報告結(jié)果。使用準確率, 召回率和 F1 值作為評價指標。此外, 分別評估模型在情感句子提取和原因句子提取這兩個子任務(wù)中的表現(xiàn)。

3.2 實驗設(shè)置

3.3 對比方法

本文對比的基本方法如下: 1)ECPE-2steps[10]是一個兩步走流水線框架, 有 Indep, Inter-CE 和 Inter-EC 共 3 種設(shè)置; 2)ECPE-2D[11]是一個聯(lián)合框架, 是ECPE-2steps 的升級版本, 它以端對端的形式整合了 2D 情感?原因句子對的表示、交互及預(yù)測, 有Inter-EC-, Inter-EC+WC 和 Inter-EC+CR 共 3 種設(shè)置; 3)Transition-based[13]用一個基于轉(zhuǎn)移系統(tǒng)的模型, 將情感?原因句子對提取轉(zhuǎn)化為一個類似句法解析的有向圖結(jié)構(gòu), 句子編碼器分別使用 LSTM 和BERT; 4)RANKCP[12]是一個端對端的方法, 它從排序的角度出發(fā), 建模句子之間的內(nèi)在聯(lián)系, 句子編碼器分別使用多層次 RNN 和 BERT, 它是情感?原因句子對提取任務(wù)中最先進的基準模型。

3.4 實驗結(jié)果

表 1 展示在情感?原因句子對提取以及兩個子任務(wù)(情感句子提取和原因句子提取)中結(jié)果的比較。值得注意的是, ECPE-2D, Transition-based 和RANKCP 在使用 BERT 作為句子編碼器來獲得句子表示時, 效果有所提升, 表 1 中主要與其 BERT 版本進行比較。與所有基準模型對比, 本文模型在情感?原因句子對提取任務(wù)中的 F1 值、準確率和召回率都是最高的, 充分證明了本文模型的有效性。本文模型的 F1 值、準確率和召回率分別比 RANKCP (表現(xiàn)最優(yōu)的基準模型)提升 1.88%, 2.87%和 0.85%。對比 RANKCP 模型, 本文模型的提升主要在于準確率?？赡艿脑蚴? 本文方法關(guān)注到情感句子與原因句子之間的局部關(guān)系信息, 并能有效地將情感特定化表示、原因特定化表示以及關(guān)系表示融合在一起, 最終提升了模型的準確率。

此外, 在情感句子提取和原因句子提取兩個子任務(wù)中, 本文模型的表現(xiàn)也最佳。在情感句子抽取子任務(wù)中, 本文模型的準確率略低于 RANKCP 模型, 召回率略低于 ECPE-2D 模型, 但并不影響 F1 值的表現(xiàn), 本文模型的 F1 值仍為最高值 90.76%。在原因句子抽取子任務(wù)中, 本文模型的 F1 值、準確率和召回率都最高。由于情感?原因句子對抽取任務(wù)和兩個子任務(wù)具有相關(guān)性, 也從另一方面證明了本文方法的有效性。

3.5 情感?原因特定化表示學習的有效性驗證

為了檢驗?zāi)Ｐ颓楦刑囟ɑ硎竞驮蛱囟ɑ硎緦W習的有效性, 我們比較 BiLSTM 與 GAT 兩種神經(jīng)網(wǎng)絡(luò)及不同位置嵌入方法組合的效果, 如表 2 所示, 其中“絕對位置嵌入”代表對不同的句子位置pos (1≤pos≤|d|)進行隨機初始化, 從而得到其位置嵌入。

表1 本文模型與基準模型的比較結(jié)果(%)

說明: 粗體數(shù)字為同一評價指標的最高值, 下同。

在不使用神經(jīng)網(wǎng)絡(luò)進行情感特定化表示和原因特定化表示學習時, 模型的效果很差, 說明句子間信息交互的重要性。GAT 的效果比 BiLSTM 好, 說明將文檔建模成全連接圖并進行信息交互的方法是有效的, 圖注意力機制使句子之間的相關(guān)性更強。

對 GAT 而言, 不使用位置嵌入時模型的效果最差, 表明加入位置嵌入的必要性。使用絕對值位置嵌入與不使用位置嵌入的效果相差不大, 這是由于絕對值位置嵌入實際上只是建模了句子的絕對位置關(guān)系, 并不能很好地建模句子之間的相對位置關(guān)系, 因此并沒有帶來明顯的效果提升。本文采用的復(fù)數(shù)值位置嵌入方法能有效地將句子的位置信息融入句子向量表示中, 使得情感特定化表示和原因特定化表示更具位置相關(guān)性。

3.6 局部關(guān)系表示模塊有效性驗證

為了檢驗局部關(guān)系表示模塊的有效性, 本文根據(jù)真實標簽中情感句子與原因句子的相對距離, 將測試集劃分成相對距離≤1 和相對距離>1 兩個子集, 并在這兩個子集上對比去掉局部關(guān)系模塊和完整模型的結(jié)果(表 3)?？梢钥吹? 對于相對距離≤1 的子集, 去掉關(guān)系感知模塊之后, 模型效果只有小幅下降; 對于相對距離>1 的子集, 因為情感句子與原因句子的相對距離變大, 增大了識別難度, 所以在去掉關(guān)系感知模塊之后, 識別效果大大下降(F1,和分別下降 11.16%, 15.49%和 7.4%), 說明對于相對距離較大的情況, 本文局部關(guān)系學習模塊充分地考慮到兩者之間其他句子的信息, 從而提高了模型整體的效果。

表2 不同神經(jīng)網(wǎng)絡(luò)和位置嵌入方式的效果(%)

表3 局部關(guān)系表示模塊的效果比較(%)

表4 不同融合方式的效果(%)

3.7 MCBP 有效性驗證

4 結(jié)語

本文提出一個基于多通道壓縮雙線性池化的模型(MCBP), 對文檔中的候選句子對進行排序, 并通過消融實驗驗證每一個模塊的有效性。本文的主要貢獻如下: 1)所提模型利用 GAT 提取包含位置信息的情感特定化表示和原因特定化表示; 2)構(gòu)建局部關(guān)系學習模塊, 對情感句子與原因句子之間的局部關(guān)系進行學習, 增強遠距離句子之間的聯(lián)系; 3)使用 MCBP, 有效地融合多路特征向量表示并進行排序。實驗結(jié)果表明, 在所有參與對比的方法中, 本文方法表現(xiàn)最優(yōu)。

[1]Lee S Y M, Chen Y, Huang C R.A text-driven rule-based system for emotion cause detection // Procee-dings of the NAACL HLT 2010 Workshop on Compu-tational Approaches to Analysis and Generation of Emotion in Text.Los Angeles, 2010: 45?53

[2]Russo I, Caselli T, Rubino F, et al.Emocause: an easy-adaptable approach to emotion cause contexts // Association for Computational Linguistics.Portland, OR, 2011: 153?160

[3]Gui L, Yuan L, Xu R, et al.Emotion cause detection with linguistic construction in chinese weibo text // CCF International Conference on Natural Language Processing and Chinese Computing.Berlin: Springer, 2014: 457?464

[4]Ghazi D, Inkpen D, Szpakowicz S.Detecting emotion stimuli in emotion-bearing sentences // International Conference on Intelligent Text Processing and Com-putational Linguistics.Cham: Springer, 2015: 152? 165

[5]Song S, Meng Y.Detecting concept-level emotion cause in microblogging // Proceedings of the 24th In-ternational Conference on World Wide Web.Firenze, 2015: 119?120

[6]Cheng X, Chen Y, Cheng B, et al.An emotion cause corpus for chinese microblogs with multiple-user structures.ACM Transactions on Asian and Low-Resource Language Information Processing, 2017, 17 (1): 1?19

[7]Gui L, Hu J, He Y, et al.A question answering approach for emotion cause extraction // Proceedings of the 2017 Conference on Empirical Methods in Na-tural Language Processing.Copenhagen, 2017: 1593? 1602

[8]Li X, Song K, Feng S, et al.A co-attention neural network model for emotion cause analysis with emo-tional context awareness // Proceedings of the 2018 Conference on Empirical Methods in Natural Langu-age Processing.Brussels, 2018: 4752?4757

[9]Xia R, Zhang M, Ding Z.RTHN: a RNN-transformer hierarchical network for emotion cause extraction // Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence.Macao, 2019: 5285?5291

[10]Xia R, Ding Z.Emotion-cause pair extraction: a new task to emotion analysis in texts // Proceedings of the 57th Annual Meeting of the Association for Com-putational Linguistics.Florence, 2019: 1003?1012

[11]Ding Z, Xia R, Yu J.ECPE-2D: emotion-cause pair extraction based on joint two-dimensional represen-tation, interaction and prediction // Proceedings of the 58th Annual Meeting of the Association for Com-putational Linguistics.Seattle, 2020: 3161?3170

[12]Wei P, Zhao J, Mao W.Effective inter-clause mo-deling for end-to-end emotion-cause pair extraction // Proceedings of the 58th Annual Meeting of the Asso-ciation for Computational Linguistics.Seattle, 2020: 3171?3181

[13]Fan C, Yuan C, Du J, et al.Transition-based directed graph construction for emotion-cause pair extraction // Proceedings of the 58th Annual Meeting of the Asso-ciation for Computational Linguistics.Seattle, 2020: 3707?3717

[14]Veli?kovi? P, Cucurull G, Casanova A, et al.Graph attention networks // Proceedings of the 7th Interna-tional Conference on Learning Representations.Van-couver, 2018: 1?12

[15]Gui L, Wu D, Xu R, et al.Event-driven emotion cause extraction with corpus construction // Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing.Austin, 2016: 1639?1649

[16]Wang B, Zhao D, Lioma C, et al.Encoding word order in complex embeddings [C/OL] // Proceedings of the 8th International Conference on Learning Re-presentations.(2019?09?26) [2021?04?26].https://op enreview.net/forum?id=Hke-WTVtwr

[17]Lin T Y, RoyChowdhury A, Maji S.Bilinear CNN mo-dels for fine-grained visual recognition // Proceedings of the IEEE International Conference on Computer Vi-sion.Santiago, 2015: 1449?1457

[18]Fukui A, Park D H, Yang D, et al.Multimodal com-pact bilinear pooling for visual question answering and visual grounding // Conference on Empirical Me-thods in Natural Language Processing.Austin, 2016: 457?468

[19]Charikar M, Chen K, Farach-Colton M.Finding fre-quent items in data streams // International Collo-quium on Automata, Languages, and Programming.Berlin: Springer, 2002: 693?703

[20]Kingma D P, Ba J.Adam: a method for stochastic optimization // Proceedings of the 3th International Conference on Learning Representations.(2014?12? 22) [2020?05?20].https://arxiv.org/abs/1412.6980

[21]Wang S M, Ku L W.ANTUSD: a large Chinese sen-timent dictionary // Proceedings of the Tenth Inter-national Conference on Language Resources and Eva-luation.Portoro?, 2016: 2697?2702

An Emotion-Cause Pair Extraction Model Based on Multichannel Compact Bilinear Pooling

HUANG Jin1, XU Shi1, CAI Ercong1, WU Zhijie1, GUO Meimei1, ZHU Jia2,?

1.School of Computer Science, South China Normal University, Guangzhou 510631; 2.The Key Laboratory of Intelligent Education Technology and Application of Zhejiang Normal University, Jinhua 321004; ? Corresponding author, E-mail: jiazhu@zjnu.edu.cn

The authors propose a model based on multichannel compact bilinear pooling to rank pair candidates in a document.The proposed model firstly extracts the emotion-specific and cause-specific representation containing position information via graph attention network, then further learns the local relation representation between emotion clause and cause clause through the local relation-aware module.Finally, these representations are fused via multichannel compact bilinear pooling to learn the emotion-cause pairs representation for effective ranking.Experimental results show that the proposed approach achieves the best performance among all compared approaches on the task.

sentiment analysis; emotion-cause pair extraction; graph attention network; local relation-aware module; multichannel compact bilinear pooling

10.13209/j.0479-8023.2021.108

國家自然科學基金(62077015)資助

2021-06-08;

2021-08-13