張韻琪，李松達(dá)，蘭于權(quán)，李東旭，趙 慧,2+

1.華東師范大學(xué) 軟件工程學(xué)院，上海 200062

2.華東師范大學(xué) 上海市高可信計(jì)算重點(diǎn)實(shí)驗(yàn)室，上海 200062

對(duì)于商家而言，滿(mǎn)足顧客日益增長(zhǎng)的需求對(duì)搶占市場(chǎng)份額至關(guān)重要。隨著線(xiàn)上信息交流平臺(tái)的普及，顧客對(duì)于商品反饋的信息量大幅增加。同時(shí)，顧客往往會(huì)對(duì)商品多個(gè)方面進(jìn)行評(píng)價(jià)。方面情感三元組抽?。╝spect sentiment triplet extraction，ASTE）是方面級(jí)情感分析（aspect-based sentiment analysis，ABSA）的一項(xiàng)子任務(wù)[1]，實(shí)現(xiàn)對(duì)方面詞-情感極性-觀(guān)點(diǎn)詞三元組的抽取，可以幫助商家從大量評(píng)論中挖掘顧客對(duì)商品不同方面的觀(guān)點(diǎn)和情感極性，為商家改進(jìn)商品提供具體思路，提高消費(fèi)者滿(mǎn)意度。

通過(guò)觀(guān)察可以發(fā)現(xiàn)，真實(shí)的評(píng)論中往往存在以下兩種情況：一種情況是顧客會(huì)針對(duì)同一商品的不同方面進(jìn)行評(píng)價(jià)。以“電腦已收到，這價(jià)位非常給力，但客服態(tài)度不好”為例，顧客同時(shí)評(píng)價(jià)了“價(jià)位”和“客服態(tài)度”兩個(gè)方面，并表達(dá)了不同的觀(guān)點(diǎn)和情感。另一種情況是顧客針對(duì)同一方面可能存在多種情感極性。以“顯示屏很不錯(cuò)，但是太貴了”為例，對(duì)于“顯示屏”，分別通過(guò)“很不錯(cuò)”來(lái)表達(dá)正面的情感極性，通過(guò)“太貴”表達(dá)負(fù)面的情感極性。

目前，針對(duì)ASTE 任務(wù)的模型主要可分為兩類(lèi)：流水線(xiàn)模型和端到端模型。

流水線(xiàn)模型[2]將ASTE 任務(wù)分為兩階段：第一階段基于兩個(gè)序列標(biāo)注任務(wù)，分別預(yù)測(cè)方面詞-情感極性對(duì)和觀(guān)點(diǎn)詞；第二階段基于分類(lèi)器，判斷方面詞-情感極性對(duì)和觀(guān)點(diǎn)詞是否匹配。在預(yù)測(cè)方面詞-情感極性對(duì)的時(shí)候，模型采用了一種統(tǒng)一標(biāo)注方式，把方面詞的邊界信息和情感極性融入一個(gè)標(biāo)簽。但是，該方式?jīng)]有考慮觀(guān)點(diǎn)詞對(duì)判斷情感極性的影響，而且無(wú)法解決三元組方面詞重疊問(wèn)題。以“顯示屏不錯(cuò)，但是太貴了”為例，其中包含（“顯示屏”，正面，“不錯(cuò)”）和（“顯示屏”，負(fù)面，“太貴”）兩個(gè)三元組。針對(duì)“顯示屏”這一方面詞，同時(shí)存在兩種情感極性。但是，對(duì)于同一方面詞，上述標(biāo)注方式只能標(biāo)注出一種情感極性。

端到端模型[3-4]將ASTE 任務(wù)分為方面詞和觀(guān)點(diǎn)詞抽取以及情感極性分類(lèi)兩個(gè)子任務(wù)，在兩項(xiàng)子任務(wù)中共享編碼器進(jìn)行多任務(wù)學(xué)習(xí)。方面詞和觀(guān)點(diǎn)詞抽取子任務(wù)的難點(diǎn)在于確定詞的邊界。以“耳機(jī)盒好看”為例，方面詞應(yīng)為“耳機(jī)盒”，如果方面詞邊界識(shí)別錯(cuò)誤，可能得到結(jié)果“耳機(jī)”。情感極性分類(lèi)子任務(wù)的難點(diǎn)在于正確配對(duì)方面詞和觀(guān)點(diǎn)詞，并判斷情感極性。以“物流很快，但質(zhì)量很差”為例，“物流-很差”雖然語(yǔ)義合理，但不是對(duì)應(yīng)關(guān)系。兩項(xiàng)子任務(wù)難點(diǎn)不同，導(dǎo)致二者所需學(xué)習(xí)的特征信息之間存在差異。然而，共享編碼器為兩項(xiàng)子任務(wù)提取特征是相同的，導(dǎo)致模型在多任務(wù)學(xué)習(xí)過(guò)程中易出現(xiàn)特征混淆問(wèn)題[5-6]，兩項(xiàng)子任務(wù)無(wú)法同時(shí)達(dá)到最佳效果。

針對(duì)上述問(wèn)題，本文提出了片段級(jí)別的雙編碼器方面情感三元組抽取模型（span-level dual-encoder model for ASTE，SD-ASTE）。該模型是一個(gè)由片段識(shí)別和情感分類(lèi)兩模塊構(gòu)成的流水線(xiàn)模型。兩模塊分別完成方面詞和觀(guān)點(diǎn)詞抽取以及情感極性分類(lèi)，采用相互獨(dú)立的編碼器學(xué)習(xí)各自所需的特征信息。片段識(shí)別模塊側(cè)重于學(xué)習(xí)方面詞和觀(guān)點(diǎn)詞的邊界信息，情感分類(lèi)模塊側(cè)重于針對(duì)不同方面詞-觀(guān)點(diǎn)詞對(duì)，學(xué)習(xí)三元組各元素之間的相互依賴(lài)關(guān)系。

1 相關(guān)研究

ASTE 任務(wù)由Peng 等人[2]提出，Peng 等人采用流水線(xiàn)模型將任務(wù)分成兩階段，第一階段分別預(yù)測(cè)方面詞-情感極性對(duì)和觀(guān)點(diǎn)詞，第二階段將二者配對(duì)。該流水線(xiàn)模型判斷情感極性時(shí)，沒(méi)有考慮觀(guān)點(diǎn)詞，而且無(wú)法解決方面詞重疊問(wèn)題，加重了誤差積累問(wèn)題。

之后，開(kāi)始有研究者采用端到端模型完成該任務(wù)。Xu 等人[7]提出了一種采用位置感知標(biāo)注方式的模型JET（joint extraction of triplets），在BIOES 序列標(biāo)注方式中融入觀(guān)點(diǎn)詞和方面詞之間的位置信息。為了更好地確定方面詞和觀(guān)點(diǎn)詞的邊界，Wu 等人[8]提出了一種網(wǎng)格標(biāo)注方式GTS（grid tagging scheme），對(duì)句子中的單詞兩兩進(jìn)行標(biāo)注，除了單詞之間的情感極性之外，還標(biāo)注出了兩個(gè)單詞是否屬于同一個(gè)方面詞或同一個(gè)觀(guān)點(diǎn)詞。

上述模型在判斷情感極性時(shí)都只利用了單詞級(jí)別（word-level）的信息，沒(méi)有充分利用方面詞和觀(guān)點(diǎn)詞片段級(jí)別（span-level）的信息。

受到實(shí)體關(guān)系聯(lián)合抽取相關(guān)工作的啟發(fā)，Xu 等人[4]進(jìn)一步優(yōu)化JET 模型，基于片段排列[9-10]的思想，提出Span-ASTE（span-level model for ASTE）模型。該模型采用雙通道片段修剪策略確定方面詞和觀(guān)點(diǎn)詞，再?gòu)钠谓嵌阮A(yù)測(cè)候選方面詞-觀(guān)點(diǎn)詞對(duì)的情感極性。而Mukherjee 等人[3]基于指針網(wǎng)絡(luò)[11]的解碼方式，提出PASTE（pointer networks for ASTE）模型，其核心是一個(gè)編碼-解碼框架。在編碼階段，基于預(yù)訓(xùn)練模型，獲得片段特征表示。在解碼階段，在方面情感三元組中融入位置信息（方面詞和觀(guān)點(diǎn)詞的起始位置），轉(zhuǎn)換成五元組。該模型針對(duì)三元組重疊問(wèn)題有了很大的提升。

機(jī)器閱讀理解（machine reading comprehension，MRC）為ASTE任務(wù)提供了另一種思路。Chen等人[12]提出模型BMRC（bidirectional machine reading comprehension），通過(guò)三輪MRC 任務(wù)完成了ASTE 任務(wù)。首先，分別查詢(xún)?nèi)糠矫嬖~和觀(guān)點(diǎn)詞；隨后，將方面詞和觀(guān)點(diǎn)詞進(jìn)行配對(duì)；最后，查詢(xún)方面詞-觀(guān)點(diǎn)詞對(duì)的情感極性。Mao 等人[13]通過(guò)兩個(gè)BERT-MRC 模型共享參數(shù)進(jìn)行聯(lián)合訓(xùn)練，先查詢(xún)出句子中的方面詞，然后根據(jù)方面詞，查詢(xún)其觀(guān)點(diǎn)詞-情感極性對(duì)。

也有學(xué)者將ASTE任務(wù)建模為生成任務(wù)。Yan等人[14]引入了指針?biāo)饕硎揪渥又蟹矫嬖~和觀(guān)點(diǎn)詞的起始和結(jié)束位置，采用生成式框架，利用預(yù)訓(xùn)練模型BART（bidirectional and auto-regressive transformers），生成由方面詞指針?biāo)饕?、觀(guān)點(diǎn)詞指針?biāo)饕颓楦袠O性類(lèi)別組成的序列。Lu 等人[15]提出了一個(gè)文本到結(jié)構(gòu)的生成框架UIE（unified information extraction architecture），通過(guò)一種結(jié)構(gòu)化抽取語(yǔ)言（structured extraction language，SEL）編碼方面情感三元組，并設(shè)計(jì)了結(jié)構(gòu)模式指導(dǎo)器（structural schema instructor，SSI）來(lái)控制UIE模型的生成。

2 方法和模型

2.1 問(wèn)題定義

給定數(shù)據(jù)集D，輸入序列為語(yǔ)句X=[w1,w2,…,wn]，ASTE任務(wù)的目標(biāo)是抽取出X中所有方面情感三元組構(gòu)成的集合T={t1,t2,…,tk}，ti=(Ai,Pi,Oi)，其中，Ai和Oi分別表示方面詞和觀(guān)點(diǎn)詞，Pi∈{Pos,Neg,Neu}表示二者對(duì)應(yīng)的情感極性，Pos、Neg和Neu分別表示正面、負(fù)面和中性情感。

定義1（片段）設(shè)si,j為輸入序列X的一個(gè)片段，表示X的子序列[wi,wi+1,…,wj]，其中1 ≤i≤j≤n。

定義2（片段類(lèi)別集合）設(shè)片段類(lèi)別集合為C={A,O,NC}，其中，A表示方面詞片段，O表示觀(guān)點(diǎn)詞片段，NC表示無(wú)意義片段。

給定片段si,j，片段識(shí)別旨在預(yù)測(cè)其類(lèi)別c∈C的概率分布函數(shù)P(c|si,j)，最大化概率，得到最優(yōu)類(lèi)別LC(i,j)。輸出為方面詞集合SA和觀(guān)點(diǎn)詞集合SO。

定義3（片段對(duì)）設(shè)片段對(duì)為(si,j,sp,q)，其中，si,j∈SA是方面詞片段，sp,q∈SO是觀(guān)點(diǎn)詞片段。

定義4（情感極性集合）設(shè)情感極性集合為V={Pos,Neg,Neu,NV}，其中，NV表示無(wú)情感。

給定片段對(duì)(si,j,sp,q)，情感分類(lèi)旨在預(yù)測(cè)其情感極性v∈V的概率分布函數(shù)P(v|si,j,sp,q)，最大化概率，得到最優(yōu)情感極性L(fǎng)V(si,j,sp,q)。輸出為方面情感三元組集合T。

基于上述任務(wù)定義，本文提出了片段級(jí)別的雙編碼器方面情感三元組抽取模型SD-ASTE，圖1示意了模型結(jié)構(gòu)，包括片段識(shí)別模塊和情感分類(lèi)模塊。

圖1 SD-ASTE模型結(jié)構(gòu)Fig.1 Structure of SD-ASTE

2.2 片段識(shí)別模塊

該模塊首先采用TPL（token pair linking）方式，標(biāo)注所有片段的類(lèi)別，構(gòu)建詞元之間的聯(lián)系。其次，基于BERT（bidirectional encoder representations from transformers）模型[16]得到輸入序列的特征向量。然后，基于片段邊界和長(zhǎng)度信息，對(duì)片段進(jìn)行特征表示。最后，通過(guò)前饋神經(jīng)網(wǎng)絡(luò)（feedforward neural network，F(xiàn)NN）學(xué)習(xí)片段特征信息，對(duì)片段進(jìn)行分類(lèi)，得到所有方面詞片段和觀(guān)點(diǎn)詞片段。

2.2.1 TPL標(biāo)注層

TPL 標(biāo)注的標(biāo)簽集合為C?{U}={A,O,NC,U}。設(shè)標(biāo)注矩陣為T(mén)C。若1 ≤j-i+1 ≤L且i≤j，則標(biāo)注TC(i,j)為si,j片段類(lèi)別；否則標(biāo)注為U。其中L為超參數(shù)，是片段長(zhǎng)度閾值。圖2為L(zhǎng)=5的標(biāo)注結(jié)果。

圖2 TPL標(biāo)注方式Fig.2 TPL tagging scheme

2.2.2 編碼層

編碼層基于BERT 對(duì)輸入序列編碼。對(duì)于輸入序列X=[w1,w2,…,wn]，先獲取其字嵌入向量、段嵌入向量和位置嵌入向量，BERT 將三種向量相加，再通過(guò)Transformer得到特征向量E=[e1,e2,…,en]。

2.2.3 片段表示層

片段表示層對(duì)每個(gè)片段進(jìn)行特征表示，由片段首尾特征表示和片段長(zhǎng)度嵌入表示兩部分構(gòu)成。對(duì)于片段si,j，其首尾詞元分別為wi和wj，那么在特征向量E中，其首尾對(duì)應(yīng)的特征表示分別為ei和ej；其長(zhǎng)度為j-i+1 ∈[1,L]，對(duì)片段長(zhǎng)度構(gòu)造獨(dú)熱向量x=[x1,x2,…,xL]，其中xj-i+1=1，將x輸入到一個(gè)全連接層，得到長(zhǎng)度j-i+1的嵌入表示l(j-i+1)：

其中，W和b是模型要學(xué)習(xí)的權(quán)重矩陣和偏置向量。

將片段首尾特征表示和長(zhǎng)度嵌入表示拼接，得到片段si,j的特征表示hspan(si,j)，具體如下：

2.2.4 片段分類(lèi)層

對(duì)于片段表示層的輸出hspan(si,j)，將其輸入到一個(gè)兩層FNN 中，通過(guò)softmax 函數(shù)歸一化，得到片段si,j的類(lèi)別c∈C的概率分布：

通過(guò)公式，得到片段最優(yōu)類(lèi)別標(biāo)簽：

最終，輸出方面詞集合SA={si,j|LC(i,j)=A}和觀(guān)點(diǎn)詞集合SO={si,j|LC(i,j)=O}。

模型訓(xùn)練過(guò)程中，損失函數(shù)為交叉熵?fù)p失：

其中，TC(i,j)是片段si,j的真實(shí)類(lèi)別標(biāo)注。

2.3 情感分類(lèi)模塊

基于片段識(shí)別模塊的輸出，該模塊首先通過(guò)SPL（span pair linking）方式，標(biāo)注所有片段對(duì)的情感極性，構(gòu)建片段之間的聯(lián)系。其次，在輸入序列末尾插入懸浮標(biāo)記[17]，并針對(duì)附加懸浮標(biāo)記的輸入序列，設(shè)計(jì)位置嵌入向量和注意力掩碼矩陣，通過(guò)BERT 得到特征向量。然后，基于懸浮標(biāo)記對(duì)片段對(duì)進(jìn)行特征表示。最后，通過(guò)FNN 學(xué)習(xí)片段對(duì)的特征信息，分類(lèi)片段對(duì)的情感極性，得到所有方面情感三元組。

2.3.1 SPL標(biāo)注層

SPL 標(biāo)注的標(biāo)簽集合為V={Pos,Neg,Neu,NV}。設(shè)標(biāo)注矩陣為T(mén)V。將TV(si,j,sp,q)標(biāo)注為片段對(duì)(si,j,sp,q)的情感極性。圖3為一個(gè)SPL標(biāo)注的示例。

圖3 SPL標(biāo)注方式Fig.3 SPL tagging scheme

2.3.2 編碼層

編碼層在原始輸入序列中插入懸浮標(biāo)記，通過(guò)BERT，對(duì)附加懸浮標(biāo)記的輸入序列進(jìn)行編碼。

第一步，插入懸浮標(biāo)記。對(duì)于輸入序列X中所有可能的片段對(duì)，在序列末尾插入懸浮標(biāo)記[A]和[A]用于標(biāo)記方面詞，插入懸浮標(biāo)記[O]和[O]用于標(biāo)記觀(guān)點(diǎn)詞，得到附加懸浮標(biāo)記的輸入序列X′=[x1′,x2′,…,xn′,…,xm′]。

第二步，設(shè)計(jì)BERT 輸入中的位置嵌入向量。在附加懸浮標(biāo)記的輸入序列中，同一片段的懸浮標(biāo)記可能出現(xiàn)在多個(gè)不同的位置。以圖1輸入序列為例，綠色[O]均對(duì)應(yīng)“有”，但在X′中的位置索引不同。此外，本文基于懸浮標(biāo)記對(duì)片段對(duì)進(jìn)行特征表示，因此懸浮標(biāo)記應(yīng)該學(xué)習(xí)到其對(duì)應(yīng)片段所在位置的上下文特征。因此，需要把懸浮標(biāo)記的位置嵌入與其對(duì)應(yīng)片段的位置嵌入關(guān)聯(lián)起來(lái)。對(duì)于片段si,j∈SA和sp,q∈SO，其懸浮標(biāo)記的位置嵌入為：

其中，e′pINDEX(?)表示懸浮標(biāo)記對(duì)應(yīng)的位置嵌入，[A:si,j]和[A:si,j]、[O:sp,q]和[O:sp,q]分別表示si,j和sp,q的起始和終止懸浮標(biāo)記。

第三步，在BERT 輸入中設(shè)置注意力掩碼矩陣。Transformer 通過(guò)自注意力機(jī)制計(jì)算序列中每個(gè)詞元與所有詞元的相互關(guān)系，再利用這種關(guān)系調(diào)整詞元的特征表示。而文本詞元的含義與懸浮標(biāo)記無(wú)關(guān)，因此在編碼過(guò)程中，文本詞元不需要考慮懸浮標(biāo)記。本文通過(guò)設(shè)置注意力掩碼矩陣來(lái)解決該問(wèn)題。如果wi′為文本詞元，wj′為懸浮標(biāo)記，則令注意力掩碼矩陣M的元素mij=0；否則，令mij=1。這樣，在計(jì)算文本詞元wi′和其他詞元的相互關(guān)系時(shí)，BERT 會(huì)對(duì)wj′掩碼，從而不考慮wj′對(duì)wi′的影響。

第四步，將上述位置嵌入向量、注意力掩碼矩陣和X′ 輸入 BERT，得到X′ 特征向量E′=[e′1,e′2,…,e′m]。

2.3.3 片段對(duì)表示層

片段對(duì)表示層實(shí)現(xiàn)每組片段對(duì)的特征表示。對(duì)于片段對(duì)(si,j,sp,q)，其特征表示由兩個(gè)片段的起始懸浮標(biāo)記的特征表示拼接而成：

其中，INDEX(?)表示懸浮標(biāo)記在X′中的下標(biāo)索引。

2.3.4 情感極性分類(lèi)層

對(duì)于片段對(duì)表示層的輸出hpair(si,j,sp,q)，將其輸入到兩層FNN 中。通過(guò)softmax 函數(shù)歸一化，得到片段對(duì)(si,j,sp,q)情感極性v∈V的概率分布：

通過(guò)公式，得到其最優(yōu)情感極性標(biāo)簽：

最終，得到方面情感三元組集合T={(si,j,LV(si,j,sp,q),sp,q)|LV(si,j,sp,q)≠NV}。

模型訓(xùn)練過(guò)程中，損失函數(shù)采用交叉熵?fù)p失：

其中，TV(si,j,sp,q)是片段對(duì)(si,j,sp,q)的真實(shí)情感極性標(biāo)注。

3 實(shí)驗(yàn)設(shè)計(jì)及結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文在三個(gè)數(shù)據(jù)集上對(duì)模型進(jìn)行了評(píng)估。數(shù)據(jù)集1（DS1）來(lái)自《CCF-BDCI 2018 汽車(chē)行業(yè)用戶(hù)觀(guān)點(diǎn)主題及情感識(shí)別》，是汽車(chē)論壇評(píng)論，包含觀(guān)點(diǎn)詞、方面類(lèi)別、情感極性三個(gè)字段。DS1在原數(shù)據(jù)集的基礎(chǔ)上標(biāo)注了方面詞[18]。數(shù)據(jù)集2（DS2）來(lái)自《之江杯電商評(píng)論觀(guān)點(diǎn)挖掘大賽》，包含觀(guān)點(diǎn)詞、方面詞、情感極性三個(gè)字段，是化妝品相關(guān)的商品評(píng)論。數(shù)據(jù)集3（DS3）來(lái)自《基于主題的文本情感分析比賽》，是電商評(píng)論，包含觀(guān)點(diǎn)詞、方面詞、情感極性三個(gè)字段，其涉及的商品類(lèi)別更加廣泛。

過(guò)濾方面詞或觀(guān)點(diǎn)詞為空的數(shù)據(jù)，按6∶2∶2將其劃分為訓(xùn)練集（train）、驗(yàn)證集（dev）、測(cè)試集（test）。實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)Table 1 Statistics of datasets

3.2 實(shí)驗(yàn)設(shè)計(jì)

3.2.1 對(duì)比實(shí)驗(yàn)

該實(shí)驗(yàn)用于對(duì)比SD-ASTE模型和其他基線(xiàn)模型的效果。本文對(duì)比的模型包括以下方法：

PengTwoStage[2]：基于雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（bi-directional long short-term memory，BiLSTM）和圖卷積網(wǎng)絡(luò)（graph convolutional networks，GCN）的兩階段流水線(xiàn)模型。

BMRC[12]：通過(guò)三輪MRC 任務(wù)，分別實(shí)現(xiàn)方面詞抽取、觀(guān)點(diǎn)詞抽取和情感極性判斷。

BARTABSA[14]：基于BART 完成序列生成任務(wù)，再將其轉(zhuǎn)換為方面情感三元組。

JET-BERT[7]：提出位置感知標(biāo)注方式，模型核心是條件隨機(jī)場(chǎng)和半馬爾科夫條件隨機(jī)場(chǎng)。

GTS-BERT[8]：提出網(wǎng)格標(biāo)注方式，用于解決方面情感三元組重疊問(wèn)題。

PASTE[3]：基于指針網(wǎng)絡(luò)的解碼思想，考慮了方面詞和觀(guān)點(diǎn)詞片段級(jí)別的信息。

Span-ASTE[4]：基于片段排列的思想，并提出雙通道片段修剪策略，用于確定方面詞和觀(guān)點(diǎn)詞。

3.2.2 有效性實(shí)驗(yàn)

該實(shí)驗(yàn)用于驗(yàn)證本文提出的片段特征表示、片段對(duì)特征表示和編碼方式的有效性。表2 示意了實(shí)驗(yàn)具體設(shè)計(jì)。

表2 有效性實(shí)驗(yàn)設(shè)計(jì)Table 2 Design of validity experiments

對(duì)于片段特征表示，采用以下方式進(jìn)行實(shí)驗(yàn)：方式1將片段首尾特征和長(zhǎng)度嵌入拼接，即本文采用的方式；方式2 在方式1 的基礎(chǔ)上去除長(zhǎng)度嵌入；方式3從輸入序列的特征向量中，獲取片段對(duì)應(yīng)的特征向量，對(duì)其進(jìn)行最大池化；方式4 將方式3 中的最大池化替換為平均池化。

對(duì)于片段對(duì)特征表示，采用以下方式進(jìn)行實(shí)驗(yàn)：方式1 將方面詞和觀(guān)點(diǎn)詞對(duì)應(yīng)的起始懸浮標(biāo)記的特征表示拼接，即本文采用的方式；方式2參考PASTE[3]和Span-ASTE[4]模型的方式，將片段特征表示和片段之間的距離嵌入拼接。

對(duì)于編碼方式，端到端方法認(rèn)為，在方面詞和觀(guān)點(diǎn)詞識(shí)別子任務(wù)以及情感極性分類(lèi)子任務(wù)中共享編碼器，可以使兩項(xiàng)子任務(wù)相互促進(jìn)。而SD-ASTE 模型通過(guò)兩個(gè)獨(dú)立編碼器對(duì)兩階段分別編碼。因此，本文在SD-ASTE模型的兩個(gè)階段中采用一個(gè)共享編碼器，修改模型損失為兩階段損失之和，進(jìn)行實(shí)驗(yàn)。

3.3 實(shí)驗(yàn)設(shè)置

對(duì)于PengTwoStage，基于本文的數(shù)據(jù)集訓(xùn)練300維GloVe[19]向量，作為詞嵌入模型。BARTABSA 采用bart-base-chinese[20]作為預(yù)訓(xùn)練模型。其余模型均采用bert-base-chinese[16]作為預(yù)訓(xùn)練模型。

模型在單Nvidia GeForceRTX-3090 Ti GPU 上訓(xùn)練。實(shí)驗(yàn)機(jī)器的操作系統(tǒng)為L(zhǎng)inux Ubuntu 20.04，內(nèi)存為32 GB，Python 版本為3.8.0，深度學(xué)習(xí)框架為PyTorch 1.10.2。表3 示意了SD-ASTE 模型的實(shí)驗(yàn)參數(shù)設(shè)置。

表3 實(shí)驗(yàn)參數(shù)設(shè)置Table 3 Experimental parameter setting

3.4 實(shí)驗(yàn)結(jié)果

本文采用精確率、召回率和F1 值作為模型評(píng)估標(biāo)準(zhǔn)。實(shí)驗(yàn)重復(fù)三次，取結(jié)果的平均值。

3.4.1 對(duì)比實(shí)驗(yàn)

該實(shí)驗(yàn)對(duì)比了SD-ASTE模型和其他基線(xiàn)模型的效果，實(shí)驗(yàn)結(jié)果如表4所示。

表4 對(duì)比實(shí)驗(yàn)結(jié)果Table 4 Results of comparative experiments 單位：%

結(jié)果表明，本文提出的SD-ASTE 模型在三個(gè)數(shù)據(jù)集上的效果都是最優(yōu)的。

相較于流水線(xiàn)最優(yōu)模型PengTwoStage，SD-ASTE模型在三個(gè)數(shù)據(jù)集上的F1 值分別提高了18.56 個(gè)百分點(diǎn)、23.07 個(gè)百分點(diǎn)、18.34 個(gè)百分點(diǎn)。這一顯著提升是因?yàn)镾D-ASTE 采用SPL 標(biāo)注方式，避免了三元組重疊問(wèn)題。同時(shí)，本文提出的基于懸浮標(biāo)記的片段對(duì)特征表示方式，可以更好地學(xué)習(xí)三元組各元素之間的依賴(lài)關(guān)系，從而更準(zhǔn)確地判斷情感極性。

相較于端到端最優(yōu)模型Span-ASTE，SD-ASTE模型在三個(gè)數(shù)據(jù)集上的F1值分別提高了2.88個(gè)百分點(diǎn)、2.24 個(gè)百分點(diǎn)、2.08 個(gè)百分點(diǎn)。分析認(rèn)為，SDASTE 模型在兩模塊采用獨(dú)立編碼器，并針對(duì)兩模塊分別設(shè)計(jì)了特征表示方式，可以更好地學(xué)習(xí)兩模塊各自需要的特征。

3.4.2 有效性實(shí)驗(yàn)

該實(shí)驗(yàn)分別驗(yàn)證了片段特征表示方式、片段對(duì)特征表示方式和編碼方式的有效性，圖4（a）～（c）示意了實(shí)驗(yàn)結(jié)果。

圖4 有效性實(shí)驗(yàn)結(jié)果Fig.4 Results of validity experiments

片段特征表示方式的實(shí)驗(yàn)結(jié)果表明，片段長(zhǎng)度和首尾特征信息在片段識(shí)別過(guò)程中起到了重要作用，這兩項(xiàng)信息可以幫助模型更好地確定片段邊界。

片段對(duì)特征表示方式的實(shí)驗(yàn)結(jié)果表明，本文采用的方式對(duì)情感極性分類(lèi)的效果有明顯提升。這種特征表示方式可以針對(duì)不同片段對(duì)，更有效地學(xué)習(xí)方面詞和觀(guān)點(diǎn)詞之間的依賴(lài)關(guān)系，從而提取更多有助于情感極性分類(lèi)的特征信息。

編碼方式的實(shí)驗(yàn)結(jié)果表明，共享編碼不能幫助提高情感三元組抽取的結(jié)果，而采用兩個(gè)獨(dú)立的編碼器可以更好地提取不同任務(wù)所需的特征，有效提升了模型整體的效果。

4 結(jié)束語(yǔ)

ASTE 任務(wù)是細(xì)粒度的方面級(jí)情感分析任務(wù)，其目的是抽取句子中所有方面情感三元組。目前ASTE 任務(wù)面臨以下問(wèn)題：流水線(xiàn)模型沒(méi)有考慮觀(guān)點(diǎn)詞對(duì)判斷情感極性的影響，且無(wú)法解決三元組重疊問(wèn)題；而端到端模型采用共享編碼器，存在特征混淆問(wèn)題。

本文提出了片段級(jí)別的雙編碼器方面情感三元組抽取模型SD-ASTE。該模型分為片段識(shí)別和情感分類(lèi)兩模塊，分別采用TPL 和SPL 標(biāo)注方式，解決了三元組重疊問(wèn)題。片段識(shí)別模塊采用融入片段首尾和長(zhǎng)度信息的片段特征表示方式，可以更好地確定方面詞和觀(guān)點(diǎn)詞的邊界。情感分類(lèi)模塊采用基于懸浮標(biāo)記的片段對(duì)特征表示方式，可以更有效地針對(duì)不同片段對(duì)，學(xué)習(xí)三元組各元素之間的依賴(lài)關(guān)系。兩模塊各自通過(guò)一個(gè)獨(dú)立編碼器進(jìn)行特征提取，避免了特征混淆問(wèn)題。多個(gè)數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)驗(yàn)證了SD-ASTE 相比其他主流模型具有更優(yōu)效果，有效性實(shí)驗(yàn)驗(yàn)證了本文所采用的片段特征表示方式、片段對(duì)特征表示方式和編碼方式的有效性。

目前，ASTE 任務(wù)的數(shù)據(jù)集主要集中于商品評(píng)論這一場(chǎng)景，下一步工作將針對(duì)其他場(chǎng)景，探索基于遷移學(xué)習(xí)、半監(jiān)督學(xué)習(xí)或無(wú)監(jiān)督學(xué)習(xí)的方法。