陳 潔，李 帥，趙 姝，張燕平

安徽大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，合肥 230601

文本情感分析又稱為情感傾向性分析或意見挖掘，旨在提取文本數(shù)據(jù)中所包含的情感信息[1]，通過對文本進行分析以獲取人們的觀點、看法、態(tài)度和情感等。文本情感分析作為自然語言處理的研究熱點，在輿情分析、用戶畫像和推薦系統(tǒng)中具有很大的研究意義[2]。隨著自然語言處理技術(shù)的快速發(fā)展，研究其中的魯棒性問題變得日益重要。對自然語言處理（natural language processing，NLP）魯棒性的研究有利于學(xué)術(shù)界更加順利地理解機器學(xué)習(xí)模型的運行原理。近年來，針對NLP 領(lǐng)域的魯棒性研究不斷涌現(xiàn)，研究者從數(shù)據(jù)集[3]、表示[4]、模型[5]和評估[6]等不同的角度，對模型的魯棒性問題開展了一些研究。

模糊數(shù)據(jù)因其不確定性在模型訓(xùn)練出的原始特征空間中較難被正確分類，且影響模型的魯棒性。在實際應(yīng)用中，由于高維數(shù)據(jù)中存在著大量無效信息[7]，處理海量數(shù)據(jù)時，這些無效信息會降低模型性能，同時增加時間成本，因此需要通過特征降維來去除無效信息。特征選擇是特征降維的一個主要的方法，其本質(zhì)是從原始特征空間中刪除一些不確定信息從而獲得一個較為魯棒的特征表示。

三支決策（three-way decisions，3WD）作為處理不確定性的有效方法，一直是人們研究的熱點。論域被劃分為三個不相交的區(qū)域，即確定域（正域和負域）和不確定域，對不同的區(qū)域“分而治之”執(zhí)行不同的策略。確定域樣本可以直接訓(xùn)練下游任務(wù)分類模型，而分布在不確定域中的模糊數(shù)據(jù)存在著冗余屬性，因此需先選取合適的特征表示以便下游任務(wù)。本文基于三支決策理論研究情感分析模型的魯棒性，通過對模糊數(shù)據(jù)進行屬性挑選，構(gòu)建多粒度特征表示，降低模糊數(shù)據(jù)的不確定性，最終融合出適用于不確定域的魯棒性特征表示，增強模型的魯棒性。本文的主要貢獻包括以下三方面：

（1）提出一個不確定域特征表示的魯棒性情感分析模型（robust sentiment analysis model based on feature representation of three-way decision uncertainty domains，UFR-SA），對于較難分類的模糊數(shù)據(jù)，模型利用異類樣本間的差異性，進行屬性挑選，構(gòu)建層次化多粒度特征表示，降低模糊數(shù)據(jù)的不確定性。多粒度特征表示通過多特征融合網(wǎng)絡(luò)，融合適用于不確定域模糊數(shù)據(jù)的魯棒性特征表示，實現(xiàn)對模糊數(shù)據(jù)的劃分。

（2）提出一種多特征融合的方法，該方法由一個三層的感知網(wǎng)絡(luò)實現(xiàn)，多粒度特征表示進入網(wǎng)絡(luò)后，輸出維度不變的融合后的新特征表示，將該特征表示與原始標簽信息融合，優(yōu)化感知網(wǎng)絡(luò)參數(shù)，實現(xiàn)多粒度特征表示的融合，增強模型魯棒性。

（3）UFR-SA 模型在SST-2 數(shù)據(jù)集上取得92.70%的準確率，在SST-5 數(shù)據(jù)集上取得54.58%的準確率，在CR數(shù)據(jù)集上取得94.12%的準確率，均優(yōu)于目前最好的模型性能。

1 相關(guān)工作

1.1 情感分析研究

情感分析是自然語言處理的一個主要研究內(nèi)容，用于用戶情感信息的獲取、輿情監(jiān)測、產(chǎn)品推薦等方面，國內(nèi)外現(xiàn)階段關(guān)于情感分析的研究主要集中在基于預(yù)訓(xùn)練的方法上。預(yù)訓(xùn)練模型是指事先用數(shù)據(jù)集訓(xùn)練好模型，在遇到類似情況的時候，可以調(diào)整參數(shù)后直接使用[8]，達到節(jié)約再訓(xùn)練時間的同時也能得到較好結(jié)果的目的。最新的預(yù)訓(xùn)練模型有BERT（bidirectional encoder representations from transformers）、XLNET、ALBERT（a lite version of BERT）、Transformer等。胡任遠等[9]提出一種多層協(xié)同卷積神經(jīng)網(wǎng)絡(luò)模型MCNN（multi-level convolutional neural networks），和BERT 模型結(jié)合，提出BERT-MCNN 模型，和Word2vec-MCNN、Glove-MCNN、ELMO-MCNN 3 個模型進行對比實驗，基于BERT 的表面情感分類的能力有明顯提升。Devlin 等[10]提出基于BERT 的新方法，評分提高到80.5%（提高7.7 個百分點）。Xu 等[11]把ELMo和BERT 結(jié)合起來提出了DomBERT（domain oriented language model based on BERT）模型，在基于方面的情感分析中，顯示了良好的效果并和BERTLinear model、BERT-DK（BERT on domains knowledge）模型進行了性能比較，DomBERT 模型取得了優(yōu)良的性能。

1.2 面向特征的模型魯棒性

實際應(yīng)用中由于高維的原始特征中存在著大量的冗余屬性，導(dǎo)致部分樣本被誤分類。這些冗余的屬性使得數(shù)據(jù)的樣本分布存在著不合理的噪聲點。現(xiàn)階段關(guān)于魯棒性特征表示的提取方法有著豐富的研究。Li 等[12]通過保留圖結(jié)構(gòu)來保留全局相關(guān)性和動態(tài)局部相關(guān)性，進而篩選冗余的屬性，提高模型的魯棒性。Li 等[13]提出了一種歸一化的魯棒特征提取器，通過將數(shù)據(jù)嵌入正交空間，保證多個數(shù)據(jù)的獨立提取。Guney 等[14]提出了一種基于最小權(quán)重閾值法的高維數(shù)據(jù)集魯棒集成特征選擇技術(shù)，解決異常值問題。該方法采用支持向量分類器為特征分配權(quán)重方法，在創(chuàng)建集成列表時處理排名特征列表中的異常值。此外本文利用樣本集進行屬性挑選，再進行特征融合的方法，也可大大降低冗余屬性的干擾，提升模型的魯棒性。

1.3 三支決策模型

三支決策是姚一豫教授提出的一種分析和解決復(fù)雜決策問題的理論[15]。其主要思想是“三分而治”和“化繁為簡”，將整體分為確定域（正域、負域）和不確定域3個獨立的部分，根據(jù)收集到的信息對不同的部分采用不同的處理策略[16]。Chen 等[17]針對評論文本存在情感極性不確定的文本以及評論文本轉(zhuǎn)換成特征向量時存在維度較高、冗余屬性、忽略不同類別中的特征差異性等一系列問題，提出基于三支決策和類別特征表示的情感分析模型。將文本劃分為三部分，利用最優(yōu)特征表示和原始特征在3個域上分別進行二分類情感分析，得到模型二分類情感分析的效果。然而，此方法只考慮了確定域的信息，對不確定域的樣本信息缺少利用。模型對于不確定域樣本的處理并不能取得較好的分類結(jié)果。針對此問題，本文提出一種不確定域特征表示的魯棒性情感分析，利用不確定域異類樣本間的差異性進行屬性冗余的去除和多粒度特征表示的構(gòu)建，進而融合出適用于不確定域樣本的魯棒性特征表示。

2 模型介紹

2.1 不確定域

Pawlak 粗糙集對于接受和拒絕的條件都過于嚴厲，只有完全被正確分類的元素才歸于正域里，或只有完全錯誤的元素才歸于負域里。這樣的定義結(jié)果使得不確定域達到最大，沒有考慮分類過程中的錯誤和模型的容錯率，在實際應(yīng)用中往往難以實現(xiàn)。針對此問題，概率粗糙集概念被人們提出，對于給定一對閾值，概率粗糙集上下近似集[18]可被定義為：

根據(jù)三支決策的定義，可構(gòu)造出如下基于概率粗糙集的三支決策，確定域N和不確定域U的定義如下：

利用兩個參數(shù)來劃分三個邊界，確定域樣本用原始特征表示，不確定域中的樣本根據(jù)異類樣本的差異性，去除冗余屬性，構(gòu)造魯棒性特征表示，增強模型魯棒性。

2.2 UFR-SA模型

針對文本情感分類時出現(xiàn)模糊數(shù)據(jù)影響模型魯棒性的問題，本文提出一種不確定域特征表示的魯棒性情感分析模型（UFR-SA）。模型對不確定域中的模糊數(shù)據(jù)進行處理，降低其不確定性對模型的干擾，增強模型魯棒性。UFR-SA 的模型架構(gòu)主要包括文本嵌入模塊、不確定域多粒度特征表示構(gòu)建模塊以及多粒度特征表示融合模塊三部分。圖1 為UFRSA 模型的示意圖，本節(jié)詳細介紹了該模型的具體步驟和優(yōu)化細節(jié)。

2.2.1 文本嵌入模塊

本文采用預(yù)訓(xùn)練BERT 模型對數(shù)據(jù)進行嵌入表示。對于輸入的樣本集S={s1,s2,…,sn}包含文本信息X={x1,x2,…,xn}以及標簽信息Y={y1,y2,…,yn}。模型訓(xùn)練引入標簽信息，將類別相同的樣本視為正樣本，類別不同的樣本視為負樣本，進行對比學(xué)習(xí)，輸出為文本特征表示，以及一個標簽感知的特征表示。損失函數(shù)采用Chen 等[19]改進的對比損失函數(shù)LDual。該損失函數(shù)由標簽感知特征表示的損失函數(shù)Ly和文本特征表示的損失函數(shù)Lf兩部分組成。其中Ly損失函數(shù)的形式化定義如下：

在本文中，將標簽信息作為增強文本送入BERT中，用以獲得異類樣本之間的類別差異性信息。輸入樣本經(jīng)過文本嵌入模塊后，得到文本特征表示和標簽感知特征表示，樣本分布得到初步劃分。

2.2.2 不確定域多粒度特征表示構(gòu)建模塊

對于給定的樣本集S被概率閾值α劃分為確定域N和不確定域U。對于不確定域樣本，原始的高維特征存在著影響分類的冗余屬性。本文選取不確定域中異類樣本點對，利用異類樣本之間的差異性，消除不確定性影響，進而增強模型魯棒性，點對的選取如圖2所示。

針對誤分類率較高的不確定域，有異類樣本點si,sj∈U，異類樣本點對PAP(i,j)的形式化定義如下：

式（8）中d為樣本xi、xj之間的距離，min{}為不確定域中距離最近的樣本點對。

基于異類樣本點對PAP(i,j)，考慮異類樣本之間的差異性，進行屬性的挑選，進而實現(xiàn)多粒度特征的構(gòu)造。因不確定域樣本的模糊性，利用不確定域樣本點對構(gòu)造的多粒度特征表示，消除了原始特征的不確定性，達到了增強模型魯棒性的目的。下面是不確定域樣本多粒度特征表示構(gòu)造的具體流程：

對于給定不確定域樣本集U?S，屬性集A：

（1）取不確定域樣本集U，屬性集A；

（2）將樣本集U投影到屬性集A所構(gòu)成的特征空間；

（3）尋找樣本點si最近的異類樣本點sj構(gòu)成點對PAP(i,j)；

（4）計算點對PAP(i,j)內(nèi)各屬性的差值的絕對值，即屬性偏差值集合

（5）取屬性偏差值集合中，差值較小的前k個屬性保留，剩余屬性值均置零，構(gòu)成粒度1 的屬性集A1=A(i,j)；

（6）退回步驟（1），繼續(xù)構(gòu)造粒度的屬性集A2,A3,…,An；

（7）不確定域樣本集U內(nèi)的所有樣本均已遍歷完成，多粒度特征表示構(gòu)造結(jié)束。

根據(jù)異類樣本點對的定義，原始特征空間被分割成不同的特征子空間，即多粒度特征表示A1,A2,…,An。多粒度特征表示代表著不確定域樣本各個點對之間的差異性，在各自點對內(nèi)可較好地區(qū)分異類樣本之間的差異性。

2.2.3 多粒度特征表示融合模塊

不確定域多粒度特征表示構(gòu)建模塊生成的多粒度特征表示A1,A2,…,Ak，對不確定域單個異類樣本點對具有良好的特征表示，但由于測試樣本數(shù)據(jù)未可知，單個粒度缺乏對未知數(shù)據(jù)的適用性，模型泛化性能不佳。針對此問題，本文提出多粒度特征表示融合模塊，融合各粒度優(yōu)勢，增強模型的魯棒性。預(yù)訓(xùn)練BERT模型對數(shù)據(jù)進行嵌入，得到原始特征表示A，其中特征表示A中包含i個屬性，即A={a1,a2,…,ai-1,ai}，多粒度特征表示A1,A2,…,Ak是從同一個文本特征中挑選出的不同的屬性集合，具體形式如下：

A表示粒度特征，a表示該特征內(nèi)的屬性值，在多粒度特征表示A1,A2,…,Ak中0 表示此屬性未被保留，ai表示第i個屬性被保留，各粒度特征之間的差異性即為屬性組合的不同。本文的文本嵌入模塊輸出特征維度為768維，即i=768。多粒度特征表示融合網(wǎng)絡(luò)可形式化定義為函數(shù)F，具體如下：

式（9）中A表示多粒度特征表示，WT為多粒度特征表示融合網(wǎng)絡(luò)的參數(shù)矩陣，b為偏置值。多粒度特征表示融合網(wǎng)絡(luò)由一個輸入層為768 維、隱藏層為512維、輸出層為768維的多層感知網(wǎng)絡(luò)構(gòu)成，層與層之間的激活函數(shù)采用sigmoid函數(shù)。粒度經(jīng)過特征融合網(wǎng)絡(luò)本質(zhì)為將不同粒度的屬性值做函數(shù)F的輸入。例如粒度A1，經(jīng)過函數(shù)F后輸出一個768 維的新特征，形式化如下：

式（11）為將文本特征Z與標簽特征融合后得到的預(yù)測標簽Y。將預(yù)測標簽與真實標簽進行對比得到不確定域樣本損失LU，LU的計算方式與LDual損失相同，形式化表示如式（12）所示：

UFR-SA 通過反向傳播來優(yōu)化模型，通過最小化LU，更新模型參數(shù)優(yōu)化嵌入結(jié)果。

2.3 算法流程

UFR-SA模型采用BERT模型分別對文本信息和標簽信息進行特征表示，將標簽作為文本信息增強，以擴大類別間差異性。使用SGD 優(yōu)化器來優(yōu)化多層感知網(wǎng)絡(luò)。UFR-SA 模型的損失采用的是改進的對比學(xué)習(xí)損失函數(shù)LDual。該模型的算法流程如下：

算法1UFR-SA模型流程

3 實驗結(jié)果及分析

3.1 數(shù)據(jù)集介紹

本文的實驗在斯坦福情感樹庫（The Stanford Sentiment Treebank）SST-2、SST-5 以及CR 數(shù)據(jù)集上進行。SST-2 是一個單句子分類任務(wù)的數(shù)據(jù)集[20]，包含電影評論中的句子和它們情感的人類注釋。SST-5是一個用于情感分析任務(wù)的流行數(shù)據(jù)集[20]。它包含了11 855 部電影評論，根據(jù)其情感將其標記為以下5個類別之一：非常負面、負面、中立、積極、非常積極。CR 是一個客戶產(chǎn)品評論數(shù)據(jù)集[21]，類別分為兩類正面（positive，樣本標簽對應(yīng)為1）和負面（negative，樣本標簽對應(yīng)為0），表1總結(jié)了數(shù)據(jù)集的統(tǒng)計數(shù)據(jù)。

3.2 參數(shù)設(shè)置及評價標準

本文采用的實驗參數(shù)如表2所示，在不確定域構(gòu)建多粒度特征表示時，本文分別進行保留特征數(shù)為[128,256,512,640]的實驗，在保留特征數(shù)為512 時取得最好的實驗結(jié)果。激活函數(shù)為Sigmoid 函數(shù)，學(xué)習(xí)率lr為1.5E-10，Batch size 設(shè)置為16，Epoch 設(shè)置為100，衰減率decay 為0.01，temp 設(shè)置為0.1，不確定域樣本選取閾值α為0.95。

表2 參數(shù)設(shè)置Table 2 Parameter setting

為了證明該方法在情感分析中的有效性，本文使用平均分類精度Acc來衡量評價度量。Acc的計算公式如下：

其中，Tp為預(yù)測為積極類別的積極樣本數(shù)；Fp為預(yù)測為積極類別的消極樣本數(shù)；Tn為預(yù)測為消極類別的消極樣本數(shù)；Fn為預(yù)測為消極類別的積極樣本數(shù)。

3.3 對比算法

PAR transformer（pay attention when required transformer）模型[22]：利用具有線性復(fù)雜度的差分神經(jīng)結(jié)構(gòu)搜索算法來改進Transformer 模型。實驗表明，該模型在保持測試精度的同時，能減少63%的自注意力模塊，同時也節(jié)省了時間。

RCDA（reinforced counterfactual data augmentation）模型[23]：用一個雙分類器去聯(lián)合原始樣本和對應(yīng)的反事實樣本，引入一個強化學(xué)習(xí)框架去聯(lián)合生成任務(wù)和分類任務(wù)。

CE+SCL[24]：多分類任務(wù)中傳統(tǒng)的交叉熵損失函數(shù)導(dǎo)致泛化性能較差，對有噪聲的標簽或?qū)箻颖救狈︳敯粜浴E+SCL 模型提出監(jiān)督對比學(xué)習(xí)的思路額外添加了一個loss，目的是使同一類樣本盡可能離得近，異類樣本盡可能離得遠。使得模型對微調(diào)訓(xùn)練數(shù)據(jù)中的不同程度的噪聲具有更強的魯棒性，并且可以更好地推廣到具有有限標簽數(shù)據(jù)的相關(guān)任務(wù)。

DualCL[19]：一個對偶對比學(xué)習(xí)框架，在同一空間內(nèi)同時學(xué)習(xí)輸入樣本的特征和分類器的參數(shù)。具體來說，DualCL 將分類器的參數(shù)視為關(guān)聯(lián)到不同標簽的增強樣本，然后利用其進行輸入樣本和增強樣本之間的對比學(xué)習(xí)。

3.4 結(jié)果分析

為進一步評估本文提出的不確定域特征表示的魯棒性情感分析模型的性能，在3 個數(shù)據(jù)集SST-2、SST-5 以及CR 上進行平均分類精度對比，實驗結(jié)果如表3 所示。UFR-SA 模型在平均分類精度Acc上均取得了最優(yōu)結(jié)果。

表3 與流行算法比較（Acc）Table 3 Comparison with state-ofthe-art models(Acc) 單位：%

在文本詞嵌入同為BERT 模型的基礎(chǔ)上，UFRSA 模型在SST-2 數(shù)據(jù)集上取得92.70%的準確率，在SST-5數(shù)據(jù)集上取得54.58%的準確率，在客戶產(chǎn)品評論CR數(shù)據(jù)集上取得94.12%的準確率，結(jié)果均優(yōu)于目前最好的模型。證明了本文提出的UFR-SA 模型可以有效地消除模糊數(shù)據(jù)不確定性的影響。

3.5 消融實驗及參數(shù)分析

為了進一步驗證不確定域特征處理的有效性，本文在不同的特征維度下進行消融實驗。結(jié)果如表4所示。

表4 不同特征維度下的消融實驗（Acc）Table 4 Ablation experiments under different characteristic dimensions(Acc) 單位：%

在表4中，特征維度為不確定域樣本特征保留的長度，UFR-SA 為本文提出的不確定域特征表示的魯棒性情感分析模型，UFR-SA/wo net 為不進行多粒度特征表示融合的結(jié)果。從表4 的消融實驗結(jié)果可以看出，去除多粒度特征表示融合模塊后，相關(guān)結(jié)果都有所下降，但是結(jié)合表3 和其他算法對比結(jié)果來看，下降的幅度并不大，用UFR-SA/wo net就足以超過現(xiàn)有的對比算法，這是由于雖然本文并未采取特征表示融合模塊，但是在消融實驗中仍然采用了不確定域多粒度構(gòu)建模塊，UFR-SA/wo net 的實驗結(jié)果為利用粒度特征處理不確定樣本后的實驗結(jié)果，這進一步證明了多粒度構(gòu)建模塊構(gòu)建出的多粒度特征的有效性。UFR-SA 實驗表明模型的分類均值A(chǔ)vg 優(yōu)于不進行多粒度特征表示融合的實驗，證明了不確定域特征表示的魯棒性情感分析模型的有效性。圖3為在不同特征維度下SST-2 和CR 數(shù)據(jù)集上UFR-SA的實驗結(jié)果。

圖3 UFR-SA在不同特征維度下的實驗結(jié)果Fig.3 Experimental results of UFR-SA under different characteristic dimensions

如圖3 所示，UFR-SA 在SST-2 數(shù)據(jù)集上，當特征為384 維時取得最好的分類結(jié)果；在CR 數(shù)據(jù)集上，當特征為512 維時取得最好的分類結(jié)果。這是因為特征中冗余屬性在開始時去除較少，不足以改善模糊數(shù)據(jù)不確定性對模型的影響。當屬性去除達到臨界點之后，繼續(xù)去除特征中的屬性，將會造成樣本特征包含的信息過少，影響模型的分類效果。圖4 為在不同特征維度下SST-5 數(shù)據(jù)集上UFR-SA 的實驗結(jié)果。

圖4 UFR-SA在SST-5數(shù)據(jù)集上不同特征維度下的實驗結(jié)果Fig.4 Experimental results of UFR-SA under different characteristic dimensions on SST-5 dataset

如圖4 所示，UFR-SA 在SST-5 數(shù)據(jù)集上，當特征為512維時取得最好的分類結(jié)果。3個評論數(shù)據(jù)集上的結(jié)果均優(yōu)于目前最好的模型性能，證明了UFR-SA模型的有效性。

4 結(jié)束語

針對文本情感分析存在較難分類的模糊數(shù)據(jù)，常常會因其不確定性對模型的魯棒性產(chǎn)生較大影響的問題，本文提出一種不確定域特征表示的魯棒性情感分析模型。模型采用三支決策“分而治之”的思想，對于不易處理的不確定域中的模糊樣本，根據(jù)異類樣本間的差異性，去除屬性冗余，構(gòu)建多粒度特征表示，融合出適用于不確定域樣本的魯棒性特征表示。在多個情感分析數(shù)據(jù)集上UFR-SA 模型均取得較好的分類性能。

雖然本文提出的UFR-SA 模型提升了對不確定域樣本的處理性能，增強了模型的魯棒性，但是對于不確定域樣本的特征挑選，還存在著忽略特征之間關(guān)聯(lián)性的問題，特征挑選的合理性存在缺陷。因此在未來工作中還將針對以上問題繼續(xù)改進。