• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      注意力機(jī)制在情感分析中的應(yīng)用研究

      2022-11-22 01:45:34王宇欣方浩宇
      關(guān)鍵詞:注意力模態(tài)神經(jīng)網(wǎng)絡(luò)

      王宇欣,方浩宇,張 偉,韓 普

      (南京郵電大學(xué),江蘇 南京 210003)

      0 引 言

      情感分析也稱意見挖掘、文本傾向性分析[1]。用戶情感分析對(duì)互聯(lián)網(wǎng)治理、用戶需求分析和網(wǎng)絡(luò)輿情傳播及引導(dǎo)發(fā)揮著重要作用,近些年成為社會(huì)各界的關(guān)注熱點(diǎn)。傳統(tǒng)的情感分析需要依賴情感詞典和人工規(guī)則,無(wú)法勝任復(fù)雜任務(wù)的情感分析任務(wù)。近些年,循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)等神經(jīng)網(wǎng)絡(luò)模型成為情感分析的主流研究方法。為提高深度學(xué)習(xí)中神經(jīng)網(wǎng)絡(luò)模型的可解釋性,使其準(zhǔn)確捕捉文本或語(yǔ)句中的關(guān)鍵情感詞,減少噪音干擾,具有顯著目標(biāo)檢測(cè)功能的注意力機(jī)制得到了廣泛應(yīng)用。

      Bahdanau等[2]最初將注意力機(jī)制應(yīng)用于機(jī)器翻譯任務(wù),借鑒圖像處理任務(wù)中的注意力思想,對(duì)關(guān)鍵信息準(zhǔn)確提取,提高了模型生成譯文的質(zhì)量。注意力機(jī)制不僅應(yīng)用于機(jī)器翻譯[2-3]、序列標(biāo)注[4-5]和問答系統(tǒng)[6-7]等任務(wù),而且常用于情感分析研究。在不同任務(wù)中,注意力機(jī)制都展現(xiàn)出了對(duì)長(zhǎng)距離依賴關(guān)系的較強(qiáng)捕捉能力。鑒于以上考慮,該文從注意力機(jī)制概念和分類、與神經(jīng)網(wǎng)絡(luò)和特征的融合及多模態(tài)情感分析中的應(yīng)用進(jìn)行系統(tǒng)全面地分析。

      1 注意力機(jī)制的概念及分類

      1.1 注意力機(jī)制的概念

      1980年,Treisman等[8]針對(duì)視覺早期加工問題提出了注意的特征整合理論,該理論將注意力的選擇機(jī)制分為檢測(cè)獨(dú)立特征的前注意階段,以及可在獨(dú)立特征之間建立聯(lián)系,定位特征信息的注意階段。前注意階段收集并編碼環(huán)境中有關(guān)特征,但該階段并不能為后續(xù)處理過程提供直接空間關(guān)系,與注意并無(wú)關(guān)聯(lián)。而注意階段則是對(duì)前期收集的物體特征進(jìn)行邏輯加工,整合得出該物體輪廓,并同已知的物體描述進(jìn)行比較,得出需重點(diǎn)關(guān)注的特征。視覺注意力的特征整合理論具有自上而下加工、局部交互等特性,為深度學(xué)習(xí)中注意力機(jī)制的產(chǎn)生奠定了一定的理論基礎(chǔ)。注意力機(jī)制體現(xiàn)了與視覺注意力相似的工作原理。,它結(jié)合了外部信息及內(nèi)部感知,在神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)輸入數(shù)據(jù)的關(guān)鍵信息后,通過不斷學(xué)習(xí)提高注意力對(duì)目標(biāo)區(qū)域的觀察精度,高效地分配有限資源。

      最早的注意力機(jī)制應(yīng)用于機(jī)器翻譯領(lǐng)域[2],該機(jī)制基于Encoder-Decoder框架[9]搭建,通過將輸入序列轉(zhuǎn)化為固定長(zhǎng)度的向量實(shí)現(xiàn)編碼,再將此前生成的固定長(zhǎng)度向量轉(zhuǎn)化為輸出序列即完成解碼。其中,輸入序列表示為X={x1,x2,…,xm},輸出序列表示為Y={y1,y2,…,yn},輸入序列通過編碼模塊的非線性變換轉(zhuǎn)化成語(yǔ)義編碼C,再將其輸入到解碼模塊轉(zhuǎn)化為輸出序列Y,具體計(jì)算公式如下:

      C=F(x1,x2,…,xm)

      (1)

      yi=G(C,y1,y2,…,yi-1)

      (2)

      該框架中引入注意力機(jī)制來(lái)解決序列長(zhǎng)度增加導(dǎo)致解碼精確性下降的問題,在編碼解碼過程中加入隱藏向量序列hi(i=1,2,…,n),可使模型借助輸入序列傳遞的信息有選擇性地篩選子集進(jìn)行解碼,其計(jì)算公式如下:

      (3)

      假設(shè)查詢?yōu)镼,數(shù)據(jù)源為S,關(guān)鍵字為K,權(quán)重為V,注意力值為A,序列中以鍵值對(duì)(K,V)的形式來(lái)儲(chǔ)存源文本上下文中每一個(gè)元素,則注意力機(jī)制是Q到一系列鍵值對(duì)(K,V)的映射函數(shù)。其中,注意力機(jī)制先計(jì)算qt與ki的相似度,得到注意力得分ei,相似度越高,表明某元素對(duì)于查詢目標(biāo)越重要,ei值越大;再用softmax函數(shù)對(duì)注意力得分ei進(jìn)行歸一化處理,突出重要元素的權(quán)重;最后根據(jù)權(quán)重系數(shù)對(duì)V值進(jìn)行加權(quán)求和,獲得注意力值A(chǔ),具體計(jì)算公式如下:

      eti=F(qt,ki)

      (4)

      (5)

      (6)

      1.2 注意力機(jī)制的分類

      (1)全局注意力機(jī)制與局部注意力機(jī)制。

      根據(jù)關(guān)注范圍,可分為全局注意力機(jī)制和局部注意力機(jī)制[3]。二者的區(qū)別在于前者在計(jì)算注意力機(jī)制值時(shí)考慮源文本序列中每個(gè)元素的權(quán)重系數(shù),而后者僅考慮預(yù)測(cè)窗口內(nèi)元素的權(quán)重分布,并采用高斯分布的計(jì)算方式增強(qiáng)注意力機(jī)制的運(yùn)行效果。全局注意力存在噪聲干擾,運(yùn)行效果會(huì)隨著源文本長(zhǎng)度增加而減弱,同時(shí)在運(yùn)行過程中會(huì)產(chǎn)生不必要的計(jì)算開銷;局部注意力可更準(zhǔn)確地對(duì)源文本中重要特征進(jìn)行識(shí)別并提高其注意力權(quán)重,減少計(jì)算消耗。

      (2)軟注意力機(jī)制和硬注意力機(jī)制。

      根據(jù)注意力機(jī)制在計(jì)算注意力值時(shí)的方法不同,注意力機(jī)制可分為軟注意力機(jī)制和硬注意力機(jī)制[10]。軟注意力機(jī)制在計(jì)算注意力值時(shí),將輸入的序列與對(duì)應(yīng)的注意力權(quán)重加權(quán)求即可得到注意力值,其中注意力權(quán)重的取值范圍在區(qū)間[0.1]內(nèi);而硬注意力機(jī)制則引入一個(gè)由注意力權(quán)重變換得到的變量,該變量取值僅為0或1,其注意力值由輸入序列與新的變量加權(quán)求和后得到。新變量的引入導(dǎo)致硬注意力機(jī)制對(duì)單個(gè)元素只會(huì)采取關(guān)注或不關(guān)注的策略,即其用在情感分析領(lǐng)域中時(shí)只能對(duì)單個(gè)詞進(jìn)行關(guān)注,而無(wú)法準(zhǔn)確關(guān)注上下文的情感信息,因此并不適用。

      (3)動(dòng)態(tài)注意力機(jī)制。

      動(dòng)態(tài)注意力將前一時(shí)刻包含實(shí)體表示和注意力值的注意力信息輸入注意力網(wǎng)絡(luò),與上下文語(yǔ)句表示融合后通過得分計(jì)算,歸一化后下一時(shí)刻的注意力值,再通過GRU網(wǎng)絡(luò)得到新的實(shí)體表示。李麗雙等[11]首次將動(dòng)態(tài)注意力機(jī)制應(yīng)用于特定目標(biāo)的情感分類任務(wù),該機(jī)制可以根據(jù)上下文信息動(dòng)態(tài)改變目標(biāo)實(shí)體表示和注意力值,有效地獲取了目標(biāo)實(shí)體上下文的情感特征,排除了以前誤注意到的信息,降低了噪聲干擾。

      (4)自注意力機(jī)制。

      自注意力機(jī)制[12]可應(yīng)用于序列內(nèi)部,通過計(jì)算將句子中任意兩個(gè)詞直接聯(lián)系起來(lái),進(jìn)而捕獲源文本序列內(nèi)部元素間相互依賴的特征,解決了基于外部查詢的編碼器-解碼器會(huì)導(dǎo)致忽視文本自身特性的問題。為應(yīng)對(duì)不同任務(wù)以及模型性能提升的需求,自注意力不僅可以代替單獨(dú)使用,也可以替換編碼器或解碼器并結(jié)合其他神經(jīng)網(wǎng)絡(luò)模型使用。

      (5)多頭注意力機(jī)制。

      多頭注意力機(jī)制在編碼器與解碼器中大量使用多頭自注意力[13],對(duì)文本序列做多次并行注意力計(jì)算,允許模型同時(shí)關(guān)注不同位置的表示子空間的信息。為提高模型的并行計(jì)算能力,Vaswani等[13]將位置信息編碼融入多頭注意力,可以防止當(dāng)前序列與后續(xù)序列的位置信息發(fā)生混淆,且由于多頭注意力的每個(gè)頭都經(jīng)過降維處理,模型不會(huì)為實(shí)驗(yàn)帶來(lái)過多的計(jì)算開銷。李輝等[14]在情感分析中使用雙層多頭自注意力機(jī)制,學(xué)習(xí)并捕獲文本中的詞依賴關(guān)系及結(jié)構(gòu)特征,提高了模型的精確度。

      2 結(jié)合注意力機(jī)制與神經(jīng)網(wǎng)絡(luò)的情感分析模型

      2.1 與循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)合的情感分析模型

      (1)注意力機(jī)制融入RNN的情感分析模型。

      循環(huán)神經(jīng)網(wǎng)絡(luò)在傳統(tǒng)的多層BP神經(jīng)網(wǎng)絡(luò)隱藏層中建立了橫向聯(lián)系,并使用權(quán)重矩陣將上一時(shí)間序列中神經(jīng)單元的值傳遞至下一時(shí)間序列中,使模型具備記憶功能。Rong等[15]設(shè)計(jì)出一種深度半監(jiān)督的遞歸神經(jīng)網(wǎng)絡(luò)用于結(jié)構(gòu)信息感知。Cai等[16]利用雙向RNN[17]結(jié)合注意力機(jī)制進(jìn)行多任務(wù)的情感分析。RNN具有記憶性、參數(shù)共享、圖靈完備等特點(diǎn),在對(duì)序列的非線性特征的學(xué)習(xí)時(shí)具有一定優(yōu)勢(shì)。但RNN僅依靠隱藏單元并不能很好地保存序列信息,隨著時(shí)間推移,模型會(huì)忘記之前的狀態(tài)信息,且由于激活函數(shù)的累乘,會(huì)出現(xiàn)梯度消失及梯度爆炸問題,訓(xùn)練困難度較大,應(yīng)用范圍受限。

      (2)注意力機(jī)制融入LSTM的情感分析模型。

      長(zhǎng)短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)(Long Short Term Memory,LSTM)[18]是RNN的變體。LSTM在RNN的基礎(chǔ)上,采用“細(xì)胞狀態(tài)”的思想,增加了對(duì)過去狀態(tài)的過濾,有選擇地進(jìn)行狀態(tài)的記憶與遺忘,更好地結(jié)合注意力機(jī)制應(yīng)用于情感分析任務(wù)。申靜波等[19]為突出情感分析過程中單個(gè)詞匯的重要貢獻(xiàn)率,將注意力機(jī)制融入LSTM中,提高了分類效果?;贚STM能夠捕捉文本前后情感語(yǔ)義關(guān)系的特點(diǎn),顧軍華等人[20]提出了CNN-Attention-LSTM模型。陳千等[21]在融合LSTM、CNN與注意力機(jī)制的基礎(chǔ)上,提出了兩種針對(duì)單標(biāo)記和多標(biāo)記情感分類任務(wù)的循環(huán)卷積注意力模型,實(shí)驗(yàn)表明該模型具有較強(qiáng)穩(wěn)定性。段宇翔等人[22]設(shè)計(jì)了基于LSTM-CNNS的情感增強(qiáng)模型,結(jié)合情感詞庫(kù)和自注意力機(jī)制對(duì)中文微博文本進(jìn)行情感分析。在以上情感分析任務(wù)中,注意力機(jī)制與LSTM的融合降低了模型訓(xùn)練難度,同時(shí)充分利用了文本上下文中元素之間的相互關(guān)系,挖掘關(guān)鍵信息的價(jià)值。

      針對(duì)更細(xì)粒度的情感分析任務(wù),彭祝亮等[23]在Bi-LSTM[24]中加入方面注意力模塊,使模型可以同時(shí)對(duì)文本的不同方面進(jìn)行獨(dú)立訓(xùn)練,解決了方面情感分析中句子包含多方面情感特征或特征表示模糊時(shí),無(wú)法有效提取情感特征的問題。Li等[25]在字編碼的基礎(chǔ)上結(jié)合Bi-LSTM和注意力機(jī)制,對(duì)帶有網(wǎng)絡(luò)俚語(yǔ)、表情符的中文微博文本進(jìn)行幽默情感檢測(cè)。Zhao等[26]提出了方面級(jí)情感分類模型,融合了Bi-LSTM、帶有位置編碼的雙向注意力機(jī)制與圖卷積網(wǎng)絡(luò),用情感圖對(duì)方面情感的依賴關(guān)系進(jìn)行建模。

      (3)注意力機(jī)制融入GRU的情感分析模型。

      門控循環(huán)單元(Gated Recurrent Unit,GRU)是由Cho等[27]提出的一種LSTM的變體模型,不同于LSTM輸入門、遺忘門、輸出門的三重門設(shè)定,GRU只有更新門與重置門。更新門控制了當(dāng)前狀態(tài)保存的前一時(shí)刻狀態(tài)信息的量;重置門控制前一狀態(tài)信息被忽略的程度。結(jié)構(gòu)設(shè)計(jì)上GRU比LSTM網(wǎng)絡(luò)更簡(jiǎn)單,整體訓(xùn)練速度更快,也同樣可以解決RNN網(wǎng)絡(luò)中的長(zhǎng)依賴問題。袁和金等[28]利用多通道CNN進(jìn)行不同粒度特征提取,再利用Bi-GRU集成文本特征,搭配注意力機(jī)制獲得文本上下文情感特征。孫敏等[29]設(shè)計(jì)了并行混合網(wǎng)絡(luò)框架,在模型的嵌入層采用CNN與Bi-GRU提取不同特點(diǎn)的文本特征,經(jīng)特征融合后送入注意力機(jī)制來(lái)判斷不同單詞的重要程度,并完成情感分析任務(wù)。Liu等[30]首次將二維卷積注意力模塊(CBAM)[31]應(yīng)用于不同粒度級(jí)別的情感分析任務(wù),并融合了Bi-GRU與帶有注意力機(jī)制的二維CNN,研究表明,CBAM考慮了文檔中復(fù)雜的組合語(yǔ)義和依賴關(guān)系,可以進(jìn)一步提升模型效果。

      2.2 與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合的情感分析模型

      卷積神經(jīng)網(wǎng)絡(luò)是一種多層的監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò),最初應(yīng)用于圖像處理任務(wù)。該模型一般包含輸入層、用于特征提取的卷積層、用于插入非線性特征的激勵(lì)層、用于簡(jiǎn)化計(jì)算負(fù)責(zé)度和提取主要特征的池化層以及用于連接所有神經(jīng)元并完成分類的全連接層。其具有權(quán)值共享、局部連接等特點(diǎn),被廣泛應(yīng)用于情感分析任務(wù)中。Shin等[32]針對(duì)情感分析任務(wù),提出將注意力機(jī)制有效融入CNN的方法,以提升傳統(tǒng)CNN的魯棒性。徐菲菲等[33]運(yùn)用CNN的卷積模塊提取文本初步特征,再利用注意力機(jī)制與最小門控單元[34]進(jìn)行關(guān)鍵信息的優(yōu)化與加強(qiáng)。朱燁等[35]利用k近鄰算法得到加權(quán)文本矩陣,并與原始文本矩陣融合構(gòu)建注意力,最后利用雙通道CNN對(duì)文本進(jìn)行情感分類,該模型可以有效利用文本特征間的依賴關(guān)系,獲取更多有用信息。

      在CNN整體框架中,將低層特征加權(quán)組合形成了高層特征,即計(jì)算前一層的激活值與后一層神經(jīng)元權(quán)重乘積的和,并通過非線性激活函數(shù)進(jìn)行激活。這些操作使得高低層特征之間的位置關(guān)系變得模糊,傳統(tǒng)CNN模型在文本分析中會(huì)存在上下文語(yǔ)義丟失等問題。

      2.3 與混合神經(jīng)網(wǎng)絡(luò)結(jié)合的情感分析模型

      為解決傳統(tǒng)CNN在文本分析中丟失上下文語(yǔ)義、最大池化操作中丟失大量特征信息等問題,陳潔等[36]提出了并行混合神經(jīng)網(wǎng)絡(luò),該模型將Bi-GRU融入CNN輸出端,并在CNN卷積層和Bi-GRU輸出端插入注意力機(jī)制,從而保留較多語(yǔ)義特征,提高了情感分析的精準(zhǔn)度。楊長(zhǎng)利等[37]在混合神經(jīng)網(wǎng)絡(luò)層融合膠囊網(wǎng)絡(luò)、Bi-GRU與注意力機(jī)制,使其自適應(yīng)地感知上下文信息,在提取局部特征、減少池化層信息丟失的同時(shí),又兼顧處理文本序列全局特征,提高情感分類準(zhǔn)確度。王麗亞等[38]提出字符級(jí)聯(lián)合網(wǎng)絡(luò)特征融合模型,先利用Skip-gram模型提取字符級(jí)詞向量,再使用Bi-GRU和CNN-BiGRU并行的聯(lián)合網(wǎng)絡(luò)提取其中的特征,并利用前饋?zhàn)⒁饬δP瓦M(jìn)行篩選、降噪,完成情感分析。

      2.4 與其他神經(jīng)網(wǎng)絡(luò)結(jié)合的情感分析模型

      (1)注意力機(jī)制融入膠囊網(wǎng)絡(luò)的情感分析模型。

      CNN的池化雖然可以通過壓縮數(shù)據(jù)尺寸、減少實(shí)驗(yàn)參數(shù)使模型加速收斂,并控制過度擬合、減少計(jì)算損耗,但相對(duì)應(yīng)地會(huì)使部分重要數(shù)據(jù)丟失,降低了模型分辨率。為彌補(bǔ)CNN無(wú)法動(dòng)態(tài)識(shí)別圖像、位置信息表示模糊的不足,Sabour等[39]提出膠囊網(wǎng)絡(luò)模型,利用平移可變性特點(diǎn)多角度識(shí)別圖像中的物體,精確圖中事物的位置關(guān)系,并通過動(dòng)態(tài)路由算法分割高度重疊的對(duì)象。王家乾等[40]將多頭自注意力機(jī)制用于獲取語(yǔ)義信息,膠囊網(wǎng)絡(luò)用于獲取空間位置信息,多頭交互注意力機(jī)制用于信息融合。該模型捕捉了中長(zhǎng)距離語(yǔ)義信息和位置特征信息,提高了模型性能。楊長(zhǎng)利等[37]提出了雙通道混合神經(jīng)網(wǎng)絡(luò)模型,將注意力機(jī)制分別與膠囊網(wǎng)絡(luò)、雙向門限循環(huán)單元Bi-GRU相結(jié)合,使其自適應(yīng)地感知上下文信息并提取影響文本情感分析的文本特征。

      (2)注意力機(jī)制融入其他神經(jīng)網(wǎng)絡(luò)的情感分析模型。

      切片循環(huán)神經(jīng)網(wǎng)絡(luò)(SRNN)[41]利用切片思想,在不改變序列中循環(huán)結(jié)構(gòu)的基礎(chǔ)上,實(shí)現(xiàn)RNN的并行化。該模型將輸入序列分割成最小的等子序列,循環(huán)單元可同時(shí)在每層的每個(gè)子序列中同時(shí)工作,信息通過多層神經(jīng)網(wǎng)絡(luò)傳輸。實(shí)驗(yàn)結(jié)果證明,在不改變循環(huán)單元的情況下,SRNN的運(yùn)行速度比RNN結(jié)構(gòu)快135倍。陳虎等[42]將注意力機(jī)制與雙向切片門控循環(huán)單元結(jié)合,切片后的多個(gè)子序列輸入到Bi-GRU中,并通過注意力機(jī)制對(duì)其隱藏狀態(tài)進(jìn)行加權(quán)計(jì)算。實(shí)驗(yàn)表明,該模型可以彌補(bǔ)低層網(wǎng)絡(luò)的長(zhǎng)期依賴型損失,充分提取文本語(yǔ)義特征。

      通過已有研究可知,在神經(jīng)網(wǎng)絡(luò)中融入注意力機(jī)制可取得更好的情感分析效果。在與神經(jīng)網(wǎng)絡(luò)結(jié)合時(shí),注意力機(jī)制通常用CNN的卷積層與池化層之間,或者用在Bi-LSTM,Bi-GRU等模型輸出之后,以提高重要信息的權(quán)重。由于CNN更善于抽取上下文中的局部信息,而GRU更善于捕獲文本序列的全局信息,因此,基于CNN、Bi-GRU和注意力機(jī)制的并行混合神經(jīng)網(wǎng)絡(luò)模型(CA-BGA)[36]具有更好的效果。在CA-BGA模型中,自注意力機(jī)制分別與CNN和Bi-GRU融合以提取局部特征和全局特征。實(shí)驗(yàn)表明,該模型比CNN加注意力機(jī)制效果高出8.24%,注意力機(jī)制將模型性能提升了1.65%。

      3 基于注意力機(jī)制的特征融合情感分析模型

      3.1 融合基本特征的情感分析模型

      在文本情感分析中,名詞、動(dòng)詞、形容詞等實(shí)詞相比介詞、連詞等虛詞更突出情感信息。為減低虛詞的噪聲干擾,突出目標(biāo)元素,提高模型精確度,曾碧卿等[43]采用局部注意力卷積神經(jīng)網(wǎng)絡(luò)從詞和詞性兩種特征中提取篇章特征,在詞特征通道和詞性特征通道獲取到特征表示后,在全局注意力層對(duì)兩種特征進(jìn)行特征融合。王家乾等[40]將Glove詞向量和Bi-GRU分別結(jié)合多頭自注意力機(jī)制,獲取并融合上下文和目標(biāo)詞的語(yǔ)義特征,接著通過膠囊網(wǎng)絡(luò)獲取相應(yīng)的位置特征,并使用多頭交互注意力機(jī)制將位置與語(yǔ)義特征進(jìn)行拼接,最終完成情感分析。

      為發(fā)揮表情符號(hào)對(duì)識(shí)別微博文本情感極性的輔助作用,提升模型精度,譚皓等[44]在Bi-LSTM中融入表情符注意力機(jī)制,將文本與表情符同時(shí)訓(xùn)練以得到含有上下文信息的表情符向量。韓萍等[45]將融入表情符號(hào)特征的基本語(yǔ)義向量作為模型輸入,并利用帶有位置信息的多維自注意力機(jī)制對(duì)詞向量進(jìn)行注意力計(jì)算,得到語(yǔ)句的權(quán)重矩陣并提取句子特征向量,最后完成情感分類。針對(duì)情感分析中否定詞、副詞等情感修飾詞未被充分利用的現(xiàn)狀,謝潤(rùn)忠等[46]建立了含有情感修飾詞和情感詞的情感語(yǔ)言庫(kù),經(jīng)過BERT預(yù)訓(xùn)練得到的情感語(yǔ)言庫(kù)詞向量與語(yǔ)料詞向量,并分別輸入基于雙通道注意力機(jī)制的全連接神經(jīng)網(wǎng)絡(luò)和Bi-GRU提取情感與語(yǔ)義信息特征。

      3.2 融合深層特征的情感分析模型

      藍(lán)亦倫等[47]通過自編碼器得出視覺和情感語(yǔ)義的聯(lián)合嵌入特征,再利用注意力機(jī)制確定圖像中與聯(lián)合嵌入特征相關(guān)的顯著區(qū)域,并基于該區(qū)域構(gòu)建情感分類器,解決了視覺與文本特征存在差異的問題。為提升模型對(duì)句法信息和詞依存關(guān)系的捕獲能力,陳佳偉等[48]使用多頭自注意力機(jī)制獲取語(yǔ)義信息,并通過圖卷積網(wǎng)絡(luò)獲取句子依存樹中的句法信息和詞依存關(guān)系,最后輸入GTRU[49]完成情感分析任務(wù)。由于傳統(tǒng)文檔級(jí)情感分析中存在語(yǔ)義理解不足等問題,劉廣峰等[50]先通過層級(jí)LSTM提取深層情感特征,再利用LDA算法計(jì)算得到的主題分布矩陣構(gòu)建注意力機(jī)制提取文檔特征,并依據(jù)上述兩種特征進(jìn)行情感分析。

      通過已有文獻(xiàn)可以發(fā)現(xiàn),在特征融合的情感分析模型中,注意力機(jī)制不僅可以提高重要詞匯的權(quán)重,還可以捕獲深層語(yǔ)義信息及融合多種特征。在融合基本特征的情感分析模型中,詞性和位置特征可以降低虛詞和連詞等對(duì)實(shí)驗(yàn)的干擾;表情符號(hào)和否定詞包含較為強(qiáng)烈的情感信息,融合這些特征后可以提升模型的準(zhǔn)確率。在融合深層特征的模型中,語(yǔ)義嵌入、句法依存和主題信息可以提升模型對(duì)詞語(yǔ)間關(guān)系和詞語(yǔ)與主題間關(guān)系的識(shí)別精度,以及語(yǔ)義信息的捕獲能力。

      4 基于注意力機(jī)制的多模態(tài)情感分析模型

      4.1 結(jié)合文本與圖像的多模態(tài)情感分析

      在文本與圖像結(jié)合的多模態(tài)應(yīng)用中,早期的多模態(tài)分析不能充分挖掘多模態(tài)數(shù)據(jù)的研究?jī)r(jià)值。為提高多模態(tài)情感分析的性能,Huang等[51]將兩個(gè)分別針對(duì)圖像和文本信息的獨(dú)立單峰注意力機(jī)制,與基于中間融合的多模態(tài)注意力機(jī)制,通過后期融合完成情感預(yù)測(cè)。Truong等[52]利用注意力機(jī)制將視覺信息應(yīng)用于句子級(jí)別的對(duì)齊,解決了文本與圖像信息融合過程中會(huì)產(chǎn)生向量空間不一致的問題。Man等[53]在通過CNN獲得圖像的局域地圖后,利用注意力機(jī)制輔助神經(jīng)網(wǎng)絡(luò)獲取全局特征,最后由張量融合網(wǎng)絡(luò)[54]將圖像特征與LSTM提取的文本特征融合,達(dá)到獲取局部關(guān)注特征與全局上下文特征的目的。

      4.2 結(jié)合文本與語(yǔ)音的多模態(tài)情感分析

      針對(duì)文本和語(yǔ)音的多模態(tài)分析任務(wù),Xu等[55]以Bi-LSTM為主框架,通過語(yǔ)音編碼、語(yǔ)音識(shí)別文本編碼以及基于注意力機(jī)制的多模態(tài)融合網(wǎng)絡(luò)三個(gè)模塊,實(shí)現(xiàn)了音頻和識(shí)別文本在時(shí)序空間的交互。吳良慶等[56]先獲得語(yǔ)音及文本的情緒和情感單模態(tài)特征,再分別獲取情緒特征對(duì)應(yīng)的情感特征得到完整的情緒特征單模態(tài)表示,之后通過自注意力機(jī)制捕獲各模態(tài)間的交互特征,最終得到多模態(tài)情緒與情感表示。

      4.3 針對(duì)視頻的多模態(tài)情感分析

      針對(duì)視頻的多模態(tài)分析任務(wù),王雨竹等[57]使用Bi-GRU分別從視頻中獲取文本、語(yǔ)言和圖像的模態(tài)數(shù)據(jù),利用模態(tài)間上下文感知注意力機(jī)制,捕獲并融合各模態(tài)與上下文交互信息,將多模態(tài)特征合并輸入分類器及回歸器完成情感分析。

      針對(duì)包含視頻、短視頻和表情包等多模態(tài)情感分析任務(wù),注意力機(jī)制一方面可以提取不同模態(tài)的特征,完成各模態(tài)間信息的融合,另一方面可以完成模態(tài)間信息對(duì)齊以解決向量空間不一致的問題。

      已有研究多使用神經(jīng)網(wǎng)絡(luò)提取不同模態(tài)的信息,并通過融合特征或提取交互特征的方式,完成多模態(tài)情感分析。

      5 研究趨勢(shì)

      隨著深度學(xué)習(xí)的不斷發(fā)展,注意力機(jī)制的更多特性被不斷挖掘并應(yīng)用在情感分析領(lǐng)域,如何使其適應(yīng)不同需求的分析任務(wù)是當(dāng)前學(xué)界關(guān)注的熱點(diǎn)?;诋?dāng)前的最新研究成果,結(jié)合注意力機(jī)制的情感分析研究趨勢(shì)主要表現(xiàn)在以下兩點(diǎn)。

      (1)反諷以及多模態(tài)情感的辨別。

      在情感分析中,反諷、諷刺等作為難以辨別真實(shí)意圖的情感表達(dá)方式,一定程度上降低了模型準(zhǔn)確度。未來(lái),研究學(xué)者可以嘗試?yán)枚嗄B(tài)注意力機(jī)制來(lái)解決反諷情感難以檢測(cè)的問題,通過捕捉說(shuō)話者細(xì)微的動(dòng)作變化,并結(jié)合所述文字或話音信息,分析人們是在正常表述情感狀態(tài),還是在利用反諷或自嘲強(qiáng)調(diào)自己與他人不同的立場(chǎng)。融合不同模態(tài)信息可以增強(qiáng)模型對(duì)模糊語(yǔ)義的感知與判斷。

      (2)自注意力機(jī)制的應(yīng)用延伸。

      近年來(lái),出現(xiàn)了針對(duì)圖像識(shí)別任務(wù)的注意力機(jī)制衍生模型,如通過對(duì)各特征通道間的作用關(guān)系進(jìn)行建模,提高重要特征通道的權(quán)重的Squeeze-and-Excitation Network(SENet)[58]、包含通道注意力和空間注意力的注意力模塊CBAM[31]以及通過十字交叉的注意力網(wǎng)絡(luò)獲取長(zhǎng)依賴關(guān)系的Criss Cross Network(CCNet)[59]。這些衍生模型較傳統(tǒng)注意力機(jī)制的效果有明顯提高,后續(xù)可以應(yīng)用于情感分析任務(wù)。

      6 結(jié)束語(yǔ)

      首先介紹了注意力機(jī)制的概念和常見類型;其次對(duì)注意力機(jī)制與常用神經(jīng)網(wǎng)絡(luò)模型CNN、RNN及其衍生模型、膠囊網(wǎng)絡(luò)及幾種神經(jīng)網(wǎng)絡(luò)的混合模型等進(jìn)行了系統(tǒng)闡述;接著基于注意力機(jī)制并梳理了融合文本基本和深度特征的情感分析模型;然后對(duì)注意力機(jī)制在多模態(tài)情感分析中的應(yīng)用進(jìn)行分類整理;最后給出了注意力機(jī)制在情感分析任務(wù)中的研究趨勢(shì),為該領(lǐng)域的發(fā)展提供進(jìn)一步參考。

      猜你喜歡
      注意力模態(tài)神經(jīng)網(wǎng)絡(luò)
      讓注意力“飛”回來(lái)
      神經(jīng)網(wǎng)絡(luò)抑制無(wú)線通信干擾探究
      電子制作(2019年19期)2019-11-23 08:42:00
      “揚(yáng)眼”APP:讓注意力“變現(xiàn)”
      A Beautiful Way Of Looking At Things
      基于神經(jīng)網(wǎng)絡(luò)的拉矯機(jī)控制模型建立
      國(guó)內(nèi)多模態(tài)教學(xué)研究回顧與展望
      復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)在基于WiFi的室內(nèi)LBS應(yīng)用
      基于HHT和Prony算法的電力系統(tǒng)低頻振蕩模態(tài)識(shí)別
      基于支持向量機(jī)回歸和RBF神經(jīng)網(wǎng)絡(luò)的PID整定
      由單個(gè)模態(tài)構(gòu)造對(duì)稱簡(jiǎn)支梁的抗彎剛度
      陕西省| 乳山市| 大石桥市| 阿克苏市| 尤溪县| 神池县| 色达县| 扶绥县| 衡水市| 灵台县| 枝江市| 绥芬河市| 宁南县| 育儿| 余姚市| 玉山县| 永仁县| 台南县| 岳西县| 武邑县| 大连市| 女性| 洞头县| 富顺县| 沙河市| 邯郸市| 西峡县| 方山县| 永靖县| 新民市| 安塞县| 河北省| 富裕县| 盖州市| 惠州市| 隆回县| 平安县| 彭州市| 蓝山县| 吐鲁番市| 峨边|