一種基于注意力機(jī)制的語音情感識別算法研究

甘 宏

(廣州南方學(xué)院，510925，廣州)

1 問題提出

隨著計(jì)算機(jī)行業(yè)的不斷發(fā)展，人工智能走進(jìn)人們的生活,通過語音實(shí)現(xiàn)人機(jī)交互正逐漸成為主流的人機(jī)交互方式，語音情感識別能夠讓機(jī)器感知人類的情緒,聽懂人的情感，在心理健康狀態(tài)監(jiān)控,教育輔助，個(gè)性化內(nèi)容推薦，客服質(zhì)量監(jiān)控方面都具有廣泛應(yīng)用前景，但目前語音情感識別系統(tǒng)的識別率較低不足以大規(guī)模商用，提高情感識別準(zhǔn)確度是一個(gè)亟待解決的難題。在人工智能研究中，情感的識別和表達(dá)是不可或缺的一個(gè)環(huán)節(jié)，人工智能想要達(dá)到真正的智能，應(yīng)當(dāng)具有同人類一樣的情感感知和表達(dá)能力，因此語音情感識別研究格外重要。語音情感識別目前已經(jīng)應(yīng)用到一些領(lǐng)域，提供服務(wù)。例如，在醫(yī)療領(lǐng)域，進(jìn)行兒童抑郁癥檢測以及臨終關(guān)懷；在交通安全領(lǐng)域，進(jìn)行駕駛?cè)饲榫w檢測，提供警告以保證駕駛安全；在客服系統(tǒng)中，通過情感識別模塊識別客服工作中的情緒表達(dá)，輔助客服培訓(xùn)及日常工作監(jiān)測等。

語音情感識別起源于20世紀(jì)80年代，Bezooijen和Tolkmitt最早提出采用聲學(xué)特征進(jìn)行語音情感識別研究[1-2]。此后，語音情感數(shù)據(jù)庫逐步被建立，例如EMO-DB[3]和FAU-Aibo。提取出的聲學(xué)特征被送入機(jī)器學(xué)習(xí)分類器進(jìn)行情感分類，如GMM[4]、HMM[5]、SVM[6]、MLP[7]。

但是應(yīng)用特征集進(jìn)行語音情感識別很難找到表達(dá)語音情感的完備特征集和，今年學(xué)術(shù)界更傾向于采用深度學(xué)習(xí)技術(shù)進(jìn)行語音情感識別。如采用MFCC或者語譜圖作為特征，基于CNN和LSTM的深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行情感分類[8-9]。深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)可以模仿人類感知的過程，識別效果普遍優(yōu)于傳統(tǒng)特征工程，目前已經(jīng)成為語音情感識別領(lǐng)域的主流方法。

除了傳統(tǒng)的深度學(xué)習(xí)模型，注意力機(jī)制近年被廣泛應(yīng)用于人工智能各種細(xì)分領(lǐng)域，成為神經(jīng)網(wǎng)絡(luò)模型中不可或缺的一部分。注意力最早在機(jī)器翻譯領(lǐng)域提出[10]，其參照人類生物學(xué)知識進(jìn)行算法創(chuàng)新，允許模型動態(tài)地關(guān)注有助于解決指定任務(wù)的輸入的某些部分。

本文將通道注意力引入到語音情感識別網(wǎng)絡(luò)中，實(shí)現(xiàn)對情感信息含量高的通道進(jìn)行關(guān)注，提升網(wǎng)絡(luò)情感識別能力。

2 語音情感識別基礎(chǔ)

2.1 語音情感離散模型

在語音情感離散模型中，情感被劃分為兩兩獨(dú)立的類別，如1963年Tomkins將情感劃分為憤怒、害怕、苦惱、開心、厭惡、驚奇、關(guān)愛、羞愧8種；1980年P(guān)lutchik劃分為害怕、憤怒、悲哀、開心、厭惡、驚奇、容忍、期待8種。目前，廣泛采用的有四分類法以及六分類法，詳見表1。本文采用生氣、高興、悲傷、中性情感四分類法。

表1 離散情感劃分方法

2.2 語音情感數(shù)據(jù)庫

本文采用英文情感數(shù)據(jù)庫IEMOCAP，該數(shù)據(jù)庫在語音情感識別領(lǐng)域最為常用。

IEMOCAP數(shù)據(jù)庫中包含5男5女的對話音頻、說話內(nèi)容、對話視頻以及運(yùn)動捕捉的記錄，本文采用單模態(tài)識別方法，僅使用數(shù)據(jù)庫中的音頻數(shù)據(jù)。數(shù)據(jù)庫一共包含5段對話，每段對話由1男1女完成，分2種表達(dá)方式，分別是自發(fā)類和表演類，其中自發(fā)類表達(dá)方式更貼近現(xiàn)實(shí)中的自然發(fā)話，本文實(shí)驗(yàn)僅采用自發(fā)類情感數(shù)據(jù)。

數(shù)據(jù)庫中每段對話根據(jù)情感異同進(jìn)一步被分為語句，對每條語句同時(shí)進(jìn)行離散維度和連續(xù)維度的打標(biāo)。對于離散維度，3個(gè)人同時(shí)標(biāo)注為生氣、高興、悲傷、中性、沮喪、興奮、害怕、驚喜、厭惡、其他中的一種，少數(shù)服從多數(shù)；對于連續(xù)維度，2個(gè)以上標(biāo)注者在愉悅度、激活度、優(yōu)勢度3個(gè)維度進(jìn)行打標(biāo)，最終結(jié)果取平均。本文進(jìn)行情感分類任務(wù)，采用離散標(biāo)簽。

該數(shù)據(jù)庫語音總長度為12 h，音頻采樣率為16 kHz，存儲為wav格式。本文采用情感四分類法，即應(yīng)用數(shù)據(jù)庫中生氣、高興、悲傷、中性4種情感，其中高興情感為原數(shù)據(jù)庫中高興和驚喜2種情感合并而成。

3 實(shí)驗(yàn)方法

不同情感通過CNN進(jìn)行特征提取后，不同通道關(guān)注的不同的語音情感信息，不同通道所關(guān)注的信息對最終的情感識別作用大小不一，本文引入通道注意力對語音情感的通道維度進(jìn)行關(guān)注，原始語音情感識別模型如圖1，通道注意力模型圖如圖2。

圖1 原始語音情感識別模型

圖2 通道注意力模型

具體實(shí)現(xiàn)方式為：將CNN特征提取網(wǎng)絡(luò)輸出的三維數(shù)據(jù)，在頻率和時(shí)間2個(gè)維度進(jìn)行全局池化，池化為通道維度的一維數(shù)據(jù)；之后通過2層全連接對通道進(jìn)行先降維再升維的操作；通過Sigmoid函數(shù)計(jì)算通道注意力分?jǐn)?shù)，與CNN原始輸出特征進(jìn)行相乘實(shí)現(xiàn)特征在通道維度的注意力關(guān)注。

本文對于計(jì)算注意力分?jǐn)?shù)中全局池化階段，分別嘗試平均池化和最大池化2種方式，分析2種池化方式對最終情感識別的影響。此外，為增加整體模型的表現(xiàn)力，本文還在通道注意力的基礎(chǔ)上引入殘差，實(shí)現(xiàn)在對通道進(jìn)行關(guān)注的同時(shí)保留原有的特征分布，引入殘差的通道注意力模型如圖3。

圖3 引入殘差的通道注意力模型

4 實(shí)驗(yàn)結(jié)果

4.1 實(shí)驗(yàn)設(shè)置

本文采用語譜圖作為網(wǎng)絡(luò)的輸入，提取語譜圖時(shí)幀長設(shè)置15 ms，幀移設(shè)置為7 ms，mel譜維度設(shè)置為128。IEMOCAP數(shù)據(jù)庫中共包含5段音頻，本文以段為單位，進(jìn)行5折交叉驗(yàn)證實(shí)驗(yàn)。

此外，因IEMOCAP數(shù)據(jù)庫中音頻不等長，本文在數(shù)據(jù)處理部分將數(shù)據(jù)時(shí)長統(tǒng)一為7.5 s，短于7.5 s的音頻進(jìn)行補(bǔ)零操作，長于7.5 s的音頻截短至7.5 s。

4.2 評價(jià)指標(biāo)

本文采用混淆矩陣來評價(jià)分類性能，混淆矩陣示例見表2。

表2 混淆矩陣示例

混淆矩陣包括不加權(quán)召回率(Unweighted Accuraterecall，UA)與加權(quán)精度(Weighted Accuracy，WA)2個(gè)具體的評價(jià)指標(biāo)，具體計(jì)算方式。

(1)

(2)

4.3 實(shí)驗(yàn)結(jié)果

根據(jù)表2中的方法，首先本文在計(jì)算通道注意力時(shí)，全局池化分別嘗試采用平均池化和最大池化，并與未添加通道注意力時(shí)的模型進(jìn)行評價(jià)指標(biāo)的對比，結(jié)果如表3。

表3 通道注意力交叉驗(yàn)證結(jié)果

引入通道注意力之后，不論采用全局平均池化還是全局最大池化，相較未引入通道注意力時(shí)的模型都有明顯的性能提升，其中采用全局平均池化的通道注意力效果最為明顯，UA實(shí)現(xiàn)了2.58%的提升，WA實(shí)現(xiàn)了1.48%的提升。

為增強(qiáng)網(wǎng)絡(luò)的表現(xiàn)能力，保留原始特征分布，本文在通道注意力的基礎(chǔ)上引入殘差結(jié)構(gòu)，并調(diào)整殘差比重，實(shí)驗(yàn)結(jié)果如表4。

引入殘差結(jié)構(gòu)后的通道注意力模型比未引入殘差結(jié)構(gòu)的通道注意力模型情感識別準(zhǔn)確率最高，其中采用全局平均池化且殘差比重為1的通道注意力模型，相較未引入殘差結(jié)構(gòu)時(shí)，UA實(shí)現(xiàn)了0.17%的提高，WA實(shí)現(xiàn)了0.30%的提高。

5 結(jié)論

本文將通道注意力引入到語音情感識別深度學(xué)習(xí)網(wǎng)絡(luò)之中，在網(wǎng)絡(luò)學(xué)習(xí)的過程中實(shí)現(xiàn)對不同通道的關(guān)注。在計(jì)算通道注意力分?jǐn)?shù)時(shí)嘗試全局平均池化和全局最大池化2種方式，并引入殘差結(jié)構(gòu)，對不同種通道注意力方式進(jìn)行探討。最終試驗(yàn)結(jié)果顯示，引入通道注意力后的語音情感識別準(zhǔn)確率得到明顯提升，這表明CNN輸出的不同通道包含的情感信息不同，引入注意力之后可以關(guān)注對最終情感識別作用較大的通道，從而提高整體模型的識別能力。