王海旭

四川信息職業(yè)技術(shù)學(xué)院 智能控制學(xué)院，四川 廣元 628000

引言

腦電的情緒識(shí)別是計(jì)算機(jī)智能的一個(gè)重要發(fā)展方向，是人機(jī)交互的重要研究內(nèi)容[1]。情緒是在外部刺激下表現(xiàn)出的復(fù)雜生理變化的過程[2]，主要包括以下幾類：① 來自自我感受的主觀體驗(yàn)；② 來自面部表情、姿態(tài)表情、語調(diào)語音等的外部表現(xiàn)；③ 表現(xiàn)在生理信號(hào)變化所反映的生理喚醒。計(jì)算機(jī)雖然難以直接分析人的主觀感受，但可以通過如機(jī)器視覺、語音識(shí)別等技術(shù)對第二類情緒反應(yīng)的外部表現(xiàn)進(jìn)行識(shí)別和分析，同時(shí)對第二類情緒反應(yīng)的外部表現(xiàn)存在的外部干擾多、交叉影響因素多等問題進(jìn)行檢測計(jì)算。因此，對第三類生理信號(hào)的測量、提取特征、分析、分類識(shí)別可以更為準(zhǔn)確地反映腦電信號(hào)的特征[3]。腦科學(xué)被“十四五”規(guī)劃和2035 年遠(yuǎn)景目標(biāo)綱要列為國家重點(diǎn)前沿科技項(xiàng)目之一，而情緒識(shí)別技術(shù)將為該研究提供重要的理論和實(shí)踐價(jià)值。

目前，研究者對于情緒的建模主要是基于認(rèn)知評(píng)價(jià)的效價(jià)-喚醒度（Valence-Arousal，VA）模型，即VA 的二維空間模型[4]。其中，效價(jià)代表的是情緒的積極或消極反應(yīng)，喚醒度是情緒的強(qiáng)度反應(yīng)。如學(xué)界公認(rèn)的喜、怒、哀、驚、恐、厭6 種基本情緒中的喜在VA 模型中更靠近右邊和上面的區(qū)域，反映出較高的強(qiáng)度和積極性（圖1）。而情緒的所有種類高達(dá)近30 種，其他類型的情緒都是在以上6 種情緒的基礎(chǔ)上組合而成[5]。

圖1 情緒的效價(jià)與喚醒度二維空間模型示意圖

本文著重圍繞腦電的情緒識(shí)別，包括腦電特征的計(jì)算方法，如時(shí)域特征、頻域特征、時(shí)頻特征以及區(qū)別于單導(dǎo)聯(lián)特征的導(dǎo)聯(lián)間特征，介紹了目前腦電情緒識(shí)別的流程，以及腦電情緒識(shí)別的應(yīng)用，如腦機(jī)芯片與接口、抑郁等心理疾病的應(yīng)用，最后，對腦電情緒識(shí)別進(jìn)行了總結(jié)和展望。

1 腦電特征的計(jì)算方法現(xiàn)狀

1.1 時(shí)域特性

腦電信號(hào)的特征需要用多種數(shù)學(xué)或物理的方法進(jìn)行計(jì)算才能找到，最容易想到的就是時(shí)域特征。在腦電的時(shí)域特征中，事件相關(guān)電位（Event-Related Potentials，ERP）是由離散事件激發(fā)出的腦電活動(dòng)，在腦電研究中有較廣泛的應(yīng)用，如P300 在40 多年前被首次報(bào)道后[6]，陸續(xù)有相關(guān)研究表示在潛伏期300 ms 左右的腦電壓的正向波動(dòng)，此類ERP 的測量因具有可靠性以及特征信息豐富等特點(diǎn)被廣泛應(yīng)用于腦電研究。

通過疊加平均的相干平均法可以消除噪聲并有效獲取腦電特征，此外，還可以通過線性回歸模型來尋找生物信號(hào)特征，如自回歸模型[7]，即差分方程如公式（1）所示。

式中，X(t)和X(t-i)為模型不同序列的信號(hào)特征，p為模型的參數(shù)個(gè)數(shù)，稱為模型的階數(shù)；a（i）為模型的自回歸系數(shù)；e（t）為隨機(jī)干擾序列，是均值為0，方差為σ2的白噪聲。

1.2 頻域特性

腦電的頻域特性反映了大腦不同頻段內(nèi)電信號(hào)的相對強(qiáng)度。常用的腦電頻域特性有δ波（0.5～4 Hz）、θ波（4～8 Hz）、α波（8～12 Hz）、β波（12～30 Hz）和γ波（30～100 Hz），涵蓋了人腦電活動(dòng)的不同頻率范圍，每種頻率范圍內(nèi)的腦電波都具有不同的生理和心理特征，例如，δ波與深度睡眠有關(guān)，α波與放松和冥想有關(guān)，β波與興奮和注意力有關(guān)。每種波段都具有特定的生理和心理意義，因此對腦電頻域特性的研究可以為腦電情緒識(shí)別提供重要信息。

1.3 時(shí)頻特性

相比于時(shí)域和頻域特性，腦電波的時(shí)頻特性同時(shí)考慮了時(shí)間和頻率的信息，因此可以提供更全面的信息，比如不同時(shí)間段內(nèi)，腦電活動(dòng)的頻率是如何變化的。同時(shí)，時(shí)頻特性反映了人腦在不同時(shí)刻所處的不同心理狀態(tài)，例如，在清醒時(shí)，腦電波的頻率通常以α波為主，而在睡眠時(shí)，頻率則以δ波為主。此外，腦電波的時(shí)頻特性還可以反映出人腦不同區(qū)域的活動(dòng)強(qiáng)度。通過對腦電波的時(shí)頻分析（Time-Frequency Analysis，TFA），可以更好地了解人腦的功能和狀態(tài)。

1.4 導(dǎo)聯(lián)間特征

腦電波的導(dǎo)聯(lián)間特征指的是不同腦區(qū)間電活動(dòng)的相對關(guān)系。對于任意一個(gè)時(shí)刻，不同的腦區(qū)可能有不同的電活動(dòng)強(qiáng)度，并且這些電活動(dòng)強(qiáng)度可能是相關(guān)的或不相關(guān)的。例如，當(dāng)某一個(gè)腦區(qū)發(fā)生激活時(shí)，周圍的其他腦區(qū)也可能會(huì)受到影響。如國外專家最常用的腦電信號(hào)的相位同步分析[7]，相位同步是一種生物物理學(xué)現(xiàn)象，表示多個(gè)周期性信號(hào)的波形在相同的相位（時(shí)間）上互相同步，可以出現(xiàn)在生物體內(nèi)的生理過程中，也可以出現(xiàn)在多個(gè)獨(dú)立系統(tǒng)之間。通過相位同步指數(shù)的引入研究腦區(qū)間電生理信號(hào)的波形相位同時(shí)變化的現(xiàn)象，表明這些腦區(qū)間在協(xié)調(diào)工作[8]。待分析信號(hào)的相位差如公式（2）所示[9]。

若腦電信號(hào)為X（t）和Y（t），則式中它們的相位時(shí)間序列分別是θx（t）和θy（t），如果n、m有界且是整數(shù)，則信號(hào)是與n∶m同步的，在腦功能研究中一般是1 ∶1 相位同步。

2 腦電情緒識(shí)別整體框架

腦電情緒識(shí)別的整體框架主要包括腦電信號(hào)采集、數(shù)據(jù)的預(yù)處理、特征提取和分類識(shí)別等。數(shù)據(jù)采集是通過放置在頭皮上的電極收集腦電圖信號(hào)以記錄大腦活動(dòng)情況。數(shù)據(jù)的預(yù)處理是對原始腦電圖信號(hào)進(jìn)行處理以降低噪聲并提高信號(hào)質(zhì)量的重要步驟。特征提取是用處理后的腦電信號(hào)中提取的相關(guān)特征來表示用戶的情緒狀態(tài)。分類識(shí)別是通過機(jī)器學(xué)習(xí)算法在腦電信號(hào)的大型數(shù)據(jù)集上進(jìn)行訓(xùn)練，以根據(jù)提取的特征對情緒進(jìn)行分類。該過程的框架和流程如圖2 所示[10]。

2.1 信號(hào)采集與預(yù)處理

信號(hào)的數(shù)據(jù)采集：通過放置在頭皮上的電極收集腦電圖信號(hào)，記錄大腦的電活動(dòng)，然后將此活動(dòng)放大并進(jìn)行進(jìn)一步處理，主要有16 導(dǎo)聯(lián)、32 導(dǎo)聯(lián)和64 導(dǎo)聯(lián)的電極。目前的系統(tǒng)放置法是以國際標(biāo)準(zhǔn)10-20 系統(tǒng)安放[11]，見圖3，10 表示電極周圍距離頭骨10%，20 同理指20%。

圖3 腦電電極10-20國際標(biāo)準(zhǔn)安放位置圖

腦電預(yù)處理的目的是對原始腦電圖信號(hào)進(jìn)行特定處理，以提高信號(hào)質(zhì)量并降低噪聲。預(yù)處理步驟會(huì)極大地影響最終結(jié)果的準(zhǔn)確性，因此為每個(gè)特定過程選擇適當(dāng)?shù)奶幚砑夹g(shù)非常重要。預(yù)處理步驟通常包括過濾、降噪、去偽跡等。過濾可以對腦電圖信號(hào)進(jìn)行過濾以去除高頻噪聲并隔離出特定的頻帶。降噪用以消除任何殘留噪聲并提高信噪比。在腦電信號(hào)采集中，眨眼或肌肉運(yùn)動(dòng)都會(huì)形成干擾，此類腦電圖信號(hào)中的任何偽跡都需要被去除[12]，以提高信號(hào)的準(zhǔn)確性。

2.2 特征提取與選擇

腦電圖信號(hào)具有許多可以提取以供分析的特征。常見的腦電圖特征包括：功率譜密度（Power Spectral Density，PSD）、ERP、TFA、獨(dú)立分量分析（Independent Component Analysis，ICA）、基于機(jī)器學(xué)習(xí)的特征，包括使用各種機(jī)器學(xué)習(xí)算法提取的特征，如從卷積神經(jīng)網(wǎng)絡(luò)中提取的特征。

PSD 是通過對腦電波進(jìn)行分析來評(píng)估腦內(nèi)不同頻段的電活動(dòng)強(qiáng)度。PSD 的信息可以用來診斷和研究一些神經(jīng)系統(tǒng)相關(guān)的疾病，如睡眠障礙、認(rèn)知障礙、癲癇等[13]，也可以用于研究認(rèn)知加工、感知、運(yùn)動(dòng)等不同神經(jīng)活動(dòng)的機(jī)制。ERP研究通常在科學(xué)實(shí)驗(yàn)室中進(jìn)行，通過記錄腦電波，并在接收到特定刺激（如視覺刺激、聽覺刺激等）時(shí)記錄反應(yīng)[14]。研究人員可以分析腦電波的變化以了解大腦如何對特定刺激作出反應(yīng)。TFA 通過對腦電波數(shù)據(jù)進(jìn)行時(shí)間-頻率分析來探索大腦內(nèi)不同頻段的電活動(dòng)強(qiáng)度以及隨時(shí)間變化情況。如圖2 所示，TFA 可以提供有關(guān)大腦功能的全面信息，因?yàn)門FA 能夠同時(shí)反映頻率和時(shí)間的信息同時(shí)可以幫助研究人員了解腦電波的時(shí)間動(dòng)態(tài)和頻率特征，從而更好地理解大腦的功能和活動(dòng)[15]。ICA 通過對腦電波數(shù)據(jù)進(jìn)行分析來識(shí)別獨(dú)立的電生理源，再用數(shù)學(xué)方法將腦電波數(shù)據(jù)分解為獨(dú)立的分量。分解后的分量代表不同的腦區(qū)域和活動(dòng)，研究人員可以對這些分量進(jìn)行分析從而更好地理解大腦功能[16]。機(jī)器學(xué)習(xí)算法可以從大量的腦電波數(shù)據(jù)中學(xué)習(xí)模式，從而對大腦的功能和活動(dòng)進(jìn)行預(yù)測，可以用于識(shí)別腦電波數(shù)據(jù)中的某些特定模式，以確定大腦在某個(gè)特定時(shí)間的活動(dòng)狀態(tài)，或者可以用于識(shí)別腦電波數(shù)據(jù)中的某些特定特征[17]。

2.3 腦網(wǎng)絡(luò)構(gòu)建及分類

通過特征提取，可以將腦電圖信號(hào)轉(zhuǎn)換為一組可用于網(wǎng)絡(luò)構(gòu)建的特征，如PSD、ERP、TFA 和ICA 等方法；然后使用這些特征來構(gòu)建大腦網(wǎng)絡(luò)，腦網(wǎng)絡(luò)連接圖如圖2 所示；最后，通過分類的方法，腦網(wǎng)絡(luò)根據(jù)其拓?fù)浣Y(jié)構(gòu)被分為不同的組，如高興的、悲傷的或吃驚的，這部分可以使用支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)或隨機(jī)森林等機(jī)器學(xué)習(xí)算法來完成。通過腦網(wǎng)絡(luò)的構(gòu)建和分類有助于揭示大腦活動(dòng)的潛在模式和結(jié)構(gòu)，并了解大腦的功能。

3 基于腦電情緒識(shí)別的應(yīng)用

3.1 腦機(jī)芯片與接口

腦機(jī)接口是使大腦和機(jī)器之間能夠進(jìn)行通信的系統(tǒng)。這些接口可用于控制假肢、輔助設(shè)備，甚至計(jì)算機(jī)。腦機(jī)芯片是一種微電子設(shè)備，可以植入大腦，實(shí)現(xiàn)大腦與機(jī)器之間的通信。

隨著多學(xué)科的交叉融合發(fā)展，通過與計(jì)算機(jī)技術(shù)、微電子技術(shù)相結(jié)合，腦電情緒識(shí)別通過腦機(jī)芯片輸出分類的情緒以控制BCI 系統(tǒng)或用于其他應(yīng)用。如馬斯克名下的腦機(jī)接口公司的一款可植入芯片N1 在未來有望治愈癱瘓或使天生失明的人重見光明[18]。這些設(shè)備有可能徹底改變?nèi)祟惻c機(jī)器交互的方式，并可能對醫(yī)學(xué)、康復(fù)和游戲等領(lǐng)域產(chǎn)生重大影響。

3.2 抑郁等心理疾病的應(yīng)用

腦電圖已被用于研究和治療各種精神障礙，如通過測量大腦活動(dòng)模式幫助診斷精神障礙，如抑郁癥、焦慮癥和躁狂抑郁癥[19]。此外，腦電圖可用于監(jiān)測精神障礙治療的有效性，如監(jiān)測治療期間或服用藥物后大腦活動(dòng)模式的變化[20]，也可用于非侵入性地刺激大腦的特定區(qū)域，以幫助緩解精神障礙的癥狀。這被稱為腦電神經(jīng)反饋或腦電生物反饋。

研究人員利用腦電情緒識(shí)別技術(shù)幫助診斷和治療患有抑郁癥和焦慮癥的患者。在診斷方面，醫(yī)生可以通過分析患者腦電波的模式[21]，識(shí)別患者是否有情緒障礙；在治療方面，醫(yī)生可以根據(jù)腦電情緒識(shí)別技術(shù)的結(jié)果選擇最佳的治療方法，如藥物治療、認(rèn)知行為療法等[7]。截至2021 年，深圳大學(xué)和深圳市南山醫(yī)院針對通過腦電情緒識(shí)別來輔助診斷抑郁癥患者已經(jīng)作了長期的研究[22]。該研究通過情緒Stroop 范式或者視覺3-oddball 范式，分別使用正性（高興）情緒、負(fù)性（悲傷）情緒和中性情緒探索抑郁患者和健康人群對照組的差異[23]。如圖4 所示，通過計(jì)算兩個(gè)腦電極的相位同步指數(shù)（Phase Synchronization Index，PSI）值，得到靶刺激和非靶刺激進(jìn)行雙樣本t檢驗(yàn)之后的t值，再經(jīng)單樣本t檢驗(yàn)得到的值為縱坐標(biāo)[24]。

圖4 抑郁患者和健康對照組腦電極的PSI值差異

4 總結(jié)與展望

使用腦電圖的情緒識(shí)別是一個(gè)快速發(fā)展的領(lǐng)域，旨在根據(jù)大腦活動(dòng)識(shí)別和分類情緒。目前，基于腦電圖的情緒識(shí)別已被證明可有效識(shí)別快樂、悲傷、憤怒和恐懼等情緒[25]，但在準(zhǔn)確性方面仍有提升空間，尤其是在處理較為復(fù)雜的情緒或處理情緒表達(dá)的個(gè)體差異時(shí)。此外，基于腦電圖的情緒識(shí)別的主要局限性之一是對大腦活動(dòng)和情緒表達(dá)的個(gè)體差異敏感。此外，腦電圖信號(hào)可能會(huì)受到各種因素的影響，如頭部運(yùn)動(dòng)、眨眼和偽跡。

盡管存在局限性，基于腦電圖的情緒識(shí)別在各種應(yīng)用中仍具有巨大的潛力，如心理健康評(píng)估、情緒感知計(jì)算和人機(jī)交互[26]。隨著機(jī)器學(xué)習(xí)和人工智能的進(jìn)步，以及腦電圖信號(hào)處理的改進(jìn)，基于腦電圖的情緒識(shí)別的準(zhǔn)確性和可靠性有望進(jìn)一步提高[27]。

綜上所述，基于腦電圖的情緒識(shí)別研究領(lǐng)域有較好的發(fā)展前景，它已經(jīng)在基于大腦活動(dòng)識(shí)別情緒方面取得了成功。然而，仍有改進(jìn)的空間，需要進(jìn)一步研究以充分發(fā)揮腦電圖在該領(lǐng)域的潛力。未來前景樂觀，因?yàn)榧夹g(shù)和方法的進(jìn)步有望進(jìn)一步提高基于腦電圖的情緒識(shí)別的準(zhǔn)確性和可靠性。