謝惠華， 黎 明， 王 艷， 陳 昊

（1. 南昌航空大學(xué) 信息工程學(xué)院，南昌 330063； 2. 無損檢測(cè)技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室(南昌航空大學(xué))，南昌 330063）

引 言

隨著科學(xué)技術(shù)的飛速發(fā)展，越來越多友好的人機(jī)交互體驗(yàn)被寄予厚望。面部表情作為生物識(shí)別技術(shù)的一部分，展示了人復(fù)雜而微妙的內(nèi)心世界，實(shí)現(xiàn)了更加人性化的人機(jī)交互模式[1]。此外，面部表情識(shí)別技術(shù)已廣泛應(yīng)用于智能安全監(jiān)控、醫(yī)療監(jiān)控和刑事偵查等領(lǐng)域。因此，如何有效提取表達(dá)特征并對(duì)其進(jìn)行準(zhǔn)確識(shí)別是表情識(shí)別[2]領(lǐng)域亟待解決的問題。

面部表情識(shí)別是一個(gè)非常困難的研究課題，因?yàn)槿说耐獗頃?huì)隨著年齡、種族、性別的變化而變化，這些因素都會(huì)對(duì)表情識(shí)別[3]的準(zhǔn)確性產(chǎn)生影響。因此，研究人員不斷尋找有效的算法來提高表情識(shí)別的準(zhǔn)確性和魯棒性。到目前為止，大部分表情識(shí)別[4]的研究成果都集中在人臉檢測(cè)、特征提取和分類上。其中人臉表情特征提取是人臉表情識(shí)別系統(tǒng)的核心部分，其質(zhì)量直接影響人臉表情識(shí)別系統(tǒng)的識(shí)別精度和速度。在已有的研究中，面部表情特征提取方法可以大致分為兩大類：基于幾何形狀的表情特征和基于表觀紋理的表情特征。

基于幾何形狀的特征是用面部器官（眼睛，嘴巴，眉毛等）的形變和關(guān)鍵特征點(diǎn)位置的變化來表征。文獻(xiàn)[5]提出了一種基于回歸的主動(dòng)紋理模型（Active Appearance Models，AAM）自動(dòng)初始化方法，緩解了AAM 需依賴于良好的模型參數(shù)初始化才能實(shí)現(xiàn)精確擬合結(jié)果的嚴(yán)格條件。文獻(xiàn)[6]在檢測(cè)到人臉圖像的同時(shí)自動(dòng)啟動(dòng)主動(dòng)形狀模型(Active shape model, ASM)，利用ASM 擬合技術(shù)提取出了判別可靠的人臉特征點(diǎn)，最后根據(jù)投影的ASM 特征點(diǎn)坐標(biāo)與ASM 平均形狀之間的幾何位移來評(píng)價(jià)人臉表情。文獻(xiàn)[7]根據(jù)基準(zhǔn)點(diǎn)構(gòu)建面部網(wǎng)格模型，通過比較不同表情下網(wǎng)格模型的形變參數(shù)進(jìn)行分類。但是基于幾何形狀的表情特征，需要精確且可靠的面部基準(zhǔn)點(diǎn)定位和跟蹤，且因訓(xùn)練精確的模型需要不斷的迭代擬合，需要花費(fèi)大量的時(shí)間。泛化能力弱，在上一個(gè)數(shù)據(jù)庫上訓(xùn)練好的定位器，遷移到另外一個(gè)數(shù)據(jù)庫定位精確度會(huì)下降。

基于表觀紋理的特征通過提取與表情變化緊密相關(guān)區(qū)域紋理信息，例如，嘴巴、眼睛、眉毛等面部皮膚形變的紋理特征，不需要精確的特征點(diǎn)定位，只需將人臉圖像對(duì)齊，對(duì)感興趣區(qū)域進(jìn)行進(jìn)一步的特征提取，被廣泛的應(yīng)用于表情識(shí)別中。局部二值模式(Local Binary Pattern，LBP)是最早提出的紋理特征算子，它通過比較中心像素和局部像素間的大小產(chǎn)生。文獻(xiàn)[8]提出一種基于認(rèn)知和映射二值模式的表情識(shí)別方法。梯度直方圖(Histogram of Oriented gradient, HOG)特征在人臉圖像上采用梯度窗口遍歷整張人臉，獲取表情的邊緣梯度幅值信息和方向信息。文獻(xiàn)[9]應(yīng)用HOG將部分動(dòng)作單元的肌肉編碼為特征，然后訓(xùn)練SVM 來進(jìn)行表情分類。文獻(xiàn)[10]提出了一種對(duì)角方向HOG 和HOG 結(jié)合的多方向梯度方向直方圖(Multi Orientation Histogram oriented gradient，MOHOG)，基于此特征和深度學(xué)習(xí)特征迭代融合分類的人臉表情識(shí)別方法。局部相位量化(Local Phase Quantization，LPQ)[11]是一種局部描述子，它從圖像的離散傅里葉變換中提取特征?；叶裙采仃?Gray Level Co-occurrence Matrix，GLCM)[12]通過表示給定距離上像素強(qiáng)度對(duì)的出現(xiàn)頻率對(duì)紋理信息進(jìn)行編碼。Gabor 小波特征[13]是通過圖像與Gabor 濾波器卷積得到的，文獻(xiàn)[14]提出了一種Gabor 小波變換與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法。文獻(xiàn)[15]提出一種緊湊的局部Gabor 方向數(shù)模式，將人臉圖像與每個(gè)尺度上的Gabor 濾波器卷積，對(duì)卷積圖進(jìn)行編碼，計(jì)算每個(gè)編碼圖像不重疊區(qū)域的直方圖。最后，利用平均池化技術(shù)得到兩個(gè)空間直方圖序列，將其連接起來形成人臉描述算子。

Gabor 濾波器的頻率和方向表達(dá)同人類視覺系統(tǒng)類似，十分適合紋理表達(dá)和分離。面部圖像中不同紋理一般具有不同的中心頻率及帶寬，可以根據(jù)這些頻率和帶寬可以設(shè)計(jì)一組Gabor 濾波器對(duì)圖像進(jìn)行濾波，要求每個(gè)Gabor 濾波器只允許與其頻率相對(duì)應(yīng)的紋理順利通過，而使其他紋理的能量受到抑制，就可以從不同的濾波器輸出不同頻率和帶寬的紋理特征，即不同方向不同尺度的面部表情信息，從這些信息中分析和提取紋理特征用于之后的分類任務(wù)。由于以上優(yōu)點(diǎn)，本文采用Gabor 特征進(jìn)行表情識(shí)別。

表情之間的界限是相當(dāng)模糊的，尤其是在不同的種族、性別背景下，表情間界限的模糊度會(huì)有很大的差異，圖1a 和圖1b 分別為東亞人與白人在6 種表情上的面部體現(xiàn)，由圖可知東亞人不同表情間的區(qū)分度是小于白人，這種區(qū)分度的不一致性會(huì)對(duì)識(shí)別造成很大的混淆，使得一個(gè)擁有不同種族、性別的表情數(shù)據(jù)集分類性能低。值得關(guān)注的是，種族、性別差異產(chǎn)生的負(fù)面影響在表情識(shí)別過程中是恒定存在，不會(huì)隨著樣本提取環(huán)境的改善而避免，因此如何有效的消減種族、性別等身份信息的干擾是表情識(shí)別亟待解決的問題之一。

文獻(xiàn)[16]基于表情樣本圖像與中性樣本圖像之間的差異構(gòu)建特征向量進(jìn)行表情分類。文獻(xiàn)[17]基于每個(gè)個(gè)體中性樣本的基準(zhǔn)點(diǎn)的分布創(chuàng)建一個(gè)評(píng)分規(guī)則，根據(jù)規(guī)則對(duì)該個(gè)體出現(xiàn)的表情進(jìn)行打分，按照分?jǐn)?shù)進(jìn)行表情分類。文獻(xiàn)[18]通過條件隨機(jī)場(chǎng)捕捉個(gè)體產(chǎn)生表情的中間變化過程，以這些變化信息作為該表情的特征向量進(jìn)行分類。以上方法雖然在一定程度上消除了個(gè)體身份對(duì)表情的影響，但其都需要已知各個(gè)樣本的身份標(biāo)簽以及人臉的關(guān)鍵部位（眼睛、鼻子、嘴巴）的坐標(biāo)等先驗(yàn)知識(shí)，利用先驗(yàn)知識(shí)來指導(dǎo)分類的，而實(shí)際場(chǎng)景中獲取這些先驗(yàn)知識(shí)是十分困難的。文獻(xiàn)[19]運(yùn)用主動(dòng)形狀模型將人臉映射到參考模型中再求差分紋理，有效解決了需已知人臉關(guān)鍵部位位置信息的問題，一定程度上提高了表情識(shí)別率，但其過分依賴于數(shù)據(jù)集，仍需要預(yù)先知道測(cè)試樣本的人臉標(biāo)簽等先驗(yàn)知識(shí)。因此，本文提出了一種不需要已知樣本身份標(biāo)簽和已知關(guān)鍵部位位置信息的表情特征算子，差分增強(qiáng)Gabor 特征(Difference Enhance Gabor，DE-Gabor)來增強(qiáng)特征的身份魯棒性。首先，通過雙重下采樣降低原始Gabor 特征的維數(shù)，在保證分類信息量的同時(shí)縮減特征空間。然后，通過協(xié)同稀疏表示重構(gòu)輸入樣本的虛擬中性特征和虛擬表情特征，兩者差分編碼得到DE-Gabor，來緩減種族、性別對(duì)表情識(shí)別率的干擾，提高面部表情識(shí)別的準(zhǔn)確性和魯棒性。

1 Gabor 特征

研究發(fā)現(xiàn)，Gabor 濾波器的頻率和方向表達(dá)同人類視覺系統(tǒng)類似，十分適合紋理表達(dá)和分離，一個(gè)二維的Gabor 濾波器是由一個(gè)正弦平面波調(diào)制的高斯核函數(shù)，其表達(dá)式如下：

式 中：u和v是Gabor 濾 波 器 的 尺 度 和 方 向，z=(x,y) 是 像素值， σ是高斯窗口的寬度與波長的比，‖‖是 范 數(shù) 操 作 符 號(hào)，ku,v是 振 幅 向 量，ku,v=kvei?u，kv=kmax/fv，φu=(π·μ)/8，kmax是 頻率最大值，fv是頻域中兩個(gè)核的空間因子。

人臉圖像屬于低頻階段，常用5 個(gè)尺度u∈{0,···,4} ， 8 個(gè)方向v∈{0,···,7}的Gabor 濾波器組捕捉人臉的全部頻率和帶寬的問題，用于人臉表情圖像分類。圖2 顯示了Gabor 濾波器在 σ=2π，kmax=π/2，f=√2下5 個(gè)尺度8 個(gè)方向的實(shí)部。如圖所示，8 個(gè)方向的Gabor 反應(yīng)了圖像不同方向的邊緣和條形細(xì)節(jié)，5 個(gè)尺度的Gabor 濾波器是以不同的比例來獲取圖像的頻率信息。

圖2 Gabor 濾波器的實(shí)部圖

將圖像I(x,y)與Gabor 濾波器組進(jìn)行卷積，獲得不同尺度、方向的Gabor 表征圖Eu,v，通常取表征圖實(shí)部和虛部的共同幅值作為特征圖。

2 DE-Gabor 特征

2.1 雙重下采樣

為全面涵蓋不同方向不同尺度的Gabor 信息，最有效簡單的方法是將Gabor 表征圖向量化后串聯(lián)，形成特征向量。然而直接串聯(lián)會(huì)造成特征維數(shù)過高，識(shí)別負(fù)擔(dān)重，識(shí)別時(shí)間長等問題。因此在串聯(lián)前，先對(duì)各Gabor 表征圖以 ρ進(jìn)行下采樣，縮減特征維數(shù)。若假設(shè)M和N為原始圖像的行和寬，則下采樣后的Gabor 特征維數(shù) d im=(M·N·u·v)/ρ2，可以看出，特征維數(shù)與下采樣的倍數(shù) ρ呈反比。如果采用大值的 ρ，特征的維數(shù)會(huì)大大減少，識(shí)別時(shí)間也會(huì)縮減，但下采樣后的特征圖將會(huì)考慮很少像素，很多Gabor 信息被忽略，使得識(shí)別率降低。如果 ρ取小值，特征維數(shù)會(huì)較大，特征提取時(shí)間、分類識(shí)別時(shí)間、特征存儲(chǔ)空間均會(huì)增大，不適用于實(shí)時(shí)表情識(shí)別。

為很好的權(quán)衡識(shí)別精度和識(shí)別時(shí)間，本文提出雙重下采樣方法對(duì)原始Gabor 表征圖進(jìn)行處理提取E-Gabor 特征，具體提取流程如圖3 所示。

圖3 雙重下采樣提取E-Gabor 特征過程

2.2 差分編碼

現(xiàn)實(shí)場(chǎng)景中人臉身份標(biāo)簽是未知的，可能無法找到對(duì)應(yīng)人臉的中性樣本，需要構(gòu)建虛擬中性樣本，或者是獲知表情樣本的人臉標(biāo)簽找到對(duì)應(yīng)的中性樣本。因此本文提出一種DE-Gabor 特征算子，通過將表情樣本在中性特征字典上協(xié)同稀疏表示[20]，獲得重構(gòu)的虛擬中性特征。在表情特征字典上協(xié)同稀疏表示，獲得重構(gòu)虛擬表情特征，然后再將兩者差分編碼得到DE-Gabor 特征。這樣既可以解決人臉身份標(biāo)簽未知的情況，又可以避免需要實(shí)現(xiàn)將人臉對(duì)齊的復(fù)雜操作。并且，因?yàn)閰f(xié)同稀疏表示具有良好的去噪聲性能，通過協(xié)同稀疏表示重構(gòu)的虛擬中性特征和虛擬表情特征比真實(shí)的中性特征、表情特征包含的噪聲要小，更有利于分類，DEGabor 特征的具體提取流程如圖4 所示。

圖4 差分編碼提取DE-Gabor 特征過程

3 基于DE-Gabor 特征的表情識(shí)別

本文提出的用于對(duì)抗種族、性別干擾的特征算子DE-Gabor，關(guān)鍵技術(shù)包括雙重下采樣和差分編碼兩部分，基于DE-Gabor 算子識(shí)別的整個(gè)過程如圖5 所示，整個(gè)過程可以分解位以下5 個(gè)步驟：

圖5 基于DE-Gabor 的表情識(shí)別框架

Step1：預(yù)處理：將樣本圖像I(z)灰度化，并將其尺寸統(tǒng)一設(shè)置為64*64。

Step2：提取I(z)的Gabor 表征圖：根據(jù)式(1)創(chuàng)建一組包含5 個(gè)尺度8 個(gè)方向的Gabor 濾波器ψu(yù),v(z)， 將預(yù)處理后的I與Gabor 濾波器卷積得到Gabor 表征圖Eu,v(z)，然后通過式(3)得到特征圖Gu,v。

Step3：雙重下采樣：

Step3-1：將Gabor 濾波器組按式(4)融合得到ψfusion(z)， 將I(z) 與 ψfusion(z)卷 積得到Efusion(z)，按式(3)的操作得到融合的Gabor 特征圖Gfusion。

Step3-3：從 ρ1中 取值，對(duì)每個(gè)Gu,v進(jìn)行高倍下采樣，從 ρ2中 取值，對(duì)Gfusion進(jìn)行低倍采樣，然后通過式(5)得到采樣后的特征向量xE?Gabor。

Step3-4：提取所有訓(xùn)練樣本的xE?Gabor構(gòu)建特征集訓(xùn)練SVM[21]模型，提取所有測(cè)試樣本xE?Gabor輸入訓(xùn)練好的SVM 進(jìn)行分類，得到分類精度。

Step3-5：重復(fù)Step3-3 和Step3-4 得到所有 ρ1、ρ2下采樣組合的分類精度，選擇分類精度最高的組合提取特征xE?Gabor。

Step4：差分編碼：

Step4-1：提取所有中性表情樣本的xE?Gabor構(gòu)成中性特征字典DNeural， 提取所有表情樣本的xE?Gabor構(gòu)成表情特征字典DExp。

Step5：表情分類：

Step5-1：將數(shù)據(jù)集的樣本分為10 等份，隨機(jī)取其中的9 等份作為訓(xùn)練樣本集，剩余1 等份為測(cè)試樣本集。

4 實(shí)驗(yàn)分析

4.1 BU3DFE 數(shù)據(jù)庫上的性能分析

在BU3DFE 數(shù)據(jù)庫[22]評(píng)估提出方法的性能，共2400 張圖片，采用十折交叉驗(yàn)證，重復(fù)10 次實(shí)驗(yàn)，最后取10 次結(jié)果的平均值作為最終結(jié)果。這樣安排實(shí)驗(yàn)的優(yōu)點(diǎn)在于訓(xùn)練集和測(cè)試集的容量都很大，不會(huì)出現(xiàn)因?yàn)闇y(cè)試樣本少而造成實(shí)驗(yàn)的結(jié)果波動(dòng)大。所有的實(shí)驗(yàn)都是在PC(Intel Core i7-8700 CPU,3.20GHZ)，Matlab2018b 上進(jìn)行的。

4.1.1 雙重下采樣算法的性能分析

采用單個(gè)采樣倍數(shù) ρ對(duì)5 個(gè)尺度8 個(gè)方向的Gabor 特征圖進(jìn)行下采樣，將其向量化得到Gabor特征向量，輸入SVM 模型進(jìn)行表情識(shí)別。每個(gè)ρ下的Gabor 特征維數(shù)、特征的提取時(shí)間、所有測(cè)試樣本的識(shí)別時(shí)間以及最終的十折交叉測(cè)試精度如表1 所示。

表1 Gabor 不同下采樣倍數(shù)的分類性能

由表1 可知：1）不同的下采樣倍數(shù)，得到識(shí)別精度和識(shí)別時(shí)間不同；2）采樣倍數(shù)與算法運(yùn)行的時(shí)間呈正比，與識(shí)別精度呈反比。這是因?yàn)榇蟮南虏蓸颖稊?shù)，會(huì)忽略部分分類信息從而導(dǎo)致識(shí)別精度降低，但同時(shí)因?yàn)橄虏蓸颖稊?shù)大，特征維數(shù)會(huì)大大減少，所以提取特征的時(shí)間和識(shí)別時(shí)間會(huì)加速。

單個(gè)采樣倍數(shù)無法平衡好識(shí)別時(shí)間和識(shí)別精度，需要更好的方法來解決。因此，本文用網(wǎng)格搜索和交叉驗(yàn)證選擇最優(yōu)下采樣組合倍數(shù)，圖6 是不同組合倍數(shù)下Gabor 特征的識(shí)別精度，結(jié)果表示：1）采用網(wǎng)格搜索法在{8，16，32}和{4，8，16}內(nèi)搜索到最高點(diǎn)為 8+8 組合，此組合為最優(yōu)采樣組合，其特征維數(shù)2624 維，識(shí)別率與 ρ=4持平，訓(xùn)練模型的時(shí)間和所有測(cè)試樣本分類的時(shí)間只需308 s，采用此組合能夠很好的平衡識(shí)別精度和識(shí)別時(shí)間；2）除了最優(yōu)組合外，其它組合的識(shí)別率都要高于比如32+8 組合，它的識(shí)別精度要明顯高于 ρ=32略低于ρ=8， 但識(shí)別時(shí)間遠(yuǎn)小于 ρ=8，僅需230 s。

圖6 不同下采樣組合倍數(shù)的識(shí)別率

4.1.2 獨(dú)立身份特征的性能分析

雙重下采樣雖然很好的平衡了分類模型的識(shí)別時(shí)間和識(shí)別精度，但其仍無法解決種族、性別對(duì)表情識(shí)別干擾的問題，E-Gabor 在BU3DFE 數(shù)據(jù)庫上的識(shí)別率還不夠高，表2 是E-Gabor 的精度混淆矩陣。

由表2 可知：1）SU 識(shí)別精度最高，是因?yàn)檫@個(gè)表情動(dòng)作幅度較明顯，具有高辨別性。FE 的識(shí)別率低，因?yàn)镕E 表情幅度小，辨別性差；2）FE 表情誤判為HA 表情的概率高達(dá)7%，因?yàn)檫@兩類表情之間的差別小，如圖7a 為同一個(gè)人FE 和HA 的圖像，從圖片可以看出他們間的差別小，而下圖7b 中為FE 內(nèi)部不同人臉，這兩者之間的差別大，大于圖7a 中的差異，因此導(dǎo)致表情分類錯(cuò)誤。

表2 E-Gabor 的精度混淆矩陣

圖7 誤識(shí)別表情

從上述的分析可知，造成表情分類錯(cuò)誤的一個(gè)重要因素是種族、性別的干擾，它使得同類表情之間的差異變大，不同類表情之間的差異變小。為有效消除種族、性別的干擾，將DE-Gabor 特征在BU3DFE 數(shù)據(jù)集上進(jìn)行表情識(shí)別，六類表情的精度混淆矩陣如表3 所示，結(jié)果表示：基于DE-Gabor 的表情識(shí)別，各類表情的精度均有提升，原本精度高的SU 表情分別提升了1%，原本精度低FE 類表情提升了3%。同樣表明，種族、性別對(duì)特征微小的表情干擾大，對(duì)特征明顯的表情干擾小，表明了DE-Gabor 消除種族、性別干擾的有效性。10 次試驗(yàn)，各表情的識(shí)別率如表4 所示，AN 和SA 的標(biāo)準(zhǔn)差都小于1%，波動(dòng)幅度小。波動(dòng)幅度較大的表情FE，其標(biāo)準(zhǔn)差也就只有1%，DE-Gabor 特征具有穩(wěn)定性。

表3 DE-Gabor 的精度混淆矩陣

表4 DE-Gabor 十次實(shí)驗(yàn)的識(shí)別率

4.1.3 與其它方法的性能對(duì)比

將本文提出的DE-Gabor 紋理特征與常用的HOG、LBP、LPQ、GLCM 紋理特征進(jìn)行性能對(duì)比，各個(gè)表情的識(shí)別精度如表5 所示。結(jié)果表明DEGabor 在各個(gè)表情上的識(shí)別精度都要高于其它的紋理特征，平均識(shí)別率比最優(yōu)的紋理特征HOG 算子高出8%。

表5 DE-Gabor 與其它紋理特征的精度對(duì)比

將DE-Gabor 特征與其它的差分紋理方法進(jìn)行對(duì)比，圖8 依次展示了差分圖像、差分圖像的EGabor 特征圖、E-Gabor 特征圖和DE-Gabor 特征圖，差分圖像為各表情圖像與中性圖像對(duì)齊后，對(duì)應(yīng)位置像素相減所得。差分圖像特征是用E-Gabor特征算子在差分圖像上提取特征。圖8 各個(gè)階段的結(jié)果對(duì)應(yīng)于表6，結(jié)果顯示，圖像差分E-Gabor 特征的精度遠(yuǎn)大于圖像差分。圖像差分E-Gabor 與E-Gabor 特征兩者精度相差不大，但圖像差分EGabor 的精度卻比DE-Gabor 的小，這一點(diǎn)從上面的圖也可以看出，圖像差分E-Gabor 特征包含的表情信息小于DE-Gabor，此外，DE-Gabor 不需要滿足圖像集中各樣本間像素對(duì)齊的嚴(yán)格條件。

圖8 差分特征圖

表6 DE-Gabor 與其它差分紋理特征的識(shí)別率對(duì)比(%)

深度學(xué)習(xí)是最近的研究熱點(diǎn)，將本文方法與現(xiàn)有的深度學(xué)習(xí)表情識(shí)別方法進(jìn)行對(duì)比，表7 結(jié)果顯示，DE-Gabor 的識(shí)別性能優(yōu)于現(xiàn)有方法。

表7 DE-Gabor 與現(xiàn)有算法的識(shí)別率對(duì)比 (%)

4.2 不同種族、性別下的性能分析

BU3DFE 數(shù) 據(jù) 庫 包 含100 名 受 試 者，2500 個(gè)面部表情圖像包括憤怒，厭惡，恐懼，幸福，悲傷，驚奇各400 張圖像和100 張中性表情，年齡在18～70 歲之間，包括白人(WH)、黑人(BL)、東亞人(AE)、中東人(AM)、印度人(IN)和西班牙裔拉丁人(LA)。圖9a、圖9b 分別為表情特點(diǎn)不明顯的AN 表情SA 在AE、WH 上的部分人臉樣本。理想條件下，同種表情內(nèi)部的差異是細(xì)微的，要小于異類表情之間的差異。但由于個(gè)體種族、性別的影響，同種表情的差異擴(kuò)大，甚至?xí)笥诋愵惐砬橹g的差異，導(dǎo)致錯(cuò)誤分類?；谥饔^認(rèn)知，這種影響在不同性別不同種族上表現(xiàn)得尤為明顯，但主觀判斷無法形成一個(gè)確定的準(zhǔn)則，缺乏說服力。

圖9 BU3DFE 部分樣本圖

因此，本節(jié)通過DE-Gabor 算子分析不同性別、不同種族對(duì)分類性能的影響，以數(shù)學(xué)語言的形式表征，同時(shí)也將進(jìn)一步佐證本文方法對(duì)種族、性別魯棒性。本節(jié)通過在性別不同、種族不同的數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn)，AM、BL、LA、IN 含有的樣本數(shù)過少，不具有可試驗(yàn)性，因此將BU3DFE 劃分為：男女混合加所有種族、女性加所有種族、男性加所有種族；男女混合加AE 和WH、女性加AE 和WH、男性加AE 和WH；男女混合加AE、女性加AE、男性加AE；男女混合加WH、女性加WH、男性加WH。將E-Gabor 和DE-Gabor 分別應(yīng)用在劃分的數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn)對(duì)比，對(duì)比結(jié)果如圖10所示。

圖10 不同種族、性別上E-Gabor 與DE-Gabor 的識(shí)別率對(duì)比

由圖10 可得：1）不管是在哪種種族背景下的數(shù)據(jù)庫，女性的識(shí)別率都要高于男性。表明女性在表達(dá)各類表情時(shí)面部肌肉變化有明顯的界限，各類表情之間的區(qū)分高。男性在表達(dá)各種感情時(shí)略微含蓄，各類表情之間的界限要比女性的模糊，不易區(qū)分；2）實(shí)驗(yàn)的所有種族里WH 是提升幅度最大的，尤其是WH 下的男性，在消除個(gè)體種族、性別信息的干擾后，提升了5%。這一結(jié)果表明，關(guān)于WH 種男性的表情識(shí)別，個(gè)體種族、性別是造成各類表情界限模糊的重要原因之一，應(yīng)用DE-Gabor特征擴(kuò)寬了表情間界限，提高了識(shí)別精度；3）與白人(WH)不同，在由東亞人(AE)組成的數(shù)據(jù)庫上，不論是何種性別，識(shí)別精度提升幅度都不明顯，表明AE 和WH 兩個(gè)種族的人在表達(dá)情緒上有很大差別。AE 的表達(dá)情緒較為含羞、內(nèi)斂，而WH 種族在表達(dá)情緒方面較為外放、夸張，這與兩個(gè)種族的文化背景是精密相關(guān)的。

5 結(jié) 論

1）提出DE-Gabor 特征，解決了Gabor 特征的高維問題，很好的權(quán)衡了精度與時(shí)間。

2）利用協(xié)同稀疏表示重構(gòu)表情特征得到近似中性表情特征，然后將表情特征與近似中性的差異信息進(jìn)行表情識(shí)別可以減少身份信息的干擾，魯棒性強(qiáng)。

3）在不同種族、不同性別的數(shù)據(jù)庫上的結(jié)果表明：無論哪個(gè)種族，女性表達(dá)各類表情比男性要明顯，各類表情間的界限要清晰。白種人的表情識(shí)別受身份干擾的程度要大，而東亞人受身份影響較小。