基于超分辨率重建的低分辨率表情識(shí)別的研究

王 玨，潘沛生

(南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

0 引 言

近年來，人臉表情識(shí)別技術(shù)在醫(yī)學(xué)研究、案件偵破、自動(dòng)駕駛等領(lǐng)域[1-2]有著廣泛的應(yīng)用。但受限于目前的監(jiān)控系統(tǒng)，絕大多數(shù)都是遠(yuǎn)距離的場(chǎng)景下，獲得的人臉表情圖像是視覺模糊和小尺寸的，該文將這類圖像稱為低分辨率人臉表情圖像，這類圖像具有較少的表情特征，所以低分辨率的人臉表情識(shí)別是極其困難的。目前研究低分辨率人臉表情識(shí)別課題的方向較少，其中張靈等人[3]利用壓縮感知理論重建低分辨率疲勞表情圖像；李桂峰[4]采用基于塊和基于像素提出的正則化方法對(duì)低分辨率微表情圖像進(jìn)行處理。傳統(tǒng)算法重建的圖像會(huì)出現(xiàn)丟失細(xì)節(jié)、邊緣模糊的問題。研究表明，深度學(xué)習(xí)在圖像超分辨率重建[5-8]和識(shí)別領(lǐng)域[9-11]比傳統(tǒng)方法取得了更好的效果。針對(duì)上述問題，該文提出一種基于深度學(xué)習(xí)的超分辨率重建算法用于對(duì)低分辨率面部圖像進(jìn)行表情識(shí)別。

1 算法框架

提出的低分辨率人臉表情識(shí)別的系統(tǒng)流程如圖1所示。該算法主要包括兩個(gè)子網(wǎng)絡(luò)：基于新的混合損失函數(shù)的超分辨率重建網(wǎng)絡(luò)和基于小尺度卷積核的人臉表情識(shí)別網(wǎng)絡(luò)。具體操作流程是：先將低分辨率人臉表情圖像輸入超分辨率重建網(wǎng)絡(luò)從而生成高分辨率人臉表情圖像，然后對(duì)該人臉表情圖像進(jìn)行特征提取并實(shí)現(xiàn)分類即表情識(shí)別。

圖1 低分辨率人臉表情識(shí)別系統(tǒng)流程

1.1 基于新的混合損失函數(shù)的超分辨率重建網(wǎng)絡(luò)

該文基于深度學(xué)習(xí)的超分辨率重建網(wǎng)絡(luò)結(jié)構(gòu)[8]如圖2(a)所示，輸入的低分辨率圖像經(jīng)過卷積和32個(gè)相同的殘差網(wǎng)絡(luò)結(jié)構(gòu)疊加構(gòu)成殘差塊學(xué)習(xí)圖像特征，再進(jìn)行上采樣操作，然后得到重建后的高分辨率圖像。

(a)超分辨率重建網(wǎng)絡(luò)結(jié)構(gòu) (b)殘差網(wǎng)絡(luò)結(jié)構(gòu)

首先殘差網(wǎng)絡(luò)[8]的結(jié)構(gòu)如圖2(b)中右圖所示，對(duì)比原始的殘差塊(如圖2(b)左圖)，該網(wǎng)絡(luò)結(jié)構(gòu)去掉了兩個(gè)批量歸一化操作(batch normalization，BN)和線性整流函數(shù)(ReLU)。因?yàn)?，BN[12]會(huì)對(duì)提取到的特征值進(jìn)行正則化處理，從而導(dǎo)致整個(gè)網(wǎng)絡(luò)的靈活性下降。

其次，系統(tǒng)中對(duì)特征圖進(jìn)行上采樣，采用的方法是子像素卷積(shuffle)層[13]。該方法是隱含在卷積層中的，可以實(shí)現(xiàn)自主學(xué)習(xí)，從而避免引入過多的人工因素的干擾，并且會(huì)提高算法效率。

最后，為了生成更高質(zhì)量的人臉表情圖像，該文提出一種新的混合損失函數(shù)以減少重建后的人臉表情圖像與原始高分辨率人臉表情圖像的差距，其定義為：

Lloss=αLsmooth L1+(1-α)LSSIM

(1)

其中，Lsmooth L1，LSSIM分別表示魯棒的L1型損失函數(shù)[7]和結(jié)構(gòu)相似性(structural similarity，SSIM)損失函數(shù)[14]，α(0≤α<1)表示損失函數(shù)的權(quán)重。

Lsmooth L1損失函數(shù)用于衡量像素的相似性，其定義為：

(2)

其中x和y表示重建后的圖像與原標(biāo)簽圖像。

Lsmooth L1損失函數(shù)是基于逐像素比較差異，忽略鄰域的標(biāo)簽，Lsmooth L1損失函數(shù)比L1型損失函數(shù)穩(wěn)定，同時(shí)比L2型損失函數(shù)收斂速度塊，易于模型的訓(xùn)練。

SSIM可以用于衡量圖像相似性，該損失函數(shù)考慮每個(gè)像素的局部鄰域，可以將較高的權(quán)重分配給邊界。如果將其整合到網(wǎng)絡(luò)的損失函數(shù)中，可以獲得標(biāo)簽圖像的結(jié)構(gòu)信息，其表達(dá)式為：

(3)

若采用單一的Lsmooth L1損失函數(shù)，其只考慮對(duì)應(yīng)點(diǎn)像素的差異，會(huì)造成圖像缺少部分高頻，并且出現(xiàn)過度平滑的紋理[12]和局部結(jié)構(gòu)缺失，因此采用混合損失函數(shù)共同監(jiān)督。Lsmooth L1損失函數(shù)可以減小像素差異，LSSIM損失函數(shù)通過對(duì)鄰域像素的計(jì)算，保留高頻信息，提高圖像質(zhì)量。

現(xiàn)有研究中，針對(duì)社會(huì)化信任關(guān)系的協(xié)同過濾技術(shù)的隱私保護(hù)工作尚不多見.因此，從考慮隱私保護(hù)和預(yù)測(cè)準(zhǔn)確率兩者間的折中以及協(xié)同過濾技術(shù)中的數(shù)據(jù)稀疏性和冷啟動(dòng)問題，本文將差分隱私保護(hù)技術(shù)引入融合顯/隱式信任關(guān)系的SVD++協(xié)同過濾技術(shù)中，提出目標(biāo)函數(shù)加擾的TrustSVD差分隱私保護(hù)新策略.關(guān)于新策略，文中在理論上分析了其隱私保護(hù)的性能，實(shí)驗(yàn)上驗(yàn)證了其在協(xié)同過濾應(yīng)用中的預(yù)測(cè)表現(xiàn).結(jié)果表明：所提新策略與無隱私保護(hù)的TrustSVD具有相近的預(yù)測(cè)準(zhǔn)確率，與做類似差分隱私保護(hù)的SVD++相比獲得了更優(yōu)的預(yù)測(cè)結(jié)果，此外還給出了核心參數(shù)的調(diào)節(jié)實(shí)驗(yàn).

1.2 基于小尺度卷積核的人臉表情識(shí)別網(wǎng)絡(luò)

如上所述，輸入的低分辨率人臉表情圖像經(jīng)過基于深度超分辨率重建網(wǎng)絡(luò)結(jié)構(gòu)已經(jīng)生成高分辨率人臉表情圖像。之后再將該圖像送入人臉表情識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)后提取特征并分類。文中借用VGG網(wǎng)絡(luò)[15]的思想，采用小尺度卷積核提取特征，然后使用softmax分類器得到表情分類的結(jié)果。

當(dāng)前人臉表情識(shí)別研究中，為了提高人臉表情識(shí)別的準(zhǔn)確率，大多數(shù)算法采用更深、更寬的網(wǎng)絡(luò)結(jié)構(gòu)，但在提高準(zhǔn)確率的同時(shí)，帶來了復(fù)雜的計(jì)算量和較低的識(shí)別效率。文中所述算法通過小尺度卷積核提取特征，降低計(jì)算復(fù)雜度，從而提高了識(shí)別效率。

如圖3所示，基于小尺度卷積核的人臉表情識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)由6個(gè)3×3卷積的小尺度卷積層、6個(gè)池化層、1個(gè)全連接層和softmax層組成。小尺度卷積核用來提取人臉表情特征；池化層用來減小特征圖的大小，文中采用的是最大池化層；全連接層將前面提取到的表情特征加權(quán)求和得到每種表情的分?jǐn)?shù)；softmax分類器的作用將全連接層得到的分?jǐn)?shù)映射為概率，從而得到表情識(shí)別結(jié)果。

圖3 人臉表情識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)

其次，每個(gè)小尺度卷積層的卷積核個(gè)數(shù)分別為64，128，256，512，512，512，其中步長(zhǎng)均為1。最大池化層的步長(zhǎng)為2。假設(shè)人臉表情圖像大小為88×88，將該圖像輸入網(wǎng)絡(luò)結(jié)構(gòu)，經(jīng)過卷積層后，會(huì)得到64個(gè)88×88的特征圖。這些特征圖再通過最大池化層進(jìn)行下采樣得到44×44×64大小的特征圖，再經(jīng)過五個(gè)同樣的卷積層和最大池化層的操作，輸出1×1×512大小的特征圖，然后將特征圖送入含有512個(gè)神經(jīng)元的全連接層，輸出1×512維的向量。最后通過softmax分類器得到表情識(shí)別的結(jié)果。

為了衡量該網(wǎng)絡(luò)結(jié)構(gòu)的計(jì)算復(fù)雜度，一般通過其參數(shù)量(空間復(fù)雜度)來表示，其計(jì)算公式為：

(4)

2 實(shí)驗(yàn)結(jié)果與分析

本研究所有訓(xùn)練和測(cè)試的過程均使用深度學(xué)習(xí)框架：GPU版本的Tensorflow，具有便攜、高效和兼容性好等優(yōu)點(diǎn)。實(shí)驗(yàn)采用的硬件平臺(tái)為Ubuntu16.04，GTX 1080TI GPU。使用的開發(fā)環(huán)境和工具為Anaconda軟件，python3.6環(huán)境。

2.1 人臉表情識(shí)別數(shù)據(jù)集

本研究采用的訓(xùn)練和測(cè)試的數(shù)據(jù)集為CK+[16]人臉表情數(shù)據(jù)庫，該數(shù)據(jù)庫中的實(shí)驗(yàn)樣本包含7種表情：憤怒，蔑視，悲傷，厭惡，開心，驚訝，害怕。該數(shù)據(jù)庫是在實(shí)驗(yàn)室條件下獲取的，數(shù)據(jù)可靠。文中選取該數(shù)據(jù)中每個(gè)序列的最后三幀，總共981張，憤怒，蔑視，悲傷，厭惡，開心，驚訝，害怕表情數(shù)據(jù)集的數(shù)量分別為135，54，84，177，207，249，75。實(shí)驗(yàn)將表情圖像裁剪為96×96大小，作為原始高分辨人臉表情圖像。

2.2 實(shí)驗(yàn)處理及參數(shù)設(shè)置

在超分辨率重建網(wǎng)絡(luò)結(jié)構(gòu)中，將CK+數(shù)據(jù)集按照8∶2比例分為訓(xùn)練集和測(cè)試集，模型訓(xùn)練階段迭代次數(shù)設(shè)置為40 000次，批量大小設(shè)置為16。經(jīng)過多次實(shí)驗(yàn)，將混合損失函數(shù)中的權(quán)重α設(shè)置為0.8，可以取得最佳效果。

在人臉表情圖像識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)中，將CK+數(shù)據(jù)集也按8∶2比例分為訓(xùn)練集和測(cè)試集。由于CK+數(shù)據(jù)量過少，會(huì)造過擬合問題，因此，在訓(xùn)練階段，隨機(jī)在圖像的左上角，左下角，右上角，右下角和中心進(jìn)行切割，得到88×88的圖像并做鏡像操作，這樣的操作可以使訓(xùn)練集增大10倍。在該網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練階段，動(dòng)量設(shè)置值為0.9，學(xué)習(xí)率初始值為0.01，權(quán)重衰減的系數(shù)為0.000 5。

2.3 實(shí)驗(yàn)結(jié)果對(duì)比與分析

為了驗(yàn)證文中提出的低分辨率表情識(shí)別算法的有效性，將原始高分辨率圖像進(jìn)行4倍、8倍、16倍的下采樣，分別得到24×24、12×12、6×6大小的低分辨率人臉表情圖像，如圖4所示。

圖4 不同大小的低分辨率人臉表情圖像

之后，將不同大小的低分辨率人臉表情圖像送入超分辨率重建網(wǎng)絡(luò)結(jié)構(gòu)中，生成高分辨率圖像，再將人臉表情圖像送入人臉表情識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)中。文中以12×12尺寸大小的圖像為例，如圖5所示，第一行是原始高分辨率人臉表情圖像(HR)，第二行是低分辨率人臉表情圖像(LR)，第三行是采用文獻(xiàn)[6]中的算法(EDSR)重建的人臉表情圖像，第四行是使用文中方法重建的人臉表情圖像。從圖中可以看出，低分辨率人臉圖像(LR)非常模糊，表情特征難以區(qū)分。采用EDSR算法重建的人臉表情圖像，五官位置比較明確，但在嘴角和眼角位置存在局部模糊問題。采用文中算法重建的人臉表情圖像，不僅五官位置比較明確，對(duì)于嘴角和眼角的局部位置重建清晰，而且整體來看，圖像紋理更加清晰。

圖5 8倍超分辨率重建結(jié)果對(duì)比

文獻(xiàn)[6]中提出的EDSR算法在基于深度學(xué)習(xí)的圖像超分辨率重建方面是優(yōu)于SRCNN[5]、FRSCNN[6]、VDSR[7]等算法的，因此，為了驗(yàn)證文中方法對(duì)人臉表情識(shí)別準(zhǔn)確率提高的有效性，將低分辨率圖像采用基于局部先驗(yàn)約束算法[17]、EDSR算法和文中算法重建得到的圖像進(jìn)行表情識(shí)別準(zhǔn)確率的比較，如表1所示。

表1 CK+數(shù)據(jù)集人臉表情識(shí)別準(zhǔn)確率 %

由數(shù)據(jù)分析可得，在識(shí)別相同低分辨率表情圖像時(shí)，文中算法的識(shí)別準(zhǔn)確率均提高了，并且均高于基于局部先驗(yàn)約束重建算法和EDSR算法，說明文中算法可以提高低分辨率面部圖像表情識(shí)別的正確率。

同時(shí)，在輸入極低分辨(6×6)人臉表情圖像的情況下，準(zhǔn)確率提高了9.091%，優(yōu)于算法，表明文中算法對(duì)極低分辨率面部圖像的表情識(shí)別效果最好。

最后，為了分析各種表情的準(zhǔn)確率，依然以12×12大小重建的高分辨率人臉表情圖像的各類表情準(zhǔn)確率為例，如表2所示。

表2 重建后人臉表情圖像識(shí)別準(zhǔn)確率

在表2中，12×12大小重建后的高分辨率人臉表情準(zhǔn)確率為96.970%。其中開心準(zhǔn)確率為100%，憤怒、厭惡、悲傷、驚訝的表情識(shí)別準(zhǔn)確率為97%，蔑視的準(zhǔn)確率為94%，害怕的準(zhǔn)確率為88%，該表情準(zhǔn)確率較低的原因是數(shù)據(jù)集中該表情的數(shù)量較少，且表情不易區(qū)分。

3 結(jié)束語

文中提出了一種用于低分辨率表情識(shí)別的系統(tǒng)結(jié)構(gòu)。首先，為了重建低分辨率人臉表情圖像，引入了基于簡(jiǎn)化的殘差塊網(wǎng)絡(luò)，并提出通過新的混合損失函數(shù)共同監(jiān)督，Lsmooth L1雖然避開L1型和L2型損失函數(shù)的缺點(diǎn)，保持顏色亮度特征，但缺乏高頻信息；LSSIM損失函數(shù)含有高頻信息，但對(duì)亮度和彩色變化遲鈍。當(dāng)結(jié)合這兩個(gè)損失函數(shù)時(shí)，既保留了圖像的顏色和特征，也保留了高頻信息。然后，將重建后的人臉表情圖像通過小尺度卷積核提取特征，再進(jìn)行分類識(shí)別。實(shí)驗(yàn)結(jié)果驗(yàn)證了該系統(tǒng)的可行性和優(yōu)越性，有效地提高了低分辨率人臉表情的準(zhǔn)確率。進(jìn)一步的研究方向是針對(duì)部分人臉表情難以區(qū)分、準(zhǔn)確率低的問題，考慮對(duì)提出的結(jié)構(gòu)繼續(xù)進(jìn)行改進(jìn)和優(yōu)化。