劉業(yè)輝 宋玉娥 朱賀新

摘? 要：在信息技術(shù)應(yīng)用逐漸成熟的背景條件下，機(jī)器人視覺方案開始走入各行各業(yè)。為使機(jī)器人視覺面部表情識(shí)別達(dá)到理想的識(shí)別效果，研究了采用機(jī)器人視覺方式進(jìn)行處理，對(duì)人類面部表情進(jìn)行精準(zhǔn)識(shí)別，進(jìn)而為相關(guān)功能實(shí)現(xiàn)提供支撐，如學(xué)校課堂管理、安防工作等。該文主要針對(duì)基于機(jī)器人視覺的面部表情識(shí)別技術(shù)進(jìn)行深入研究，以供參考。

關(guān)鍵詞：機(jī)器人視覺;面部表情;識(shí)別技術(shù)

中圖分類號(hào)：TP391.4? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2021）16-0102-03

Analysis of Facial Expression Recognition Technology Based on Robot Vision

LIU Yehui， SONG Yu’e， ZHU Hexin

（Beijing Polytechnic College， Beijing? 100042， China）

Abstract： Under the background of the gradual maturity of information technology application， robot vision scheme begin to enter all walks of life. In order to achieve the ideal recognition effect of robot visual facial expression recognition， the robot visual processing method is studied to accurately recognize human facial expression， so as to provide the supports for the realization of relevant functions，， such as school classroom management， security work， etc. This paper mainly studies the facial expression recognition technology based on robot vision for reference.

Keywords： robot vision; facial expression; identification technology

0? 引? 言

智能化解決方案正在廣泛應(yīng)用，對(duì)面部表情進(jìn)行識(shí)別的技術(shù)需求日益增多。為達(dá)到理想識(shí)別效果，需要合理采用機(jī)器人視覺面部表情識(shí)別技術(shù)，通過相關(guān)技術(shù)手段對(duì)人類表情進(jìn)行深入分析，最終以高識(shí)別效率輸出高質(zhì)量結(jié)果。通過研究相關(guān)技術(shù)細(xì)節(jié)，可以為后續(xù)應(yīng)用機(jī)器人視覺方案打下堅(jiān)實(shí)基礎(chǔ)，具有正面影響意義。

1? 表情識(shí)別方法分類

在機(jī)器人視覺方案應(yīng)用階段，面部表情自動(dòng)化識(shí)別屬于常用類型之一，其主要針對(duì)人類面部狀態(tài)進(jìn)行采集，并對(duì)比數(shù)據(jù)庫內(nèi)部表情數(shù)據(jù)，獲得特征加以分析。通過此類方式，可有效識(shí)別目標(biāo)情緒傾向，有利于相關(guān)內(nèi)容的聯(lián)想、整合與分析，快速識(shí)別特征面部表情。常規(guī)情況下，完整識(shí)別系統(tǒng)需要包含人臉檢測(cè)、定位跟蹤、特征提取、表情識(shí)別四個(gè)模塊[1]。

在針對(duì)人臉進(jìn)行檢測(cè)的過程中，需要首先通過圖像采集模塊獲取數(shù)據(jù)信息，隨后利用序列處理方法，檢測(cè)目標(biāo)人臉位置，并開展定位與跟蹤活動(dòng)如圖1所示。

針對(duì)人臉進(jìn)行檢測(cè)與定位的措施主要分為兩種，即知識(shí)措施與特征措施。知識(shí)措施需要對(duì)人臉存在的基礎(chǔ)條件進(jìn)行規(guī)則化處理，使后續(xù)能夠利用知識(shí)數(shù)據(jù)庫完成粗檢測(cè)、精檢測(cè)流程，實(shí)現(xiàn)定位目標(biāo)人臉位置的目標(biāo)。粗檢測(cè)與精檢測(cè)的主要區(qū)別與分辨率、幀率存在關(guān)聯(lián)，因此需要根據(jù)環(huán)境條件與硬件條件的差異進(jìn)行針對(duì)化處理。目前，主流應(yīng)用方案采用灰度圖像積分投影曲線處理方式進(jìn)行操作，其能夠根據(jù)局部區(qū)域極值數(shù)據(jù)，判斷人臉器官所處位置，整體魯棒性較高[2]。除此之外，基于特征的檢測(cè)方法也具有理想應(yīng)用價(jià)值，其在處理階段需要借助人臉?biāo)邆涞南嚓P(guān)特征進(jìn)行操作，如膚色情況、紋理狀態(tài)、邊緣位置等。但是，相對(duì)于知識(shí)檢測(cè)方法，特征檢測(cè)可能會(huì)受到其他條件干擾，因此應(yīng)當(dāng)避免在精細(xì)化要求較高的場(chǎng)合應(yīng)用。為達(dá)到理想識(shí)別效果，應(yīng)當(dāng)針對(duì)面部表情信息進(jìn)行分類處理。通常情況下，分類工作主要利用設(shè)計(jì)機(jī)制展開預(yù)先定義的類別處理。常用分類措施主要分為兩種，即模板匹配、神經(jīng)網(wǎng)絡(luò)[3]。

2? 人臉圖形獲取與預(yù)處理

對(duì)針對(duì)人臉圖形進(jìn)行獲取并完成預(yù)處理操作時(shí)，需要首先補(bǔ)償光照條件，避免信息出現(xiàn)亮度過低、模糊等影響識(shí)別的問題。通常情況下，人類面部膚色容易受到光源顏色、采集設(shè)備色差等問題影響，出現(xiàn)偏離實(shí)質(zhì)色彩的情況。因此，需要利用參考白算法完成圖像補(bǔ)償措施，使光照條件產(chǎn)生的負(fù)面影響能夠得到有效控制。

光照條件補(bǔ)償糾正結(jié)束后，應(yīng)當(dāng)對(duì)圖像信息進(jìn)行中值濾波平滑處理。中值濾波屬于非線性濾波類型，其能夠有效排除噪聲像素，為后續(xù)進(jìn)一步識(shí)別提供重要基礎(chǔ)。在實(shí)踐階段，應(yīng)當(dāng)對(duì)圖像內(nèi)部像素周邊灰度差距較大的位置進(jìn)行糾正，使其能夠與周邊像素實(shí)現(xiàn)平均化表現(xiàn)狀態(tài)。

3? 面部表情識(shí)別系統(tǒng)的實(shí)現(xiàn)與實(shí)驗(yàn)結(jié)果

3.1? 面部表情識(shí)別系統(tǒng)設(shè)計(jì)

面部表情識(shí)別系統(tǒng)設(shè)計(jì)基本結(jié)構(gòu)如圖2所示。

在設(shè)計(jì)面部表情識(shí)別系統(tǒng)的過程中，需要首先準(zhǔn)備系統(tǒng)應(yīng)用設(shè)備并合理規(guī)劃界面布局。本次應(yīng)用實(shí)驗(yàn)平臺(tái)為臺(tái)式計(jì)算機(jī)設(shè)備，并結(jié)合USB攝像頭裝置完成視頻圖像采集。臺(tái)式計(jì)算機(jī)配置為AMD RYZEN 5600X處理器，內(nèi)存配置為16 GB，能夠有效承載面部識(shí)別計(jì)算壓力與數(shù)據(jù)存儲(chǔ)需求。表情識(shí)別系統(tǒng)采用C++編寫，并基于開源視覺庫OPEN GL完成處理模塊設(shè)計(jì)[4]。在界面規(guī)劃階段，中央顯示窗口應(yīng)當(dāng)與攝像頭連接，顯示視頻信息內(nèi)容。窗口內(nèi)采用紅色矩形標(biāo)記目標(biāo)人臉位置，為調(diào)試跟蹤模塊提供基礎(chǔ)條件。表情識(shí)別信息需要顯示于紅色矩形標(biāo)記下方，并在界面右側(cè)控制區(qū)域輸出幀數(shù)狀態(tài)與識(shí)別結(jié)果保存位置。面部表情識(shí)別處理如圖3所示。

首先利用檢測(cè)定位方式對(duì)視頻圖像幀進(jìn)行檢查、處理，隨后將人臉區(qū)域從攝像頭信息中分離（割）。若在單幀內(nèi)成功檢測(cè)到目標(biāo)人臉，則啟動(dòng)人臉跟蹤處理模塊。

3.2? 人臉檢測(cè)定位及跟蹤實(shí)驗(yàn)

人臉檢測(cè)與定位屬于機(jī)器人視覺識(shí)別方案的核心模塊，通過從人類基本表情視頻流內(nèi)抽取相關(guān)圖像進(jìn)行對(duì)比，并采用雙眼定位與視覺瞳孔拾取方法進(jìn)行處理，能夠有效明確定位方案應(yīng)用效果。實(shí)驗(yàn)過程中，主要針對(duì)X與Y方向的雙眼瞳孔定位進(jìn)行分析，并明確誤差情況。結(jié)果顯示，瞳孔定位誤差極限數(shù)據(jù)不超過4像素，具有應(yīng)用可靠性。同時(shí)，對(duì)虹膜半徑識(shí)別誤差極限不超過5像素，單幀定位耗時(shí)僅523毫秒，實(shí)時(shí)性良好。

在跟蹤實(shí)驗(yàn)開展階段，主要應(yīng)用中值濾波、開啟閉合等像素操作方案，整體時(shí)間消耗較長(zhǎng)。通過采用1 000幀人臉識(shí)別圖像數(shù)據(jù)進(jìn)行粗定位實(shí)時(shí)檢測(cè)，對(duì)結(jié)果進(jìn)行分析能夠發(fā)現(xiàn)，針對(duì)單幀圖像的定位耗時(shí)極限達(dá)到了72毫秒，實(shí)用性較低。為解決此類問題，應(yīng)當(dāng)采用粒子濾波跟蹤應(yīng)用算法，使人臉檢測(cè)與識(shí)別裝置能夠得到有效補(bǔ)充，進(jìn)一步強(qiáng)化實(shí)時(shí)性特征，跟蹤計(jì)算時(shí)采用式（1）進(jìn)行處理[5]。

yt=2yt-1-yt-2? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

本式中，y代表二維向量{r，c}，r，c分別代表此粒子在目標(biāo)圖像內(nèi)的行列坐標(biāo)狀態(tài)。yt代表第t次粒子濾波初始階段所處位置，yt-1代表第t-l次確定的跟蹤目標(biāo)位置，yt-2代表第t-2次確定的跟蹤目標(biāo)位置。完成改造后再次進(jìn)行相關(guān)識(shí)別測(cè)試發(fā)現(xiàn)，跟蹤算法耗時(shí)僅為人臉粗定位算法耗時(shí)的二分之一。人臉區(qū)域檢測(cè)定位與跟蹤主要算法流程如圖4所示。

3.3? 面部表情識(shí)別實(shí)驗(yàn)

在針對(duì)面部表情進(jìn)行識(shí)別時(shí)，為明確系統(tǒng)應(yīng)用效果，需要展開相關(guān)測(cè)試實(shí)驗(yàn)。實(shí)驗(yàn)工作主要依靠訓(xùn)練分類表情數(shù)據(jù)進(jìn)行處理，相關(guān)數(shù)據(jù)內(nèi)容來源于5名隨機(jī)人員在穩(wěn)定環(huán)境條件下展現(xiàn)面部表情。通過對(duì)比相關(guān)實(shí)驗(yàn)數(shù)據(jù)能夠發(fā)現(xiàn)，本次構(gòu)建的表情識(shí)別系統(tǒng)能夠?qū)μ囟繕?biāo)面部情況實(shí)現(xiàn)高效識(shí)別，與人工鑒定表情類型結(jié)果具有趨同性，可判定為準(zhǔn)確度較高。同時(shí)，針對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析能夠發(fā)現(xiàn)，本次應(yīng)用系統(tǒng)對(duì)相關(guān)特征表情的識(shí)別率超過85%，平均可識(shí)別效果相對(duì)接近，均處于85%以上。針對(duì)特定表情進(jìn)行識(shí)別時(shí)，由于面部特征明顯，因此識(shí)別率會(huì)產(chǎn)生上升趨勢(shì)，如開心、驚訝、憤怒等，識(shí)別率能夠達(dá)到95%以上。此類面部表情特征與其他常見表情存在顯著差異，在面部器官位置出現(xiàn)改變時(shí)，識(shí)別敏感區(qū)域相對(duì)位置與狀態(tài)變化顯著，如面部眉毛、眼睛、嘴部等。因此，針對(duì)相關(guān)表情的識(shí)別效果較為良好，能夠在特定要求下進(jìn)行應(yīng)用。除此之外，針對(duì)厭煩、害怕、悲傷三種表情的識(shí)別效果相對(duì)較差，容易出現(xiàn)判斷錯(cuò)誤或結(jié)果混淆等情況。導(dǎo)致此類問題出現(xiàn)的主要原因與三種表情敏感區(qū)域變化不顯著有關(guān)，同時(shí)此類負(fù)面表情共同特征較多，容易導(dǎo)致人臉識(shí)別系統(tǒng)出現(xiàn)誤判斷問題。因此，需要重視對(duì)負(fù)面表情識(shí)別的優(yōu)化工作，確保不同類型面部特征能夠得到有效區(qū)分，避免影響整體識(shí)別準(zhǔn)確率與穩(wěn)定性。

除常規(guī)識(shí)別實(shí)驗(yàn)外，還應(yīng)當(dāng)展開非特定人類表情識(shí)別實(shí)驗(yàn)工作。通過此類實(shí)驗(yàn)方式，能夠明確本次設(shè)立的表情識(shí)別系統(tǒng)能否使用多種差異人群類型識(shí)別需求場(chǎng)景。通過選擇四名非特定人選開展識(shí)別工作，并利用與常規(guī)面部識(shí)別系統(tǒng)完全一致的分類裝置進(jìn)行處理，能夠在排除特定圖像信息的情況下展開客觀識(shí)別活動(dòng)。四名非特定測(cè)試人員需要在穩(wěn)定環(huán)境條件下展現(xiàn)多種面部表情，如厭煩、害怕、開心、悲傷等[6]。在表情分類裝置內(nèi)部不存在對(duì)應(yīng)樣本的情況下，整體工作穩(wěn)定性大幅降低，但是整體分析表情識(shí)別效果與人工識(shí)別仍然存在顯著趨同性，平均識(shí)別率達(dá)到了80%，可以認(rèn)為非特定人類表情識(shí)別效果仍然較為理想，能夠明確整體識(shí)別效果具有較為穩(wěn)定的趨勢(shì)。因此，本次識(shí)別系統(tǒng)具有顯著實(shí)用性，能夠在多種情況條件下進(jìn)行應(yīng)用。用訓(xùn)練過和為訓(xùn)練過的人分別做測(cè)試，初步結(jié)果如表1所示。

4? 結(jié)? 論

綜上所述，在針對(duì)人類面部表情進(jìn)行識(shí)別的過程中，機(jī)器人視覺解決方案具有良好應(yīng)用效果。在落實(shí)系統(tǒng)處理架構(gòu)時(shí)，需要重視相關(guān)技術(shù)應(yīng)用細(xì)節(jié)，確保面部表情能夠得到穩(wěn)定識(shí)別，盡可能提高應(yīng)用質(zhì)量與效率，為后續(xù)多種場(chǎng)景應(yīng)用打下堅(jiān)實(shí)基礎(chǔ)，進(jìn)一步拓展計(jì)算機(jī)識(shí)別應(yīng)用功能推廣范圍。

參考文獻(xiàn)：

[1] 潘光良.機(jī)器人人臉表情識(shí)別技術(shù)研究 [J].智能機(jī)器人，2019（1）：50-52.

[2] 李蕭瑋.基于智能服務(wù)機(jī)器人表情識(shí)別技術(shù)研究 [J].中國(guó)新通信，2018，20（23）：76.

[3] 王鍇.挑戰(zhàn)條件下的人臉表情識(shí)別 [D].中國(guó)科學(xué)院大學(xué)（中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院），2020.

[4] 何志超，趙龍章，陳闖.用于人臉表情識(shí)別的多分辨率特征融合卷積神經(jīng)網(wǎng)絡(luò) [J].激光與光電子學(xué)進(jìn)展，2018，55（7）：370-375.

[5] 姚麗莎，徐國(guó)明，趙鳳.基于卷積神經(jīng)網(wǎng)絡(luò)局部特征融合的人臉表情識(shí)別 [J].激光與光電子學(xué)進(jìn)展，2020，57（4）：338-345.

[6] 崔鳳焦.表情識(shí)別算法研究進(jìn)展與性能比較 [J].計(jì)算機(jī)技術(shù)與發(fā)展，2018，28（2）：145-149.

作者簡(jiǎn)介：劉業(yè)輝（1969.12—），男，漢族，四川省開縣人，教授，碩士研究生，主要研究方向：電子通信、移動(dòng)互聯(lián)應(yīng)用、人工智能應(yīng)用;宋玉娥（1981.02—），女，漢族，山東省曹縣人，副教授，信號(hào)處理學(xué)博士，主要研究方向：移動(dòng)通信工程、信息安全與對(duì)抗、人工智能應(yīng)用;朱賀新（1983.06—），女，漢族，河南省南陽人，副教授，通信與信息系統(tǒng)碩士，主要研究方向：移動(dòng)通信工程、移動(dòng)互聯(lián)應(yīng)用、人工智能應(yīng)用。