孫銘堃，梁令羽，汪涵，何為?，趙魯陽(yáng)

(1 中國(guó)科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所 寬帶無(wú)線(xiàn)移動(dòng)通信研究室， 上海 201800；2 中國(guó)科學(xué)院大學(xué)， 北京 100049)(2019年1月3日收稿； 2019年3月22日收修改稿)

在計(jì)算機(jī)視覺(jué)領(lǐng)域，人臉作為生物識(shí)別的一項(xiàng)重要特征，較指紋、虹膜等其他特征來(lái)說(shuō)，具有采集簡(jiǎn)單、非接觸性且隱蔽等優(yōu)點(diǎn)，在視頻監(jiān)控、安全驗(yàn)證、門(mén)禁系統(tǒng)等方面有著很廣闊的應(yīng)用前景。

人臉關(guān)鍵點(diǎn)定位是人臉識(shí)別的關(guān)鍵環(huán)節(jié)，其在限定環(huán)境下已達(dá)到商用程度，但在非限定環(huán)境[1]中，由于圖像采集時(shí)的非可控性，如拍攝背景、角度、光照、人臉表情及拍攝成像質(zhì)量等，使得非限定環(huán)境下人臉識(shí)別的難度大大提高。因此，非限定環(huán)境下的人臉關(guān)鍵點(diǎn)定位一直是國(guó)內(nèi)外研究的熱點(diǎn)。目前關(guān)鍵點(diǎn)定位方法大致可以分為以下幾類(lèi)：1)基于先驗(yàn)規(guī)則的方法[2]；2)基于形狀和外觀模型的方法[3];3)基于統(tǒng)計(jì)能量函數(shù)的方法[4-5];4)基于級(jí)聯(lián)回歸的方法[6-8];5)基于分類(lèi)器的方法[9];6)基于深度學(xué)習(xí)的方法[10-13]。隨著計(jì)算資源的提升，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)的非線(xiàn)性映射能力提取人臉形狀特征的深度學(xué)習(xí)，在人臉識(shí)別上取得了遠(yuǎn)超其他方法的識(shí)別精度。

本文采用級(jí)聯(lián)卷積網(wǎng)絡(luò)[14]的思想，有別于常規(guī)的5點(diǎn)定位，實(shí)現(xiàn)了包括外部17關(guān)鍵點(diǎn)與內(nèi)部51關(guān)鍵點(diǎn)在內(nèi)的共68關(guān)鍵點(diǎn)定位。針對(duì)外部關(guān)鍵點(diǎn)，將兩層卷積網(wǎng)絡(luò)級(jí)聯(lián)，分別完成外部關(guān)鍵點(diǎn)的粗細(xì)定位；針對(duì)內(nèi)部關(guān)鍵點(diǎn)，結(jié)合可變形部件模型(deformable part model,DPM)，引入五官部位的形變信息，在檢測(cè)人臉的同時(shí)完成五官位置的定位，避免了傳統(tǒng)算法中由于先檢測(cè)人臉位置，后檢測(cè)五官位置，而造成人臉位置檢測(cè)結(jié)果直接影響五官定位精度的問(wèn)題。此外，在模型訓(xùn)練過(guò)程中，引入多通道卷積，提取不同層級(jí)的特征信息，使圖像中的低、中、高分辨率的像素得到充分利用，提高面部關(guān)鍵點(diǎn)的檢測(cè)精度。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)[15](convolutional neural network,CNN)主要由卷積層和池化層構(gòu)成，是一種專(zhuān)門(mén)用來(lái)處理具有類(lèi)似網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)[16]。在卷積層中，通過(guò)并行地進(jìn)行多個(gè)卷積運(yùn)算來(lái)代替一般的矩陣乘法運(yùn)算，進(jìn)而產(chǎn)生一組線(xiàn)性激活響應(yīng)，然后通過(guò)一個(gè)非線(xiàn)性激活函數(shù)對(duì)得到的線(xiàn)性激活響應(yīng)進(jìn)行映射，最終再使用池化函數(shù)(pooling function)對(duì)輸出進(jìn)行調(diào)整。

VGGNet構(gòu)筑了16～19層深的卷積神經(jīng)網(wǎng)絡(luò)，是由牛津大學(xué)計(jì)算機(jī)視覺(jué)組(Visual Geometry Group)和Google DeepMind公司研究員一起研發(fā)的深度神經(jīng)網(wǎng)絡(luò)，遷移到其他圖片數(shù)據(jù)上的泛化性也非常好。其中VGG-16網(wǎng)絡(luò)由13個(gè)卷積層、5個(gè)池化層和3個(gè)全連接層構(gòu)成，模型的參數(shù)量達(dá)到數(shù)億級(jí)，而且在網(wǎng)絡(luò)模型的訓(xùn)練階段中，還需保存每一步的權(quán)值(weight)、偏重(bias)的偏導(dǎo)數(shù)以及所需部分的輸出結(jié)果?？紤]到硬件環(huán)境受限，故對(duì)原有VGG-16網(wǎng)絡(luò)做輕量化處理：

1)卷積核數(shù)目：為了提取更詳細(xì)的圖像特征，將卷積核數(shù)量由512升為600，雖然增加了卷積層的網(wǎng)絡(luò)參數(shù)，但其只占整體參數(shù)量的一小部分，從整體上看，仍縮短了網(wǎng)絡(luò)訓(xùn)練所需時(shí)間。

2)激活函數(shù)：采用PReLU替代ReLU作為每一個(gè)層所使用的激活函數(shù)，解決神經(jīng)元失活問(wèn)題，并加快網(wǎng)絡(luò)的收斂速度，減少網(wǎng)絡(luò)訓(xùn)練周期。

3)全連接層：由于全連接層占據(jù)絕大部分的參數(shù)量，故去除前兩層全連接層；同時(shí)采用平均池化的方法代替原第5層的最大池化，提取出更抽象、更具有辨識(shí)度的特征[17]，在保留網(wǎng)絡(luò)性能的同時(shí)進(jìn)一步降低模型的參數(shù)個(gè)數(shù)。

Light-VGGNet的網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)設(shè)置如表1所示。

表1 Light-VGGNet網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)量Table 1 Structure of Light-VGGNet

CIFAR-10數(shù)據(jù)集是由50 000張訓(xùn)練圖像和10 000張測(cè)試圖像組成的小型自然圖像數(shù)據(jù)集，共包括10類(lèi)圖像，每幅圖像都是32×32的RGB圖像。采用未經(jīng)任何預(yù)處理和增強(qiáng)的原始圖像，在CIFAR-10數(shù)據(jù)集上，采用VGGNet、Light-VGGNet進(jìn)行模型訓(xùn)練。所得實(shí)驗(yàn)結(jié)果如圖1。由訓(xùn)練結(jié)果可知，在CIFAR-10和CIFAR-100數(shù)據(jù)集上：1) Light-VGGNet的誤差總是小于VGGNet函數(shù);2)當(dāng)二者迭代相同次數(shù)后，Light-VGGNet的準(zhǔn)確率較高。

圖1 VGG-16和Light-VGGNet的對(duì)比Fig.1 Comparison between VGG-16 and Light-VGGNet

2 人臉關(guān)鍵點(diǎn)定位算法

人臉關(guān)鍵點(diǎn)(landmark)即人臉上能夠代表人臉差異的坐標(biāo)點(diǎn)。通常由人臉外輪廓、左右眉毛輪廓、上下眼瞼、雙眼中心點(diǎn)、鼻尖、鼻梁及鼻頭輪廓、內(nèi)外嘴唇輪廓組成。根據(jù)這些關(guān)鍵點(diǎn)所處的相對(duì)位置可分為內(nèi)、外關(guān)鍵點(diǎn)。其中外關(guān)鍵點(diǎn)分布于人臉邊緣，可提取人臉大致的位置與角度信息；內(nèi)關(guān)鍵點(diǎn)則主要由局部的五官關(guān)鍵點(diǎn)構(gòu)成，這類(lèi)關(guān)鍵點(diǎn)在人臉識(shí)別與跟蹤中能夠提供更可靠的局部信息。

常見(jiàn)的關(guān)鍵點(diǎn)定位大多為5點(diǎn)，僅能確定五官的大致位置，局部細(xì)節(jié)特征很少。而本文主要是對(duì)人臉實(shí)現(xiàn)68關(guān)鍵點(diǎn)定位，包括外輪廓的17個(gè)點(diǎn)，左右眉毛10個(gè)點(diǎn)，左右眼12個(gè)點(diǎn)，鼻梁及鼻頭9個(gè)點(diǎn)，以及嘴巴內(nèi)外輪廓20個(gè)點(diǎn)。此68關(guān)鍵點(diǎn)能夠提供豐富的局部特征，實(shí)時(shí)跟蹤人臉的局部變化，該檢測(cè)的問(wèn)題形式可表達(dá)為

y=hθ(x)，

(1)

2.1 級(jí)聯(lián)卷積網(wǎng)絡(luò)

本文采用Zhou等[14]提出的關(guān)鍵點(diǎn)檢測(cè)思想，并行采用兩個(gè)級(jí)聯(lián)卷積網(wǎng)絡(luò)，由粗到精，由外向內(nèi)地實(shí)現(xiàn)對(duì)人臉68個(gè)關(guān)鍵點(diǎn)的高精度定位。網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2所示。

圖2 級(jí)聯(lián)卷積網(wǎng)絡(luò)示意圖Fig.2 Diagram of cascade convolutional neural network

2.2 可變形部件DPM模型

可變形部件模型(DPM)是一種基于部件的復(fù)雜物體檢測(cè)方法，它是在HOG[18]特征檢測(cè)的基礎(chǔ)上引入彈性形變部件，如圖3(a)，來(lái)描述目標(biāo)部件之間的相對(duì)變化，以加強(qiáng)對(duì)復(fù)雜目標(biāo)的特征描述。

人臉檢測(cè)中，DPM的訓(xùn)練過(guò)程如圖3(b)所示：選用HOG特征對(duì)輸入圖像進(jìn)行人臉信息提取，同時(shí)通過(guò)構(gòu)建圖像特征金字塔降低分辨率對(duì)濾波器響應(yīng)的影響；之后再進(jìn)行根濾波器與部件濾波器的訓(xùn)練，并將粗、細(xì)尺度濾波器進(jìn)行組合，完成針對(duì)人臉輪廓、人眼、鼻頭及人嘴的模型搭建；再采用合適的分類(lèi)器對(duì)模型進(jìn)行訓(xùn)練,從而得到一個(gè)針對(duì)人臉的星形結(jié)構(gòu)模型。最后利用訓(xùn)練好的DPM模型在目標(biāo)圖像上逐塊掃描，并根據(jù)DPM得分進(jìn)行部件的判斷與定位。

圖3 DPM模型在人臉檢測(cè)中的應(yīng)用Fig.3 Application of DPM in face detection

雖然DPM能夠有效地利用目標(biāo)整體與各個(gè)部件的特征與位置信息，但依然存在以下問(wèn)題：1)HOG特征的提取與圖像金字塔的構(gòu)筑過(guò)程計(jì)算量大，造成整個(gè)特征提取過(guò)程耗時(shí)很長(zhǎng)；2)將模型應(yīng)用于圖像檢測(cè)時(shí)，由于它是將訓(xùn)練完成的濾波器與圖形的各個(gè)部分進(jìn)行掃描匹配，工作量較大，進(jìn)一步增加了目標(biāo)檢測(cè)耗時(shí)。

2.3 人臉檢測(cè)層

卷積神經(jīng)網(wǎng)絡(luò)在圖像特征提取過(guò)程中通過(guò)卷積操作避免了繁雜的圖像預(yù)處理過(guò)程，且其權(quán)值共享性有效減少了訓(xùn)練過(guò)程的參數(shù)量。故在Light-VGGNet網(wǎng)絡(luò)基礎(chǔ)上,融合DPM模型，提出DPM-CNN網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)引入多通道卷積，提取不同尺度的人臉信息，以完成CNN特征金字塔的構(gòu)造，增強(qiáng)網(wǎng)絡(luò)對(duì)目標(biāo)尺寸的抽象表達(dá)能力，解決DPM模型特征提取與檢測(cè)過(guò)程耗時(shí)較長(zhǎng)的問(wèn)題。此層的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 人臉檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Network structure of face detection

此層將112×112的RGB圖像轉(zhuǎn)換為灰度圖像作為輸入，共包含4層卷積層。其中：1)第1卷積層由64個(gè)3×3的卷積核構(gòu)成，跨度為2；2)第2卷積層由128個(gè)3×3的卷積核構(gòu)成，跨度為1；3)第3卷積層由256個(gè)3×3的卷積核構(gòu)成，跨度為1；4)第4卷積層由600個(gè)3×3的卷積核構(gòu)成，跨度為1。各卷積層之后均為2×2，跨度為2的最大池化層。同時(shí)在第2、3卷積層之后引入多通道卷積，與第4池化層的結(jié)果進(jìn)行拼接(contcat)，并輸入到全連接層，最后再經(jīng)過(guò)SoftMax層進(jìn)行激活響應(yīng)，得到28維的輸出層。

在人臉檢測(cè)層中引入DPM人臉模型，在進(jìn)行人臉檢測(cè)時(shí)，采用式(2)所示函數(shù)作為誤差函數(shù)，結(jié)合人臉五官位置坐標(biāo)，對(duì)人臉檢測(cè)層進(jìn)行迭代訓(xùn)練，完成人臉與五官位置的同時(shí)檢測(cè)。

Loss=LFaceRoi+λLPartRoi

(2)

λ用于均衡兩個(gè)損失函數(shù)，默認(rèn)設(shè)為1；i由人臉的左右眉毛、左右眼眼角、鼻子、嘴巴的左右嘴角共12個(gè)五官關(guān)鍵點(diǎn)構(gòu)成。(x,y)為真實(shí)坐標(biāo)點(diǎn)，(x′,y′)為實(shí)際坐標(biāo)點(diǎn)，且對(duì)誤差進(jìn)行歸一化處理，以消除人臉尺寸對(duì)訓(xùn)練結(jié)果的影響。

2.4 人臉外部關(guān)鍵點(diǎn)定位

圖5 外部關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Network structure of external landmark detection

2.5 人臉內(nèi)部關(guān)鍵點(diǎn)定位

對(duì)人臉內(nèi)部關(guān)鍵點(diǎn)，采用兩層級(jí)聯(lián)網(wǎng)絡(luò)進(jìn)行定位。其網(wǎng)絡(luò)結(jié)構(gòu)如圖6(a)所示：1)將第1層人臉檢測(cè)層中定位到的人臉位置坐標(biāo)以1.2倍的尺寸擴(kuò)大，裁剪重塑為96×96的圖像，采用人臉檢測(cè)層中的DPM-CNN網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合五官位置信息，同時(shí)完成人臉內(nèi)部輪廓邊界框與五官位置的定位；2)第2層：固定第1層網(wǎng)絡(luò)權(quán)值，并將第1層定位到的五官位置坐標(biāo)以1.5倍擴(kuò)大，摳取左右眉毛、左右眼、鼻子、嘴巴共6個(gè)局部圖像，縮放為48×48的尺寸，記錄圖像間的空間變換參數(shù)，再采用相同的卷積網(wǎng)絡(luò)分別對(duì)其進(jìn)行關(guān)鍵點(diǎn)定位，每層的網(wǎng)絡(luò)結(jié)構(gòu)如圖6(b)所示。

圖6 五官關(guān)鍵點(diǎn)檢測(cè)示意圖Fig.6 Diagram of partial landmark detection

3 實(shí)驗(yàn)設(shè)計(jì)及結(jié)果分析

3.1 數(shù)據(jù)集擴(kuò)充及模型訓(xùn)練

本文所有實(shí)驗(yàn)及模型是在ubuntu16.04系統(tǒng)上，采用TensorFlow 1.8.0開(kāi)源框架，在兩塊內(nèi)存為12 G的TITAN V上完成。所用數(shù)據(jù)集來(lái)自Helen、LFPW、實(shí)驗(yàn)室錄制及網(wǎng)絡(luò)爬取的人臉圖像。并手動(dòng)對(duì)采集的數(shù)據(jù)樣本重新標(biāo)記，經(jīng)過(guò)篩選后，共獲得13 000張不同背景、光照、姿勢(shì)的人臉照片。此外，通過(guò)伸縮鏡像、加噪等操作，對(duì)此數(shù)據(jù)集進(jìn)行樣本擴(kuò)充，最終得到34 000張樣本圖像。在其中隨機(jī)選取30 000張作為訓(xùn)練集，其余4 000張選做驗(yàn)證集。圖7為部分樣本圖片及標(biāo)定信息示意圖，可看出此樣本涵蓋了不同膚色、人種、角度、表情、尺度和光線(xiàn)的場(chǎng)景圖。為了更方便地使用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練，將圖片統(tǒng)一為112×112的大小。在每次訓(xùn)練時(shí)，對(duì)權(quán)重進(jìn)行Xavier初始化，并在訓(xùn)練樣本中隨機(jī)選取300作為訓(xùn)練Batch，采用Adam(adaptive moment estimation)算法進(jìn)行訓(xùn)練，并將學(xué)習(xí)率設(shè)置為0.000 1。

圖7 樣本數(shù)據(jù)集示意圖Fig.7 Diagram of sample data set

為了更全面地分析本文算法的性能，本文采用LFW人臉庫(kù)作為測(cè)試集，并采用歸一化的平均誤差[11](normalized mean error)來(lái)衡量算法的性能，如下式所示：

(3)

式中：(x，y)為關(guān)鍵點(diǎn)標(biāo)記的真實(shí)位置坐標(biāo)；(x′,y′)為預(yù)測(cè)的位置坐標(biāo)；N為用作測(cè)試的圖像數(shù)量；分母D為雙眼距離，用以平衡因人臉尺寸帶來(lái)的差異。同時(shí)，為了更加量化地評(píng)判實(shí)驗(yàn)結(jié)果，當(dāng)相對(duì)誤差Lossrelative_err值大于0.1時(shí)評(píng)判為預(yù)測(cè)失敗，標(biāo)為0；反之則預(yù)測(cè)成功。

3.2 實(shí)驗(yàn)結(jié)果分析

3.2.1 人臉檢測(cè)層

采用式(3)評(píng)判實(shí)驗(yàn)結(jié)果，最終得到的人臉平均識(shí)別率如表2所示：在驗(yàn)證集上，人臉檢測(cè)率至少能達(dá)到92.8%。經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)后，在內(nèi)部輪廓檢測(cè)上，準(zhǔn)確率提升至96.9%。

表2 人臉檢測(cè)與人臉內(nèi)輪廓平均識(shí)別率Table 2 Recognition of face detection and inner bounding box

此外，以FDDB數(shù)據(jù)庫(kù)為測(cè)試集，將本文的DPM-CNN網(wǎng)絡(luò)與傳統(tǒng)的人臉檢測(cè)模型Viloa-Jones[19]、DPM模型、RCNN[20]、Faster RCNN[21]、MSCNN[22]的檢測(cè)準(zhǔn)確度做對(duì)比。結(jié)果如表3所示。

表3 不同方法在FDDB上的檢測(cè)時(shí)間、準(zhǔn)確率和漏檢率Table 3 Comparison of detection time, accuracy, and missed detection rate on FDDB among different methods

傳統(tǒng)的Viloa-Jones采用積分圖的方法進(jìn)行特征提取，準(zhǔn)確率明顯低于其他方法。RCNN與Faster RCNN采用圖像分割的方法選擇候選窗口，雖然在一定程度上，減輕了選擇窗口的工作量，但是依然會(huì)明顯影響其檢測(cè)速度。而MSCNN模型采用單一CNN結(jié)構(gòu)，將多步驟融合到單一的卷積網(wǎng)絡(luò)中，相較Faster RCNN大幅提升了檢測(cè)速度，也提升了準(zhǔn)確率。但其誤檢與漏檢依然較低。而本文的DPM-CNN模型，在Light-VGG網(wǎng)絡(luò)基礎(chǔ)上，結(jié)合可變形部件，依靠部件的形變對(duì)誤差函數(shù)進(jìn)行約束，在人臉檢測(cè)的同時(shí)完成對(duì)五官位置坐標(biāo)的定位，并通過(guò)引入多通道卷積提取更多的圖像特征，從而進(jìn)一步提高了檢測(cè)準(zhǔn)確度和檢測(cè)速度。

3.2.2 人臉關(guān)鍵點(diǎn)檢測(cè)

以FDDB為測(cè)試集，將定位到的內(nèi)外人臉框、五官關(guān)鍵點(diǎn)等與其他算法進(jìn)行對(duì)比，來(lái)論證該算法的優(yōu)越性。首先對(duì)內(nèi)部人臉框進(jìn)行定位，識(shí)別結(jié)果如表2所示。

本文算法與DCNN[23]、Shortcut DCNN[24]相比，左右眼、鼻子及嘴巴4個(gè)五官位置的平均定位誤差都較低，具體結(jié)果如表4所示。本文網(wǎng)絡(luò)結(jié)構(gòu)在每個(gè)關(guān)鍵點(diǎn)位置的定位過(guò)程中融合了五官之間的形變約束，并通過(guò)多通道融合低高層網(wǎng)絡(luò)特征，增強(qiáng)了網(wǎng)絡(luò)的特征提取能力，最終使得該算法在各個(gè)關(guān)鍵點(diǎn)都有著較低的輸出誤差。

表4 五官位置平均定位誤差Table 4 Average positioning errors of facial features

最終，本文算法在內(nèi)外關(guān)鍵點(diǎn)、左右眉毛、左右眼、鼻子及嘴巴各部位關(guān)鍵點(diǎn)上的平均定位誤差如表5所示，各個(gè)局部位置的平均定位誤差都較低且相似。

表5 人臉內(nèi)外關(guān)鍵點(diǎn)平均定位誤差Table 5 Average positioning errors of facial landmarks

圖8為部分測(cè)試結(jié)果，從中可看出，對(duì)內(nèi)外關(guān)鍵點(diǎn)的定位中：1)本文所采用的網(wǎng)絡(luò)模型在非限定環(huán)境中不受年齡、膚色、姿勢(shì)及表情變化的影響，能夠很好地適應(yīng)頭部的偏轉(zhuǎn)、仰俯及傾斜。2)當(dāng)佩戴淺色透明眼鏡時(shí)，可準(zhǔn)確地標(biāo)定出人眼關(guān)鍵點(diǎn)；當(dāng)佩戴深色眼鏡時(shí)，亦可在相應(yīng)區(qū)域內(nèi)大致標(biāo)定出人眼關(guān)鍵點(diǎn)。3)當(dāng)人臉處于部分遮擋或有復(fù)雜干擾物時(shí)，也可根據(jù)未遮擋部分準(zhǔn)確估計(jì)出被遮擋部分的關(guān)鍵點(diǎn)位置。4)然而，當(dāng)采集的圖像分辨率較低且受光照極度不均時(shí)，此時(shí)由于丟失了大量的局部信息，使得標(biāo)定結(jié)果存在一定程度的偏移。

圖8 人臉關(guān)鍵點(diǎn)檢測(cè)結(jié)果Fig.8 Examples of facial landmark detection

4 結(jié)論

本文提出一種基于級(jí)聯(lián)卷積網(wǎng)絡(luò)的面部關(guān)鍵點(diǎn)檢測(cè)，在Light-VGGNet網(wǎng)絡(luò)基礎(chǔ)上，引入可變形部件，并通過(guò)多通道卷積提取不同層級(jí)網(wǎng)絡(luò)的特征，構(gòu)建CNN特征模型，完成DPM-CNN模型的搭建。通過(guò)人臉檢測(cè)與五官位置的同時(shí)定位，降低人臉檢測(cè)偏差對(duì)五官檢測(cè)的影響。在進(jìn)行面部關(guān)鍵點(diǎn)檢測(cè)時(shí)，將兩層不同的卷積網(wǎng)絡(luò)級(jí)聯(lián)，完成內(nèi)外關(guān)鍵點(diǎn)的精準(zhǔn)定位。經(jīng)過(guò)一系列對(duì)比實(shí)驗(yàn)，本文中的網(wǎng)絡(luò)模型，在精準(zhǔn)度和檢測(cè)速度上都較其他算法得到了提升。在非限定環(huán)境下，對(duì)年齡、膚色、表情、姿勢(shì)以及模糊遮擋等情況都有著很好的適應(yīng)性。但當(dāng)光照不均且圖像分辨率較低時(shí)，關(guān)鍵點(diǎn)定位仍存在一定程度的偏移。故在今后的工作中，需進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，擴(kuò)充訓(xùn)練數(shù)據(jù)集，提高模型適應(yīng)性，且擬在本實(shí)驗(yàn)基礎(chǔ)上，將該模型投入到相關(guān)的實(shí)際應(yīng)用中。