陳利民，嚴(yán)偉豪，梁 音，李春泉

(南昌大學(xué)信息工程學(xué)院，江西 南昌 330031)

人體的生物特征因基因的不同從而具有唯一性，且在已知的生物特征中，人臉的數(shù)據(jù)具有易采集的優(yōu)點(diǎn)。因此，人臉識別成為了身份識別和人機(jī)交互的關(guān)鍵技術(shù)之一。深度卷積神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于人臉識別系統(tǒng)，識別率和抗干擾性能較傳統(tǒng)模式識別方法有更優(yōu)表現(xiàn)[1]。在嵌入式人工智能(AI，Artificial Intelligence)實(shí)驗(yàn)平臺上設(shè)計(jì)基于卷積神經(jīng)網(wǎng)絡(luò)模型的人臉識別系統(tǒng)，將最新的人工智能科研成果融入實(shí)驗(yàn)教學(xué)，以增強(qiáng)學(xué)生對嵌入式人工智能理論知識的理解。深度網(wǎng)絡(luò)的計(jì)算復(fù)雜度高，然而現(xiàn)有國產(chǎn)化嵌入式人工智能芯片仍在起步階段，運(yùn)算能力較低，大部分只能在定點(diǎn)模式下實(shí)現(xiàn)一萬億次級別(TOPS，Tera Operations Per Second)的計(jì)算性能峰值[2]。研究深度卷積模型壓縮及其在國產(chǎn)化實(shí)驗(yàn)平臺的性能，有助于打通人工智能算法在嵌入式計(jì)算和邊緣計(jì)算應(yīng)用場景中落地的屏障。

為了實(shí)現(xiàn)人臉識別模型在嵌入式人工智能實(shí)驗(yàn)平臺的部署，提出了一種基于跳連接(Skip-connection)的DarkNet19人臉識別模型。模型部署在國產(chǎn)嵌入式人工智能K210實(shí)驗(yàn)系統(tǒng)上，對比分析了量化、剪枝這兩種壓縮方式前后的性能差異。將基于跳連接的DarkNet19壓縮模型與DarkNet53[3]、MobileNet-v1[4]壓縮模型對比，深入對比分析了上述壓縮模型在識別幀率、準(zhǔn)確率、模型的復(fù)雜度等方面的性能差異。

1 現(xiàn)有嵌入式AI實(shí)驗(yàn)系統(tǒng)的不足

由于核心芯片性能的限制，現(xiàn)有嵌入式人工智能實(shí)驗(yàn)多數(shù)使用高性能計(jì)算工作站或云計(jì)算服務(wù)器模擬嵌入式人工智能模型推理，僅停留在基礎(chǔ)理論階段。缺少嵌入式計(jì)算場景或邊緣計(jì)算場景下工程案例的引導(dǎo)，學(xué)習(xí)者難以建立完整的嵌入式AI知識框架。國內(nèi)已有研究團(tuán)隊(duì)使用嵌入式實(shí)驗(yàn)平臺實(shí)現(xiàn)手寫體數(shù)字識別等嵌入式AI工程案例[5-6]，將理論知識實(shí)例化，這將大大提高學(xué)習(xí)者的學(xué)習(xí)效率[7-8]。將人臉識別、多目標(biāo)物體識別等高復(fù)雜度模型部署到嵌入式人工智能實(shí)驗(yàn)平臺，可以將數(shù)據(jù)集處理、網(wǎng)絡(luò)結(jié)構(gòu)搭建、模型訓(xùn)練、模型壓縮、量化、模型部署等過程實(shí)例化，培養(yǎng)學(xué)生在嵌入式人工智能方向的創(chuàng)新能力。

雖然國產(chǎn)化嵌入式人工智能實(shí)驗(yàn)平臺計(jì)算能力已經(jīng)有了快速的提升，但其計(jì)算資源仍不能直接支撐深度神經(jīng)網(wǎng)絡(luò)的部署。以嘉楠科技自主研發(fā)的機(jī)器聽覺多模態(tài)識別的系統(tǒng)級芯片(SoC)勘智K210及其嵌入式開發(fā)實(shí)驗(yàn)平臺為例。K210包含RISC-V 64位雙核高性能低功耗CPU和卷積神經(jīng)網(wǎng)絡(luò)加速處理器KPU等加速計(jì)算單元。KPU是通用神經(jīng)網(wǎng)絡(luò)處理器，內(nèi)置卷積、批歸一化、激活、池化運(yùn)算單元。KPU實(shí)時(shí)工作時(shí)最大支持神經(jīng)網(wǎng)絡(luò)參數(shù)大小為5.5MiB到5.9MiB；其計(jì)算峰值可達(dá)1TOPS；支持主流訓(xùn)練框架，比如YOLO、Keras和Pytorch等，按照特定限制規(guī)則訓(xùn)練出來的定點(diǎn)化模型[9]。VGG-16、ResNet50等主流深度網(wǎng)絡(luò)參數(shù)量超過100M。嵌入式人工智能實(shí)驗(yàn)平臺資源受限，迫切需要研究網(wǎng)絡(luò)模型壓縮及其對性能的影響。

2 嵌入式人臉識別實(shí)驗(yàn)案例的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)與優(yōu)化

針對國產(chǎn)化嵌入式人工智能實(shí)驗(yàn)平臺資源有限的現(xiàn)狀，同時(shí)為了增加識別的準(zhǔn)確率，精簡網(wǎng)絡(luò)結(jié)構(gòu)，以DarkNet19網(wǎng)絡(luò)為主體基礎(chǔ)，提出了一種基于跳連接的DarkNet19網(wǎng)絡(luò)優(yōu)化結(jié)構(gòu)。DarkNet19實(shí)際上是Yolo-v2網(wǎng)絡(luò)中提取特征的主干網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如表1所示，其包含19層卷積層，5個(gè)最大池化Maxpooling層，為了減少網(wǎng)絡(luò)參數(shù)，DarkNet19去掉了全連接(FC，F(xiàn)ull Connect)層，并在每個(gè)卷積層后面都加入了一個(gè)批量歸一化(BN，Batch Normalization)層用以提升模型收斂速度，防止過擬合情況的出現(xiàn)。

表1 DarkNet19網(wǎng)絡(luò)結(jié)構(gòu)

以跳連接的DarkNet19網(wǎng)絡(luò)作為主體結(jié)構(gòu)，首先截取Convolutional Filters 1000之前的網(wǎng)絡(luò)，在第18層卷積后增加了4層網(wǎng)絡(luò)，第19～22層網(wǎng)絡(luò)參數(shù)如表2所示。增加了3個(gè)3×3的卷積層，同時(shí)在第21層增加了轉(zhuǎn)移層(Passthrough Layer)，把淺層特征圖連接到深層特征圖。在該層引入了4個(gè)跳連接，通過跳連接來對數(shù)據(jù)進(jìn)行特征重排，將特征圖像分別按行和列取樣，并使用TensorFlow算子space_to_depth對數(shù)據(jù)進(jìn)行處理，將處理后的子特征圖按通道連接得到特征圖。

表2 第19～22層網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

為增加最終預(yù)測的可靠性，將最后一層Convolutional Filters1000的卷積移除，并增加了一個(gè)1×1卷積層生成預(yù)測輸出。其卷積核數(shù)量Filters根據(jù)式(1)確定：

Filters=NUM_ANCHORS×(4+1+NUM_CLASS)

(1)

其中ANCHORS值由式(2)確定,CLASSES則由檢測框內(nèi)的種類確定。Anchor主要解決設(shè)置的參考框內(nèi)是否有目標(biāo)，若有目標(biāo)，則目標(biāo)框與參考框之間的偏差大小的問題，其定義如式(2)所示：

anchors=generate_anchor(feature_map_sizes,anchor_sizes,anchor_rations)

(2)

式(2)中的feature_map_sizes指的是該層卷積核的個(gè)數(shù)，由卷積核的數(shù)量決定，其大小計(jì)算公式如式(3)所示：

(3)

其中，heightin與widthin指輸入尺寸，heightout與widthout指輸出尺寸，padding指邊界填充，stride指步長。

3 深度神經(jīng)網(wǎng)絡(luò)模型壓縮

模型壓縮是指對已經(jīng)訓(xùn)練好的深度模型進(jìn)行精簡，進(jìn)而得到一個(gè)小而精的網(wǎng)絡(luò)。壓縮之后的模型網(wǎng)絡(luò)結(jié)構(gòu)更加簡單，參數(shù)也相應(yīng)減少，并且有效降低了模型運(yùn)行資源的消耗。目前，模型壓縮的方式一般有模型剪枝，更精細(xì)化模型設(shè)計(jì)，權(quán)重量化等。

3.1 模型剪枝

使用全局貪婪剪枝Pruning Filters for Efficient Convnets的方法進(jìn)行模型剪枝[10]，該方法使用加權(quán)系數(shù)的絕對值和大小來評判其重要性，其原理如圖1所示，將中值較低的卷積核裁掉，并驗(yàn)證裁剪后的準(zhǔn)確率，若某一層的裁剪對準(zhǔn)確率影響較大，則表明該層較敏感，則減小對該層的裁剪力度或是不做處理。相對于剪枝前的模型，剪枝后的模型大小和參數(shù)小了很多，其業(yè)務(wù)邏輯層的運(yùn)算量也大幅降低，而最終性能卻沒有受到影響。

圖1 中間層神經(jīng)元裁剪

基于跳連接的DarkNet19網(wǎng)絡(luò)模型剪枝過程如下：

1.將基于跳連接的DarkNet19網(wǎng)絡(luò)訓(xùn)練出的權(quán)重文件使用工具Darkflow，將其轉(zhuǎn)換成為Yolo-v2模型。該模型不僅保留了模型權(quán)重，還包含整個(gè)模型的信息。

2.對Yolo-v2模型進(jìn)行稀疏訓(xùn)練[11]。其原理是引入一個(gè)比例因子γ，并將其與訓(xùn)練網(wǎng)絡(luò)的權(quán)值結(jié)合，在稀疏的正則化處理后直接去除比例因子通道，最終得到微調(diào)剪枝網(wǎng)絡(luò)。其過程如式(4)所示：

(4)

其中，x表示訓(xùn)練的數(shù)據(jù)；y為數(shù)據(jù)標(biāo)簽；W為訓(xùn)練參量，λ為稀疏系數(shù)。選擇g(γ)=|s|，也就是L1正則化，通過稀疏訓(xùn)練后的模型相對原來模型有效地降低了模型存儲空間。

3.稀疏訓(xùn)練后開始對模型進(jìn)行剪枝。首先獲得BN層權(quán)重，并根據(jù)大小進(jìn)行排序，其最大與最小值則為閾值上下限，選擇需要剪枝的ID，將其剔除，同時(shí)設(shè)定裁剪參數(shù)的占總參量的百分比，將BN層權(quán)重乘以不需要剪枝的通道下標(biāo)，最后輸出每層保留的通道數(shù)列表，獲得剪枝后的模型，并對剪枝后的模型進(jìn)行評價(jià)。

3.2 精細(xì)化模型設(shè)計(jì)

針對輕量化網(wǎng)絡(luò)結(jié)構(gòu)，除了基于跳連接的DarkNet19網(wǎng)絡(luò)，還對比使用了MobileNet-v1作為主干網(wǎng)絡(luò)。MobileNet-v1是一個(gè)專門部署于嵌入式或者基于移動(dòng)網(wǎng)絡(luò)終端智能設(shè)備上的一種輕量級CNN網(wǎng)絡(luò)，在準(zhǔn)確率和大幅下降的條件下，大大地減小了模型的參數(shù)，其規(guī)模僅為VGG16的1/32。MobileNet的最大特點(diǎn)為深度可分離卷積(Depthwise Separable Convolution)，深度可分離卷積塊由兩部分組成，分別是普通卷積和深度可分離卷積。使用此種結(jié)構(gòu)的目的是減少計(jì)算的參數(shù)。1x1卷積則完成了通道數(shù)的調(diào)整等相關(guān)工作。

深度可分離卷積結(jié)構(gòu)在計(jì)算量上與標(biāo)準(zhǔn)卷積有較大的差別。假定輸入特征圖的大小為DF·DF·M，而輸出的特征圖為DF·DF·N，其中DF是特征圖的width和height，假定兩者相同。對于標(biāo)準(zhǔn)卷積來說DK·DK，其計(jì)算量為：

DK·DK·M·N·DF·DF

(5)

而深度卷積網(wǎng)絡(luò)的計(jì)算量為：

(6)

由式(6)可知，當(dāng)N較大的情況下，深度可分離卷積相較標(biāo)準(zhǔn)卷積可以降低大約9倍的計(jì)算量。

先對圖像進(jìn)行圖像人臉位置的標(biāo)定，仿射變換等預(yù)處理，然后輸入MTCNN網(wǎng)絡(luò)[12]，其中共包含Proposal Network、Refine Network和Output Network三個(gè)子網(wǎng)絡(luò)，分別記為P-Net、R-Net和O-Net。P-Net將濾除大部分候選圖像并且使用邊框回歸和關(guān)鍵點(diǎn)定位器來篩選人臉區(qū)域，并將可能的人臉區(qū)域輸出，傳入R-Net進(jìn)行更精細(xì)的篩選，然后輸出一個(gè)可靠人臉區(qū)域到O-Net，O-Net最后進(jìn)行一次篩選，在輸出圖像的基礎(chǔ)上，它也會(huì)輸出5個(gè)面部關(guān)鍵點(diǎn)的位置以及準(zhǔn)確的目標(biāo)框大小和坐標(biāo)，將輸出結(jié)果傳入MobileNet-v1網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到人臉識別輕量化模型。

3.3 模型量化

模型量化有兩種基本方式，即后訓(xùn)練量化和訓(xùn)練時(shí)量化，我們選擇后訓(xùn)練量化。相較于后者，這種方式無需重新訓(xùn)練模型，其原理是使用已有的浮點(diǎn)模型，將其量化為定點(diǎn)型模型，通過降低權(quán)重和激活輸出的方式來降低模型復(fù)雜度，這種方式具有很多優(yōu)點(diǎn)：

(1)更小的模型尺寸：當(dāng)使用8bit量化時(shí)，模型的尺寸將降低四倍，更小的尺寸意味著在模型下載時(shí)間縮短，模型占用內(nèi)存減少，并且模型精度損失較少。

(2)低功耗：移動(dòng)8bit定點(diǎn)型數(shù)據(jù)與移動(dòng)32bit浮點(diǎn)型數(shù)據(jù)相比，在效率上前者比后者高4倍。因此減少數(shù)據(jù)移動(dòng)量將在很大程度上降低功耗。

(3)激活輸出所需的內(nèi)存少：降低精度，數(shù)據(jù)就會(huì)占用更少的內(nèi)存，也就有利于緩存更好地重用。

(4)更短的推理耗時(shí)：大多數(shù)處理器8bits數(shù)據(jù)的處理速度高于32bits數(shù)據(jù)。

為了與使用基于跳連接的DarkNet19網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練出的模型做對比，量化時(shí)選擇將經(jīng)過Darkflow轉(zhuǎn)換后的Yolo-v2模型的權(quán)重與激活輸出一起量化為8bit。量化卷積網(wǎng)絡(luò)如圖2所示。qx、qa1、qa2、qy表示量化后的定點(diǎn)數(shù)。先將輸入量化成定點(diǎn)整數(shù)qx，然后根據(jù)量化公式(7)計(jì)算qa1、qa2與qy，其中w表示卷積的權(quán)重，q表示定點(diǎn)整數(shù)，a表示輸出的激活值，S和Z表示scale和zero point。

圖2 量化卷積網(wǎng)絡(luò)

(7)

為了確定尺度scale和zero point，也就是激活輸出的動(dòng)態(tài)范圍，準(zhǔn)備了1200張帶標(biāo)定的人臉數(shù)據(jù)集，利用這些數(shù)據(jù)集來估計(jì)全精度模型的x、a1、a2、y的取值范圍，也就是min、max參數(shù)，由線性量化公式(8)和(9)確定每一層卷積輸出特征圖的量化因子尺度scale和zero point。

(8)

(9)

其中，r表示浮點(diǎn)實(shí)數(shù)，minq與maxq由式(10)和式(11)決定，num_bit表示量化位數(shù)，選擇量化為8比特?zé)o符號整數(shù)。

minq=-2∧(num_bit-1)

(10)

maxq=2∧(num_bit-1)-1

(11)

最后利用全連接層計(jì)算出來的scale與zero point，推算回浮點(diǎn)實(shí)數(shù)，得到最后的輸出。

4 壓縮模型的部署

K210嵌入式AI平臺的實(shí)物及各模塊展示如圖3所示，該平臺與RT-Thread深度合作，構(gòu)成了集數(shù)據(jù)獲取、開發(fā)編譯、應(yīng)用部署、實(shí)時(shí)結(jié)果顯示的完整系統(tǒng)框架。當(dāng)系統(tǒng)運(yùn)行時(shí)，會(huì)將攝像頭捕捉到的畫面和人臉識別結(jié)果實(shí)時(shí)顯示在LCD屏幕上。

圖3 嵌入式人工智能實(shí)驗(yàn)系統(tǒng)

使用了Darkflow將基于跳連接的DarkNet19網(wǎng)絡(luò)下訓(xùn)練出來的模型權(quán)重轉(zhuǎn)換成為Yolo-v2模型，也就是Tensorflow模型文件，從而還原了模型的所有信息。但由于Tensorflow模型文件在K210上的支持并不友好，因此，還需要將其轉(zhuǎn)換為Tflite模型文件，Tflite模型支持算子更多，且模型更小，對嵌入式平臺具有更好的支持環(huán)境。通過調(diào)用Tensorflow官方庫里的tf.lite.TFLiteConverter函數(shù)，可以實(shí)現(xiàn)Tensorflow模型到Tflite模型的轉(zhuǎn)換。但并不是所有模型文件都可以使用這個(gè)轉(zhuǎn)換器，對于Keras或Pytorch模型，則需要先使用ONNX接口將其轉(zhuǎn)換為Tensorflow模型，然后才能使用Tensorflow轉(zhuǎn)換器轉(zhuǎn)換為Tflite模型。

為了將轉(zhuǎn)換后Tflite模型部署于K210嵌入式開發(fā)平臺，使用基于RT-AK的部署套件，它是RT-Thread團(tuán)隊(duì)對RT-Thread系統(tǒng)開發(fā)的一套集成部署與編譯開發(fā)套件，其工作方式主要基于RT-AK Tools與RT-AK Lib兩大組件，前者主要是在上位機(jī)實(shí)現(xiàn)AI模型轉(zhuǎn)換，并且部署到BSP，獲得集成AI的BSP，后者則是在嵌入式端完成模型推理，包括模型注冊、初始化、獲取輸出等，其工作流程如圖4所示，通過拉取第三方目標(biāo)平臺插件代碼并執(zhí)行插件相關(guān)工作來實(shí)現(xiàn)模型在不同平臺的適配。

圖4 壓縮模型部署流程

5 實(shí)驗(yàn)結(jié)果與分析

為了研究不同網(wǎng)絡(luò)模型壓縮對識別性能的影響，將基于跳連接的DarkNet19網(wǎng)絡(luò)、MobileNet-v1網(wǎng)絡(luò)訓(xùn)練出的人臉識別模型都部署在K210實(shí)驗(yàn)平臺進(jìn)行本地端對比。同時(shí)探討模型在經(jīng)過模型剪枝，模型量化后其精細(xì)度和準(zhǔn)確率是否會(huì)有明顯的降低。

將模型部署在K210開發(fā)平臺，圖5顯示了四種不同網(wǎng)絡(luò)人臉識別結(jié)果。實(shí)驗(yàn)平臺能很好地檢測人臉，基于跳連接的Darknet19網(wǎng)絡(luò)模型在人臉識別準(zhǔn)確率上相對優(yōu)化前提高了5%；DarkNet53網(wǎng)絡(luò)模型在人臉識別準(zhǔn)確率上效果最好，同時(shí)，模型參數(shù)也最多。圖5-c顯示在MTCNN+MobileNetV1網(wǎng)絡(luò)下多人環(huán)境人臉識別檢測的結(jié)果，人臉識別準(zhǔn)確率最高達(dá)到了89%，與DarkNet53網(wǎng)絡(luò)模型識別結(jié)果相比，其在準(zhǔn)確率相當(dāng)?shù)那闆r下模型要小很多。

(a)Darknet19 (b)基于跳連接的Darknet19 (c)MTCNN+MobileNetV1 (d)Darknet53

四種模型壓縮前后的差異主要表現(xiàn)在推理耗時(shí)、檢測準(zhǔn)確率、模型參數(shù)規(guī)模等方面。圖6描述在四種不同網(wǎng)絡(luò)訓(xùn)練出的模型在同一場景下經(jīng)過壓縮前后準(zhǔn)確率的不同。可以看出使用更精細(xì)化的MTCNN+MobileNetV1網(wǎng)絡(luò)或是DarkNet53訓(xùn)練，模型準(zhǔn)確率更高?；谔B接的DarkNet19網(wǎng)絡(luò)相對優(yōu)化前在準(zhǔn)確率上的提升明顯，已經(jīng)基本和使用基于MTCNN+MobileNet-v1二重網(wǎng)絡(luò)模型準(zhǔn)確率相同。模型在壓縮后，其精度都會(huì)有一定的損失，但模型準(zhǔn)確率都能保持在80%以上。

網(wǎng)絡(luò)模型類型

圖7描述四種網(wǎng)絡(luò)模型壓縮前后的模型推理時(shí)間變化，使用基于跳連接的Darknet19網(wǎng)絡(luò)模型推理時(shí)間最短，隨著網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜，模型推理時(shí)間也在不斷增加；而在模型經(jīng)過量化和剪枝后，推理時(shí)間相對壓縮前減少了20%；使用Darknet53網(wǎng)絡(luò)訓(xùn)練的模型由于參數(shù)規(guī)模大，因此其模型推理時(shí)間最長，不適合部署在移動(dòng)端。

網(wǎng)絡(luò)模型類型

圖8顯示了模型在經(jīng)過剪枝和量化后模型大小變化?？梢钥闯?，模型壓縮使得模型大小縮小約20%，模型參數(shù)也相應(yīng)減少。而量化與剪枝相比，前者所帶來的收益要大于后者，模型參數(shù)減少的比例要大。

網(wǎng)絡(luò)模型類型

6 結(jié)論

本文提出了一種基于跳連接DarkNet19網(wǎng)絡(luò)及其壓縮的人臉識別模型，部署在國產(chǎn)嵌入式人工智能實(shí)驗(yàn)平臺K210上實(shí)現(xiàn)基于深度神經(jīng)網(wǎng)絡(luò)模型壓縮的嵌入式人臉識別系統(tǒng)。該實(shí)驗(yàn)系統(tǒng)將人工智能碎片化的理論知識實(shí)例化，讓學(xué)生擺脫傳統(tǒng)教學(xué)模式下的被動(dòng)學(xué)習(xí)，轉(zhuǎn)變?yōu)橹鲃?dòng)面向嵌入式系統(tǒng)國產(chǎn)化進(jìn)程培養(yǎng)學(xué)生人工智能方向的創(chuàng)新能力?？梢詫ο到y(tǒng)使用的人臉識別模型進(jìn)行了模型剪枝、量化、精細(xì)化模型設(shè)計(jì)等模型壓縮方式，還使用了MTCNN與MobileNet-v1網(wǎng)絡(luò)、DarkNet53網(wǎng)絡(luò)訓(xùn)練人臉識別模型以對比網(wǎng)絡(luò)性能，探討了不同的模型壓縮方式，不同的網(wǎng)絡(luò)結(jié)構(gòu)對人臉識別系統(tǒng)的影響。