一種低分辨率視頻實(shí)例分割算法的研究

達(dá) 婷，楊 靚

(西安微電子技術(shù)研究所 西安 710065)

視頻圖像是生活中最常見(jiàn)的一種采集數(shù)據(jù)的方式，但是由于圖像采集設(shè)備的限制和采集條件不佳等原因，很難獲得高質(zhì)量的視頻圖像。尤其在移動(dòng)端實(shí)際應(yīng)用中，比如視頻監(jiān)控、目標(biāo)追蹤、行為分析等。同時(shí)，實(shí)例分割作為人機(jī)交互的一個(gè)重要研究方向被廣泛應(yīng)用于各種計(jì)算機(jī)視覺(jué)應(yīng)用場(chǎng)景中。一方面，現(xiàn)實(shí)環(huán)境中存在背景復(fù)雜、物體被遮擋，還有很多小目標(biāo)的低分辨率的視頻數(shù)據(jù)。另一方面，在實(shí)際應(yīng)用中，我們既希望得到高準(zhǔn)確率又同時(shí)要求算法輕量化，所以使得實(shí)例分割任務(wù)難度較大。

隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)方面的大規(guī)模運(yùn)用，利用深度學(xué)習(xí)算法進(jìn)行圖像分割成為一種必然趨勢(shì)。卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network,CNN)[1]已經(jīng)普遍應(yīng)用在計(jì)算機(jī)視覺(jué)領(lǐng)域，并且取得了不錯(cuò)的效果，如深度殘差網(wǎng)絡(luò)(residual neural network, ResNet)[2]。目標(biāo)檢測(cè)模型的提出，從CNN[1]、R-CNN[3]、Fast R-CNN[4]、Faster R-CNN[5]發(fā) 展 到Mask R-CNN[6]。R-CNN(regions with CNN features)是一種物體檢測(cè)任務(wù)的經(jīng)典算法，算法思路是從生成的候選區(qū)域中生成特征向量，然后使用支持向量機(jī)(SVM)[7]進(jìn)行檢測(cè)分類。Fast R-CNN 的提出基于R-CNN，同時(shí)結(jié)合了SPPNet[8]的特點(diǎn)，主要解決了模型速度慢和訓(xùn)練占用空間大的問(wèn)題。Faster R-CNN 是通過(guò)RPN[5]生成區(qū)域建議框，并實(shí)現(xiàn)兩個(gè)網(wǎng)絡(luò)卷積層的特征共享，大大降低了計(jì)算復(fù)雜度，真正實(shí)現(xiàn)了端到端的目標(biāo)檢測(cè)。Mask R-CNN可以增加不同的分支完成不同的任務(wù)，如實(shí)例分割、關(guān)鍵點(diǎn)檢測(cè)等多種任務(wù)。由于算法的高精度性，已經(jīng)成為目前最好的實(shí)例分割算法之一。

深度神經(jīng)網(wǎng)絡(luò)已經(jīng)可以解決越來(lái)越復(fù)雜的難題。面對(duì)海量的數(shù)據(jù)，為了提升測(cè)試的精度，大家往往會(huì)選擇通過(guò)增加網(wǎng)絡(luò)的層數(shù)以及更為復(fù)雜的網(wǎng)絡(luò)來(lái)提高模型精度。一方面，復(fù)雜的模型面臨著內(nèi)存不足的問(wèn)題；另一方面，高精度、響應(yīng)速度快、低延遲性，才能達(dá)到我們的應(yīng)用需求。然而真實(shí)的應(yīng)用場(chǎng)景中，如移動(dòng)端或嵌入式設(shè)備(攝像頭、無(wú)人機(jī)等)，龐大而復(fù)雜的模型難以被直接應(yīng)用。所以，嵌入式的平臺(tái)由于硬件資源的限制，需要一種內(nèi)存小、測(cè)試速度快、精度高的靈活便捷的模型。因此，研究小而高效的模型至關(guān)重要，也是目前的一大熱點(diǎn)研究方向。同時(shí)，雖然高分辨(high resolution, HR)的視頻圖像已經(jīng)有很多成熟的算法，但在實(shí)際應(yīng)用時(shí)，所采集到的視頻數(shù)據(jù)往往是低分辨率(low resolution, LR)的。另一方面，分割算法是一種像素級(jí)的分割技術(shù)，模型復(fù)雜性較高，相比目標(biāo)檢測(cè)和識(shí)別來(lái)說(shuō)一直是難題中的難題，尤其是實(shí)例分割。對(duì)于低分辨率視頻實(shí)時(shí)場(chǎng)景的實(shí)例分割模型，目前一直沒(méi)有較為成熟的算法研究。

1 相關(guān)算法研究

目前有一些針對(duì)高分辨率視頻的目標(biāo)檢測(cè)算法。文獻(xiàn)[9]提出了一種類似于Faster R-CNN 的算法。文獻(xiàn)[10]提出P3D，組合了3 種不同的模塊結(jié)構(gòu)，得到P3D ResNet。文獻(xiàn)[11]以C3D 網(wǎng)絡(luò)為基礎(chǔ)，對(duì)輸入數(shù)據(jù)提取特征，生成候選時(shí)序，最后進(jìn)行目標(biāo)檢測(cè)。針對(duì)于移動(dòng)端檢測(cè)算法的研究，文獻(xiàn)[12]提出了一種改進(jìn)SSD 的輕量化算法用于小目標(biāo)檢測(cè)。文獻(xiàn)[13]等提出了一種應(yīng)用于嵌入式平臺(tái)的MTYOLO 算法。對(duì)于實(shí)例分割的研究，文獻(xiàn)[14]將Mask R-CNN 應(yīng)用于無(wú)人駕駛汽車(chē)的研究。還有很多其他成熟的視頻檢測(cè)和分割算法[15-20]。然而，實(shí)例分割算法由于其高復(fù)雜性在嵌入式平臺(tái)的研究還未成熟。

針對(duì)復(fù)雜模型的壓縮優(yōu)化算法，目前主要有兩個(gè)方向：1)對(duì)訓(xùn)練好的復(fù)雜模型進(jìn)行壓縮優(yōu)化得到較小模型；2)直接設(shè)計(jì)輕量化模型進(jìn)行訓(xùn)練。模型壓縮的目標(biāo)是在保持模型性能的前提下降低模型大小，同時(shí)提升模型的測(cè)試速度。針對(duì)已存在復(fù)雜模型的壓縮優(yōu)化算法有剪枝(Pruning)[21-23]、量化(Quantization)[24-26]、Huffman[27]編碼。此類算法可以將模型進(jìn)行優(yōu)化，但是壓縮程度范圍較低。針對(duì)第二個(gè)方向，目前輕量級(jí)模型有MobileNet V1[28]、MobileNet V2[29]、 ShuffleNet V1[30]、 ShuffleNet V2[31]等?；贛obileNet V1 輕量級(jí)模型由于更容易實(shí)現(xiàn)及保持模型性能的特點(diǎn)被廣泛應(yīng)用，所以本文所選擇基于MobileNet V1 設(shè)計(jì)實(shí)例分割模型。

此外，圖像超分辨(super resolution, SR)是一種由給定的低分辨率(LR)圖像重建出它相應(yīng)的高分辨率(high resolution, HR)圖像的算法。目前圖像超分辨重建算法主要有以下4 個(gè)方向：1)基于經(jīng)典稀疏編碼[32-34]；2)基于鄰域回歸的算法[35-38]；3)基于深度學(xué)習(xí)方向的重構(gòu)算法，這也是近年來(lái)很流行的方向[39-43]；4)利用GAN 網(wǎng)絡(luò)的算法[44-45]。SCN(sparse coding based network)[46]算法是一種基于稀疏編碼網(wǎng)絡(luò)的方法，該算法結(jié)合稀疏先驗(yàn)和深度學(xué)習(xí)的優(yōu)點(diǎn)，且重建圖像視覺(jué)質(zhì)量較好。所以本文改進(jìn)SCN 模型作為低分辯視頻的預(yù)處理算法。同時(shí)，視頻的時(shí)序性使得視頻檢測(cè)與圖像不同，常常忽略視頻序列間的強(qiáng)相關(guān)性，運(yùn)動(dòng)矢量[47-48]是一種高效的幀間預(yù)測(cè)算法，該算法被作為模型的后處理優(yōu)化算法。

綜上所述，本文針對(duì)低分辨率視頻，提出了一種基于MobileNet 的新型輕量化的實(shí)例分割模型。

2 基于Mask R-CNN 的模型壓縮

2.1 MobileNet 模型

MobileNet 是一種高效且易于實(shí)現(xiàn)的輕量級(jí)神經(jīng)網(wǎng)絡(luò)。其基本單元是深度可分離卷積(depthwise separable convolution)。深度可分離卷積可以分解為兩個(gè)更小的操作：depthwise 卷積和pointwise 卷積，如圖1 所示。

圖1 depthwise 卷積和pointwise 卷積

MobileNet 的設(shè)計(jì)包含兩大結(jié)構(gòu)，如圖2 所示。

圖2 標(biāo)準(zhǔn)卷積結(jié)構(gòu)和深度可分離卷積結(jié)構(gòu)的定義

為了減小計(jì)算量該模型利用1×1 卷積降通道。在MobileNet 中，有95%的計(jì)算量和75%的參數(shù)屬于1×1 卷積。將N個(gè)大小為Dk、通道數(shù)為M的卷積核作用于大小為Df、通道數(shù)同為M的特征圖上，最后得到大小為Dp、通道數(shù)為N的輸出，如圖3 所示。

圖3 卷積的過(guò)程

可以看出深度可分離卷積計(jì)算量遠(yuǎn)遠(yuǎn)小于標(biāo)準(zhǔn)卷積的計(jì)算量。

2.2 MobileNet 模型的實(shí)現(xiàn)

2.2.1 MobileNet 的模型設(shè)計(jì)

MobileNet 的模塊設(shè)計(jì)如圖4 所示。其中包含5 個(gè)階段(Stage)。輸出的通道數(shù)分別為：32，64，128，256，512，1 024。具體的細(xì)節(jié)如表1 所示，其中M代表輸入通道，N代表輸出通道。Mask R-CNN 是一種實(shí)例分割表現(xiàn)很好的算法，同時(shí)ResNet-FPN 作為特征提取的主干網(wǎng)絡(luò)(backbone)效果較好。所以本文提出的模型優(yōu)化的算法框架基于Mask R-CNN，將MobileNet V1-FPN 做為主干網(wǎng)絡(luò)進(jìn)行特征提取，分割算法模型如圖5 所示。

圖4 MobileNet 的模塊設(shè)計(jì)

表1 MobileNet 的設(shè)計(jì)

圖5 基于MobileNet 的實(shí)例分割算法框架

2.2.2 SR 重建模型分支設(shè)計(jì)

由于實(shí)例分割模型的像素級(jí)特性與目標(biāo)檢測(cè)模型不同，對(duì)數(shù)據(jù)的像素級(jí)要求很高。同時(shí)，視頻數(shù)據(jù)的質(zhì)量高低對(duì)目標(biāo)檢測(cè)有很大的影響，所以首先采用超分辨重建算法對(duì)視頻數(shù)據(jù)進(jìn)行預(yù)處理。SCN[46]是一種基于稀疏編碼網(wǎng)絡(luò)的方法，重建圖像質(zhì)量好，模型不需要額外任何數(shù)據(jù)的支持。該算法結(jié)合稀疏先驗(yàn)和深度學(xué)習(xí)的優(yōu)點(diǎn)，將原方法中稀疏表示、映射、稀疏重建3 個(gè)獨(dú)立優(yōu)化的模塊納入到一個(gè)稀疏網(wǎng)絡(luò)中，得到全局最優(yōu)解。稀疏編碼網(wǎng)絡(luò)充分利用了圖像的先驗(yàn)信息，首先通過(guò)特征提取層得到圖像的稀疏先驗(yàn)信息, 然后通過(guò)LISTA[49]建立了一個(gè)前饋神經(jīng)網(wǎng)絡(luò), 該網(wǎng)絡(luò)可實(shí)現(xiàn)圖像的稀疏編碼。

在網(wǎng)絡(luò)結(jié)構(gòu)方面， SCN 保留了SRCNN[50]的圖像塊提取、表示層和重建層部分，并在中間層加入LISTA 網(wǎng)絡(luò)，如圖6 所示。輸入圖像Iy首先經(jīng)過(guò)卷積層H，該卷積層H為每個(gè)LR 補(bǔ)丁提取特征。然后，將每個(gè)LR 補(bǔ)丁y輸入具有有限數(shù)量的k個(gè)循環(huán)級(jí)的LISTA 網(wǎng)絡(luò)中，以獲得其稀疏系數(shù)α，再重建HR 圖像補(bǔ)丁，最終生成HR 圖像。該算法用均方誤差(mean square error, MSE)作為代價(jià)函數(shù)用來(lái)訓(xùn)練網(wǎng)絡(luò)。

圖6 SCN 算法流程圖

圖7 改進(jìn)的SR 重建算法框架

進(jìn)一步改進(jìn)該算法， 由于圖像重建后包含了更多的高頻信息，同時(shí)下采樣(downsampling)可以保留圖像的邊緣、紋理和細(xì)節(jié)信息，所以采取多次下采樣及重構(gòu)獲得更高質(zhì)量的圖像。將輸入的L1(LR)圖像經(jīng)過(guò)SCN(1)生成H1(HR)圖像后，經(jīng)過(guò)下采樣得到L2，再次經(jīng)過(guò)SCN(2)，得到最終的H2(HR)圖像，改進(jìn)的算法流程如圖7 所示。圖8展示了卷積層和重建層結(jié)果舉例，圖中展示了卷積層H和重建層G的特征及卷積核。本文用PSNR[51]、SSIM[52]進(jìn)行實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果如表2 所示，從表中可以看出，PSNR 及SSIM 的結(jié)果均有所提高。實(shí)驗(yàn)結(jié)果如圖9 所示，圖中展示了4 組數(shù)據(jù)的對(duì)比結(jié)果，對(duì)比算法包括雙三次插值(bicubic interpolation)、SCN 及本文算法。從圖中可以看出改進(jìn)算法重建的圖像在邊緣部分更加光滑，殘差圖對(duì)比結(jié)果如圖10 所示，圖中展示了3 種不同重建算法和HR 圖像的殘差圖，從圖中可以看出本文算法與原圖的殘差圖最接近，因此重建算法效果更好。

圖8 卷積層和重建層結(jié)果舉例

表2 PSNR 和SSIM 結(jié)果對(duì)比

圖9 改進(jìn)的SR 重構(gòu)算法結(jié)果對(duì)比

圖10 殘差圖結(jié)果對(duì)比

2.2.3 掩碼的預(yù)測(cè)模型分支設(shè)計(jì)

對(duì)于視頻幀的進(jìn)行實(shí)例分割時(shí)，往往忽略了幀與幀之間的時(shí)序性。很多目標(biāo)在某些幀未被檢測(cè)到，但在相鄰幀檢測(cè)到。由于幀間的強(qiáng)相關(guān)性，對(duì)未檢測(cè)到的掩碼(mask)進(jìn)行后處理，得到最終的掩碼序列(mask sequence)。

運(yùn)動(dòng)矢量(motion vector, MV)是一種高效的幀間預(yù)測(cè)算法，本文采取效果最好的全局搜索算法。假設(shè)，每個(gè)塊的大小為M×N(M=2，N=2)。水平方向和垂直方向可搜索的最大位移為1，把搜索候選區(qū)域3×3 內(nèi)所有的像素塊逐個(gè)與當(dāng)前宏塊進(jìn)行比較，偏移量為2。塊匹配估計(jì)準(zhǔn)則查找具有最小匹配誤差的一個(gè)像素塊為匹配塊，其對(duì)應(yīng)偏移量即為所求運(yùn)動(dòng)矢量，最后找到全局最優(yōu)點(diǎn)，即最佳匹配塊。塊匹配估計(jì)準(zhǔn)則是判斷塊相似程度的依據(jù), 本文采取平均絕對(duì)誤差函數(shù)(mean absolute deviation,MAD)作為塊匹配估計(jì)準(zhǔn)則。其函數(shù)定義為：

算法具體流程如下，首先找到每個(gè)掩碼的重心，并用相鄰幀的重心最小距離將掩碼進(jìn)行排序，得到每個(gè)目標(biāo)的初始掩碼序列。然后，對(duì)于未檢測(cè)到的掩碼，用相鄰已得到的掩碼作為參考圖像，從左上角開(kāi)始，以宏塊大小為步長(zhǎng)，對(duì)于每一個(gè)宏塊，得到運(yùn)動(dòng)矢量，并將參考圖像中的該宏塊放到所預(yù)測(cè)的圖像中，得到預(yù)測(cè)的掩碼，以此類推，得到最終掩碼預(yù)測(cè)序列。該算法的預(yù)測(cè)過(guò)程如圖11 所示。其中，紅色實(shí)線框代表已檢測(cè)到的目標(biāo)，黃色虛線框代表未檢測(cè)到的目標(biāo)。從圖中看出，F(xiàn)rame(i)通過(guò)相鄰幀F(xiàn)rame(i-2)及Frame(i-1)得到預(yù)測(cè)的掩碼，F(xiàn)rame(i+1)通過(guò)Frame(i)及Frame(i+2)進(jìn)行預(yù)測(cè)。圖12 展示了運(yùn)動(dòng)矢量的實(shí)驗(yàn)結(jié)果，其中圖12e 和12f 列舉了運(yùn)動(dòng)矢量的統(tǒng)計(jì)結(jié)果。圖13進(jìn)一步展示了掩碼的預(yù)測(cè)過(guò)程。同時(shí)圖14 展示了兩組預(yù)測(cè)結(jié)果。兩組結(jié)果的第二排展示出相鄰兩幀間的殘差圖。圖15 列舉了最終掩碼序列的預(yù)測(cè)結(jié)果。

圖11 掩碼的預(yù)測(cè)模型

圖12 運(yùn)動(dòng)矢量的實(shí)驗(yàn)結(jié)果

本文算法的整體框架如圖16 所示，該模型包含SR 重建模型分支(SR reconstruction branch)、基于MobileNet 的實(shí)例分割模型分支和掩碼的預(yù)測(cè)模型分支(Mask prediction branch)3 大部分，是一種針對(duì)低分辨率視頻的新型輕量化實(shí)例分割模型。

圖13 掩碼的預(yù)測(cè)過(guò)程

圖14 兩組掩碼預(yù)測(cè)結(jié)果

圖15 最終掩碼序列的預(yù)測(cè)結(jié)果

圖16 實(shí)例分割模型整體框架

3 實(shí)驗(yàn)結(jié)果及分析

VisDrone2018 是由無(wú)人機(jī)拍攝的實(shí)時(shí)場(chǎng)景視頻數(shù)據(jù)。該數(shù)據(jù)的特點(diǎn)是每一幀存在很多小尺寸目標(biāo)，具有低分辨率，而且很多數(shù)據(jù)由于鏡頭抖動(dòng)等造成數(shù)據(jù)質(zhì)量較低，能很好展示實(shí)時(shí)街景場(chǎng)景，具有數(shù)據(jù)多樣性，另一組數(shù)據(jù)集Street_View_MB7500也反映實(shí)時(shí)街景，符合低分辨率特性。數(shù)據(jù)集描述如表3 所示。本文采用該兩組數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)。將每個(gè)類按5∶3∶2 隨機(jī)抽取作為訓(xùn)練數(shù)據(jù)集、驗(yàn)證集及測(cè)試集。

表3 實(shí)驗(yàn)數(shù)據(jù)集

NVIDIA Jetson TX2 采用256 核NVIDIA Pascal架構(gòu)和8 GB 內(nèi)存 ，如表4 所示，計(jì)算更快，推理能力強(qiáng)，是一種嵌入式AI 計(jì)算設(shè)備。本文采用此設(shè)備作為嵌入式平臺(tái)并進(jìn)行實(shí)驗(yàn)分析。訓(xùn)練模型的學(xué)習(xí)率設(shè)為0.000 1，圖17 表示了訓(xùn)練過(guò)程的loss 變化。

表4 NVIDIA TX2 的技術(shù)規(guī)格

圖17 Loss 的變化結(jié)果

本文對(duì)ResNet-FPN 及MobileNet-FPN 作為backbone 進(jìn)行了對(duì)比實(shí)驗(yàn)。表5 表示了壓縮前后實(shí)驗(yàn)結(jié)果對(duì)比。從表中看出，未壓縮的ResNet-FPN訓(xùn)練模型大小為255 M，基于MobileNet-FPN 的模型大小為88 M，所以模型降低了近2/3 大小的空間。同時(shí)，SPF (seconds per frame)在模型壓縮后大大減少，吞吐量(Throughput)也有很大提高?；贛obileNet-FPN 的準(zhǔn)確率高于ResNet-FPN。圖18列舉了壓縮前后基于ResNet-FPN 與MobileNet-FPN的分割結(jié)果對(duì)比。虛線框表示未檢測(cè)到的目標(biāo)，實(shí)線框則表示已檢測(cè)的物體。從圖中看出，基于MobileNet 的模型的結(jié)果優(yōu)于ResNet，且準(zhǔn)確率較高。在兩類模型中，本文算法的HR 圖像的檢測(cè)率高于LR 圖像。實(shí)驗(yàn)證明，該算法在目標(biāo)檢測(cè)方向獲得了較好的結(jié)果。

表5 壓縮前后實(shí)驗(yàn)對(duì)比

圖18 基于MobileNet 與ResNet 的分割結(jié)果對(duì)比

在基于的MobileNet-FPN 的分割模型下，不同數(shù)據(jù)的實(shí)例分割結(jié)果對(duì)比如圖19 所示。虛線框表示該目標(biāo)未被檢測(cè)到，實(shí)線框表示已檢測(cè)到。為了更好展現(xiàn)對(duì)比，圖中只展示出部分目標(biāo)的結(jié)果。從圖中看出，圖像經(jīng)過(guò)SR 重構(gòu)后，實(shí)線框明顯增多，說(shuō)明圖像經(jīng)過(guò)3 種不同的重建算法后，實(shí)例分割效果逐漸提升。所以圖像的質(zhì)量高低對(duì)于實(shí)例分割算法具有很大的影響。表6 列舉了實(shí)驗(yàn)最終結(jié)果統(tǒng)計(jì)，從LR、HR(雙三次插值)、HR (SCN)到HR (本文算法)。表中可以看出SCN 預(yù) 處 理 后， mAP (mean average precision)提升到67.9%，改進(jìn)SCN 算法后mAP 達(dá)到69.1%。最后經(jīng)過(guò)掩碼預(yù)測(cè)的算法，模型的mAP 提高到了69.8%。因此，本文算法的mAP 和mIoU (mean intersection over union)在一定程度上均有所提高，具體的實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)如圖20 所示。綜上所述，本文提出的基于MobileNet-FPN 的新型輕量化實(shí)例分割算法在低分辨率場(chǎng)景中具有內(nèi)存小、測(cè)試速度快、精度高等特性，且易于移植到嵌入式平臺(tái)中。

表6 實(shí)驗(yàn)對(duì)比結(jié)果

圖20實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)

4結(jié)束語(yǔ)

本文提出了一種基于MobileNet，結(jié)合超分辨及幀間預(yù)測(cè)的新型輕量化實(shí)例分割算法。實(shí)驗(yàn)證明該算法在實(shí)時(shí)場(chǎng)景視頻中的準(zhǔn)確率較高，內(nèi)存小，測(cè)試速度快且易于移植到嵌入式平臺(tái)中。