融合超像素分割與碼本模型的目標(biāo)檢測算法

凡時財，曾祥峰，周 雪，鄒見效，徐紅兵

?

融合超像素分割與碼本模型的目標(biāo)檢測算法

凡時財，曾祥峰，周 雪，鄒見效，徐紅兵

(電子科技大學(xué)自動化工程學(xué)院, 電子科技大學(xué)信息生物學(xué)研究中心 成都 611731)

針對碼本模型在前景目標(biāo)檢測中的效率有待進(jìn)一步提高的現(xiàn)狀，提出了融合超像素分割的碼本構(gòu)建算法。為減小處理對象的規(guī)模，設(shè)計了按照顏色及空間相似度聚類原始像素點的思路。以超像素作為碼本構(gòu)建單元，有利于抑制局部噪聲并降低碼本的冗余度。實驗結(jié)果表明，融合超像素分割的碼本模型算法在保持前景目標(biāo)檢測準(zhǔn)確性的情況下，能顯著減少視頻處理過程中的內(nèi)存消耗以及提高視頻幀處理效率，在基于DM6437的嵌入式處理平臺上達(dá)到了實時處理的性能。

碼本模型; 檢測效率; 嵌入式處理平臺; 目標(biāo)檢測; 超像素分割

前景目標(biāo)檢測是計算機視覺領(lǐng)域最基礎(chǔ)的研究課題之一，其檢測效果對視頻圖像的后期處理質(zhì)量有著極為重要的影響。目前較為主流的檢測方法包括幀間差分法[1-2]、光流法[3-4]和背景減除法[5-6]，其中，背景減除法最為常用。

背景減除法的核心任務(wù)是構(gòu)建準(zhǔn)確性高、適應(yīng)性強的背景模型。高斯(含混合高斯)背景建模法通過對每個像素進(jìn)行高斯統(tǒng)計建模，能夠較好地刻畫背景的統(tǒng)計特性并能對環(huán)境噪聲有較強的適應(yīng)能力。但其不足在于因復(fù)雜度高導(dǎo)致的大運算量以及多參數(shù)的求解問題[7-8]，因此處理高分辨率視頻流的時間消耗較大。基于模本的背景建模法通過對每個像素點在時間序列上的顏色扭曲度以及亮度信息構(gòu)建碼本模型，具有計算量和內(nèi)存占用都較小的優(yōu)勢。隨著碼本模型的應(yīng)用，近年也產(chǎn)生了多種改進(jìn)的碼本模型算法以提高其檢測準(zhǔn)確度或者算法效率。將傳統(tǒng)的RGB空間轉(zhuǎn)換為YUV空間進(jìn)行碼字描述[9-10]，以及對碼字快速排序以提高首次匹配成功率[11-12]的方法可提高算法實時性。文獻(xiàn)[13]采用mean-shift進(jìn)行碼字更新提高了目標(biāo)檢測的準(zhǔn)確度，通過對碼字結(jié)構(gòu)進(jìn)行簡化運算后可以減少內(nèi)存消耗[14]。文獻(xiàn)[15]通過自適應(yīng)學(xué)習(xí)顏色畸變與亮度邊界參數(shù)的改進(jìn)也提高了前景檢測準(zhǔn)確率。上述碼本模型算法雖然在提高檢測速度、降低資源占用率等方面有所改進(jìn)，但在處理高分辨率視頻時的實時性指標(biāo)方面仍有待進(jìn)一步改善，特別是在計算性能與資源有限的嵌入式視頻處理平臺中的應(yīng)用還有一定差距。

為進(jìn)一步提高碼本算法的檢測效率，本文提出了融合超像素分割的碼本模型，將傳統(tǒng)的以像素為處理單元的方法轉(zhuǎn)化為以具有相似特征的超像素為處理單元的碼本構(gòu)建方法，一方面可以抑制局部噪聲的干擾，另一方面可以明顯減小碼本數(shù)量。在多組視頻流數(shù)據(jù)上的實驗結(jié)果表明，本文方法在保持前景檢測準(zhǔn)確率的情況下(甚至在前景檢測率上略有提升)，不僅顯著提高了算法的運算速度，還降低了內(nèi)存的占用率，特別是在基于DM6437的嵌入式視頻處理平臺上能顯著提高檢測效率，達(dá)到實時檢測的效果。

1 融合超像素分割的碼本模型

1.1 碼本模型的構(gòu)建

經(jīng)典碼本模型是在RGB空間上對像素的顏色距離和亮度范圍進(jìn)行量化并以此作為碼字產(chǎn)生的依據(jù)。由于基于RGB空間算法的時間復(fù)雜度較高，本文研究采用了更為高效的YUV空間進(jìn)行顏色表示。

假設(shè)幀視頻序列中同一像素點的采樣值為序列，表示時刻該像素的觀察值，某一個像素點的碼本表示為。本文對每個碼字結(jié)構(gòu)的設(shè)計如下：包含一個二維向量和，其中各個元素的意義為：碼字中的像素點的最小亮度值和最大亮度值由表示；碼字匹配成功的次數(shù)由表示，的值通過和計算，碼字第一次出現(xiàn)的時刻由表示，最后一次出現(xiàn)的時刻由表示，是該碼字沒有出現(xiàn)的最大消極步長閾值。

基于上述碼本結(jié)構(gòu)，對訓(xùn)練視頻流碼本模型的訓(xùn)練過程如下：

1) 對視頻幀的每一個像素點建立一個空碼本；

2) 對于輸入的第1幀視頻，給每個像素點建立碼本的第一個碼字；

(2)

(4)

(5)

顏色判據(jù)公式和亮度判據(jù)為：

(7)

4) 如果與其對應(yīng)的碼本模型中沒有碼字或沒有與之匹配的碼字，則需要在此碼本背景模型中新建一個碼字存儲當(dāng)前幀圖像所包含的信息：

(9)

(11)

6) 如果某消極碼字再次被使用的最大時間間隔大于最大消極步長，則該碼字為陳舊碼字，需從碼本中刪除。

1.2 超像素分割

上述的碼本模型是對視頻幀中的每一個像素進(jìn)行建模，而視頻幀中物理上相鄰的像素之間可能具有較為相似的顏色等特征分布，因此上述方法建立的多個碼本間存在冗余關(guān)系。特別是對分辨率較高的視頻流，這種冗余對存儲空間以及處理時間都是一種浪費。因此，本文研究提出了融合超像素分割的思想進(jìn)行碼本建模。

超像素的概念最早由文獻(xiàn)[16]提出，其核心定義是指在紋理及顏色等特征上具有局部一致性，且能夠保持一定局部結(jié)構(gòu)特征的圖像塊。在視頻分析中，以這些圖像塊作為獨立單元可降低圖像的冗余信息，進(jìn)而降低處理對象的規(guī)模以及后續(xù)高級處理的復(fù)雜度。

為便于碼本模型的構(gòu)建，超像素分割后的圖像塊的數(shù)量應(yīng)該盡量可控，且超像素序列的大小均勻、方差小。為此，本文研究引入了基于顏色相似度和空間距離關(guān)系的局部迭代聚類算法(simple linear iterative clustering, SLIC)[17]進(jìn)行超像素的劃分。SLIC算法一方面能夠較好地平衡超像素邊緣貼合度和緊密度兩種特性，還能優(yōu)化超像素生成數(shù)，實現(xiàn)超像素數(shù)量可控。

SLIC采用五維空間的特征向量定義原始像素，五維特征向量，其中每個像素點的像素值信息由表征，像素點的顏色信息有多種表示方式，本文的顏色信息采用CIELAB顏色空間表示，代表每個像素在圖像中的位置坐標(biāo)。

其算法流程為：

2) 聚類所有像素點。計算待歸類的像素點與聚類中心的距離，并將其聚類到距離最小的中心。更新聚類中心以后不斷迭代，直到兩次求得的新聚類中心的坐標(biāo)不變?yōu)橹埂＞嚯x度量的定義為：

(14)

圖1 融合超像素分割的碼本模型偽代碼

2 碼本更新與目標(biāo)檢測

為適應(yīng)光線變化導(dǎo)致的干擾，以及較長時間不動的前景應(yīng)視為背景等多種因素的影響，需要將不再發(fā)生變化的前景更新到背景模型，實現(xiàn)更為準(zhǔn)確的前景目標(biāo)檢測。

2.1 碼本更新策略

碼本背景模型的更新通過緩存Cache的更新實現(xiàn)。在前景目標(biāo)檢測階段，給每個超像素塊建立一個緩存Cache來存儲前景碼本。碼本更新的策略為：

1) 建立并初始化基于超像素的前景碼本；

2) 對于超像素塊，被判斷為前景后與該Cache碼本進(jìn)行比較，如果與現(xiàn)有碼字匹配則更新該碼字，如果與現(xiàn)有碼字不匹配則增加該碼字；

2.2 二值化處理

對每一幀待檢測的視頻流完成碼本模型對比后，匹配成功的為背景，不成功的為前景。即完成前景目標(biāo)的檢測，得到離散的、形狀大致與目標(biāo)一致的前景區(qū)域，進(jìn)一步對結(jié)果進(jìn)行腐蝕膨脹處理后得到完整的二值圖。

3 基于PC系統(tǒng)的實驗結(jié)果與分析

3.1 數(shù)據(jù)集

為驗證本文提出的融合超像素分割的碼本模型在前景目標(biāo)檢測中的性能，選取了CDnet數(shù)據(jù)庫[18]中的室內(nèi)(Office, 320*240)、室外單目標(biāo)(Badweather, 540*360)以及室外多目標(biāo)(Skating, 540*360)3類場景視頻進(jìn)行了分析。

3.2 性能指標(biāo)定義

本文從前景檢測的準(zhǔn)確性、數(shù)據(jù)處理的實時性以及對存儲資源占用率3個方面對前景檢測算法的效果進(jìn)行了分析。

前景檢測的準(zhǔn)確性是指經(jīng)過算法處理后檢測到的前景和背景區(qū)域在多大程度上接近真實結(jié)果。常用的反映準(zhǔn)確性的指標(biāo)包括：

1) 前景檢測率FDR(foreground detection rate)：

2) 正確率(accuracy)：

3) F-measure：

(18)

3.3 結(jié)果分析與性能對比

為對比驗證本文算法在前景目標(biāo)檢測中的性能，研究對比了碼本算法、自適應(yīng)碼本算法[15]針對同樣視頻流的前景檢測效果。

本文所選取的3種場景對應(yīng)的圖像幀如圖2a中的A圖、圖2b中的B圖與圖2c中的C圖所示，碼本算法、自適應(yīng)碼本算法以及本文提出的基于超像素的碼本算法的前景檢測結(jié)果分別如圖2a中的A1圖、圖2b中的B1圖、圖2c中的C1圖，圖2a中的A2圖、圖2b中的B2圖、圖2c中的C2圖以及圖2a中的A3圖、圖2b中的B3圖、圖2c中的C3圖所示。由圖可見，3種前景檢測算法都能較為準(zhǔn)確的檢測出目標(biāo)前景，得到較為滿意的檢測結(jié)果，而對于室內(nèi)場景以及室外單目標(biāo)場景中由于噪聲導(dǎo)致的散點前景，本文算法具有相對較好的抑制作用。

A ??????A1??? ???A2??????A3

a. 室內(nèi)場景

B ??? ???B1?????? B2??????B3

b. 室外單目標(biāo)場景

C ??????C1??????C2??????C3

本文進(jìn)一步比較了3種算法在FDR、正確性以及F-measure3個檢測指標(biāo)的表現(xiàn)情況，結(jié)果如圖3所示。由圖可見，在3類場景下，3種算法的指標(biāo)非常接近，本文提出的基于超像素的碼本模型在室外場景中的RDR和F-measure指標(biāo)上略有提高。此外，本文分析了3種算法在處理上述視頻流的資源占用率與實時性指標(biāo)。處理3類視頻流時，3種算法的資源占用情況如表1所示，可以看出，本文算法極大地節(jié)約了內(nèi)存資源。

a. Office視頻檢測結(jié)果

b. Badweather視頻檢測結(jié)果

c. Skating視頻檢測結(jié)果

表1 3種算法在處理3類視頻場景下的內(nèi)存消耗單位：MB

圖4表征了3種算法處理3類視頻流圖像幀的平均時間，由圖可見，本文提出的結(jié)合超像素的碼本模型顯著提高了每幀圖像的處理速度。

以上分析表明，與常用的碼本算法以及自適應(yīng)碼本算法相比，本文提出的融合超像素的碼本模型的目標(biāo)檢測算法在保持前景檢測準(zhǔn)確性(甚至略有改善)的前提下，可以顯著減少內(nèi)存占用量，提高每幀圖像的處理速度，具有良好的性能優(yōu)勢。

a. Office視頻檢測結(jié)果

b. Badweather視頻檢測結(jié)果

c. Skating視頻檢測結(jié)果

4 基于DM6437嵌入式平臺的實驗結(jié)果與對比

基于TI公司的DM6437處理器的嵌入式平臺，本文對比分析了3種算法在該平臺上的處理速度，如圖5所示。由圖可見，在DM6437平臺下，融合超像素的碼本算法在處理時間上顯著減少，與相對速度較快的自適應(yīng)碼本算法相比，可以進(jìn)一步減少約40%的處理時間。此外，本文對比了skating場景中，當(dāng)圖像分辨率逐漸變大時，3種算法的處理時間對比結(jié)果如圖6所示。從結(jié)果可知，在對視頻分辨率的要求越來越高的趨勢下，本文提出的融合超像素的碼本算法在前景目標(biāo)檢測中具有非常明顯的優(yōu)勢，能達(dá)到實時處理的要求。

a. Office視頻檢測結(jié)果

b. Badweather視頻檢測結(jié)果

c. Skating視頻檢測結(jié)果

圖6 3種算法在不同分辨率下的耗時對比

5 結(jié)束語

為進(jìn)一步提高碼本模型在前景檢測中的速度以及降低資源的占用率，本文提出了融合超像素分割的碼本模型構(gòu)建算法。通過對物理空間上具有相似特征的像素點的提取與劃分，該方法在一定程度上抑制了局部噪聲的干擾，減少了待處理視頻幀的處理單元，即減少碼本數(shù)量，達(dá)到顯著提高處理速度的目的。基于3類標(biāo)準(zhǔn)數(shù)據(jù)集的實驗結(jié)果表明，本文方法不僅在一定程度上提高了檢測準(zhǔn)確度，還顯著提高了算法檢測的快速性、降低了內(nèi)存的使用率，具有良好的應(yīng)用前景，特別是在嵌入式視頻處理平臺上具有明顯的優(yōu)勢。

當(dāng)然，本文方法仍然存在一定局限性，如其二值化前景圖的邊緣不夠清晰，對于局部特征變化較大(局部特征相似度不高)的場景效果并不理想。因此，使算法適應(yīng)局部場景變化以及改善檢測結(jié)果邊緣效果，以進(jìn)一步提高檢測結(jié)果準(zhǔn)確度是下一步的研究方向。

[1] HARWOOD I D, DAVIS L W. Real-time surveillance of people and their activities[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(8): 809-830.

[2] 屈晶晶, 辛云宏. 連續(xù)幀間差分與背景差分相融合的運動目標(biāo)檢測方法[J]. 光子學(xué)報, 2014, 43(7): 213-220.

QU Jing-jing, XIN Yun-hong. Combined continuous frame difference with background difference method for moving object detection[J]. Acta Photonica Sinica, 2014, 43(7): 213-220.

[3] ADIV G. Determining three-dimensional motion and structure from optical flow generated by several moving objects[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1985, PAMI-7(4): 384-401.

[4] 魏志強, 紀(jì)筱鵬, 馮業(yè)偉. 基于自適應(yīng)背景圖像更新的運動目標(biāo)檢測方法[J]. 電子學(xué)報, 2005, 33(12): 2261-2264.

WEI Zhi-qiang, JI Xiao-peng, FENG Ye-wei. A moving object detection method based on self-adaptive updating of background[J]. Acta Electronica Sinica, 2005, 33(12): 2261-2264.

[5] WREN C R, AZARBAYEJANI A, DARRELL T, et al. Real-time tracking of the human body[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, 19(7): 780-785.

[6] 陳磊, 鄒北驥. 基于動態(tài)閾值對稱差分和背景差法的運動對象檢測算法[J]. 計算機應(yīng)用研究, 2008, 25(2): 488-490.

CHEN Lei, ZOU Bei-ji. New algorithm for detecting moving object based on adaptive background subtraction and symmetrical differencing[J]. Application Research of Computers, 2008, 25(2): 488-490.

[7] SUHR J K, JUNG H G, LI G, et al. Mixture of Gaussians-based background subtraction for Bayer-pattern image sequences[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2011, 21(3): 365-370.

[8] NGUYEN T M, WU Q M J. Fast and robust spatially constrained Gaussian mixture model for image segmentation[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2013, 23(4): 621-635.

[9] 王雯, 陳麗, 李晨, 等. YUV空間下基于碼本模型的視頻運動目標(biāo)檢測方法[J]. 武漢大學(xué)學(xué)報: 工學(xué)版, 2015(3): 412-416.

WANG Wen, CHEN Li, LI Chen, et al. Moving target detection method based on codebook model under YUV space[J]. Engineering Journal of Wuhan University, 2015(3): 412-416.

[10] 徐成, 田崢, 李仁發(fā). 一種基于改進(jìn)碼本模型的快速運動檢測算法[J]. 計算機研究與發(fā)展, 2010, 47(12): 2149-2156.

XU Cheng, TIAN Zheng, LI Ren-fa. A fast motion detection method based on improved codebook model[J]. Journal of Computer Research and Development, 2010, 47(12): 2149-2156.

[11] 姜柯, 李艾華, 蘇延召. 基于改進(jìn)碼本模型的視頻運動目標(biāo)檢測算法[J]. 電子科技大學(xué)學(xué)報, 2012, 41(6): 932- 936.

JIANG Ke, LI Ai-hua, SU Yan-zhao. Moving targets detecting algorithm in video based on improved codebook model[J]. Journal of University of Electronic Science and Technology of China, 2012, 41(6): 932-936.

[12] 姜柯, 李艾華, 蘇延召. 雙重自適應(yīng)碼本模型在運動目標(biāo)檢測中的應(yīng)用[J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報, 2013, 25(1): 67-73.

JIANG Ke, LI Ai-hua, SU Yan-zhao. Moving objects detection with double adaptive codebook model[J]. Journal of Computer-Aided Design & Computer Graphics, 2013, 25(1): 67-73.

[13] 郭春生, 王盼. 一種基于碼本模型的運動目標(biāo)檢測算法[J]. 中國圖象圖形學(xué)報, 2010, 15(7): 1079-1083.

GUO Chun-sheng, WANG Pan. An algorithm based on codebook model to moving objects detection[J]. Journal of Image and Graphics, 2010, 15(7): 1079-1083.

[14] 李文輝, 李慧春, 王瑩, 等. 對碼本模型中碼字結(jié)構(gòu)的改進(jìn)[J]. 吉林大學(xué)學(xué)報: 理學(xué)版, 2012, 50(3): 517-522.

LI Wen-hui, LI Hui-chun, WANG Ying, et al. Improvement on codeword structure in codebook model[J]. Journal of Jilin University(Science Edition), 2012, 50(3): 517-522.

[15] SHAH M, DENG J D, WOODFORD B J. A self-adaptive codebook (SACB) model for real-time background subtraction[J]. Image & Vision Computing, 2015, 38: 52-64.

[16] REN X, MALIK J. Learning a classification model for segmentation[C]//2003 IEEE International Conference on Computer Vision. [S.l.]: IEEE, 2003, 1: 10-17.

[17] ACHANTA R, SHAJI A, SMITH K A, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2282.

[18] GOYETTE N, JODOIN P M, PORIKLI F, et al. Change detection net: a new change detection benchmark dataset[C]//IEEE Computer Society Conference on Computer Vision & Pattern Recognition Workshops. [S.l.]: IEEE, 2012: 1-8.

編 輯 漆 蓉

Object Detection Algorithm Based on the Combination of the Superpixel Segmentation and Codebook Model

FAN Shi-cai, ZENG Xiang-feng, ZHOU Xue, ZOU Jian-xiao, and XU Hong-bing

(School of Automation Engineering, Center for Informational Biology, University of Electronic Science and Technology of China Chengdu 611731)

A novel codebook model combined with the superpixel segmentation method is proposed in this paper to improve the efficiency of object detection. The original pixels are clustered based on the similarities of both color and location information to reduce the processing cost. Our revised codebook model based on the superpixel could not only suppress the effect of local noise, but also reduce the redundancy of codebook. Simulation results indicate that, our proposed algorithm could reduce the memory consumption and improve the processing speed significantly without sacrificing the detection precision. Our algorithm could implement the object detection in real time in the embedded video processing system based on the DM6437 processor.

codebook model; detection efficiency; embedded platform; object detection; superpixel segmentation

TP391

A

10.3969/j.issn.1001-0548.2017.04.016

2016-05-26；

2016-11-14

國家自然科學(xué)基金面上項目(61472063)；國家自然科學(xué)基金青年基金(61503061);中央高?；究蒲袠I(yè)務(wù)費(ZYGX2016J102)；吉林大學(xué)符號計算與知識工程教育部重點實驗室開放基金(93K172017K02)

凡時財(1980-)，男，博士，副教授，主要從事模式識別與智能信息處理方面的研究.