視頻序列中的一種微動(dòng)目標(biāo)提取與背景替換算法

安世全 文倩云 孟 琦

(重慶郵電大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 重慶 400065)

?

視頻序列中的一種微動(dòng)目標(biāo)提取與背景替換算法

安世全 文倩云 孟 琦

(重慶郵電大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 重慶 400065)

為了實(shí)現(xiàn)視頻圖像中微動(dòng)目標(biāo)的背景替換，需要解決微動(dòng)目標(biāo)準(zhǔn)確提取這一難題。首先利用Adaboost分類(lèi)器訓(xùn)練膚色樣本庫(kù)，獲得膚色與非膚色數(shù)據(jù)，并確定膚色的閾值范圍，得到膚色檢測(cè)二值圖；然后將膚色檢測(cè)二值圖和Otsu分割的微動(dòng)目標(biāo)二值圖融合得到微動(dòng)目標(biāo)序列圖像的粗二值圖；經(jīng)過(guò)形態(tài)學(xué)、孔洞填充等處理過(guò)程得到完整的二值圖模板，最后完成視頻圖像的背景替換。仿真實(shí)驗(yàn)表明，所提出的算法可以較好地分割出微動(dòng)目標(biāo)并實(shí)現(xiàn)背景替換。

Otsu Adaboost分類(lèi)器 膚色閾值 形態(tài)學(xué) 背景替換

0 引 言

隨著4G網(wǎng)絡(luò)的普及，憑借座席系統(tǒng)支撐的某些客服服務(wù)，越來(lái)越希望能夠通過(guò)視頻給客戶提供解說(shuō)業(yè)務(wù)或業(yè)務(wù)推銷(xiāo)等更加人性化和可信的服務(wù)。通過(guò)把原始視頻的背景替換，不僅可以保護(hù)客服人員的工作環(huán)境及其隱私，還實(shí)現(xiàn)了視頻圖像背景的有效利用，增加了客服服務(wù)的可信度。因?yàn)橐曨l圖像中的前景較大，且沒(méi)有明顯的變化，故背景替換的主要問(wèn)題演變成如何把微動(dòng)目標(biāo)實(shí)時(shí)從背景中準(zhǔn)確地分割出來(lái)。原始視頻圖像經(jīng)過(guò)圖像分割[1]、形態(tài)學(xué)處理、背景替換等技術(shù)可實(shí)現(xiàn)視頻序列圖像的微動(dòng)目標(biāo)分割、背景替換。

在利用Otsu得到前景、背景的分割閾值獲得視頻圖像微動(dòng)目標(biāo)二值圖的基礎(chǔ)上，為了解決微動(dòng)目標(biāo)膚色與背景顏色相似這一問(wèn)題，本文提出結(jié)合Adaboost模型訓(xùn)練HSV空間下的膚色樣本[2,3]，得到強(qiáng)分類(lèi)器，確定膚色閾值范圍，獲取膚色檢測(cè)的二值圖；然后將兩幅二值圖融合得到微動(dòng)目標(biāo)粗二值圖，使用形態(tài)學(xué)處理去除噪聲，孔洞填充[4]等預(yù)處理得到完整的微動(dòng)目標(biāo)二值圖，最后用需要的視頻圖像替換原始視頻圖像背景，得到合成的視頻圖像，具體算法流程如圖1所示。

圖1 算法流程

1 閾值選取

微動(dòng)目標(biāo)在視頻圖像中變化不大，圖2中(a)、(b)、(c)是視頻圖像中的三類(lèi)微動(dòng)目標(biāo)。由于微動(dòng)目標(biāo)幾乎不動(dòng)，所以背景相減法、幀差法、Codebook模型、混合Guassian模型[5]等傳統(tǒng)方法很難將實(shí)時(shí)場(chǎng)景中的微動(dòng)目標(biāo)從視頻圖像中準(zhǔn)確地分割出來(lái)。并且如前景與背景顏色相近、光照、噪聲、陰影等，極其容易造成微動(dòng)目標(biāo)的誤分割。

圖2 微動(dòng)目標(biāo)

如前景與背景顏色相近、光照、噪聲、陰影等，極其容易造成微動(dòng)目標(biāo)的誤分割。

1.1 Otsu法閾值選取

1979年日本學(xué)者大津(Otsu)提出的Otsu法是一種廣為應(yīng)用的閾值選取方法[6]，但該方法只考慮了像素點(diǎn)的灰度信息。根據(jù)圖像的一維直方圖，把圖像分為前景、背景兩部分。對(duì)于圖像f(x,y)，前景和背景的最大類(lèi)間方差作為分割閾值，記作T。若f(x,y)

1.2 二維Otsu法閾值選取

二維Otsu法，利用原圖像與其鄰域平滑圖像構(gòu)建二維直方圖。設(shè)圖像f(x,y),1≤x≤M,1≤y≤N，灰度級(jí)為L(zhǎng)，其鄰域平滑圖像g(x,y)，可以從每個(gè)像素點(diǎn)計(jì)算其n×n鄰域的平均灰度值，其灰度級(jí)也為L(zhǎng)。由此，構(gòu)建圖像二維直方圖。同時(shí)，增加了計(jì)算的復(fù)雜性，也限制了二維Otsu法的使用。

1.3 膚色檢測(cè)閾值選取

1995年Freund等人提出的Adaboost算法是一種迭代算法[7]，可以避免不必要的訓(xùn)練數(shù)據(jù)，而把重心放在關(guān)鍵的數(shù)據(jù)集上。Adaboost算法通過(guò)訓(xùn)練篩選出分類(lèi)能力一般的弱分類(lèi)器，然后使用加權(quán)方式把篩選后的分類(lèi)器進(jìn)行疊加，構(gòu)成分類(lèi)能力強(qiáng)的強(qiáng)分類(lèi)器。

膚色是人臉顯著特征之一。HSV[8]空間具有對(duì)亮度分量分開(kāi)處理的特性，可以避免亮度帶來(lái)的影響，故本文使用Adaboost算法對(duì)HSV空間的膚色樣本庫(kù)訓(xùn)練，得到膚色的閾值范圍[9,10]。得到膚色區(qū)域檢測(cè)二值圖如圖3所示，膚色檢測(cè)算法流程如圖4所示。

圖3 膚色區(qū)域檢測(cè)二值圖

圖4 膚色檢測(cè)算法流程

1.4 K-means聚類(lèi)結(jié)合膚色檢測(cè)

瞿中等人提出了K-means聚類(lèi)與膚色檢測(cè)相結(jié)合的微動(dòng)目標(biāo)檢測(cè)分割算法[11]，用K-means聚類(lèi)分別對(duì)屬于前景、背景的像素點(diǎn)進(jìn)行分類(lèi)。當(dāng)選好背景類(lèi)之后，找到背景點(diǎn)從而得到K-means聚類(lèi)算法分類(lèi)后的類(lèi)別標(biāo)識(shí)值，根據(jù)此標(biāo)識(shí)值把背景區(qū)域用黑色像素點(diǎn)填充，非背景區(qū)域用白色像素點(diǎn)填充，最終獲得微動(dòng)目標(biāo)二值圖。由于K-means算法是迭代的聚類(lèi)算法，因此分割處理運(yùn)行時(shí)間相對(duì)較長(zhǎng)。

2 微動(dòng)目標(biāo)分割

使用Otsu提取微動(dòng)目標(biāo)時(shí)，由于微動(dòng)目標(biāo)的膚色和背景顏色相近，會(huì)出現(xiàn)誤分割，如圖5所示將人臉、手等部位誤檢為背景。為了解決Otsu的弊端，本文將Otsu的一維直方圖升到二維直方圖，得到二維Otsu，但是視頻圖像處理的運(yùn)行時(shí)間也隨之成倍增長(zhǎng)，而且大部分序列圖像經(jīng)過(guò)形態(tài)學(xué)、孔洞填充等處理后，仍不能獲得完整的二值圖模板，如圖6所示。K-means聚類(lèi)與膚色檢測(cè)相結(jié)合的微動(dòng)目標(biāo)檢測(cè)分割算法雖然可以完整提取微動(dòng)目標(biāo)，但是犧牲了系統(tǒng)的實(shí)時(shí)性。本文將Otsu閾值分割得到二值圖和膚色閾值分割得到二值圖相融合，不僅解決了微動(dòng)目標(biāo)膚色和背景顏色相似的問(wèn)題，獲取了完整二值圖，還得到了較前兩種微動(dòng)目標(biāo)提取方法實(shí)時(shí)性好的算法。

圖5 Otsu分割二值圖

圖6 二維Otsu分割二值圖

本文算法主要分為微動(dòng)目標(biāo)預(yù)分割、微動(dòng)目標(biāo)粗分割和微動(dòng)目標(biāo)二值圖預(yù)處理及背景替換三大模塊。

具體的算法步驟如下：

(1) 輸入待替換背景的視頻圖像。

(2) 利用Otsu法計(jì)算前景、背景的最大類(lèi)間方差，獲得閾值T，若圖像f(x,y)

(3) 建立膚色樣本庫(kù)，手動(dòng)分割膚色，并將獲得的膚色和非膚色數(shù)據(jù)由RGB空間轉(zhuǎn)換到HSV空間，通過(guò)Adaboost算法模型對(duì)膚色這一特征進(jìn)行提取、分類(lèi)，并確定膚色分割閾值的范圍，進(jìn)而得到視頻圖像中微動(dòng)目標(biāo)膚色檢測(cè)二值圖。

(4) 結(jié)合步驟(2)、(3)判斷，若fe(x,y)為白色像素點(diǎn)，或ff(x,y)為白色像素點(diǎn)，則fn(x,y)用白色像素點(diǎn)標(biāo)記，如式(1)可獲得微動(dòng)目標(biāo)粗分割的二值圖。

(1)

其中，fe(x,y)是通過(guò)Otsu法獲得的微動(dòng)目標(biāo)二值圖，ff(x,y)是通過(guò)膚色閾值檢測(cè)所獲得的二值圖,fn(x,y)是合成的微動(dòng)目標(biāo)粗二值圖。

(5) 通過(guò)步驟(4)獲得的微動(dòng)目標(biāo)粗二值圖經(jīng)過(guò)形態(tài)學(xué)處理、孔洞填充等預(yù)處理過(guò)程獲得微動(dòng)目標(biāo)完整的視頻圖像二值圖，并最終確定微動(dòng)目標(biāo)二值模板。

(6) 利用二值圖模板的黑白信息分別獲取替換背景視頻圖像和原始視頻圖像的信息，并對(duì)兩者顏色信息進(jìn)行融合，最終得到背景替換視頻圖像，如式(2)。

(2)

其中，f(x,y)是原始視頻圖像，是替換背景視頻圖像，ft(x,y)是背景替換后合成的新視頻圖像。

2.1 微動(dòng)目標(biāo)預(yù)分割

本文分別用Otsu法和膚色檢測(cè)將待分割視頻圖像預(yù)分割，分別獲取到視頻圖像中微動(dòng)目標(biāo)二值圖和視頻圖像中膚色檢測(cè)二值圖，如圖7中的(a)、(b)所示。

圖7 微動(dòng)目標(biāo)預(yù)分割二值圖

2.2 微動(dòng)目標(biāo)粗分割和預(yù)處理

通過(guò)微動(dòng)目標(biāo)預(yù)分割，結(jié)合式(1)，得到視頻圖像的微動(dòng)目標(biāo)二值圖，因?yàn)檫@樣的二值圖存在一些噪聲和空洞，如圖8所示，故稱(chēng)為粗二值圖。粗二值圖像依舊影響圖像中微動(dòng)目標(biāo)二值圖的完整性。因此需用形態(tài)學(xué)處理和孔洞填充進(jìn)一步完善微動(dòng)目標(biāo)二值圖。

圖8 微動(dòng)目標(biāo)粗二值圖

具體的孔洞填充算法步驟：

(1) 將微動(dòng)目標(biāo)粗二值圖進(jìn)行形態(tài)學(xué)處理。

(2) 遍歷當(dāng)前圖像，查找二值圖模板的所有輪廓，獲取輪廓邊界的序列或數(shù)組。

(3) 通過(guò)步驟(2)所查找的輪廓，獲取其感興趣輪廓部分的起始點(diǎn)，計(jì)算表示輪廓部分和起始點(diǎn)連線所構(gòu)成的封閉部分的面積，記為Area。

(4) 若封閉面積Area

(5) 若封閉面積Area≥Area-T，則進(jìn)入下一個(gè)輪廓面積的計(jì)算，并且重復(fù)步驟(3)。

其中，Area-T是孔洞面積閾值，通過(guò)部分幀的圖像輪廓面積獲得最大Area，定義為Area-T。對(duì)圖8執(zhí)行這一步驟，便得到完整的微動(dòng)目標(biāo)二值圖，如圖9所示。

圖9 微動(dòng)目標(biāo)人物模板

(6) 遍歷結(jié)束。

2.3 背景替換

在獲得的微動(dòng)目標(biāo)人物二值圖模板中，白色像素點(diǎn)和黑色像素點(diǎn)分別表示視頻圖像前景、背景。將白色區(qū)域?qū)?yīng)的原始視頻圖像與黑色區(qū)域?qū)?yīng)的待替換背景視頻圖像合成，便完成了背景替換，如圖10所示。

圖10 背景替換

3 仿真實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)視頻是在自然狀態(tài)下采集。圖11是三種算法對(duì)視頻圖像隨機(jī)抽取的17幀(第180幀、第200幀，…，第500幀)對(duì)微動(dòng)目標(biāo)分割處理運(yùn)行時(shí)間的比較。縱軸為微動(dòng)目標(biāo)分割處理運(yùn)行時(shí)間，單位ms，橫軸是隨機(jī)抽取的幀數(shù)。其中算法1是二維Otsu，算法2是K-means結(jié)合膚色檢測(cè)，算法3是本文算法。由圖11知，本文算法運(yùn)行處理時(shí)間快于K-means結(jié)合膚色檢測(cè)算法，并且快于二維Otsu算法十幾倍。

圖11 三種算法分割處理運(yùn)行時(shí)間比較

表1是二維Otsu、K-means結(jié)合膚色檢測(cè)、本文算法、專(zhuān)業(yè)人士繪畫(huà)得到的微動(dòng)目標(biāo)序列圖像二值圖白色像素點(diǎn)的統(tǒng)計(jì)個(gè)數(shù)。根據(jù)表1像素點(diǎn)的統(tǒng)計(jì)個(gè)數(shù)，可依次獲得三種算法對(duì)微動(dòng)目標(biāo)提取的準(zhǔn)確率，如圖12所示。分別用二維Otsu的準(zhǔn)確率P、K-means結(jié)合膚色檢測(cè)的準(zhǔn)確率Q和本文算法的準(zhǔn)確率R量化評(píng)估本文算法。P、Q、R分別定義為：

(3)

其中，Ne是二維Otsu微動(dòng)目標(biāo)白色像素點(diǎn)的統(tǒng)計(jì)個(gè)數(shù), Nk是K-means結(jié)合膚色檢測(cè)微動(dòng)目標(biāo)白色像素點(diǎn)的統(tǒng)計(jì)個(gè)數(shù)，Nr是本文算法微動(dòng)目標(biāo)白色像素點(diǎn)的統(tǒng)計(jì)個(gè)數(shù),Nt是通過(guò)專(zhuān)業(yè)人員提取的微動(dòng)目標(biāo)白色像素點(diǎn)的統(tǒng)計(jì)個(gè)數(shù)。隨機(jī)抽取實(shí)驗(yàn)視頻圖像中的17幀(幀號(hào)Num：180，200，…，500)進(jìn)行計(jì)算，其結(jié)果如表1所示。

表1 三種微動(dòng)目標(biāo)提取完整性量化分析

從表1的三種微動(dòng)目標(biāo)提取完整性量化分析表可獲知三種算法提取像素點(diǎn)平均依次為5428、5851、5996，最接近完整的微動(dòng)目標(biāo)6123。

圖12是根據(jù)式(3)計(jì)算得到二維Otsu、K-means結(jié)合膚色檢測(cè)算法以及本文算法的P、Q、R值的折線圖，可更直觀地看到本文所提算法的準(zhǔn)確率較高。實(shí)驗(yàn)結(jié)果證明，本文算法在實(shí)時(shí)提取微動(dòng)目標(biāo)過(guò)程中具有更高的準(zhǔn)確率。

圖12 三種算法提取微動(dòng)目標(biāo)準(zhǔn)確率比較

4 結(jié) 語(yǔ)

本文采用Otsu與膚色檢測(cè)相結(jié)合的方法，解決了膚色與背景顏色相近的問(wèn)題。通過(guò)實(shí)驗(yàn)驗(yàn)證，本文算法不僅有效地獲取了微動(dòng)目標(biāo)的二值圖，還可以以較高的準(zhǔn)確率提取微動(dòng)目標(biāo)，并最終較好地完成了微動(dòng)目標(biāo)的背景替換。下一步工作研究復(fù)雜背景替換。

[1] Liu S,Gao D,Yin F.Infrared image segmentation method based on 2D histogram shape modification and optimal objective function[J].Journal of Systems Engineering and Electronics,2013,24(3):528-536.

[2] Luo G,Yang S,Tian G,et al.Learning Human Actions by Combining Global Dynamics and Local Appearance[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2014,36(36):2466-2482.

[3] 瞿中,張亢,喬高元.MB-LBP特征提取和粒子濾波相結(jié)合的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究[J].計(jì)算機(jī)科學(xué),2013,40(8):304-307.

[4] Lin S,Ruimin H,Rui Z.Depth similarity enhanced image summarization algorithm for hole-filling in depth image-based rendering[J].Communications,China,2014,11(11):60-68.

[5] 吳桐,王玲.基于幀差分塊的混合高斯背景模型[J].計(jì)算機(jī)工程與應(yīng)用,2014,50(23):176-180.

[6] Otsu N.A threshold selection method from gray-level histogram[J].IEEE Trans.System. Man and Cyhernetics,1979,9(1):62-66.

[7] Li Z,Wang W,Liu X,et al.An efficient multi-threshold AdaBoost approach to detecting faces in images[J].Multimedia Tools and Applications,2015,74(3):885-901.

[8] 任磊,賴(lài)惠成,陳欽政,等.基于改進(jìn)K均值聚類(lèi)與HSV模型的棉花分割算法[J].計(jì)算機(jī)工程與設(shè)計(jì),2013,34(5):1772-1776.

[9] Chatrath J,Gupta P,Ahuja P,et al.Real time human face detection and tracking[C]//International Conference on Signal Processing and Integrated Networks.IEEE,2014:705-710.

[10] Lee Y H,Kim B,Kim Y.AAM-based emotion recognition using variance of facial feature points on mobile video stream[J].Computer Systems Science and Engineering,2014,29(6):423-428.

[11] 瞿中,馬慶偉,張慶慶.多線程下的視頻微動(dòng)目標(biāo)檢測(cè)與提取算法研究[J].計(jì)算機(jī)科學(xué),2012,39(4):265-268.

AN ALGORITHM OF MICRO MOVING TARGET EXTRACTION AND BACKGROUND REPLACEMENT IN VIDEO SEQUENCES

An Shiquan Wen Qianyun Meng Qi

(CollegeofComputerScienceandTechnology,ChongqingUniversityofPostsandTelecommunications,Chongqing400065,China)

In order to realise the background replacement of micro moving targets in video images, there has the need to solve the problem of accurate micro moving targets extraction. In the paper we first use Adaboost classifier to train skin colour sample database to obtain the data of skin colour and non-skin colour, and determine the threshold range of skin colour, as well as get the binary image of skin colour detection. Then we fuse the binary images of skin colour detection and the binary images of micro moving targets segmented by Otsu to get the rough binary image of image sequence of micro moving targets. After that, we obtain the complete binary image templates through the treatment processes of morphology and holes filling, and at last accomplish the background replacement of video image. Simulation experiments show that the proposed algorithm can well segment the micro moving targets and realise background replacement.

Otsu Adaboost classifier Threshold of skin colour Morphology Background replacement

2015-09-08。重慶市教委科學(xué)技術(shù)研究項(xiàng)目(KJ140 2001)；重慶市科委基礎(chǔ)與前沿項(xiàng)目(cstc2014jcyjA1347)；重慶市高校優(yōu)秀成果轉(zhuǎn)化項(xiàng)目(KJZH14219)。安世全，教授，主研領(lǐng)域：數(shù)字圖像處理，信息與計(jì)算理論。文倩云，碩士生。孟琦，碩士生。

TP391.41

A

10.3969/j.issn.1000-386x.2016.11.026