基于視頻幀加權(quán)的臺標(biāo)自動檢測方法

金 陽，程江華，任 通，庫錫樹

(國防科學(xué)技術(shù)大學(xué)電子科學(xué)與工程學(xué)院，湖南 長沙 410073)

電視視頻中的臺標(biāo)是對電視節(jié)目來源、類型等屬性的描述。通過臺標(biāo)自動提取的方法，在數(shù)據(jù)量龐大的視頻文件庫或者實時視頻流中快速、準(zhǔn)確地實現(xiàn)臺標(biāo)的自動定位和提取，能夠為相關(guān)的視頻自動搜索、收錄、分析和檢索提供有效的技術(shù)支持。因此，能否有效檢測出視頻中的臺標(biāo)，對后續(xù)視頻臺標(biāo)識別和視頻分析具有前瞻性的意義。

當(dāng)前電視視頻中的臺標(biāo)檢測存在的難點主要有兩個:一是電視視頻背景復(fù)雜，如光強變化大、內(nèi)容切換快等，使得電視臺標(biāo)在檢測過程中受背景的影響很大;二是電視視頻臺標(biāo)趨向半透明化，使用傳統(tǒng)的閾值分割、邊緣檢測技術(shù)很難提取出效果理想的臺標(biāo)圖像。一般臺標(biāo)檢測算法基于視頻幀灰度差，對不透明臺標(biāo)而言，檢測效果較好，但對于半透明臺標(biāo)，臺標(biāo)的檢測效果極易受到背景的干擾。Ozay等[1]提出一種基于平均時間邊界的臺標(biāo)檢測方法，能夠有效提取不透明和半透明臺標(biāo)，但對單獨臺標(biāo)圖形的獲取未作具體算法描述。Meisinger等[2]采用臺標(biāo)區(qū)域限定統(tǒng)計模型和場景替換的方法，得到較好的臺標(biāo)檢測結(jié)果，但是人為設(shè)置的參數(shù)偏多導(dǎo)致自動化和通用性較差。Xiao等[3]提出了基于支持矢量機(SVM)的臺標(biāo)識別方法，能夠有效檢測并識別臺標(biāo)圖像，但其計算復(fù)雜，算法實時性較差。

筆者之前發(fā)表的一種基于二值圖角點匹配的臺標(biāo)識別方法[4]在臺標(biāo)的檢測這一步驟中存在不足，利用圖像幀間差分累加求平均的方法同樣也特別容易受到復(fù)雜背景變換等情況的干擾。本文針對當(dāng)前電視臺標(biāo)檢測過程中存在的問題，提出一種視頻幀加權(quán)的自動臺標(biāo)檢測方法，該方法可有效解決復(fù)雜背景變化下和半透明臺標(biāo)檢測問題。

1 系統(tǒng)總體設(shè)計

本文系統(tǒng)流程圖如圖1所示。

圖1 系統(tǒng)流程圖

臺標(biāo)檢測分為3步驟:1)確定臺標(biāo)區(qū)域并利用視頻流背景加權(quán)更新方法，得到較好的含有臺標(biāo)的背景灰度圖像;2)利用Canny邊緣檢測算法，在穩(wěn)定的臺標(biāo)灰度圖像區(qū)域的基礎(chǔ)上，得到二值化臺標(biāo)輪廓;3)運用簡化的分水嶺填充方法，對二值化臺標(biāo)輪廓進行有效填充，得到單個純凈的臺標(biāo)圖像。

本文摒棄以往先提取視頻關(guān)鍵幀，然后處理關(guān)鍵幀的思路，提出直接對視頻流進行處理的方法，利用視頻流不斷有視頻幀進行實時數(shù)據(jù)更新的特點，采用基于視頻流背景加權(quán)更新方法，得到的臺標(biāo)區(qū)域圖像其背景具有較強的穩(wěn)定性，為后續(xù)臺標(biāo)圖像正確提取提供了保證。

系統(tǒng)設(shè)計的思想基礎(chǔ)基于以下兩點考慮:

1)復(fù)雜背景情況:為了使臺標(biāo)所在區(qū)域的圖像背景更加穩(wěn)定，必須要求盡量去除臺標(biāo)所在區(qū)域背景的更新或者瞬間強光照等對臺標(biāo)圖像的影響。采用視頻流加權(quán)處理方法能夠有效避免這些不利因素對臺標(biāo)圖像的干擾。

2)臺標(biāo)半透明情況:半透明臺標(biāo)圖像隨著視頻背景的更新，其像素點值不斷發(fā)生變化，即使背景變化不太明顯，也能導(dǎo)致臺標(biāo)圖像受到干擾。利用邊緣提取方法，直接提取臺標(biāo)圖像輪廓，能夠有效避免像素值隨背景變換發(fā)生改變。

2 臺標(biāo)檢測

2.1 視頻流加權(quán)背景更新分割

2.1.1 臺標(biāo)區(qū)域確定

根據(jù)先驗常識，臺標(biāo)一般位于視頻圖像幀4個角落位置之一，如果直接對電視視頻圖像全圖進行臺標(biāo)搜索，則計算量較大。本文采用通用的最優(yōu)區(qū)域規(guī)則(GSR)[5]進行視頻圖像區(qū)域分塊。

依據(jù)GSR圖像分塊規(guī)則，將圖像按照水平和垂直方向3∶5∶3的比例進行劃分，分塊結(jié)果如圖2a所示。

圖2 GSR圖像分塊模型

為便于處理，先將彩色視頻幀轉(zhuǎn)換為灰度圖，利用GSR圖像分塊規(guī)則，按照一定比例得到含有臺標(biāo)區(qū)域的灰度圖像如圖2b所示，從圖中可以看到，臺標(biāo)所在的位置為圖像的左上角區(qū)域，這樣直接利用先驗知識結(jié)合一定的圖像分塊規(guī)則，得到包含臺標(biāo)圖像較精確的區(qū)域位置，為臺標(biāo)檢測和定位減少了計算量。

2.1.2 視頻流背景加權(quán)更新

傳統(tǒng)臺標(biāo)提取方法先根據(jù)一定的準(zhǔn)則確定視頻關(guān)鍵幀，然后對視頻關(guān)鍵幀進行處理，這樣的處理方法對關(guān)鍵幀具有很強的依賴性，如果某一關(guān)鍵幀圖像質(zhì)量較差，或受背景干擾較大，勢必造成臺標(biāo)檢測困難。Ozay等[1]提出一種基于平均時間邊界的臺標(biāo)檢測方法，其實質(zhì)是對二值化臺標(biāo)輪廓進行時間平均處理，故對每一幀的圖像所提取的輪廓質(zhì)量要求較高，換言之，如果有一幅圖像因為強光或者強背景干擾導(dǎo)致提取出的臺標(biāo)輪廓質(zhì)量很差，那么將影響到最后臺標(biāo)輪廓的確定。

本文在背景更新部分的思想是:先進行時間背景更新，再進行臺標(biāo)輪廓提取。取n幀視頻幀作為一次處理單元(根據(jù)視頻流幀率，選擇人眼能夠觀測出變化的演示過程，大約2 s)，定義此處理單元的初始幀為f1，第i幀為fi，第一幀加權(quán)幀定義為F1，則第i幀加權(quán)幀可以定義為

式中:α取值為1/n，具體幀數(shù)選擇的原則是臺標(biāo)所在區(qū)域的背景一直更新到一次性處理單元所取得最后一幀視頻圖像為止，這樣就可以很好地避免因為瞬時強光以及復(fù)雜背景的變換對臺標(biāo)圖像造成的干擾，背景更新效果如圖3所示，圖3a～3f分別為初始背景圖像以及不斷進行背景加權(quán)更新后的圖像背景，可以看出，該方法能夠有效消除視頻中復(fù)雜背景的干擾以及瞬時強光照射等問題。

圖3 視頻流加權(quán)背景更新

2.2 臺標(biāo)的邊緣檢測和輪廓提取

2.2.1 臺標(biāo)邊緣檢測

邊緣檢測普遍采用的方法有:Prewitt，LoG，Canny和Sobel等算子。2.1節(jié)視頻幀加權(quán)背景處理后的臺標(biāo)區(qū)域圖像，受復(fù)雜背景影響小，利用Canny邊緣檢測算法[6]，能夠得到比較好的邊緣效果。其一般步驟為:

1)圖像使用高斯平滑濾波器，減少噪聲的干擾;

3)對檢測到的各個像素點進行梯度幅值非極大值抑制;

4)利用兩個閾值T1和T2進行閾值處理實現(xiàn)線檢測以及邊緣連接。

2.2.2 輪廓提取

Canny算法最重要的特點是其試圖將獨立邊緣的候選像素點并入邊緣，進行拼接形成輪廓。輪廓的形成需要用到上限和下限兩個閾值，上限決定強邊緣像素點，即直接歸類為邊緣像素點，下限決定弱邊緣像素點，即直接歸類為非邊緣像素點，如果像素點梯度幅值介于上下限之間，則稱其為亞像素邊緣點，當(dāng)其所在的像素點位置處于強像素點定義的連接區(qū)域內(nèi)，即符合人為程序設(shè)定的“連接點”要求時，此像素點被歸類為邊緣點，并與強邊緣像素點進行連接。

影響Canny算法亞像素邊緣點連接的因素有兩個:一是上下限的比值，Canny所建議運用的上下限有一定的比值關(guān)系，上下限的閾值比最好介于2∶1和3∶1之間;二是上下限的具體取值問題。

針對這兩個問題，在程序設(shè)計中，為盡量減少人為因素對實驗結(jié)果產(chǎn)生的影響，只設(shè)置唯一一個人為控制變量，即確定Canny上下限具體數(shù)值的手動滑條，可以更加直觀地看到在不同取值時獲得的臺標(biāo)輪廓效果，同時可以調(diào)節(jié)上下限取值，使輪廓效果達到最好。不同的上下限取值所獲得的臺標(biāo)輪廓圖像如圖4所示，實驗設(shè)定的參數(shù)如表1所示。

實驗所用的圖像幀均為視頻圖像初始幀。由實驗結(jié)果可以清楚地看到，只要在2∶1和3∶1之間，上下限取值比相差不太懸殊，其輪廓的效果相差不多，而對于上下限的具體取值則可以清楚地反映出具體邊緣提取的好壞程度。

2.3 簡化的分水嶺臺標(biāo)填充方法

圖4 臺標(biāo)邊緣檢測及輪廓提取

表1 實驗參數(shù)取值表

基于形態(tài)學(xué)分水嶺分割算法[6]的主要思想是水壩的構(gòu)造，水壩的構(gòu)造是由所設(shè)置好的在這條路徑上的點的值為比圖像中灰度級的最大值還要大的值來完成，所有水壩的高度通常設(shè)定為1加上圖像中灰度級最大允許值。主要方法是將灰度圖像看成地形圖，每一個像素點的灰度值看成所在點地形的高度，通過不斷地在局部極小值點(低洼地)處加水，并且讓水以均勻的速率上升，從低到高淹沒整個地形，直到達到水位的最大值，最后剩下的部分對應(yīng)于分水線，此分水線即為分割結(jié)果，水壩的構(gòu)造就是建立在此分水線基礎(chǔ)上的。

這種形態(tài)學(xué)的分水嶺分割算法是已知圖像的某些極小值點，然后通過程序設(shè)定的連通規(guī)則，將屬于某一極小值所在的“盆地”進行“注水”填充處理，最后得到分水線，在分水線的基礎(chǔ)上構(gòu)造水壩，其過程如圖5a所示。

實現(xiàn)簡化的分水嶺臺標(biāo)區(qū)域填充方法，其過程剛好和分水嶺分割算法相反，如圖5b所示，通過2.2節(jié)臺標(biāo)圖像輪廓的提取，得到了已知的水壩，現(xiàn)在的任務(wù)是要在被水壩包圍的一個連通域內(nèi)進行“注水”處理，而被水壩孤立和水壩以外的區(qū)域不進行“注水”處理，使得被水壩包圍的區(qū)域的水面上升至和水壩一樣的高度，那么這個被水壩包圍區(qū)域的上升后的水面，再加上水壩，就共同構(gòu)成了所需的臺標(biāo)圖像區(qū)域。水壩所形成的各個區(qū)域劃分的二維視圖如圖6a所示，A，B，C三處分別表示水壩以外的區(qū)域，被水壩孤立的區(qū)域以及水壩包圍的區(qū)域;其三維視圖如圖6b所示。

3 實驗結(jié)果及分析

實驗的條件為Visual C++6.0版本仿真軟件，MATLAB 7.0軟件版本，所用到的視頻文件為湖南衛(wèi)視某一期跨年演唱會節(jié)目視頻。

臺標(biāo)檢測的各個過程主要演示過程如圖7所示，本文的目的就是要得到只包含有單一純凈的灰度臺標(biāo)圖像，通過簡化的分水嶺臺標(biāo)填充方法可以獲得如圖7d所示填充后的臺標(biāo)圖像，通過圖7d中填充的相應(yīng)區(qū)域，在原始的視頻流灰度圖像中，通過對應(yīng)的像素點值，就能夠直接提取出純凈的灰度臺標(biāo)圖像，如圖7e所示。

圖7 臺標(biāo)檢測各個過程的主要演示圖片

實驗過程中，直接對視頻文件進行處理，能夠完全實現(xiàn)臺標(biāo)的自動檢測，唯一人工控制進行干預(yù)的變量就是在臺標(biāo)邊緣檢測時，設(shè)置Canny算子上下限取值。由實驗結(jié)果可知:在背景更新部分，能夠較好地得到加權(quán)背景圖像，去除復(fù)雜背景以及瞬時強光的干擾等因素的影響;在臺標(biāo)邊緣檢測部分，充分利用Canny算子利用上下限雙閾值的方法，加入人工控制等因素，能夠有效地提取出連續(xù)的臺標(biāo)邊緣;在簡化分水嶺臺標(biāo)圖像填充部分，利用臺標(biāo)本身的連通性結(jié)合水壩分割等原理，得到較好的臺標(biāo)填充圖像;最后從原始視頻幀中提取出純凈的灰度臺標(biāo)圖像。

4 小結(jié)

復(fù)雜的背景變化及半透明化趨勢，使得電視臺標(biāo)的的檢測變得困難。本文提出基于視頻幀加權(quán)背景處理的臺標(biāo)檢測方法，能夠?qū)崿F(xiàn)臺標(biāo)圖像在抗復(fù)雜背景干擾及半透明情況下，均具有較強的穩(wěn)定性，同時結(jié)合有效邊緣檢測算法，得到臺標(biāo)輪廓，在簡化分水嶺填充方法基礎(chǔ)上實現(xiàn)了臺標(biāo)圖像的填充。實驗結(jié)果表明，提出的算法能夠有效提取出復(fù)雜背景下半透明的電視臺標(biāo)，為后續(xù)臺標(biāo)匹配和識別奠定了技術(shù)基礎(chǔ)。

[1]OZAY N，SANKUR B.Automatic TV logo detection and classification in broadcast videos[C]//Proc.17th European Signal Processing Conference.Glasgow Scotland:EURASIP，2009:839－843.

[2]MEISINGER K，TROEGER T，ZELLER M，et al.Automatic TV logo removal using statistical basedlogo detection and frequency selective inpainting[C]//Proc.European Signal Processing Conference，2005.[S.l.]:EURASIP，2005.

[3]XIAO G，DONG Y，LIU Z，et al.Supervised TV logo detection based on SVMS[C]//Proc.2nd IEEE International Conference on Network Infra-structure and Digital Content.[S.l.]:IEEE Press，2010:174－178.

[4]金陽，程江華，任通，等.一種基于二值圖角點匹配的臺標(biāo)識別方法[J].電視技術(shù)，2012，36(17):15－19.

[5]EKIN A，BRASPENNING R.Spatial detection of TV channel logos as outliers from the content[C]//Proc.Visual Communication and Image Processing，2006.[S.l.]:SPIE，2006.

[6]岡薩雷斯.數(shù)字圖像處理:MATLAB版[M].阮秋琦，阮宇智，譯.2版.北京:電子工業(yè)出版社，2005:293.